Silent Failures in Agent-Tool Interaction: An Audit of ToolUniverse¶

会议: NeurIPS 2026
arXiv: 2609.26836
领域: LLM Agent
关键词: 智能体工具交互, 隐式故障, 科学工作流, ToolUniverse, 语境可靠性

一句话总结¶

本文针对科学智能体在工具调用中“调用成功但信息残缺且无告警”的隐式故障问题，构建了跨越 7 个故障层位的审计评估体系，对 ToolUniverse 中 15 个生物计算与数据库工具进行深入审计，揭示出 API 与 Wrapper 层的不完整契约是导致下游科学结论发生“隐式放大”的核心根源，并提出了语境可靠性评估标准。

研究背景与动机¶

基于大语言模型（LLM）的智能体系统正被广泛部署于生物学与生物信息学等前沿科学工作流中，例如 Virtual Lab、Biomni 以及 ToolUniverse。在这些高精密度场景下，智能体需要自主编排、检索并调用外部专业数据库与复杂算法工具。然而，现有的智能体评测基准（如 SWE-bench、AgentBench、ToolBench 等）几乎全盘聚焦于终端任务的“成功与否”或调用轨迹语法是否合法，缺乏对工具调用交互链路中数据完整性、限制条件保留、科学语义保真度的细粒度审计。

生物科学研究具有独特的严苛性：数据的置信度等级、实验状态、物种特异性限定词、证据层级结构以及检索边界，直接决定了下游科学结论的真伪。与超时或报错等能够立即被系统捕获的“显式故障（Loud Failures）”不同，当工具接口返回 HTTP 200 或有效 JSON 负载，但实际内容遭到静默截断、筛选条件被无提示忽略或置信度计算规则被误判时，下游智能体会将残缺数据当成全量证据。这种现象在整个链条中悄无声息地演变成严重的“验证负债（Verification Debt）”。

针对这一认知盲区，本文不再局限于智能体内部推理失误或简单任务完成率，而是将切入点放在“智能体-工具交互链路”的保真度上，系统探究信息、限定条件与语义在跨层流动时究竟在何处丢失。核心 idea：形式化定义“隐式故障”与下游“隐式放大”现象，建立覆盖工具、API、Wrapper 及智能体 7 个层位的交互审计框架，通过针对 15 个生物学工具的实证审计，证明隐式故障主要源于 API 与 Wrapper 层的局部信息间隙，并据此提出超越二元成功率的“语境可靠性”评估范式。

方法详解¶

整体框架¶

本文构建了一套用于审计“智能体–包装器（Wrapper）–应用编程接口（API）–底层工具（Tool/Data）”交互链的端到端评估管线。整个审计方法由三个核心阶段组成：候选故障发现（Failure Candidate Discovery）、故障隔离查询生成（Test-case and Query Generation）、以及执行与双重验证（Execution and Dual Validation）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多源工具上下文输入<br/>Web/API文档/Release/Issue"] --> B["跨层契约差异对比<br/>提取潜在冲突与字段缺失"]
    B --> C["故障隔离测试查询生成<br/>具体生物学实体与无泄漏Prompt"]
    C --> D["交互轨迹自动化评估<br/>LLM判定Fail与False Positive"]
    D --> E["双重人工验证与层位归因<br/>真实环境复现与7大Locus定位"]

关键设计¶

1. 跨层契约差异对比：定位无告警潜在故障 传统的接口测试往往只验证单一层面的输入输出类型，无法识别由于不同层级实现差异导致的静默信息丢失。为此，该设计将底层工具的 Web UI 行为规范、用户手册、官方 API 接口文档、ToolUniverse 的 Wrapper 源码实现、Release Notes 以及 GitHub 历史 Issue 汇聚成结构化知识上下文。通过系统对比 Web UI 与 API/Wrapper 在功能完整度、参数支持、返回字段集合、默认排序逻辑、分页截断策略及生命周期语义上的不一致，精准挖掘“底层具备但上游接口静默裁剪”的潜在契约冲突。

2. 故障隔离测试查询生成：杜绝诊断污染与泛化干扰 为了精准测试智能体与工具之间的交互行为，测试用例必须严格防止“测试意图本身对智能体产生提示引导”。查询构造遵循五大准则：仅指定底层主工具名称而不钦定具体 Wrapper 函数（允许智能体自主决策）；限定使用 ToolUniverse 真实存在的函数名；注入具体明确的生物学实体与 Accession 号（如 DP00086，禁止使用模糊的 TP53）；构建真实的科学查询场景；最关键的是执行“故障隔离（Failure Isolation）”。查询提示词绝不诱导智能体去自我比对原始 API、排查字段是否缺失或模拟基础设施异常，而是让智能体在浑然不觉中完成正常信息检索与解读任务，从而观察其在残缺信息下的真实行为。

3. 双重人工验证与七大故障层位归因：穿透自动化评估幻觉 针对 LLM 评估器可能存在的判断偏差，该体系设计了自动化评估与人工交叉核验的双重验证协议。对于初步判定的故障，自动生成多轮变体查询以检验行为泛化性；随后由领域作者进行人工事实核查（对照 Web UI 真实数据）与判断逻辑校验。通过核验的故障被映射到覆盖全交互链路的七大故障层位（Failure Loci）： - L1（底层工具限制）：工具数据本身存在歧义或天然分类缺陷（如 AMPSphere 将基因数据库源错标为生境）； - L2（API 接口缺失）：Web 界面具备核心分析功能，但官方 REST API 根本未开放对应端点（如 ChIP-Atlas 的差分峰分析、KEGG Mapper 套件）； - L3（API 局部缺失）：API 存在对应端点，但字段、过滤条件或单位元数据相比 Web 界面发生静默残缺（如 BiGG Models 返回的有机体字段为空、Expression Atlas 缺失 TPM/FPKM 表达量单位）； - L4（Wrapper 完全缺失）：底层工具与 API 均支持该功能，但 ToolUniverse 包装层未实现封装（如 KEGG 序列功能注释工具 BlastKOALA）； - L5（Wrapper 局部缺失）：Wrapper 脚本在解析上游 API 响应时，静默过滤或遗漏关键字段（如 BV-BRC 过滤外部数据库交叉引用标识、ClinVar 遗漏单条提交是否构成聚合分类的权重字段）； - L6（智能体可用性障碍）：数据虽被 Wrapper 完整返回，但超出上下文窗口限制或呈现不可消费模态（如纯文本智能体接收到图像数据）； - L7（智能体解读偏差）：智能体接收到了完整数据，但在专业语境中发生严重误读（如将 ChIP-Atlas 中 MACS2 的 \(-10 \log_{10}(q)\) 统计显著性得分误当成线性置信度、曲解 KEGG 模块中 parenthetical AND 组必须全满足的生物通路完整性规则）。

一个完整示例¶

以 ChIP-Atlas 表观基因组富集分析为例，展示静默故障如何在链路中逐级穿透并导致下游“隐式放大”： 1. 真实科学意图：科研人员要求智能体查询某转录因子结合位点的富集显著性得分并给出解释； 2. 底层计算工具：底层 MACS2 算法计算富集峰的统计显著性，其理论取值为对数变换指标 \(S = -10 \log_{10}(q\text{-value})\)（当 \(q = 10^{-50}\) 时，\(S = 500\)）； 3. 接口与 Wrapper 传输：API 与 Wrapper 均未在字段名或元数据中附带单位与数学定义，仅输出数值键值对 score: 500； 4. 智能体下游解读（L7 隐式故障）：智能体由于未接收到量纲定义与语义约束，武断地将 500 视为普通未归一化的置信度线性数值，并在最终报告中声称“该结合事件呈现常规置信度”，完全抹杀了原始数据在统计学上极度显著（\(10^{-50}\)）的核心生物学意义，成功执行了工具调用却产出了完全误导的伪科学结论。

实验关键数据¶

主实验¶

审计从 ToolUniverse（覆盖 63 个主工具、285+ 个关联工具）中严格抽样并完成人工金标验证的 15 个代表性生物学工具（对应 104 个 ToolUniverse 工具），在 198 个测试用例中深度评估了 91 起人工核验确认的隐式故障。

评估工具 (Main Tool)	人工验证测试用例数	确认隐式故障数	隐式故障率 (%)	主导故障层位 (Top Failure Loci)
Expression Atlas	12	9	75.0%	L3 (API 局部缺失)
BV-BRC	12	8	66.7%	L5 (Wrapper 局部缺失)
AMPSphere	15	10	66.7%	L1 / L3 / L5
ChIP-Atlas	14	8	57.1%	L1 / L2 / L7
CTIS	15	8	53.3%	L2 / L7
KEGG	15	8	53.3%	L2 / L4 / L7
Reactome	15	8	53.3%	L1 / L3 (88% 集中在 L3)
ClinicalTrials.gov	16	7	43.8%	L3 / L7 (25% 为 L7)
BiGG Models	11	6	54.5%	L3 / L5 (100% 集中在 L3/L5)
CIViC	12	6	50.0%	L5 (100% 集中在 L5)
EMDB	13	5	38.5%	L3 / L5 (截断限制)
ClinVar	12	4	33.3%	L5 (字段与权重过滤)
InterPro	12	4	33.3%	L3 (功能缺失与谱系残缺)
CryoET Data Portal	12	3	25.0%	L3 / L7 (33% 为 L7)
ClinGen	12	1	8.3%	L3 / L5
总计 / 平均	198	91	46.0%	L3 (52) + L5 (25) 占比 84.6%

故障层位与问题维度分布¶

91 起确认的隐式故障跨越不同层位，并在 10 个分析维度上诱发了共计 134 次维度缺陷表现（单用例可重叠触发多维度）。

分析维度 / 故障层位	故障出现频次	典型诱因与表现形态
L3: API Partial Gap (API 局部缺失)	52 次	接口存在但缺少字段（如缺失 TPM 表达量纲、缺失有机体注释）
L5: Wrapper Partial Gap (包装层局部缺失)	25 次	包装函数在解析时静默丢弃交叉引用 ID、质控评分与聚合标识
L2: API Gap (API 完全缺失)	8 次	Web 界面核心功能（如差分分析、高级 Mapper）在 API 中无对应端点
L7: Agent Interpretation Gap (智能体误读)	6 次	智能体误读对数转换得分、曲解布尔通路图逻辑判定
L1: Tool Limitation (底层工具限制)	5 次	底层数据库元数据歧义（如生境标签与参考数据库源混淆）
L4: Wrapper Gap (包装层完全缺失)	3 次	API 具备能力但 Wrapper 未实现暴露（如全库汇总统计端点）
L6: Agent Usability Gap (智能体可用性障碍)	0 次 (人工核验集)	单步骤中未完全触发硬性失败，但在长上下文中潜藏超长输出风险
核心问题类型：缺失数据/字段	38 次	返回成功但核心字段为 null、未返回或遭到封装屏蔽
核心问题类型：检索、过滤与排序准则差异	20 次	搜索语义不一致、隐式分页截断导致局部当作全量

关键发现¶

故障高发于中间集成层：在全部 91 起确认的隐式故障中，高达 84.6%（77 起）集中在 API 局部间隙（L3, 52起）和 Wrapper 局部间隙（L5, 25起），表明系统集成与数据契约退化是智能体工具生态中最薄弱的环节。
信息完整性（Completeness）是重灾区：在维度统计中，完整性缺陷以 28 次位列第一，检索排序与相关性（21 次）和结果恰当性（20 次）紧随其后。智能体系统极易在缺乏显式告警的情况下，将“部分检索到的前 1000 条记录”断言为“全集数据”。
显式与隐式故障的披露不对称：实验定性观察表明，智能体在面对网络超时、鉴权失败等传统显式错误时能 100% 正确告警，但在面对 Wrapper 截断、字段静默丢弃等隐式故障时，披露率趋近于 0%，倾向于将残缺结果润色包装为自信的科学陈述。

亮点与洞察¶

提出语境可靠性（Contextual Reliability）评测范式：跳出“工具调用 HTTP 状态码 200 即算成功”的传统工具基准窠臼，强调必须核验整个交互链路是否保全了科学推断所需的信息、限定词、来源出处、作用域与原始语义。
揭示“隐式放大（Silent Amplification）”传播链：系统性证明了上游极其微小的数据契约裁剪（如省略一个对数换算说明或过滤一个基因组质控字段），会在智能体推理阶段被指数级放大为完全相反或虚假的科学结论。
高迁移价值的故障注入与契约审计框架：研究所建立的 Web-API-Wrapper 自动化差异比对与无泄漏查询生成机制，可无缝推广至通用软件工程、代码智能体以及多模态智能体工具链的质量控制体系中。

局限与展望¶

测试环境与工具范围受限：当前深入的人工核验集中在 ToolUniverse 框架下的 15 个生物学工具，未能覆盖通用日常工具或物理、化学等其他科学领域的全量工具包。
候选故障生成依赖前序 LLM：虽然人工核验保障了汇报故障的高精度，但前序基于 Cursor (Gemini 3 Flash) 提炼候选冲突的流程仍可能存在漏网的隐式故障类型。
缺乏动态运行时自动拦截与自愈机制：论文目前主要停留在审计、分类与实证归因阶段，尚未在 ToolUniverse 运行时内落地生产级别的动态限定词透传与自动契约对齐拦截网关。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性形式化定义并实证审计智能体-工具链路中的隐式故障与放大机制。
实验充分度: ⭐⭐⭐⭐☆ 涵盖 15 个工具、198 个测试用例，结合自动化挖掘与严密人工交叉双重验证。
写作质量: ⭐⭐⭐⭐⭐ 论述条理清晰，7 个层位定义严谨，生物计算领域案例鲜活且极具说服力。
价值: ⭐⭐⭐⭐⭐ 对构建高可靠 AI for Science 及下一代具备防御性契约检查的智能体架构具有重大指导意义。