Who&When Pro: Can LLMs Really Attribute Failures in AI Agents?¶
会议: NeurIPS 2026
arXiv: 2607.09996
OpenReview: https://openreview.net/forum?id=ot6saieu5V
代码: https://whowhenpro.github.io
领域: LLM Agent
关键词: 智能体故障归因, 错误注入, 多模态智能体, 基准评测, 自我进化
一句话总结¶
提出了基于前缀热启动注入的大规模智能体故障归因基准 Who&When Pro，包含跨文本/图像/视频与单/多智能体的 12,326 条黄金故障轨迹，并系统揭示了前沿大模型在定位决定性步骤与根因诊断上的能力瓶颈与协议权衡。
研究背景与动机¶
随着大语言模型能力规模化扩展以及 Harness 工程体系的完善，AI Agent 在代码生成、科学计算、GUI 操作系统以及视频分析等复杂多步骤环境中展现出强劲的问题求解潜力。然而，随着智能体系统复杂度的提升，其发生故障的方式变得愈发隐蔽、细微且具有多步骤级联扩散特征；及时而精准地诊断出智能体系统“由谁在何时因何原因导致任务失败”（即故障归因），不仅是开发调试和过程奖励建模的核心需求，也是构建无需人工干预的自进化闭环智能体的关键使能信号。
现有故障归因评测体系面临着真实性、规模与模态覆盖的三重瓶颈。早期基准如 Who&When 仅依赖 184 条人工收集的纯文本轨迹，样本量过小且无法反映现实多模态交互场景；后续基于合成注入的基准如 AEGIS 与 AgenTracer 尝试通过端到端重新 Rollout 注入错误来扩增规模，但由于 LLM 生成的固有随机性，全新采样在到达注入点之前就会发生前缀行为漂移，导致构造的决定性错误标签退化为不可靠的近似标签。此外，现存基准普遍割裂了单智能体与多智能体拓扑，缺乏跨越图像与长视频环境的统一诊断标准。
为了突破标签保真度与规模化拓展的固有冲突，本文提出了以成功轨迹为种子的热启动重放错误注入管线：通过严格重放历史成功的环境交互前缀，仅在选定步骤诱导符合错误分类学的局部偏差，使得任务从成功突变为失败的因果根因被精确锁定。核心 idea：基于成功轨迹的热启动重放与局部单步错误注入构造 12,326 条高保真黄金故障轨迹，系统评测十款前沿闭源与开源 LLM 跨文本、图像与视频多模态的单步/多智能体故障归因能力。
方法详解¶
整体框架¶
Who&When Pro 的构建与评估围绕“决定性错误”（Decisive Error）形式化展开：对于智能体执行轨迹 \(\tau = (a_1, a_2, \ldots, a_T)\)，决定性步骤 \(t^*\) 被严格定义为“使得纠正该动作 \(a_{t^*}\) 即可将失败轨迹挽救为成功轨迹的最早步骤”；在多智能体系统中，产生该动作的实体即为责任智能体（Decisive Agent）。系统首先在 26 个主流基准与 15 个智能体框架中并行采样种子轨迹，并将自然失败轨迹交由专家提炼出包含 6 大类、18 个细分子项的错误分类体系（Taxonomy）；接着针对成功种子轨迹执行确定性前缀重放、自适应受控注入与后验过滤，生成带有严格因果真值标签的失败轨迹集；最后采用全景（All-at-Once）、逐步（Step-by-Step）与二分搜索（Binary-Search）三种协议全面评测大模型的定位与分类能力。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态智能体基准环境<br/>26个基准 / 15个框架"] --> B["成功与自然失败轨迹收集"]
B --> C["分层错误分类体系提炼<br/>6大家族 / 18个故障模式"]
C --> D["两阶段受控错误注入<br/>前沿模型引导提示词 + 智能体原位生成"]
B --> E["确定性前缀热启动重放<br/>静态调用SQLite缓存 + 浏览器保真校验"]
D --> F["单步动作替换与后续展开"]
E --> F
F --> G["后验质检与双重过滤<br/>排除泄露注入提示与提前暴露答案"]
G --> H["Who&When Pro 基准数据集<br/>12,326条多模态黄金故障轨迹"]
H --> I["多协议模型评测与因果归因<br/>All-at-Once / Step-by-Step / Binary-Search"]关键设计¶
1. 确定性前缀热启动重放：阻断前缀漂移以保证决定性标签严格成立 合成故障数据最致命的缺陷是注入点之前环境与动作发生隐式漂移。为了实现真正的因果介入，构建管线首先选定一条已验证通过任务的成功轨迹 \((a_1, \ldots, a_T)\)，将待注入步骤记为 \(t\)。管线不从零初始化环境，而是让目标智能体重新执行前缀序列 \((a_1, \ldots, a_{t-1})\)。针对无状态的静态环境交互（如网页检索、百科抓取、图像加载），设计了基于工具规范化参数 SHA-256 哈希索引的同步 SQLite 缓存，拦截外发请求并返回字节级一致的观测数据，避免外部网络扰动；针对不可完全静态化的有状态环境（如 Magentic-One 驱动的 Playwright 真实浏览器与代码沙盒），在重放每一步动作时嵌入 DOM 状态检查与环境保真断言，一旦检测到环境异常或动态元素漂移则触发异常并主动熔断终止，杜绝在状态不一致的环境中强行注入，确保执行到第 \(t\) 步时智能体内部上下文与外部世界状态与种子完全重合。
2. 两阶段在策略错误构建：兼顾错误逼真度与智能体原生行为风格 如果注入的错误动作风格突兀或包含非目标模型的语言特征，归因模型可能依赖表面伪影作弊。为此管线将错误动作 \(\tilde{a}_t\) 的构造解耦为两阶段：第一阶段由前沿通用模型审阅种子前 \(t-1\) 步上下文、当前任务及指定的目标错误类别，识别具体的逻辑漏洞或感知混淆点（如将图表中相近折线混淆，或设计脱离目标的子规划），合成具有高度针对性的自适应注入引导词；第二阶段将该引导词原位注入到被评测智能体底层基础模型的单步推理上下文中，由该智能体模型自身在原始提示词与上下文约束下实际生成错误动作 \(\tilde{a}_t\)。由于动作完全由该智能体自身的参数网络输出，其格式、代码习惯、函数命名及逻辑语气与正常步骤完全同分布，达到了以假乱真的在策略（On-policy）扰动效果。
3. 六大类十八细分故障分类学与多层质检：全覆盖复杂交互瓶颈 结合自然失败轨迹的专家归纳，将智能体运行时的微观错误抽象为覆盖全流程的 6 大家族共 18 种错误模式：感知层（视觉识别错误、空间定位错误）、推理层（幻觉、逻辑推理错误、计算错误、任务理解错误）、规划层（无效规划、目标漂移）、动作层（工具参数错误、虚构工具、输出格式错误、过早终止、死循环重复）、验证层（上下文丢失、验证不足）以及多智能体协同层（分工编排错误、通信故障、盲从过度依赖）。所有完成单步错误替换并继续 Rollout 后的轨迹必须满足两重严苛筛选：第一，最终任务必须被官方评估器判定为失败（确保注入的单步动作具备致命性）；第二，经过后验过滤网，剔除错误动作中提及注入指令的穿帮轨迹，以及在步骤 \(t\) 之前任务标准答案已显式出现在上下文中的轨迹，最终固化下 12,326 条跨越文本、图像、视频三大模态的高保真黄金诊断样本。
实验关键数据¶
主实验¶
在 Who&When Pro 完整评测集上，采用 All-at-Once 协议对十款主流闭源与开源模型进行基准测试，指标包括责任智能体识别率（Agent，针对 MAS）、决定性步骤定位准确率（Step）、错误模式宏 F1 值（Error）以及三者同时正确的联合准确率（Joint）：
| 模型类别 | 评测模型 | 文本 Step (%) | 文本 Error (F1) | 文本 Joint (%) | 图像 Step (%) | 图像 Error (F1) | 图像 Joint (%) | 视频 Step (%) | 视频 Error (F1) | 视频 Joint (%) |
|---|---|---|---|---|---|---|---|---|---|---|
| 闭源模型 | GPT-5.4 | 72.3 | 15.3 | 21.3 | 65.2 | 26.5 | 30.2 | 60.5 | 33.8 | 21.6 |
| 闭源模型 | Claude Sonnet 4.6 | 69.8 | 19.1 | 22.4 | 63.8 | 29.5 | 29.6 | 64.4 | 37.4 | 26.4 |
| 闭源模型 | Gemini 3 Flash | 71.2 | 16.2 | 17.3 | 63.9 | 26.0 | 29.6 | 59.8 | 40.0 | 23.0 |
| 闭源模型 | Grok 4.1 | 65.9 | 18.6 | 19.9 | 60.5 | 21.4 | 26.4 | 53.4 | 36.7 | 23.8 |
| 开源模型 | gpt-oss-120b | 63.9 | 10.8 | 16.2 | — | — | — | — | — | — |
| 开源模型 | GLM-5 | 71.1 | 22.2 | 25.3 | — | — | — | — | — | — |
| 开源模型 | DeepSeek-V4-Pro | 68.7 | 16.6 | 17.5 | — | — | — | — | — | — |
| 开源模型 | Gemma 4 | 68.4 | 16.1 | 17.1 | 62.6 | 19.1 | 24.3 | 58.7 | 35.7 | 27.7 |
| 开源模型 | Llama-4 Maverick | 66.7 | 20.6 | 16.5 | 54.9 | 20.6 | 19.0 | 59.5 | 36.4 | 30.4 |
| 开源模型 | Qwen3.5-122B | 73.9 | 17.0 | 21.6 | 60.9 | 21.8 | 24.5 | 60.3 | 35.2 | 16.1 |
消融与协议对比实验¶
在分层抽样的 1,444 条跨模态消融子集上，对比 All-at-Once、Step-by-Step 与 Binary-Search 三种归因协议的跨模态平均性能：
| 评测模型 | All-at-Once Step (%) | All-at-Once Error (F1) | All-at-Once Joint (%) | Step-by-Step Step (%) | Step-by-Step Error (F1) | Step-by-Step Joint (%) | Binary-Search Step (%) | Binary-Search Error (F1) | Binary-Search Joint (%) |
|---|---|---|---|---|---|---|---|---|---|
| GPT-5.4 | 65.5 | 24.9 | 25.0 | 55.8 | 19.6 | 17.9 | 62.8 | 23.0 | 25.0 |
| Claude Sonnet 4.6 | 64.1 | 26.3 | 22.8 | 54.1 | 20.3 | 19.6 | 57.7 | 21.0 | 20.8 |
| Gemini 3 Flash | 63.9 | 26.5 | 21.3 | 54.0 | 22.5 | 19.1 | 59.7 | 22.2 | 21.0 |
| Grok 4.1 | 57.9 | 28.3 | 23.9 | 56.2 | 25.5 | 19.4 | 54.2 | 28.1 | 21.3 |
| GLM-5 (纯文本) | 67.4 | 20.5 | 20.0 | 63.0 | 21.0 | 20.3 | 63.6 | 21.9 | 19.2 |
| Gemma 4 | 59.7 | 24.0 | 21.1 | 51.4 | 22.1 | 15.8 | 58.9 | 22.6 | 20.6 |
| Llama-4 Maverick | 61.0 | 25.1 | 21.1 | 51.1 | 17.9 | 15.3 | 53.1 | 14.2 | 14.1 |
| Qwen3.5-122B | 63.5 | 23.1 | 22.1 | 56.1 | 23.1 | 17.3 | 59.0 | 23.4 | 18.3 |
关键发现¶
- 步骤定位与错误分类的模态剪刀差：纯文本轨迹的决定性步骤定位最容易（平均准确率 69%），但在多模态视频任务上跌至 60% 左右；相反，错误类别的诊断 F1 值在纯文本上仅有 17%，而在视频模态下大幅跃升至 37%。这表明视觉与动作交互信号为“因何失败”提供了极强的外显行为线索，但稠密的时间序列给“何时失败”的精准步级定位带来了严重的长程干扰。
- 表面现象混淆根因（根因吸收效应）：混淆矩阵分析显示，规划失效（Planning）、验证不足（Verification）与协同失误（Coordination）经常被模型错误归类为逻辑推理错误（Reasoning Error），在多模态轨迹中超过半数非推理错误被误判。这是因为早期规划或验证缺陷会在后续步骤滚雪球式级联扩散，当最终暴露失败表象时，局部动作特征极像孤立的推理错误，模型倾向于就近抓取最显著的表象错误，而缺乏溯源整个因果链条的能力。
- 上下文长度瓶颈与协议差异：轨迹长度超过 12K tokens 时，所有模型的单步定位准确率从 3K 以内的 94% 骤降至 50%；逐步扫描协议（Step-by-Step）存在严重的“过早承诺”（Early Commitment）偏差，模型在没有观测全局轨迹前极易过早标记无辜的中间步骤，导致其平均预测位置系统性超前于真实故障点。
亮点与洞察¶
- 成功轨迹热启动反转因果：相比于传统端到端重跑注入引起的轨迹前缀漂移，通过重放成功前缀叠加确定性工具缓存与环境断言，构造出了在反事实意义下严格成立的“纠正即成功”黄金故障样本，解决了无人工干预下自动化标签标注的致命理论难题。
- 开箱即用且性价比极高的开源替代方案：实验证明全景协议（All-at-Once）在 Pareto 效率前沿上全面占优，而开源模型 Qwen3.5-122B 与 GLM-5 在单步定位准确率上能与前沿闭源模型匹敌，且推理成本较 GPT-5.4 降低 7 倍，为低成本构建在线智能体监控与自动重试系统提供了可行基础。
- 真实参考答案（Ground Truth）的认知双刃剑：在缺乏参考答案时模型倾向于追溯全流程推导链；一旦引入最终 Ground Truth，感知类错误识别大幅提升，但推理类错误诊断反而退化——评测模型会惰性地以“终局答案是否匹配”作为判断捷径，反而掩盖了对早期根因逻辑链断裂的审阅。
局限与展望¶
- 单决定性故障假设的适用边界：数据集设定每条轨迹仅存在唯一的决定性错误步骤，然而在现实复杂长程任务中，故障往往是由多个次优动作协同复合作用导致的系统性崩塌，未来需拓展到多步协同故障图谱与交互因果链归因。
- 分类体系在具身与开放世界中的演进需求：目前的 18 类分类体系主要覆盖数字与桌面环境；随着智能体进一步融入实体具身机器人以及更复杂的多模型跨组织协同，需要补充物理世界动力学误判与动态组织角色混淆等新故障范式。
- 归因闭环在自进化智能体中的直接落地：未来应进一步探索将 Who&When Pro 产出的单步细粒度归因标签直接作为 Process Reward Model（PRM）或反思微调数据，测试其对智能体在线反思重试与策略迭代的真实驱动收益。
相关工作与启发¶
- vs Who&When (Zhang et al., 2025): 前作率先定义了 Who&When 故障归因问题，但仅覆盖 184 条纯文本多智能体轨迹；本文构建了 12,326 条跨越文本、图像、视频三模态的高保真黄金轨迹集，并将单智能体与多智能体拓扑统一入同一测试基准。
- vs AEGIS (Kong et al., 2026) / AgenTracer (Zhang et al., 2026): 现有合成注入方法采用全局重新 Rollout 方案，不可避免地因 LLM 随机性在注入前发生漂移；本文通过确定性前缀热启动与环境保真校验，首次在自动化大规模合成中实现了严格的因果决定性标签。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 独创的确定性热启动重放与局部单步注入范式，首次在多模态长程智能体上实现了大规模黄金因果故障标签构建。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 10 款前沿开源与闭源 LLM、3 种交互协议、26 个评测源基准以及 15 种智能体框架，消融与因果分析扎实详尽。
- 写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰准确，问题建模形式化严格，实验剖析与定性案例生动深刻。
- 价值: ⭐⭐⭐⭐⭐ 为智能体系统的可解释性调试、过程奖励建模与人类零干预自进化研究奠定了扎实的方法与数据基石。