CLAW-Eval: Towards Trustworthy Evaluation of Autonomous Agents¶
会议: NeurIPS 2026
arXiv: 2604.06132
代码: https://claw-eval.github.io
领域: LLM Agent
关键词: 智能体评测, 全轨迹审计, 多维评分, 错误注入, 鲁棒性评测
一句话总结¶
提出了端到端可审计的自主智能体评测基准 CLAW-Eval，通过执行轨迹、服务审计日志和环境快照三通道证据实现轨迹感知评分，并联合评估任务完成度、安全约束与故障恢复鲁棒性。
研究背景与动机¶
大语言模型正加速演进为可在真实软件环境中执行多步复杂工作流的自主智能体。现代智能体脚手架（如 Claude Code 和 OpenClaw）赋予了模型调用工具、操作文件系统、检索数据库及跨应用编排的综合能力。然而，现有智能体评测基准主要停留在静态问答、简单沙盒环境或孤立的输出结果核验上，忽视了智能体在动态交互环境中的行为过程。
这种传统评测范式存在三大核心缺陷。首先是轨迹不透明：多数基准仅检验模型最终输出结果，缺乏对生成过程的系统性审计，导致投机取巧的行为、捷径以及奖励黑客（reward hacking）被掩盖。其次是安全与鲁棒性未深度嵌入：现实部署中，智能体既需遵守安全规则，又需在接口抖动或超时等异常中自愈，但现有基准往往将安全剥离为独立任务，且极少在可控扰动下测试容错能力。最后是评测模态与交互范式覆盖狭窄：现有工作大多局限于纯文本工具调用或单一 GUI 导航，无法综合评测服务编排、多模态图文视频感知生成及专业多轮协商等异构能力。
本文的切入角度是打破“以最终输出为中心”黑盒评估，将完整的智能体执行轨迹设为评测对象，构建隔离沙盒、服务端审计与快照联动的多源取证链条。核心 idea：构建包含 300 个多领域任务的端到端评测套件 CLAW-Eval，通过执行轨迹、服务端审计日志和环境快照三独立证据通道支持 2,159 个细粒度规则，在统一声明式框架下联合评估完成度、嵌入式安全约束及错误注入下的鲁棒性。
方法详解¶
整体框架¶
CLAW-Eval 架构采用严格的三阶段执行生命周期：环境准备阶段（Setup Phase）、智能体执行阶段（Execution Phase）以及裁判评估阶段（Judge Phase）。为了消除数据泄露与作弊风险，框架设立了阶段间的时间防火墙（Temporal Firewall）：在执行阶段，智能体仅能访问任务所需的沙盒资源与受控工具，所有评估脚本、真实标签和环境探针在裁判阶段才被挂载。
评测过程依赖三个互相独立的底层取证通道：一是外部记录的结构化执行轨迹（Execution Traces）；二是外部 Mock 真实接收到的服务侧审计日志（Service-Side Audit Logs）；三是运行结束后容器环境与生成产物的环境快照（Environment Snapshots）。三源证据输入到由确定性规则检查与大模型判官组成的混合评分流水线中，计算出完成度、安全性与鲁棒性。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["任务定义与配置输入"] --> B["三阶段隔离生命周期<br/>Setup / Execution / Judge 防火墙"]
B --> C["多源审计取证通道<br/>执行轨迹 + 审计日志 + 环境快照"]
C --> D["异构跨模态任务体系<br/>常规编排 / 多模态感知生成 / 专业多轮协商"]
D --> E["多维耦合评分与细粒度规则<br/>安全乘法门控 × 完成度与鲁棒性加权"]
E --> F["多轮统计与可靠性边界<br/>Average Score / Pass@k / Pass^k"]关键设计¶
1. 三阶段隔离生命周期与多源审计取证通道：解决黑盒评测下的作弊与捷径
针对传统评测中容易发生的奖励黑客（reward hacking）以及智能体虚构执行过程的痛点，CLAW-Eval 建立了严密的阶段隔离与三通道取证机制。在 Setup 阶段，框架在 Docker 沙盒中部署初始数据、代码和资源，并在沙盒外启动仿真模拟服务（如 CRM、邮件网关和日程系统）；在 Execution 阶段，智能体通过内置的系统级工具（Bash、Read/Write、Grep/Glob、BrowserScreenshot、WebSearch 等）及特定任务 API 进行交互，所有工具调用与返回被沙盒外的监视器捕获为结构化执行轨迹；在 Judge 阶段，系统对容器状态进行无损快照，同时读取 Mock 服务端的独立日志记录。
这种三源交叉印证机制使得评测不仅看“产物是否存在”，更能验证“操作是否真实发生”。例如在邮件分发或财务处理任务中，如果智能体伪造终端输出声称已成功调用 API，但 Mock 服务日志未记录到请求，确定性规则会判定该项不合格，从根源上杜绝了无据自夸。
2. 异构跨模态任务体系与统一声明式任务规范：覆盖多模态与复杂交互范式
真实应用场景中的智能体面临着多样化的交互模态和上下文复杂度。CLAW-Eval 设计了一套统一的声明式任务模式（Declarative Task Schema），共收录 300 个经人工验证的高难度任务，涵盖 9 个细粒度子类别，划分为三大互补任务群： - 常规工作流（General，161 项）：分为 Easy（71 项）、Medium（47 项）和 Hard（43 项），从单服务查询逐步进阶到跨系统协同与金融合规运维，强调在复杂业务流程中遵循规则。 - 多模态感知与生成（Multimodal，101 项）：涵盖视频理解与时序定位（53 项）、图表与长文档跨页推理（22 项）以及代码级视觉产物生成（26 项，如动态网页、SVG 动画与视频剪辑），考察主动视觉感知和多模态输出质量。 - 专业多轮对话协商（Multi-turn Dialogue，38 项）：覆盖 STEM 科学推理（10 项）、社会科学法规（13 项）和商业投资策略（15 项）。采用预设领域知识的用户画像，主动隐匿核心意图，测试智能体在不完备信息下主动澄清与搜集线索的能力。
3. 多维耦合评分机制与细粒度混合规则：将安全与故障自愈纳入核心评测
常规评测往往将安全性与鲁棒性作为孤立的打分项，而 CLAW-Eval 将三者耦合为联合评分函数： $\(s_{\text{task}} = s_{\text{safety}} \times \bigl(\alpha \cdot s_{\text{completion}} + \beta \cdot s_{\text{robustness}}\bigr)\)$ 其中设置权重 \(\alpha = 0.8, \beta = 0.2\)。\(s_{\text{safety}} \in \{0, 1\}\) 设计为乘法门控（Multiplicative Gate）：一旦智能体触发了预设的硬性安全红线（如越权访问敏感情报、凭证泄露或发送违规外部通信），即便任务完成度达到 100%，最终总分直接归零，彻底消除了“牺牲安全换取性能”的可能。
鲁棒性得分 \(s_{\text{robustness}}\) 则通过受控随机错误注入来度量。在工具调用期间，按指定概率注入 HTTP 429（限流，35%）、HTTP 500（服务错误，35%）或 2-4 秒长延迟毛刺（30%）。设 \(\mathcal{T}_{\text{errored}}\) 为遭遇注入错误的不同工具类型集合，\(\mathcal{T}_{\text{recovered}}\) 为后续成功恢复并获得有效响应的工具类型子集，鲁棒性得分定义为故障恢复覆盖率： $\(s_{\text{robustness}} = \begin{cases} \dfrac{|\mathcal{T}_{\text{recovered}}|}{|\mathcal{T}_{\text{errored}}|}, & \text{若 } |\mathcal{T}_{\text{errored}}| > 0 \\ 1, & \text{其他} \end{cases}\)$ 全套基准共包含 2,159 条评测规则（平均每任务 7.2 条），采用“确定性规则优先（参数检查、正则匹配、差异对比）+ 大模型判官补足（开放生成质量、主观视觉渲染对齐）”的混合模式，保障了判定的一致性与严谨性。
4. 多轮重试统计与可靠性边界度量：解耦模型峰值能力与部署一致性
由于智能体决策过程具有高度随机性，单次评测难以反映真实落地表现。CLAW-Eval 对每个任务执行 \(k\) 轮（实验中 \(k=3\)）独立沙盒测试，并引入互为上界和下界的互补指标： - Average Score：\(k\) 轮测试所得分数的算术平均值 \(\frac{1}{N}\sum_{i=1}^N \frac{1}{k}\sum_{j=1}^k s_{ij}\)； - Pass@k：在 \(k\) 轮中只要有一次得分达到阈值（\(\tau = 0.75\)）即计为通过，衡量智能体的能力上限（Capability Ceiling）： $\(\text{Pass@}k = \frac{1}{N} \sum_{i=1}^{N} \mathbf{1}\!\left[\max_{j=1}^{k} s_{ij} \ge \tau\right]\)$ - Pass^k：在 \(k\) 轮测试中每一次都必须达到阈值方为通过，衡量智能体的可靠性底线（Reliability Floor）： $\(\text{Pass\textasciicircum{}}k = \frac{1}{N} \sum_{i=1}^{N} \mathbf{1}\!\left[\min_{j=1}^{k} s_{ij} \ge \tau\right]\)$ \(\text{Pass@}k\) 与 \(\text{Pass\textasciicircum{}}k\) 之间的落差清晰揭示出智能体究竟是“偶然走运”还是“稳定可靠”。
实验关键数据¶
主实验¶
在 14 个前沿模型（涵盖 10 个模型家族）上的统一评测结果如表 1 所示（Multimodal 仅在支持视觉的 9 个模型上评测，表 1 展现 General 与 Multi-turn 的 Overall 表现）。
| 模型 | General Pass@3 (%) | General Pass^3 (%) | Multi-turn Pass@3 (%) | Multi-turn Pass^3 (%) | Overall Score (%) | Overall Pass@3 (%) | Overall Pass^3 (%) |
|---|---|---|---|---|---|---|---|
| Claude Opus 4.6 | 80.8 | 70.8 | 89.5 | 68.4 | 80.4 | 82.4 | 70.4 |
| Claude Sonnet 4.6 | 81.4 | 68.3 | 89.5 | 65.8 | 81.4 | 82.9 | 67.8 |
| GPT 5.4 | 75.8 | 60.2 | 89.5 | 60.5 | 78.4 | 78.4 | 60.3 |
| Gemini 3.1 Pro | 80.8 | 55.9 | 92.1 | 65.8 | 77.3 | 82.9 | 57.8 |
| MiMo V2 Pro | 72.7 | 57.1 | 92.1 | 60.5 | 77.0 | 76.4 | 57.8 |
| Qwen 3.5 397A17B | 70.8 | 57.8 | 76.3 | 52.6 | 74.2 | 71.9 | 56.8 |
| GLM 5 Turbo | 73.9 | 57.1 | 84.2 | 50.0 | 74.4 | 75.9 | 55.8 |
| GLM 5V Turbo | 73.3 | 52.8 | 86.8 | 57.9 | 74.0 | 75.9 | 53.8 |
| Gemini 3 Flash | 67.1 | 48.4 | 84.2 | 52.6 | 72.3 | 70.4 | 49.2 |
| MiniMax M2.7 | 72.0 | 49.7 | 84.2 | 44.7 | 72.6 | 74.4 | 48.7 |
| MiMo V2 Omni | 75.2 | 52.2 | 63.2 | 15.8 | 72.4 | 72.9 | 45.2 |
| DeepSeek V3.2 | 71.4 | 42.2 | 60.5 | 31.6 | 67.5 | 69.3 | 40.2 |
| Kimi K2.5 | 67.1 | 36.6 | 76.3 | 39.5 | 68.3 | 68.8 | 37.2 |
| Nemotron 3 Super | 34.8 | 6.8 | 13.2 | 0.0 | 44.4 | 30.7 | 5.5 |
多模态子任务评测与跨模态表现¶
9 个视觉模型在 101 项多模态任务上的三轮评测显示，多模态智能体难度远高于常规纯文本工具调用（最高 Pass^3 仅 25.7%）。
| 模型 | Video Pass^3 (%) (53题) | Doc & Image Pass^3 (%) (22题) | Code Pass^3 (%) (26题) | Multimodal Pass^3 (%) (全101题) | Multimodal Score (%) |
|---|---|---|---|---|---|
| GPT 5.4 | 11.5 | 54.5 | 29.6 | 25.7 | 54.4 |
| Claude Opus 4.6 | 15.4 | 45.5 | 25.9 | 24.8 | 54.7 |
| Claude Sonnet 4.6 | 15.4 | 40.9 | 25.9 | 23.8 | 50.9 |
| Qwen 3.5 397A17B | 13.5 | 31.8 | 25.9 | 20.8 | 50.2 |
| Gemini 3.1 Pro | 3.8 | 40.9 | 18.5 | 15.8 | 45.7 |
| MiMo V2 Omni | 5.8 | 18.2 | 33.3 | 15.8 | 44.4 |
| Gemini 3 Flash | 7.7 | 27.3 | 18.5 | 14.8 | 50.4 |
| Kimi K2.5 | 13.5 | 9.1 | 22.2 | 14.8 | 50.2 |
| GLM 5V Turbo | 9.6 | 22.7 | 14.8 | 13.9 | 47.0 |
关键发现¶
- 纯输出黑盒评估严重失真：实验对比了普通 LLM 判官（可看完整会话和评测源码，但无服务端日志和快照）与混合评分流水线。普通判官漏判了 44%（12/27） 的安全违规和 13%（15/118） 的鲁棒性失效。盲态人类裁决显示，在分歧样本上混合流水线与人类裁决一致率高达 100%（安全）和 86.7%（鲁棒性）。
- 能力上限不等于一致性底线：在 0.0 至 0.6 的错误注入率消融测试中，各模型的 Pass@3 曲线近乎平稳，但 Pass^3 发生大幅下挫（降幅最高达 24 个百分点），Pass@3 - Pass^3 差距显著单调递增。智能体经常能撞大运通过一次，却极难在遭遇网络抖动时连续三次成功自愈。
- 提问质量决定多轮对话成败：在 38 项专业协商任务中，交互总轮数与 Pass^3 几乎零相关（\(r = 0.07, R^2 < 0.01\)），而针对性澄清与逻辑推进构成的提问精度（Question Precision）解释了 76% 的性能方差（\(r = 0.87\)），表明智能体必须具备精准的信息侦测能力而非盲目拉长对话。
- 无全能模型，模态分工明显：文本常规任务上 Claude Opus 4.6 拔得头筹（70.8% Pass^3），文档图表上 GPT 5.4 表现最佳（54.5%），代码视觉生成中 MiMo V2 Omni 逆袭登顶（33.3%），印证了多维度、全景式评测的重要性。
亮点与洞察¶
- 引入阶段隔离生命周期与三独立通道审计，以底层系统快照和服务端调用日志彻底封闭了智能体“凭空编造结果”的奖励黑客漏洞。
- 提出安全乘法门控机制，将安全规范约束与主线业务目标紧密交织，确保越权或泄露行为无法被单纯的高完成度掩盖。
- 采用 Pass@k 与 Pass^k 双向锚定，精准量化了智能体在实际工业落地中从“有时能跑通”到“可信赖交付”之间的巨大可靠性鸿沟。
局限与展望¶
- 扰动模式覆盖局限：当前的错误注入侧重于基础设施层瞬时故障（如 HTTP 429/500、网络超时延迟），尚未完全覆盖语义级欺骗、环境参数漂移或对抗性攻击。
- 主观质量判官依赖：针对开放式创意设计与视觉渲染评估仍部分依赖大模型裁判，在某些边缘模糊场景下评分阈值还需进一步人工校准。
- 动态基准持续维护：随着前沿大模型针对公共测试集的针对性拟合，需借助其声明式规范持续扩充生僻私有业务场景以维持评测区分度。
相关工作与启发¶
- vs SWE-bench / Terminal-Bench: SWE-bench 侧重软件代码工程修复，Terminal-Bench 偏向 Shell 命令行操作；CLAW-Eval 覆盖了更宽广的跨系统服务编排、主动多模态感知生成和多轮专业协商交互。
- vs OSWorld / WebArena: OSWorld 和 WebArena 主要评测桌面 GUI 或网页点击轨迹；CLAW-Eval 专注于现代化智能体脚手架（如 Claude Code、OpenClaw），强调全生命周期外部取证与可控错误扰动下的恢复评测。
- vs ToolEmu / Agent-SafetyBench: 传统安全基准主要通过静态文本或专用安全测试集识别风险；CLAW-Eval 创造性地将合规与安全边界嵌入至日常业务工作流中，以乘法门控强制施行生产级安全要求。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出融合三通道证据审计、嵌入式安全门控与故障自愈扰动的完整端到端智能体评测基准。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 14 款主流前沿模型，跨 300 个异构任务与 2,159 个规则，包含三轮独立测试、错误注入消融及双盲人工校准。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密，阶段划分与指标形式化定义完备，图表展示高度精炼自洽。
- 价值: ⭐⭐⭐⭐⭐ 为自主智能体迈向工业级严肃生产部署提供了兼具审计透明度与可靠性检验的试金石。