UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks¶

会议: NeurIPS 2026
arXiv: 2607.08768
代码: https://github.com/HKU-MMLab/UniClawBench
领域: 其他
关键词: 智能体评测, 主动式智能体, 闭环评测, 真实环境基准, 多轮交互

一句话总结¶

针对现有智能体评测依赖沙盒静态快照、缺乏多轮闭环交互且场景分类模糊的瓶颈，UniClawBench 提出了首个涵盖技能使用、开放探索、长上下文推理、多模态理解与跨平台协调五大核心能力的动态真实环境基准，通过三角色信息隔离防火墙与细粒度检查点机制实现了高可信的多轮交互式评测。

研究背景与动机¶

大语言模型与多模态大模型的演进推动了主动式智能体（Proactive Agents，如 OpenClaw、Nanobot）的兴起。这类智能体不再局限于单次问答或简单的文本交互，而是直接接管浏览器、命令行及桌面图形界面，扮演 7×24 小时全天候协作的“数字化同事”。然而，如何系统、公允地评估此类智能体在复杂真实环境中的核心执行能力，成为当前智能体技术落地面临的紧迫挑战。

以往的智能体评测基准存在三项根本性结构缺陷。首先，绝大多数基准（如 WebArena、OSWorld）高度依赖本地镜像网站或离线虚拟机缓存，与动态、开放且不可预测的真实互联网环境存在巨大断层；其次，评测多沿用一次性单轮（Single-turn）机制，彻底忽视了真实人机协作中用户根据阶段性进展提供纠错与补充提示的闭环反馈属性；最关键的是，现有基准普遍按应用场景（如“办公”、“科研”）划分任务，将多项截然不同的基础模型能力混为一谈，导致智能体一旦任务失败，评测者完全无法准确定位其瓶颈究竟源于视觉感知、长程规划还是工具调用。

在不可控的真实环境中构建闭环评测体系面临两大技术两难：一是动态环境缺乏静态真值（Ground Truth），如电商价格实时波动导致预录答案迅速失效；二是模拟用户反馈与防止真值泄漏的矛盾——若让模拟用户获悉真实打分标准或期望答案，极易在反馈中将解题线索意外泄露给被测智能体。本文切入角度是通过细粒度检查点证据取代静态结果比对，并建立严格的三角色隔离屏障。核心 idea：构建首个由技能使用、探索、长上下文、多模态与跨平台五大原子能力驱动的真实环境评测基准 UniClawBench，通过执行者、隐式监督者与隔离用户模拟者的三角色闭环架构，在动态活体环境中实现防泄漏、高保真的多轮交互评测与跨模型/框架归因。

方法详解¶

整体框架¶

UniClawBench 的核心运转流程依托于宿主监督、容器隔离的动态运行时系统。评测环境由配备真实软件、浏览器与文件系统的独立 Docker 容器驱动，包含 400 个高质量中英双语任务包。系统通过分离被测智能体（Executor）、隐式监督智能体（Supervisor）和用户模拟智能体（User Simulator）三个角色，构建了具有信息防火墙机制的闭环交互反馈环路。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    A["真实任务包与环境输入<br/>Docker/工具/服务/公开指令"] --> B["执行智能体 (Executor)<br/>多轮工具调用与跨应用操作"]
    B --> C["可观测轨迹与产物收集<br/>操作日志/截图/生成文件"]
    subgraph S1 ["信息防火墙闭环评估架构"]
        direction TB
        C --> D["动态检查点评测机制<br/>隐式监督者细粒度证据校验与评分"]
        D -->|粗粒度状态信号<br/>pass / fail / continue| E["用户模拟智能体<br/>基于可见轨迹生成自然反馈"]
        E --> F["反馈重写过滤<br/>清洗潜在特权提示与评分泄露"]
    end
    F -->|多轮交互引导| B
    D -->|评测终止| G["基准评测报告输出<br/>Pass Rate (PR) & Average Score (AS)"]

评测开始时，执行智能体在独立的 Docker 容器中接收任务的公开指令与工具输入，调用命令行、浏览器或 GUI 执行多步操作。每轮执行结束后，运行时收集完整的可观测轨迹与落地文件产物，交由运行在独立工作区的隐式监督者评估。监督者根据细粒度检查点规则输出结构化状态（通过、失败、可恢复继续）与得分。若任务未通过且具备可挽回性，状态信号经过信息防火墙传递给模拟用户，生成符合人类表达习惯的修改意见并由重写器过滤，作为下一轮用户指令返回给执行者。该闭环最多允许 2 轮追加反馈，直至达成最终通过、判定不可逆失败或超时。

关键设计¶

1. 能力导向的任务体系与真实任务包构建：从源头解耦模型瓶颈

针对传统基准按应用场景归类导致失败原因无法归因的弊端，UniClawBench 将评测任务正交解耦为五大底层基础能力： - 技能使用（Skill Usage）：考核智能体阅读、选择并精确操作特定 API、本地服务及 CLI 工具的能力（如 OCR 解析登机牌、SQLite 复杂查询、Git/Docker 审计、CSV 账单核对），核心要求是输出严格可验证的格式化产物； - 开放探索（Exploration）：面对信息不完整、存在静默冲突或未文档化环境时的逆向与侦测能力（如逆向未公开 Web API 提取字段、排查冲突的 Shell 环境配置、从候选集依据定量约束做排除性溯源），要求智能体输出完整的探索审计证据链，区分真实探究与凭空猜测； - 长上下文推理（Long-Context Reasoning）：横跨多个网页、长视频、长 PDF 与多源通讯记录，在分散且存在冲突的信息流中维持全局约束与状态一致性（如多平台耳机评测参数比对与价格验真、多约束行程路线规划）； - 多模态理解（Multimodal Understanding）：针对图像、视频、音频非文本载体的视觉定位与跨模态生成（如复现学术论文中的复杂图表、根据食材照片制定烹饪方案并保存截图证明），其真值严格依赖非文本模态； - 跨平台协调（Cross-Platform Coordination）：跨越浏览器、终端、桌面 GUI、笔记软件与文献管理器的跨边界操作与状态同步（如阅读 PDF、在 Zotero 创建条目、导出 BibTeX 并同步写入本地 Obsidian 知识库）。

评测基准包含 400 个中英双语任务（每种能力中英各 40 篇），每个任务均封装为包含公开发布指令、前置数据环境、预装工具技能、预期交付格式以及隐藏验证规则的完整任务包。

2. 动态细粒度检查点评测机制：破解真实世界动态真值缺失

在实时联网与动态软件环境中，传统的静态真值匹配机制面临脆弱性。UniClawBench 完全摒弃了预录固定答案的评测范式，引入分步递进的细粒度检查点评测机制（Step-by-Step Completion Checkpoints）。每个任务均定义了关键执行节点必须留存的可观测中间证据与产物规范。

隐式监督智能体（Supervisor）基于 GPT-5.4 驱动，拥有完整的检查点打分细则与私有基准参考。每轮评估时，监督者独立检查执行者生成的环境状态、文件哈希、操作轨迹与关键中间状态，并给出结构化的三元裁决： - pass：全部检查点满足，任务成功达成； - fail：出现不可逆转的致命错误（如破坏了底层数据或任务目标已无法达成）； - continue：当前进展存在缺陷或不完整，但剩余步骤在后续轮次中仍可挽回修复。

同时，监督者依据达成的检查点比例计算连续的平均得分（Average Score, AS）。对于全局超时（常规任务 30 分钟，长上下文 45 分钟）或单轮超时的任务，系统按其已完成轮次中达到的最高检查点分数结算，保留智能体的局部有效进展，既保证了评测的严谨性，又真实度量了复杂长程链条的完成深度。

3. 三角色信息防火墙闭环交互架构：高保真模拟人机交互且严防泄题

为了让智能体在多轮迭代中展现自我修复与按反馈调整的能力，必须引入用户模拟者，但这通常伴随着将评分标准泄露给被测模型的风险。UniClawBench 首创了三角色信息隔离防火墙设计：

执行者（Executor）：仅接触公开环境、任务指令及交互式提示，完全屏蔽任何打分细节与隐藏预期；
监督者（Supervisor）：掌握全部评测规则与私有参考，独立阅卷，但其生成的详细理由绝不直接透传至交互端，仅向防火墙外部输出最粗粒度的状态信号（pass / fail / continue）；
用户模拟者（User Simulator）：扮演普通终端用户角色，完全无法查看监督者的评判细则或参考答案，仅依据被测智能体当前暴露的可见操作轨迹、输出产物以及监督者的粗粒度状态信号，像真实人类一样提出合乎情理的追问、遗漏指正或修改建议；
反馈重写器（Feedback Rewriter）：在模拟用户反馈送回执行者前进行严格清洗，剔除任何可能包含特权提示（Privileged Hints）或越界指示的表述，确保交互内容兼具自然性与安全性。

该机制成功打破了信息泄露与自然反馈之间的悖论，使得评测兼具工业级沙盒的严格可复现性与真实协作环境的交互动态性。

损失函数 / 训练策略¶

作为纯评测基准，UniClawBench 本身不涉及模型参数训练。其评测执行采用高度标准化的基准运行规范： 1. 硬件与环境隔离：所有任务在 Intel Core i7-13700、16GB 宿主机上运行，每个独立 Docker 容器配置 2GB 内存配额，保证资源一致性与防干扰隔离。 2. 时间预算管理：常规任务设置 30 分钟全局超时与 20 分钟单轮超时；长上下文任务扩展至 45 分钟全局超时与 30 分钟单轮超时，单任务平均运行时间约 17.4 分钟。 3. 评测指标定义：核心指标包括通过率（Pass Rate, PR，达到最终 pass 的任务百分比）与检查点平均得分（Average Score, AS，监督者依据细粒度检查点判定的归一化得分均值）。

实验关键数据¶

主实验：跨模型能力评测（基于统一 OpenClaw 框架）¶

为了完全剥离模型本征能力与智能体框架设计的耦合，论文首先在统一的 OpenClaw（v2026.3.11）框架下横向对比了 10 款主流前沿模型（涵盖闭源顶尖模型与开源代表模型）。评测采用 GPT-5.4 作为隐式监督者与用户模拟者。

模型	技能使用 (PR / AS)	开放探索 (PR / AS)	长上下文 (PR / AS)	多模态 (PR / AS)	跨平台 (PR / AS)	全局综合 (PR / AS)
Claude Opus-4.8	0.550 / 0.829	0.825 / 0.928	0.438 / 0.576	0.175 / 0.493	0.388 / 0.686	0.475 / 0.702
Claude Sonnet-4.6	0.512 / 0.873	0.812 / 0.913	0.400 / 0.649	0.212 / 0.626	0.338 / 0.753	0.455 / 0.763
GPT-5.4	0.512 / 0.845	0.775 / 0.897	0.225 / 0.705	0.175 / 0.617	0.350 / 0.804	0.407 / 0.774
Kimi-2.6	0.438 / 0.834	0.775 / 0.884	0.287 / 0.655	0.075 / 0.494	0.237 / 0.679	0.362 / 0.709
Gemini-3.1-Pro	0.300 / 0.769	0.850 / 0.947	0.188 / 0.646	0.163 / 0.583	0.125 / 0.690	0.325 / 0.727
Qwen-3.5-Plus	0.300 / 0.771	0.787 / 0.915	0.200 / 0.648	0.075 / 0.583	0.225 / 0.737	0.318 / 0.731
Gemini-3.0-Flash	0.287 / 0.750	0.800 / 0.899	0.163 / 0.621	0.087 / 0.544	0.075 / 0.678	0.282 / 0.698
GPT-5.4-Mini	0.188 / 0.681	0.688 / 0.834	0.100 / 0.498	0.062 / 0.454	0.037 / 0.615	0.215 / 0.616
Gemini-3.1-Flash-Lite	0.050 / 0.569	0.600 / 0.835	0.062 / 0.374	0.037 / 0.409	0.025 / 0.530	0.155 / 0.543
GPT-4.1	0.075 / 0.492	0.512 / 0.769	0.075 / 0.338	0.075 / 0.418	0.025 / 0.425	0.152 / 0.488

消融与对比实验：跨框架架构性能对比与开销分析¶

为深入探究智能体框架架构如何影响底层模型能力的释放，研究选取三款代表性模型（GPT-5.4、Claude Opus-4.8、Kimi-2.6），分别在单智能体集中式架构（OpenClaw）、多智能体看板式编排架构（EDICT）和超轻量级架构（Nanobot）下进行全量任务评测。

模型	智能体框架	技能使用 (PR/AS)	开放探索 (PR/AS)	长上下文 (PR/AS)	多模态 (PR/AS)	跨平台 (PR/AS)	全局 PR	全局 AS	输入 Token (M)	输出 Token (k)
GPT-5.4	OpenClaw	0.512 / 0.845	0.775 / 0.897	0.225 / 0.705	0.175 / 0.617	0.350 / 0.804	0.407	0.774	1.15	11.0
	EDICT	0.375 / 0.791	0.725 / 0.883	0.212 / 0.693	0.125 / 0.559	0.250 / 0.792	0.338	0.744	1.68	18.3
	Nanobot	0.338 / 0.684	0.675 / 0.819	0.150 / 0.569	0.050 / 0.499	0.237 / 0.630	0.290	0.640	0.57	9.5
Claude Opus-4.8	OpenClaw	0.550 / 0.829	0.825 / 0.928	0.438 / 0.576	0.175 / 0.493	0.388 / 0.686	0.475	0.702	0.78	16.4
	EDICT	0.475 / 0.751	0.713 / 0.838	0.362 / 0.583	0.175 / 0.576	0.350 / 0.687	0.415	0.687	2.15	42.7
	Nanobot	0.525 / 0.766	0.787 / 0.867	0.338 / 0.548	0.037 / 0.264	0.237 / 0.488	0.385	0.587	0.49	16.2
Kimi-2.6	OpenClaw	0.438 / 0.834	0.775 / 0.884	0.287 / 0.655	0.075 / 0.494	0.237 / 0.679	0.362	0.709	1.09	22.9
	EDICT	0.388 / 0.813	0.725 / 0.868	0.250 / 0.601	0.075 / 0.506	0.163 / 0.686	0.320	0.695	2.53	51.5
	Nanobot	0.263 / 0.684	0.725 / 0.847	0.200 / 0.501	0.050 / 0.317	0.150 / 0.519	0.278	0.573	0.86	21.3

关键发现¶

“半途失效”（Halfway Failure）普遍存在：所有测试模型的最终通过率均严格低于 50%（顶尖模型最高仅 47.5%），但其实验平均检查点得分大多高达 0.70~0.77。这表明现有模型在单步理解和局部推进上已具备相当水准，但在面对真实长程链条时，缺乏从非致命错误中自我纠偏的鲁棒性，极易发生不可逆中断。
基础能力分化极其剧烈：模型在“开放探索”（PR 可达 0.77~0.85）和“技能使用”（PR 约 0.40~0.55）上表现较好，但在“长上下文推理”（PR 仅 0.20~0.44）、“跨平台协调”（PR 仅 0.12~0.39）以及“多模态理解”（PR 暴跌至 0.07~0.21）上面临严峻瓶颈，表明跨软件边界的状态保持与像素级证据溯源是目前智能体的关键短板。
框架选择的影响甚至超过模型选型：集中单智能体框架（OpenClaw）在所有测试中显著优于多智能体架构（EDICT）和超轻量框架（Nanobot）。EDICT 因多智能体之间基于离散轮询的任务分发存在严重“协作摩擦”（Coordination Friction），子智能体状态丢失频发且 Token 开销激增 2~3 倍；Nanobot 极度精简上下文虽然节省了一半 Token，但在长程推理与细粒度验证中频现断裂。
多轮闭环交互具有显著增益：随着轮次递进（Follow-up Cycles），智能体在用户自然反馈引导下的成功率持续攀升，充分证实了引入闭环用户模拟机制对评测真实协作潜力的必要性。
人机评测高一致性验证：在 50 条随机抽样执行轨迹的人类专家盲审中，自动评测系统的 pass/fail 裁决与人类专家多数票达成 92.0% 的高度一致，AS 得分与人类连续评分的皮尔逊相关系数达 \(r=0.71\)，斯皮尔曼系数达 \(\rho=0.68\)，证明了基于 LLM 的隐式监督机制具有很高的可信度。

亮点与洞察¶

正交能力解耦替代模糊场景分类：摒弃泛化的行业领域标签，从技能、探索、长文、多模态、跨平台五大核心维度构建任务，为智能体失败提供了精准的诊断归因手段。
信息防火墙三角色闭环机制：巧妙地将监督者的客观真值校验与用户模拟者的主观自然反馈在物理上隔离，既模拟了真实多轮协作纠偏，又杜绝了评测提示污染。
跨框架解耦评测视角：不仅测模型、更测框架，首次系统揭示了多智能体协作框架中的“协调内耗”与轻量框架的“上下文缩水”对模型实际表现的制约。

局限与展望¶

任务规模受限：目前基准包含 400 个纯手工精细构造的任务，虽保证了高信息密度与真实性，但相对于模型评测的泛化性需求而言规模仍有待进一步扩充。
动态活体环境的不稳定性：部分外部网站存在网络抖动、页面改版或反爬风控风险，可能对评测结果的可复现性带来偶发干扰。
基于模型自身监督的潜在偏差：监督者与用户模拟者均依赖顶尖商业模型（GPT-5.4），评测成本较高，且对更小众长尾指令的评判可能残留模型固有的归纳偏好。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出面向主动式智能体的五维正交能力基准与三角色信息防火墙闭环评测范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 10 款主流大模型与 3 种代表性智能体架构，提供了详尽的维度解耦评测、Token 开销分析与专家一致性检验。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰，问题剖析透彻，评测动机与系统设计环环相扣。
价值: ⭐⭐⭐⭐⭐ 为主动式智能体从沙盒玩具走向真实数字化同事提供了关键的标准化评测基石与架构优化指南。