General Agent Evaluation

会议: NeurIPS 2026
arXiv: 2602.22953
代码: https://www.exgentic.ai
领域: LLM Agent
关键词: 通用智能体评估, 统一协议, Exgentic基准框架, 全因子分析, 通用性陷洞

一句话总结

IBM 与 MIT 团队构建了首个通用智能体评估基准 Exgentic 与统一协议 Unified Protocol，在 5 种智能体架构 × 5 款基座模型 × 6 大基准上开展全因子评测，发现顶尖通用智能体在 4/6 领域媲美领域定制专家，但开源模型在特定架构与高维工具空间存在显著的“通用性陷洞”。

研究背景与动机

近年来以大语言模型为驱动的智能体在软件工程、网络浏览、跨软件工作流等任务中取得了瞩目进展。然而现有成果绝大多数依赖深度的人工先验与领域定制，针对特定基准重写执行脚手架。与之相对，真实世界的多样化场景迫切需要无需人工定制即可直接部署到未知环境中的通用智能体（General-Purpose Agents）。

现有的评估基础设施无法满足通用智能体的测评需求，核心痛点体现为两大技术鸿沟：第一是框架孤岛，现有评测框架要么固化为单一通信协议（如 BrowserGym 强制 Web 界面，Harbor 强制命令行终端），要么如 Inspect 需要为每个基准手动配置工具集、沙盒和求解器；第二是基准内嵌假设，现存基准（如 SWE-Bench、\(\tau^2\)-Bench）通常将任务信息、环境语义与特定的提示词或交互粘合剂深度绑定，假定智能体对基准交互细节具备先验认知，从而无法直接接入未经修改的原生智能体。

这就导致长期以来学界无法解耦基座模型、智能体骨架（Scaffold）与环境本身的相对贡献。本文的核心 idea 是通过构建最小正交的统一协议 Unified Protocol 与 Exgentic 评测框架，将异构基准解耦为「任务-上下文-动作」规范三元组，从而在零人工定制的前提下实现任意黑盒智能体与异构基准的即插即用全因子评测。

方法详解

整体框架

Exgentic 的核心设计是充当基准与智能体之间的“窄腰”（Narrow Waist）中介层。基准侧无论采用 Python API、Bash 终端、还是多轮对话，均被解耦并映射为任务（Task）、上下文（Context）和动作集（Actions）构成的标准实例；智能体侧无论原生采用函数调用（Tool Calling）、代码生成（Code Generation）还是模型上下文协议（MCP），均通过外部适配器（Adaptor）接入统一协议。评测协调器（Orchestrator）以独立进程运行两者，在隔离沙盒内调度观察反馈与动作分发，完全保留各方原生行为与语义。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["异构基准任务源<br/>SWE-Bench / τ²-Bench / AppWorld"] --> B["统一协议实例映射<br/>解耦为 Task / Context / Actions"]
    B --> C["Exgentic 协调与沙盒调度<br/>双向观察与动作循环分发"]
    C --> D["智能体外部适配层<br/>Tool-Calling / MCP / Python / CLI"]
    D --> E["黑盒原生智能体执行<br/>OpenAI Solo / Claude Code / Smolagent / ReAct"]
    E -->|动作调用与反馈| C
    C --> F["全因子产物沉淀<br/>评测排行榜 / 成本收益曲线 / 错误归因"]

关键设计

1. 统一协议表示：任务、上下文与动作的最小正交抽象

针对现有基准中隐式假设与交互逻辑相互纠缠的痛点，统一协议将环境交互严格分解为三元组：任务描述 \(T\)、背景上下文 \(C\) 以及环境允许的动作集合 \(A\)。任务字段明确定义智能体的宏观目标与规则边界，过滤掉依赖特定工具调用格式的指令；上下文提供辅助静态信息（如客户服务政策、环境变量、模拟时间戳）；动作集合 \(A\) 则将环境提供的每个 API 封装为带强类型签名的操作原语。针对现实交互中高频存在的交互模式，协议额外支持指定单一用户对话动作（Message Action）与完成退出动作（Finish Action），从而在形式上覆盖了从终端交互到离散函数调用的全集。

2. 协议外挂适配器与无侵入黑盒编排

针对侵入式修改代码难以维护且可能篡改原生行为的难题，Exgentic 采用外部适配器（Adaptor）模式隔离实现。基准适配器负责将基准的原生状态转换为统一实例，例如将 SWE-Bench 映射为执行命令的 bash 动作和提交补丁的 finish 动作；智能体适配器则仅依据自身协议向模型呈现动作空间，如将统一动作动态编译为 Python 顶级函数（供 Smolagent 生成代码调用）、OpenAI Tool 结构体（供 ReAct 调用）或挂载为标准 MCP 工具服务（供 OpenAI Solo 与 Claude Code 调用）。评测协调器充当中央消息总线，串联会话上下文与多轮观察循环，并在达到 100 轮上限或无动作时终止运行。

3. 工具候选缩减机制（Tool Shortlisting）

针对部分应用基准（如 AppWorld 暴露多达 468 个 API）超过基座大模型单次提示词上下文与工具容量上限的问题，设计了工具预筛选模块。在进入核心推理步骤前，若可用工具数量 \(|A| > k\)（实现中设阈值 \(k=30\)），先触发一次结构化的短提示词过滤调用，要求模型依据当前多轮交互历史从完整工具名录中挑出最相关的 \(k\) 个候选工具：

{
  "tools": ["tool_name_1", "tool_name_2", "...", "tool_name_k"]
}

仅将过滤后的 \(k\) 个工具的完整 Schema 送入主推理步骤。该设计成功帮助单次请求上限 128 个工具的基座模型解除了物理阻断，并显著降低了顶尖模型的单步推理 Token 成本。

4. 智能体架构全因子矩阵与组件消融

为严格拆解智能体性能来源，研究建立了 5 类智能体架构（ReAct、带工具缩减的 ReAct Short、代码生成型 Smolagent、基于 MCP 独立模式的 OpenAI Solo、CLI 演化的 Claude Code）与 5 款骨干模型（Claude Opus 4.5、Gemini 3 Pro、GPT 5.2 以及开源权重 DeepSeek-V3.2、Kimi-K2.5）的正交测试阵列。同时从执行运行时（Runtime）、工具 Schema 校验守卫（Schema Guard）、记忆存储（Memory）及显式规划（Planning）四个维度标注各架构组件，为跨模型定位架构增益提供了标准变量控制。

实验关键数据

主实验

在涵盖软件工程（SWE-Bench Verified）、复杂检索（BrowseComp+）、个人多应用助理（AppWorld）以及电商、航空、电信领域客户支持（\(\tau^2\)-Bench）的 6 个基准上，对全部 25 种配置进行了系统评估（每个基准抽样 100 个任务实例，\(\tau^2\)-Airline 为 50 实例）。

下表展示了全因子评测中具有代表性的智能体架构与模型组合的成功率（二值指标），以及加权平均成功率和单任务平均美元成本：

排名	智能体架构	基座模型	AppWorld	BrowseComp+	SWE-Bench	\(\tau^2\)-Air	\(\tau^2\)-Ret	\(\tau^2\)-Tel	综合均分	单任务成本
1	OpenAI Solo	Claude Opus 4.5	0.68	0.61	0.81	0.74	0.85	0.84	0.73	$8.5
2	Claude Code	Claude Opus 4.5	0.66	0.53	0.74	0.66	0.83	0.76	0.67	$8.0
3	Smolagent	Claude Opus 4.5	0.70	0.61	0.65	0.72	0.78	0.58	0.66	$4.4
4	ReAct Short	Gemini 3	0.55	0.48	0.71	0.70	0.82	0.73	0.62	$0.7
7	ReAct	Claude Opus 4.5	0.61	0.49	0.61	0.66	0.78	0.76	0.61	$5.8
10	Smolagent	Gemini 3	0.13	0.57	0.76	0.68	0.75	0.88	0.56	$1.8
11	ReAct Short	GPT 5.2	0.22	0.46	0.57	0.54	0.73	0.53	0.46	$0.3
12	ReAct	DeepSeek-V3.2	0.09	0.36	0.69	0.56	0.82	0.71	0.46	$0.4
15	ReAct	Kimi-K2.5	0.09	0.34	0.57	0.62	0.65	0.83	0.43	$0.5
21	OpenAI Solo	GPT 5.2	0.00	0.48	0.55	0.50	0.53	0.53	0.39	$0.2
23	OpenAI Solo	DeepSeek-V3.2	0.06	0.30	0.74	0.20	0.19	0.18	0.32	$0.1
25	OpenAI Solo	Kimi-K2.5	0.08	0.35	0.57	0.00	0.01	0.00	0.25	$0.2

通用智能体与领域定制专家对比

下表对比了通用智能体最优配置与原始排行榜上经过深度定制的领域专属智能体（Domain-Specific SOTA）表现：

评估基准	通用智能体最优配置	通用智能体得分	领域专属专家得分	统计差异判定
SWE-Bench Verified	OpenAI Solo + Claude Opus 4.5	0.81	0.79	无显著差异 (反超 2pp)
BrowseComp+	Smolagent + Claude Opus 4.5	0.61	0.80	专属专家领先 (-19pp)
\(\tau^2\)-Bench Airline	OpenAI Solo + Claude Opus 4.5	0.74	0.73	无显著差异 (反超 1pp)
\(\tau^2\)-Bench Retail	OpenAI Solo + Claude Opus 4.5	0.85	0.86	无显著差异 (-1pp)
\(\tau^2\)-Bench Telecom	Smolagent + Gemini 3	0.88	0.98	专属专家领先 (-10pp)
AppWorld	Smolagent + Claude Opus 4.5	0.70	0.73	无显著差异 (-3pp)

关键发现

1. 方差归因与架构敏感度：对闭源模型配置的方差分析表明，基座模型贡献了解释方差的 \(27.8\%\)（\(p < 10^{-10}\)），而智能体架构主效应仅解释 \(0.5\%\)（交互项占 \(5.4\%\)）。然而在固定基座模型内部，架构选择依然会引发高达 12pp 的性能波动。
2. 开源模型的通用性陷洞（Generality Sinks）：
   • 架构陷洞：在 \(\tau^2\)-Bench 上，Kimi-K2.5 与 DeepSeek-V3.2 搭配自主型架构（Claude Code、OpenAI Solo）时成功率断崖式跌至 0.00，原因在于模型在首轮直接输出自然语言对话而非强制工具调用，导致协议违规即刻判负；而换用结构化调用的 ReAct 则可正常斩获 0.83 的高分。
   • 基准陷洞：在动作空间庞大（约 468 个 API）的 AppWorld 环境中，两款开源模型在所有架构下均出现能力崩塌（最高仅 0.13）。
3. 架构特异性失败模式：对 2,868 条失败轨迹的 ErrorMap 聚类分析显示，虽然各架构成功率接近，但错误类型呈现高度结构化分流：Claude Code 与 OpenAI Solo 显著表现为「过早终止」（Premature Termination），ReAct 架构显著倾向于「检索证据遗漏」（Evidence Retrieval Omission），而 Smolagent 则主要受挫于「检索恢复与调整」（Search Recovery）。

亮点与洞察

• 解耦基准与智能体协议的“窄腰”设计：通过统一协议将异构基准的标准输入输出规范化，评测框架无需针对每个环境硬编码 Agent Solver，真正实现了即插即用评估。
• 揭示了通用智能体对抗专属定制的生存空间：在 6 个主流基准中的 4 个上，未经任何领域微调与提示工程的通用智能体达到了与顶级定制专家无统计差异的水平，证明通用智能体具备极高工程落地价值。
• 精准捕捉协议层与 API 限制的“隐性断崖”：实验清晰界定了 GPT 5.2 因 128 工具硬限制在 AppWorld 的零分假象，以及开源模型在首轮协议遵从性上的脆弱性，为智能体框架设计指明了架构容错方向。

局限与展望

• 测试规模受限：受制于高昂的 API 成本（本轮全因子耗资约 2 万美元），各基准采用 100 任务抽样，单个单元格的 Wilson 置信区间较宽（\(\pm 7 \sim 13\text{pp}\)）。
• 模态与动作连续性限制：当前协议主要针对离散符号与文本动作空间，尚未覆盖连续控制、多模态屏幕操作（GUI GUI-grounded）等动态交互环境。
• 未来方向：拓展多模态通用接口，为开源模型探索低开销的先验自愈与协议容错层，提升复杂状态下的长程规划稳定性。

相关工作与启发

• vs HAL / Inspect：HAL 与 Inspect 为评测提供了底层沙盒与任务框架，但仍需要评测人员针对每个基准手工组装 Solver 与工具链；Exgentic 在其上层构建了协议中介，实现跨协议无缝直连。
• vs BrowserGym / Harbor：BrowserGym 局限于浏览器 DOM 协议，Harbor 局限于 CLI 终端协议；Exgentic 不强制任何单向通信通道，原生兼容函数调用、MCP、Python 和 Bash。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 建立了首个面向通用多领域智能体的无侵入统一评测协议与多协议适配层。
• 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 5 种架构 × 5 款前沿模型 × 6 大异构基准的全因子矩阵评测，并辅以详尽的失败归因。
• 写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨，分析深入，清晰解构了模型方差与架构敏感度的交互关系。
• 价值: ⭐⭐⭐⭐⭐ 为智能体领域的标准化评测提供了关键基础设施与公允的基准参照体系。

相关论文

• [NeurIPS 2026] AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation
• [NeurIPS 2026] CTM-AI: A Blueprint for General AI Inspired by a Model of Consciousness
• [NeurIPS 2026] Deep Reasoning in General Purpose Agents via Structured Meta-Cognition
• [NeurIPS 2026] Agentick: A Unified Benchmark for General Sequential Decision-Making Agents
• [NeurIPS 2026] From Intent to Evidence: A Categorical Approach for Structural Evaluation of Deep Research Agents