Agents' Last Exam¶

会议: NeurIPS 2026
arXiv: 2606.05405
论文: https://arxiv.org/abs/2606.05405
代码: https://github.com/agents-last-exam/ale
领域: LLM Agent
关键词: 智能体评测, 计算机使用智能体 (CUA), 真实工业工作流, 长程规划, 确定性验证

一句话总结¶

联合 250 多位行业专家构建了覆盖 13 个行业大类、55 个细分子领域的万级真实工业工作流评测基准 ALE，揭示出主流前沿通用计算机使用智能体在最难工业任务上的全通过率低于 1%。

研究背景与动机¶

近年来前沿 AI 系统在诸多知名基准测试中捷报频传，从世界冠军级游戏对抗、国际数学奥林匹克到顶尖编程竞技，不断刷新人类记录。然而在衡量技术实际价值的终极标尺——宏观经济产出与各核心工业场景中，AI 带来的实际转型却远未如预期般爆发。这种“基准屡创佳绩与产业经济落地停滞”之间的鸿沟，暴露出当前大模型与智能体评估体系的根本性效用缺陷：现有评测大多依赖孤立的选择题、简短的单步 GUI 点击或合成的虚拟环境，严重缺乏针对长程规划、高复杂度、涉及真实复杂专业软件和客观可验证结果的真实工作流评测。

构建契合真实工业场景的评测基准面临三重严苛壁垒：第一，长程真实工作流采集代价极高，必须源自专业机构在实际生产中使用专业桌面软件的具体项目；第二，跨领域真实工业覆盖极难，需要持续协同各行业资深专家并参照标准职业分类系统梳理数字化工作流；第三，验证逻辑异构且极其复杂，真实工业产物涵盖 CAD/CAM 刀轨、财务报表、3D 模型、游戏世界状态等多样化形态，过去往往依赖昂贵且主观的人工评分（如 GDPval 和 Remote Labor Index），难以实现大规模自动化确定性判别。

本文的切入角度是打破 GUI 与 CLI 的人为割裂，联合产业界专家系统化锚定美国联邦职业分类体系 SOC 2018 / O*NET，将专业人员实际交付的端到端真实项目封装进标准化虚拟机沙盒。核心 idea：基于职业分类系统构建覆盖 55 个数字子领域的真实工业长程工作流评测基准 ALE，以通用计算机使用智能体（GCUA）为评测对象，采用解耦沙箱架构与“前置门禁-连续打分”确定性验证范式，构建真正衡量 GDP 级产业落地能力的终极考核。

方法详解¶

整体框架¶

ALE 的评测系统围绕任务规范（Task Specification）、智能体（Agent）和运行环境（Environment）三者的高度解耦展开。评测对象为统一融合了视觉感知、代码执行、工具调用与长程规划的通用计算机使用智能体（GCUA）。在每个任务实例生命周期中，评测平台先通过 load() 声明任务计算配置并分配 GCP 虚拟机，再通过 start() 部署 deterministic 初始状态，智能体在只读输入目录和专业工业软件环境中执行交互循环并将产物输出到唯一可写目录，最终通过 evaluate() 调取隐藏参考真值并执行确定性校验打分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["专家真实工业项目提交<br/>55个O*NET子领域/13个行业大类"] --> B["五阶段质量控制流水线<br/>初筛/工程实现/专家委员会终审"]
    B --> C["三解耦沙箱评测架构<br/>任务规范 load / start / evaluate"]
    C --> D["通用CUA智能体执行回路<br/>GUI-as-Tool统一14个桌面操作工具"]
    D --> E["双轴多模态结果验证机制<br/>门禁-打分范式 + 确定性代码评分"]
    E -->|评测产出| F["分层阶梯难度基准与综合得分<br/>Near-Term / Full-Spectrum / Last-Exam"]

关键设计¶

1. 五阶段质量控制流水线：专家真实交付物沉淀与去合成化

针对现有基准多采用人工合成任务或极简操作指令导致失真的痛点，ALE 拒绝由非专业众包人员编造任务，而是通过产业顾问委员会直连 250 多位各行业资深从业者，要求专家上传其在职业生涯中实际耗费数天乃至数周完成的成熟项目。整个采集准入设定了严格的五道门禁：专家定向招募（Expert Sourcing）、平台结构化提交（Task Submission & Editing）、会议级标准初筛（First-pass Review，分为重大修改/接受等档次）、工程化沙盒复现与干跑（Task Implementation & Engineer Dry-run），以及由专家委员会主持的终审（Final QC & Acceptance）。通过严格校准评估边界公差，确保题目背景充分且参考真值无误，从源头上保障了工作流的代表性、复杂性与确定可验证性。

2. 三解耦沙箱评测架构：统一四目录契约与三阶段生命周期

为了让任意不同架构的智能体与异构的计算后端（云端 GCP 虚拟机与本地容器）能够无缝对接，ALE 提出了三解耦架构，并在虚拟机中严格实行四目录文件隔离契约：只读资产目录 input/、预装工业软件及依赖目录 software/、智能体唯一允许写入的成果目录 output/，以及智能体运行期间严格隔离的隐藏真值目录 reference/。每个任务由一个标准化的 main.py 驱动，其生命周期严格由三个函数切分：load() 纯声明式返回环境配置（CPU/GPU 需求与系统类型）；start() 负责自动拉起受控的专业桌面软件并置入初始化素材；evaluate() 则在智能体宣布完成后提取输出产物进行自动化计算打分，彻底杜绝了模型走捷径访问真值或修改评测逻辑的可能。

3. 通用 CUA 智能体执行回路：GUI 与 CLI 统一融合与桌面工具桥接

针对传统 CLI 智能体缺乏视觉感知（Eyes）、而普通 GUI 智能体缺乏代码执行、文件系统修改与长程编排能力（Body/Hands/Feet）的断层，ALE 明确将评测目标定义为五层能力完备的通用计算机使用智能体（GCUA）。在评测底座中，通过构建标准化的 CUA MCP 桥接协议，将 14 个底层桌面操作（涵盖键盘按键组合 key/hold_key、文本键入 type、鼠标精准移动 mouse_move/click/drag/scroll、屏幕截图 screenshot 及坐标获取等）封装为工具原语，与 Bash 命令、文件读写、网络搜索和子智能体派发挂载在同一个行动回路中。这使智能体不仅能在终端中编译调试脚本，还能自由切换到 PowerMill、LibreOffice、RPGMaker 等专业 GUI 软件界面展开端到端作业。

4. 双轴多模态结果验证机制：门禁-打分范式与确定性代码打底

面对物理仿真、财务报表、3D 网格、逆向工程等极度异构的产物空间，ALE 坚决排斥软性泛化的“LLM-as-judge”主观评分，建立了由比较形式与合成模式组成的双轴验证体系。在比较形式上优先采用确定性代码（精准 Hash 匹配、带公差清单的结构化数值对比、STL 表面采样几何间距算法及系统回放状态转储等），全基准中代码确定性评分占比高达 93.2%；仅在无客观物理指标的 6.8% 视听生成任务中引入针对具体瑕疵的原子级视觉定向布尔探针。在合成模式上广泛采用“门禁-打分”（Gate-and-Score）机制，例如在数控加工刀轨评测中，前置硬门禁判定是否存在刀具碰撞或过切，一旦碰撞直接归零；仅当门禁通过后，才计算加工几何体与参考真值在指定公差带内的表面贴合度，防止生成表面看似相似但存在致命功能缺陷的产物套取分数：

\[\text{score} = \mathbb{I}(\text{collision} = 0) \times \left( 0.70 \cdot \mathrm{frac\_within}(0.3\,\text{mm}) + 0.30 \cdot \mathrm{frac\_within}(2.0\,\text{mm}) \right)\]

实验关键数据¶

主实验¶

在 ALE 官方测试集上，针对主流智能体架构（Cursor、ALE-Claw、Codex、Claude Code 等）及前沿基座大模型（GPT-5.5、Claude Opus 4.7/4.8、Fable 5 等）在三大难度层级上进行了全面评估。全基准设置单任务 5 小时运行上限。

智能体配置 (Harness + Backbone)	Near-Term (67题) 通过率 (%)	Near-Term 均分	Full-Spectrum (55题) 通过率 (%)	Last-Exam (38题) 通过率 (%)	全局总通过率 (%)	评测总成本 ($)
Codex (GPT-5.5)	38.1	64.7	22.7	0.0	24.0	$570
ALE-Claw (GPT-5.5)	32.8	67.4	23.6	2.6	23.0	$326
Claude Code (Fable 5)	34.3	63.4	20.9	0.0	22.0	$2402
Cursor (GPT-5.5)	32.1	60.8	20.0	2.6	20.7	$180
Cursor (Opus 4.7)	29.9	61.2	20.0	2.6	20.4	$2012
ALE-Claw (Opus 4.7)	28.4	60.5	18.2	0.0	18.4	$1164
Claude Code (Opus 4.8)	26.9	60.2	10.9	0.0	15.8	$1894
Claude Code (Opus 4.7)	20.9	54.3	12.7	0.0	13.2	$1928
Gemini CLI (Gemini 3.1 Pro)	26.9	53.5	12.7	0.0	15.8	$2037
Grok CLI (Grok 4.3)	9.0	30.4	7.3	0.0	6.6	$296

在 Linux 独占的纯命令行子集 ALE-CLI（共 105 个任务）对比中，在 Terminal-Bench 上斩获 82% 高分的前沿配置 Codex (GPT-5.5) 在 ALE-CLI 上的整体通过率骤降至 23.3%，其余开源命令行智能体（如 ForgeCode、Hermes、Terminus、OpenHands）的通过率仅在 9.0%–13.3% 之间徘徊，验证了真实长程任务对传统纯命令评测的代际难度压制。

消融与归因分析¶

论文对模型骨干与外围工程 Harness 的相对贡献进行了正交分解，并对失败用例展开了双层根因分类：

评估维度 / 配置组合	整体通过率极差 (pp)	均分范围 (%)	核心表现与说明
固定 OpenClaw，横跨 12 款模型骨干	16.8 pp (4.3% ~ 21.1%)	24.4% ~ 65.7%	基座模型决定核心上限，GPT-5.5 与 Opus 4.7 显著领跑
固定 GPT-5.5 骨干，横跨 5 款 Harness	4.9 pp (19.1% ~ 24.0%)	58.2% ~ 67.4%	工程层（提示词/上下文压缩）表现相对收敛
固定 Opus 4.7 骨干，横跨 3 款 Harness	7.2 pp (13.2% ~ 20.4%)	54.3% ~ 61.2%	Cursor 表现略优于 ALE-Claw 与 Claude Code
失败归因：方案策略偏离 (Approach)	占比 47%	-	30% 误选策略，17% 提前放弃或未交付结果
失败归因：专业领域认知缺失 (Understanding)	占比 31%	-	25% 源于行业专业知识盲区，6% 出现事实幻觉
失败归因：实现与输出异常 (Execution)	占比 22%	-	10% 格式错误，8% 逻辑实现 Bug，4% 桌面交互失败

关键发现¶

最难层级全面沦陷：在最具工业价值的 Last-Exam（38 项最难工作流）评测中，所有被测智能体系统的全通过率近乎全军覆没（绝大多数录得 0.0%，仅个别配置达到 2.6%），均分仅在 5%~12% 之间，充分证明该基准具备极高的长期评测天花板。
资源消耗与性能高度脱节：高昂的 API 账单和 Token 消耗并不能直接换取高分。例如 Claude Code 搭配 Fable 5 消耗了超过 $2,400 成本但均分与仅花费 $326 的 ALE-Claw (GPT-5.5) 相当；甚至更长耗时的运行往往因为进入无效试错循环导致超时。
GUI 工具利用率严重不足：虽然有 34% 的任务明确指定了图形界面工业软件作为主力工具，但大部分智能体倾向于强行退回到 Bash 命令行编写临时脚本，反映出当前模型在复杂工业 GUI 认知和精细桌面操作能力上的严重短板。

亮点与洞察¶

严格锚定标准职业分类的产业代表性：不靠作者主观挑选任务，而是严格映射 SOC 2018 / O*NET 职业代码，彻底覆盖了 55 个数字化子领域，弥补了此前没有任何基准能完整覆盖真实知识工作流的巨大空白。
用确定性代码与物理公差驱逐 LLM-as-judge：高达 93.2% 的任务通过文件字节哈希、仿真碰撞门禁和 3D 点云公差完成打分，从根本上解决了大模型评测漂移、打分虚高及不可复现的行业痛点。
统一解耦的 CUA 评测生命周期范式：提出的 load/start/evaluate 三阶段协议与四目录物理隔离，为后续构建跨平台、可扩展的自主桌面智能体沙盒基准提供了可直接复用的基础设施模板。

局限与展望¶

物理世界与线下交互的天然缺失：受限于纯计算机沙盒环境，ALE 无法评估涉及实体制造装配、现场传感器标定以及跨组织人际商务谈判等物理/社交层面的真实流程。
长程交互的虚拟机成本与超时瓶颈：单次任务评测上限长达 5 小时，单个系统全量测试耗资上千美元，庞大的虚拟机开销对学术界普通团队的日常密集快速迭代构成了较高的算力门槛。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性基于国家级职业体系定义长程端到端通用计算机智能体工业评测基准。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 16 款智能体与模型组合，对上千任务实例展开数千小时严谨测试与双层根因归因。
写作质量: ⭐⭐⭐⭐⭐ 架构界定明晰，任务收集与评测机制推导严密自洽，附录细节与数据完备详实。
价值: ⭐⭐⭐⭐⭐ 极大推进了大模型评测从“学术解题胜负”迈向“GDP 与真实产业经济价值创造”的关键范式转移。