JobBench: Aligning Agent Work With Human Will

会议: NeurIPS 2026
arXiv: 2605.26329
OpenReview: https://openreview.net/forum?id=vnyibVJpri
代码: https://github.com/Job-Bench/job-bench-eval
领域: LLM Agent
关键词: 智能体评测, 职业基准, 人类意愿对齐, 真实工作流, 链式评分标准

一句话总结

JobBench 放弃传统以经济产值和“完全替代人类”为主导的视角，基于 1500+ 真实从业者最希望委托 AI 的工作职责，构建了覆盖 35 种职业、130 个异构工作区任务与 4631 条事实锚定二元标准的智能体增强评测基准，前沿模型在完整任务集上的最高得分仅为 45.9%。

研究背景与动机

当前评估面向工作场景（occupational）AI 智能体的基准体系几乎完全建立在经济价值框架之下。从 GDPVal、Remote Labor Index 到 $OneMillion-Bench，这些工作普遍采用“工时替代率”或“合同报酬”来设计任务，关注智能体能否直接生成高产值交付物，其底层叙事始终是冷酷的劳动力“替代”（replacement）故事。然而，现实工作环境中真正的痛点往往不在于最终交付物的形式美化，而在于前期繁琐、跨来源冲突且耗时耗力的事实核对、数据对账与多源证据综合。

将评测重心置于单一成品的经济估值，忽略了与智能体共事的人类专业工作者的真实意愿。从业者并不希望 AI 作为一个黑盒完全取代自己的职业身份与专业裁决，而是迫切需要智能体接管那些耗费大量精力、重复且琐碎的信息检索与数据对齐流程。此前由于缺乏大规模从业者意愿与专业工作流的量化信号，社区难以从“替代人类”转向“增强人类”（enhancement）。

随着 Workbank 调查系统性地收集了超过 1500 名美国各行业从业人员对 O*NET 具体工作职责的自动化委托意愿，使得从从业者真实需求出发设计基准成为可能。本文的核心 idea 是：将智能体评测基准的锚点从单纯的 GDP 经济价值转移到专业从业者的高优先级委托意愿（human will），构建一个以真实杂乱工作区为环境、以事实锚定链式细则（chained rubrics）为验证逻辑的职业智能体评测基准 JobBench。

方法详解

整体框架

JobBench 的整体流程围绕“意愿筛选 → 专家共创与异构工作区封装 → 链式细则验证”展开。输入为包含多格式、甚至存在事实冲突与隐蔽检索线索的专业工作区（workspace），智能体通过自主规划、终端命令、跨文件检索与多模态处理生成结构化交付物，最终由基于大模型的事实锚定链式评分评测器进行严格验收。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["工作意愿与职业筛选<br/>Workbank 意愿得分 > 3 & OEWS 经济暴露度"] --> B["异构工作区任务封装<br/>非结构化/冲突数据、真实公共数据集"]
    B --> C["智能体自主推理执行<br/>跨文件检索、代码执行、工具调用与交付物生成"]
    C --> D["事实锚定链式评分验证<br/>全链路二元准则无断点方可得分"]
    D --> E["双维度分析与意愿对齐评估<br/>模型能力与现实研发/创业关注度相关性分析"]

关键设计

1. 意愿驱动的任务选择与真实异构工作区封装

现有职业评测（如 GDPVal）通常直接给智能体提供清洗好的单文档任务包，导致评测沦为空洞的文案润色。JobBench 依托 Workbank 中 1500 多名工作者对 O*NET 职责的自动化愿望打分（1-5 分制）并结合 OEWS 2024 工资数据，筛选出兼具高自动化意向（均分 > 3）与显著经济暴露度的 35 种职业（涵盖 10 大 SOC 职业大类）。针对选定职责，从 Prolific 和 Upwork 严格招募领域专家参与任务设计，将任务设计为高度逼真的杂乱工作区。每个任务平均包含 3.9 个参考文件（最多达 15 个，覆盖 CSV、PDF、XLSX、DOCX、DB、PNG 等 17 种文件格式），其中超过 51.7% 直接源自美国联邦及地方机构真实公开档案（如 CDC、EPA、Census、市政法令等），甚至蓄意包含版本冲突与数据矛盾，强迫智能体必须在真实信息噪音中完成专业交叉验证。

2. 事实锚定的链式评分细则体系

传统 LLM-as-a-judge 容易因为宽泛的主观标准发生打分幻觉或给出同情分。JobBench 制定了 4631 条二元判定细则（每任务平均 35.6 条），强制要求每条准则满足自包含、二元化、客观性与无歧义性四大原则。更关键的是，细则被组织为逻辑推理链（rubric chain）：一个评分链由若干步事实节点构成，涵盖了从数据提取、阈值核验到结论推演的完整专业论据链。其评分核心机制遵循“全链合流”约束，不设任何中间妥协步：

\[z_r = \prod_{c \in C_r} \mathbb{I}(c \text{ passes})\]

\[s_t = \frac{\sum_{r \in R_t} w_r z_r}{\sum_{r \in R_t} w_r}\]

其中 \(C_r\) 为评分项 \(r\) 所依赖的全部二元前置准则集合，只有当该链条中的所有二元检验点全部通过（\(z_r = 1\)）时，智能体才能拿到该项权重 \(w_r\)；任一中间推理断裂或事实失实都会直接导致该链为 0 分。这彻底杜绝了模型凭借“看似逻辑严密的幻觉文字”混取分数的可能。

3. 三阶段质量把关与高性价比判别优化

为了确保 4631 条细则不存在“不可达”的死锁或专家逻辑漏洞，JobBench 设计了三道质量把关门禁：（1）自动化审计智能体排查指令与文件的不一致性；（2）领域标注员多轮复审和低质准则剪枝；（3）智能体解题试炼（Solve Trial），要求不同模型多次采样的通过准则并集（union pass rate）必须超过任务细则总数的 90%。经过该流程，基准最终任务的整体准则可达率达到 95.4%。此外，为解决判别开销问题，论文验证了使用轻量级 Grok-4.1-Fast 担任链式裁判的可行性：其实验表明其与高成本的 Claude Opus 4.5 裁判打分方差在 0.7% 以内，但将全套基准评测成本从 38–46 美元断崖式降至 1.5–2 美元（约 20 倍降本）。

实验关键数据

主实验

在 JobBench-Main（65 任务）上对涵盖 Claude、GPT、Gemini、Qwen、MiniMax、Kimi 等主流模型及 Claude Code、Codex CLI、OpenCode、OpenClaw 四大主流智能体框架的 36 种配置进行了系统测试。

模型与脚手架配置	综合得分 (Overall)	商业财务 (Bus. Fin.)	计算机数学 (Comp. Math.)	架构工程 (Arch. Eng.)	管理运营 (Mgmt.)	艺术传媒 (Arts)
Claude Opus-4.7 (Claude Code)	45.9	46.1	39.2	46.6	38.8	64.2
GPT-5.5 (Codex CLI)	42.7	47.7	39.4	40.9	30.5	50.2
GPT-5.4 (Codex CLI)	38.9	38.2	34.6	35.9	23.5	51.8
Claude Sonnet-4.6 (Claude Code)	36.9	36.7	31.9	41.1	30.7	54.9
Claude Opus-4.6 (Claude Code)	36.7	33.7	38.0	38.8	29.2	42.8
GPT-5.4 (OpenCode)	34.6	28.9	36.2	41.6	14.1	49.5
GPT-5.3-Codex (Codex CLI)	33.7	31.4	35.1	22.9	20.1	48.7
Claude Opus-4.5 (Claude Code)	32.3	30.1	32.7	36.7	16.7	42.3
Qwen-3.5-Plus (OpenCode)	18.5	15.1	22.8	15.8	10.3	34.4
MiniMax-M2.5 (OpenCode)	14.8	12.2	18.1	14.2	6.74	22.5
Gemini-3-Pro (OpenCode)	11.4	11.8	12.0	12.9	8.71	11.3
Grok-4.2-Fast (OpenCode)	4.38	2.60	5.06	3.56	3.02	10.4

消融与对比实验

论文对比了 JobBench 与传统经济估值基准（GDPVal）在任务复杂度和模型表现上的本质差异，并对比了 Main 集与纯净版 Easy 集、不同脚手架及推理计算预算的影响。

评估维度 / 任务设定	模型 / 框架	任务得分 (Score)	运行时间比 (Runtime Ratio)	轨迹复杂度比 (Trajectory Ratio)	说明
GDPVal 基准对比	GPT-5.4 (Codex)	83.0	1.00× (基准)	1.00× (基准)	单一交付物编辑，表现趋于饱和
JobBench-Main	GPT-5.4 (Codex)	38.9	2.40×	1.30×	异构冲突多源核验，严重掉点
JobBench-Easy	GPT-5.4 (Codex)	67.2	0.95×	1.05×	无网络检索与跨文件冲突，耗时大幅降低
推理预算 (Low)	GPT-5.4 (Codex)	33.2	-	-	推理算力偏低时证据核对易遗漏
推理预算 (xhigh)	GPT-5.4 (Codex)	40.2	-	-	算力放大带来单调性能提升 (+7.0)
脚手架对比 (Claude Code)	Sonnet-4.6	36.9	-	-	工具调用与终端支持更完善
脚手架对比 (OpenClaw)	Sonnet-4.6	30.6	-	-	同一底座模型下降 6.3 点

关键发现

• 真实委托任务极具挑战性：当前性能最顶尖的 Claude Opus-4.7 在 Claude Code 下仅获得 45.9 分，GPT-5.5 在 Codex CLI 下获得 42.7 分，除 Claude 与 GPT 家族外，所有开源及其他商业模型得分均未突破 19 分，显示出当前智能体在处理人类真正想要委托的繁重、跨源核实业务时能力严重不足。
• 与传统 GDP 产值评测的巨大鸿沟：在 GDPVal 上逼近饱和（GPT-5.4 达 83.0）的顶尖模型，在 JobBench-Main 上得分直接跌至 38.9，且运行耗时膨胀至 2.4 倍，反映出单一文本编辑与真实多源冲突数据审计之间的复杂度脱节。
• 脚手架设计显著制约智能体上限：相同模型在不同脚手架下的波动可达 6 分以上（例如 Sonnet-4.6 从 Claude Code 的 36.9 降至 OpenClaw 的 30.6；GPT-5.4 在 Codex 与 OpenCode 下差距达到 4.3 分），特别是在涉及复杂管理及计算机数学的职业大类中尤为明显。
• 学术与创业生态关注度错配：对 2932 篇学术论文与 2089 家 YC 创业公司的跨领域匹配分析显示，外部关注度与模型能力呈负相关（\(r = -0.15\) 与 \(r = -0.34\)），学术界主要扎堆在计算机科研等知识密集型职业，而初创企业扎堆在客户服务与财务管理等高经济价值领域，均未充分覆盖从业者最需要委托的重度劳动区间。

亮点与洞察

• 立意视角的范式转移：从“衡量 AI 能替代多少 GDP 产值”转变为“衡量 AI 能否满足人类专家的委托意愿”，将从业者从潜在的被淘汰对象重新定义为专业裁决的核心与受益者。
• 链式二元细则（Chained Rubrics）：将每个复杂职业判断解构为必须全数通行的细粒度二元证据链，既避免了模糊判决的人工主观性与裁判幻觉，又精准惩罚了“用虚假推理碰巧猜中结论”的投机行为。
• 低成本可靠裁判验证：通过精细构造无歧义细则，使参数量较小、推理成本仅 \(1.5–\)2 的 Grok-4.1-Fast 达到与顶级模型（Opus 4.5）差异 < 0.7% 的裁判一致性，为未来超长上下文评测基准提供了极佳的降本工程实践。

局限与展望

• 地理与组织形态局限：任务目前仅聚焦于美国 O*NET 职业分类体系下的数字化纯案头工作，未覆盖多语言、非美国监管框架、物理具身作业以及多员工跨周期的组织协同。
• 非部署级验证：本基准旨在评估单体智能体的离线推理能力，不能直接外推为在法律、医疗、高危金融等严肃领域的无监督部署许可证。
• 未来方向：探索引入长周期人机回环互动（human-in-the-loop）机制，以及扩展到跨时区团队协作和动态企业系统交互的委托场景。

相关工作与启发

• vs GDPVal: GDPVal 关注高经济价值交付物在干净输入下的编辑质量（替代视角）；JobBench 关注从业者最想甩掉的跨源对账与繁重证据整合（赋能/增强视角），且引入了带冲突的异构工作区。
• vs SWE-bench / OSWorld: 现有环境类基准重在代码补丁验证或 GUI 动作达成；JobBench 聚焦于深度案头专业工作流中的多源事实一致性与行业规范逻辑检验。
• vs Workbank: Workbank 是基于问卷的大规模意愿调查统计；JobBench 则将该统计信号成功具象化为了可运行、可复现、带真实数据的代码与工作区级基准套件。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 颠覆了经济替代主导的基准传统，首次基于人类委托意愿构建职业智能体评测。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 36 种模型框架组合、35 种职业、4631 条验证准则，以及深入的科研/创投生态注意力匹配分析。
• 写作质量: ⭐⭐⭐⭐⭐ 概念清晰，动机充分，图表与实验链路紧凑严密。
• 价值: ⭐⭐⭐⭐⭐ 为智能体评测界指明了从劳动替代向工作辅助与生产力赋能演进的新航标。

相关论文

• [NeurIPS 2026] SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks
• [ICLR 2026] Collaborative Gym: A Framework for Enabling and Evaluating Human-Agent Collaboration
• [NeurIPS 2026] OneMillion-Bench: How Far Are Language Agents from Human Experts?
• [ACL 2026] LLM-Based Human-Agent Collaboration and Interaction Systems: A Survey
• [ECCV 2026] CiQi-Agent: Aligning Vision, Tools and Aesthetics in Multimodal Agent for Cultural Reasoning on Chinese Porcelains