OneMillion-Bench: How Far Are Language Agents from Human Experts?¶
会议: NeurIPS 2026
arXiv: 2603.07980
OpenReview: https://openreview.net/forum?id=2gAr3pMVHH
代码: https://github.com/humanlaya/OneMillion-Bench
领域: 其他
关键词: 语言智能体, 经济价值评测, 专业工作流, 评分细则, 基准测试
一句话总结¶
针对现有智能体评测局限于应试解题而脱离真实生产力的问题，本文提出了涵盖金融、法律、医疗、工业与自然科学 5 大领域的 400 道高价值专家任务基准 $OneMillion-Bench，基于资深劳动力成本直接折算智能体产出的真实经济价值，并引入非对称负分细则全面评估前沿智能体的可靠性与交付瓶颈。
研究背景与动机¶
随着大语言模型从简单的多轮对话助手升级为具备长程推理、工具调用和自主决策能力的语言智能体，学术界和工业界对其在严肃专业场景中的落地抱有极高期望。在实际生产工作流中，资深精算师审计 IFRS 17 准则下的准备金估值、跨国并购律师审查严苛的跨境合规条款、投资分析师搭建高压力财务估值模型，这些工作都不是单纯靠回答孤立事实 prompt 就能完成的。这类专业交付物要求智能体深入理解上下文、检索权威来源、裁决冲突证据、严格执行行业规范，并作出受约束的复合决策。然而，当前主流评测基准（如 MMLU、GPQA 等考试型选择题，或 SWE-bench、\(\tau\)-bench 等孤立环境基准）往往只关注最终答案的离散正确性，既无法反映复杂工作流中过程与约束的关键性，也无法衡量智能体创造真实经济生产力时的可靠度。
更深层次的矛盾在于评测维度的脱节：高准确率并不等同于可实际部署的劳动力替代价值。一方面，现有评估体系多采用标准化打分代理（如精确匹配或胜率评估），缺乏将模型表现直接映射到劳动力重置成本或商业回报的客观桥梁；另一方面，传统评测通常缺少对严重违规行为（如违反行业合规底线、生成致命幻觉或越权建议）的严苛惩处机制，导致许多表面上语言流畅、格式工整的模型在关键专业测试中虚高得分，却在真实商业落地中屡屡发生毁灭性交付失败。此外，现有智能体评测大多默认置于西方/英语单一语境下，无法评估智能体在本土化法律合规标准（如中国网络安全法、本地医保政策、特有会计准则）下的泛化能力。
面对上述痛点，本文提出将评测重心从表层应试准确率彻底转向可量化的经济生产力评估。核心 idea：构建由 400 道经同行评审的高难度专业任务组成的基准 $OneMillion-Bench，以资深人类专家的实际工时和市场基准时薪为任务直接锚定总价值超百万美元的经济价值尺度，并建立带有非对称负分惩罚机制（-20 至 10 分）的专家细则评分协议，端到端量化智能体在真实高价值工作流中的实际履约与交付能力。
方法详解¶
整体框架¶
$OneMillion-Bench 的核心构建目标是打造一个兼具高度专业性、现实工作流还原度与可复现经济价值折算能力的评测基准。整个系统架构从 5 大宏观领域（金融、法律、医疗、工业、自然科学）出发，涵盖 37 个子领域和 92 个三级细分专业方向，共计收集 400 个开放式任务（200 个全球通用英文任务与 200 个立足中国本土法规和工业规范的中文任务）。基准由三个紧密协同的阶段完成专家标注与质量控制，并配套基于客观细则（Rubrics）的多维自动化与人工协同裁判机制。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["5 大专业领域工作流需求<br/>金融·法律·医疗·工业·自然科学"] --> B["三阶段专家协同构建<br/>任务创建·同行评审·仲裁审计"]
B --> C["双向难度截断过滤<br/>剔除平庸送分题与不可解极端任务"]
C --> D["非对称负分评估细则<br/>权重-20~+10·严惩合规底线与幻觉违规"]
D --> E["跨语境双轨题库<br/>200道全球英文 + 200道本土中文"]
E --> F["多维指标与经济价值结算<br/>Expert Score·Pass Rate·Economic Value"]关键设计¶
1. 三阶段专家协同构建与双向难度截断：保障任务专业深度与评测区分度
为了避免传统众包标注中任务流于表面常识或模板化提问的问题，$OneMillion-Bench 投入超过 2,000 个高级专业工时，由具备各行业从业背景的资深专家按照标准化三阶段流程进行数据构建。第一阶段（任务创建）由主领域专家针对高难度专业工作流定制具体任务，同时撰写包含推导链条的详尽参考答案并定义原子化评分细则；在此阶段，任务必须经历对抗性验证，即同时调用多家主流前沿模型进行答题，只有多个 SOTA 智能体均无法轻松达标的任务才予以保留。第二阶段（同行评审）由同细分子领域的第二位独立专家交叉审核任务设定的清晰度、专业度、工业可行性与细则客观性，经过多轮反复讨论修改直至达成共识。第三阶段（仲裁审计）在出现分歧或高风险任务时引入第三位资深专家独立终审。
在此基础上，构建流程引入了双向截断机制（Bidirectional Truncation）：一方面实施下限剔除（Lower Bound Elimination），直接淘汰所有测试智能体均能轻松做对的低门槛任务，杜绝无效计算资源浪费；另一方面实施上限审核（Upper Bound Review），对所有被测模型集体得零分或极低分的超难任务进行二次人工可行性复审，筛除因信息缺失、推导前提模糊导致的不可解任务，确保留下的 400 道题目具有极高的阶梯区分度。
2. 劳动力成本锚定的经济价值评估体系：将技术能力折算为可解释商业生产力
传统评测通常仅汇报抽象的百分比胜率或准确率，难以向工业界直接回答“该智能体究竟能替代多少高价值人类劳动力”。$OneMillion-Bench 创新性地将模型能力映射为具体货币价值。对于基准中的每一个问题 \(q \in Q\)，基准联合 2 至 3 位资深专家预估专业人员独立完成该交付物所需的基准工时 \(T_q^{\text{ExpertCost}}\)，并基于权威劳动力统计数据匹配该岗位的市场小时工资 \(W_q^{\text{HourlyWage}}\)。在国际英文子集中，薪资参考美国劳工统计局（BLS）的职业就业与工资统计数据（OEWS），并结合 BigLaw 律师薪资梯度与 MGMA 专科医师收入，针对只统计基本工资的数据源按照 BLS 雇主员工福利成本标准引入 1.3 倍综合倍率（折算约 31% 福利成本）；在中文子集中，薪资直接锚定一线城市最新劳动力市场工资指导线。整个数据集的总劳动力估值超过 100 万美元（\(V_{\text{\$OMB}} = \sum_{q} V_q \ge \$1,000,000\)）。
当被测智能体在某道题目上的专业得分达到合规交付门槛时，该题目的经济价值便被完全结算计入智能体的总体经济收益中。这种设计不仅直观呈现了模型能力的商业价值，还清晰揭示了智能体在不同行业领域中的投入产出比（ROI）。
3. 非对称负分细则与四维能力标签：防止刷分并严把合规底线
为彻底避免大模型在评测中通过“看似合理但全无依据的宏篇大论”或对齐刷分作弊，基准抛弃了粗粒度的打分量表，转而由专家为每道题目手写了平均 16 至 19 条极细粒度的原子评分细则。更重要的是，针对专业场景中极度敏感的合规要求，该基准首创了非对称负分惩罚机制（权重范围涵盖 -20 至 +10 分）。负分细则重点打击四大行业红线：违反行业行为准则（如医疗错误处方、法律违规建议）、破坏显式商业安全底线、无中生有的专业数据幻觉，以及关键约束违抗。即使智能体在其他正面要点上回答正确，一旦踩中关键合规负分项，整道题目的得分便会被严厉扣减直至归零。
同时，基准为所有评分细则打上了四类正交的能力维度标签，实现细粒度短板归因： - 事实信息（Factual Information, FI）：衡量从权威来源、法规条例和专业数据库中精准定位与提取实体定义和事实的能力（关注“What”）； - 分析推理（Analytical Reasoning, AR）：考察长程因果归因、趋势研判与复杂逻辑演绎推演（关注“Why”与“How”）； - 指令遵循（Instruction Following, IF）：评估在严格格式、步骤约束及前置条件下的合规受控执行能力； - 结构与表述（Structure & Formatting, SF / Verbalization）：评估专业交付物的排版逻辑、可读性与书面职业规范。
损失函数 / 训练策略¶
作为专注于评测的统一基准，本文不涉及模型参数训练，而是设计了一套严格、鲁棒的评测聚合与价值结算协议。
针对问题集 \(Q\)，智能体在每道题 \(q\) 上的正规化专家得分（Expert Score）定义为正负细则得分之和与正向权重总和的比值，并在题目级别截断至 \([0, 1]\)： $\(\text{Expert Score}(Q) = \frac{1}{|Q|} \sum_{q \in Q} \max\left(0, \frac{\sum_{r \in R_q} s_r}{\sum_{r \in R_q^+} w_r}\right)\)$ 其中 \(R_q\) 为问题 \(q\) 的全部细则集合，\(R_q^+\) 为正权重细则子集，\(s_r\) 与 \(w_r\) 分别为细则 \(r\) 的实际得分与预定权重。
为了刻画现实专业任务对“完整合格交付物”的极高要求，基准引入悬崖阈值 \(\theta = 0.7\) 来定义二值化通过率（Pass Rate）： $\(\text{Pass Rate}(Q) = \frac{1}{|Q|} \sum_{q \in Q} \mathbf{1}\left[\text{Expert Score}(q) \ge 0.7\right]\)$
智能体在基准中最终斩获的累积经济价值（Economic Value）则通过所有通过题目的价值求和得出： $\(\text{Economic Value}(Q) = \sum_{q \in Q} V_q \cdot \mathbf{1}\left[\text{Expert Score}(q) \ge 0.7\right]\)$
在评测执行层面，基准支持三种智能体形态：无工具调用的裸模型（Vanilla Models）、集成网络搜索工具的检索智能体（Web Search Agents），以及面向深度长程调研的专有智能体（Deep Research Agents）。为了评估真实交付的稳定性，基准在金融子集上开展了测试时扩展（Test-Time Scaling）实验，同步测试采样 \(k\) 个候选时“至少一次正确”的 \(\text{pass}@k\) 与“全部一致正确”的 \(\text{pass}^k\) 曲线。
实验关键数据¶
主实验¶
论文对涵盖全球顶尖商业模型与开源前沿的 37 种系统进行了基准测试。以下汇总了 Global 英文子集与 CN 中文子集上核心模型的经济价值、专家得分与通过率对比（\(\text{w/}\) 表示启用网络搜索检索工具）：
| 模型 / 智能体系统 | Global 经济价值 ($USD) | Global 专家得分 (%) | Global 通过率 (%) | CN 经济价值 (¥CNY) | CN 专家得分 (%) | CN 通过率 (%) |
|---|---|---|---|---|---|---|
| Claude-Opus-4.6 (Vanilla) | 439.2k | 55.0 | 36.5 | 350.3k | 55.8 | 35.0 |
| Claude-Opus-4.6 (w/ Search) | 483.8k (+44.6k) | 63.0 (+8.1) | 43.5 (+7.0) | 470.2k (+119.9k) | 64.5 (+8.7) | 48.5 (+13.5) |
| GPT-5.4-High (Vanilla) | 330.9k | 55.0 | 31.5 | 339.5k | 56.2 | 35.5 |
| GPT-5.4-High (w/ Search) | 365.5k (+34.6k) | 59.2 (+4.2) | 38.0 (+6.5) | 305.4k (-34.1k) | 58.7 (+2.5) | 35.5 (+0.0) |
| GPT-5.2-High (Vanilla) | 236.6k | 47.6 | 23.0 | 226.9k | 47.1 | 22.0 |
| GPT-5.2-High (w/ Search) | 335.9k (+99.3k) | 56.9 (+9.3) | 32.0 (+9.0) | 294.0k (+67.1k) | 52.6 (+5.5) | 28.0 (+6.0) |
| Gemini-3-Pro-Preview (Vanilla) | 187.3k | 43.7 | 15.5 | 202.9k | 46.0 | 20.0 |
| Gemini-3-Pro-Preview (w/ Search) | 345.3k (+158.0k) | 52.8 (+9.1) | 28.5 (+13.0) | 332.5k (+129.7k) | 54.0 (+8.0) | 30.0 (+10.0) |
| Qwen3.5-Plus (Vanilla) | 256.0k | 47.6 | 22.5 | 304.9k | 51.4 | 28.0 |
| Qwen3.5-Plus (w/ Search) | 263.7k (+7.8k) | 49.0 (+1.4) | 23.5 (+1.0) | 308.1k (+3.2k) | 52.1 (+0.6) | 28.0 (+0.0) |
| Kimi-K2.5 (Vanilla) | 203.3k | 45.1 | 17.5 | 196.5k | 45.4 | 19.5 |
| Kimi-K2.5 (w/ Search) | 162.7k (-40.6k) | 41.2 (-3.9) | 17.5 (+0.0) | 126.0k (-70.4k) | 43.7 (-1.7) | 15.0 (-4.5) |
| o3-DeepResearch (Agent) | 181.7k | 46.3 | 17.0 | 149.2k | 41.7 | 16.0 |
| Sonar-DeepResearch (Agent) | 122.8k | 42.3 | 13.5 | 129.5k | 40.2 | 13.5 |
| Hunyuan-2.0-Thinking (w/ Search) | 25.6k (-42.3k) | 30.2 (-4.5) | 3.0 (-5.5) | 53.8k (-29.2k) | 32.8 (-3.4) | 6.5 (-3.0) |
消融实验¶
下表汇总了跨 Global 与 CN 子集的细粒度细则能力维度得分（FI: 事实信息提取, AR: 分析推理, IF: 指令遵循, SF: 结构与表述），以及网络搜索接入对不同维度的增益/负向影响：
| 模型 / 系统配置 | 事实信息 (FI) | 分析推理 (AR) | 指令遵循 (IF) | 结构表述 (SF) | 说明 / 核心变化特征 |
|---|---|---|---|---|---|
| Claude-Opus-4.6 (Vanilla) | 54.0 | 61.3 | 74.6 | 88.9 | 基线结构工整，专业推理领先 |
| Claude-Opus-4.6 (w/ Search) | 66.5 (+12.5) | 73.0 (+11.7) | 82.1 (+7.5) | 90.0 (+1.1) | 检索显著增强事实核查与长程推理 |
| GPT-5.4-High (Vanilla) | 53.5 | 60.8 | 71.5 | 86.4 | 基础推理优秀，表述严谨 |
| GPT-5.4-High (w/ Search) | 63.5 (+10.0) | 61.6 (+0.8) | 73.9 (+2.4) | 84.5 (-1.9) | 事实提升明显，但检索略微扰动格式 |
| GPT-5.2-High (w/ Search) | 59.4 (+12.0) | 56.4 (+4.1) | 72.1 (+6.1) | 85.6 (+2.9) | 各维度全面均衡提升 |
| Gemini-3-Pro-Preview (w/ Search) | 56.7 (+10.9) | 60.7 (+11.5) | 73.1 (+6.2) | 86.8 (+4.0) | 检索工具收益最大，推理跃升显著 |
| Qwen3.5-Plus (w/ Search) | 50.0 (-0.3) | 59.9 (+1.0) | 74.6 (+1.4) | 88.8 (+2.4) | 中文先验扎实，检索额外增益平缓 |
| Kimi-K2.5 (w/ Search) | 44.1 (-2.4) | 48.1 (-3.0) | 63.4 (-6.7) | 80.6 (-4.4) | 检索引发信息漂移，指令与推理反受损 |
| Hunyuan-2.0-Thinking (w/ Search) | 36.3 (-2.8) | 36.5 (-3.7) | 60.9 (-2.6) | 79.8 (-5.2) | 弱甄别能力导致被噪声检索内容严重误导 |
关键发现¶
- 强者愈强，弱者受害（Search Polarization）：网络检索对于具备高水平证据甄别和约束整合能力的模型（如 Claude-Opus-4.6、GPT-5.2-High、Gemini-3-Pro）是巨大放大器，Expert Score 提升 8 至 12 个百分点；但对于缺乏多源冲突裁决与信息过滤能力的模型（如 Hunyuan-2.0、Kimi-K2.5、MiniMax-M2.1），检索带来的噪声、过时条款和干扰上下文反而导致幻觉激增并打破指令约束，经济价值暴跌超过 40k。
- 高分低履约率鸿沟（Partial Credit vs. Low Delivery）：许多智能体能取得 45% 至 50% 的中等专家得分，但在 0.7 严苛阈值下的通过率却往往低于 25%。智能体极易在结构与排版（SF 得分 80%+）和通用指令（IF 得分 60-70%+）上拿表面分，但在严谨的量化指标核算、合规排他性例外条款上发生致命疏漏，导致无法达到合格交付标准。
- 测试时一致性崩塌（Consistency Collapse under Scaling）：在金融领域的测试时扩展实验中，随着采样数 \(k\) 增加，\(\text{pass}@k\)（最佳候选命中率）呈平缓对数上升并停滞在约 30%，但 \(\text{pass}^k\)（全部结果一致正确率）迅速单调衰减趋近于零。这表明当前智能体极其缺乏工业级任务要求的重复可靠性与确定性。
- 错误归因透视：针对 100 条错误轨迹的人工诊断显示，34% 的失败源于带缺陷的推理与薄弱的验证（边界条件未核查），23% 源于领域深层逻辑匮乏（脱离问题而泛泛而谈），17% 源于事实落地锚点错误，14% 源于指令违背，10% 源于事实幻觉或消极拒答，2% 为纯数值算术失误。
亮点与洞察¶
- 将学术评测锚定为真实劳动力重置成本：基准摆脱了传统基准抽象的相对准确率，利用 2,000+ 专业工时沉淀了基于 BLS 及一线城市指导工资的货币估值体系，使智能体测评结果直接对应商业 ROI。
- 非对称负分惩罚构筑合规底线防御：在评测中首次系统性引入高达 -20 分的负向罚则，精准打击表面工整但本质违规、伪造证据的危险行为，有力纠正了“字数越多、格式越好则得分越高”的评测博弈漏洞。
- 中英双轨本地化合规考查：避免了将英文测试集机械翻译为中文的常见缺陷，中文子集专门构建了本土网络安全法、本地化财税会计、医保用药等专属题目，揭示了通用模型在跨法域与跨区域工业标准下的真实泛化断层。
局限与展望¶
- 作者承认的局限：400 道题目的绝对样本量在支撑极大规模子领域细分统计时仍显偏小；此外，尽管模型裁判与人类专家在医疗（\(r=0.59\)）、工业（\(r=0.48\)）具有较高相关性，但在自然科学领域相关性偏低（\(r=0.26, p=0.11\)），表明自动化裁判在高度抽象的深奥科学推导上仍需人工介入复核。
- 评测静态性与动态现实差异：真实商业工作流中往往包含动态的人机协作反馈与外部系统交互（如审批流、实时数据库写入与纠偏），当前静态交付物格式尚无法完全模拟多轮博弈式工业生产全貌。
- 未来改进方向：可进一步引入多智能体交互式审计框架，将一次性交付物评估拓展至动态迭代工作流评测，并将经济价值核算机制延伸至交互调试与修复的人力成本抵扣。
相关工作与启发¶
- vs SWE-bench / \(\tau\)-bench: SWE-bench 聚焦单一的软件工程代码补丁，\(\tau\)-bench 侧重多轮客户服务政策约束，而 $OneMillion-Bench 覆盖金融、法律、医疗等更加广阔且严肃的高经济附加值行业，强调深层证据检索与严苛专业规范。
- vs GDPVal / RLI / APEX-Agents: 尽管 GDPVal 与 RLI 同样探索了经济价值导向的评测，但多依赖代理指标或宏观推导，且局限于单一西方语境；$OneMillion-Bench 实现了直接按小时工时与权威薪酬折算具体美元/人民币，并建立了非对称负分细则与双语独立题库。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次建立百万美元真实劳动力价值锚定的智能体基准，并开创性引入非对称负分细则。
- 实验充分度: ⭐⭐⭐⭐⭐ 评测 37 种前沿系统与智能体架构，提供详细的细则维度、测试时一致性扩展与错误根因分析。
- 写作质量: ⭐⭐⭐⭐⭐ 体系结构严谨，理论动机、构建管线与经验洞察阐述非常清晰透彻。
- 价值: ⭐⭐⭐⭐⭐ 为大模型智能体从“聊天助手”迈向“专业生产力工具”的商业化落地提供了极具说服力的诊断标尺。