Welfare, Improvability, and Variance: A Principal-Agent Approach to Optimal Benchmark Item Aggregation¶
会议: NeurIPS 2026
arXiv: 2605.30916
OpenReview: https://openreview.net/forum?id=yF6rmSx7l7
代码: https://github.com/h4upt/benchmark-aggregation
领域: LLM 评测
关键词: 基准测试聚合, 委托代理博弈, 激励设计, 福利对齐, 方差审计
一句话总结¶
将大模型基准测试聚合建模为多任务委托代理博弈，推导出由社会福利对齐度、边际可改进性与评测方差三要素共同决定的闭式最优聚合权重 \(v^\star=(M+r\Sigma)^{-1}Mw\)，并对 OLMES 题项完成实证审计。
研究背景与动机¶
现有大模型基准测试的研究主要聚焦于数据污染、性能饱和与构式未充分指定等测量层面的弊端，而在最终分数的聚合机制上却普遍采用均匀算术平均。这种不加权处理在底层默认了所有测试题项具有同等的社会价值与测量精度。然而，排行榜发布的分数聚合规则在现实中直接构成了对各模型研发实验室的激励信号，决定着学术界与工业界在下一阶段将有限的预训练算力、监督微调数据或强化学习资源优先倾注于何种模型能力。
现有评估文献割裂为两大流派：一派立足于项目反应理论（IRT）与心理测量学，关注题目能否精确反映模型的潜在能力构式；另一派则着眼于古德哈特定律（Goodhart's Law），实证揭示各实验室针对标量分数进行的选择性披露、格式过拟合或刷榜博弈。这两者均未触及核心的机制设计问题：在预见到实验室必然会针对公布的综合指标进行策略性、成本受约束的最优反应时，评测设计者到底应当赋予各测试题项多大的聚合权重？
本文的切入角度是将基准测试设计直接映射为经典的委托代理契约问题（Multitask Principal-Agent Problem），把评测指标从单纯的测量工具提升为显式的激励导向系统。核心 idea：将评测设计者与研发实验室建模为多任务委托代理博弈，推导兼顾真实社会福利、研发成本结构与测量噪声的最优线性聚合权重闭式解，并建立基于劳工偏好、跨阶段训练边际与多种子方差的三维度题目审计框架。
方法详解¶
整体框架¶
评测设计者（委托人）承诺公布一个线性聚合分数 \(s(y) = v^\top y\)，其中 \(y \in \mathbb{R}^m\) 为 \(m\) 个测试题目的表现得分向量。研发实验室（代理人）观察到权重 \(v\) 后，在 \(n\) 个改进维度（例如预训练算力、监督微调样本、强化学习探索）上分配努力向量 \(a \in \mathbb{R}^n\)。模型在各题目上的得分表现由技术映射矩阵 \(A\) 及均值为零、协方差为 \(\Sigma\) 的高斯噪声 \(\varepsilon\) 决定，即 \(y = Aa + \varepsilon\)；实验室承受二次努力成本 \(c(a) = \frac{1}{2}a^\top Ca\) 并具备常绝对风险厌恶（CARA）偏好。评测设计者以全社会净福利最大化为目标，统筹社会价值、研发真实成本与实验室承担的风险溢价，反推最优权重分配 \(v^\star\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["评测设计者设定聚合权重 v<br/>多题目线性加权 s(y) = v^T y"] --> B["研发实验室策略性努力响应 a*(v)<br/>平衡均值收益、研发成本与风险溢价"]
B --> C["模型在测试集题项上的表现 y<br/>y = A a + ε, 噪声协方差 Σ"]
C --> D["三要素驱动的最优聚合规则 v*<br/>v* = (M + r Σ)^(-1) M w"]
D --> E["三维度实证审计框架<br/>福利对齐 w / 可改进性 M / 评测方差 Σ"]关键设计¶
1. 委托代理博弈与最优权重闭式解：平衡激励传导与风险折价
传统基准测试将均匀权重作为无意识的先验，忽略了实验室面临研发风险与异质成本时的替代效应。在 CARA-高斯效用设定下，风险厌恶系数为 \(r>0\) 的实验室最大化均值得分减去二次成本与风险惩罚项 \(\mathbb{E}[s(y)\mid a] - c(a) - \frac{r}{2}\operatorname{Var}(s(y)\mid a)\)。一阶条件给出实验室的最优努力为 \(a^\star(v) = C^{-1}A^\top v\)。定义题项级可改进性矩阵（Improvability Matrix）为 \(M \coloneqq AC^{-1}A^\top \in \mathbb{R}^{m \times m}\)，其非对角元素表征多题目被同一研发手段共同拉升的协同效应。设计者统筹社会福利权重 \(w \in \mathbb{R}^m\)、诱导出的真实努力成本以及实验室的确定性等价风险补偿，求解净剩余最大化问题 \(\max_v w^\top M v - \frac{1}{2}v^\top M v - \frac{r}{2}v^\top \Sigma v\)。该凹优化问题的极值点导出了统一的最优加权闭式解：
$\(v^\star = (M + r\Sigma)^{-1} M w\)$
当技术矩阵与噪声矩阵在同一正交概念基底下对角化时，各正交能力维度的权重呈现为清晰的收缩形式 \(\hat{v}_j^\star = \frac{\hat{w}_j}{1 + r\sigma_j / \lambda_j}\)。这表明：社会价值越重要（\(w\) 越大）、技术边际改进成本越低（\(\lambda\) 越大）、评测种子噪声越小（\(\sigma\) 越小），题目在基准测试中就越应当获得更高的聚合权重。
2. 劳工福利对齐度量化（Welfare Alignment）：基于 GWA 映射与 WORKBank
评测题目的价值不能闭门造车，而应锚定在模型对现实社会工作场景的真实影响。本文采取以劳动者利益为中心的规范性视角，依托 O*NET 的 24 项认知类综合工作活动（GWAs）构建桥梁。利用经人工验证的三样本提示 Claude Opus 4.5 作为评委模型，将 OLMES 中的每个题目映射到其负荷最高的 top-5 项 GWA。进一步结合 WORKBank 中 1500 名真实工人针对各项任务表达的自动化愿望（Automation Desire）与人机协作介入度（Human Involvement），计算出题目的自动化福利分 \(w_i^{\text{auto}}\) 与增强福利分 \(w_i^{\text{aug}}\)：
$\(w_i^{\text{auto}} = \sum_{k=1}^5 \frac{1}{k} \operatorname{auto}(g_{ik})\)$
其中倒数秩权重 \(\lambda_k = 1/k\) 保留了首要关联任务的主导区分度，由此将每个测试题量化投射到现实劳动者的效用空间中。
3. 跨训练阶段边际可改进性审计（Improvability）：基于 EvoLM 4B 成本推断
为了摆脱抽象的努力向量概念，研究利用涵盖预训练 token 量、有监督微调（SFT）样本数与强化学习（RL）探索轮次的 EvoLM 4B 模型族系展开实证。对每个 OLMES 测试题项 \(i\)，分别在三个干预轴向 \(k \in \{\text{PT}, \text{SFT}, \text{RL}\}\) 拟合准确率对训练规模的普通最小二乘回归：
$\(p_{im} = \beta_{ik} + \beta_k D_{mk} + \varepsilon_{im}\)$
通过公有云 A100 GPU 小时单价（$1.5/h）折算不同干预手段的实际资金成本，分别标定出预训练每 token 成本 \(\kappa_{\text{PT}}^{4\text{B}} \approx 8.2 \times 10^{-8}\) 美元、高质量 SFT 每样本替换成本 \(\kappa_{\text{SFT}} \approx 2 \times 10^{-4}\) 美元、PPO 强化学习每 prompt 探索成本 \(\kappa_{\text{RL}} \approx 1 \times 10^{-3}\) 美元。将边际提升效率换算为货币计价的边际成本 \(c_k = \kappa_k / \beta_k\)，从而找出各题项在当前技术下最经济的改进路径 \(\min_k c_k\)。
4. 题项级随机种子方差度量（Noise Variance）：基于 PolyPythias 410M 面板
评测不确定性会加剧风险厌恶型研发团队的保守倾向。为剥离偶发的评测采样波动，研究基于 PolyPythias 410M 模型在 8 个独立预训练随机种子及 10 个对数间隔检查点上的表现，计算跨种子题项级经验方差：
$\(\hat{\sigma}_i^2 = \frac{1}{N - |\text{PolyPythia}|} \sum_{m} \sum_{s=1}^S (p_{ims} - \bar{p}_{im})^2\)$
为排查二元分类题目在准确率接近 0.5 时方差机械性放大的假象，进一步引入伯努利归一化方差 \(Z_i = \hat{\sigma}_i / \sqrt{\hat{p}_i(1-\hat{p}_i)}\) 与正确选项相对次优干扰项的对数边际差 \(m_i\)，从而从机制上识别出是由模型本身能力边界波动导致的方差，还是由基准测试构造特性引发的固有噪声。
实验关键数据¶
主实验¶
在 OLMES 基准测试套件（包含 MMLU、ARC-Challenge、HellaSwag、PIQA、CommonsenseQA、MathQA 及 AGIEval-AQuA 等题项）上，对 28 个抽样题项进行双人及大模型评委福利复现，并在全集上开展三要素实证审计。
| 基准测试家族 / 任务类别 | 题项规模 \(n\) | 自动化福利分 \(w^{\text{auto}}\) | 增强福利分 \(w^{\text{aug}}\) | 最便宜改进轴向 (占比) | 种子标准差 \(\hat{\sigma}\) (中位数) | 归一化方差 \(Z\) (中位数) |
|---|---|---|---|---|---|---|
| HellaSwag (对抗句子补全) | 2,029 | 2.14 | 2.38 | SFT (78.2%) | 0.261 | 0.615 |
| PIQA (物理常识推理) | 837 | 2.21 | 2.45 | SFT (64.5%) | 0.208 | 0.475 |
| ARC-Challenge (对抗科学推理) | 549 | 2.05 | 2.31 | RL (48.1%) | 0.179 | 0.421 |
| MathQA (数学应用题) | 1,889 | 1.82 | 2.04 | RL (52.3%) | 0.092 | 0.219 |
| MMLU (多学科知识选择) | 13,732 | 2.46 | 2.78 | SFT (48.9%) | 0.071 | 0.198 |
| CommonsenseQA (日常常识) | 963 | 2.35 | 2.62 | PT (24.1%) | 0.070 | 0.195 |
消融与稳健性分析¶
针对福利映射管线中的提示设计、截断深度 \(k\)、权重分配方案及评委模型替换展开敏感性审计，同时在 28 篇人工标注黄金子集上对比双人评委（A1, A2）与 Claude Opus 4.5 的帕累托支配结论。
| 实验配置 / 审计变体 | 自动化 Spearman \(\rho(w^{\text{auto}})\) | 增强 Spearman \(\rho(w^{\text{aug}})\) | 数学题入选帕累托前沿数 | 数学题被通用题支配比例 | 说明 / 核心结论 |
|---|---|---|---|---|---|
| 黄金基准 (Opus 4.5, \(k=5\), 倒数秩) | 1.000 | 1.000 | 0 / 8 | 100.0% | 基础配置，通用题一阶随机占优数学题 |
| 截断深度 \(k=3\) (倒数秩) | 0.910 | 0.870 | 0 / 8 | 100.0% | 截断深度变化对题目宏观排序影响微弱 |
| 截断深度 \(k=4\) (倒数秩) | 0.950 | 0.890 | 0 / 8 | 100.0% | 排名高度稳定 |
| 等权重消融 (\(k=5\), 均等加权) | 0.330 | 0.880 | 0 / 6 | 100.0% | 自动化愿望严重依赖首位 GWA 区分度 |
| 均值打分消融 (替换阈值化) | 0.710 | 0.800 | 0 / 7 | 100.0% | 均值平滑压缩了极值题目的辨识度 |
| 评委模型替换 (换用 GPT-5.2) | 0.670 | 0.500 | 0 / 8 | 100.0% | 存在标注者漂移，但数学题全劣结论不变 |
| 人工评委 A1 复现 (28 题子集) | - | - | 0 / 2 | 100.0% | 人工标注下数学题福利分依旧全线落后 |
| 人工评委 A2 复现 (28 题子集) | - | - | 0 / 3 | 100.0% | 与 A1 结论保持一致，帕累托前沿无数学题 |
关键发现¶
- OLMES 题目普遍脱离劳动者正向效用区：仅有 6% 的题目落入工人既支持自动化又支持人机增强的“绿灯高价值区”，而多达 27%~29% 的题目集中在工人明确抗拒 AI 介入的“红灯区”。
- 在以劳动者为核心的福利标准下，通用知识题帕累托支配数学题：MathQA、AGIEval-AQuA 与 MMLU-Math 中的全部数学题目无一进入全局福利帕累托前沿，在自动化和增强两轴上均被通用知识类题项一阶随机占优（Bootstrap 检验 \(p < 10^{-3}\)）。
- 可改进性成本极其不对称：在可经济提升的路径中，50.3% 的题目通过 SFT 提升成本最低（中位数成本 $8,500），35.4% 的题目通过 RL 最低（中位数 $104,000），仅有 14.3% 的题目适合由继续预训练攻克（中位数 \(250,000\)）。预训练改善题目的成本是 SFT 的 29 倍。均匀加权会盲目诱导研发团队扎堆于易被 SFT 刷高分数的表层任务。
- 对抗构建型任务包含显著的不可约种子噪声：HellaSwag、PIQA 与 ARC-Challenge 等对抗性任务在归一化方差 \(Z\) 上显著高于二项分布下限（0.32），HellaSwag 达 0.615。其机制在于对抗过滤让干扰项在对数几率上贴近正解（边际裕度仅 0.003 nats/char），致使极微小的随机初始化差异即可颠倒预测结果。
亮点与洞察¶
- 跨学科理论闭环：首次将经典的 Holmstrom-Milgrom 多任务委托代理理论成功移植至现代大模型基准测试，给出了兼顾社会价值导向、研发投入异质性与评测随机扰动的统一解析解。
- 揭穿均等加权的隐性扭曲：指出了“简单平均每个测试集得分”看似客观中立、实则对研发行为产生严重扭曲的本质——它在暗中重度补贴了低成本的 SFT 过拟合行为，惩罚了需要大算力预训练或高方差的高价值复杂推理任务。
- 审计框架可即插即用：提出的福利对齐、边际成本与种子方差三套量化方案，不依赖特定闭源模型，可无缝挂载到任何公开模型评估管线作为元数据层。
局限与展望¶
- 福利视角局限于劳工群体：当前福利权重仅采样了 WORKBank 中的劳动者调查偏好，尚未纳入消费者便利、科学探索、企业生产率及长期前沿安全等更广泛的外部性。
- 缩放定律规模受限：由于开源多轮次模型资源有限，成本面板基于 4B 模型推断，方差面板基于 410M 模型测试，在数十至数百 B 级别的超大模型上，种子噪声是否会因能力饱和而收敛仍需检验。
- 单委托人垄断假设：理论模型假设单一设计者发布全局标准，尚未刻画多评测基准竞争、实验室选择性提交披露的双边筛选博弈（Two-sided Selection）。
相关工作与启发¶
- vs 项目反应理论（IRT）与心理测量学评测（如 Truong et al., 2025; Zhou et al., 2026）：传统 IRT 致力于剔除低区分度或有标注缺陷的坏题，追求纯粹的潜在能力测量；本文则将评测置于博弈论框架下，关注指标如何改变受试研发者的资源配置与投入行为。
- vs 古德哈特定律与刷榜防作弊文献（如 Singh et al., 2025; Balloccu et al., 2024）：现有作弊审计多属于防御性揭露，指出刷榜与过拟合现象；本文迈出了从“指出作弊”到“机制设计”的关键一步，给出最优聚合权重的数学解。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从多任务委托代理机制设计切入大模型基准测试聚合规则，理论闭合严密。
- 实验充分度: ⭐⭐⭐⭐ 整合了 WORKBank 调查、EvoLM 跨轴训练检查点及 PolyPythia 跨种子面板，审计维度立体，但在超大参数规模上仍有欠缺。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰典雅，经济学直觉与机器学习实证衔接流畅。
- 价值: ⭐⭐⭐⭐⭐ 为破除大模型评测盲目均等加权、构建兼顾社会价值与研发真实激励的下一代评测集提供了扎实范式。