Your Benchmark Is an Empirical Measure Over Difficulty¶

会议: NeurIPS 2026
arXiv: 2610.29927
论文: https://arxiv.org/abs/2610.29927
代码: https://github.com/ASTRAL-Group/benchmark-difficulty-measure
领域: LLM 评测
关键词: 基准测试评测, 题目难度分布, 经验测度, 测度失配, 覆盖盲区

一句话总结¶

本文提出将基准测试（Benchmark）视作题目难度轴上的经验测度，严密形式化了排行榜排序失真的「测度失配」与无法捕捉训练局部收益的「覆盖盲区」两大失效模式，并提出了难度定向填隙算法 BenchFill 与微调校准方法。

研究背景与动机¶

当前大语言模型的评测范式高度依赖于基准测试：在固定测试集上计算平均正确率，并直接用于排行榜模型优劣比对或强化学习/退火阶段的训练进度监控。然而，这种简单的平均机制掩盖了一个根本性前提——评测结论不仅取决于模型在单题上的实际水平，更由评测集在题目难度轴上的分布形态决定。当两模型在简单题上平分秋色、而在难题上差异显著时，若基准测试过度集中于低难度区间，平均分将掩盖真实差距；反之，若测试集在某一难度区间缺乏试题采样，模型在此区间的实质性训练突破将难以在评测分数上体现。

这一现象背后的核心矛盾在于：现行基准测试本质上是由有限离散试题构成的采样集合，但学术界往往将其平均得分默认为无偏评估模型整体能力的充分统计量，忽视了测试集离散试题在难度空间中所诱导出的测度结构。现存做法要么简单统计模型间的胜率，要么依靠非标准化的失败率估计题目难度，无法解耦模型自身能力与题目客观难度，更缺乏理论工具刻画难度分布偏斜与局部稀疏对评测结论的数学扭曲。

本文的切入视角是将评测集严格形式化为定义在连续难度轴上的经验测度（Empirical Measure），把上述两类经验痛点严密抽象为「测度失配（Measure Mismatch）」与「覆盖盲区（Coverage Gaps）」两大基础失效模式。本文的核心 idea 是：将基准测试建模为难度轴上的经验概率测度，基于 Wasserstein 距离与相邻难度极大间隔建立失真上界与极小极大检测相变理论，并通过进化重写算法 BenchFill 对关键覆盖盲区进行靶向试题填充。

方法详解¶

整体框架¶

本文构建了一套从测度形式化理论、项目反应理论（Item Response Theory, IRT）统计估计、经验测度诊断，到针对性填隙优化的完整方法管线。对于包含 $n$ 道试题的基准测试 $\mathcal{B} = \{x_i\}_{i=1}^n$，设每道试题在连续难度轴上具有规范化难度 $z_i \in [0, 1]$，模型 $\theta$ 在难度 $z$ 下的条件期望表现为 $s_\theta(z)$。则基准测试总得分 $S_\mathcal{B}(\theta) = \frac{1}{n} \sum_{i=1}^n s_\theta(z_i)$ 自然等价于针对经验测度 $\nu_\mathcal{B} = \frac{1}{n}\sum_{i=1}^n \delta_{z_i}$ 的积分 $\int s_\theta(z) d\nu_\mathcal{B}(z)$。

基于这一测度视角，两模型表现差值 $D_\mathcal{B}(\theta', \theta) = \int \Delta(z) d\nu_\mathcal{B}(z)$ 深度耦合了模型性能差函数 $\Delta(z) = s_{\theta'}(z) - s_{\theta}(z)$ 与基准测度 $\nu_\mathcal{B}$。整个分析与修复流程包含：① 理论诊断度量建立（DDM 与 Max Gap）；② 基于 1PL-IRT 与贝叶斯 MCMC 的题目难度联合标定；③ 分布剪枝校准（Benchmark Calibration）；④ 进化式难度重写填隙（BenchFill）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["基准测试集与模型作答响应矩阵"] --> B["1PL-IRT 贝叶斯标定与诊断<br/>估计潜在能力与题目连续难度"]
    B --> C["基准测试经验测度构建<br/>归一化难度轴与经验分布函数"]
    C --> D["难度分布测度失配诊断<br/>Wasserstein 距离与排序稳定性界"]
    C --> E["覆盖盲区检测与极大间隔<br/>极小极大局部训练检测相变"]
    D --> F["分位数匹配剪枝校准<br/>重构均匀目标经验测度"]
    E --> G["BenchFill 靶向试题进化重写<br/>父代检索-定向生成-在线IRT校准"]
    G --> H["双重校验与扩展填隙测试集<br/>GPT-5.4 验证与人类专家终审"]

关键设计¶

1. 测度失配度量（DDM）与排序稳定性理论界：刻画分布偏斜对排行榜的失真影响

针对基准测试与目标评测分布之间的偏斜问题，定义目标难度分布为 $\mu \in \mathcal{P}([0, 1])$。两模型在目标分布下的真实差距为 $D_\mu(\theta', \theta) = \int \Delta(z) d\mu(z)$。本文引入一维 1-Wasserstein 距离定义难度分布失配度（Difficulty Distribution Mismatch, DDM）： $$\mathrm{DDM}(\mathcal{B}, \mu) := W_1(\nu_\mathcal{B}, \mu) = \inf_{\pi \in \Pi(\nu_\mathcal{B}, \mu)} \int_{[0, 1]^2} |u - v| d\pi(u, v)$$ 当无先验偏好时，定理严格证明均匀分布 $\lambda = \mathrm{Unif}[0, 1]$ 是在完全不确定性下的唯一极小化极大（Maximin）目标分布。若性能差函数 $\Delta(z)$ 满足 $L$-Lipschitz 连续，则基准分差与目标分差的偏差被严格约束：$|D_\mathcal{B}(\theta', \theta) - D_\mu(\theta', \theta)| \le L \cdot W_1(\nu_\mathcal{B}, \mu)$。由此可知，当且仅当目标差距绝对值大于 $L \cdot W_1(\nu_\mathcal{B}, \mu)$ 时，排行榜排序不会发生逆转（Rank Flip）。在有限次重复采样评估下，该结论进一步推广为带 Hoeffding 集中项的高概率界。

2. 极大难度间隔（Max Gap）与局部训练检测相变界：揭示稀疏盲区对训练监控的失效机理

基准测试的离散支撑集会导致其在没有试题的难度区间测度为零。将有序试题难度记为 $0 \le z_{(1)} \le \dots \le z_{(n)} \le 1$（定义边界 $z_{(0)}=0, z_{(n+1)}=1$），相邻试题的极大间隔定义为 $G(\mathcal{B}) := \max_{0 \le j \le n} (z_{(j+1)} - z_{(j)})$。在假设检验框架下，零假设 $H_0: s^- = s^+$，备选假设 $H_1: \exists I \subset [0, 1], |I|=w, s^+(z) - s^-(z) \ge a, \forall z \in I$（模型在宽为 $w$ 的区间产生至少 $a$ 的性能跃迁）。理论证明了尖锐的渐近极小极大检测相变：当局部提升宽度 $w \le G(\mathcal{B})$ 时，无论对每道题进行多少次重复测试（$k \in \mathbb{N}$），极小极大检验功效恒等于显著性水平 $\alpha$（实质提升完全隐形）；当且仅当 $w > G(\mathcal{B})$ 时，随着重复采样次数 $k \to \infty$，检验功效才收敛至 1。这一结论确立了 $G(\mathcal{B})$ 是评测集能否捕捉模型局部能力跃升的内生分辨率极限。

3. 基于 1PL-IRT 的题目连续难度贝叶斯标定与前置/后验诊断体系

为克服简单错误率无法解耦模型水平与题目难度的局限，本文采用单参数 Logistic 项目反应理论（1PL-IRT）。对于模型 $j$（能力 $\theta_j$）与试题 $i$（难度 $b_i$），正确率建模为 $\Pr(Y_{ij}=1) = \sigma(\theta_j - b_i)$（多选题融入猜测率 $g_i$）。采用 PyMC 与 No-U-Turn Sampler（NUTS）进行贝叶斯 MCMC 采样推断。为确保参数估计稳健，建立严格的诊断体系：拟合前评估作答矩阵的模型/题目信息量（$\ge 0.3$）与模型/题目逆序率（$\le 0.3$）；拟合后评估 Gelman-Rubin 统计量 $\hat{R} \le 1.02$、有效样本量 Bulk ESS 以及零发散轨迹。经验证，25 个评测基准全部通过诊断，且 BIC 准则证实 1PL 相比 2PL 在多数基准上泛化更优且无发散数值病态。

4. BenchFill 难度定向进化重写填隙算法：闭环自适应填充最大盲区

为修复测试集上的局部覆盖盲区，BenchFill 采用记忆引导的进化搜索算法直接在目标难度中点 $z^\star = (z_L + z_R)/2$ 处合成高质量试题。算法维护由「试题-难度」对构成的外部记忆池 $\mathcal{M}$。在每轮搜索中：首先检索距离 $z^\star$ 最近的父代试题集合，并挑选目标两侧的邻近示例构建双向参考列表；重写模型（如 MiniMax-M2.7）在目标标度与参考例提示下生成子代候选；候选试题经自动化判定器（GPT-5.4）校验参考答案正确性后，固定原有模型的已估计能力参数 $\hat{\theta}_j$，通过一维极大似然进行快速在线标定（Online Calibration）求解子题难度 $\hat{b}$ 并归一化；合格子题回填入记忆库引导下一轮更聚焦的采样。搜索达到容差 $\tau \le 0.01$ 或轮次上限后，选取最贴近目标的候选经专家双盲审核并正式合入测试集。

一个完整示例¶

以 AMC23 数学竞赛基准测试中第 1 大覆盖盲区（包含跨度约为 0.535 至 0.65 之间的大间隔）为例，BenchFill 执行流程如下： - 目标设定：检测到最大间隔后，算法计算填隙目标难度为 $z^\star = 0.598$（归一化标度映射为提示提示词刻度 5.98）。 - 父代检索与上下文构造：从记忆库中抽取难度为 0.535 的原题（计算 $\sqrt{\frac{\log(n^2)-(\log n)^2}{\log n - 3}}$ 为实数的整数 $n$ 的个数），并检索两侧示例形成 16 条参考上下文。 - 重写与在线标定：重写模型将分母边界常数微调约束，生成变形试题（将分母的 $-3$ 调整为 $-1$ 并调整取值范围）；自动化判别器确认答案解析完备；调用预存模型库进行作答推理后执行一维极大似然标定，测得该新题难度为 $0.597$。 - 收敛与审核：绝对偏差仅为 $|0.597 - 0.598| = 0.001 \le 0.01$，算法在单轮迭代内即成功截断极大盲区，最终经人类专家核验无误后合入基准。

实验关键数据¶

主实验¶

论文对涵盖数学、代码、Agent、逻辑、科学、指令遵循和医学 7 大领域的 25 个流行基准测试进行了全面测度诊断，并评估了 BenchFill 对代表性基准前 3 大盲区的填充效果。

基准测试 (Benchmark)	领域 (Domain)	题目数量 (#)	测度失配 (DDM) ↓	极大间隔 (Max Gap) ↓	Top-5 间隔和 (Top-5 Sum) ↓
MATH-500	数学	500	0.164	0.058	0.175
AIME24	数学	30	0.077	0.179	0.502
AIME25	数学	30	0.079	0.158	0.492
AMC23	数学	40	0.089	0.217	0.539
HumanEval	代码	164	0.148	0.165	0.423
MBPP+	代码	378	0.163	0.049	0.214
SWE-bench-Mini	Agent	50	0.053	0.149	0.469
CORE-Bench Hard	Agent	45	0.036	0.113	0.363
ScienceQA	科学	4241	0.178	0.045	0.175
MedQA	医学	1273	0.157	0.042	0.178
IFEval	指令遵循	541	0.159	0.046	0.189
BBH-5 objects	逻辑	250	0.099	0.128	0.332

消融实验¶

在 8 个基准测试上测试针对前 3 大难度盲区的填隙表现，对比等算力预算的均匀采样父代 Baseline、BenchFill 以及理想理论上限 Oracle（每次插入严格置于当前区间绝对中点）。

基准测试 (Benchmark)	Top-3 间隔和缩减率 (%) Baseline	Top-3 间隔和缩减率 (%) BenchFill ↑	Top-3 间隔和缩减率 (%) Oracle (理论上限)	目标难度偏差 Baseline ↓	目标难度偏差 BenchFill ↓
AIME24	6.90	35.57	35.57	0.057	0.005
AIME25	27.44	37.56	37.56	0.016	0.005
AIME26	17.94	33.04	33.04	0.045	0.002
AMC23	24.47	35.19	35.78	0.009	0.003
Gaokao2023en	11.45	38.88	45.47	0.152	0.004
BBH-3 objects	14.83	29.88	32.80	0.026	0.006
MMLU-Pro-Biology	22.23	30.13	36.84	0.046	0.006
IFEval	14.94	21.09	23.44	0.036	0.007
平均值 (Average)	17.52	32.67	35.06	0.048	0.005

关键发现¶

大基准同样暗藏严重盲区：不仅小规模数据集（如 AIME 系列前 5 大盲区占比高达 ~50%）存在断层，题量过百乃至数千的大型基准（如包含 164 题的 HumanEval 最大间隔达 0.165，Top-5 盲区占 42.3%；BBH-5 达 0.128）同样存在极不均匀的难度跨度，直接限制其作为细粒度训练检测工具的能力。
BenchFill 逼近 Oracle 理论极值：仅通过单基准插入 3 道重写题，BenchFill 平均降低 Top-3 间隔和达 32.67%（极其接近 Oracle 理论上限 35.06%，显著高于 Baseline 的 17.52%），在 AIME24/25/26 上完全达到理论最佳缩减，难度绝对偏差均控制在 0.01 以内。
下游训练真实检出率质变：在针对局部区间进行 SFT 微调的探测实验中，原版 AIME24/25/26 因盲区无法检测到正向收益（检出率 0/3），而各加入 1 道 BenchFill 填隙题后，通过分层随机化显著性检验全部成功检出（3/3，$p < 0.01$）。

亮点与洞察¶

测度视角的认识论跃迁：摆脱了以往「基准就是试题池算均分」的朴素认知，将评测集严格形式化为连续难度轴上的经验概率测度，使基准测试的不完备性可以直接用测度论与传输理论严密推导。
相变检测边界的严格证明：建立起极大间隔 $G(\mathcal{B})$ 与局部能力提升检测功效之间的充分必要联系，证明了低于该间隔的局部模型训练收益在统计检验上存在不可逾越的盲区。
闭环标定填隙的可操作性：BenchFill 结合了 LLM 自带的难度微调感知力与基于 IRT 的在线免全量重新拟合快速标定，不仅提供理论诊断，更给出了端到端的基准修复与扩充工具。

局限与展望¶

作者承认的局限：目前整体诊断体系主要属于事后审计（Post-hoc），即在基准测试已经建构完成后进行被动诊断与修正；若能在基准测试构建初期就主动引入难度测度规划将更加根本。
单维度 IRT 难度的表征边界：尽管 1PL 在 BIC 准则与采样收敛性上优于 2PL，但实际复杂任务（如复合工具调用、多步证明）往往由多重正交能力维度支撑，一维标量难度可能无法捕捉多维能力交互导致的非单调解题表现。
对评测模型池选取的依赖：IRT 标定难度依赖于初始模型池（12 个分层开源模型或 HAL 关闭源模型）的表现跨度，若模型能力分布存在未观察到的盲区，所测得的题目难度锚点可能存在整体漂移。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从经验测度与最优传输理论视角建立大模型 Benchmark 评估体系，理论完备且视角深刻。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个领域 25 个顶流基准，结合 MCMC 贝叶斯诊断、假设检验与真实微调检测实验，论证极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨流畅，从理论到算法、再到开源数据集的落地闭环完整。
价值: ⭐⭐⭐⭐⭐ 对当前 RLVR 训练监控（如 AIME 依赖）与大模型排行榜公信力提供了至关重要的诊断与改进工具。