Aligning Language Model Benchmarks with Pairwise Preferences¶

会议: NeurIPS 2026
arXiv: 2602.02898
论文: https://arxiv.org/abs/2602.02898
代码: https://github.com/hartvigsen-group/benchalign
领域: LLM评测
关键词: 基准对齐, 成对偏好, Learning-to-Rank, 模型重排, 外部效度

一句话总结¶

针对静态基准难以预测大模型真实下游偏好与效用的断层问题，本文提出了基准对齐（Benchmark Alignment）框架与 BenchAlign 诊断工具，通过排序学习（Learning-to-Rank）自适应学习题目连续权重，实现了仅用中小模型即可零样本泛化至 70B+ 大模型真实偏好排序。

研究背景与动机¶

现有大语言模型评测深度依赖静态基准（如 MMLU-Pro、BBH、MATH 等），其底层默认假设聚合评测得分能够直接预测真实下游效用。然而近年来大量实证研究发现，基准得分与真实落地表现之间存在显著的外部效度（Predictive Validity）脱节：在静态榜单上名列前茅的模型，在特定下游应用或人类专家交互中经常出现表现疲软甚至低于小专精模型的现象；尤其在医疗、法律等高风险领域，基准高分模型依然可能输出严重不符临床直觉或安全偏好的内容。

这一评测困境的核心症结在于两点：其一，静态基准通常对所有测试题目施加均等权重（等权求和或简单平均），忽略了不同题项在区分真实人类偏好（如帮助性、诚实性）上的信度差异；其二，虽然近期已有工作引入项目反应理论（IRT）或 LLM-as-a-Judge 尝试压缩题库或构建动态排行榜，但 IRT 方法本质上仅在测量模型潜能而无法对接外源偏好，而 LLM 裁判则面临评测代价高昂、实例级与系统级排序失准以及固有自偏好偏差等缺陷。业界缺乏一种能够在不重构整套测试集的前提下，系统性校准现有基准得分使其对齐下游目标偏好的技术机制。

本文的切入点是直接面向下游效用建模：将外源真实偏好（如人类评价或成对奖励模型给出的排序）作为监督信号，探索能否通过微量偏好数据学习题目的连续关联权重，从而将传统的静态测试集自适应重构成能够泛化到未见大模型的偏好对齐基准。核心 idea：将基准重配权形式化为基于成对偏好的排序学习（Learning-to-Rank）问题，利用源模型上的成对胜负关系直接优化测试题连续权向量，用加权准确率实现向未见大模型及跨规模场景的零样本偏好排序泛化。

方法详解¶

整体框架¶

BenchAlign 旨在评估现有静态基准在面对外部真实偏好时的可对齐性（Alignability）。给定包含 $M$ 道题目的静态基准集合 $Q=\{q_1, \dots, q_M\}$ 和一组可获取评测输出及外部偏好排名的源模型集合 $\mathcal{F}=\{f_1, \dots, f_K\}$，模型 $f_i$ 在所有题目上的实例级表现被表示为特征向量 $\bm{x}_i \in \mathbb{R}^M$（正确为 1，错误为 0）。目标是学习一个题项连续权向量 $\bm{w} \in \mathbb{R}^M$，定义新的系统级评分函数 $s_{\bm{w}}(f_i, Q) = \tilde{\bm{w}}^\top \bm{x}_i$（其中 $\tilde{\bm{w}}$ 为归一化权重），使得依该得分生成的模型排名能精确复现目标偏好排名 $R_T$。

整个方法流程分为源模型特征提取与偏好对生成、成对排序损失优化求解题目权重、以及面向未见目标模型的加权评估与泛化排序三大阶段：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["源模型评测矩阵<br/>X ∈ R^(K×M) & 目标偏好排序 R_T"] --> B["成对偏好数据集构建<br/>筛选有效偏好对 (f_i, f_j)"]
    B --> C["连续题重排序学习<br/>RankNet最小化交叉熵成对损失"]
    C --> D["权重归一化与题项筛选<br/>得到对齐权重向量 w_tilde"]
    D --> E["未见大模型系统级重排<br/>加权聚合得分 s = w_tilde^T · x"]
    E --> F["对齐基准输出<br/>泛化偏好排名 R_D_hat"]

关键设计¶

1. 连续题重参数化评分：摆脱均匀假设与二值子集筛选局限

传统基准计算总分时采用均匀等权平均，隐式假定所有题目对下游价值的贡献完全对称。近期 IRT 驱动的蒸馏方法（如 MetaBench、TinyBenchmarks）虽然会对题目进行挑选，但本质上只是离散的硬掩码选择（即 $w_m \in \{0, 1\}$），容易丢失非核心题目中蕴含的弱判别信号。BenchAlign 将题目权重松弛为实数域连续变量 $\bm{w} \in \mathbb{R}^M$。对于任意模型 $f_i$，其重新加权后的系统级聚合得分表示为加权内积： $$s_{\bm{w}}(f_i, Q) = \sum_{m=1}^M \tilde{w}_m x_{i,m} = \tilde{\bm{w}}^\top \bm{x}_i$$ 其中 $\tilde{w}_m = w_m / \sum_{j=1}^M w_j$。此设计不仅赋权重要的判别题，还显式允许题重在优化空间中呈现梯度平滑分布；同时作者指出不应强加非负约束，因为允许负权重或反向指示能够有效捕捉某些模型在特定反直觉题目上的失误信号，从而更精准地将低质模型排在靠后位置。

2. 目标偏好驱动的成对排序学习：直接优化系统级排位保序性

针对传统点式回归易受各领域绝对打分尺度偏移影响的问题，本文将基准对齐建模为成对排序学习任务（Learning-to-Rank）。假设外部目标偏好诱导出的模型排序为 $R_T$。对于任意模型对 $(f_i, f_j)$，若 $f_i$ 优于 $f_j$（即位次 $r_i < r_j$），则构建一个正序监督对。模型采用线性 RankNet 结构，通过逻辑斯蒂损失惩罚预测排序倒挂的样本对，整体成对排序损失函数定义为： $$\mathcal{L}(\bm{w}) = \sum_{i=1}^K \sum_{j=1}^K \mathbb{I}_{r_i < r_j} \log \left( 1 + e^{-(s_i - s_j)} \right)$$ 其中 $s_i = \bm{w}^\top \bm{x}_i$ 为模型 $f_i$ 的预测效用得分。该目标函数直接拉大偏好较优模型与较劣模型之间的预测得分差 $(s_i - s_j)$，使题权重学习过程专注于相对判别力，避免了繁重的绝对分数拟合，且天生契合人类偏好与 RLHF 奖励模型的成对本质。

3. 跨任务潜在信号互补挖掘：跳出表层语义相似性的正交捕获

直觉上，如果目标偏好是评估某种特定能力（如物理推导），人们倾向于仅保留物理相关的题目。但可解释性分析表明，BenchAlign 学习到的高权题目并不局限于同主题任务。在跨多基准实验中，不相关的复杂指令遵循题（如 IFEval 中的特定限制生成）同样被赋予了极高的绝对权重。因为单一基准任务常受限于特定的题型模式，而 BenchAlign 优化出的题重向量在更深层次上放大了不同基准间的互补判别信号——两两组合任务后的目标偏好相关性提升远超单任务线性叠加，成功从看似无关的题项反应模式中恢复出隐藏的通用能力与偏好表征。

损失函数 / 训练策略¶

模型采用基于 PyTorch 的线性 RankNet 架构，不设隐藏层以确保学出的每个题重 $w_m$ 具备严格的因果可解释性。使用 Adam 优化器在模型成对集合上迭代，超参数设置学习率 $\eta = 10^{-4}$，margin 设为 0，不施加 weight decay。训练过程中保持早停与验证集监控。当数据规模较大时，每个 epoch 动态打乱有序模型对并按批次（batch size）反向传播更新权向量 $\bm{w}$。

实验关键数据¶

主实验¶

实验依托 OpenLLMLeaderboard v2，覆盖 4,576 个模型在 6 个核心基准（BBH、MMLU-Pro、MuSR、MATH、GPQA、IFEval）上的 21,606 道题目。过滤出全量可用的 4,364 个模型，保留 IFEval（541 题）由奖励模型（ArmoRM、GPT2、DPA 等）打分作为目标偏好真值（Helpfulness、Honesty），剩余 52 个任务（21,065 题）用于对齐训练。评测采用成对准确率（$\text{Acc}_{\text{pair}}$）与 Spearman 秩相关系数（$\rho$）。在按模型参数规模硬划分的留出测试（测试集仅包含 70B+ 或 30B+ 模型，训练仅使用更小尺寸模型）下，主要对比结果如下：

目标模型规模	方法	Helpfulness (ArmoRM) $\text{Acc}_{\text{pair}}$	Helpfulness (ArmoRM) $\rho$	Honesty (ArmoRM) $\text{Acc}_{\text{pair}}$	Honesty (ArmoRM) $\rho$
70B+ (留出未见)	No Alignment	0.542 ± 0.010	0.154 ± 0.165	0.559 ± 0.010	0.199 ± 0.164
	Random	0.538 ± 0.010	0.087 ± 0.161	0.621 ± 0.010	0.280 ± 0.145
	Individual (最优单任务)	0.675 ± 0.009	0.492 ± 0.136	0.694 ± 0.009	0.536 ± 0.129
	MetaBench	0.564 ± 0.007	0.200 ± 0.158	0.581 ± 0.007	0.246 ± 0.155
	TinyBenchmarks	0.540 ± 0.010	0.147 ± 0.161	0.554 ± 0.010	0.187 ± 0.159
	BenchAlign (本文)	0.778 ± 0.008	0.707 ± 0.074	0.774 ± 0.008	0.706 ± 0.074
30B+ (留出未见)	No Alignment	0.605 ± 0.005	0.331 ± 0.114	0.618 ± 0.005	0.368 ± 0.111
	Individual (最优单任务)	0.678 ± 0.005	0.501 ± 0.098	0.692 ± 0.005	0.537 ± 0.094
	MetaBench	0.606 ± 0.004	0.328 ± 0.110	0.613 ± 0.004	0.346 ± 0.108
	TinyBenchmarks	0.605 ± 0.005	0.323 ± 0.110	0.615 ± 0.005	0.354 ± 0.108
	BenchAlign (本文)	0.765 ± 0.005	0.710 ± 0.056	0.773 ± 0.005	0.730 ± 0.053

消融与数据需求分析¶

作者进一步探索了题项蒸馏与基准对齐结合的效果（针对 13B+ 目标模型），以及不同排序学习算法的消融表现：

目标偏好	蒸馏 / 对齐组合方案	题项规模	$\text{Acc}_{\text{pair}}$	Spearman $\rho$
ArmoRM (Helpful)	No Alignment	全部 21,065 题	0.583 ± 0.002	0.245 ± 0.065
	BenchAlign (全题)	全部 21,065 题	0.741 ± 0.001	0.674 ± 0.035
	MetaBench + BenchAlign	仅 1,500 题 (~7%)	0.744 ± 0.001	0.677 ± 0.035
	TinyBenchmarks + BenchAlign	仅 5,000 题 (~25%)	0.754 ± 0.001	0.700 ± 0.033
ArmoRM (Honest)	No Alignment	全部 21,065 题	0.588 ± 0.002	0.251 ± 0.064
	BenchAlign (全题)	全部 21,065 题	0.748 ± 0.001	0.686 ± 0.034
	MetaBench + BenchAlign	仅 1,500 题 (~7%)	0.757 ± 0.001	0.706 ± 0.032
	TinyBenchmarks + BenchAlign	仅 5,000 题 (~25%)	0.770 ± 0.001	0.735 ± 0.030

在排序学习算法消融中（30B+ 目标），RankNet（$\text{Acc}_{\text{pair}}=0.765, \rho=0.710$）与 NDCG-Loss2（$\text{Acc}_{\text{pair}}=0.755, \rho=0.697$）显著优于无排序学习基线（$\text{Acc}_{\text{pair}}=0.605, \rho=0.331$）及 LambdaRank（$\text{Acc}_{\text{pair}}=0.704, \rho=0.564$）。

关键发现¶

跨模型尺寸泛化性极强：仅在小模型（<13B 或 <30B）上训练得到的题重，对 70B+ 的大型未见模型依然具备极强的偏好排序预测能力，$\text{Acc}_{\text{pair}}$ 普遍维持在 0.76 以上，远高于未对齐基准（~0.55 近似抛硬币）。
极小信息子集潜力（Oracle 20 模型）：虽然朴素按模型尺寸递增训练需要约 1,000 个模型和 5,000 道题才能平稳收敛，但滑动窗口 Oracle 分析表明，仅需 10~20 个精心挑选的高区分度模型即可达到全量模型训练的对齐效果，揭示了极具价值的模型主动采样研究空间。
题目蒸馏与权重对齐的正交收益：将现有基准蒸馏工具（MetaBench / TinyBenchmarks）选出的精简子集与 BenchAlign 结合，不仅题量降至 7%~25%，排序准确率反而轻微反超全量题目对齐（$\rho$ 从 0.674 升至 0.700），证明高信度子集能过滤噪声题目的负面扰动。

亮点与洞察¶

将基准校准重塑为排序学习问题：巧妙跳出了“要么换整套基准、要么用开销巨大的 LLM-as-a-Judge”的传统思路，直接将评测矩阵作为特征输入，在保持快速、便宜的静态自动化评测优势的同时无缝注入外部偏好。
打破表层主题相关性的直觉误区：实证揭示了高权重题项与目标偏好之间存在深层正交与互补关系（例如复杂指令遵循题对物理推理偏好的显著提权），说明大模型的能力体现不能单凭人工分类标签做简单过滤。
为低成本定制排行榜指明了路径：企业或垂直领域机构无需重新标注成千上万道下游专业试题，仅需在现成开源大基准的基础上，利用少量代表性模型标注偏好，即可快速派生出专属于该机构价值偏好的对齐排行榜。

局限与展望¶

依赖可靠的目标偏好真值源：对齐过程的前提是存在可信的下游偏好（本文主要采用成熟奖励模型打分模拟），如果真实场景中偏好信号本身严重噪声化或存在主观分歧，题重优化可能退化。
初始候选基准需具备微弱正相关底线：实验表明，如果选取的基准与目标偏好完全正交或负相关（如某些低质量 GPT-2 评测设定），对齐难度会大幅增加，基准对齐无法无中生有地凭空创造能力信号。
缺乏模型子集的主动挖掘算法：尽管证实了 20 个模型即可完成高质量对齐，但目前该子集依然是事后 Oracle 检索所得，如何事前无需穷举即可主动选拔这 20 个代表模型仍是开放挑战。

评分¶

新颖性: ⭐⭐⭐⭐☆ [形式化提出基准对齐问题，将 LTR 成功迁移至大模型基准重排]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 4,500+ 模型、6 个核心基准、多重规模切分及 Oracle 极限挖掘]
写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，从泛化性、模型需求、题目需求到蒸馏结合脉络极其清晰]
价值: ⭐⭐⭐⭐☆ [为大模型评测效度脱节问题提供了极具可行性与低算力成本的实用诊断方案]