Efficient Benchmarking Is Just Feature Selection and Multiple Regression¶

会议: NeurIPS 2026
arXiv: 2605.25773
代码: https://github.com/sambowyer/mrmr_eval
领域: LLM评测
关键词: 高效评测、子集选择、特征选择、mRMR、核岭回归

一句话总结¶

本文将大模型高效基准评测（Efficient Benchmarking）重构为经典的统计学特征选择与多元回归两阶段问题，通过引入基于互信息的最小冗余最大相关算法（mRMR）筛选代表性题目子集，并采用二阶多项式核岭回归拟合子集与全量得分的非线性交互，在二元评测与连续指标上均显著降低预测误差并提升模型排序相关度。

研究背景与动机¶

大语言模型能力的飞速演进带来了对其评测基准规模与复杂度的急剧膨胀。从涵盖多任务问答的 MMLU、GPQA 到长程多轮推理、代码生成与多答案采样评测（如计算低方差的 pass@k 需要大量采样），评估一个前沿模型往往需要在成千上万个样本上执行耗时且昂贵的推理或沙箱代码执行。在模型持续预训练检查点监控、超参数消融或提示工程微调等典型场景中，频繁在完整基准上进行全量评测会导致高昂的算力开销并严重拖慢研发迭代周期。

为了压缩评测成本，近期以 AnchorPoints、tinyBenchmarks 和 MetaBench 为代表的高效评测方法尝试通过数据驱动手段筛选题目核心子集（coreset），并利用少量题目的表现推测全量基准得分。然而，现有方法往往依赖复杂的概率生成模型（如两参数项目反应理论 IRT 的 MCMC/变分推断）或启发式聚类（如对答题表现向量做 K-Means），不仅计算开销巨大、算法稳定性欠佳，而且在预测阶段通常采用简单的加权平均或单变量回归集成，忽略了题目之间对模型能力的非线性互补贡献。

本文的切入视角非常纯粹且颠覆：高效基准评测本质上就是一个经典的「特征选择 + 多元回归」问题。基准中的每道题目就是输入特征，模型在全量基准上的综合得分就是回归目标。核心 idea：将高效基准评测拆解为特征选择与多元回归两阶段，采用基于信息论的 mRMR 算法贪心筛选最大相关且最小冗余的题目子集，并在预测阶段引入二次多项式核岭回归建模题目间的非线性交互，以极低计算成本实现高精度、高稳定性的全基准得分与排序预测。

方法详解¶

整体框架¶

本文将高效基准评测规范化为两阶段管线： 1. 第一阶段（特征选择 / 核心子集构建）：给定 $M$ 个源模型在全量基准 $\mathcal{D}$（包含 $N$ 道题）上的答题表现矩阵，将每道题视为长度为 $M$ 的特征向量，全基准均分视为目标向量。采用互信息商准则（MIQ）的 mRMR 算法，贪心地挑选出规模为 $n \ll N$ 的核心题目子集 $\mathcal{C}$。 2. 第二阶段（分数回归预测）：针对测试模型 $m^*$ 在子集 $\mathcal{C}$ 上的实际得分向量，通过在源模型数据上训练的核岭回归模型 $f_{\mathcal{C}}$，直接外推预测其在全量基准上的得分 $\bar{s}(m^*, \mathcal{D})$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["源模型答题矩阵<br/>M 个模型 × N 道题目得分"] --> B["阶段 1：mRMR 特征选择<br/>基于互信息商准则贪心挑选子集"]
    B --> C["题目核心子集 C<br/>包含 n 道代表性题目"]
    C --> D["测试模型评测<br/>仅在子集 C 上评估测试模型"]
    D --> E["阶段 2：核岭回归预测<br/>二阶多项式核建模题目协同效应"]
    E --> F["预测全量基准得分与模型排序"]

关键设计¶

1. mRMR 题目子集特征选择：最大化相关性与最小化冗余度 以往方法（如 AnchorPoints 和 gp-IRT）采用 K-Means 聚类挑选中心题，倾向于选择覆盖全数据集难度的代表性题目，但往往包含了大量区分度极低（极易或极难）或信息高度重叠的题目。本文将每道题目 $q_i$ 映射为所有源模型的得分特征向量 $\mathbf{q}_i \in \mathbb{R}^M$，将模型的全基准平均分作为目标变量 $\bar{\mathbf{s}} \in \mathbb{R}^M$。子集的相关性定义为特征与目标的平均互信息，冗余度定义为已选特征之间的两两平均互信息： $$\text{Relevance}(\mathcal{C}) = \frac{1}{n} \sum_{X_i \in \mathcal{C}} I(X_i, Y), \quad \text{Redundancy}(\mathcal{C}) = \frac{1}{\binom{n}{2}} \sum_{X_i \in \mathcal{C}} \sum_{X_j \neq X_i} I(X_i, X_j)$$ 由于全局最优子集搜索属于 NP-complete 问题，算法采用贪心迭代。首先选择与综合得分相关度最高的题目，随后在每一步选择使得互信息商（MIQ）最大的题目加入子集： $$g^{\text{MIQ}}(X_i; \mathcal{C}_{(t-1)}, Y) = \frac{I(X_i, Y)}{\frac{1}{|\mathcal{C}_{(t-1)}|} \sum_{X_j \in \mathcal{C}_{(t-1)}} I(X_j, X_i)}$$ 在二元评测数据中，题目间互信息通过经验边缘概率和联合概率直接解析计算；题目与综合得分之间的离散-连续互信息则采用基于 k 近邻的 Ross 估计器（$k=5$）。该机制使算法自然聚焦于中等难度且彼此正交的信息密集型题目，大幅提升了子集在不同随机种子下的抽取稳定性。

2. 二次多项式核岭回归：捕捉题目间的非线性协同效应 标准岭回归仅为每道题目分配一个固定的线性权重，本质上隐含了「全量得分是题目得分的线性可加函数」的强假设。然而在真实评测中，模型同时答对两道特定题目所反映的能力跃迁，往往大于或不同于各自单独贡献的线性叠加。为了在极少源模型样本下建模题目间的组合交互，本文引入二次多项式核岭回归（$d=2$，$c=1$）： $$\kappa(\mathbf{x}_i, \mathbf{x}_j) = (\langle \mathbf{x}_i, \mathbf{x}_j \rangle + 1)^2$$ 通过核技巧，输入样本被隐式映射到包含常数项、所有单题得分线性项以及所有题目两两乘积项的高维再生核希尔伯特空间（RKHS）。对偶权重向量通过显式闭式解求解： $$\hat{\boldsymbol{\alpha}} = (K + \lambda \mathbf{I}_m)^{-1} \mathbf{y}$$ 其中正则化参数 $\lambda$ 采用留一法交叉验证自动确定。这种设计既避免了普通最小二乘法在欠定条件（源模型数 $M$ 小于子集题目数 $n$）下的不适定问题，又通过二次项捕捉了题目间的协同鉴别力。

3. 连续指标适配与跨指标泛化设计 针对非二元连续得分场景（如文本摘要的 ROUGE-L、BERTScore 以及代码生成的 pass@k），本文将管线平滑扩展。在特征选择阶段，采用 PCA 矫正的 KSG 连续互信息估计器处理特征与目标，并将近邻超参数优化至 $k=8$；在 pass@k 泛化场景下，直接复用以 pass@1 得分构建的静态题目子集，仅在预测阶段针对不同 $k \in \{1, 2, 4, \dots, 64\}$ 重新拟合核岭回归器。实验发现，即便题目的绝对通过率随着 $k$ 的增大发生系统性漂移，基于代表性中等难度子集学习的回归映射依然能精准外推多种采样预算下的得分。

实验关键数据¶

主实验¶

论文在 Open-LLM-Leaderboard（7 个基准、448 个模型）和 HELM-Lite（6 个基准、83 个模型）上进行了全量二元评测实验，源模型数 $M=30$，子集规模设定为原基准的 5%。预测误差采用方差加权归一化 RMSE/MAE，模型排序一致性采用 Kendall's $\tau$ 与 Spearman's $\rho$。

基准设定 (5% 核心子集, M=30)	评测指标	本文 (mRMR++)	强基线 (gp-IRT)	经典基准 (AnchorPoints)	改善幅度
Open-LLM-Leaderboard (二元)	Norm-RMSE $\downarrow$	0.024	0.041	0.052	RMSE 降低 41.5%
Open-LLM-Leaderboard (二元)	Kendall $\tau$ $\uparrow$	0.865	0.772	0.751	$\tau$ 提升 +0.093
Open-LLM-Leaderboard (二元)	Spearman $\rho$ $\uparrow$	0.968	0.912	0.898	$\rho$ 提升 +0.056
HELM-Lite (二元)	Norm-RMSE $\downarrow$	0.021	0.035	0.046	RMSE 降低 40.0%
HELM-Lite (二元)	Kendall $\tau$ $\uparrow$	0.878	0.814	0.795	$\tau$ 提升 +0.064
代码基准 pass@k (MBPP/HumanEval, M=15)	Norm-RMSE $\downarrow$	0.038	0.068	0.059	RMSE 降低 35.6%

消融实验¶

消融实验系统检验了特征选择准则（互信息商 MIQ vs 互信息差 MID vs 仅最大相关 vs F 检验）以及预测器类型（核岭回归 $d=2$ vs 线性岭回归 $d=1$ vs 加权平均）对最终效果的贡献。

模块配置 (MMLU-Pro / ARC-C, 10% 子集)	Norm-RMSE $\downarrow$	Kendall $\tau$ $\uparrow$	子集稳定性 $\hat{\Phi}$ $\uparrow$	耗时对比 (CPU)
完整方法 (mRMR++: MIQ + Kernel Ridge d=2)	0.018	0.892	0.78	0.42 s
w/o 二次核 (改为线性岭回归 mRMR+)	0.029	0.841	0.78	0.38 s
w/o 回归模型 (改为 Anchor 风格加权平均)	0.048	0.762	0.78	0.35 s
替换选择算法: AnchorPoints++ (K-Means + Kernel Ridge)	0.025	0.845	0.32	12.8 s
替换选择算法: gp-IRT (变分 IRT 推断 + 启发式融合)	0.034	0.795	0.28	340.0 s
替换选择准则: mRMR-MID (互信息差)	0.023	0.865	0.65	0.45 s
替换选择准则: Rel. Only (仅最大相关，忽略冗余)	0.031	0.818	0.52	0.25 s

关键发现¶

核回归是通用催化剂：只需将预测器从传统的「加权平均」替换为核岭回归（例如 AnchorPoints++），现有无监督聚类方法的 RMSE 即可下降 30% 以上，证明了非线性交互建模是高效评测的关键短板。
题目筛选稳定性与分布差异：K-Means 聚类和 IRT 倾向于均匀采样全难度谱系，包含了大量区分度差的极难/极易题目，且对训练模型切分极度敏感（稳定性 $\hat{\Phi} \approx 0.3$）；而 mRMR 自动汇聚于辨识度最高的中等难度题目，在不同随机种子下的特征复现稳定性高达 0.78。
计算效率飞跃：由于避免了复杂的概率潜变量推断，mRMR 特征选择仅涉及轻量级矩阵互信息统计，运行速度比 gp-IRT 快 2 至 3 个数量级（从数分钟缩短至不到 1 秒）。

亮点与洞察¶

奥卡姆剃刀式的视角重塑：论文没有随大流堆砌深奥复杂的贝叶斯潜变量模型，而是犀利地指出高效评测的数学本质就是「特征选择 + 多元回归」，用成熟且完备的经典统计学工具彻底击败了前沿复杂基线。
二次核解构模型能力互补性：二阶多项式核不仅在数学上提供了优雅的闭式解，而且在语义上精确对应了「题目答对的成对协同信号」，在 $d=2$ 处取得精度与抗过拟合的最佳平衡点。
跨评测指标的零成本迁移：在 pass@k 评测中，用计算代价极低的 pass@1 筛选出的题目子集，结合核岭回归即可无缝外推高采样预算（如 pass@64）的综合性能，显著节省了代码大模型的生成采样开销。

局限与展望¶

分布外外推的 S 型饱和现象：在全基准得分极低（接近随机下限）或极高（接近满分）的模型上，岭回归会出现下界高估、上界低估的经典均值回归偏倚，因而不适合直接评估能力断代领先或断代落后的极端模型。
连续得分场景下互信息估计方差：在非二元连续数据中，基于 KNN 的高维互信息估计对数据量较为敏感，在极小源模型样本（如 $M < 15$）下 mRMR 优势有所收窄。
未来方向：探索与主动评测（Active Testing）相结合的动态子集自适应选择机制，并将该回归范式拓展至大模型多轮长文本对话评测与复杂智能体任务评测中。

评分¶

新颖性: ⭐⭐⭐⭐☆ 重新将高效评测问题归约为经典特征选择与核回归，视角清晰敏锐且极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖二元、连续及代码 pass@k 等十余个基准，统计指标严谨（包含 RMSE、MAE、Spearman、Kendall 及稳定性）。
写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣，从数学推导、算法对比到消融实验层次极其清晰。
价值: ⭐⭐⭐⭐⭐ 为大模型研发迭代与评测降本增效提供了即插即用、开箱即用的高性价比工业级方案。

基准设定 (5% 核心子集, M=30)	评测指标	本文 (mRMR++)	强基线 (gp-IRT)	经典基准 (AnchorPoints)	改善幅度
Open-LLM-Leaderboard (二元)	Norm-RMSE \(\downarrow\)	0.024	0.041	0.052	RMSE 降低 41.5%
Open-LLM-Leaderboard (二元)	Kendall \(\tau\) \(\uparrow\)	0.865	0.772	0.751	\(\tau\) 提升 +0.093
Open-LLM-Leaderboard (二元)	Spearman \(\rho\) \(\uparrow\)	0.968	0.912	0.898	\(\rho\) 提升 +0.056
HELM-Lite (二元)	Norm-RMSE \(\downarrow\)	0.021	0.035	0.046	RMSE 降低 40.0%
HELM-Lite (二元)	Kendall \(\tau\) \(\uparrow\)	0.878	0.814	0.795	\(\tau\) 提升 +0.064
代码基准 pass@k (MBPP/HumanEval, M=15)	Norm-RMSE \(\downarrow\)	0.038	0.068	0.059	RMSE 降低 35.6%