Submodular Benchmark Selection¶

会议: NeurIPS 2026
arXiv: 2605.02209
OpenReview: https://openreview.net/forum?id=a2E0uvY4DZ
代码: https://github.com/smolix/benchmark-selection
领域: 优化/理论
关键词: 子模优化、大语言模型评测、互信息最大化、高斯过程传感器放置、矩阵填补

一句话总结¶

将大模型基准套件子集挑选严格形式化为多元高斯分布下的子模优化问题，证明贪心互信息选择在极小评测子集下通过捕捉与未选基准的紧密耦合显著优于贪心熵选择（主成分 Cholesky 分解），仅需 5 个 MMLU 学科即可实现高斯条件期望插补 $R^2 \ge 0.91$。

研究背景与动机¶

随着大语言模型评测生态的急剧膨胀，评估一个模型往往需要运行涵盖常识推理、学科知识、代码生成、智能体与对话安全的数十乃至上百个基准测试（如 HELM、Open LLM Leaderboard、MMLU、MTEB 等）。每个基准的测试都需要耗费数千小时的 GPU 算力、极长的推理时间以及繁复的人工核验，评测成本呈现不可持续的线性攀升。然而，各类基准测试之间存在极其强烈的统计冗余——在某一数学或逻辑基准上表现优异的模型，往往在其他类似推理任务上也表现出色，这表明评测空间实质上嵌入在极低维的潜在流形中。

面对基准冗余，已有工作要么聚焦于单一基准内部的样本剪枝（如 tinyBenchmarks 提取 100 个代表性样本），要么借助黑盒神经网络或潜在技能回归（如 Sloth、BenchPress）拟合评测插值，但缺乏原则性、可解释的信息论选择准则。经典空间传感器放置问题（Guestrin et al., 2005）曾利用高斯过程子模性挑选代表性观测点，但直接迁移到大模型基准选择面临两大约束：第一，传感器放置依赖预设的连续核先验，而基准评分矩阵是由离散模型评测构成的离散高维观测，且因各模型参与评测不全而存在严重的非随机缺失；第二，评测选择的目标是预测未测试基准的分数，但最大化选择集自身不确定性（熵）与最大化对未选集预测能力（互信息）在理论保证与有限预算下存在深刻的代理割裂（surrogate gap）。

针对评测成本与全量评估的矛盾，本文的切入点是将多模型多基准评分矩阵建模为多元高斯分布的独立同分布样本，将基准筛选转化为离散子集上的子模最大化问题。核心 idea：将大模型基准选择统一为多元高斯概率模型下的子模优化框架，通过 EM 算法从非完整评分矩阵中鲁棒估计协方差，利用贪心互信息选择直接强化与未选补集的耦合能力，并配合主元 Cholesky 残差迹与特征谱衰减构建子集规模诊断，实现极小评测预算下的高精度全域分数插补。

方法详解¶

整体框架¶

本文构建了一套用于大语言模型评测基准子集选择、不完整数据协方差恢复与未测分数插补的端到端框架。输入为 $M$ 个模型在 $N$ 个基准上的评分矩阵 $B \in \mathbb{R}^{M \times N}$（通常包含缺失项），输出为精简选定的基准子集 $\mathcal{A} \subseteq \{1, \dots, N\}$（$|\mathcal{A}| = k \ll N$）以及针对任意新模型未测试基准的条件高斯预测分数。

整个处理管线包含三个核心阶段：首先，通过针对非完全观测高斯数据的期望最大化（EM）算法估计均值向量 $\boldsymbol{\mu}$ 与协方差矩阵 $\Sigma$，并利用 Ledoit-Wolf 线性收缩与半正定投影应对秩亏陷与稀疏性；其次，利用协方差矩阵的特征谱衰减以及贪心选取所诱导的主元 Cholesky 残差对角迹作为子集规模 $k$ 的几何谱诊断；最后，在基数约束或成本约束下执行贪心子模最大化（熵最大化或互信息最大化）选出子集 $\mathcal{A}$，并在部署期通过多元高斯条件期望对未测补集 $\bar{\mathcal{A}} = \mathcal{V} \setminus \mathcal{A}$ 实施闭式线性最优插补。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：M 个模型在 N 个基准上的评分矩阵<br/>B ∈ R^(M×N) (含缺失观测掩码 O)"] --> B["1. 不完整数据 EM 协方差估计<br/>E步插补高斯矩 + M步协方差更新与LW收缩"]
    B --> C["2. 协方差特征谱与 Cholesky 残差诊断<br/>分析特征值 λ_j 衰减速率确定紧致预算 k"]
    C --> D["3. 贪心子模基准选择<br/>贪心熵 (主元Cholesky) vs 贪心互信息 (前向更新+补集求逆)"]
    D --> E["4. 高斯条件期望线性最优插补<br/>对新模型仅测 k 个基准并重构全域分数"]
    E --> F["输出：高相关性评测子集 A 与补集预测得分"]

关键设计¶

1. 缺失数据 EM 协方差估计与秩亏陷正则化：解决公有排行榜严重缺失与非正定难题

公有大模型排行榜（如 Open LLM Leaderboard、MTEB 等）高度稀疏，绝大多数模型仅在部分测试集上有据可查。若直接采用按对成对估计协方差，各元素样本子集不同极易导致估计的协方差矩阵失去半正定性（PSD），且无法利用跨基准的全局相关性。

本文在随机缺失（MAR）假设下引入高斯 EM 算法。E 步针对每个模型 $i$，基于当前参数 $(\boldsymbol{\mu}^{(t)}, \Sigma^{(t)})$ 将其未测基准指标集 $\bar{\mathcal{B}}_i$ 关于已测基准指标集 $\mathcal{B}_i$ 计算条件一阶矩与条件协方差： $$\mathbb{E}[B_{i, \bar{\mathcal{B}}_i} \mid B_{i, \mathcal{B}_i}] = \boldsymbol{\mu}_{\bar{\mathcal{B}}_i}^{(t)} + \Sigma_{\bar{\mathcal{B}}_i, \mathcal{B}_i}^{(t)} \left( \Sigma_{\mathcal{B}_i, \mathcal{B}_i}^{(t)} \right)^{-1} \left( B_{i, \mathcal{B}_i} - \boldsymbol{\mu}_{\mathcal{B}_i}^{(t)} \right)$$ $$C_i^{(t)} = \operatorname{Cov}(B_{i, \bar{\mathcal{B}}_i} \mid B_{i, \mathcal{B}_i}) = \Sigma_{\bar{\mathcal{B}}_i, \bar{\mathcal{B}}_i}^{(t)} - \Sigma_{\bar{\mathcal{B}}_i, \mathcal{B}_i}^{(t)} \left( \Sigma_{\mathcal{B}_i, \mathcal{B}_i}^{(t)} \right)^{-1} \Sigma_{\mathcal{B}_i, \bar{\mathcal{B}}_i}^{(t)}$$ M 步利用填补后的完整数据矩阵 $\tilde{B}$ 重构协方差，并显式追加填补不确定性修正矩阵 $\frac{1}{M}\sum_{i=1}^M C_i^{(t)}$，彻底避免残差方差低估。当可用模型数量少于基准数（$M < N$）导致经验协方差秩亏陷时，算法在初始化与收敛后应用 Ledoit-Wolf 确定性收缩，向球形矩阵 $({\operatorname{tr}}(\Sigma)/N) I$ 线性收缩，并在每轮迭代后将特征值截断至 $\varepsilon = 10^{-3}$，保证多变量高斯反演在极端稀疏下的绝对数值稳定。

2. 贪心熵最大化与主元 Cholesky 分解等价性：高效的 $O(k^2 N)$ 多样性筛选与残差迹诊断

熵目标旨在最大化所选基准子集自身的不确定性 $f_1(\mathcal{A}) = H(X_{\mathcal{A}}) = \frac{1}{2} \log \det(2\pi e \Sigma_{\mathcal{A}\mathcal{A}})$。由于对角常数项不改变最优点，这等价于极大化所选子块的对数行列式。根据条件熵链式法则，向集合追加基准 $j$ 的边际增益为： $$\Delta(j \mid \mathcal{A}) = H(X_j \mid X_{\mathcal{A}}) = \frac{1}{2} \log (2\pi e \, \sigma^2_{j \mid \mathcal{A}})$$ 其中 $\sigma^2_{j \mid \mathcal{A}}$ 为给定已选集下变量 $j$ 的条件残差方差。因为 $\log$ 是单调递增函数，贪心选取每步等价于寻找残差方差最大者 $j^* = \operatorname{argmax}_{j} d_j$。

这一贪心过程在代数上与数值代数中的主元 Cholesky 分解（Pivoted Cholesky）严格一一对应。通过维护下三角因子矩阵列向量 $\boldsymbol{\ell}_j$，每步以对角线残差方差 $d_j \leftarrow d_j - \ell_{j, t}^2$ 的更新方式运行，无需重复求逆即可在 $O(k^2 N)$ 时间内完成选择。更重要的是，定理表明在经模平移后使单步边际增益非负的定义下，贪心解满足 $(1 - 1/e) \approx 0.632$ 近似比，且未选基准的总条件方差严格满足恒等式 $\operatorname{tr}(\Sigma_{\bar{\mathcal{A}} \mid \mathcal{A}}) = \operatorname{tr}(\Sigma - L_k L_k^\top)$，为判断子集残差衰减提供了与未受限 PCA 特征值截断和 $\sum_{j > k} \lambda_j$ 相对照的严格理论下界。

3. 贪心互信息最大化与数值稳定互补精简重构：消除代理割裂的关键预测算法

尽管熵最大化拥有优良的理论性质，但它仅关注被选基准彼此之间的差异性与多样性，容易优先挑出偏离主流的“孤立高方差特异学科”（例如抽象代数），而忽视了对未被挑选基准的预测力。互信息目标 $f_2(\mathcal{A}) = I(X_{\mathcal{A}}; X_{\bar{\mathcal{A}}}) = \frac{1}{2} [\log\det \Sigma_{\mathcal{A}\mathcal{A}} + \log\det \Sigma_{\bar{\mathcal{A}}\bar{\mathcal{A}}} - \log\det \Sigma_{\mathcal{V}\mathcal{V}}]$ 则直接量化所选变量对剩余变量不确定性的削减程度。其贪心边际增益展开为： $$\Delta(v \mid \mathcal{A}) = \frac{1}{2} \left[ \log \sigma^2_{v \mid \mathcal{A}} - \log \sigma^2_{v \mid \bar{\mathcal{A}}_v} \right] = \frac{1}{2} \left[ \log d_v + \log P_{vv} \right]$$ 其中 $P_{vv} = [(\Sigma_{\bar{\mathcal{A}}, \bar{\mathcal{A}}})^{-1}]_{vv}$ 是未选补集精度矩阵（Precision Matrix）的对角元。增益式由两部分驱动：第一项 $\log d_v$ 鼓励多样性，第二项 $\log P_{vv}$ 奖励与未选补集的强耦合度。

由于补集 $\bar{\mathcal{A}}$ 在算法迭代中逐步缩减，传统基于逆矩阵秩一降阶更新（Downdate）的公式极易在 $P_{jj}$ 接近零时发生除法数值放大，导致累积舍入误差溃堤。本文舍弃了易失稳的 $O(k N^2)$ 递推，转而在每轮对未选补块执行一次全新的下三角 Cholesky 分解 $L_{\bar{\mathcal{A}}} L_{\bar{\mathcal{A}}}^\top = \Sigma_{\bar{\mathcal{A}}, \bar{\mathcal{A}}}$，并通过三角方程组回代解出精度对角元 $P_{vv} = \|(L_{\bar{\mathcal{A}}}^{-1})_{:, v}\|^2$。对于包含几百个基准的实际规模，该设计以 $O(k N^3)$ 的微秒级运算开销换取了彻底无累积漂移的代数稳定性，成功稳固了能够优先捕获枢纽任务（Hub Benchmarks）的互信息选择路径。

损失函数 / 训练策略¶

该框架属于非参数统计学习范畴，无需反向传播训练大模型权重，全部计算聚焦于基准协方差估计与数值代数求解： - 数据标准化与白化：输入评分在参与协方差计算前均以训练集均值与标准差标准化为零均值单位方差向量，防止因某基准分值量纲过大主导对数行列式； - 岭正则与预测裁剪：在利用高斯条件期望公式 $\mathbb{E}[B_{i\bar{\mathcal{A}}} \mid B_{i\mathcal{A}}] = \boldsymbol{\mu}_{\bar{\mathcal{A}}} + \Sigma_{\bar{\mathcal{A}}\mathcal{A}} (\Sigma_{\mathcal{A}\mathcal{A}} + 10^{-2} I)^{-1} (B_{i\mathcal{A}} - \boldsymbol{\mu}_{\mathcal{A}})$ 进行插补时，向核矩阵注入 $10^{-2} I$ 岭收缩项避免近奇异病态；预测结果在标准化空间下被温和截断在 $[-10, 10]$ 内以压制外推异常值； - 成本预算扩展：当各基准耗时/计费 $c_j$ 不等时，算法适配 Krause & Guestrin 改进贪心准则，在每步挑选性价比最高点 $j^* = \operatorname{argmax}_j \Delta_c(j \mid \mathcal{A}) / c_j$ 并与最优单基准（Best-Singleton）比较，输出满足预算约束的近最优评测组合。

实验关键数据¶

主实验¶

实验基于十个主流公开大模型评测排行榜构建了三大评测矩阵：MMLU（5,452 模型 × 57 门学科，全量观测无缺失）、MTEB（263 模型 × 56 项嵌入任务，22.7% 缺失）、以及整合九大排行榜的 Merged 矩阵（118 跨榜通用模型 × 114 个异构基准，缺失率达 68.9%）。评测协议采用 10 折交叉验证（10% holdout），在标准化空间下计算测试模型的插补确定系数 $R^2$（以预测均值为 0 基准）：

评测矩阵	基准总数	缺失比例	选择方法	$k=1$ 插补 $R^2$	$k=5$ 插补 $R^2$	$k=10$ 插补 $R^2$	$k=15$ 插补 $R^2$	结论与表现特征
MMLU	57 门学科	0.0%	贪心互信息 (MI)	0.83	0.91	0.93	0.95	小预算下极致收敛，首选 hub 学科
MMLU	57 门学科	0.0%	贪心熵 (Entropy)	0.65	0.89	0.92	0.95	首选高方差学科，大 $k$ 逐步反超
MMLU	57 门学科	0.0%	随机挑选 (Random)	0.62	0.89	0.91	0.94	强冗余下随机基线具有高竞争力
MTEB	56 项任务	22.7%	贪心互信息 (MI)	0.42	0.76	0.81	0.85	$k \le 3$ 显著领先熵约 10 个百分点
MTEB	56 项任务	22.7%	贪心熵 (Entropy)	0.31	0.72	0.82	0.86	任务维度较多，$k \ge 10$ 多样性更佳
MTEB	56 项任务	22.7%	随机挑选 (Random)	0.32	0.76	0.81	0.85	均值 $R^2$ 接近但在残差方差上被支配
Merged	114 个综合基准	68.9%	贪心互信息 (MI)	0.18	0.51	0.56	0.59	极稀疏下全程压制熵方法
Merged	114 个综合基准	68.9%	贪心熵 (Entropy)	0.12	0.35	0.48	0.55	易被噪声特异孤立基准误导
Merged	114 个综合基准	68.9%	随机挑选 (Random)	0.15	0.53	0.55	0.57	稀疏噪声下贪心次序不稳定

消融实验¶

1. 非线性预训练表格模型 TabImpute V2 作为插补后端的消融对比（10 折交叉验证，$k=5$ 时的 $R^2$）

数据集	熵选择 + 高斯线性插补	熵选择 + TabImpute V2	互信息选择 + 高斯线性插补	互信息选择 + TabImpute V2	机制分析与结论
MMLU	0.89	0.37	0.91	0.61	高斯估计全局协方差优势巨大；MI选择在弱插补器下领先熵达 24 点
MTEB	0.72	0.30	0.76	0.33	零样本上下文表格网络大幅落后于数据集自适应的高斯最佳线性预测器
Merged	0.35	0.03	0.51	0.03	极稀疏场景下 TabImpute 彻底失效（$R^2 \approx 0$），高斯 EM 插补展现强韧性
BenchPress	0.21	0.06	-0.11	0.04	超稀疏矩阵导致互信息精度矩阵求逆病态，此时熵选择线性插补更稳健

2. 分数对数几率变换（Logit-Space）与原始线性空间的敏感性消融（互信息选择，$k=5$）

评测数据集	原始空间 (Raw Score) 插补 $R^2$	Logit 空间转换插补 $R^2$	说明与失效机理
MMLU	0.91	0.91	稠密充分观测下性能持平，无显著变换收益
MTEB	0.76	0.72	转换拉伸了极端概率尾部，增加了有效谱维度，插补性能下降
Merged	0.51	0.39	混合指标（胜率、分数、长度）缺乏统一 0-1 尺度，Logit 映射放大边界噪声
BenchPress	-0.11	-0.22	逆映射对训练集最高分截断严重抑制了更优测试模型的泛化插补

关键发现¶

代理割裂现象（Surrogate Gap）的实证确认：贪心熵选择在所有步数下都实现了严格更低的“残差方差迹”（符合主元 Cholesky 的最优残差理论），但在小子集（$k \le 5$）上的实际预测分数 $R^2$ 却全面输给互信息选择。这是因为熵衡量的是“已挑出的这几个学科有多互不相同”，而互信息通过 $\log P_{jj}$ 显式奖赏“挑出的这几个学科对没挑的学科有多大解释力”。
Hub 学科 vs Outlier 学科的选型分化：在 MMLU 的选择稳定性分析中，互信息选择在全部 10 个折中一致第 1 个选出 miscellaneous（综合类学科，处于相关性图谱的中心 hub），随后稳定覆盖初等数学、心理学和市场营销；相反，熵选择在各折中优先挑出 abstract_algebra（抽象代数）等高方差的边角极端学科。
高斯假设违背却不伤线性插补实效：Mardia 多元正态性检验与每列 Shapiro-Wilk 单变量检验以极低 $p$ 值全面拒绝了高斯分布假设（MMLU 57 项全部拒绝，因客观题准确率存在阶梯跳变），但高斯条件期望作为最小均方误差（MMSE）意义下的最佳线性无偏预测器，依然在实证中展现出超过 0.90 的强悍预测精度。

亮点与洞察¶

信息论传感器模型与大模型评测的完美对齐：创造性地将 Guestrin 经典高斯过程传感器布局框架移植至 LLM 领域，将以往耗资百万的经验主义全套基准评测转化为有严密理论保证的组合最优化问题。
巧妙规避精度矩阵秩一降阶累积漂移：敏锐地指出在基准选择场景中基准规模仅在几百级别，直接以单步 $O(k N^3)$ 代价每轮做单次下三角 Cholesky 重解，用几毫秒的计算时间换取了彻底的数值稳定，终结了传统 rank-1 downdate 的数值发散。
选基准即选模型的矩阵对偶思想：指出基准子集选择与参考模型基准池构建是对偶关系——转置评分矩阵即可利用相同算法挑出最具辨识度、最具代表性的参考模型集，为评测新基准提供零开销标尺。

局限与展望¶

基准对抗防御与邻近数据污染的脆弱性：评分插补本质基于现有模型的经验相关性。若某个后续模型专门针对选出的 5 个核心基准（如针对性刷题或训练集污染），将打破原有的高斯协方差流形，导致基于相关性的未测分数预测产生系统性高估。
非连续与边界饱和指标的理论失配：虽然 Logit 空间尝试并未带来增益，但对于仅有 0/1 成功率或极端长尾困难的评测（如 SWE-bench、MATH Level 5），线性预测容易出现越界，未来引入 Copula 模型或截断极值分布将是自然的理论演进路径。
安全与公平等核心红线评测不可直接被插补替代：作者明确指出统计冗余不等于伦理可替代性。针对有害内容防御、红队越狱等安全基准，即便统计上与通用智商相关，实际落地中仍必须强制作为先验约束集强制纳入（Constrained Submodular Selection）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将空间高斯传感器布局子模优化创新性用于 LLM 评测集缩减，数学形式严密优雅]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 10 个公开排行榜、三类异构数据、跨十折交叉检验，消融深入到谱分析与非线性表格基准]
写作质量: ⭐⭐⭐⭐⭐ [逻辑链条极为清晰，理论证明、算法复杂度与数值实现细节严谨扎实]
价值: ⭐⭐⭐⭐⭐ [对大模型开发者具有极高的降本价值，直击模型评测算力爆炸痛点，开源即用]