Efficient Evaluation of LLM Performance with Statistical Guarantees¶

会议: NeurIPS 2026
arXiv: 2601.20251
代码: https://github.com/skbwu/efficiently-evaluating-llms
领域: LLM评测
关键词: LLM评测, 有限总体推断, 主动推断, 贝叶斯因子模型, 方差缩减

一句话总结¶

本文提出因子化主动查询（FAQ）与主动式推断（PAI）框架，通过历史性能贝叶斯因子分解与方差缩减-主动学习混合采样，在保证频率学派严谨置信区间覆盖率的前提下，仅用多达 5 倍更少的评测查询量即可达到全量评测的置信区间精度。

研究背景与动机¶

随着大语言模型（LLM）加速落地于医疗诊断、法律咨询与专业教育等关键领域，需要评测、审计与持续监控的候选模型规模正经历爆炸式增长。主流开源社区托管了数十万个文本生成模型，且在工业界实际落地中，持续后训练、指令微调、知识蒸馏以及模型量化等手段使企业内部往往维护着数百至数千个模型变体。与此同时，前沿基准测试（如 MMLU-Pro、GPQA、IFEval、MATH 等）的题目规模常达万级，且越来越多测试任务依赖耗时的多轮交互、长程推理链校验以及高成本的人类领域专家仲裁。对成百上千个模型候选在庞大题库上逐一进行穷举式评测，会带来不可承受的 API 费用、算力延迟与专家时间开销。

现有尝试降低评测成本的工作大多停留在简单子集采样或准确率点估计上，缺乏可靠的统计不确定性度量。在实际部署决策中，若缺乏严格校准的误差范围，极易产生系统性过度自信，从而导致风险极高的部署误判。将评测建模为有限总体推断虽能提供置信区间，但经典推断框架要么依赖无偏却方差极大的均匀抽样，要么依赖静态顺序主动推断（Sequential Active Inference）。传统的序列主动推断强行假设题目按“自然顺序”逐题流入，评测者只能对眼前题目做出被动的标注或跳过决策，且只能在期望上满足预算；一旦跳过某道极具辨识度的关键考题便无法回头，完全无法适应从题库中主动挑选最有价值题目的真实评测需求。

面对这一挑战，本文敏锐地意识到企业与开源社区通常积累了大量历史评测数据（如 Open LLM Leaderboard 历史榜单与线上部署日志），其中蕴含着丰富的题目难度与模型能力关联结构。核心 idea：将 LLM 评测建模为有限总体推断，提出结合历史因子分解与方差缩减/主动学习的混合采样策略，并构建保留频率学派严格覆盖率保证的主动式推断（Pro-Active Inference），在任意候选模型与极端稀疏历史下实现高达 5 倍有效样本量增益。

方法详解¶

整体框架¶

评测目标是在固定查询预算 $n_b$ 下，对包含 $N_q$ 道题目的固定有限题库，为新模型评估其全库真实准确率 $\theta = \frac{1}{N_q} \sum_{j=1}^{N_q} z_j$（其中 $z_j \in \{0, 1\}$ 表示新模型在第 $j$ 题的对错），并构造出具备指定频率学派覆盖率（如 95%）且宽度尽可能狭窄的置信区间。FAQ 整体架构包含三大核心阶段： 1. 历史因子分解与先验初始化：在部分观测的历史结果矩阵 $H$ 上拟合低维概率因子模型，提取固定的题目潜在因子 $v_j$，并以历史模型因子均值和协方差初始化新模型因子的先验分布； 2. 混合采样策略与在线贝叶斯更新：在每一个采样轮次 $t$，基于当前新模型因子后验计算兼顾预估方差缩减（Exploitation）与信息增益主动学习（Exploration）的混合采样概率分布 $q_t(\cdot)$，主动从题库中抽取一道题目 $I_t$，查询新模型得到 $z_{I_t}$，并利用在线 Laplace 近似实时更新模型因子； 3. 主动式推断（PAI）纠偏估计与方差估计：将模型因子的实时预测与逆概率倾向加权残差融合，得到无偏的有限总体准确率估计 $\hat{\theta}_{n_b}$ 与封闭形式样本方差 $\hat{\sigma}_{n_b}^2$，生成严格校准的 Wald 置信区间。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["部分观测历史矩阵 H<br/>N_old 个模型 × N_q 道题目"] --> B["阶段 1：逻辑因子分解<br/>拟合题目因子 v_j 与新模型先验"]
    B --> C["阶段 2：混合自适应采样策略<br/>平衡方差缩减评分与后验降方差评分"]
    C --> D["主动抽取题目 I_t 并查询模型<br/>获得新模型二值表现 z_I_t"]
    D --> E["阶段 3：在线 Laplace 更新<br/>更新模型潜在因子后验分布"]
    E -->|迭代直至达到预算 n_b| C
    E --> F["阶段 4：主动式推断 PAI 估计与方差计算<br/>输出无偏准确率与 95% 置信区间"]

关键设计¶

1. 逻辑因子分解与在线 Laplace 近似：从稀疏历史中提取自适应先验 直接利用历史二值矩阵 $H \in \{0, 1, \text{NA}\}^{N_{\text{old}} \times N_q}$ 时面临严重的数据缺失。FAQ 引入低维潜在因子，假设模型 $i$ 正确解答题目 $j$ 的概率满足逻辑链接函数 $P(H_{ij} = 1) = \sigma(u_i^\top v_j)$，其中 $u_i \in \mathbb{R}^k$ 为模型能力表征，$v_j \in \mathbb{R}^k$ 为题目技能需求表征。通过对掩码对数似然进行带权重衰减的 AdamW 优化，学习到在全题库共享的固定题目特征 $\{v_j\}_{j=1}^{N_q}$。对于待评测的新模型，其初始因子先验设为高斯分布 $\mathcal{N}(\hat{u}^{(0)}, \hat{\Sigma}^{(0)})$，其参数取自历史模型因子的经验均值与协方差。在评测过程中，每当在第 $t$ 轮观察到题目 $I_t$ 的对错反馈 $z_{I_t}$ 时，若重新拟合整个模型将带来无法承受的延迟。FAQ 通过对对数后验进行二阶泰勒展开，并结合 Sherman-Morrison 公式，推导出计算开销近乎为零的在线闭式更新： $$\hat{\Sigma}^{(t)} := \hat{\Sigma}^{(t-1)} - \frac{\hat{w} \hat{\Sigma}^{(t-1)} v_{I_t} v_{I_t}^\top \hat{\Sigma}^{(t-1)}}{1 + \hat{w} v_{I_t}^\top \hat{\Sigma}^{(t-1)} v_{I_t}}, \quad \hat{u}^{(t)} := \hat{u}^{(t-1)} + \hat{\Sigma}^{(t)} (z_{I_t} - \hat{p}_{I_t}^{(t-1)}) v_{I_t}$$ 其中 $\hat{p}_{I_t}^{(t-1)} = \sigma({\hat{u}^{(t-1)}}^\top v_{I_t})$，$\hat{w} = \hat{p}_{I_t}^{(t-1)}(1 - \hat{p}_{I_t}^{(t-1)})$。这种精巧的近似更新使得预测概率 $\hat{p}_j^{(t)}$ 随着采样实时调整，而无需保留整个历史轨迹重新训练。

2. 混合自适应采样策略：方差缩减与主动学习的动态博弈 评测中面临双重权衡：一方面，若已知题目的真实难度分布，应更多采样方差最大的题目以加速总体方差缩减（Exploitation）；另一方面，在新模型评测初期，模型能力表征 $\hat{u}^{(t)}$ 极度不准，必须优先挑选对确定模型自身能力最敏感、能够最大程度降低准确率后验方差的题目（Exploration）。FAQ 证明了在理想预言机下最优方差缩减采样概率满足 $s_{\text{o}}^{(t)}(j) = \sqrt{\hat{p}_j^{(t-1)}(1 - \hat{p}_j^{(t-1)})}$；同时基于贝叶斯主动学习推导出最大化消除有限总体准确率后验方差的题目选择评分： $$s_{\text{a}}^{(t)}(j) = d^{(t)}(j) = \frac{\hat{w}_j^{(t-1)} \left( v_j^\top \hat{\Sigma}^{(t-1)} \frac{1}{N_q} \sum_{j'=1}^{N_q} \hat{w}_{j'}^{(t-1)} v_{j'} \right)^2}{1 + \hat{w}_j^{(t-1)} v_j^\top \hat{\Sigma}^{(t-1)} v_j}$$ FAQ 通过时变混合权重 $\alpha_t = \max(0, 1 - \frac{t}{\rho n_b})$ 与退火指数 $\beta_t = \beta_0 \min(1, \frac{t}{\gamma n_b})$ 将两者凸组合，并在归一化后引入 $\tau$-均匀混合以确保全题库采样概率有正下界： $$q_t(j) = \frac{\tau}{N_q} + (1 - \tau) \text{Norm}\left( \left( (1 - \alpha_t) h_{\text{o}}^{(t)}(j) + \alpha_t h_{\text{a}}^{(t)}(j) \right)^{\beta_t} \right)$$ 在评测初期，$\alpha_t \to 1$ 且退火使分布趋向均匀探索，优先校准新模型的能力画像；随着轮次推进，$\alpha_t \to 0$ 平滑过渡到以预言机方差缩减为主导的精准采样，同时 $\tau$-混合彻底消除了逆倾向权重的极端值风险。

3. 主动式推断 PAI 理论：有放回采样下的鞅中心极限定理与无偏置信区间 因子模型仅作为指导采样的“工作模型（Working Model）”，其结构假设即便存在偏差，也不能破坏最终推断的频率学派可靠性。传统序列主动推断强行要求题库按预定顺序单向流过，而 FAQ 的主动式推断（PAI）允许在全库中自由挑选题目。在固定预算 $n_b$ 下，FAQ 执行有放回采样 $I_t \sim q_t(\cdot)$，并定义增量估计项： $$\phi_t := \frac{1}{N_q} \sum_{j=1}^{N_q} \hat{p}_j^{(t-1)} + \frac{1}{N_q} \frac{z_{I_t} - \hat{p}_{I_t}^{(t-1)}}{q_t(I_t)}, \quad \hat{\theta}_{n_b} := \frac{1}{n_b} \sum_{t=1}^{n_b} \phi_t$$ 第一项是当前轮次模型对全库准确率的插合预估，第二项是对采样偏差的逆概率加权纠偏。作者证明了在适应滤波 $\mathcal{F}_{t-1}$ 下，增量差值 $\Delta_t = \phi_t - \theta$ 严格构成鞅差序列（Martingale Difference Array），从而证明了 $\hat{\theta}_{n_b}$ 对有限总体真实准确率 $\theta$ 的严格无偏性。借助鞅中心极限定理，推导出完全闭式、可实操计算的方差估计量： $$\hat{\sigma}_{n_b}^2 := \frac{1}{n_b N_q^2} \sum_{t=1}^{n_b} \frac{(z_{I_t} - \hat{p}_{I_t}^{(t-1)})^2}{q_t(I_t)^2} - \frac{1}{n_b N_q^2} \sum_{t=1}^{n_b} \left( \frac{1}{n_b} \sum_{s=1}^{n_b} \frac{z_{I_s}}{q_s(I_s)} - \sum_{j=1}^{N_q} \hat{p}_j^{(t-1)} \right)^2$$ 由此构造出的 Wald 置信区间 $[\hat{\theta}_{n_b} \pm z_{1-\alpha/2} \frac{\hat{\sigma}_{n_b}}{\sqrt{n_b}}]$ 在理论上渐进达到名义置信水平（如 95%）。特别地，论文分析揭示：若强行采用启发式的“无放回采样”（即强行将已抽题目概率置零），会直接破坏鞅差结构并导致逆倾向权重发散，从而在较宽预算下造成显著的欠覆盖。

实验关键数据¶

主实验¶

实验基于 HuggingFace Open LLM Leaderboard 采集的 4.4K+ 模型与 21.6K 题目，划分前 2.2K 模型为历史数据，后 2.2K 模型为新测试集。核心评估指标为有效样本量（Effective Sample Size, ESS），定义为均匀采样达到相同方差所需的样本量 $n_{\text{eff}} := (\hat{\sigma}_{\text{uniform}}^2 / \hat{\sigma}_{\text{method}}^2) n_b$。测试在 95% 名义置信水平下展开，预算覆盖题库的 2.5% 至 25%。

下表展示在全观测历史数据下，MMLU-Pro 基准（$N_q = 12,032$）在不同采样预算下的有效样本量倍率（ESS Multiplier，相对于均匀采样）及经验覆盖率对比（基线取所有对比方法在测试集后验选优的上限值）：

题库预算比例	采样题目数 $n_b$	评估方法	ESS 倍率 vs 均匀采样	相当于均匀评测题量	95% 置信区间实测覆盖率
5.0%	601	Uniform	1.00×	601	94.8%
5.0%	601	Strongest Post-hoc Baseline	2.12×	1,274	94.9%
5.0%	601	FAQ (本文)	4.68×	2,812	94.5%
12.5%	1,504	Uniform	1.00×	1,504	95.1%
12.5%	1,504	Strongest Post-hoc Baseline	2.38×	3,579	95.0%
12.5%	1,504	FAQ (本文)	5.01×	7,535	95.2%
25.0%	3,008	Uniform	1.00×	3,008	95.0%
25.0%	3,008	Strongest Post-hoc Baseline	2.25×	6,768	94.9%
25.0%	3,008	FAQ (本文)	4.52×	13,596	95.1%

消融实验¶

为了严格解耦因子模型、主动式推断（PAI）机制以及历史缺失率的影响，作者进行了针对性的消融实验。下表对比了历史数据稀疏性（以全观测行数 $n_{\text{full-obs}}$ 与条目观测概率 $p_{\text{obs}}$ 刻画）以及在全量因子模型下使用传统序列主动推断（Active Inference, Zrnic & Candès 2024）替代 PAI 时的性能差异（测试于 BBH+GPQA+IFEval+MATH+MuSR 集合，预算为 7.5%）：

历史数据配置 / 消融变体	历史有效数据占比	对应机制说明	ESS 倍率 vs 均匀采样	95% 置信区间实测覆盖率	置信区间平均宽度对比
FAQ (完整模型)	100%	完整历史 + PAI 混合主动查询	4.21×	94.9%	最优 (窄)
FAQ ($n_{\text{full-obs}}=800, p_{\text{obs}}=0.1$)	~42%	中等缺失历史数据	3.85×	95.0%	+4.5%
FAQ ($n_{\text{full-obs}}=50, p_{\text{obs}}=0.1$)	~12%	重度缺失历史数据	3.24×	94.8%	+13.8%
FAQ ($n_{\text{full-obs}}=0, p_{\text{obs}}=0.001$)	0.1%	极度稀疏历史数据（冷启动边缘）	1.45×	94.7%	+70.2%
w/o PAI (传统序列 Active Inference)	100%	保持因子模型预测，改为流式单向判定	2.86×	94.8%	+21.4% (低预算劣势明显)
w/o With-Replacement (启发式无放回)	100%	强行置零已抽题目概率，破坏鞅性质	4.15×	86.3% (严重欠覆盖)	虚假狭窄，失效

关键发现¶

低预算评测的爆发性收益：FAQ 的优势在低预算区间（2.5%~10%）尤为突出。在 MMLU-Pro 仅抽取 1,500 道题时，FAQ 的置信区间宽度与均匀抽取 7,515 道题相当，实现了高达 5 倍的有效样本量提升，相当于节省了 80% 的 API 调用开销与专家核验工时。
极端稀疏下的惊人稳健性：即便历史矩阵只被观测了 0.1% 的条目，FAQ 依然在绝大多数预算设定下超越后验最优基线；而在完全无目标库历史的冷启动跨评测集迁移实验中（从 MMLU-Pro 通过文本 Embedding 迁移至 GPQA），FAQ 仍取得了最高 1.32 倍的 ESS 提升。
抗分布偏移与无系统性偏差：按模型发布时间以及真实能力水平分层审计发现，FAQ 在早前模型与前沿强模型上的置信区间覆盖率均稳定在 95% 附近（局部均值覆盖率稳定在 94.3%~95.4%），并未因新模型脱离历史分布而出现过拟合或欠覆盖。

亮点与洞察¶

将因子分解仅作“推断向导”而非模型依赖假设：传统矩阵分解评测方法的理论保证高度依赖于因子模型的真实性与准确假设，而 FAQ 将贝叶斯因子模型降级为引导采样的启发工具，最终推断完全交由无模型的 PAI 理论进行纠偏兜底，即使因子拟合偏差也不会打破频率学派覆盖率。
有放回采样的理论必然性与直觉反差：直觉上评测重复询问同一道题似乎是一种浪费，但数学推导表明只有严格保持在全题库上的有放回采样分布，才能维持鞅差序列的严格平稳性与有界逆概率权重；启发式无放回会直接打破大数定律与中心极限定理，引发置信区间严重欠覆盖。
极低算力开销实现高效并发：通过推导在线 Laplace 更新与闭式方差估计，在单张 H100 GPU 上评估 2,200 个模型和 12,000 道题的总运算开销在 1 分钟以内，与生成式大模型的推理延迟相比完全可以忽略不计。

局限与展望¶

二值评分反馈机制的局限：当前理论与算法针对答对/答错（0/1）二值结果设计，对于需要连续分数（如代码相似度 BLEU、多维度打分或 Likert 量表）的评估场景需要进一步泛化。
顺序单题查询与高并发批处理的矛盾：当前推断流程按单道题目顺序采样和更新，而在工业实际评测中，为了最大化吞吐通常采用批量并行调用，未来需要探索支持批处理更新（Batched PAI）的主动采样机制。
极端稀疏与高预算下的后期方差膨胀：在历史数据极度稀疏（如仅 0.1%）且评测预算偏大时，由于退火削弱，噪声较大的因子模型可能导致采样概率过度聚焦，增大逆倾向加权方差，未来可引入三阶段自适应退化机制（在评测后期平滑退化为均匀采样）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙地将主动学习、有限总体统计推断与大模型评测相结合，提出了兼具严格数学证明与工程实用价值的 PAI 框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4,400+ 个模型、21,000+ 道题目、跨越两种主流基准套件，并在极其严苛的缺失率、分布偏移与冷启动条件下展开了充分验证。
写作质量: ⭐⭐⭐⭐⭐ 理论推导严丝合缝，正文散文叙述连贯清晰，附录证明完备详实。
价值: ⭐⭐⭐⭐⭐ 对工业界与开源社区的大规模模型选型、持续监控以及高成本评测体系具有立竿见影的降本增效价值。