Celeus: Certifiable and Efficient LLM Evaluation via e-Processes¶

会议: NeurIPS 2026
arXiv: 2606.20820
代码: https://github.com/zyecs/celeus
领域: LLM评测
关键词: 大模型评测、e-过程、随时有效置信区间、主动测试、代理辅助估计

一句话总结¶

针对大语言模型序贯评测中重复检验与自适应早停导致置信区间覆盖率失效（double dipping）的问题，Celeus 提出基于 e-过程的随时有效置信序列框架，结合不确定性引导采样与轻量代理模型辅助修正，在严格保障名义覆盖率的同时节省 54%–62% 的样本评估开销。

研究背景与动机¶

随着大语言模型在多轮对话、代码生成和复杂逻辑推理等场景中的广泛落地，如何系统、精确地评测其真实能力成为大模型部署决策的关键前提。现有的评测基准普遍侧重于扩大题库规模或扩充测试维度，但在评测流程的统计可靠性上存在显著缺陷：评测者通常仅计算有限样本上的平均得分，既无法严格量化该点估计距离真实总体性能的误差边界，也缺乏基于统计学严谨证据的自适应停机准则，极易在样本不足时过早下定论，或在已收敛时浪费高昂的人工与强模型判别成本。

可认证评测（Certifiable Evaluation）通过在样本序贯抽取过程中动态维护覆盖真实性能的高概率置信区间（CI），并在区间宽度达到目标精度 $\epsilon$ 时停止评测。然而，传统统计置信区间大多建立在固定样本量的静态假设之上，若在序贯评测中反复根据当前置信区间决定是否停机，多重检验效应会导致置信覆盖率显著崩塌。即便是最新的序贯评测方法（如 Cer-Eval），其理论界建立在固定数据划分假设上，而在工程实现中却依赖评估历史动态更新划分模型，这种“用同一批数据划分样本并估计不确定性”的重复利用（double dipping），打破了适应性集中不等式的成立条件，在实测中造成名义 95% 置信度的实际失准率飙升至 16.1%。

更进一步，单纯采用非参数鞅论工具构建随时有效置信序列（Anytime-Valid Confidence Sequences）往往面临收敛速度缓慢的问题，难以应对开放式文本或人类对齐评估中高昂的打分成本。本文的核心 idea 是：将基于 e-过程的随时有效假设检验求逆机制与非均匀主动采样、轻量级开源代理模型打分相融合，构造在历史信息下条件严格无偏的单步推断信号，以方差最优原则引导高残差样本优先评测，在数学证明的随时有效性下实现近参数收敛率的快速收敛。

方法详解¶

整体框架¶

Celeus 针对包含 $N$ 个未标注或待评估样本的有限候选池 $\mathcal{D}_N$，旨在以最少的真实模型调用或人工评测次数，为目标模型 $f$ 的总体风险 $R$ 提供满足 $(1-\alpha)$ 随时有效覆盖保证的置信区间，并输出无偏估计量。整个评测流程由四个紧密协同的模块组成：在每一轮 $t$，算法首先利用轻量代理模型为全池未评估样本提供低成本近似得分，并与已评估样本真实风险拼接形成代理补全基线；随后，采样策略依据目标模型与代理模型的不确定性差异计算提议概率，抽取最具信息量的样本并观测其真实风险；接着，系统将样本的代理残差通过逆概率加权修正注入基线，构造出关于有限池真实风险 $R_N$ 条件无偏的单步推断信号 $\hat{S}_t$；最后，算法通过对冲资本过程对候选风险值执行网格化并行 e-检验求逆，得到有限池置信区间并叠加 Hoeffding 总体泛化校正，直至置信区间总宽度收缩至预设目标精度 $\epsilon$ 后触发早停，并输出基于 LURE 权重的渐进无偏点估计值。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["有限数据池与轻量代理模型"] --> B["条件无偏推断信号<br/>代理补全基线 + IPW残差修正"]
    B --> C["不确定性引导的主动采样<br/>逼近方差最优提议分布"]
    C --> D["随时有效置信序列检验求逆<br/>对冲资本 e-过程 + 总体泛化校正"]
    D -->|区间宽度 ≤ ε 触发停机| E["序贯无偏性能估计器<br/>LURE非均匀加权点估计"]

关键设计¶

1. 条件无偏推断信号：代理补全基线与逆概率加权残差修正

在主动序列评测中，为了利用未评估样本的信息，直接引入代理预测模型容易因非均匀采样分布而引入系统性选择偏差。Celeus 设计了将“控制变量基线”与“重要性采样残差修正”结合的推断信号。在第 $t$ 轮，设已评估样本集合为 $i_{1:t-1}$，剩余未评估样本索引集为 $\mathcal{J}_{t-1} = [N] \setminus i_{1:t-1}$。系统利用低成本代理模型输出的风险近似分数 $\tilde{\ell}_f(\bm{x})$ 填补未评估样本，形成数据池风险的基准估计；当依据提议分布 $q_t(i_t \mid i_{1:t-1}, \mathcal{D}_N)$ 抽取并评估第 $i_t$ 个样本后，立即计算其实际观测风险 $\ell(f(\bm{x}_{i_t}), y_{i_t})$ 与代理预测之间的残差，并用抽取概率的倒数作为重要性权重补偿全池未评估残差： $$ \hat{S}t = \frac{\sum}^{t-1}\ell(f(\bm{x{i_m}), y}) + \sum_{j\in\mathcal{J{t-1}}\tilde{\ell}f(\bm{x}j)}{N} + \frac{\ell(f(\bm{x}), y}) - \tilde{\ellf(\bm{x}{N q_t(i_t \mid i}). $$ 该设计在理论上保证了条件无偏性，即无论过去选择了哪些样本、无论提议分布如何动态演进，只要 }, \mathcal{D}_N)$q_t > 0$，均严格满足 $\mathbb{E}[\hat{S}_t \mid \mathcal{F}_{t-1}] = R_N$。这消除了非均匀采样引入的分布漂移，为后续构造超鞅与 e-过程奠定了坚实的统计无偏地基。

2. 不确定性引导的主动采样：逼近方差最优提议分布

单步推断信号 $\hat{S}_t$ 的条件方差直接决定了置信区间的收缩速度。理论分析表明，$\mathrm{Var}[\hat{S}_t \mid \mathcal{F}_{t-1}]$ 中唯一受采样分布 $q_t$ 影响的成分是包含残差平方与 $q_t$ 反比的交叉项。通过柯西-施瓦茨不等式推导，使单步方差最小化的理论最优 Oracle 采样分布为 $q_t^*(j) \propto |\ell(f(\bm{x}_j), y_j) - \tilde{\ell}_f(\bm{x}_j)|$。然而在未标注时，真实残差不可直接观测。Celeus 提出实用的无标签不确定性引导替代策略：针对 0-1 损失分类任务，利用目标模型自身的预测发散度 $\ell_{\mathrm{disp}}(f, \bm{x}) = 1 - \sum_y p_f^2(y \mid \bm{x})$ 作为代理分数，同时以冻结的轻量代理模型 $g$（如 7B/8B 开源底座）的 top-1 预测作为硬伪标签构造硬伪损失 $\ell_{\mathrm{hard}}(f, g, \bm{x}) = \mathbb{I}\{\hat{y}_f(\bm{x}) \neq \hat{y}_g(\bm{x})\}$，将二者的绝对差值 $|\ell_{\mathrm{hard}} - \ell_{\mathrm{disp}}|$ 作为采样打分依据，并引入温度混合平滑下界 $q_{\min} > 0$（由截断超参 $\beta$ 控制），从而优先向目标模型与代理模型产生分歧、且模型自身置信度分散的困难样本倾斜采样权重，在经验上捕获了超过 50%–67% 的 Oracle 方差缩减潜力。

3. 基于 e-过程与对冲资本检验求逆的随时有效置信序列

为将条件无偏信号转化为随时有效的置信区间，Celeus 将显著性水平拆分为 $\alpha_1 + \alpha_2 = \alpha$（默认对半平分）。针对有限池风险 $R_N$，对于任意候选值 $\upsilon \in [L, U]$，构建零假设 $\mathcal{H}_0(\upsilon): R_N = \upsilon$。算法先将信号利用可预测边界 $[a_t, b_t]$ 线性缩放至 $[0, 1]$ 区间得到 $\bar{S}_t$ 与 $\bar{\upsilon}_t$，使得差值 $\bar{S}_t - \bar{\upsilon}_t$ 在零假设下成为零均值鞅增量。随后采用对冲资本过程（hedged capital process）构建非负检验鞅： $$ \mathcal{K}t^\pm(\upsilon) = \theta \prod}^t \left(1 + \lambda_i^+(\upsilon)(\bar{S}_i - \bar{\upsiloni)\right) + (1-\theta) \prod_i)\right), $$ 其中投注比例 }^t \left(1 - \lambda_i^-(\upsilon)(\bar{S}_i - \bar{\upsilon$\lambda_i^\pm(\upsilon)$ 依据历史经验方差自适应调节，并截断在可采纳区间内。根据 Ville 不等式，在任意停机时间下错误拒绝真实参数的概率均受控于 $\alpha_1$。对全空间未被拒绝的候选值求交集得到有限池置信区间 $\mathcal{M}_t^\pm = \bigcap_{i \le t} \{\upsilon: \mathcal{K}_i^\pm(\upsilon) < 1/\alpha_1\}$。最后，通过 Hoeffding 不等式构造仅依赖全池总样本量 $N$ 的泛化间隙修正项 $\Delta_N(\alpha_2) = (U-L)\sqrt{\frac{\log(2/\alpha_2)}{2N}}$，通过 Minkowski 和拓展得到最终关于真实总体风险 $R$ 的置信区间 $C_t = (\mathcal{M}_t^\pm \oplus [-\Delta_N, \Delta_N]) \cap [L, U]$。该置信序列在任意自适应数据停机准则下严格满足 $\mathbb{P}(\exists t: R \notin C_t) \le \alpha$，且理论收缩速率达到接近参数率的 $\mathcal{O}(\log\log t \sqrt{\frac{\log t}{t}}) + \mathcal{O}(\frac{1}{\sqrt{N}})$。

4. 序贯无偏性能估计器：基于 LURE 权重的残差修正

当置信区间宽度达到预设精度触发停机时，评测系统除了交付受认证的置信边界，还需要汇报一个高质量的点估计值。直接取抽样样本的经验均值会因主动采样的选择偏倚而产生不可忽略的系统误差。Celeus 借鉴主动学习无偏风险估计（LURE）思想，构造全局校准估计量： $$ \hat{R}t = \frac{1}{N}\sum}^N \tilde{\ellf(\bm{x}n) + \frac{1}{t}\sum^t u} \left(\ell(f(\bm{x{i_m}), y}) - \tilde{\ellf(\bm{x})\right), $$ 其中权重系数 $u_{m,t} = 1 + \frac{N-t}{N-m}\left(\frac{1}{(N-m+1)q_m(i_m \mid i_{1:m-1}, \mathcal{D}_N)} - 1\right)$。该权重精确校正了前 $t$ 步无放回、非均匀抽样导致的测度偏差。实验表明，相较于未加权估计量产生的 $10^{-2}$ 量级持久偏差，该估计器在整个序贯流过程中经验偏差严格波动在 0 附近，确保了终态汇报分数的无偏性与均方一致性。

实验关键数据¶

主实验¶

实验在三个代表性 NLP 基准上开展：二分类情感分析 SST-2（$N=68,221$）、多类别主题分类 AG News（$N=127,600$）以及大规模多学科综合评测 MMLU（$N=115,700$）。主目标模型涵盖 Llama-3-70B、DeepSeek-67B、Mixtral-8×7B 和 Qwen-2.5-72B，以未微调的 7B/8B 模型（Llama-3-8B / Llama-2-7B）作为离线轻量代理。目标置信区间宽度设为 $\epsilon=0.05$，置信度水平 $\alpha=0.05$。

下表评估在达到早停条件时的经验失准率（Miscovering Rate，理论名义上限 $\alpha = 0.05$）。Cer-Eval 采用自适应聚类划分，而 EValue 与 Celeus 采用 e-过程框架。

方法	理论名义失准上限	SST-2 / 模拟场景失准率 (95% Wilson CI)	随时有效性判定
Cer-Eval (SOTA 自适应分区)	0.05	0.161 [0.158, 0.164]	❌ 严重失效（超出名义值 3 倍以上）
EValue (均匀采样无代理 e-过程)	0.05	0.030 [0.029, 0.032]	✅ 随时有效（严格满足 $\le 0.05$）
Celeus (w/o Surr, 无代理消融)	0.05	0.030 [0.029, 0.032]	✅ 随时有效（严格满足 $\le 0.05$）
Celeus (本文完整模型)	0.05	0.021 [0.020, 0.023]	✅ 随时有效（最为保守稳健）
Oracle (理论方差最优采样下界)	0.05	0.028 [0.027, 0.030]	✅ 随时有效（理论参考）

消融实验¶

下表统计各方法达到目标精度 $\epsilon=0.05$ 所需评估的真实标签中位数样本量（跨 6 个 surrogate-target 配对与 50 次独立重复实验的中位数）：

配置 / 方法	SST-2 ($N=68,221$)	MMLU ($N=115,700$)	AG News ($N=127,600$)	相对基线 (EValue) 节省比例
EValue (标准均匀 e-过程)	6,889	8,144	15,336	0% (基准)
Celeus (w/o Surr, 仅主动采样)	3,844	5,110	8,298	节省 37% – 46%
Celeus (完整模型: 采样 + 代理)	3,156	3,242	5,840	节省 54% – 62%
Oracle (不可行理论最优参考)	2,698	1,923	4,238	节省 61% – 76%

关键发现¶

双重利用破坏随时有效性：Cer-Eval 由于在序列评测中反复根据观测样本重训分区模型，违背了静态划分假设，其实测误覆盖率高达 16.1%，完全背离了 95% 认证承诺；而 Celeus 的 e-过程序列严格将经验失准率压低至 0.021，彻底解决了序贯监测中的多重检验危机。
样本利用效率大幅飞跃：Celeus 仅需评测全池 2.8%（MMLU）至 4.6%（SST-2/AG News）的样本量即可达到 $\pm 0.025$ 的极高置信精度；相比 EValue 节省了 54%–62% 的高昂评测代价。
免微调小代理展现高杠杆效益：相比于无代理消融版本，仅接入未经微调的 7B–8B 基础模型作为残差代理，便能在评测 70B 级超大模型时进一步直接降低 10%–23% 的真机调用需求，弥补了 EValue 到理论 Oracle 极限之间 84%–93% 的收缩鸿沟。
LURE 权重彻底消除主动选择偏差：机制分析证明，若在非均匀采样下直接计算常规平均值，点估计会产生高达 $1\% \sim 2\%$（$10^{-2}$ 量级）的系统性偏差；而引入 $u_{m,t}$ 权重后，估计偏差随步数紧密围绕 0 波动。

亮点与洞察¶

将赌博理论 e-过程与主动学习方差控制有机结合：通常的主动采样容易因非均匀权重破坏独立同分布性质，导致传统大数定律和集中不等式失效；Celeus 巧妙构造了逆概率加权的单步复合信号 $\hat{S}_t$，证明其单步条件期望恒等，以纯代数形式严密接入了对冲资本鞅框架。
无须微调代理模型即可实现方差大幅收敛：Celeus 不强求代理模型具备接近大模型的极高准确率，只要其预测与大模型在样本困难度上存在相关性，即可大幅压低残差方差；这一“借轻量模型之力降超大模型开销”的范式对工业级评测成本控制具有极高实用价值。
通用可拓展的设计空间：整个框架仅依赖评估损失有界（如 0-1 准确率、截断交叉熵、规范化评分）的极弱假设，无须对数据分布作参数化假定，能够无缝平移至代码生成、安全对齐以及大模型作为评判者（LLM-as-a-Judge）的高开销评测流程中。

局限与展望¶

代理推断的前置算力开销：虽然 Celeus 极大削减了昂贵的目标大模型生成与人工标注次数，但需要在评测前对候选池全量样本预先跑一遍 7B 代理模型的推理以提取伪标签与预测分布；在超大规模题目池（如数百万级）场景下，代理计算开销不可忽视。
静态候选池与无放回假定：当前定理建立在固定大小数据池 $\mathcal{D}_N$ 的无放回抽样上，对于开放式流式用户输入（Streaming Evaluation）或存在严重分布漂移的线上动态场景，总体泛化项 $\Delta_N$ 的理论边界需要进一步拓展到混合过程或马尔可夫链鞅不等式。
主观文本生成的指标有界化瓶颈：当前实验主要针对分类与多选题，在开放问答与对话评测中，LLM 裁判的打分需要设计更加稳健的归一化映射与截断策略，以避免极限极端离群分值破坏投注因子的有效性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将 e-过程与主动学习、代理辅助推断深度融合，成功攻克自适应序贯大模型评测的随时有效性与方差缩减难题。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 个基准、多尺度多家族模型组合、理论失准率压力测试以及完备的消融和机理方差分析。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从单步信号构造、方差极小化到鞅检验求逆逻辑严密，定理支撑扎实。
价值: ⭐⭐⭐⭐⭐ 为大模型工业级评测、自适应停机与评测成本控制提供了兼具严格统计保证与极高实用效率的基础工具。