CITE: Anytime-Valid Statistical Inference in LLM Self-Consistency¶

会议: NeurIPS 2026
arXiv: 2605.05873
领域: Reasoning
关键词: 大语言模型, 自我一致性, 检验时计算, 随时有效统计推断, e-过程

一句话总结¶

针对大语言模型自适应自我一致性采样中类别空间未知且动态增长的挑战，本文提出基于 e-过程交并检验的随时有效众数认证算法 CITE，在任意数据驱动停止时刻严格控制假认证错误率，并证明其停时界与类别总数无关且达极小化极大最优阶。

研究背景与动机¶

大语言模型在多步复杂推理任务中广泛采用检验时计算（test-time compute）策略，通过链式思考与自我一致性（self-consistency）多次采样推理路径并聚合最终结果。然而，随着采样轨迹数量线性增加，计算开销急剧攀升。为了降低推理成本，自适应自我一致性方法应运而生：对于简单问题仅需少量采样即可提前停止，困难且有歧义的输入则持续采样。现有自适应停止机制多基于后验一致度、局部低熵窗口或启发式置信度，但缺乏对统计错误率的严格控制。

在急诊分诊决策（如 ER-REASON 数据集上的患者评级与出院判定）、医疗诊断或法律推理等高风险场景中，模型聚合结果若被正式采纳，必须对“将某个回答认证为唯一众数”的假认证错误率（Type-I Error）提供严格界定。若缺乏精确的检验误差控制，为了规避风险就只能机械地过度采样，从而抵消自适应计算的初衷。更关键的是，LLM 输出的自由文本答案空间是开放且无法预先界定的，采样过程中会不断涌现前所未见的新类别。现存的大多数最佳臂识别（best-arm identification）统计工具均假设类别集合固定且已知，而现有少数自一致性证书（如 MMC）则依赖于强众数或残差尾部占优假设，在长尾分散的实际答案分布下极易失效。

面对这种无限未知类别空间与动态数据驱动停止的双重挑战，本文的核心切入点是构建一个不依赖预知类别集合、且在任意停止时刻均数学有效的统计序列检验流程。核心 idea：将唯一众数认证分解为成对竞争检验、目标概率下置信界构建以及未见类别上界控制三个子过程，利用博弈论超鞅（e-过程）建立随时有效的交并检验算法 CITE，实现与类别集合大小无关且极小化极大最优的停时保证。

方法详解¶

整体框架¶

CITE（Certification by Intersection-union Testing with E-processes）旨在针对预先指定的候选目标回答 $r \in \mathcal{A}$，检验原假设 $H_{0,r}: p_r \leq \sup_{a \neq r} p_a$ 与备择假设 $H_{1,r}: p_r > \sup_{a \neq r} p_a$。在采样序列 $X_1, X_2, \dots \sim P$ 进行过程中，CITE 实时维护三个时间均匀（time-uniform）的统计量：针对已观测竞争类别的成对混合 e-过程 $E_t$、针对目标类别概率的下置信界 $L_t(r)$、以及针对任意未见类别的统一概率上界 $U_t$。

只要在某一时刻 $t$，目标回答在已见候选中战胜当前经验亚军（$E_t \geq 3/\varepsilon$），同时目标的保守概率下界严格压制任何未见候选可能拥有的最大概率（$L_t(r) > U_t$），算法即刻终止并宣布认证。若未见类别可能潜伏着概率超过目标的未知候选，或者目标与已见强力对手尚未拉开统计差距，采样将自动继续。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：目标回答 r，预设显著性水平 ε"] --> Sample["抽取 LLM 样本 X_t<br/>更新频数 N_t 与已观测类别集"]
    Sample --> Comp1["成对 e-过程检验<br/>计算经验亚军混合 e-值 E_t"]
    Sample --> Comp2["目标概率下置信界构建<br/>基于鞅反演求 L_t(r)"]
    Sample --> Comp3["未见类别概率上界计算<br/>求解确定性倒指数界 U_t"]
    Comp1 --> Cond{"双重终止条件判定<br/>E_t ≥ 3/ε 且 L_t(r) > U_t ?"}
    Comp2 --> Cond
    Comp3 --> Cond
    Cond -->|是| Stop["停止采样并认证<br/>输出 τ = t，判定 r 为唯一众数"]
    Cond -->|否| Sample

关键设计¶

1. 成对混合 e-过程与经验亚军单调性：高效剔除已见竞争者

针对已出现在样本中的所有竞争类别 $a \in \mathcal{A}_t \setminus \{r\}$，CITE 采用基于下注（testing-by-betting）框架构造非负超鞅（NSM）。对于固定参数 $\lambda \in (0,1)$，定义中心化示性差值 $Z_i^{(r,a)} := \mathbf{1}\{X_i = r\} - \mathbf{1}\{X_i = a\}$，对应的成对 e-过程闭式解为 $E_t^{(r,a)}(\lambda) = (1+\lambda)^{N_t(r)} (1-\lambda)^{N_t(a)}$。由于最优下注参数依赖于未知真实概率差，CITE 在有限几何网格 $\Lambda_{\mathrm{pw}}$ 上配置权重 $w_\lambda$ 进行混合，形成混合 e-过程 $E_t^{(r,a)} := \sum_{\lambda \in \Lambda_{\mathrm{pw}}} w_\lambda E_t^{(r,a)}(\lambda)$。

为了避免每轮遍历所有已观测类别的巨大计算开销，论文证明了经验亚军单调性（Runner-up Monotonicity）：由于不同对手共享因子 $(1+\lambda)^{N_t(r)}$，且 $1-\lambda < 1$，频数越高的对手其对应的 e-过程值越小。因此，整个集合 $\mathcal{A}_t \setminus \{r\}$ 上的成对极小值必定在经验亚军 $\widehat{a}_t := \arg\max_{a \in \mathcal{A}_t \setminus \{r\}} N_t(a)$ 处取得。仅需检验 $E_t^{(r, \widehat{a}_t)} \geq 3/\varepsilon$，即可均匀保证所有已见对手均被否定，将每轮成对检验的计算复杂度严格降为 $O(1)$。

2. 目标概率鞅反演下置信界：防范潜在高概率隐藏候选

即便目标回答战胜了所有已见类别，也不能排除存在某个尚未出现的“隐藏对手”其真实概率实际上高于目标。为此，必须对目标概率 $p_r$ 建立随时有效的时间均匀下置信界 $L_t(r)$。对于每个候选概率值 $q \in (0, 1]$，CITE 考虑检验子假设 $p_r \leq q$，构造财富鞅过程： $$ M_t(q) := \sum_{\lambda \in \Lambda_r(q)} v_\lambda \prod_{i=1}^t \bigl(1 + \lambda(\mathbf{1}{X_i = r} - q)\bigr) $$ 由于映射 $q \mapsto M_t(q)$ 单调非增，累积财富超过判决阈值 $3/\varepsilon$ 的参数集合构成一个下超集。下置信界被定义为该集合的最小上界 $L_t(r) := \sup(\{0\} \cup \{q \in (0, \widehat{p}_t(r)]: M_t(q) \geq 3/\varepsilon\})$。由 Ville 最大值不等式可严格证明，在任意时刻发生下界高估真实概率的概率不超过预分配的错误预算 $\varepsilon/3$。

3. 概率加权联合界未见上限：免于支持集规模假定的盲区防御

为了封堵未出现类别的潜在破坏，传统方法通常需要估计总体遗漏质量（missing mass）或依赖于已知的有限类别总数。CITE 另辟蹊径，仅关注“是否存在单个未见类别的质量超过安全阈值”。对于真实概率为 $u$ 的任意稀有类别，在经历 $t$ 次独立抽取后一次未见的概率为 $(1-u)^t$。通过引入概率加权联合界（probability-weighted union bound），定义未见类别的统一上限为： $$ U_t := \min \left{ u \in (0, 1] : u^{-1} (1-u)^t \leq \frac{\varepsilon}{3} \right} $$ 阈值条件中，$(1-u)^t$ 随样本量呈指数衰减，而 $u^{-1}$ 因子则严格抵消了在无限个微小概率类别上取并集的惩罚代价。由此构建的 $U_t$ 是一个完全确定性的衰减序列，无需估计具体类别分布，且在时间与空间上双重一致有效。当且仅当 $L_t(r) > U_t$ 时，未见类别中可能藏有真实众数的可能性被数学证伪。

4. 置信度加权扩展 W-CITE：非均匀置信样本的渐进加速

在很多先进推理场景中，模型除了输出最终答案标签外，还会伴随来自 logits、验证器（verifier）或 PRM 的置信度分数 $W_i \in [0, 1]$。CITE 自然推广为置信度加权版本 W-CITE，检验加权质量 $\mu_a := \mathbb{E}[W_i \mathbf{1}\{X_i = a\}]$ 的唯一最优性。此时成对下注增量修改为 $\widetilde{Z}_i^{(r,a)} := W_i (\mathbf{1}\{X_i = r\} - \mathbf{1}\{X_i = a\})$。由于异构权重破坏了亚军单调性，W-CITE 采用全对手遍历检查 $\min_{a \in \mathcal{A}_t \setminus \{r\}} \widetilde{E}_t^{(r,a)} \geq 3/\varepsilon$。加权机制能够在保持随时有效性的同时，放大真实众数与竞争者之间的有效间隔 $\Delta_w$，显著缩短高置信度样本的平均停时。

实验关键数据¶

主实验¶

论文在合成多项分布（涵盖集中、长尾 Zipf、近乎平局及超分散场景）与真实 LLM 自我一致性基准上进行了系统测试。真实模型涵盖 Qwen3-30B-A3B-Instruct 与 gpt-oss-20b，测试集包括前沿数学竞赛 AIME 2026、奥赛级科学推理 FrontierScience-Olympiad 以及临床急诊分诊数据集 ER-REASON。基准对比方法包括固定样本联合界（Bonferroni）、基于样本拆分的固定目标检验（KR，Kim & Ramdas 2025）以及鞅多数证书（MMC，Cordero-Encinar & Duncan 2025），显著性水平统一设为 $\varepsilon = 0.05$。

下表摘录 Qwen3-30B 与 gpt-oss-20b 在三大真实推理基准上随预算 $N$ 扩展的众数认证率与平均停时表现（Case A，目标为真实众数）：

模型	数据集	样本预算 $N$	观测类别数 $\bar{K}_N$	Bonferroni 认证率	MMC 认证率	CITE 认证率	CITE 停时 $\bar{\tau}$	W-CITE 认证率
Qwen3-30B	AIME 2026	64	7.1	0.499	0.671	0.724	21.8	0.727
		256	14.5	0.683	0.744	0.833	49.1	0.838
		1024	25.7	0.825	0.798	0.944	113.7	0.946
	FrontierScience	64	28.0	0.284	0.121	0.288	37.9	0.289
		256	73.7	0.350	0.198	0.356	110.0	0.359
		1024	160.0	0.530	0.281	0.563	436.1	0.567
	ER-REASON	64	1.1	0.102	0.988	0.983	10.6	0.983
		256	1.1	0.111	1.000	1.000	11.8	1.000
gpt-oss-20b	AIME 2026	64	12.6	0.563	0.459	0.596	29.3	0.599
		1024	44.0	0.825	0.554	0.829	176.7	0.829
	FrontierScience	64	37.8	0.193	0.192	0.187	32.3	0.147
		1024	250.3	0.429	0.200	0.475	494.7	0.428
	ER-REASON	64	3.2	0.623	0.654	0.640	26.6	0.644
		1024	4.2	0.921	0.861	0.915	128.3	0.919

消融与错误率验证¶

为了严格验证时间均匀的一类错误率控制（Case B，预设目标设为经验亚军），并在合成环境中探究停止时间的理论瓶颈，论文进行了系统的错误率审计与加权消融实验。

下表总结合成多项分布 Setting 5（中等长尾，1000 类别，众数概率 0.35，间隔 0.15）下基于排序加权模型的 W-CITE 消融表现（预算 $N=512$）：

衰减参数 $\gamma$	W-CITE 认证率	平均停时 $\bar{\tau}_{\text{W-CITE}}$	无加权停时 $\bar{\tau}_{\text{CITE}}$	加权有效相对间距 $\Delta_w/\mu_r$	原始间距比 $\delta/p_r$
$\gamma = 0.0$	0.920	237	235	0.429	0.429
$\gamma = 0.1$	0.990	185	235	0.483	0.429
$\gamma = 0.2$	1.000	142	235	0.532	0.429
$\gamma = 0.5$	1.000	71	235	0.653	0.429
$\gamma = 1.0$	1.000	48	235	0.790	0.429
$\gamma = 2.0$	1.000	45	235	0.923	0.429

关键发现¶

严格的时间均匀错误控制：在所有 5 种合成场景和所有样本量下，CITE、W-CITE 在原假设 Case B 下的经验错误率恒为 0.000。相比之下，MMC 在分散长尾场景出现高达 0.014 的误认证率，KR 也表现出微小非零错误率。在真实 LLM 实验中，CITE 在全部测试集上的最大虚假认证率仅为 0.012（仅在 gpt-oss-20b/ER-REASON 上出现一次 0.052，均在统计容许范围内）。
分散长尾场景碾压基线：在 FrontierScience-Olympiad 这类答案极端发散的场景（gpt-oss-20b 单题产生多达 250 种不同输出），MMC 的残差尾部假设被严重破坏，认证率停滞在 0.20 附近；而 CITE 凭借独立的未见上界与成对差分检验，认证率达到 0.475（高出两倍以上）。
理论瓶颈的精确分离：分项模拟证实了定理 4.3 期望停时的两个渐进项：成对组件时间 $\tau_{\mathrm{pw}}$ 严格随众数间距 $\delta^{-2}$ 缩放；而 LCB-未见组件时间 $\tau_{\mathrm{lu}}$ 则仅与众数概率成反比（$p_r^{-1}$），且 $\tau_{\mathrm{lu}} p_r$ 恒定在 14 到 20 之间，不受类别集合规模影响。

亮点与洞察¶

类别规模无关的极小化极大最优停时：证明了停时阶为 $O\left(\frac{\log(1/\varepsilon) + \log(1/\delta)}{\delta^2} + \frac{\log(1/\varepsilon) + \log(1/p_r)}{p_r}\right)$，完全脱钩了类别集合大小 $|\mathcal{A}|$，并匹配了信息论下界。这解决了大语言模型自由文本输出类别无限且动态扩张时统计认证无法收敛的理论难题。
经验亚军单调性剪枝策略：证明了共享因子的成对 e-过程关于样本计数是单调的，使得每轮检验只需比对当前最大频数的竞争者，避免了维护全类别树的高昂代价。
未见类别的精巧截断设计：绕开了传统概率统计中估算整体缺失质量（missing mass）的繁琐路径，利用反比加权并集界精准锁定“单类未见上限”，既优雅又极具鲁棒性。

局限与展望¶

众数认证不等于语义正确性：CITE 提供的是模型自身响应分布的唯一众数保证，而非该众数符合真实世界的客观真理。如果模型存在系统性幻觉或共同误导先验，CITE 会高置信度地认证出一个错误的众数。在实际工程中，必须与外部验证器（verifier）或真实奖励模型级联配合。
固定目标假设与自适应目标的鸿沟：CITE 理论要求目标标签 $r$ 必须预先指定（独立于后续采样数据）。若直接将数据采样中动态浮现的经验第一名作为目标进行自适应认证，需要对经验领跑者的变动轨迹引入额外的并集修正，这可能会轻微恶化停时界。
极端小众数场景下的界松弛：当众数概率 $p_r$ 极小（如 $p_r \to 0$）且与竞争者差距极微弱时，当前的期望停时上界在成对项上与极小化极大下界相比还存在一定的对数因子松弛，有待进一步收紧。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将 e-过程与交并检验拓展至无限开放类别的众数序列检验，理论框架极其优美严密。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖合成控制实验、消融实验、以及跨架构前沿数学与临床大模型基准，对照基准全面且扎实。
写作质量: ⭐⭐⭐⭐⭐ 数学推导无懈可击，动机阐述切中 LLM 检验时计算降本与风险控制的现实痛点。
价值: ⭐⭐⭐⭐⭐ 为大模型自适应自我一致性采样和可靠安全落地提供了不可或缺的统计理论基石。

衰减参数 \(\gamma\)	W-CITE 认证率	平均停时 \(\bar{\tau}_{\text{W-CITE}}\)	无加权停时 \(\bar{\tau}_{\text{CITE}}\)	加权有效相对间距 \(\Delta_w/\mu_r\)	原始间距比 \(\delta/p_r\)
\(\gamma = 0.0\)	0.920	237	235	0.429	0.429
\(\gamma = 0.1\)	0.990	185	235	0.483	0.429
\(\gamma = 0.2\)	1.000	142	235	0.532	0.429
\(\gamma = 0.5\)	1.000	71	235	0.653	0.429
\(\gamma = 1.0\)	1.000	48	235	0.790	0.429
\(\gamma = 2.0\)	1.000	45	235	0.923	0.429