跳转至

Reasoning Confidence Is Not Policy-Invariant: Calibrating Prefix Success under Model and Budget Shift

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/XR-OpenSource/EMNLP2026-CPCC-Official
领域: LLM 推理
关键词: 推理置信度, 前缀成功率, 策略条件校准, 推理时缩放, 跨模型泛化

一句话总结

针对推理前缀置信度在不同补全策略间排序翻转且隐状态无法跨模型对齐的问题,本文提出可比策略条件校准器 CPCC,通过共享冻结编码器、19维跨模型可比标量特征与 Beta–Binomial 预测头,实现了模型与预算迁移下鲁棒的前缀成功率校准与不确定性估计。

研究背景与动机

在大语言模型推理时缩放(Inference-time scaling)体系中,无论是 Best-of-N 采样、树搜索(Tree-of-Thoughts)、束搜索剪枝,还是置信度加权自一致性聚合,都高度依赖对推理中间前缀(Prefix)成功潜力的精准评估。当前的过程奖励模型(PRM)、Token 级不确定性度量以及响应级置信度估计方法,普遍存在一个隐式假设:即推理步骤或前缀的质量是前缀自身固有、或与单一生成器分布紧密绑定的静态属性。只要给定前缀,其置信度就被视为确定不变的标量。

然而,推理置信度在本质上并不具备策略不变性(Policy-Invariance)。同一个中间前缀在面对不同的后续补全策略(Continuation Policy)时,展现出的实际成功率和相对排序存在巨大分歧。例如,一个推理步骤若出现微小偏差或轻微模糊,能力较强的补全模型完全有能力在后续步骤中自愈并推出正确答案,而能力较弱的模型则极易彻底偏航;跨模型实验显示,Qwen-7B 与 Mistral-7B 在相同前缀上的平均成功率差异可达 0.18 至 0.26,在非平凡子集上的前缀排序翻转率高达 30% 至 51%。理论分析表明,任何忽略补全策略的策略盲估计器在均方误差下都存在正比于跨策略分歧的不可消除残差下界。更为棘手的是,若直接将补全模型的隐藏层状态作为输入进行条件校准,由于不同模型家族的隐藏几何空间未对齐,在测试未见过的模型(如 Llama、Mistral)时会发生严重崩塌,秩相关系数骤降至接近甚至低于零。

因此,迫切需要一种既能感知补全策略行为与计算预算、又不受模型内部私有几何坐标系束缚的通用校准范式。核心 idea:将前缀成功率形式化为显式依赖于补全策略、推理预算与聚合规则的条件概率 \(V_{\pi, B, A}(s)\),利用共享冻结 LLM 提取统一语义表征,结合一组跨模型语义一致的标量特征与策略级标准化,通过 Beta–Binomial 头对齐 Bootstrap 成功计数,实现跨模型与计算预算的高精度置信度校准与不确定性建模。

方法详解

整体框架

CPCC(Comparable Policy-Conditioned Calibrator)将前缀成功率定义为条件期望 \(V_{\pi, B, A}(s_t) = \mathbb{E}_{\hat{y} \sim A(\pi, B | s_t)}[r(x, y_{\le t}, \hat{y})]\),其中输入包括问题与部分推理轨迹前缀 \(s_t = (x, y_{\le t})\)、目标补全策略 \(\pi\)、推理预算 \(B\) 和聚合规则 \(A\)(本文聚焦于多数投票规则)。整个框架包含三个核心模块:共享的前缀编码器、跨模型可比策略描述符提取模块、以及基于 Beta–Binomial 分布的校准预测头。

方法的推理计算流程清晰直观:首先由共享的冻结 LLM 编码器对前缀进行单次前向编码,生成策略无关的语义向量;同时,针对目标补全策略 \(\pi\),通过单次前缀前向传播获取似然域统计量,并执行极少量的无标签探针采样(Probe Rollouts)获取行为域分布统计量,拼接为 19 维可比策略特征向量;特征经策略内 z-score 标准化后,与前缀表征及对数预算 \(\log B\) 一同送入轻量 MLP 校准头,最终输出 Beta 分布的参数 \((\alpha, \beta)\),由此同时提供校准后的成功率点估计(预测均值)与认知不确定性度量(预测方差)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入:前缀 s、目标策略 π、预算 B"] --> B["共享冻结前缀表示<br/>LastTok ⊕ MeanPool 提取 h(s)"]
    A --> C["跨模型可比策略描述符<br/>9维似然统计量 + 10维探针行为特征"]
    B --> D["策略级标准化与 Beta-Binomial 校准头<br/>z-score 消除尺度偏差,预测 (α, β)"]
    C --> D
    D --> E["校准输出:均值 V_hat 与方差 Var(V)"]
    E --> F["下游决策:剪枝、预算分配与选择性推理"]

关键设计

1. 共享冻结前缀表示:解耦前缀语义与模型私有坐标系

针对直接读取各模型隐藏层状态会导致跨模型家族坐标失配并发生 OOD 崩塌的问题,CPCC 放弃使用各策略自身的隐藏表征,转而引入一个独立的、完全冻结的统一前缀编码器 \(E_\theta\)(实验中使用 Qwen2.5-3B-Instruct,bf16)。对于任意前缀 \(s\),模型仅执行一次前向计算,并提取最后一层隐藏状态的双重视角池化拼接:

\[h(s) = \left[ \text{LastTok}(E_\theta(s)) \parallel \text{MeanPool}(E_\theta(s)) \right] \in \mathbb{R}^{2d}\]

其中,尾 Token 池化捕获前缀生成边界处的局部决策状态(即后续补全接续采样的起点语义),平均池化则沉淀经全局平滑后的整条上下文逻辑语义。这一设计保证了无论下游接入何种补全策略,输入校准器的前缀表征都处于完全统一且稳定的语义坐标空间内。

2. 跨模型可比策略描述符:融合单次前向似然矩与探针行为特征

为将补全策略 \(\pi\) 的特性显式注入校准器,同时避免引入特定词表或几何维度的私有张量,CPCC 构建了一组 19 维的标量策略特征向量 \(\phi(s, \pi)\),由似然端(Likelihood-side)与行为端(Behavior-side)两部分互补构成。

似然端特征(9 维)通过补全策略 \(\pi\) 在前缀 \(s = (y_1, \dots, y_L)\) 上的单次无采样前向传播获得,反映策略对前缀自身及后续延伸的确定性:计算每 Token 负对数似然 \(\ell_t = -\log p_\pi(y_t | y_{<t})\) 的四个统计矩(均值 \(\mu_\ell\)、方差 \(\sigma^2_\ell\)、末尾 Token 损失 \(\ell_L\) 以及困惑度 \(\text{PPL} = \exp(\mu_\ell)\)),并提取生成边界 \(t=L+1\) 处预测分布的 5 个不确定性指标(预测熵 \(H_\pi(s)\)、Top-1 概率 \(p_{(1)}\)、Top-2 概率 \(p_{(2)}\)、概率间隔 \(p_{(1)}-p_{(2)}\) 以及重归一化 Top-5 熵 \(\tilde{H}_\pi^{(5)}\))。

行为端特征(10 维)则反映策略生成展开后的宏观动力学行为:利用策略采样 \(B_{\text{probe}} = 8\) 条无标签补全序列,解析其最终答案分布 \(\hat{q}(a)\),提取 5 个答案分布形状特征(非空答案数 \(u\)、最大众数频率 \(m\)、答案熵 \(H_A\)、自一致性补全熵 \(H_A^{\text{SC}}\) 以及成对答案一致率 \(\text{Agr}\))、3 个生成规则性特征(补全长度均值 \(\mu_L\) 与标准差 \(\sigma_L\)、重复补全率 \(d\))以及 2 个有效性特征(有效答案解析率 \(v\) 与拒答率 \(r\))。在实际部署中,这 8 条探针样本并不浪费,而是直接复用作为后续多数投票聚合的前 8 票。

3. 策略级标准化与 Beta-Binomial 校准头:消除几何尺度偏差并建模异方差不确定性

不同模型分词器的词表粒度、标量取值范围以及长度偏好差异巨大,直接输入原始特征会导致 OOD 策略落在分布外区域。CPCC 引入策略内标准化机制,利用训练前缀集(新策略接入时利用少量无标签前缀)计算每种策略的均值与方差 \((\mu_\pi, \sigma_\pi)\),执行标准化 \(\tilde{\phi}(s, \pi) = (\phi(s, \pi) - \mu_\pi) / \sigma_\pi\),使网络将输入理解为“该策略处于自身不确定性区间的分位数”。

校准头 \(g_\theta\) 由多层感知机(GELU、LayerNorm)构成,输入拼接向量 \([h(s) \parallel \tilde{\phi}(s, \pi) \parallel \log B]\),并通过 Softplus 激活输出 Beta 分布的非负超参数 \((\alpha, \beta)\)。由于真实标签来自 \(n\) 组大小为 \(B\) 的 Bootstrap 聚合成功次数 \(k\),采用共轭 Beta–Binomial 负对数似然进行损失优化:

\[\mathcal{L}(\alpha, \beta) = -\log \binom{n}{k} - \log B(k+\alpha, n-k+\beta) + \log B(\alpha, \beta)\]

该设计天然吸收了不同采样预算 \(B\) 下成功计数方差随样本容量变化的异方差特性,联合约束预测均值 \(\hat{V} = \frac{\alpha}{\alpha+\beta}\) 与方差 \(\text{Var}(V) = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}\),有效杜绝了模型牺牲校准度换取过度自信尖锐预测的问题。

损失函数 / 训练策略

训练数据完全基于 GSM8K-train 前缀构建,使用 Qwen2.5-3B 贪心生成的推理轨迹切片,覆盖 6 种补全策略(P0: Qwen2.5-3B, P1: Qwen2.5-7B, P2: Llama-3.1-8B, P3: Mistral-7B, P4: Qwen2.5-7B T=1.0, P5: Qwen2.5-7B T=0.3)。训练时排除 P2 与 P3 以严格检验跨模型家族泛化能力。对每个前缀采样 \(N=64\) 条补全,在训练预算集合 \(B \in \{1, 4, 16\}\) 上分别重采样 \(n=32\) 组计算成功计数 \(k\)。使用 AdamW 优化器,按题目独立划分训练与验证集,并在验证集 Beta–Binomial NLL 停止下降时早停。

实验关键数据

主实验

在分布内基准(GSM8K-test)、跨任务数学基准(SVAMP, MATH-500)以及跨模型家族留出测试(Held-out P2 Llama, Held-out P3 Mistral)上,评估 Brier 分数(↓)、期望校准误差 ECE(↓)与 Spearman 秩相关系数(↑)。

方法 GSM8K-test Brier (↓) SVAMP Brier (↓) MATH-500 Brier (↓) Held-out P2 (Llama) Brier (↓) Held-out P3 (Mistral) Brier (↓)
Policy-Blind 0.112±.004 0.106±.002 0.158±.002 0.115±.004 0.143±.003
Explicit-Descriptor 0.115±.007 0.108±.002 0.160±.012 0.118±.012 0.145±.005
Raw Policy-Hidden 0.107±.002 0.098±.003 0.221±.016 0.232±.033 0.389±.048
CPCC + Descriptor 0.092±.003 0.081±.001 0.118±.003 0.098±.001 0.131±.004
CPCC (Ours) 0.097±.006 0.082±.002 0.125±.003 0.093±.010 0.127±.002
方法 GSM8K-test ECE (↓) SVAMP ECE (↓) MATH-500 ECE (↓) Held-out P2 Spearman (↑) Held-out P3 Spearman (↑)
Policy-Blind 0.055±.010 0.091±.006 0.103±.010 0.350±.003 0.387±.007
Explicit-Descriptor 0.073±.021 0.102±.005 0.112±.029 0.351±.010 0.398±.008
Raw Policy-Hidden 0.043±.014 0.070±.013 0.251±.033 -0.090±.032 0.028±.029
CPCC + Descriptor 0.066±.010 0.070±.008 0.076±.009 0.434±.010 0.516±.005
CPCC (Ours) 0.071±.015 0.067±.010 0.089±.016 0.429±.003 0.518±.004

消融实验

在特征来源消融与下游选择性推理风险(Selective Risk, AURC 风险覆盖曲线下面积,↓,计算 \(B=16\) 时的前缀排序错误率)中,分析各模块与探针成本的边际收益:

特征配置 探针数量 GSM8K AURC (↓) SVAMP AURC (↓) MATH-500 AURC (↓) Macro 平均 (↓)
Policy-Blind 0 0.081 0.074 0.420 0.191
仅似然特征 (Likelihood-only) 0 0.078 0.069 0.413 0.187
仅成对答案一致率 (Answer-agreement) 8 0.073 0.058 0.392 0.175
仅行为特征 (Behavior-only) 8 0.062 0.056 0.369 0.163
CPCC (完整模型) 8 0.061 0.052 0.380 0.164

关键发现

  • 策略隐状态在跨家族迁移时发生灾难性崩塌:Raw Policy-Hidden 虽在分布内拟合较好,但在未见过的 Llama 和 Mistral 上 Spearman 秩相关系数崩塌至 -0.090 与 0.028,Brier 误差翻倍(0.232 与 0.389)。这实证证明了 LLM 私有表征几何不可对齐,必须采用独立共享编码器与解耦的标量特征。
  • 行为端特征主导校准精度,似然端特征提供无采样风险互补:消融显示行为端探针统计量贡献了 OOD 场景下 ECE 的绝大部分降幅(SVAMP 与 MATH-500);似然端特征虽不显著降低分箱 ECE,但提供了免采样的排序增益,二者融合在下游选择性风险上达到最优(Macro 0.164 对比 Policy-Blind 的 0.191,降低 14%)。
  • 探针计算成本可完全摊销:CPCC 所需的 8 次无标签探针采样直接复用作为多数投票聚合的前 8 票,在总预算 \(T=8N\) 下相比 Policy-Blind 提升了 27.0% 的解决比例,没有带来纯粹的计算浪费。

亮点与洞察

  • 打破了前缀质量“策略不变性”的传统假设:首次通过理论推导与经验数据证明前缀置信度严格依赖补全策略,为自适应测试时计算扩展(Inference-time Scaling)提供了清晰的形式化基石。
  • 构筑了跨模型可比的语义坐标桥梁:巧妙避开无法对齐的多模型高维隐空间,采用“冻结单模型前缀编码 + 19维跨模型物理语义标量统计量 + 策略内 z-score”的架构,实现了轻量级跨模型家族的即插即用泛化。
  • Beta–Binomial 头兼顾校准与认知不确定性:将离散 Bootstrap 计数作为观测,闭式吸收样本容量异方差性,输出的方差可直接作为置信区间下界剪枝(LCB Pruning)的安全保障。

局限与展望

  • 依赖探针采样的显式推理开销:提取高质量行为特征需要每个候选前缀执行 \(B_{\text{probe}}=8\) 次采样,虽然能在多数投票中复用为投票池,但在极度严苛的单次生成延迟场景下仍存在冷启动成本。
  • 聚合规则目前仅验证了多数投票(Majority Vote):本文所有经验结论均在 \(A=\text{majority}\) 下测定,对于基于验证器加权(PRM-weighted)或树搜索回溯等更复杂的聚合算子,条件分布形式与校准效果仍待进一步探索。
  • 未来方向:探索无探针纯前向似然特征的增强表达,以及将 CPCC 条件校准框架拓展至带工具调用的多步智能体(Agentic Search)决策中。

相关工作与启发

  • vs 单模型不确定性与响应级置信度 (Self-Certainty, CISC, DeepConf):此类方法仅对单个固定生成器或已完成的最终完整轨迹打分;CPCC 则将中间前缀与未来补全策略彻底解耦,建模前缀在不同接续模型下的动态成功潜力。
  • vs 过程奖励模型与前缀价值评估 (PRM, UHeads, Park et al.):传统 PRM 将前缀价值视为训练静态分布的隐式产物,跨模型迁移能力极弱;CPCC 将策略、预算作为显式条件输入,在模型切换与域外数学题上展现出极高的校准与排序鲁棒性。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次揭示并理论证明推理置信度的策略可变性,提出跨模型可比描述符体系。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 种策略、3 大基准、近 380 万补全样本,包含严密的跨家族留出和跨源生成消融。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严丝合缝,理论界与实证现象相互印证,表述极其清晰。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型推理阶段的中间步价值评估、高效搜索剪枝与自适应预算分配提供了关键工具。