One-Token Verification for Reasoning Correctness Estimation¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Multimedia-Analytics-Laboratory/OTV
领域: LLM 推理
关键词: 推理正确性估计, 测试时缩放, 并行思考, 单Token验证, KV缓存探测
一句话总结¶
OTV 通过引入专用真值标记 [ToT] 与门控 LoRA 模块直接探测基座模型的 KV 缓存,在单次前向传播中以标量回归完成任意前缀的逐 token 正确性估计,支持高保真置信度引导早停并在 AIME 上节约高达 90% 的生成 token。
研究背景与动机¶
大语言模型在多步数学问题与复杂逻辑推理中展现出强劲性能,而测试时计算扩展(test-time scaling)尤其是并行思考(parallel thinking,如多数投票、Best-of-N 和树状搜索)已成为进一步突破单样本准确率上限的核心范式。然而,多候选轨迹并行解码带来了急剧膨胀的推理延迟与 token 预算开销,特别是在长思维链和反复自我质疑的“System-2”过度思考场景下,计算资源的浪费尤为严重。为了在推理预算可控的前提下逼近理论上限,系统亟需在生成过程中及早、可靠地评估单个推理轨迹的正确性,从而对劣质分支实施动态早停或剪枝。
现有的推理正确性估计技术主要分为内部方法和外部方法两类,但均存在显著局限。内部方法通常依赖模型自身的局部 token 似然度、熵或自标定机制,虽然无需额外模型且推理开销极低,但在长程推理中严重缺乏校准度,极易受局部 token 扰动影响而无法有效区分正确与错误轨迹;外部方法则引入预训练的结果奖励模型(ORM)或过程奖励模型(PRM),但这些辅助模型将基座模型视作黑盒,需要独立编码全部文本并带来沉重的推理计算负担,同时面临严峻的跨模型域分布漂移问题,且往往必须等待完整答案生成后才能介入。这些矛盾表明,理想的验证机制必须兼具内部方法对模型原生内部状态的高效复用,以及外部验证器直接输出校准判别分数的显式判别能力。
本文的切入角度是:解码阶段累积的 Key-Value (KV) 缓存构成了当前推理前缀的充分统计量,蕴含着远比顶层单一隐状态更细粒度、跨层级且未压缩的上下文表征;若能在不干扰主干自回归生成的前提下轻量复用这一缓存,即可实现几乎零开销的即时验证。核心 idea:引入专用真值标记 [ToT] 并通过门控 LoRA 旁路直接探测基座模型的 KV 缓存,配合基于线性递增伪置信度目标训练的三层感知机回归头,在单次前向传播中完成单 token 级推理正确性估计,引导并行解码高效早停与剪枝。
方法详解¶
整体框架¶
OTV(One-Token Verification)的整体流水线旨在将推理模型与验证器无缝融合为一个统一网络。输入为用户问题与当前已生成的候选推理前缀,输出为对应前缀下推理最终正确的标量置信度 \(\hat{c}_t \in [0, 1]\) 以及最终聚合决策。在常规生成阶段,模型保持标准自回归生成并累积各层 KV 缓存;在需要评估当前步骤或位置 \(t\) 的正确性时,门控机制将模型切换为验证模式,在序列末尾插入一个可学习的特殊真值标记 [ToT],该标记通过门控 LoRA 适配层单向注意力探测已缓存的全部前缀 KV 状态,最后由轻量级多层感知机回归头输出连续实数分数。
在训练阶段,OTV 突破了逐步前向探测的低效瓶颈,设计了基于下三角掩码的并行探测机制,在单次前向传播中同步计算长度为 \(T\) 的整条轨迹上所有位置的置信度,并最小化其与线性递增伪标签之间的均方误差(MSE)。在推理阶段,预测的置信度轨迹被应用于加权多数投票以及多种高效的动态剪枝策略(如 Drop@10、Stop@600、Halve@300),促使模型在保持超高准确率的同时主动偏好更简短、更严密的正确解法。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入查询与部分推理前缀<br/>x_1:t 持续自回归解码"] --> B["门控LoRA验证旁路<br/>m_t 触发切换推理/验证模式"]
B --> C["KV缓存探测与[ToT]注意力<br/>复用累积KV进行单Token前向"]
C --> D["线性递增伪置信度监督<br/>终局标签插值引导长度偏好"]
D --> E["单前向全轨迹并行训练<br/>下三角掩码隔离前缀信息"]
E --> F["置信度引导动态剪枝与聚合<br/>加权投票与早停削减90% Token"]
关键设计¶
1. 门控LoRA验证旁路:解耦自回归生成与判别探测 针对在基座模型中融合验证功能容易破坏原有长程推理与生成能力的痛点,OTV 在 Transformer 线性层(Query、Key、Value 投影层)上并联引入了带二值门控机制的 LoRA 低阶适配分支 \(W_{\text{LoRA}} = W + m_t R S\)。当模型处于常规推理生成模式时,门控开关设为 \(m_t = 0\),LoRA 分支完全切断,模型的注意力计算和参数完全等同于原始基座推理模型,确保零退化与零额外显存干扰;当触发验证请求时,门控开启(\(m_t = 1\)),激活低秩可训矩阵 \(R \in \mathbb{R}^{d_{\text{out}} \times r}\) 与 \(S \in \mathbb{R}^{r \times d_{\text{in}}}\)(其中 \(r \ll \min\{d_{\text{in}}, d_{\text{out}}\}\)),使网络瞬时转换为验证器角色。这种硬分离机制赋予了模型即插即用的双重身份,既无需维护参数庞大的外部独立验证模型,又杜绝了微调对推理底座的灾难性遗忘。
2. KV缓存探测与[ToT]注意力:充分统计量复用与单Token极速回归
传统的隐状态探测方法仅提取模型最后一层的单个向量,丢失了深浅层交互和细粒度 token 上下文结构;而重新运行外部验证器又必须完整重算前缀,计算开销巨大。OTV 明确利用自回归 Transformer 中已累积的多层键值缓存 \(C_t = \{K_t^{(l)}, V_t^{(l)}\}_{l=1}^L\) 作为前缀上下文的充分统计量。在位置 \(t+1\) 处插入专用可学习真值标记 [ToT],其在各层经过 LoRA 增强后的查询、键、值投影向量为 \(\tilde{q}_{t+1}^{(l)}, \tilde{k}_{t+1}^{(l)}, \tilde{v}_{t+1}^{(l)}\)。在第 \(l\) 层,[ToT] 单向注意力聚合缓存前缀与自身的表示:
$$
\tilde{h}{t+1}^{(l)} = \left[ V_t^{(l)}, \tilde{v}}^{(l)} \right] \text{softmax}\left( \frac{\left[ K_t^{(l)}, \tilde{k{t+1}^{(l)} \right]^\top \tilde{q} \right)
$$
遍历全部 }^{(l)}}{\sqrt{D}\(L\) 层后,仅提取 [ToT] 顶层隐藏状态 \(\tilde{h}_{t+1}^{(L)} \in \mathbb{R}^{D \times 1}\),输入一个轻量级三层 MLP 回归头 \(g(\cdot)\) 直接映射为标量预测值 \(\hat{c}_t = g(\tilde{h}_{t+1}^{(L)}) \in [0, 1]\)。由于全程直接读取并复用推理阶段已生成的 KV 缓存,单次验证仅需单个 token 的前向计算,将验证延迟压缩至微秒级别,且标量回归避免了生成离散 token(如“正确”/“错误”)带来的语言先验偏差。
3. 线性递增伪置信度监督:无人工过程标注与最短路径归纳偏置 收集密集的人工过程监督数据(PRM 标注)或执行昂贵的蒙特卡洛树搜索(MCTS)rollout 成本极高。OTV 提出完全依靠最终答案对错 \(y \in \{0, 1\}\) 构造连续伪置信度标签:设置初始不确定先验 \(c_0 = 0.5\)(代表最大不确定性),随着生成推进,置信度沿推理长度线性插值过渡至终局标签 \(y\): $$ c_t = \text{linear}(t) = 0.5 + (y - 0.5) \frac{t}{T} $$ 在均方误差(MSE)损失函数下,训练出的验证器逼近后验期望 \(\mathbb{E}[c_t \mid s_t]\)。理论分析证明,线性递增目标赋予了验证器强烈的“逆长度偏好”:在同等正确期望下,较短的正确推理链累积置信度斜率更陡、更早达到高分。这使得模型在推理时天然偏好简明直接的高质量解法,有力抑制了长链大模型常见的无意义循环与过度思考。
4. 单前向全轨迹并行训练:下三角掩码维持训练吞吐 虽然推理时 OTV 是按需逐 token 进行即时查询,若训练阶段也对每条轨迹逐 token 顺序循环前向,将彻底丧失 Transformer 的并行计算优势。OTV 设计了精巧的并行批处理架构:对长度为 \(T\) 的推理轨迹构造包含 \(T+1\) 个真值标记的序列 \([\text{ToT}]_{1:T+1}\),通过构造特制的下三角注意力掩码 \(M \in \mathbb{R}^{T \times (T+1)}\)(其中 \(i < j\) 时为 0,\(i \ge j\) 时为 \(-\infty\)),强制使得第 \(t+1\) 个探测标记只能“看到”前缀 \(1:t\) 的已缓存键向量。同时,探针之间的自注意力被约束为仅对角线可见。整个前缀所有位置的注意力和隐藏状态可以在单次前向传播中完全并行输出,使 OTV 的微调训练与标准自回归因果语言模型一样高效,训练 1000 条轨迹在单张 A100 GPU 上仅耗时 28.5 分钟。
5. 置信度引导动态剪枝与聚合:高效测试时计算缩放 在并行思考推理阶段,OTV 支持两层级的下游应用。在轨迹级聚合上,OTV 截取各轨迹尾部(如最后 100 个 token)的平均置信度作为整链分数,过滤掉末尾 50% 的低置信轨迹后执行加权多数投票,大幅超越传统均匀投票;在在线生成控制上,OTV 提供三种渐进式动态剪枝机制:Drop@10(每生成 10 个 token 剔除当前最低分轨迹)、Stop@600(达 600 token 时仅保留最高分单链完成后续生成)以及 Halve@300(每 300 token 将候选池对半淘汰)。这些机制在保持甚至提升竞赛级数学解题精度的同时,将解码 token 总消耗削减最高达 90%。
损失函数 / 训练策略¶
OTV 冻结基座 LLM 的全部原始权重,仅更新注意力层 LoRA 适配矩阵与三层 MLP 回归头参数。使用 AdamW 优化器,学习率设为 \(10^{-4}\),批大小为 128,基于 LlamaFactory 训练 3 个 epoch。损失函数仅在对应模型回复(response)的 token 位置计算 MSE,严格屏蔽问题和 prompt 区域: $$ \ell = \frac{1}{T} \sum_{t=1}^T \left( c_t - \hat{c}_t \right)^2 $$
实验关键数据¶
主实验¶
论文在竞赛级数学难题 AIME 2024 与 AIME 2025 上全面评测了 OTV 对不同规模推理模型(Qwen3-4B-Instruct、Qwen3-8B、DAPO-Qwen-32B)的增强效果。采样池规模为 128 条轨迹(每个设置重复 64 次取均值),前 50% 轨迹按末尾 100 token 平均置信度过滤后进行加权多数投票。
| 模型 | 方法类别 | 方法 | AIME 2024 准确率 (%) | AIME 2025 准确率 (%) |
|---|---|---|---|---|
| Qwen3-4B | 理论上限 | Pass@128 (Oracle) | 91.46 | 83.13 |
| Qwen3-4B | 基线 | Pass@1 / Maj@128 | 60.29 / 75.42±1.61 | 46.67 / 66.46±1.16 |
| Qwen3-4B | 内部验证器 | DeepConf | 77.76±2.43 | 66.77±1.18 |
| Qwen3-4B | 内部验证器 | GenRM | 79.11±2.06 | 66.72±1.82 |
| Qwen3-4B | 外部验证器 | VersaPRM-8B | 75.52±1.69 | 66.72±1.10 |
| Qwen3-4B | 外部验证器 | Math-Shepherd-7B | 74.27±1.50 | 66.56±1.02 |
| Qwen3-4B | 外部验证器 | Qwen2.5-PRM-7B | 78.18±1.85 | 63.49±2.39 |
| Qwen3-4B | 本文方法 | OTV (Ours) | 83.33±1.57 | 69.32±1.46 |
| DAPO-Qwen-32B | 理论上限 | Pass@128 (Oracle) | 83.75 | 68.75 |
| DAPO-Qwen-32B | 基线 | Pass@1 / Maj@128 | 51.77 / 66.72±0.93 | 36.42 / 41.77±1.76 |
| DAPO-Qwen-32B | 内部验证器 | DeepConf | 66.77±1.17 | 44.79±1.65 |
| DAPO-Qwen-32B | 外部验证器 | Qwen2.5-PRM-7B | 67.45±2.26 | 46.77±3.06 |
| DAPO-Qwen-32B | 本文方法 | OTV (Ours) | 70.83±1.86 | 49.58±1.10 |
此外,在在线计算受限场景下,OTV 在动态剪枝策略中展现出压倒性的综合优势,不仅准确率显著优于各外部 PRM,且解题文本平均长度显著缩短:
| 模型 | 方法 | Best-of-128 | Drop@10 | Stop@600 | Halve@300 |
|---|---|---|---|---|---|
| Qwen3-4B | DeepConf | 64.95 (9664) | 62.86 (7044) | 59.90 (7150) | 61.98 (6742) |
| Qwen3-4B | Qwen2.5-PRM-7B | 71.77 (3720) | 63.80 (3040) | 65.73 (4211) | 66.46 (3173) |
| Qwen3-4B | OTV (Ours) | 73.44 (5447) | 63.39 (4427) | 63.75 (4431) | 67.03 (4132) |
| DAPO-32B | DeepConf | 53.92 (5101) | 50.52 (6382) | 51.82 (7176) | 50.94 (3772) |
| DAPO-32B | Qwen2.5-PRM-7B | 57.03 (4888) | 55.52 (5525) | 55.57 (4939) | 51.98 (5660) |
| DAPO-32B | OTV (Ours) | 63.18 (4623) | 55.95 (3397) | 53.54 (3211) | 55.05 (3436) |
(注:括号内数字为生成答案的平均 token 长度)
消融实验¶
针对伪置信度标签构造规则与网络架构超参数进行了深度消融实验,结果证明了线性渐进插值与 KV 缓存跨层探测不可或缺的优势。
| 实验组 / 变体 | Maj@128 (AIME24) | Maj@128 (AIME25) | Halve@300 (AIME24) | Halve@300 (AIME25) | 特征说明 |
|---|---|---|---|---|---|
| Linear Ramp (默认) | 83.33±1.57 | 69.32±1.46 | 67.03 (4132) | 49.02 (3170) | 线性从 0.5 插值到终局标签 y |
| Constant Label | 81.41±1.65 | 68.49±2.04 | 66.41 (3951) | 49.27 (4503) | 全轨迹静态后验常数 \(c_t = y\) |
| Sigmoid Ramp (\(\alpha=4\)) | 80.05±1.91 | 66.51±0.92 | 68.44 (4210) | 46.30 (4294) | S型非线性渐进过渡 |
| Noise-Perturbed Ramp | 81.87±1.65 | 67.92±1.61 | 71.30 (4134) | 48.33 (5736) | 叠加正弦与高斯扰动模拟不确定性波动 |
| Stepwise Ramp | 82.40±1.50 | 68.80±1.60 | 70.63 (4231) | 37.60 (7095) | 按分段换行符台阶式跃迁 |
在架构对比消融中,针对隐藏状态探测与 KV 缓存探测的等参数量对比表明:在 Qwen3-4B 上,纯顶层 Hidden-State 探测器的准确率在 3.88M 到 10.85M 参数下仅有 92.82% 到 93.51%;而采用 LoRA+KV 缓存探测的 OTV 准确率稳步达到 94.14% 到 96.04%,证实直接访问底层丰富键值状态的必要性。
关键发现¶
- 对正确与错误轨迹的分离度极高:可视化分析显示,DeepConf 和传统 PRM 在整条轨迹上的得分重叠度极高;而 OTV 能够随着推理推进,使正确解题轨迹的置信度显著抬升,同时让发生计算错误或逻辑脱轨的错误轨迹始终受到显著抑制。
- 天然的长度偏好机制:恒定标签 \(c_t=y\) 容易导致早停过激或过拟合,而线性斜坡监督下,正确的短解法更快累积置信度并获得更高的即时验证分,促使剪枝策略主动保留短小精炼的推理过程,避免冗余反思导致的性能倒退。
- Halve@300 展现最佳性能-效率折中:在所有测试时剪枝策略中,Halve@300 仅需总共约 254 次单 token 验证前向调用,就能实现接近甚至超越全量 128 条完整轨迹投票的准确率,且平均长度降低 20%~40%,将计算开销压减近一个数量级。
亮点与洞察¶
- 门控单 Token 探针机制:巧妙利用 Transformer 现成的 KV 缓存机制,仅插入一个特殊标记并通过 LoRA 门控隔离,使得同一个大模型在完全不损害自身生成能力的前提下兼任高性能验证器,避免了外置验证器笨重且分布漂移的顽疾。
- 全轨迹单次前向并行训练构造:巧妙利用下三角因果掩码和探针间独立性,将长达数千 token 轨迹上所有时间步的单 token 验证查询打包到一次前向传播中完成,极大保留了现代 GPU 的批处理效率。
- 可复用的长度自适应归纳偏置:通过构造时间线性递增的标量伪标签,数学上证明了回归损失会自动诱导出对短路径的偏好。这种无需复杂强化学习长度惩罚即可自动抑制长链过度思考的方法,为测试时扩展提供了重要借鉴。
局限与展望¶
- 单调线性先验的理论拟合局限:线性渐变目标是一种基于最终答案的启发式近似,虽然具备优秀的统计性质,但无法完全捕捉复杂数学证明中“局部失误随后自行修复”或“峰回路转”的非单调认知动态。
- 模型绑定与架构特异性:OTV 的 LoRA 适配层直接耦合基座大模型的私有隐藏维度与特定层级 KV 缓存格式,无法像黑盒外部 PRM 那样跨模型直接迁移复用,每个推理基座必须单独适配。
- 未来方向与自举进化:作者计划探索在训练中引入自适应不确定性伪标签与多步纠错信号,并构建推理模型与验证器共同迭代的“生成-验证协同后训练”,使 OTV 扩展至代码生成与通用智能体规划中。
相关工作与启发¶
- vs DeepConf: DeepConf 依赖基座模型原生生成的 token 对数似然进行无监督启发式平滑,虽无额外训练但校准极差且受词汇表特定词影响;OTV 通过可训练的 LoRA 门控直接学习以真实正确率为目标的连续标量回归,轨迹判别力大幅跃升。
- vs 过程奖励模型 (PRMs, 如 Math-Shepherd / Qwen2.5-PRM): PRM 依赖高昂的人工标注或密集的外部 MCTS 标注,且部署时必须将整个候选文本重新送入独立模型逐步计算;OTV 无需任何人工过程标注,且直接复用当前生成的 KV 缓存,验证开销可忽略不计。
- vs 顶层隐状态探测 (Hidden-State Probing): 现有探测器通常仅在最终层表征后挂分类头,丢失了注意力上下文的逐层结构;OTV 通过 [ToT] 在全层注意力中重新检索多层 KV 缓存充分统计量,表征容量与泛化性明显占优。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 门控单 Token 探针架构结合 KV 缓存复用设计极其精妙,打通了内部与外部验证的鸿沟。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4B 到 32B 多个开源 SOTA 推理基座,在 AIME 竞赛难题上提供了大量定量对比、消融及细粒度轨迹动态图。
- 写作质量: ⭐⭐⭐⭐⭐ 结构清晰,理论推导扎实(在附录严格证明了 MSE 最优预测子的性质与逆长度偏好),图表极其直观。
- 价值: ⭐⭐⭐⭐⭐ 彻底解决了测试时计算扩展中并行思考的高昂延迟瓶颈,大幅推动了高效大模型推理系统的发展。