On the Token Value Inequality in Efficient Reasoning

会议: NeurIPS 2026
arXiv: 2609.33970
项目主页: runjia.tech/tokenprobe
领域: Reasoning
关键词: Token Value Inequality, TokenProbe, Efficient Reasoning, GRPO, Normalized Log Probability

一句话总结

揭示思维链推理中 token 价值严重非均匀分布的“Token Value Inequality”现象，提出仅依赖模型自身推理对数概率的归一化诊断指标 TokenProbe，并在 GRPO 中构建选择性 KL 锚定与奖励塑形，在保持甚至提升推理精度的同时将 token 消耗压缩高达 76%。

研究背景与动机

思维链（Chain-of-Thought, CoT）通过在自回归大模型中引入显式中间推理步骤，极大地降低了复杂多步求解的预测熵，显著提升了模型在数学和符号推理任务上的准确率。然而，这种性能增益伴随着灾难性的 token 消耗激增（例如在 Qwen-4B 上开启思考模式虽然带来 24.1% 的精度提升，但付出了 4.5 倍的额外 token 开销）。在现有基于 token 计费的推理服务范式下，漫长的生成序列直接导致了推理延迟飙升与昂贵的计算成本。

深入分析模型的生成轨迹可以发现，当前的 CoT 推理过程远非完美的确定性单调推导。除理想的直接求解路径外，序列中充斥着陷入反复迟疑的死循环路径（circular deadlock）、大幅偏离正确方向的致命探索分支（fatal deviation），以及经历漫长震荡后才勉强收敛的曲折路径（tortuous convergence）。这引发了一个基础性的核心拷问：在冗长的推理轨迹中，每一个 token 是否具有同等的推理价值？现有高效推理方案大多采用句子级或轨迹级长度惩罚，粗暴地施加截断往往破坏推理完整性造成精度暴跌，或因缺乏序列内部的细粒度判别而收效甚微。

本文的核心洞察在于：模型在自回归生成过程中产生的原始 token 级对数概率，其序列内的相对变化原生编码了模型局部的置信度动态，无需任何外部奖励模型或额外标注即可区分关键推理骨干与无效探索冗余。核心 idea：通过响应内归一化对数概率（NormLP）量化“Token Value Inequality”，构建核心推理探针 TokenProbe 作为高价值 token 代理，并在 GRPO 框架下驱动选择性 KL 锚定（KL）与奖励塑形（RS），在保留核心推理密度的同时精确压缩冗余探索，实现精度与 token 效率的帕累托改进。

方法详解

整体框架

TokenProbe 框架由两大紧密关联的部分构成：基于自回归模型推理输出对数概率的细粒度诊断分析（Token Value Inequality 分析），以及基于该诊断驱动的高效强化学习优化（Efficient GRPO）。在诊断阶段，框架提取生成序列中每个 token 的对数概率并进行序列内 z-score 归一化得到 \(\mathrm{NormLP}_t\)，结合滑动窗口累加筛选出高密度核心推理片段，生成二值核心 token 掩码 \(CT_t\)；在训练优化阶段，利用核心掩码分别改进标准 GRPO 的正则化项（选择性 KL 锚定）或优势函数（奖励塑形），针对超时且冗余的 token 施加有针对性的压缩压力。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["自回归推理序列与 Per-token 对数概率 $\ell_t$"] --> B["响应内 z-score 归一化<br/>计算 $\mathrm{NormLP}_t$ 与 TokenProbe 指标"]
    B --> C["滑动窗口累积与贪心非重叠选择<br/>生成核心 Token 掩码 $CT_t \in \{0, 1\}$"]
    C --> D{"选择 Efficient GRPO 策略"}
    D -->|正则化自适应| E["选择性 KL 锚定 (KL)<br/>核心保留基准KL，超额冗余施加对数概率稀疏惩罚"]
    D -->|优势函数重构| F["奖励塑形 (RS)<br/>正确轨迹核心token赋权增益，超额冗余施加动态惩罚"]
    E --> G["帕累托高效推理策略<br/>保留核心计算，消除无效探索冗余"]
    F --> G

关键设计

1. 响应内归一化对数概率与 TokenProbe 核心代理：消除绝对校准偏差

为了消除不同模型、不同题目以及不同响应之间绝对置信度尺度的固有偏差，方法放弃了固定绝对阈值或引入参考模型的做法，直接对当前生成的整个响应序列进行内部标准化。给定序列长度为 \(T\) 的对数概率序列 \(\{\ell_1, \dots, \ell_T\}\)（其中 \(\ell_t = \log p_\theta(s_t \mid s_{<t}, x)\)），通过计算响应内的均值 \(\bar{\ell}\) 与标准差 \(\sigma_\ell\)，定义归一化对数概率：

\[\mathrm{NormLP}_t = \frac{\ell_t - \bar{\ell}}{\sigma_\ell + \epsilon}\]

基于该相对信号，\(\mathrm{NormLP}_t > 0\) 表示该 token 的生成置信度高于当前响应的平均基准，代表决策明确的核心推理内容；反之负值多对应迷茫、徘徊与低效重复。由此，整个响应的 TokenProbe 定义为具有正向 \(\mathrm{NormLP}\) 的 token 占比：

\[\mathrm{TokenProbe} = \frac{1}{T}\sum_{t=1}^T \mathbb{I}[\mathrm{NormLP}_t > 0]\]

实证分析证明，TokenProbe 具有极强的内生稳定性（对上下文长度、采样温度等超参变化不敏感），且对于不同模型架构间的校准漂移（例如 Qwen 与 DeepSeek-R1-Distill 系列间的平坦度差异）保持严格的保序性。跨阶段分析显示，模型的 Answer 阶段 TokenProbe 普遍比 Think 阶段高出 3%~20%；而在四分位数分析中，TokenProbe 最高的四分位样本相比最低四分位，精度提升高达 31.4% 且 token 消耗下降 57%，确立了其作为推理质量与效率强代理的地位。

2. 基于滑动窗口的非重叠核心 Token 掩码提取：保持语义连续性

孤立地按单个 token 的得分进行硬截断容易造成语义破碎和奖励极端稀疏，破坏语言模型的上下文因果依赖。为此，方法设计了基于连续局部窗口的能量聚合策略。给定序列的分数序列 \(\{\mathrm{NormLP}_t\}_{t=1}^T\)，设定窗口尺寸 \(W\)（默认设为 10），计算每个滑动窗口的累积得分：

\[s_i^{(W)} = \sum_{t=i}^{i+W-1} \mathrm{NormLP}_t\]

算法采用贪心策略迭代选择累积分数最高且彼此不重叠的 Top-\(K\) 个核心窗口，并将所有被覆盖的 token 位置标记为核心 token（\(CT_t = 1\)），其余 token 标记为冗余 token（\(CT_t = 0\)）。对掩码语义角色的抽样人工探针显示，高达 98%~100% 的核心窗口严格对应代数推导、定理运用或符号约束等实体内容，而低分区域则高度富集“Wait”、“maybe”、“let me check”等无益的情绪迟疑与重复验算，从而在无需人工标签的情况下精准捕获了推理的主干骨架。

3. 选择性 KL 锚定（KL）：局部正则化约束与超额衰减

选择性 KL 锚定机制保持标准 GRPO 的策略梯度优势项不变，仅对正则化项实施动态的 token 自适应分配。其目标是在保证关键推理稳定的同时，对膨胀且冗余的尾部施加精准的截断推力：

\[\mathcal{L}_{\mathrm{KL}} = \mathbb{E}\left[ \frac{\pi_\theta(a_t \mid s_t)}{\pi_{\mathrm{old}}(a_t \mid s_t)} \hat{A}_t - \beta_t D_{\mathrm{KL}}(\pi_\theta \parallel \pi_{\mathrm{ref}}) - \gamma_t \log \pi_\theta(a_t \mid s_t) \right]\]

超参数调度遵循明确的三态规则： - 对于核心 token（\(CT_t = 1\)）：无论序列是否超时，均保持标准 KL 正则（\(\beta_t = \beta_{\mathrm{base}}, \gamma_t = 0\)），严格锚定基础模型的推理能力，防止灾难性遗忘。 - 对于预算内的冗余 token（\(CT_t = 0\) 且 \(T \le L_{\mathrm{limit}}\)）：同样保持稳定配置（\(\beta_t = \beta_{\mathrm{base}}, \gamma_t = 0\)），容忍合理的过渡连接词与初步发散。 - 对于超出长度预算的冗余 token（\(CT_t = 0\) 且 \(T > L_{\mathrm{limit}}\)）：彻底移除 KL 约束（\(\beta_t = 0\)），并施加正比于溢出比例的 log-probability 稀疏惩罚：\(\gamma_t = \lambda_{\mathrm{decay}} \cdot \frac{T - L_{\mathrm{limit}}}{T}\)。该设计迫使模型在超时后主动压制冗余词元的生成概率，从而促成早停。

4. 差异化奖励塑形（RS）：正向轨迹核心赋权与曲率预算退火

奖励塑形（RS）机制保留了基础的 KL 正则约束，转而在策略梯度项内部重塑优势估计 \(\hat{A}_t^{\mathrm{RS}}\)。为了避免在错误路径上奖励伪核心步骤导致的信用错误分配，该塑形严格限制仅在最终判定为正确答案的轨迹（\(r^{\mathrm{seq}} > 0\)）上生效：

\[\hat{A}_t^{\mathrm{RS}} = \hat{A}_t + \beta \left( \alpha \cdot \mathrm{NormLP}_t \cdot \mathbb{I}[CT_t = 1] - \lambda \cdot \frac{\max(0, T - L_{\mathrm{limit}})}{T} \cdot \mathbb{I}[CT_t = 0] \right)\]

其中 \(\alpha\) 为核心 token 的奖励提升系数，直接强化具备高信息密度的推导步骤；\(\lambda\) 为过长冗余区间的惩罚因子；而长度预算 \(L_{\mathrm{limit}} = \text{core\_len} \times \text{current\_scale}\) 伴随课程学习机制在训练进程中平滑退火递减。RS 机制直接将推理有效性与长度感知注入优势函数，为大容量模型提供了更为平滑连续的优化梯度。

损失函数 / 训练策略

训练采用 veRL 强化学习框架实现，基座模型涵盖 Qwen3-0.6B/4B/8B、DeepScaleR-1.5B 以及 Phi-4-mini-reasoning，在包含 40K 题目的 DeepScaleR 增强数学数据集上执行 GRPO 训练。Prompt 限制在 1,024 token 内，训练时 rollout 截断设定为 4,096 token。优化器学习率设为 \(1\times 10^{-6}\)，KL 控制系数设为 \(10^{-3}\)，每批次生成 16 条候选采样。整个 TokenProbe 与窗口掩码抽取均在 CPU 端针对已采集的对数概率进行单线程计算，单步处理耗时在毫秒级别，占整个训练步耗时的比例不足 0.09%，而最终部署推理时则与标准解码完全一致，带来零额外推理开销。

实验关键数据

主实验

在 AIME 2025、MATH-500、AMC 和 OlympiadBench 四大数学推理基准上，将 TokenProbe 优化方法与闭源商业前沿模型、开源超大模型及现有主流高效推理方案进行全面评估（评估最大长度为 8,192 token）。

模型类别 / 模型名称	平均 Token 数 (#Tk.)	平均准确率 (Acc. %)	AIME Acc.	MATH Acc.	AMC Acc.	Olympiad Acc.
闭源前沿模型
GPT-5.4-Mini (2K 预算限制)	987	69.6	36.7	88.6	73.5	56.6
Claude-4.6-Sonnet (2K 预算限制)	1,221	61.3	20.0	86.0	51.8	46.1
Gemini-3.1-Pro (2K 预算限制)	1,586	54.4	10.0	79.2	37.3	40.1
Gemini-3-Flash (2K 预算限制)	1,828	35.1	3.3	56.0	24.1	22.4
开源超大规模模型
Qwen-80B-3B (Thinking)	1,843	28.3	0.0	51.0	13.3	14.7
DeepSeek-671B-37B	1,542	46.7	13.3	70.2	36.1	32.1
Kimi-1T-32B	1,649	40.0	0.0	63.4	28.9	25.8
高效推理基线 (以 Qwen-0.6B 为基座)
DEER (动态早退)	1,891	16.0	13.3	50.6	0.0	0.0
NoThink (无思考前缀)	1,156	10.3	3.3	37.8	0.0	0.0
L1 (长度惩罚 RL)	4,573	43.2	20.0	71.4	42.2	39.3
PEAR (相位熵感知奖励)	4,240	41.8	16.7	69.6	43.4	37.3
ETR (熵趋势奖励)	4,566	42.2	20.0	70.4	39.8	38.7
本文方法 (Ours)
Qwen-0.6B 基座	5,890	40.7	16.7	69.8	39.8	36.6
Qwen-0.6B w/ KL	2,023	42.3	16.7	72.0	44.6	35.9
Qwen-0.6B w/ RS	1,806	36.3	6.7	68.6	36.1	33.8
Qwen-4B 基座	6,132	62.4	30.0	92.0	72.3	55.4
Qwen-4B w/ KL	1,886	61.0	33.3	88.2	66.3	56.1
Qwen-4B w/ RS	2,026	62.3	30.0	90.2	71.1	58.1
Qwen-8B 基座	6,252	61.9	33.3	89.2	71.1	53.9
Qwen-8B w/ KL	1,476	62.7	30.0	88.6	73.5	58.5
Qwen-8B w/ RS	2,313	68.3	33.3	94.2	81.9	63.9

消融实验

1. 超参数与窗口消融（以 Qwen-0.6B 及相关基准上的设置为代表）

配置与超参数变化	平均 Token 数 (#Tk.)	平均准确率 (Acc. %)	说明
Vanilla GRPO 基线	4,461	42.3	无 TokenProbe 引导的标准 GRPO
RS (\(\alpha=0.05, \lambda=0.05\))	2,291	36.1	基准冗余惩罚
RS (\(\alpha=0.05, \lambda=0.08\))	1,806	36.3	强化冗余抑制，token 下降 21% 且精度微升
RS (\(\alpha=0.07, \lambda=0.08\))	2,179	39.9	增强核心 token 赋权，精度显著回升 +3.6%
KL (\(\beta=5\times 10^{-4}, W=20\))	2,210	39.0	弱塑形强度导致引导不足
KL (\(\beta=5\times 10^{-3}, W=20\))	2,008	41.4	适宜塑形强度
KL (\(\beta=5\times 10^{-3}, W=10\))	2,023	42.3	默认配置，细粒度窗口表现最佳
KL (\(\beta=5\times 10^{-3}, W=5\))	1,752	38.4	窗口过小导致局部语义单元破碎，精度下滑

2. 朴素硬截断对照（Qwen-4B 在 2,048 Token 下的基准表现）

实验策略	平均 Token 数 (#Tk.)	平均准确率 (Acc. %)	截断率 (% Trunc.)	说明
Qwen-4B 基座 @ 8K 上限	6,132	62.4	N/A	无约束标准生成
Qwen-4B 基座 @ 2K 硬截断	2,018	31.94	93.3%	暴跌 -30.46%，几乎全数超时未完成
Qwen-4B w/ KL (Ours)	1,886	61.0	0.0%	保持高准确率，实现内在自发精简
Qwen-4B w/ RS (Ours)	2,026	62.3	0.0%	几乎零精度损失，压缩比达 3.0×

关键发现

• 打破压缩与精度的负相关陷阱：现有免微调的推理截断（如 DEER、NoThink）在 token 压缩到 1,000~2,000 时精度发生崩溃性坍塌（暴跌 24%~30%）；而基于轨迹级长度惩罚的方法（如 PEAR、ETR）为了维持精度，压缩比仅为 1.3~1.4 倍。TokenProbe-KL 则在 Qwen-0.6B 上实现了 2.9 倍压缩的同时准确率甚至提升 1.6%（40.7% \(\to\) 42.3%）。
• 模型容量与策略适宜性定律：模型参数规模与（RS - KL）的精度差异呈现高度正相关（Spearman \(\rho = 0.97\)）。在 \(\le 1\text{B}\) 的极小模型上，KL 机制以其稳定的正则化约束表现更佳；而在 \(4\text{B}\sim 8\text{B}\) 模型上，RS 能够充分发挥优势赋权的引导能力，Qwen-8B-RS 准确率大幅提升 6.4 个百分点（从 61.9% 升至 68.3%），超越原始长推理。
• 跨领域通用泛化显著：在完全未参与训练的 MMLU、MMLU-Pro、LSAT 和 GPQA 综合学科测试中，Qwen-4B 经 KL 优化后 token 消耗从 4,401 剧烈削减至 935（压缩 4.7 倍），但平均精度逆势提升 1.0%（59.62% \(\to\) 60.61%），证明对数概率所反映的核心/冗余区分具有高度的领域可迁移性。

亮点与洞察

• 推理原生的内省置信度信号：完全摒弃昂贵且容易被对抗 hack 的外部过程奖励模型（PRM）和人类标注，直接证明了模型自回归对数概率在序列内标准化后蕴含极高价值的自我检验动态，极具实用性与普适性。
• “Wait”词元的双面性实证：通过逐 token 的案例解剖，清晰展示了早期高置信度“Wait”（\(\mathrm{NormLP} = +0.47\)）代表富有成效的自纠错，而中后期低置信度“Wait”（\(\mathrm{NormLP} = -4.13\)）则是深层迷茫与循环冗余的开端，生动解释了 token 价值不平等的物理实质。
• 将轨迹长度控制转化为序列内容过滤：传统强化学习长度惩罚“只管多长，不管内容”，而 TokenProbe 引导策略实现了“保核心、削冗余”，把粗暴的长度截断转变为精细的信息密度筛选。

局限与展望

• SFT 蒸馏的失败教训：作者尝试利用离线挑选的压缩后紧凑轨迹直接进行有监督微调（SFT），发现因剥离了部分必要的自我验证因果链导致学生模型性能崩溃，表明高效推理的自律性必须在完整在线探索中通过强化学习自适应习得，而无法直接依靠模仿静态片段实现。
• 过度压缩的崩溃边界：在极度严苛的长度预算下，模型可能由于无法完成必要的多步符号计算而陷入无限重复死循环，显现出推理崩溃与长度反弹的耦合现象，需设计更具自适应性的动态课程退火机制。
• 任务结构的泛化边界：目前核心评估集中在数学与确定性问答领域，在涉及工具交互、多轮对话与代码调试等强外部环境反馈的复杂 Agent 场景下，对数概率对核心行为的指示有效性仍需进一步建立理论与实证支撑。

相关工作与启发

• vs L1 / O1-Pruner: 现有长度控制 RL 主要在响应层级施加标量惩罚，对待序列中所有 token 一视同仁，极易导致早停或浅尝辄止。TokenProbe 通过引入 token 维度的 NormLP 掩码，只在超额冗余 token 上卸除 KL 锚点或施加衰减，在保留核心推导的同时完成定向瘦身。
• vs PEAR / ETR: 阶段熵与熵趋势奖励虽然关注到了生成的不确定性动态，但依然停留在宏观阶段（Think vs Answer）划分或整句趋势打分。TokenProbe 提供了窗口维度的密集核心掩码，能直接作用于 GRPO 的逐 token 优势函数。
• vs DEER / NoThink: 依靠推理期贪心截断或禁止思考完全剥夺了模型进行必要试错与深度探索的权利，在困难基准上必然崩溃。TokenProbe 通过强化学习训练，使模型在保留完整推导能力的前提下内在演化出紧凑精炼的表达风格。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次从 token 价值非均匀性切入高效推理，提出免标注的推理原生 NormLP 指标与 TokenProbe 代理，构思精巧。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大基座、跨规模对比、闭源商业模型对照、详尽四分位及跨域泛化实验，消融设计极其严密扎实。
• 写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣，从经验发现（Finding 1 & 2）到方法构建（Claim），再到训练动力学监控与案例可视化，逻辑极度严谨。
• 价值: ⭐⭐⭐⭐⭐ 直击推理模型“思考过载”与服务成本高昂的工业界核心痛点，具有直接落地转化的重大实用价值。

相关论文

• [NeurIPS 2026] Soft Token Alignment for Cross-Lingual Reasoning
• [NeurIPS 2026] ReST-RL: Reinforcing LLM Reasoning through Unified Self-Training and Value-Guided Search
• [ACL 2026] DELTA: Dynamic Layer-Aware Token Attention for Efficient Long-Context Reasoning
• [NeurIPS 2025] Value-Guided Search for Efficient Chain-of-Thought Reasoning
• [ACL 2026] DVMap: Fine-Grained Pluralistic Value Alignment via High-Consensus Demographic-Value Mapping