InfoDensity: Rewarding Information-Dense Traces for Efficient Reasoning¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/amao0o0/InfoDensity
领域: LLM推理
关键词: 强化学习, 效率推理, 熵轨迹, 后缀最大包络, 准确率-长度权衡
一句话总结¶
针对大推理模型冗长输出与盲目长度惩罚导致的奖励作弊问题,InfoDensity 揭示了高质量推理轨迹具有低不确定性收敛与快速不确定性下降两大特征,进而提出基于后缀最大包络(suffix-max envelope)的熵轨迹质量奖励与组内相对长度缩放机制,在大幅压缩推理 token 的同时提升多基准推理准确率。
研究背景与动机¶
大语言推理模型(如 DeepSeek-R1、Qwen3 系列)依赖多步长思维链(Chain-of-Thought, CoT)展现出强大的复杂问题求解能力,但其生成过程普遍伴随着极高的冗余度与冗长表述,造成了严重的推理算力浪费与时延负担。为了缓解推理膨胀,主流强化学习方法大多引入基于长度的惩罚项或自适应 token 预算机制。然而,这类做法仅仅关注最终生成的序列长度以及答案正确性,完全忽视了中间推理步骤的逻辑与信息质量。当策略模型仅在宏观长度和稀疏结果奖励驱动下优化时,极易陷入奖励作弊(reward hacking)——模型学会走捷径生成表面简短却逻辑残缺或跳步的回答,从而严重破坏了深层推理的健壮性。
中间推理质量评估的难点在于细粒度监督信号极其昂贵且难以获取。过程奖励模型(PRM)依赖大规模人工标注或蒙特卡洛树搜索(MCTS)采样,而基于信息论的视角则尝试直接利用模型自身在生成过程中的预测分布来衡量不确定性。然而,究竟模型自身的信息论统计量在整条推理轨迹上呈现何种模式、如何区分高质量与低质量推理,此前缺乏系统性实证分析。实验表明,局部的单步不确定性下降(\(\Delta H_t\))由于局部噪声极大(效应量 Cohen's d 仅在 \([-0.02, +0.12]\) 之间,ROC-AUC 接近 0.5),根本无法作为可靠的单步正确性分类器;孤立地优化局部单步熵往往徒劳无功。
基于 ProcessBench 的轨迹级实证研究表明,真正区分高低质量推理的决定性特征存在于全轨迹形态之中:正确轨迹在推理阶段收尾时总能收敛到显著更低的预测熵(低不确定性收敛),并且在推进过程中熵下降更加陡峭(快速不确定性下降);相反,错误或低效轨迹在推理全程往往维持较高熵甚至逐步累积困惑。这表明高质量推理本质上是「信息密集的」(information-dense),即每一步推理都在以更高的效率消除模型关于最终结论的不确定性。核心 idea:放弃容易引发奖励作弊的粗暴长度惩罚与高噪声单步分类,提出基于后缀最大包络(suffix-max envelope)的整轨熵聚合质量奖励,并与组相对长度缩放相乘,联合引导模型在强化学习中生成兼具低不确定性与极致紧凑的高信息密度推理轨迹。
方法详解¶
整体框架¶
InfoDensity 旨在强化学习训练(GRPO)中兼顾推理质量与生成紧凑度。算法流程首先通过 vLLM 高效提取模型在推理过程中生成的每 token top-\(K\)(\(K=20\))预测熵,并按固定 token 块(chunk size \(C=50\))切分聚合为块级熵轨迹 \(\{H_1, H_2, \dots, H_T\}\)。随后,针对熵轨迹构建从右向左的后缀最大包络序列,通过长度归一化均值计算该轨迹的信息质量奖励 \(R_{\text{quality}}(\tau)\)。接着,结合 rollout 组内的响应长度统计计算组相对长度缩放因子 \(R_L(\tau)\)。最终,仅在最终答案正确的轨迹上赋予二者乘积奖励 \(R_{\text{InfoDensity}}(\tau)\),在 GRPO 框架下完成策略梯度更新。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入题目 X<br/>GRPO 采样一组推理轨迹"] --> B["块级熵轨迹计算<br/>top-K 截断熵与 C=50 固定块切分"]
B --> C["后缀最大包络聚合<br/>捕获低不确定性收敛与快速下降"]
C --> D["组相对长度缩放<br/>免显式长度目标的无偏紧凑激励"]
D --> E["答案条件化联合奖励<br/>正确轨迹赋予联合奖励,错误轨迹归零"]
E --> F["策略更新<br/>GRPO 优化高信息密度紧凑推理"]
关键设计¶
1. 块级熵轨迹计算:解决单步边界不规则与局部噪声问题
现有步级分析通常以 \n\n 作为推理步骤的分隔符,但在强化学习的主动探索过程中,策略模型生成的格式往往不规则,换行符边界不可靠;同时单 token 熵包含大量无意义的词汇学语法波动。针对这一痛点,InfoDensity 在推理生成阶段利用 vLLM 引擎输出的 top-\(K\) 截断 logprobs(设定 \(K=20\))计算每 token 的香农熵:
$\(H(y_{t,k} \mid c_{t,k}) = -\sum_{v \in V_K} \tilde{p}_\theta(v \mid c_{t,k}) \log \tilde{p}_\theta(v \mid c_{t,k})\)$
其中概率 \(\tilde{p}_\theta\) 经过重新归一化。由于高置信度推理生成主要概率质量集中在 top-20,该估计紧密逼近全词表熵且上界严格固定为 \(\log K\)。随后,算法抛弃不稳定的自然换行,将推理序列按固定长度 \(C=50\) tokens 划分为连续的块(chunks),计算块内平均 token 熵作为块级不确定性度量 \(H_t\)。这种固定切分平滑了单 token 的高频语义扰动,并为后续全轨迹分析提供了稳健的离散时间序列。
2. 后缀最大包络聚合:单算子联合约束收敛终点与下降速率
如果直接采用简单的整轨平均熵,模型可能在轨迹尾部突然产生严重的不确定性反弹(如犹豫、自相矛盾、自我怀疑回环),却凭借前期的低熵蒙混过关;而若仅约束终点尾熵,又无法对漫长无意义的中间冗余步骤施加下行压力。InfoDensity 设计了一种右向左的滑动最大值算子——后缀最大包络(suffix-max envelope): $\(\text{suffix}_t = \max(H_t, H_{t+1}, \dots, H_T), \quad t = 1, 2, \dots, T\)$ 该包络在几何上是从上方紧贴熵轨迹的上界。一方面,若轨迹末尾由于缺乏确信度导致尾部熵很高,该高熵值会通过 \(\max\) 算子直接反向拉高整条轨迹所有前期位置的 \(\text{suffix}_t\),对未收敛轨迹施加全局重罚;另一方面,若轨迹尾部稳步收敛于极低熵,且前期迅速单调下降,则 \(\text{suffix}_t \approx H_t\),更陡峭的下降将使更多步数维持在极低熵位,进而最小化包络平均值。最终的信息质量奖励以均匀分布的最大熵 \(\log K\) 作为固定归一化锚点定义为: $\(R_{\text{quality}}(\tau) = 1 - \frac{1}{T \log K} \sum_{t=1}^T \text{suffix}_t\)$ 该奖励自然落入 \([0, 1]\) 区间,无需多项独立打分或启发式加权,用单一包络均值完备约束了低不确定性收敛与快速不确定性下降。
3. 组相对长度缩放:无需人工设定预算的自适应紧凑偏好
纯粹的质量奖励虽然倾向于压缩低信息密度的冗长步,但当两条轨迹都具有极高质量且充分收敛时,模型缺乏进一步精炼语言的明确梯度。针对固定长度惩罚易导致不同难度题目僵化坍缩的缺陷,InfoDensity 借鉴组相对奖励思想,引入组内归一化的长度缩放因子: $\(R_L(\tau) = \exp\left(-\lambda \cdot \frac{L(\tau) - \mu_L}{\sigma_L}\right)\)$ 其中 \(L(\tau)\) 为采样轨迹的总生成长度,\(\mu_L\) 和 \(\sigma_L\) 为当前题目对应 rollout 组(采样组大小 \(n=5\))内生成的样本长度均值与标准差,\(\lambda > 0\) 为缩放强度系数(默认设定为 \(\lambda=0.05\))。当某个采样轨迹在组内比平均长度更短时,其 \(R_L > 1\),享有乘性放大;长于平均时则受到平滑惩罚。该机制完全摆脱了针对题目难度预设绝对 token 预算或外挂难度预测器的繁琐流程。
4. 答案条件化联合奖励:阻断无逻辑缩减的作弊风险
为了从根本上消除单纯为了缩短长度而舍弃必要推理步骤的奖励作弊,InfoDensity 将最终综合奖励严格与最终答案的真值正确性挂钩: $\(R(\tau) = \begin{cases} R_{\text{quality}}(\tau) \cdot R_L(\tau), & \text{若 } \tau \text{ 答案正确} \\ 0, & \text{否则} \end{cases}\)$ 只有当轨迹推导出正确答案时,高信息密度与长度缩放的复合增益才能生效。如果模型企图过早跳步导致推导出错,奖励直接置零。该设计在数学上构筑了安全底线,迫使策略模型在维持乃至提升推理正确率的前提下,最大化每一个 token 的信息贡献率。
损失函数 / 训练策略¶
训练基于 DeepMath-103K 中难度 5–10 的 7000 道精选问题子集展开,采用 GRPO 算法进行单个 epoch(207 步)的 LoRA 参数高效微调(rank \(r=32\), \(\alpha=64\))。超参数配置包括:rollout 组大小 \(n=5\),批大小 32,学习率 \(1\times 10^{-5}\),KL 散度惩罚系数 \(\beta=0.005\),最大序列长度 16,384 tokens。长度缩放系数 \(\lambda=0.05\)。
实验关键数据¶
主实验¶
在 AMC23、AIME24、MATH500 三个竞赛级数学推理基准以及 GPQA-Diamond 跨学科研究生级科学常识推理基准上,评估 Pass@1 准确率(Acc)、平均生成长度(Len,单位千 tokens)以及综合准确率-效率得分(AES,\(\alpha=1, \beta=3, \gamma=5\)):
| 基础模型 | 方法 | AMC23 (Acc/Len/AES) | AIME24 (Acc/Len/AES) | MATH500 (Acc/Len/AES) | GPQA-D (Acc/Len/AES) | Overall (Acc/Len/AES) |
|---|---|---|---|---|---|---|
| DSR-1.5B | Original | 50.0 / 9.6k / 0.00 | 20.0 / 14.3k / 0.00 | 69.6 / 6.2k / 0.00 | 6.6 / 14.4k / 0.00 | 36.5 / 11.1k / 0.00 |
| DEER | 57.5 / 7.0k / 0.72 | 23.3 / 11.8k / 0.67 | 65.6 / 3.1k / 0.21 | 5.6 / 12.5k / -0.63 | 38.0 / 8.6k / 0.35 | |
| NoThink | 62.5 / 2.4k / 1.49 | 6.7 / 7.6k / -2.86 | 71.8 / 1.3k / 0.89 | 9.1 / 1.5k / 2.03 | 37.5 / 3.2k / 0.79 | |
| LCPO | 67.5 / 7.6k / 1.25 | 30.0 / 12.3k / 1.64 | 74.2 / 5.2k / 0.36 | 8.6 / 13.5k / 0.97 | 45.1 / 9.7k / 0.83 | |
| O1-Pruner | 60.0 / 8.4k / 0.72 | 16.7 / 13.9k / -0.81 | 68.2 / 6.3k / -0.12 | 8.1 / 14.2k / 0.71 | 38.2 / 10.7k / 0.17 | |
| PEAR | 60.0 / 6.5k / 0.92 | 36.7 / 11.7k / 2.68 | 77.0 / 4.4k / 0.61 | 11.1 / 12.8k / 2.16 | 46.2 / 8.8k / 1.00 | |
| ETR | 77.5 / 5.0k / 2.13 | 23.3 / 11.6k / 0.69 | 78.0 / 4.3k / 0.66 | 11.1 / 12.4k / 2.19 | 47.5 / 8.3k / 1.15 | |
| InfoDensity | 80.0 / 5.0k / 2.28 | 33.3 / 9.8k / 2.31 | 80.2 / 3.4k / 0.91 | 9.6 / 11.8k / 1.54 | 50.8 / 7.5k / 1.49 | |
| DSR-7B | Original | 80.0 / 6.6k / 0.00 | 43.3 / 11.8k / 0.00 | 85.0 / 4.2k / 0.00 | 24.2 / 11.3k / 0.00 | 58.1 / 8.5k / 0.00 |
| PEAR | 92.5 / 4.4k / 0.80 | 60.0 / 8.5k / 1.44 | 90.2 / 2.5k / 0.59 | 36.9 / 5.2k / 2.11 | 69.8 / 5.1k / 1.00 | |
| ETR | 87.5 / 2.4k / 0.92 | 56.7 / 4.6k / 1.54 | 90.6 / 1.5k / 0.84 | 37.3 / 2.5k / 2.40 | 68.0 / 2.8k / 1.18 | |
| InfoDensity | 95.0 / 3.6k / 1.02 | 60.0 / 6.5k / 1.60 | 91.0 / 2.1k / 0.70 | 42.9 / 5.6k / 2.82 | 72.2 / 4.5k / 1.20 | |
| Qwen3-8B | Original | 90.0 / 8.0k / 0.00 | 63.3 / 12.2k / 0.00 | 90.6 / 5.4k / 0.00 | 52.0 / 9.9k / 0.00 | 74.0 / 8.9k / 0.00 |
| ETR | 92.5 / 4.2k / 0.56 | 73.3 / 8.6k / 0.77 | 93.6 / 2.4k / 0.65 | 57.1 / 5.2k / 0.77 | 79.1 / 5.1k / 0.63 | |
| InfoDensity | 90.0 / 3.7k / 0.54 | 73.3 / 6.9k / 0.91 | 93.0 / 2.1k / 0.69 | 56.1 / 4.2k / 0.81 | 78.1 / 4.2k / 0.69 |
消融实验¶
基于 DSR-1.5B 跨 4 个基准池化审计(共 768 道题目,基座正确 387 题,基座错误 381 题)与超参敏感性分析:
| 细分群体 | 样本量与占比 | 演变行为 | 长度变化趋势 | 说明 |
|---|---|---|---|---|
| 基准模型正确 (n=387) | 92.2% (n=357) | 保持正确 (✓) | 2471 \(\to\) 1622 tokens (-34%) | 在保证逻辑完整下大幅剔除冗余验证与絮叨 |
| 基准模型正确 (n=387) | 7.8% (n=30) | 精度退化 (✗) | 4684 \(\to\) 10323 tokens (+120%) | 双峰分布:21 例拉长爆上限,9 例过度压缩失误 |
| 基准模型错误 (n=381) | 27.6% (n=105) | 成功挽救 (✓) | 15228 \(\to\) 2700 tokens (-82%) | 成功打破基座的自相矛盾与无限怀疑死循环 |
| 基准模型错误 (n=381) | 72.4% (n=276) | 依然错误 (✗) | 14954 \(\to\) 12159 tokens (-19%) | 66.7% 依然撞 16k 预算墙,22.8% 早停在 3.8k |
长度缩放系数 \(\lambda\) 的敏感性消融: - 当 \(\lambda \in \{0.01, 0.05, 0.1\}\) 时:训练过程极其稳定,验证准确率快速收敛至 57%–60%,平均长度自适应压缩至 1.4k–2.5k tokens。 - 当 \(\lambda = 0.5\) 时:过度的长度惩罚诱发明显的奖励作弊,模型急剧坍缩成极端简略回答,验证准确率暴跌至约 37%,验证了过度长度强压会彻底破坏推理有效性。
关键发现¶
- 打破过度思考死循环(Overthinking Rescue):基准模型未解题目中有高达 27.6% 被 InfoDensity 成功解救,平均耗时从耗尽 16k 预算剧烈缩减至 2.7k tokens。案例定性分析证实,许多初等数学题基座模型在 2000 tokens 时已推导出正确中间量,但随后陷入自言自语的死循环;InfoDensity 促使模型在确定性形成后迅速给出结论。
- 全方位 Pareto 最优:在 DSR-1.5B 上,InfoDensity 实现了整体准确率 \(+14.3\) 个百分点(\(36.5\% \to 50.8\%\))同时整体长度缩减 \(32\%\)(\(11.1\text{k} \to 7.5\text{k}\)),AES 得分达到 1.49,相较同类最优基线 ETR 相对提升 \(30\%\)。
- 退化案例的双峰特性:仅有 7.8% 的原有正确题出现退化,其中多数为计算偶发失误(如正负号看错或单步算术粗心),而非高层规划崩溃。
亮点与洞察¶
- 从局部单步到宏观全轨包络的视角跃迁:实证揭示了单步 \(\Delta H_t\) 判别正确性的 Cohen's d 仅有 \(0.03\),彻底终结了单步局部熵能作为即时错误检测器的幻想;转而用后缀最大包络提炼出低尾部收敛与快下降的整轨性质,优雅而深刻。
- 无需超参调优的归一化锚点:引入以均匀分布最大熵 \(\log K\)(\(K=20\))作为解析上限的归一化质量得分,避免了启发式重缩放与跨模型分布校准的繁琐工程。
- 乘性质量-长度双驱架构:将信息密度与组相对长度因子乘性耦合,有效阻断了粗暴惩罚导致的逻辑跳步作弊,让「思考得少」建立在「思考得透」的基础之上。
局限与展望¶
- 外部轨迹代理与自生成分布漂移:前期实证研究中分析的 ProcessBench 轨迹由外部模型生成而非评测模型自身 rollout,尽管揭示了普遍趋势,但可能未能完全反映模型内生自洽性。
- 跨模型架构与预训练数据的轨迹差异:在 Qwen3 系列模型上,MATH 和 Omni-MATH 的熵下降斜率较其他架构更为平缓,表明不同模型族谱与预训练语料记忆程度对熵动力学有显著干扰,需进一步探究泛化机制。
- 算术偶发失误缺乏局部核查:模型在压缩冗余思考时可能因跳过重复验算而偶尔漏掉简单正负号算术错误,未来可在高密度推理后附加针对性的单步校验或符号执行器。
相关工作与启发¶
- vs NoThink / DEER: NoThink 通过 prompt 强行截断思考,DEER 在推理期根据置信度早停;两者在复杂竞赛题(如 AIME24)上准确率大幅下挫。InfoDensity 在训练期内化信息密度准则,AIME24 准确率提升至 33.3%(DSR-1.5B)与 60.0%(DSR-7B)。
- vs LCPO / O1-Pruner: 采用绝对 token 预算或对标基准轨迹的长度惩罚,易导致长尾复杂题目欠思考。InfoDensity 借助组相对长度缩放与熵包络质量奖励,兼顾不同难度弹性需求。
- vs PEAR / ETR: PEAR 仅按阶段划分均值熵,ETR 计算动量聚合的步进下降趋势;InfoDensity 的后缀最大包络以单个标量积分形式同时约束尾部终点与全程斜率,数学表达更加紧凑且抗噪性更强。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出后缀最大包络聚合熵轨迹并阐明高信息密度推理内涵。
- 实验充分度: ⭐⭐⭐⭐⭐ 跨 4 大主流架构、4 个竞赛与研究生级基准,涵盖贪婪解码、采样评测与样本级细粒度归因。
- 写作质量: ⭐⭐⭐⭐⭐ 叙事极为连贯,数学形式优雅明晰,实证分析与方法设计高度自洽。
- 价值: ⭐⭐⭐⭐⭐ 为后训练时代大推理模型突破推理成本瓶颈与防范奖励作弊提供了坚实的信息论指导与工程实践路径。