ERR+: Sequential Entropy Resolution for Efficient and Decisive LLM Reasoning¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/XrkArul/err_response
领域: 大模型推理
关键词: 大语言模型, 强化学习, 过程奖励, 序贯熵消除, 长度压缩
一句话总结¶
针对传统 RLVR 在高准确率下组内优势塌缩及现有长度惩罚直接破坏高熵探索节点的问题,ERR+ 提出两阶段序贯强化学习框架:第一阶段用熵缓解奖励(ERR)激励思考阶段高熵状态向低熵决断收敛,第二阶段用双曲正切组内归一化的稳健相对效率奖励(RRER)自适应压缩冗余 token,打破了推理精度与生成长度之间的固有权衡。
研究背景与动机¶
在大语言模型通过强化学习(RLVR,如 GRPO、DAPO)进行可验证长思维链(CoT)推理的范式中,策略模型通过在 <think>...</think> 标签内展开扩展思考获得了极强的复杂问题求解能力。然而,现行基于最终答案正确性的二值奖励机制在模型达到高准确率时面临严重的结构性局限:同一采样组内的多个候选轨迹可能经由完全不同的思维路径给出正确答案,但由于它们获得完全相同的正确性奖励,组内归一化后的优势函数方差归零。这导致策略梯度无法对推理过程的优劣提供细粒度指导,模型无法区分是条理清晰、决断果脆的严密推导,还是拖沓冗长、反复犹豫的冗余解题。
为了引导模型走向精简推理,近期工作尝试将 token 级熵或直接长度惩罚引入奖励信号。然而,前沿机理研究已经明确揭示:长推理模型在生成过程中,仅占极少数(如前 20%)的高熵 token 代表了关键的分支分水岭与探索节点,其贡献了 RLVR 绝大部分的训练增益。现有方法如 PEAR 或绝对长度截断机制,要么在思考阶段盲目抑制绝对熵水平,要么对长难问题施加无差别的长度压迫,导致模型在关键探索点上丧失了分叉推理与试错能力,不可避免地以显著牺牲准确率为代价换取长度压缩,陷入了「保准确率就冗长、压长度就掉点」的两难困境。
本文的关键切入点在于改变对待熵的视角:推理质量的核心不是消除探索期的高熵,而在于高熵探索之后能否迅速形成确定性的决断。实证发现正确轨迹在思考阶段展现出比错误轨迹更频繁、幅度更深的局部熵暴跌(entropy drops),这代表模型成功跨越了不确定性分水岭。核心 idea:将推理过程优化与长度控制解耦为两阶段序贯强化学习框架,第一阶段通过熵缓解奖励(ERR)鼓励高熵到低熵的决断性转变而不限制探索,第二阶段基于组内双曲正切归一化相对效率奖励(RRER)安全剪除冗余跨度,从理论和实证上消除早期的梯度冲突。
方法详解¶
整体框架¶
ERR+ 整体流程由两阶段序贯训练构成。在第一阶段,模型以正确性为门控,根据思考序列中相邻 token 的熵值降幅累积计算熵缓解奖励(ERR),并通过思考长度的对数函数进行亚线性归一化,促使模型形成「探索后迅速决断」的解题骨架;在第一阶段收敛后,未决断的高熵状态比例大幅降低,此时进入第二阶段,利用同组协同采样候选的平均长度作为动态难度基准,计算双曲正切饱和的稳健相对效率奖励(RRER),引导模型在保持已建立的正确决断结构的前提下,定向剪除确定性区段之间的冗长阐述。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入查询与组采样生成<br/>G条推理轨迹候选"] --> B["熵缓解奖励 (ERR)<br/>对数归一化正向熵降幅累积"]
B --> C["阶段序贯解耦调度<br/>定理1梯度冲突消解后阶段切换"]
C --> D["稳健相对效率奖励 (RRER)<br/>双曲正切组内Z-score相对惩罚"]
D --> E["决断且精简的推理策略输出"]
关键设计¶
1. 熵缓解奖励 (ERR):奖励不确定性消除而非压制探索
针对传统方法直接惩罚高熵导致模型探索能力受损、以及单纯累积降幅会诱发无序增殖思考长度的漏洞,该设计将奖励信号建立在思考阶段相邻 token 熵变化的负向差分上。对于思考序列中位置 \(t \in [2, T_k]\)(\(T_k\) 为 </think> 截断位置),仅当熵值出现显著下降且超过噪声容忍阈值 \(\epsilon\) 时,才记录局部熵缓解量 \(r_t = \max(H_{t-1} - H_t - \epsilon, 0)\)。为了防止模型通过无限拉长思考长度机械刷分,设计采用对数函数进行分母归一化而非线性归一化:
对数归一化的精妙之处在于对极长序列施加亚线性边际密度要求,给予真正复杂的长难问题合理的推理裕度。同时,ERR 设立了严格的正确性门控机制 \(R_1(y, y^*) = \min(R_b + \lambda \text{ERR}(y), R_{\max})\)(仅当最终答案正确时才发放 ERR 加成,错误轨迹仅获得基础格式分 \(R_f\)),杜绝了模型生成「形式上熵暴跌但事实完全错误」的做弊解题轨迹。
2. 稳健相对效率奖励 (RRER):自适应难度感知的离群点抗性长度塑造 针对固定长度罚分对不同难度题目实行「一刀切」导致复杂题目被过度压缩的问题,该设计利用组内采样(Group Rollouts)的均值作为问题内在难度的隐式度量。对于每条轨迹的长度 \(L_i\),首先在组内计算标准化得分 \(z_i = (L_i - \mu_L) / (\sigma_L + \varepsilon)\),随后引入带有平滑敏感度参数 \(\gamma\) 的双曲正切函数进行非线性映射:
双曲正切映射将奖励严格约束在 \((-1, 1)\) 区间内,彻底解决了组内极端异常长轨迹(如单条样本达到最大 token 上限 16,384)对线性归一化尺度的破坏。此外,设计采用非对称奖励机制:正确样本根据 \(\lambda_i\) 获得正负双向调节,而错误或不合规样本仅能获得非正惩罚 \(\min(0, \lambda_i)\),严格杜绝了模型通过生成极短的敷衍性错误答案骗取高额长度奖励的漏洞。
3. 阶段序贯解耦调度:消除早期梯度对抗与结构化后剪枝 针对联合训练时长度压力与探索激励相互干扰导致崩盘的理论瓶颈,本文给出了严格的梯度冲突分析。设第一阶段负期望奖励损失为 \(L_1(\theta)\),第二阶段为 \(L_2(\theta)\),其策略梯度分别为 \(g_1(\theta)\) 和 \(g_2(\theta)\)。分析表明,在训练初期,模型存在大量处于高熵且尚未发生决断性骤降的未决断探索节点(mid-exploration set \(T_\rho(y)\))。在联合训练中,第二阶段梯度 \(g_2\) 为了缩短长度,会优先抑制这些尚未产生成果的高熵 token,直接剥离了后续发生决断骤降所需的上下文基础,导致两者的梯度内积严格负相关:
其中 \(\rho(\theta)\) 为未决断高熵 token 占比,\(C > 0\) 为正比例常数。由此证明了联合优化必定造成第一阶段目标函数受损。当第一阶段充分收敛后,正确轨迹中的高熵状态全部顺利演化为决断点,\(\rho(\theta^*) \approx 0\),梯度余弦相似度从训练初期的 \(-0.45\) 攀升至近乎正交的 \(-0.05\) 乃至 \(+0.02\)。此时第二阶段介入,剪除的仅是决断点之间信息量微弱、熵值平缓的冗余解释跨度,实现平滑高效的结构化压缩。
损失函数 / 训练策略¶
两阶段均基于 GRPO(Group Relative Policy Optimization)算法在开源 verl 框架上执行优化。在第一阶段(ERR),基于采样组内每条响应计算 \(R_1\),经过组内均值与标准差归一化得到优势函数更新策略;在第一阶段达到验证集精度最优且长度稳定后切换至第二阶段(RRER),动态计算组内长度均值与方差赋予 \(R_2\) 优势并继续优化。全流程无需引入庞大的 Critic 网络,保持了与轻量高效训练架构的完全兼容。
实验关键数据¶
主实验¶
在单卡到集群常用的 DeepSeek-R1-Distill-Qwen-1.5B 基础模型上,ERR+ 与标准二值强化学习及多种代表性长度控制基线在 5 个权威基准上的对比展现出显著的精度与长度双重优势。
| 方法 (Method) | GSM8K (Acc / Tok) | AIME24 (Acc / Tok) | AMC23 (Acc / Tok) | MATH-500 (Acc / Tok) | MMLU-STEM (Acc / Tok) | 平均 Avg (Acc / Tok) |
|---|---|---|---|---|---|---|
| Base (Zero-shot) | 84.6% / 2076 | 26.7% / 12958 | 70.0% / 8063 | 82.1% / 4729 | 51.7% / 6266 | 63.0% / 6818 |
| DEER | 85.7% / 1553 | 26.7% / 10692 | 75.0% / 5556 | 83.8% / 3534 | 50.4% / 6391 | 64.3% / 5545 |
| Dynasor | 85.1% / 1916 | 26.7% / 11687 | 75.0% / 7287 | 82.0% / 4351 | 49.6% / 6670 | 63.7% / 6382 |
| PEAR | 85.3% / 1949 | 33.3% / 12260 | 67.5% / 8015 | 81.0% / 4848 | 50.7% / 6033 | 63.6% / 6621 |
| GRPO (标准二值) | 86.6% / 2281 | 30.0% / 12939 | 70.0% / 8336 | 82.6% / 5206 | 51.6% / 7440 | 64.2% / 7240 |
| Laser-L2048 | 82.8% / 1850 | 26.7% / 10515 | 75.0% / 7503 | 80.3% / 4529 | 50.4% / 5632 | 63.0% / 6006 |
| DAPO | 85.4% / 2123 | 26.7% / 12956 | 70.0% / 8065 | 83.4% / 4432 | 49.9% / 6966 | 63.1% / 6908 |
| GRPO+ERR+ (本文) | 88.6% / 1324 | 33.3% / 10670 | 77.5% / 6288 | 84.8% / 3857 | 58.0% / 5109 | 68.4% / 5450 |
| DAPO+ERR+ (本文) | 87.1% / 1465 | 30.0% / 10542 | 75.0% / 5603 | 85.2% / 3296 | 54.2% / 4742 | 66.3% / 5130 |
在 Qwen3-4B、Qwen3-8B 以及 DeepSeek-R1-Distill-Qwen-7B 等更大尺度骨干网络上,GRPO+ERR+ 均保持最佳平均准确率(7B 模型平均准确率达 82.5%,平均 token 从 GRPO 的 5509 压缩至 4495,AIME24 准确率从 50.0% 跃升至 60.0%)。
消融实验¶
为了严格验证两阶段序贯设计与联合优化的性能差异,在 DeepSeek-R1-Distill-Qwen-1.5B 上对各模块组件进行了完整剥离测试。
| 配置 (Variant) | GSM8K (Acc / Tok) | AIME24 (Acc / Tok) | AMC23 (Acc / Tok) | MATH-500 (Acc / Tok) | MMLU-STEM (Acc / Tok) | 平均 Avg (Acc / Tok) | 说明 |
|---|---|---|---|---|---|---|---|
| ERR+ (完整两阶段) | 88.6% / 1324 | 33.3% / 10670 | 77.5% / 6288 | 84.8% / 3857 | 58.0% / 5109 | 68.4% / 5450 | 完整方案,精度最高且长度高度精简 |
| 无第一阶段 (仅Phase-2) | 85.0% / 1244 | 26.7% / 10729 | 67.5% / 6933 | 84.0% / 4253 | 51.4% / 4168 | 62.9% / 5465 | 欠缺稳定决断结构,直接压长度导致精度暴跌 5.5% |
| 无第二阶段 (仅Phase-1) | 88.1% / 1612 | 33.3% / 12807 | 72.5% / 8061 | 84.6% / 4752 | 55.6% / 5895 | 66.8% / 6625 | 保留强推理能力,但输出长度较完整版冗长 21.5% |
| 联合优化 (\(R_1 + R_2\) 联合) | 84.2% / 2005 | 23.3% / 12105 | 72.5% / 7245 | 83.0% / 4470 | 49.9% / 6470 | 62.6% / 6459 | 早期梯度严重对冲,精度不仅最差且长度未得到压缩 |
关于第一阶段长度归一化形式的对比中,采用 \(\log(T_k + 1)\) 获得 68.4% 的平均准确率与 5450 的平均 token 数;而线性归一化 \(T_k\) 会过度惩罚深度长推理,导致准确率断崖式崩塌至 48.6%(token 2063);开方归一化 \(\sqrt{T_k}\) 平均准确率亦仅为 53.3%(token 3314)。
关键发现¶
- 结构先决与安全剪枝机理:在 GSM8K 的微观轨迹统计中,第一阶段将思考过程中的大幅熵降频次由每百 token 6.5 次倍增至 12.8 次,相邻骤降间隔从 15.4 token 骤降到 7.8 token,使得模型安全剪枝准确率(强制裁除所有低缓解跨度后的继续推理正确率)由 72.4% 跃升至 84.3%。第二阶段随后顺利将低缓解冗长跨度占比从 35.8% 削减至 24.5%,而安全剪枝准确率依旧稳定在 84.8%,完全印证了「先构建决断骨架、再压缩冗余修饰」的机理。
- 杜绝奖励黑客(Anti-Reward-Hacking):针对 ERR 是否会导致模型刻意震荡生成「先推高熵再故意拉低」的循环作弊行为,监控数据显示整个训练过程中全轨迹上行熵与下行熵的累积比值(Up/Drop)始终死死锚定在 1.0007–1.0011,且方向切换次数(Sign change)从 GRPO 的 1012.98 显著单调递减至 ERR+ 的 609.77,排除了任何虚假熵波动的投机倾向。
- 跨域泛化能力突出:在未经数学微调直接测试的科学难题基准 GPQA Diamond 上,仅在 GSM8K 上训练的 ERR+ 取得 31.6% 的准确率与 10961 的 token 均值,显著优于 GRPO(29.3% / 14528)与 Base(27.8% / 13875),表明所学到的决断能力是一种底层通用的认知习惯。
亮点与洞察¶
- 将熵控制从「抑绝对值」转变为「奖状态转移」:敏锐地观察到正确思考轨迹的本质是高熵探索后的果断决策,避免了传统熵惩罚方法盲目伤害高熵关键分支节点的顽疾。
- 理论指引算法架构设计:通过形式化的梯度正交与对抗分析(Theorem 1),在数学上精确证明了探索奖励与长度压缩在训练初期的对抗性,为「必须分阶段序贯训练而非联合多目标加权」提供了坚实的理论根基。
- 双曲正切组内归一化鲁棒且普适:利用同组批次均值作为动态难度标尺,结合 tanh 饱和压制单样本死循环极值对梯度的扰动,算法可无缝迁移至 GRPO、DAPO 等多种强化学习底层基座。
局限与展望¶
- 人类偏好视角的潜在妥协:优化目标完全聚焦于最终正确率与 token 效率,高度精炼和决断的推理链条虽然在数学上严谨,但可能对人类审阅者而言缺乏循序渐进的教学解释性与文字平滑度。
- 超参数阶段切换需要验证集监督:阶段转换时间点依赖验证集精度的监控与早停选择,未来可探索自适应的动态梯度对齐门控,实现端到端的自发阶段演进。
相关工作与启发¶
- vs PEAR: PEAR 认为思考阶段的平均熵是推理冗长程度的表征,直接对平均熵施加惩罚,结果压制了核心探索分叉点,导致准确率严重受损;ERR+ 则反其道而行之,不仅放任高熵探索,还对完成高熵到低熵的跨越给予奖励,实现了精度与长度的双赢。
- vs LASER / Kimi k1.5 长度惩罚: LASER 使用固定 token 阶梯惩罚,Kimi k1.5 采用极值归一化,两者在面对题目难度分布不均时容易对超长难题造成误伤;ERR+ 引入双曲正切组内 z-score 归一化,自适应以组内同行表现为难度参照物,抗离群点干扰能力更强。
- vs DAPO / TokenSqueeze: DAPO 侧重于采样截断与梯度加权以稳定 RLVR,TokenSqueeze 在推理阶段后处理丢弃低信息 token;ERR+ 则是在策略优化阶段通过内部认知熵演化塑造模型自发的决断习惯,与底层采样和后处理压缩正交互补。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆了传统以惩罚高熵为手段的压缩思路,首次以局部熵跌落奖励为抓手刻画推理决断过程,且提供了完整的梯度对抗理论。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种模型基座、5 个难度跨度极大的基准,并配备严谨的统计检验、机理探针、梯度余弦监控与作弊校验。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑演绎环环相扣,从经验现象观察到数学定理证明再到算法实例化与微观统计闭环,叙述极其清晰。
- 价值: ⭐⭐⭐⭐⭐ 为大模型长思维链推理过程的效率优化提供了无需昂贵过程标注的全新范式,工程实用性极高。