SCOPE-RL: Stable and Quantitative Control of Policy Entropy in RL Post-Training¶

会议: NeurIPS 2026
arXiv: 2510.08141
代码: https://github.com/597358816/SCOPE-RL
领域: 对齐/RLHF
关键词: 强化学习后训练、GRPO、策略熵坍塌、温度自适应、正样本正则化

一句话总结¶

本文针对大模型强化学习后训练（RLVR/GRPO）中的熵坍塌难题，揭示了高温采样下正负样本对策略熵具有相反作用的温度-正负符号非对称性，提出仅利用少于 2% 的温度自适应正样本构建轻量辅助正则化项的 SCOPE-RL 框架，实现探索熵值的稳定定量可控，并在多个推理基准与 Pass@k 上一致超越现有强基线。

研究背景与动机¶

强化学习（RL）已成为激发与增强大语言模型复杂推理能力（如数学推导与代码生成）的核心后训练范式。在具备可验证奖励的强化学习（RLVR）中，探索是策略持续发掘新颖解题路径的前提，而策略熵（衡量模型输出不确定性与多样性的核心统计量）则直接反映了探索能力的强弱。作为目前应用最广泛的骨干算法，群组相对策略优化（GRPO）凭借无额外评论家网络、群组归一化优势以及高可扩展性备受青睐。然而，GRPO 在训练过程中极易遭遇严重的“熵坍塌”（entropy collapse）现象：策略熵随迭代单调断崖式下跌，生成结果迅速趋同，探索能力过早丧失，使得强化学习沦为仅仅强化基座模型已有潜能的工具，难以拓展推理边界。

现有的缓解熵坍塌方案主要集中于两大流派：基于最大熵原理显式添加熵奖励/正则项（如 Entropy-Reg、Entropy-Adv），以及基于非对称梯度的剪切调整（如 DAPO 放宽上界剪切阈值 \(\epsilon_{\text{high}}\)）。然而，这两类方法在实践中极易诱发严重的训练不稳定性。直接注入熵奖励往往引入严重的优化偏差，导致策略熵在坍塌与暴增（entropy explosion）之间剧烈振荡，并伴随不可逆的下游任务奖励严重衰减；而非对称剪切同样难以将策略稳定在有利于学习的探索区间。当前领域缺乏一种既能避免振荡、又能定量调控探索程度的稳定控熵机制。

面对这一困境，本文从样本级熵动力学的微观视角重新审视后训练过程，发现单纯提高全局采样温度无法阻止熵坍塌，但正负样本对策略熵的影响展现出强烈的非对称性：在高温采样下，正样本更新促进熵增长，而负样本却会加速熵坍塌；在低温采样下，这一趋势完全反转。核心 idea：利用策略更新时熵导数随温度严格为正的动力学非对称性，构建由少于 2% 样本量的温度自适应正样本驱动的轻量策略梯度正则项，将策略熵精确且平稳地钳制在目标探索阈值。

方法详解¶

整体框架¶

SCOPE-RL 框架在标准 GRPO 优化主干之上，引入了一个计算开销极低（仅使用不足 2% 样本）的温度自适应正样本辅助策略梯度分支。输入为当前训练批次的问题查询集合，主分支采用常规温度执行群组采样并计算 GRPO 相对优势目标；同时，辅助分支监控前一步训练的策略熵 \(\mathcal{H}(\pi_{\theta_{\text{old}}})\) 与预设目标熵 \(\mathcal{H}_0\) 的偏离程度，动态计算自适应温度 \(T\)。

当策略熵低于目标值 \(\mathcal{H}_0\)（面临坍塌风险）时，模型自适应提升辅助采样温度，采集高温正样本注入正向熵修正梯度以恢复探索；当策略熵超过目标阈值时，自适应调低温度，利用低温正样本拉低熵值以维持训练稳定。由于仅保留具正向奖励的正样本，并对重要性采样分布故意保留微小的温度加权偏差，SCOPE-RL 在不干扰主奖励优化进程的前提下实现了稳定的闭环控熵。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询 q"] --> B["GRPO 主干采样<br/>标准温度生成 G 条响应"]
    B --> C["GRPO 相对优势更新<br/>群组归一化奖励优化"]
    A --> D["温度自适应计算<br/>基于历史策略熵与目标阈值偏差"]
    D --> E["辅助分支采样<br/>基于温度 T 采样候选响应"]
    E --> F["正样本过滤机制<br/>仅保留正样本 R=1 构建正则"]
    F --> G["有意分布偏置修正<br/>未校正 IS 权重的微小策略梯度"]
    C --> H["联合策略更新<br/>主干梯度 + alpha 辅助梯度"]
    G --> H
    H --> I["输出收敛策略<br/>稳定探索且避免熵坍塌"]

关键设计¶

1. 采样级熵动力学的温度-符号非对称性发现：揭示熵调控的物理微观机制

研究者首先设计对照实验解耦采样温度与样本正负号的作用。实验表明，仅提升全局采样温度无法缓解熵坍塌，策略熵依然单调下降。深入分析发现：高温采样下，正样本显著提升策略熵且保持良好奖励，负样本则剧烈加速熵坍塌；而在低温采样下，正样本加速坍塌，负样本反而能推高熵（但会导致奖励断崖式崩溃）。

针对这一现象，论文在上下文多臂赌博机与正交梯度假设下推导出理论定理（Theorem 1）。在策略更新导致一阶熵减 \(\Delta\mathcal{H}_{\theta_k}(1) < 0\)（即发生熵坍塌）的条件下，熵变化量对温度的导数严格为正：

\[ \left.\frac{\mathrm{d}\Delta\mathcal{H}_{\theta_k}(T)}{\mathrm{d}T}\right|_{T=1} > 0 \]

该定理在理论上证明：当策略陷入熵坍塌时，提高正样本更新的采样温度，必定对策略熵的增量产生系统性的正向纠偏，从而从物理机制上对冲熵衰减。

2. 温度自适应闭环调控：将策略熵平稳钳制在目标探索区间

为实现对探索强度的定量可控，SCOPE-RL 并不采用固定的辅助温度，而是根据前一步策略的平均 token 熵 \(\mathcal{H}(\pi_{\theta_{\text{old}}})\) 与用户预设的探索目标熵 \(\mathcal{H}_0\) 动态计算调节温度：

\[ T = \mathrm{clip}\left(1 + \mathcal{H}_0 - \mathcal{H}(\pi_{\theta_{\text{old}}}), 0.8, 1.2\right) \]

当 \(\mathcal{H}(\pi_{\theta_{\text{old}}}) < \mathcal{H}_0\) 时，\(T > 1\)，辅助分支处于高温采样状态，根据定理产生正向熵补偿；当 \(\mathcal{H}(\pi_{\theta_{\text{old}}}) > \mathcal{H}_0\) 时，\(T < 1\)，辅助分支降温，正样本发挥抑制熵膨胀的作用。温度被安全钳制在 \([0.8, 1.2]\) 内，避免由于极端温度破坏模型语言连贯性。

3. 正样本过滤机制：剔除诱发训练崩塌的不稳定负样本

观察实验证明，包含负样本的辅助正则项不仅无法阻止熵坍塌，甚至在低温下导致严重的奖励崩塌。因此，SCOPE-RL 在辅助更新项中通过指示函数 \(\mathbf{1}[R(q, o_i) = 1]\) 显式滤除所有负样本，仅保留正样本。由于正样本天然符合任务可验证目标，利用其调整熵不仅安全，而且能稳定地向模型提供高置信度的正确推理梯度，实现“探索保熵”与“奖励提升”的双赢。

4. 有意保留的分布偏置设计：通过采样重加权驱动熵演化

辅助样本采样自温度缩放策略 \(\pi_{\theta_{\text{old}}}^T\)，但在构建策略梯度似然比时，分母依然使用原参考策略 \(\pi_{\theta_{\text{old}}}\)：

\[ r_{i,t}(\theta) = \frac{\pi_{\theta}(o_{i,t}\mid q, o_{i,<t})}{\pi_{\theta_{\text{old}}}(o_{i,t}\mid q, o_{i,<t})} \]

消融实验证实，这种采样分布与似然比分布的不匹配是有意为之的关键设计。若通过标准重要性采样（如 IST 或 ISA）对温度偏差进行消除，控熵效应会彻底失效，模型重新跌入熵坍塌。温度实际上改变了哪些正向轨迹更容易被采出；这种经温度加权的偏置正是驱动熵回升的动力源泉。SCOPE-RL 将辅助样本比例 \(\alpha\) 限制在 \(1/64\)（小于总采样的 2%），确保该偏置仅用于局部熵调控，而不干扰主干目标对全局奖励的渐进收敛。

损失函数 / 训练策略¶

SCOPE-RL 的总体训练目标函数为标准 GRPO 目标与温度自适应正样本辅助项的线性组合：

\[ \mathcal{J}_{\text{SCOPE}}(\theta) = \mathcal{J}_{\text{GRPO}}(\theta) + \alpha\,\mathbb{E}_{q\sim P(Q), \{o_i\}_{i=1}^{G'}\sim\pi_{\theta_{\text{old}}}^T}\left[\frac{1}{G'}\sum_{i=1}^{G'}\mathbf{1}[R(q, o_i)=1]\frac{1}{|o_i|}\sum_{t=1}^{|o_i|}\min\Big(r_{i,t}(\theta), \mathrm{clip}(r_{i,t}(\theta), 1-\epsilon, 1+\epsilon)\Big)\right] \]

在具体工程实现中： - 主干批次设置为 \(512\) 个提示，每个提示 rollout 采样 \(8\) 条响应（主干样本总数 \(512 \times 8 = 4096\)）。 - 辅助分支目标仅保留 \(G' = 64\) 条正样本响应，系数 \(\alpha = 64 / 4096 = 1/64\)。 - 根据前一步的通过率动态预估所需采集的辅助提示数量。若采出的正样本超过 64 条则随机截取 64 条；若不足 64 条则全部使用，不产生额外计算重试。 - 剪切范围沿用对称剪切 \(\epsilon = 0.2\)。学习率设为 \(1\times 10^{-6}\)，优化器为 AdamW。

实验关键数据¶

主实验¶

主实验在 DAPO-17K 数据集上微调，横跨 Qwen2.5-Math-7B、Qwen2.5-7B 与 Qwen3-4B 三大基础模型，在 7 个数学推理基准（AIME24、AIME25、AMC23、GSM8K、MATH、Minerva、Olympiad）上进行了全面 Pass@1 评测。

模型与方法	AIME24	AIME25	AMC23	GSM8K	MATH	Minerva	Olympiad	平均分 (Avg)
Qwen2.5-Math-7B (Base)	15.5	7.81	42.1	65.4	59.4	11.0	26.7	32.56
+ GRPO	32.1	11.0	72.4	88.7	80.6	34.6	41.8	51.60
+ Entropy-Reg (\(\lambda=0.01\))	34.2	10.1	73.1	88.7	79.8	35.3	40.8	51.71
+ DAPO (\(\epsilon_{\text{high}}=0.3\))	33.3	13.0	73.9	87.9	79.6	34.6	40.8	51.87
+ CISPO	35.0	13.8	75.1	89.7	80.2	37.1	41.6	53.21
+ KL-cov	32.1	13.5	73.9	89.9	79.8	35.6	41.7	52.36
+ SCOPE-RL (本文)	36.4	18.9	75.3	89.5	82.6	38.2	43.0	54.84 (+3.23)
Qwen2.5-7B (Base)	7.91	5.31	36.2	88.5	64.4	22.0	29.3	36.23
+ GRPO	17.1	7.60	65.8	92.3	75.6	36.8	38.8	47.71
+ DAPO	17.7	9.06	68.0	92.1	76.4	37.1	40.1	48.64
+ SCOPE-RL (本文)	17.5	12.9	69.3	92.9	78.0	37.8	40.3	49.81 (+2.10)
Qwen3-4B (Base)	36.4	22.7	71.9	93.9	84.8	42.3	47.2	57.03
+ GRPO	52.9	41.5	86.1	95.2	92.0	46.7	60.0	67.77
+ DAPO	53.1	41.7	87.3	94.5	92.0	47.1	61.1	68.04
+ SCOPE-RL (本文)	56.5	43.7	89.7	95.0	92.8	48.9	61.5	69.73 (+1.96)

消融实验¶

针对 SCOPE-RL 的核心组件（温度自适应机制、正样本过滤设计）在 Qwen2.5-Math-7B 上的消融结果如下表所示：

配置 / 变体	7 项基准平均分 (Avg)	相比完整模型增减	策略熵演化特征 (Entropy Trend)
SCOPE-RL (完整模型, \(\mathcal{H}_0=0.50\))	54.84	-	稳定平稳控熵于 0.40~0.50 区间
w/o 温度自适应 (固定温度 \(T=1\))	51.31	-3.53	策略熵自 0.080 持续跌至 0.018 (发生严重熵坍塌)
包含正负样本 (positive + negative)	51.56	-3.28	策略熵自 0.114 持续跌至 0.020 (发生严重熵坍塌)
仅负样本 (only negative)	49.71	-5.12	策略熵自 0.492 暴增至 7.235 (发生熵暴增/失控)
仅辅助正则项 (无主干 GRPO)	-	失败	训练崩溃无法收敛 (Training failed)
探索目标 \(\mathcal{H}_0 = 0.25\)	53.00	-1.84	探索偏保守，略逊于最优设置
探索目标 \(\mathcal{H}_0 = 0.75\)	53.45	-1.39	探索偏激进，扰动略大
探索目标 \(\mathcal{H}_0 = 1.00\)	53.13	-1.71	探索过度，精度受损

关键发现¶

探索度与性能的非单调倒 U 型关系：定量熵控制实验（Table 4）表明，模型性能并不是熵越高越好，也不是熵越低越好。当目标熵设为 \(\mathcal{H}_0 = 0.50\) 时，模型取得峰值平均分 54.84；过低（0.25 得分 53.00）会限制探索多样性，过高（0.75 得分 53.45，1.00 得分 53.13）则引入过多发散噪声，证实推理模型后训练存在明确的最优探索区间。
高阶采样 Pass@k 与真实推理能力拓展：在 Qwen2.5-7B 的 AIME24 与 AIME25 极限采样评测中，GRPO 的 Pass@1024 随训练持续衰退（甚至低于 Base 模型的 80.0 与 73.3，降至 73.3 与 63.3）；而 SCOPE-RL 成功将 Pass@1024 提升至 86.7 与 76.7，证明其保留的熵切实转化为发掘新型正确解题轨迹的有效探索，而非单纯无意义输出混乱度。
域外知识与多模型泛化鲁棒性：在 ARC-Challenge、MMLU-Pro 与 SuperGPQA 等知识密集型常识推理任务中，SCOPE-RL 同样取得最优跨域泛化表现；在三随机种子的 Llama-3.1-8B-Instruct 实验中，在完全对齐采样预算的前提下，SCOPE-RL 均稳定展现显著领先优势。

亮点与洞察¶

揭示温度-符号动力学非对称性：发现了高温采样下正负样本对策略熵产生相反演化方向的关键机制，并给出了理论解析证明。这一洞察打破了以往将温度视为纯全局超参的单一思维，为强化学习微观梯度设计提供了全新抓手。
极小代价实现闭环定量控熵：仅动用不足 2% 的额外前向正样本，巧妙利用有意的微小采样分布偏置构造闭环反馈，既规避了最大熵正则的优化振荡与性能塌陷，又省去了构建复杂判别器或重构采样管线的重度开销。
解耦“发散噪音”与“有效探索”：通过 Pass@1024 和全对/混合/全错提示演化细粒度分析，实证证明了适度控熵不仅遏制了过早收敛，还能将全错难题逐步转化为可解难题，真正拓宽了大模型的复杂推理能力边界。

局限与展望¶

理论证明的理想化假设限制：定理分析基于上下文赌博机、表格 Softmax 策略、正交 Logit 梯度及局部 \(T=1\) 一阶近似，未完全覆盖自回归长文本生成的完整马尔可夫决策过程及注意力层间交互。
对初始正样本率的最低依赖：辅助分支高度依赖一定数量的正样本存在（建议初始通过率不低于约 30%）。若遭遇极端困难任务导致冷启动阶段正样本极度稀缺，辅助调控机制可能短期降级。
全局控熵向细粒度状态自适应的跃迁：当前方案采用统一的全局目标熵 \(\mathcal{H}_0\)，未来值得进一步探索依据题目难度自适应分级控熵、或在长思维链不同推理阶段（发散思考 vs. 格式落地）实现阶段特异性动态控熵。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示采样温度与样本正负号在熵动力学中的非对称性，理论推导扎实，方法设计极为简洁巧妙。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种基座模型、7 大数学基准与 3 大跨域知识基准，主实验、Pass@1024、消融分析与理论证明完备。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨清晰，从观察、理论到算法设计环环相扣，图表直观且细节透明。
价值: ⭐⭐⭐⭐⭐ 攻克了开源大模型大步迈向类 R1/o1 长思维链强化学习中的核心痛点，具有极高的工程落地与科研参考价值。