SCOPE-RL: 基于温度自适应正样本的策略熵稳定与定量控制¶
会议: NeurIPS 2026
arXiv: 2510.08141
代码: https://github.com/597358816/SCOPE-RL
领域: 大模型对齐
关键词: 强化学习对齐, 策略熵崩塌, 探索控制, GRPO, 大语言模型推理
一句话总结¶
针对大语言模型强化学习后训练中 GRPO 常见的策略熵崩塌难题，SCOPE-RL 揭示了采样温度与正负样本符号对熵演化的非对称效应，并利用占比不足 2% 的温度自适应正样本构建正则化项，实现稳定、定量的探索控制并在数学与知识推理任务上全面提升 Pass@1 与 Pass@k。
研究背景与动机¶
强化学习（RL）是激发大语言模型复杂推理能力的关键后训练范式，其中组相对策略优化（GRPO）凭借无额外 Critic 模型、计算高效且可扩展性强的优势，成为了当前主流的推理强化学习基座。然而，GRPO 在训练过程中极易陷入策略熵崩塌（entropy collapse）陷阱：模型策略熵随训练步数单调递减，生成分布迅速收敛变窄，探索能力过早丧失。这种过早的策略确定性使得模型往往只是在强化预训练底座已具备的固有模式，而无法在广阔的推理空间中探索并发现真正新颖且稳健的多步推理路径。
为了缓解熵崩塌，现有方案主要分为两类：一类是在奖励或目标中加入基于最大熵原理的显式熵正则项（如 Entropy-Reg、Entropy-Adv），另一类是放宽策略概率比剪切区间的非对称 Clip 策略（如 DAPO、CISPO）。然而这两种途径在实践中通常伴随着严重的训练不稳定性：熵值容易在崩塌与爆炸之间剧烈震荡，且往往伴随显著且不可逆的奖励退化，难以将策略稳定引导并维持在有利于有效探索的适度区间。这导致学术界长期缺乏一种能够稳定控制策略熵、并能定量探究「探索程度与推理性能」权衡关系的可靠机制。
本文从样本级熵动力学的视角重新审视了强化学习后训练中的熵调控机制，发现了此前被忽视的「温度-符号非对称性」现象：高采样温度下正样本能促进熵增长而负样本则加速熵崩塌；低采样温度下这一趋势则完全反转。核心 idea：利用基于前一步策略熵偏离目标程度自适应调温的正样本（占比不足 2%）构建轻量策略梯度正则化项，在不破坏主奖励优化的前提下实现策略熵的稳定定量控制与持续探索。
方法详解¶
整体框架¶
SCOPE-RL 建立在带可验证奖励的强化学习（RLVR）与 GRPO 框架之上。其核心逻辑不是通过粗暴的全局熵奖励或激进的剪切技巧来刺激探索，而是建立一个极小计算开销的温度自适应正样本辅助正则化分支。在每一个训练更新步，主干仍采用标准 GRPO 机制在温度 \(T=1\) 下采集批次样本并计算基于组归一化优势的策略梯度；与此同时，辅助分支监控上一轮策略的实际熵值 \(\mathcal{H}(\pi_{\theta_{\text{old}}})\) 与预设目标熵 \(\mathcal{H}_0\) 的偏差，自适应调整辅助采样温度 \(T\)，仅保留正反馈轨迹（\(R=1\)）构建辅助剪切梯度更新，从而动态补偿主分支的熵漂移。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入查询 q"] --> B["GRPO 主干采样<br/>T=1.0, 批量 G=8"]
A --> C["监控策略熵偏差<br/>计算自适应温度 T"]
C --> D["自适应温度采样<br/>T=clip(1+H0-H_old, 0.8, 1.2)"]
D --> E["正样本过滤机制<br/>仅保留 R(q,o)=1 轨迹"]
B --> F["GRPO 组归一化更新"]
E --> G["轻量正样本正则化更新<br/>权重系数 α=1/64"]
F --> H["联合策略梯度优化<br/>稳定维持目标熵 H0"]
G --> H关键设计¶
1. 温度-符号熵动力学非对称性分析：揭示温度与正负样本的交互本质
过去的研究通常简单认为提高全局采样温度即可增强多样性并阻止熵衰减。然而实验表明，单纯提高全局温度仍无法改变熵单调衰减的趋势。深入分析样本级梯度动态可以发现：在高温采样下，正样本更新对策略熵的导数为正，能够对抗策略熵收敛并注入探索活力；负样本更新则会进一步加剧熵下降。在低温采样下，这一效应虽然反转，但低温负样本会导致严重的奖励崩塌。理论层面，在简化 Bandit 与 Softmax 策略假设下，当单步熵漂移 \(\Delta\mathcal{H}_{\theta_k}(1) < 0\)（即面临熵崩塌危险）时，策略熵改变量关于温度的导数在 \(T=1\) 处严格大于零： $\(\left.\frac{\mathrm{d}\Delta\mathcal{H}_{\theta_k}(T)}{\mathrm{d}T}\right|_{T=1} > 0\)$ 这一性质确立了利用高温正样本抵消策略熵衰退的理论依据。
2. 自适应温度采样：基于熵偏差的闭环负反馈调节
基于上述理论，SCOPE-RL 构建了动态闭环温度调节器。设预设的目标熵水平为 \(\mathcal{H}_0\)，当前步评估所得的旧策略熵为 \(\mathcal{H}(\pi_{\theta_{\text{old}}})\)。当 \(\mathcal{H}(\pi_{\theta_{\text{old}}}) < \mathcal{H}_0\) 时，表明策略面临过早收敛与熵崩塌，调节器提升辅助采样温度至 \(T > 1\)，利用高温样本拉升熵值；反之当熵值过高可能引起策略震荡时，调节器降低温度至 \(T < 1\)，抑制过剩的不确定性。为了防止温度剧烈跳变破坏训练稳定性，辅助温度被安全截断在合理区间： $\(T = \mathrm{clip}\left(1 + \mathcal{H}_0 - \mathcal{H}(\pi_{\theta_{\text{old}}}),\, 0.8,\, 1.2\right)\)$ 通过这一平滑的负反馈回路，策略熵被牢牢约束在目标值 \(\mathcal{H}_0\) 附近，实现了真正定量的探索调控。
3. 极小开销正样本过滤机制：定向剔除不稳定噪声
在辅助分支中，SCOPE-RL 严格过滤掉所有负样本，仅保留可验证奖励满足 \(R(q, o_i) = 1\) 的正确推理轨迹。这样设计的原因在于：负样本无论在高温还是低温下都容易诱发奖励崩溃或进一步摧毁熵平衡，而正确解的高温采样则代表了模型探索出的全新有效解题路径。此外，辅助分支的采样量 \(G'\) 极小（主批次 4096 条样本中辅助正样本目标仅设为 64 条，占比不足 2%），结合前一步的通过率动态估算所需提示词数量，以极微小的算力开销注入纯净的熵调控信号。
损失函数 / 训练策略¶
SCOPE-RL 的总体优化目标由 GRPO 主损失与正样本辅助正则项加权组合构成： $\(\mathcal{J}_{\text{SCOPE}}(\theta) = \mathcal{J}_{\text{GRPO}}(\theta) + \alpha\,\mathbb{E}_{q \sim P(Q),\, \{o_i\}_{i=1}^{G'} \sim \pi_{\theta_{\text{old}}}^T}\left[\frac{1}{G'}\sum_{i=1}^{G'} \mathbf{1}[R(q,o_i)=1]\frac{1}{|o_i|}\sum_{t=1}^{|o_i|} \min\left(r_{i,t}(\theta),\, \mathrm{clip}(r_{i,t}(\theta), 1-\epsilon, 1+\epsilon)\right)\right]\)$ 其中辅助重要性比率定义为 \(r_{i,t}(\theta) = \frac{\pi_\theta(o_{i,t}\mid q, o_{i,<t})}{\pi_{\theta_{\text{old}}}(o_{i,t}\mid q, o_{i,<t})}\)。注意这里有意保留了分子旧策略分布 \(\pi_{\theta_{\text{old}}}\) 与实际采样分布 \(\pi_{\theta_{\text{old}}}^T\) 的温和分布偏移，消融实验证实正是该温度诱导的采样偏差承载了熵调控作用，若采用标准重要性采样纠正该偏差反倒会使控熵效果消失。默认超参数中，剪切阈值 \(\epsilon = 0.2\)，辅助系数 \(\alpha = 64/4096 = 1/64\)，主学习率设为 \(1\times 10^{-6}\)。
实验关键数据¶
主实验¶
在 DAPO-17K 数据集上微调主流开源模型并在 7 个权威数学推理基准上进行 Pass@1 评测，SCOPE-RL 稳定大幅超越 GRPO 以及各类主流抗熵崩塌基线。
| 模型基座与方法 | AIME24 | AIME25 | AMC23 | GSM8K | MATH | Minerva | Olympiad | 平均分 (Avg) |
|---|---|---|---|---|---|---|---|---|
| Qwen2.5-Math-7B | 15.5 | 7.81 | 42.1 | 65.4 | 59.4 | 11.0 | 26.7 | 32.56 |
| + GRPO | 32.1 | 11.0 | 72.4 | 88.7 | 80.6 | 34.6 | 41.8 | 51.60 |
| + Entropy-Reg (\(\lambda=0.01\)) | 34.2 | 10.1 | 73.1 | 88.7 | 79.8 | 35.3 | 40.8 | 51.71 |
| + DAPO | 33.3 | 13.0 | 73.9 | 87.9 | 79.6 | 34.6 | 40.8 | 51.87 |
| + CISPO | 35.0 | 13.8 | 75.1 | 89.7 | 80.2 | 37.1 | 41.6 | 53.21 |
| + KL-cov | 32.1 | 13.5 | 73.9 | 89.9 | 79.8 | 35.6 | 41.7 | 52.36 |
| + SCOPE-RL | 36.4 | 18.9 | 75.3 | 89.5 | 82.6 | 38.2 | 43.0 | 54.84 (+3.23) |
| Qwen2.5-7B + GRPO | 17.1 | 7.60 | 65.8 | 92.3 | 75.6 | 36.8 | 38.8 | 47.71 |
| Qwen2.5-7B + SCOPE-RL | 17.5 | 12.9 | 69.3 | 92.9 | 78.0 | 37.8 | 40.3 | 49.81 (+2.10) |
| Qwen3-4B + GRPO | 52.9 | 41.5 | 86.1 | 95.2 | 92.0 | 46.7 | 60.0 | 67.77 |
| Qwen3-4B + SCOPE-RL | 56.5 | 43.7 | 89.7 | 95.0 | 92.8 | 48.9 | 61.5 | 69.73 (+1.96) |
在多次采样推理能力（Pass@k）评测中，针对极具挑战性的 AIME24 与 AIME25，GRPO 随着训练进行出现了显著的多样本性能退化（甚至落后于 Base 底座），而 SCOPE-RL 则展现出强大的长程探索与潜在解覆盖能力：
| 模型与配置 (Qwen2.5-7B) | AIME24 Pass@512 | AIME24 Pass@1024 | AIME25 Pass@512 | AIME25 Pass@1024 |
|---|---|---|---|---|
| Base 原始底座 | 71.7 | 80.0 | 61.7 | 73.3 |
| + GRPO | 63.3 | 73.3 | 60.0 | 63.3 |
| + SCOPE-RL | 70.0 | 86.7 | 66.7 | 76.7 |
消融与分析实验¶
在 Qwen2.5-Math-7B 上的模块消融与目标熵 \(\mathcal{H}_0\) 敏感性测试揭示了各机制的核心贡献：
| 实验变体 / 设定 | AIME24 | AIME25 | AMC | MATH | 平均分 (Avg) | 熵演化趋势 |
|---|---|---|---|---|---|---|
| 完整 SCOPE-RL (\(\mathcal{H}_0=0.50\)) | 36.4 | 18.9 | 75.3 | 82.6 | 54.84 | 平稳受控于 0.50 附近 |
| 去除自适应温度 (w/o temperature) | 31.4 | 11.8 | 74.5 | 79.0 | 51.31 (-3.53) | 熵崩塌 (跌至 0.018) |
| 混入负样本 (positive + negative) | 32.7 | 11.0 | 73.2 | 79.0 | 51.56 (-3.28) | 熵崩塌 (跌至 0.020) |
| 仅保留负样本 (only negative) | 28.9 | 12.7 | 65.1 | 77.6 | 49.71 (-5.12) | 熵爆炸/不稳定 (飙升至 7.23) |
| 目标熵 \(\mathcal{H}_0 = 0.25\) | 37.9 | 11.3 | 74.4 | 79.8 | 53.00 (-1.84) | 探索不足 |
| 目标熵 \(\mathcal{H}_0 = 0.75\) | 33.6 | 15.1 | 77.0 | 79.2 | 53.45 (-1.39) | 探索过度，精度略降 |
| 目标熵 \(\mathcal{H}_0 = 1.00\) | 33.2 | 15.6 | 74.8 | 79.6 | 53.13 (-1.71) | 策略偏离最优解 |
关键发现¶
- 探索与性能的非单调规律：目标熵与下游任务性能并非单调递增，而是在适中区域（\(\mathcal{H}_0 = 0.50\)）达到峰值。过低的熵抑制创新思路，过高的熵则导致推理逻辑涣散，说明 RLVR 存在明确的最佳探索区间。
- 正样本的不可替代性：辅助更新必须严格限定为正样本。若引入负样本，即使采用自适应温度也会迅速走向熵崩塌或极端不稳定，证实了温度与样本正负性的内在耦合。
- 提示词级解题能力跃迁：提示词级动态分析显示，SCOPE-RL 能够持续将「全错（All-wrong）」状态的难题转化为存在正解，同时保持较高的「混合正确率」状态比例，证明其保留的熵并非无意义的文本随机性，而是切实拓展了模型的推理边界。
亮点与洞察¶
- 敏锐捕捉到强化学习采样中「正负样本关于温度的非对称熵响应」，用极简洁的数学推导化解了长久以来靠启发式调参解决熵衰减的痛点。
- 极高性价比的工程实现，仅需不到 2% 的额外正样本采样量，即可在不增加 Critic 模型、不侵入改写主损失剪切逻辑的前提下优雅稳定整场训练。
- 打破了 RLVR 训练必然牺牲 Pass@k 多样性的「对齐税」宿命，为长思维链（CoT）推理模型的测试时缩放（test-time scaling）与高阶搜索提供了充沛且高质量的多样性保障。
局限与展望¶
- 理论假设的局限：目前的数学证明建立在多臂老虎机（Contextual Bandit）和局部线性近似假设下，尚未拓展到全自回归 Token 级 MDP 序列决策层面。
- 全局标量熵的颗粒度：目前采用全局标量熵作为控制目标，未能区分「关键推理转折步（Aha moment）」与「常规模式展开步」的不同探索需求。未来可探索与步骤级验证器结合的细粒度自适应探索机制。
- 正样本依赖前提：该方法要求初始任务通过率至少维持在 30% 左右以保证能抽样出足够的正样本；在极端冷启动或极高难度任务中可能需要配合预先探索策略使用。
相关工作与启发¶
- vs GRPO [DeepSeekMath / DeepSeek-R1]: GRPO 是高性价比的推理强化学习基线，但存在不可避免的单调熵崩塌。SCOPE-RL 以外挂式轻量正样本正则化分支作为即插即用补丁，完美维持了长期探索能力。
- vs DAPO [Yu et al., 2025]: DAPO 依赖非对称 Clip 区间（如将上界扩大到 0.3）放宽更新幅度来刺激熵增长，但在实践中极易诱发剧烈震荡和训练崩溃。SCOPE-RL 采用闭环温度正样本调控，训练过程更为平稳收敛。
- vs Entropy-Reg [Hou et al., 2025]: 传统显式最大熵正则项强制在所有 Token 上加惩罚，易导致优化目标偏离并引起严重的 Reward 降质。SCOPE-RL 将熵调控局限在微量正解路径上，完全规避了这一负面优化偏置。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次揭示温度与样本符号在熵演化中的非对称机制，视角新颖且解释力强。
- 实验充分度: ⭐⭐⭐⭐⭐ 跨 4 大模型基座、多随机种子、10 余个数学与综合知识基准，并深入分析了 Pass@k 及 Prompt 级演化。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅，图表翔实，理论分析与实验设计形成完美闭环。
- 价值: ⭐⭐⭐⭐⭐ 为解决大模型推理强化学习中的探索退化提供了低开销、即插即用的工业级解决方案。