Stabilizing Knowledge, Promoting Reasoning: Dual-Token Constraints for RLVR¶
会议: NeurIPS 2026
arXiv: 2507.15778
领域: reinforcement_learning
关键词: RLVR, GRPO, 熵感知优化, 双锚点置信区间, 知识保持
一句话总结¶
针对传统强化学习可验证奖励（RLVR）对所有 token 施加均一约束以及现有过滤策略破坏自回归序列依赖的问题，本文提出了熵感知双锚点框架 Archer，在保留端到端联合优化的同时，通过响应级分位数自适应调控近端裁剪区间与全局参考策略 KL 惩罚，实现了推理探索强化与基础事实知识稳定的统一。
研究背景与动机¶
基于可验证奖励的强化学习（RLVR）在以 DeepSeek-R1、OpenAI o 系列为代表的大语言模型推理能力后训练中展现出了关键作用。然而现有主流方法（如 GRPO）在优化过程中普遍采用序列级统一的优化信号与约束边界，无差别地对待序列中的每一个 token。认知与机理研究表明，强化学习并非凭空赋予模型新的底层事实记忆或算术基础，而是通过激励反思、回溯和规划等认知行为，对预训练已有的知识与逻辑连接进行重构与调度。高熵 token 通常坐落于逻辑分支和推理拐点（如关键决策连接词），对推理探索极其敏感；而低熵 token 则主要承载确定性的事实知识召回或语法结构后缀。
为了利用这种 token 异质性，近期有研究尝试通过梯度掩码隔离低熵 token、或是将不同组别的 token 进行异步更新。这种“物理隔离”策略破坏了自回归语言模型天然的序列依赖结构。自回归生成中后续 token 的表征与决策完全依附于先前上下文，强行切断低熵 token 的梯度传播或异步优化，会导致严重的信用分配失效，并引发训练动态不稳、重复率骤增乃至模型崩溃。
面对这一矛盾，优化的关键在于如何在不割裂自回归依赖的前提下自适应分配策略移动预算。模型应当在单步策略迭代内放宽推理关键点的探索边界并收紧事实知识的扰动，同时在全局生命周期中将事实知识紧锁在基座分布附近，而赋予推理逻辑更大的向奖励对齐的漂移自由度。核心 idea：保留全序列端到端联合优化，利用无监督的响应级熵分位数零样本划分 token 角色，并构建局部近端裁剪与全局参考 KL 正则协同的“双锚点置信区间”约束机制。
方法详解¶
整体框架¶
Archer 针对 RLVR 训练管线引入了细粒度置信区间几何重构。对于输入的批量 prompt，策略模型通过自回归采样生成一组候选输出，判别器计算验证奖励与组内相对优势值。在计算策略梯度损失时，Archer 首先在单条响应内部统计 token 熵分布并提取动态分位数门控，进而将每个 token 划分为推理敏感型（高熵）或知识稳定型（低熵）；随后分别赋予差异化的局部裁剪边界和全局 KL 散度约束系数，实现全序列联合更新下的差异化优化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入 Prompt 批量采样生成"] --> B["响应级熵分位数门控<br/>计算局部熵阈值与角色划分"]
B --> C["双锚点置信区间分配<br/>局部裁剪区间与全局KL系数自适应加权"]
C --> D["端到端联合策略优化<br/>差异化 GRPO 目标函数反向传播"]
D --> E["策略模型更新与推理能力涌现"]关键设计¶
1. 响应级熵分位数门控：解决批次级统计失真与长尾误分类 先前分析工作往往依赖全批次级别的固定熵阈值或协方差统计来判定 token 类型。然而不同 prompt 本身的问题难度、先验不确定度跨度极大，甚至同一 prompt 采样的不同 rollout 在生成长度与推理链分支上的熵分布也截然不同。如果采用全局统一的阈值，整体低熵的响应可能仅有 4.34% 的 token 被识别为高熵，导致关键推理拐点被错误压制；而高熵响应则会出现高熵 token 比例异常虚高的失真。Archer 采用无监督的响应级分位数统计，设响应 \(o^i\) 中位置 \(t\) 的 token 熵为 \(e_t^i\)，在单条响应内部独立计算分位数阈值 \(\tau_{\rho}^i\)： $\(\tau_{\rho}^i = \operatorname{Quantile}\left(\{e_t^i\}_{t=1}^{|o^i|}, \rho\right)\)$ 通过引入门控变量 \(\omega_t^i = \mathbb{I}(e_t^i \ge \tau_{\rho}^i) \in \{0, 1\}\)，模型以零样本方式精准隔离出局部处于前 \(1-\rho\) 比例的决策拐点，消除了 prompt 间固有熵差异对 token 分类的干扰。
2. 局部近端锚点：差异化裁剪区间平衡探索度与崩溃风险 标准 PPO/GRPO 依赖静态对称的截断参数 \(\varepsilon\)（如 0.2）限制新旧策略比率 \(r_t^i(\theta) = \frac{\pi_\theta(o_t^i \mid q, o_{<t}^i)}{\pi_{\theta_{\text{old}}}(o_t^i \mid q, o_{<t}^i)}\) 的单步变化幅度。如果直接对低熵 token 进行掩码跳过更新，自回归上下文信用链将被切断；而如果施加与高熵 token 相同的大裁剪区间，知识性 token 极易因噪声奖励产生漂移导致退化。Archer 设计了基于 token 身份的近端裁剪自适应函数： $\(\varepsilon(e_t^i) = \omega_t^i \varepsilon^{\text{r}} + (1 - \omega_t^i) \varepsilon^{\text{k}}\)$ 其中设定更宽松的推理裁剪边界 \(\varepsilon^{\text{r}} = 0.5\) 与保守的知识裁剪边界 \(\varepsilon^{\text{k}} = 0.2\)。当优势函数 \(\hat{A}_t^i > 0\) 时，推理型 token 可以获得额外的正向强化更新区；当 \(\hat{A}_t^i < 0\) 时，错误的推理分支能承受更激进的惩罚收缩，同时牢牢将低熵事实知识的更新限制在狭窄安全带内。
3. 全局参考策略锚点：自适应 KL 正则防范长程策略坍塌 近期部分 RLVR 研究倾向于彻底剔除损失函数中的 KL 惩罚项 \(\mathbb{D}_{\text{KL}}(\pi_\theta \| \pi_{\text{ref}})\)。然而实验发现，在缺少充分精调的基座或长链强化学习中，全盘放弃 KL 约束会导致模型在训练中后期熵值雪崩、n-gram 重复率剧增并出现策略崩溃；而若施加全局均一的刚性 KL 约束，又会过度束缚推理 token 探索高奖励推理轨迹的能力。Archer 将 KL 约束解耦为 token 级动态惩罚： $\(\beta(e_t^i) = \omega_t^i \beta^{\text{r}} + (1 - \omega_t^i) \beta^{\text{k}}\)$ 通过设置 \(\beta^{\text{r}} = 0.0\) 彻底释放高熵推理位置向高奖励策略探索的自由度，同时配置 \(\beta^{\text{k}} = 0.001\) 形成对知识性 token 偏离预训练基础分布的长程牵引锚点，兼顾了推理潜能激发与语言模型生成稳定性。
损失函数 / 训练策略¶
结合局部近端锚点与全局参考策略锚点，Archer 的最终联合优化目标函数形式如下： $\(\mathcal{J}_{\text{Archer}}(\theta) = \mathbb{E}_{(q,a)\sim\mathcal{D}, \{o^i\}_{i=1}^G \sim \pi_{\theta_{\text{old}}}(\cdot\mid q)} \left[ \frac{1}{\sum_{i=1}^G |o^i|} \sum_{i=1}^G \sum_{t=1}^{|o^i|} \left( \min\left(r_t^i(\theta)\hat{A}_t^i, \operatorname{clip}\left(r_t^i(\theta), 1-\varepsilon(e_t^i), 1+\varepsilon(e_t^i)\right)\hat{A}_t^i\right) - \beta(e_t^i)\mathbb{D}_{\text{KL}}(\pi_\theta \| \pi_{\text{ref}}) \right) \right]\)$ 在具体训练策略上，算法在 verl 框架下运行于 2 个节点共 16 张 NVIDIA H800 (80GB) GPU 上。对每个 prompt 生成 \(G=16\) 条 rollout，学习率设为 \(1\times 10^{-6}\)，温度设为 1.0。分位数阈值取 \(\rho = 0.8\)，裁剪参数分别取 \(\varepsilon^{\text{r}}=0.5\) 与 \(\varepsilon^{\text{k}}=0.2\)，KL 正则项参数分别设为 \(\beta^{\text{r}}=0.0\) 与 \(\beta^{\text{k}}=0.001\)。
实验关键数据¶
主实验¶
评估涵盖 6 个数学基准（AIME24、AIME25、AMC23、MATH-500、Minerva Math、OlympiadBench）以及 2 个代码推理基准（LiveCodeBench v5 与 v6）。基座模型涵盖 DeepSeek-R1-Distill-Qwen-1.5B 以及 Qwen3 系列（4B、8B、30B-A3B 非思考模式）。
| 基准 / 模型规模 | 指标 | 基座模型 | GRPO 基线 | SOTA 对比 (DeepScaleR / Nemotron) | Archer (本文) | 相对基线增益 |
|---|---|---|---|---|---|---|
| 数学评测 Avg. (1.5B) | avg@K | 46.8 | 53.5 | 53.5 (DeepScaleR) / 58.7 (Nemotron) | 59.1 | +5.6 vs GRPO |
| - AIME24 (1.5B) | avg@64 / pass@64 | 30.6 / 80.0 | 42.1 / 80.0 | 42.0 / 83.3 / 48.0 / 76.7 | 48.7 / 83.3 | +6.6 / +3.3 |
| - AIME25 (1.5B) | avg@64 / pass@64 | 23.5 / 63.3 | 28.6 / 56.7 | 29.0 / 63.3 / 33.1 / 60.0 | 33.8 / 70.0 | +5.2 / +13.3 |
| - MATH-500 (1.5B) | avg@4 / pass@4 | 83.6 / 92.4 | 87.6 / 94.6 | 87.7 / 93.6 / 90.6 / 93.6 | 90.8 / 94.4 | +3.2 / -0.2 |
| 数学评测 Avg. (4B) | avg@K | 48.3 | 61.6 | 65.0 (80/20) / 64.8 (AR-Lopti) | 67.1 | +5.5 vs GRPO |
| 数学评测 Avg. (8B) | avg@K | 49.7 | 63.3 | 65.3 (80/20) / 64.8 (AR-Lopti) | 67.9 | +4.6 vs GRPO |
| 数学评测 Avg. (30B-A3B) | avg@K | 53.3 | 68.8 | — | 74.6 | +5.8 vs GRPO |
| 代码评测 Avg. (1.5B) | avg@K | 17.0 | 26.8 | 23.0 (DeepCoder) / 27.8 (Nemotron) | 29.8 | +3.0 vs GRPO |
| - LCB v5 (1.5B) | avg@8 / pass@8 | 16.7 / 29.0 | 26.0 / 40.5 | 23.3 / 39.1 / 26.1 / 35.5 | 29.4 / 43.7 | +3.4 / +3.2 |
| - LCB v6 (1.5B) | avg@16 / pass@16 | 17.2 / 34.4 | 27.6 / 43.5 | 22.6 / 42.0 / 29.5 / 42.8 | 30.2 / 45.8 | +2.6 / +2.3 |
| 代码评测 Avg. (4B) | avg@K | 23.9 | 38.7 | — | 39.8 | +1.1 vs GRPO |
在训练成本方面，Archer-Math-1.5B 仅经单阶段训练 520 步（1,900 H800 GPU Hours），相比 Nemotron-1.5B（8 阶段、2,500 步、16,000 H100 GPU Hours）和 DeepScaleR-1.5B（3 阶段、1,750 步、3,800 A100 GPU Hours），算力开销大幅削减且性能更优。
消融实验¶
消融实验细致检验了分位数阈值 \(\rho\)、低熵 token 的 KL 正则惩罚权重 \(\beta^{\text{k}}\) 以及两类 token 的裁剪区间 \((\varepsilon^{\text{k}}, \varepsilon^{\text{r}})\)。
| 配置维度 | 变量设置 | 评测基准与指标 | 表现说明 |
|---|---|---|---|
| 熵分位数 \(\rho\) 消融 | \(\rho = 0.7\) | 数学平均 avg@K: 66.9 | 放宽过多 token 为高熵，轻微牺牲精度 |
| \(\rho = 0.8\) (本文默认) | 数学平均 avg@K: 67.1 | AIME24 达 51.4，AIME25 达 43.1，综合最优 | |
| \(\rho = 0.9\) | 数学平均 avg@K: 65.8 | 过于保守，漏检关键推理拐点，性能明显掉点 (-1.3%) | |
| 低熵 KL 权重 \(\beta^{\text{k}}\) | \(\beta^{\text{k}} = 0.0\) | LiveCodeBench v5 (avg@8): 26.6 | 完全去除 KL 致使训练后期熵崩溃与高重复率 (-2.8%) |
| \(\beta^{\text{k}} = 0.001\) (本文默认) | LiveCodeBench v5 (avg@8): 29.4 | 稳定预训练知识锚定，兼顾推理演化 | |
| \(\beta^{\text{k}} = 0.005\) | LiveCodeBench v5 (avg@8): 26.2 | 强约束阻碍策略正常适配，收敛过慢 (-3.2%) | |
| 低熵裁剪 \(\varepsilon^{\text{k}}\) (\(\varepsilon^{\text{r}}=0.4\)) | \(\varepsilon^{\text{k}} = 0.1\) | LiveCodeBench v5 (avg@8): 24.6 | 知识更新受阻过甚，性能受到严重抑制 |
| \(\varepsilon^{\text{k}} = 0.2\) | LiveCodeBench v5 (avg@8): 28.7 | 平衡点，探索与知识保留适度 | |
| \(\varepsilon^{\text{k}} = 0.3\) | LiveCodeBench v5 (avg@8): 26.0 | 步长过大导致低熵知识过拟合与退化 | |
| 高熵裁剪 \(\varepsilon^{\text{r}}\) (\(\varepsilon^{\text{k}}=0.2\)) | \(\varepsilon^{\text{r}} = 0.2\) (对齐标准GRPO) | LiveCodeBench v5 (avg@8): 27.7 | 缺乏对关键推理分支的充分探索 |
| \(\varepsilon^{\text{r}} = 0.5\) (本文默认) | LiveCodeBench v5 (avg@8): 29.4 | 激励逻辑拐点更广阔的探索空间 | |
| \(\varepsilon^{\text{r}} = 0.6\) | LiveCodeBench v5 (avg@8): 26.0 | 过大裁剪区间引入不稳定梯度震荡 |
关键发现¶
- 响应内归一化至关重要：全局批次统计在面对高方差 prompt 时产生严重偏置，而响应级分位数确保了每条推理链均有恰好 20% 的推理拐点获得探索强化。
- 低熵 token 的敏感性远高于高熵 token：实验表明调整低熵 token 的裁剪区间与 KL 权重会剧烈影响训练稳定性与重复率，而高熵 token 的裁剪区间在训练早期影响较弱，主要在训练中后期提供增量探索收益。
- 数学与代码 RL 存在跨域互相增强：数学 RL 与代码 RL 模型在对方领域（如 AIME 与 LiveCodeBench）均展现出强大的域外泛化。进一步分析发现，性能提升主要来自于结构化逻辑组织力提升、边界条件敏感度增强以及上下文逻辑一致性优化，而非获取了全新外源事实知识。
亮点与洞察¶
- 守正出奇的双锚点协同：巧妙地将置信区间划分为“单步探索步长（近端裁剪）”和“长程漂移边界（参考 KL）”两个物理维度，并在两个维度上同步实施高低熵差异化约束，既激活了模型探索活力又筑牢了稳定性底线。
- 证伪“彻底移除 KL”的激进路线：实验清晰揭示了低熵知识 token 保留 KL 锚点的必要性，反驳了完全取消 KL 惩罚的泛化性结论，为基础模型 RLVR 的稳定性控制提供了关键证据。
- 算力开销的大幅收敛：通过精细化的 token 级控制，Archer 在单阶段 520 步内便超越了经过 8 阶段复杂多轮训练的 Nemotron-1.5B，展现了算法级优化对算力利用效率的倍增作用。
局限与展望¶
- 二元离散门控的启发式局限：当前采用固定分位数（\(\rho=0.8\)）进行硬二元划分，未能刻画 token 功能连续平滑的过渡谱系，未来可探索基于信息论的连续自适应约束函数。
- 超参数调优的经验依赖：裁剪区间与 KL 惩罚项的组合仍包含多个离散超参数，跨不同架构与模态时可能需要微调。
- 更细粒度语义角色的挖掘：熵仅作为 token 角色的一种代理指标，结合注意力敏感度或梯度协方差或能更精细地刻画规划、回溯与反思行为。
相关工作与启发¶
- vs GRPO (DeepSeekMath)：GRPO 采用序列级均一优势赋值与固定截断，Archer 引入响应级动态分位数将优化边界在 token 级别解耦，在相同训练步数下取得显著更高的准确率与通过率上限。
- vs 80/20 Rule & AR-Lopti：80/20 策略直接掩码低熵梯度，AR-Lopti 采用异步分组更新；二者割裂了语言模型的自回归序列依赖。Archer 坚持端到端同步联合优化，通过动态调节约束强度兼顾了序列完整性与角色异质性。
- vs Nemotron-1.5B & DeepScaleR：依赖多阶段上下文扩增或复杂课程表调度，Archer 凭借单阶段纯算法机制改进，以仅 12%~50% 的 GPU 耗时刷新了同参数量级开源推理 SOTA。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 突破传统的掩码/异步思路，提出联合自回归优化下的双锚点置信区间约束。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种模型规模、8 个主流数理与代码基准，并包含深度的训练动态与超参消融。
- 写作质量: ⭐⭐⭐⭐⭐ 动机严谨清晰，图表丰富自洽，深入剖析了强化学习激励推理的内在机理。
- 价值: ⭐⭐⭐⭐⭐ 兼具强悍的经验性能与优雅的工程实用性，对后续大模型推理 RL 算法设计具有极强指导意义。