Selective Off-Policy Reference Tuning with Plan Guidance¶
会议: NeurIPS 2026
arXiv: 2605.11505
OpenReview: https://openreview.net/forum?id=p7jgfBt3yz
领域: 其他
关键词: 强化学习, 组相对策略优化, 可验证奖励, 推理计划, 离策略修复
一句话总结¶
针对基于可验证奖励的组相对策略优化（GRPO）在难题全错采样时优势塌陷与梯度消失的缺陷，SORT 在不改变在线采样分布的前提下，通过提取参考答案的推理计划并计算计划条件化显著性，以几何平均权重对关键推理决策 token 实施选择性离策略修复。
研究背景与动机¶
基于可验证奖励的强化学习（RLVR）在数学推导与代码生成领域展现出巨大的推理进化潜力，以 DeepSeekMath 和 DeepSeek-R1 为代表的组相对策略优化（GRPO）通过在同道 Prompt 下采样多条响应并计算组内相对优势，彻底摆脱了复杂的价值模型训练。然而，这种依赖同组解比较的机制在探索前沿存在固有的结构性盲区：当面对高难度题目时，基准策略受限于自身能力瓶颈，采样出的所有候选轨迹往往全部答错。在所有奖励均为零的极端场景下，组内方差与归一化优势同时坍缩为零，导致策略梯度彻底消失，使模型在最需要知识拓展的能力边界处陷入停滞。
面对这类全错失败样本，直接采用监督微调（SFT）进行离策略经验回放看似能够提供强指导，但全轨迹交叉熵损失会将注意力均等地分配给所有词元，使具有决定性的推理分支决策与平庸的常规代数演练、排版格式和叙述套话混杂在一起；这不仅容易导致策略熵快速塌陷与表述僵化，还会剥夺模型自主探索的灵活性。近期诸如 LUFFY、ReLIFT 以及 Scaf-GRPO 等引导式修复方法，要么引入更强外部教师的离策略轨迹，要么在在线采样阶段强制插入分步脚手架或提示，其代价是改变了训练生成分布，并在较弱骨干模型上诱发显著的冗长膨胀（length explosion）却无法带来准确率的实质跃迁。
理想的困难样本修复机制应当在完全保留原始 GRPO 采样自由度的同时，仅利用题目自带的正确参考答案提炼结构性信用分配，精确识别出究竟是哪些关键决策阻碍了正确轨迹的生成。核心 idea：将全错失败样本推迟至辅助缓冲区，利用当前模型自身从参考答案中抽取结构化推理计划，通过对比基准上下文与计划注入上下文下的词元预测概率差提取推理显著性，并以几何平均动态权重对参考答案中承载核心逻辑跃迁的词元实施选择性离策略修复更新。
方法详解¶
整体框架¶
SORT 的完整执行流由主线 GRPO 采样训练与离线分支辅助修复两套解耦过程构成。在主线训练中，模型对批量 Prompt 进行无任何脚手架干扰的原生采样，并根据可验证规则反馈计算组优势完成策略更新；凡是组内轨迹全错的样本则被截流并推迟入列至辅助修复缓冲区。当缓冲区累积至设定批次阈值时，SORT 触发一次基于当前参数状态的选择性参考调优更新：模型首先基于参考答案生成紧凑的推理计划，随后分别在原始 Prompt 与计划增强 Prompt 下评估参考答案各位置的预测对数似然，由此衡量词元级显著性并以几何平均权重计算辅助修复梯度。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入题目批次 q"] --> B["原生无提示采样与可验证奖励评估"]
B -->|存在正确轨迹| C["标准 GRPO 组优势更新"]
B -->|全部轨迹错误| D["延迟缓冲与同模型计划提取<br/>入列失败样本并提炼解题计划 s"]
D --> E["计划条件化的双路显著性评分<br/>对比 base 与 plan 条件计算互信息"]
E --> F["几何平均动态参考加权<br/>抑制平凡 token 并放大决策跃迁梯度"]
F --> G["辅助策略修复参数更新"]关键设计¶
1. 延迟缓冲与同模型计划提取：解耦在线探索并在失败边缘提炼推理骨架 在常规在线 RL 循环中实时混入异构的 SFT 损失容易引发采样分布扰动与梯度尺度失衡。SORT 针对全错样本索引集 \(\mathcal{I}_{\text{aw}}^{(k)} = \{i : r_i^{(n)} = 0, \forall n \in [N]\}\) 建立独立队列 \(\mathcal{B}_{\text{aw}}\) 进行延迟修复（Deferred Repair），当累积样本数达到 \(B_{\text{aux}}\) 时抽取微批次 \(\mathcal{M}_k\)。针对选取的元组 \((q_i, y_i^\star)\)，SORT 并不依赖昂贵的专有大模型作为外部教师，而是调用当前正在优化的策略本身执行自反思式的计划提炼： $\(\hat{s}_i = \operatorname{Gen}_\theta(\textsc{PlanExtract}(y_i^\star))\)$ 该提取 Prompt 引导模型抽取出解题过程中涉及的变量代换、分情况讨论、引理引用以及关键计算自检等核心推导骨干，滤除冗余的自然语言修饰。所提炼出的计划 \(\hat{s}_i\) 绝不作为下游推理的生成目标，也永远不出现在测试期，其唯一使命是在辅助评估中充当单模型内部的诊断性上下文。
2. 计划条件化的双路显著性评分：用条件互信息分离决策关键步与常规代数演练 为了克服完整轨迹微调将常规演练与核心逻辑一视同仁的缺陷，SORT 在参考答案轨迹 \(y_i^\star = (y_{i,1}^\star, \dots, y_{i,T_i}^\star)\) 上执行两次相同模型的前向评分。第一条路径仅以原始问题与历史前缀为条件，评估当前基准策略在该 token 处的原生先验概率： $\(p_{i,t}^{\text{base}} = \pi_\theta(y_{i,t}^\star \mid \textsc{BasePrompt}(q_i), y_{i,<t}^\star)\)$ 第二条路径则将提取出的计划 \(\hat{s}_i\) 作为提示前缀输入同一模型，计算计划条件下的后验概率： $\(p_{i,t}^{\text{plan}} = \pi_\theta(y_{i,t}^\star \mid \textsc{TeacherPrompt}(q_i, \hat{s}_i), y_{i,<t}^\star)\)$ 根据二者的对数差值定义计划显著性（Plan Salience）： $\(\hat{\sigma}_{i,t} := \log p_{i,t}^{\text{plan}} - \log p_{i,t}^{\text{base}} = \operatorname{PMI}_\theta(y_{i,t}^\star; \hat{s}_i \mid q_i, y_{i,<t}^\star)\)$ 该指标在本质上衡量了计划对特定词元的条件逐点互信息。对于常规公式化约、代数加减以及标点排版，模型仅凭局部前缀即可精准预测，此时 \(p^{\text{plan}} \approx p^{\text{base}}\) 且 \(\hat{\sigma} \approx 0\)；而当遇到约束条件建立、关键变量设定或分类排除等关键推理节点时，缺少全局计划的基准模型往往概率极低，注入计划后其似然显著跃升，形成高正向显著性值 \(\hat{\sigma}_{i,t} \gg 0\)。
3. 几何平均动态参考加权：融合策略支撑度与计划选择性构建鲁棒修复目标 直接按照指数倍率 \(\exp(\beta \hat{\sigma}_{i,t})\) 放大梯度虽能强化关键步骤，但对于策略完全未覆盖的离群词元容易诱发梯度爆炸与分布偏移。SORT 借鉴动态微调（DFT）在概率空间中的软截断思想，构建了平滑的加权更新目标。在通用参数化形式 \(\omega_{\beta,i,t} = \operatorname{sg}((p_{i,t}^{\text{base}})^{1-\beta} (p_{i,t}^{\text{plan}})^\beta)\) 中选取中间平衡点 \(\beta = 1/2\)，形成几何平均加权项： $\(\omega_{i,t} = \operatorname{sg}\left(\sqrt{p_{i,t}^{\text{base}} \, p_{i,t}^{\text{plan}}}\right)\)$ 对应的批次辅助修复损失函数形式为： $\(\mathcal{L}_{\text{SORT}}(\mathcal{M}_k) = -\frac{1}{|\mathcal{S}(\mathcal{M}_k)|} \sum_{(i,t) \in \mathcal{S}(\mathcal{M}_k)} \omega_{i,t} \log \pi_\theta(y_{i,t}^\star \mid \textsc{BasePrompt}(q_i), y_{i,<t}^\star)\)$ 其中 \(\operatorname{sg}(\cdot)\) 为梯度截断操作，梯度仅穿透基准路径反向传播。理论分析证明，在解码器隐状态对于计划扰动的 Lipschitz 连续性假设下，SORT 实际权重相对真实理想计划（Ground-Truth Plan）加权误差满足 \(|\omega_{i,t} - \omega_{i,t}^\star| \le \frac{L\gamma}{2}\sqrt{p_{i,t}^{\text{base}}}\)。因子 \(\sqrt{p_{i,t}^{\text{base}}}\) 使得模型在未探索或置信度极低的盲区自动衰减更新幅度，防止因提取计划的细微瑕疵导致破坏性更新，实现了计划引导的选择性与策略覆盖支撑度的有机统一。
损失函数 / 训练策略¶
训练系统采用双循环交替执行模式。主更新由常规 GRPO 损失函数驱动，采用非对称优势截断 \((\epsilon_{\text{low}}, \epsilon_{\text{high}}) = (0.2, 0.28)\)，学习率设为 \(1 \times 10^{-6}\)，不引入 KL 惩罚。辅助缓冲区根据不同底座模型的初始全错率预设为 2 的幂次方：在全错样本密集的 Llama-3.2-3B-Instruct 上设为 64，在 Qwen2.5-7B-Instruct 上设为 16，在能力较强的 Qwen3-4B-Instruct 上设为 8，以保证缓冲区能够快速填满并在每个训练迭代中维持平稳解耦的辅助更新频率。
实验关键数据¶
主实验¶
实验基于开源 OpenR1-Math-220k 的 15k 精选子集开展，并在 8 块 H100 GPU 上覆盖了三个参数量级各异的指令微调底座模型，全面评测 6 项分布内数学基准（AIME24/25、AMC23、MATH-500、Minerva、OlympiadBench）与 2 项分布外综合推理基准（GPQA-diamond、MMLU-Pro），评测指标均为 avg@16 准确率。
| 骨干模型与方法 | AIME24/25 | AMC23 | MATH-500 | Minerva | Olympiad | 分布内均值 | 分布内增益 | GPQA | MMLU-Pro | 分布外均值 | 分布外增益 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Llama-3.2-3B-Instruct | 6.5 / 0.6 | 22.8 | 44.7 | 17.8 | 14.2 | 17.8 | +0.0 | 17.9 | 27.0 | 22.5 | +0.0 |
| + SFT (R1 traces) | 0.4 / 0.6 | 9.5 | 26.9 | 5.1 | 6.5 | 8.2 | -9.6 | 11.6 | 18.8 | 15.2 | -7.3 |
| + GRPO (Vanilla) | 6.7 / 0.8 | 29.5 | 52.1 | 20.5 | 21.8 | 21.9 | +4.1 | 26.3 | 39.8 | 33.1 | +10.6 |
| + LUFFY | 4.4 / 0.4 | 18.6 | 38.9 | 14.3 | 11.9 | 14.7 | -3.1 | 16.0 | 26.7 | 21.4 | -1.1 |
| + ReLIFT | 0.4 / 0.2 | 17.8 | 36.8 | 10.4 | 10.0 | 12.6 | -5.2 | 11.7 | 26.5 | 19.1 | -3.4 |
| + Scaf-GRPO | 7.7 / 2.3 | 28.8 | 51.7 | 19.4 | 19.5 | 21.5 | +3.7 | 24.1 | 38.0 | 31.0 | +8.5 |
| + SORT (本文) | 8.8 / 1.7 | 32.7 | 56.0 | 21.6 | 22.4 | 23.9 | +6.1 | 26.4 | 41.2 | 33.8 | +11.3 |
| Qwen2.5-7B-Instruct | 13.8 / 6.7 | 53.4 | 75.7 | 38.1 | 39.2 | 37.8 | +0.0 | 37.1 | 56.4 | 46.7 | +0.0 |
| + SFT (R1 traces) | 3.5 / 7.1 | 30.9 | 56.2 | 20.0 | 21.7 | 23.2 | -14.6 | 9.5 | 35.6 | 22.5 | -24.2 |
| + GRPO (Vanilla) | 15.0 / 13.5 | 55.5 | 79.2 | 39.1 | 44.5 | 41.1 | +3.3 | 37.2 | 57.6 | 47.4 | +0.7 |
| + LUFFY | 17.1 / 13.5 | 55.2 | 81.3 | 39.0 | 44.2 | 41.7 | +3.9 | 38.1 | 59.1 | 48.6 | +1.9 |
| + ReLIFT | 15.6 / 15.8 | 55.8 | 80.5 | 38.8 | 44.1 | 41.8 | +4.0 | 32.4 | 57.3 | 44.9 | -1.8 |
| + Scaf-GRPO | 14.6 / 12.7 | 58.8 | 78.0 | 39.8 | 42.0 | 41.0 | +2.2 | 36.6 | 58.4 | 47.5 | +0.8 |
| + SORT (本文) | 17.1 / 15.4 | 60.5 | 81.0 | 39.5 | 47.3 | 43.5 | +5.7 | 39.6 | 60.5 | 50.1 | +3.4 |
| Qwen3-4B-Instruct | 52.1 / 43.1 | 92.2 | 93.6 | 46.1 | 67.7 | 65.8 | +0.0 | 57.6 | 70.9 | 64.3 | +0.0 |
| + GRPO (Vanilla) | 55.8 / 46.5 | 95.0 | 95.6 | 49.9 | 70.3 | 68.8 | +3.0 | 57.0 | 72.0 | 64.5 | +0.2 |
| + LUFFY | 50.8 / 38.1 | 88.8 | 93.3 | 48.1 | 59.4 | 63.1 | -2.7 | 56.0 | 46.6 | 51.3 | -13.0 |
| + ReLIFT | 59.0 / 48.3 | 93.3 | 95.3 | 48.1 | 69.1 | 68.9 | +3.1 | 56.8 | 71.8 | 64.3 | +0.0 |
| + Scaf-GRPO | 58.3 / 48.3 | 94.2 | 95.4 | 48.8 | 69.8 | 69.1 | +3.3 | 53.6 | 72.1 | 62.9 | -1.4 |
| + SORT (本文) | 62.5 / 47.5 | 93.4 | 95.8 | 48.3 | 71.5 | 69.8 | +4.0 | 57.6 | 72.1 | 64.9 | +0.6 |
消融实验¶
在 Qwen2.5-7B-Instruct 上对动态权重插值系数 \(\beta\) 以及辅助更新方案进行细致消融：
| 配置 / 变体 | AIME24/25 | AMC23 | MATH-500 | Minerva | Olympiad | 分布内均值 (Δ) | GPQA | MMLU-Pro | 分布外均值 (Δ) | 说明 |
|---|---|---|---|---|---|---|---|---|---|---|
| 基准模型 Base | 13.8 / 6.7 | 53.4 | 75.7 | 38.1 | 39.2 | 37.8 (+0.0) | 37.1 | 56.4 | 46.7 (+0.0) | 未微调 Qwen2.5-7B |
| \(\beta = 0\) (纯学生 DFT) | 17.7 / 12.9 | 55.0 | 79.6 | 39.5 | 44.8 | 41.6 (+3.8) | 37.4 | 59.2 | 48.3 (+1.6) | 仅依赖基准支持度，缺乏计划选择性 |
| \(\beta = 1\) (纯教师后验) | 17.3 / 13.8 | 56.7 | 80.3 | 40.1 | 46.1 | 42.4 (+4.6) | 36.1 | 58.9 | 47.5 (+0.8) | 仅依赖计划后验，缺乏学生分布约束 |
| \(\beta = 1/2\) (SORT 几何平均) | 17.1 / 15.4 | 60.5 | 81.0 | 39.5 | 47.3 | 43.5 (+5.7) | 39.6 | 60.5 | 50.1 (+3.4) | 双重约束并存，泛化最优 |
| 仅全量 SFT 辅助更新 | 16.7 / 13.3 | 56.9 | 81.5 | 39.2 | 45.6 | 42.2 (+4.4) | 34.6 | 56.4 | 45.5 (-1.2) | 均匀模仿退化，分布外掉点低于 Base |
| SFT + 计划文本拼接触发 | 16.4 / 15.2 | 56.7 | 81.0 | 37.8 | 47.5 | 42.4 (+4.6) | 34.3 | 59.0 | 46.7 (+0.0) | 简单拼接计划文本未形成词元级选择性 |
关键发现¶
- 弱模型获益最为显著：在初始全错率最高的 Llama-3.2-3B 上，SORT 相对原始 GRPO 取得了分布内 +2.0 与分布外 +0.7 的稳固增益，较 Base 模型更大幅跃迁 +6.1 与 +11.3；而全量 SFT 和 LUFFY 在该弱模型上则因强行模仿导致性能雪崩式下跌（分别负增 -9.6 与 -3.1），证实选择性修复对于保护探索初期的脆弱策略至关重要。
- 避免输出长度病态膨胀：训练动态监控表明，LUFFY 与 ReLIFT 在训练初期响应长度剧增近一倍且伴随显著的熵塌陷，而 SORT 生成长度保持紧凑平稳，验证了其通过提升局部决策信息密度而非套话冗长来获取高奖励。
- 几何平均平衡点的必然性：\(\beta = 1/2\) 显著优于两个端点，\(\beta=0\) 遗失了关于解题计划的结构性引导，而 \(\beta=1\) 因脱离当前策略支持度而导致分布外指标显著退化（47.5 vs 50.1）。
亮点与洞察¶
- 零额外推理与采样开销：完全摒弃了在在线采样时注入脚手架或依赖更强外部模型的范式，仅在离线辅助阶段调用当前同一模型打分，测试期零额外计算与 Prompt 污染。
- 条件互信息定位逻辑跃迁：将大模型对上下文敏感的先验差异巧用作逻辑探针，自然分离出解题思维链中的“决策步”（分情况讨论、公式设元）与“机械步”（四则运算、代数移项）。
- 稳健的理论收敛边界：利用凸组合与 Lipschitz 连续性给出了严谨的悔标误差界，表明即使自抽取计划存在噪声 \(\gamma\)，几何平均项 \(\sqrt{p^{\text{base}}}\) 也能天然压制离群误差。
局限与展望¶
- 依赖可验证参考答案的存在：SORT 要求全错题目预先配备可核验的标准参考答案，对于完全开放式、无标注或真值难以获取的代码/创意写作等场景难以直接适用。
- 奖励形态局限于二值结果：当前机制建立在 0/1 判定产生的优势归零场景下，向过程奖励模型（PRM）或连续型稠密奖励范式的迁移有待进一步探索。
- 长思维链计划抽取的鲁棒性：当基础模型过于孱弱导致其对长参考答案无法提炼出有效骨架时，计划误差 \(\gamma\) 的增大可能削弱选择性加权的效果。
相关工作与启发¶
- vs LUFFY: LUFFY 广泛地向所有样本混入强模型的外部离策略轨迹，容易抬升低概率平凡词元并引发长度膨胀；SORT 仅对全错样本进行单模型计划显著性重加权，无外部依赖。
- vs ReLIFT / 纯 SFT: ReLIFT 与 SFT 对全量参考答案实施无差异交叉熵微调，极易破坏策略探索熵与分布外泛化能力；SORT 借助几何平均权重实现词元级过滤，有效防止分布外退化。
- vs Scaf-GRPO: Scaf-GRPO 在在线采样时提供显式脚手架提示，改变了策略探索的原始环境；SORT 保持原生在线采样完全不变，将指导局限在事后辅助修复。
- vs DFT: DFT 仅使用学生模型自身概率 \(p^{\text{base}}\) 控制更新支撑度，对所有参考 token 赋予均匀奖励；SORT 将其拓展为计划引导的条件互信息加权，为关键推理点注入更大梯度。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用同模型在计划前后的似然差异分离决策关键词元，机制优雅且理论完备。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 个模型尺度、8 个权威基准、翔实的消融对比与训练动态监控。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，从优势塌陷的数学本质自然引申出设计范式，逻辑链条严密。
- 价值: ⭐⭐⭐⭐⭐ 切中开源大模型在强化学习强化推理中最核心的“全错无梯度”瓶颈，实用性极强。