跳转至

SCOPE: Signal-Calibrated On-Policy Distillation Enhancement with Dual-Path Adaptive Weighting

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/machine981/SCOPE
领域: LLM 推理
关键词: 在线蒸馏、策略优化、推理对齐、困惑度校准、双路径自适应加权

一句话总结

SCOPE 针对在线策略蒸馏(OPD)忽略轨迹信号质量差异的问题,依据答案正确性将采样轨迹分流至双路径:对错误轨迹执行基于教师困惑度加权的 KL 散度蒸馏以过滤有缺陷前缀的误导噪声,对正确轨迹执行基于学生困惑度加权的最大似然估计以强化能力边界上的低置信度探索,结合组内归一化实现高效且保持推理多样性的对齐。

研究背景与动机

在大语言模型(LLM)的复杂推理对齐中,基于在线采样的强化学习(如 RLVR、GRPO)已成为主流范式。然而,这类方法依赖稀疏的终局标量奖励,在长链条数学或代码推理过程中面临极度严苛的信用分配(credit assignment)难题,训练往往需要海量探索样本才能收敛。在线策略蒸馏(On-Policy Distillation, OPD)通过在学生模型自采样轨迹上引入教师模型的密集 token 级 KL 散度监督,为中间推理步骤提供细粒度引导,显著缓解了信用分配瓶颈并提升了学习效率。

然而,现有 OPD 范式存在一个致命的根本假设:它无差别地假定教师模型的密集监督在所有 rollout 轨迹上均具有一致的可靠性。这种“信号质量盲目性”在实践中引发了双重困境。一方面,当学生自采样出错误的推理轨迹时,教师模型被迫基于学生已发生逻辑崩塌或数值溢出的有缺陷前缀(flawed prefix)进行条件概率评估;实验表明,当教师模型对这些前缀困惑度极高时,其预测分布往往退化为无意义的高熵噪声,强行蒸馏只会将学生引向更严重的幻觉。另一方面,对于学生自采样成功的正确轨迹,若继续强加教师 KL 约束,会强行抹杀学生自身发现的有效但非主流的推理路线;而即便退回等权重最大似然估计(MLE),也会过度强化模型早已熟练掌握的高频模式,从而边际化位于能力边界处的低概率有效解法,引发严重的 Pass@k 悖论(即 Pass@1 上升但 Pass@32 严重劣化)。

这种两难困境的核心在于:错误轨迹需要利用教师的真实纠错能力而非被迫模仿噪声,而正确轨迹需要挖掘学生自身的探索潜力而非过度拟合主流模式。解决该矛盾的关键,是建立一种能够根据答案正确性将轨迹分流、并分别从教师与学生双视角对其信号质量进行细粒度校准的机制。核心 idea:提出基于信号校准的双路径自适应在线蒸馏框架 SCOPE,将采样轨迹按正确性分流为错误轨迹与正确轨迹两条路径,分别采用逆教师困惑度软加权的 KL 散度蒸馏过滤缺陷前缀噪声,以及正学生困惑度软加权的 MLE 强化能力边界探索,并通过组内局部归一化保障训练稳定性。

方法详解

整体框架

SCOPE 的核心架构围绕“结果驱动分组路由”与“双路径自适应加权”(Dual-Path Adaptive Weighting, DPAW)展开。对于每个输入 prompt \(x\),学生策略模型 \(\pi_\theta\) 首先在线采样生成 \(N\) 条候选推理轨迹 \(Y_x = \{y_1, y_2, \dots, y_N\}\)。随后,确定性验证器对每条轨迹给出二值奖励 \(R_i \in \{0, 1\}\),并将候选集精确划分为正确子集 \(\Omega_x^c = \{y_i \in Y_x \mid R_i = 1\}\) 与错误子集 \(\Omega_x^w = \{y_i \in Y_x \mid R_i = 0\}\)。若某子集为空则直接跳过对应分支,使得全对、全错与混合组均能产生良好定义的更新。

在路由之后,SCOPE 分别对两个子集实施非对称且互补的信号校准。对于错误子集 \(\Omega_x^w\),系统计算教师模型 \(\pi_T\) 在轨迹上的序列困惑度,通过逆困惑度组内归一化赋予权重,对教师胜任度高的轨迹执行反向 KL 蒸馏;对于正确子集 \(\Omega_x^c\),系统计算学生自身在生成时的困惑度,通过正困惑度组内归一化赋予权重,对高困惑度(即处于能力边界、稀有但正确)的轨迹执行 MLE 似然强化。最终,两条加权分支在统一目标函数下联合反向传播。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 Prompt x"] --> B["学生策略在线采样<br/>生成 N 条候选轨迹"]
    B --> C["结果驱动分组路由<br/>二值验证器划分子集"]
    C -->|正确轨迹 Ri=1| D["正确轨迹利用分支<br/>学生困惑度正向赋权"]
    C -->|错误轨迹 Ri=0| E["缺陷轨迹纠偏分支<br/>教师困惑度逆向赋权"]
    D --> F["组内归一化与统一目标优化<br/>加权 MLE + 加权 OPD"]
    E --> F
    F --> G["优化后的学生推理模型"]

关键设计

1. 结果驱动分组路由:消除无差别蒸馏与非对称分流 传统 OPD 将反向 KL 散度作用于全体样本,既容易压制正确轨迹的多样性,又容易受困于错误轨迹的劣质前缀。SCOPE 依据可验证奖励 \(R_i\) 实施硬性分支路由,将探索轨迹彻底解耦为“有效轨迹自主强化”与“失败轨迹外部纠偏”两类截然不同的优化任务。对于正确轨迹集合 \(\Omega_x^c\),模型无需外部教师介入,直接采用重要性采样修正后的替代似然目标 \(L_{\text{MLE}}\),以自主经验巩固解题模式;对于错误轨迹集合 \(\Omega_x^w\),模型自身无法提供有效监督,此时引入冻结参数的外部强教师模型 \(\pi_T\),构建基于反向 KL 散度的替代蒸馏目标 \(L_{\text{OPD}}\),在 token 级别注入修正梯度。

2. 缺陷轨迹纠偏分支:逆教师困惑度加权过滤前缀诱导噪声 在错误轨迹上,直接蒸馏面临严峻的“缺陷前缀陷阱”(Flawed Prefix Trap)。当学生生成的中间步骤包含严重算术崩溃、定理滥用或死循环时,教师在接收到该上下文后其内部推理状态被严重破坏,导致后续 token 预测分布熵骤增。实测表明高困惑度前缀下的教师错误恢复率断崖式下跌。为阻断这种误导信号的传播,SCOPE 计算教师序列困惑度 \(\text{PPL}_T(y_i \mid x) = \exp(-\frac{1}{|y_i|}\sum_{t=1}^{|y_i|} \log \pi_T(a_{i,t} \mid x, a_{i,<t}))\),并设计教师引导权重 \(w_i^{\text{tea}}\): $\(w_i^{\text{tea}} = \frac{\exp\left(\frac{1}{\tau |y_i|} \log \pi_T(y_i \mid x)\right)}{\sum_{j \in \Omega_x^w} \exp\left(\frac{1}{\tau |y_j|} \log \pi_T(y_j \mid x)\right)} = \frac{\text{PPL}_T(y_i \mid x)^{-1/\tau}}{\sum_{j \in \Omega_x^w} \text{PPL}_T(y_j \mid x)^{-1/\tau}}\)$ 该设计利用温度超参 \(\tau\) 调节锐度,以逆困惑度形式对错误轨迹进行重赋权。当教师对某错误轨迹的评估困惑度极高时,其权重趋近于零,从而在反向传播中主动屏蔽高方差的噪声梯度;反之,仅在教师具备高度自信、前缀逻辑未彻底崩塌的轨迹上提供强力蒸馏指导。

3. 正确轨迹利用分支:正学生困惑度加权放大非主流有效路径 均匀优化全部正确样本会导致严重的“胜者通吃”效应,使得模型频繁采样的常规解法被无限强化,而偶发发现但具备极高泛化潜力的非常规推理步骤被挤压凋亡。为了打破导致 Pass@k 悖论的多样性坍塌,SCOPE 基于学生自身生成时的序列困惑度 \(\text{PPL}_S(y_i \mid x)\) 构建学生引导权重 \(w_i^{\text{stu}}\): $\(w_i^{\text{stu}} = \frac{\exp\left(-\frac{1}{\tau |y_i|} \log \pi_S(y_i \mid x)\right)}{\sum_{j \in \Omega_x^c} \exp\left(-\frac{1}{\tau |y_j|} \log \pi_S(y_j \mid x)\right)} = \frac{\text{PPL}_S(y_i \mid x)^{1/\tau}}{\sum_{j \in \Omega_x^c} \text{PPL}_S(y_j \mid x)^{1/\tau}}\)$ 此公式在数学本质上构成了反向概率采样修正:对于长度归一化概率较低、困惑度较高的正确样本,赋予更高的梯度权重,重点强化处于当前模型能力边界上的弱置信度成功案例;对于已熟练掌握、困惑度极低的平庸解法,则自适应降权。这在保证正确率提升的同时,有效拓宽了模型的解空间覆盖度与多样本求解上限。

4. 组内局部归一化与统一目标:跨 Prompt 尺度校准与梯度稳定 不同提示词因本身数学难度、表述长度和推理分支跨度差异极大,绝对困惑度的基准值不可直接横向比对。若直接采用未归一化的原始困惑度数值作为损失系数,会导致梯度的数值尺度被高难题目或极端长序列完全支配。SCOPE 的 DPAW 在每个 Prompt 采样的局部子集内通过 Softmax 完成归一化,严格保证 \(\sum_{i \in \Omega_x^c} w_i^{\text{stu}} = 1\) 与 \(\sum_{i \in \Omega_x^w} w_i^{\text{tea}} = 1\)。从理论梯度范数界分析,组内归一化使得每个分支退化为轨迹梯度的凸组合(Convex Combination),使梯度的上界被单轨迹最大梯度所约束,既保留了相对质量的自适应排序敏感性,又消除了未有界 PPL 带来的训练不稳定性。

损失函数 / 训练策略

对于使用行为策略 \(\pi_{\text{old}}\) 采样生成的离线缓冲,定义 token 级重要性采样比率 \(\rho_{i,t}(\theta) = \frac{\pi_\theta(a_{i,t} \mid x, a_{i,<t})}{\pi_{\text{old}}(a_{i,t} \mid x, a_{i,<t})}\)。两类分支的替代损失分别为: $\(L_{\text{MLE}}(x, y_i; \theta) = - \sum_{t=1}^{|y_i|} \rho_{i,t}(\theta)\)$ $\(L_{\text{OPD}}(x, y_i; \theta) = \sum_{t=1}^{|y_i|} \rho_{i,t}(\theta) \left[ \log \bar{\pi}_\theta(a_{i,t} \mid x, a_{i,<t}) - \log \pi_T(a_{i,t} \mid x, a_{i,<t}) \right]\)$ 其中 \(\bar{\pi}_\theta\) 代表从计算图中截断梯度的参数。将两分支与自适应权重结合,得到 SCOPE 在训练集 \(\mathcal{D}\) 上的总体优化目标: $\(J_{\text{SCOPE}}(\theta) = \mathbb{E}_{x \sim \mathcal{D}} \left[ \sum_{i \in \Omega_x^c} w_i^{\text{stu}} \cdot L_{\text{MLE}}(x, y_i) + \lambda \sum_{i \in \Omega_x^w} w_i^{\text{tea}} \cdot L_{\text{OPD}}(x, y_i) \right]\)$ 其中 \(\lambda\) 为分支平衡超参数。训练阶段采用全局 Prompt Batch Size 256,每 Prompt 采样 \(G=8\) 条轨迹,最大 Prompt 长度 4,096,最大生成长度 12,288,采样温度 0.6,加权温度 \(\tau=1.0\),采用常量学习率 \(5 \times 10^{-5}\) 与 AdamW 优化器(weight decay 0.01)。

实验关键数据

主实验

论文在六大高难度数学推理基准上进行了系统测试,涵盖高难度竞赛与综合 STEM:AIME 2024、AIME 2025、AMC 2023、MATH-500、Minerva 和 OlympiadBench。评估指标采用平均正确率 Avg@32(衡量预期解题稳定性)和多采样通过率 Pass@32(反映能力上限与推理多样性)。主要基线包括强强化学习算法 GRPO、离线知识蒸馏 KD,以及标准在线策略蒸馏 OPD。

模型配置与算法 AIME24 (A/P@32) AIME25 (A/P@32) AMC23 (A/P@32) MATH500 (A/P@32) Minerva (A/P@32) Olympiad (A/P@32) 平均 Avg@32 平均 Pass@32
学生: R1-Distill-1.5B (基座) 29.4 / 76.5 23.9 / 46.9 72.7 / 94.7 84.6 / 97.3 32.3 / 55.9 44.2 / 67.5 47.9 73.1
+ GRPO 35.5 / 68.3 24.5 / 45.1 75.1 / 95.0 87.0 / 96.7 35.1 / 53.5 40.5 / 67.7 49.6 71.1
+ KD 26.6 / 71.4 22.2 / 45.6 69.1 / 96.3 84.1 / 97.4 30.7 / 54.1 39.7 / 66.9 45.4 72.0
+ OPD 40.2 / 75.0 28.9 / 48.5 75.9 / 95.0 89.0 / 97.7 34.9 / 53.0 44.9 / 69.3 52.3 73.1
+ SCOPE (本文) 42.7 / 77.9 30.4 / 50.9 80.9 / 97.2 89.8 / 97.9 37.8 / 55.1 49.7 / 70.9 55.2 75.0
相对 OPD 提升 (\(\Delta\%\)) +6.22% / +3.87% +5.19% / +4.95% +6.59% / +2.32% +0.90% / +0.20% +8.31% / +3.96% +10.69% / +2.31% +5.54% +2.60%
学生: Qwen3-1.7B-Base (基座) 3.7 / 26.7 3.2 / 20.7 24.6 / 69.4 54.8 / 88.6 11.2 / 41.6 16.3 / 48.0 19.0 49.2
+ GRPO 7.5 / 27.2 4.2 / 24.5 33.1 / 60.0 62.9 / 89.8 25.3 / 49.8 25.9 / 50.9 26.5 50.4
+ KD 4.6 / 18.9 5.8 / 24.8 29.8 / 66.1 50.2 / 86.2 16.6 / 43.2 13.3 / 41.4 20.1 46.8
+ OPD 12.2 / 31.5 10.6 / 29.7 43.1 / 80.1 67.9 / 90.7 24.2 / 49.4 25.3 / 53.7 30.6 55.9
+ SCOPE (本文) 13.3 / 31.5 12.1 / 35.6 46.3 / 83.0 70.9 / 93.0 27.9 / 54.0 24.6 / 54.6 32.5 58.6
相对 OPD 提升 (\(\Delta\%\)) +9.02% / +0.00% +14.15% / +19.87% +7.42% / +3.62% +4.42% / +2.54% +15.29% / +9.31% -2.77% / +1.68% +6.21% +4.83%

在代码生成任务拓展(HumanEval, Codeforces, LiveCodeBench)与前沿 OPD 变体对比中,SCOPE 展现了高度泛化性。例如在 R1-Distill-1.5B 学生模型上,对比 ExOPD(Avg@32: 46.5%, Pass@32: 72.0%)与 RLAD(Avg@32: 48.5%, Pass@32: 72.4%),SCOPE 在三大数学任务上取得了 51.3% 的 Avg@32 与 75.3% 的 Pass@32。在模型规模扩展(Teacher: Qwen3-32B, Student: Qwen3-8B)中,SCOPE 的平均 Avg@32 达到 71.3%、Pass@32 达到 90.3%,持续显著领先于标准 OPD(68.8% / 87.4%)。

消融实验

论文在 AIME24 与 AIME25 上针对 DPAW 各组件的有无及其赋权方向开展了剥离与反转消融:

实验变体配置 AIME24 Avg@32 (%) AIME24 Pass@32 (%) AIME25 Avg@32 (%) AIME25 Pass@32 (%) 说明与机制影响
完整 SCOPE 模型 42.7 77.9 30.4 50.9 双路径信号质量自适应校准完整生效
w/o DPAW (完全移除自适应权重) 40.2 75.0 28.9 45.7 退化为标准均等加权,AIME25 Pass@32 暴跌 5.2%
w/o 学生引导权重 \(w^{\text{stu}}\) 41.5 74.1 29.5 47.2 正确样本均等优化,Pass@32 严重衰退,压制边缘多样性
w/o 教师引导权重 \(w^{\text{tea}}\) 40.8 76.5 29.1 48.6 无法阻断错误轨迹噪声,平均精度全面走低
w/ 反转学生引导权重 (强化低PPL) 40.0 73.0 28.4 46.0 过度加权高频主流轨迹,引发严重的模式坍塌
w/ 反转教师引导权重 (强化高PPL) 38.6 74.8 27.6 46.5 放大高熵破坏性前缀的毒性梯度,AIME24 Avg@32 暴降 4.1%

关键发现

  • 消除 Pass@k 悖论:GRPO 和 OPD 在训练过程中均遭受严重的推理多样性损伤,GRPO 在 AIME24 上的 Pass@32 从基座的 76.5% 崩塌至 68.3%,而 SCOPE 不仅提升了预期准确率(Avg@32 达 42.7%),更将 Pass@32 刷新至 77.9%。策略熵曲线显示 SCOPE 始终维持健康的高探索熵,随采样数扩展(\(k=1 \to 32\))性能单调稳健爬升。
  • 反向赋权的灾难性破坏:反转教师引导权重(强化高困惑度轨迹)直接导致 AIME24 的 Avg@32 跌至 38.6%(低于基线 OPD 的 40.2%),强力实证了高 PPL 错误前缀对教师指导的污染效应。
  • 权重温度 \(\tau\) 的均衡性:温度过小(\(\tau=0.5\))会导致加权分布极端锐化,使得更新被极少数极值轨迹绑架;温度过大(\(\tau=2.0\))则退化为无差别均等赋权。\(\tau=1.0\) 在噪声过滤与多样性强化之间取得了最优平衡。

亮点与洞察

  • 教师纠偏能力的困惑度代理性:论文首次通过系统的截断恢复率实验(Q1 恢复率较 Q4 高出达 +19.4%),量化证明了教师困惑度直接对应于其在受损上下文上的逻辑纠错能力,为蒸馏过滤提供了理论与实证兼备的评估代理。
  • 能力边界的逆向强化哲学:对正确轨迹依据学生生成困惑度正向加权,巧妙实现了对“模型尚不自信但偶尔做对”的高价值边缘样本的靶向增强,从根本上防止了传统强化学习只顾巩固既有模式所诱发的多样性收敛与早熟收敛。
  • 极简工程特性的即插即用性:DPAW 无需引入额外的辅助判别器、过程奖励模型(PRM)或多阶段复杂退火调度,直接复用自回归计算中原本就需生成的对数概率,工程侵入极低且额外计算开销可忽略。

局限与展望

  • 强依赖客观二值验证器:当前框架依赖于能够提供确定性答案校验的客观环境(数学计算与代码单元测试)。在开放式问答、多轮主观对话或缺乏精准 Verifier 的通用任务中,如何无监督地分流正确与错误轨迹仍待探索。
  • 计算开销受制于教师同步打分:尽管较 GRPO 拥有更高样本效率,但现行同步训练架构下教师前向评分占据了约 31% 的单步用时(641.9s vs GRPO 的 459.0s);未来需通过异步流水线与并行调度掩盖打分延迟。
  • 超大参数规模验证仍待拓展:受算力限制,当前最大实验仅扩展至 32B 教师与 8B 学生。在千亿参数模型及混合专家(MoE)结构下的动态表现仍需进一步验证。

相关工作与启发

  • vs. 标准在线策略蒸馏 (OPD):传统 OPD(如 Lu and Lab, 2025; Agarwal et al., 2024)对全部采样执行无差别反向 KL 监督,易在成功样本上压制多样性、在失败样本上注入崩塌前缀噪声。SCOPE 引入结果驱动分支分流与双向困惑度校准,同时解决了模式坍塌与纠偏低效。
  • vs. 强化学习与可验证奖励 (RLVR / GRPO):GRPO(Shao et al., 2024)仅靠终端标量奖励更新,信用分配极其困难且策略熵持续衰减。SCOPE 通过教师 token 级 dense 信号辅助纠错,并在正确样本中补偿低频有效路径,避免了 pass@k 衰退。
  • vs. 过程奖励模型 (PRM):PRM(Lightman et al., 2024)需要高昂的步骤级标注成本且跨领域迁移脆弱。SCOPE 仅凭借预训练大教师的序列困惑度作为置信度代理,以极低的成本实现了等效的过程级自适应质量控制。

评分

  • 新颖性: ⭐⭐⭐⭐ [针对在线蒸馏痛点提出正反双向困惑度校准机制,视角新颖且逻辑自洽]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖六大数学基准、代码生成、规模扩展及完备的组件剥离消融与案例剖析]
  • 写作质量: ⭐⭐⭐⭐⭐ [理论推导严谨,动机阐述极为连贯深入,图表信息量充沛]
  • 价值: ⭐⭐⭐⭐⭐ [为大模型推理对齐提供了一种兼顾收敛速度与生成多样性的普适范式,开源易落地]