SEAD: Competence-Aware On-Policy Distillation via Entropy-Guided Supervision¶

会议: NeurIPS 2026
arXiv: 2606.28562
OpenReview: https://openreview.net/forum?id=4cZVcqbvw1
领域: 模型压缩
关键词: 知识蒸馏, 在线策略蒸馏, 大语言模型推理, 熵引导监督, 课程学习

一句话总结¶

针对在线策略知识蒸馏中教师监督质量严重依赖学生能力的结构性缺陷，SEAD 借助教师与学生联合熵在 token、时序和提示词三层尺度上自适应分配监督信号与散度类型，在跳过约 50% 冗余计算的同时大幅提升学生模型数学推理能力。

研究背景与动机¶

在大语言模型推理任务中，49B 以上规模的模型展现出卓越的复杂链式推理性能，但其巨大的参数量与高昂的推理开销给实际部署带来了严峻挑战。知识蒸馏是压缩模型规模的关键手段。然而，主流离线蒸馏方法依赖静态的教师生成轨迹，学生模型在自回归生成时不可避免地遭受暴露偏差（exposure bias），导致推理错误逐步累积；而新兴的在线策略蒸馏（On-Policy Distillation, OPD）让教师对学生自主生成的采样轨迹（rollouts）进行逐 token 打分与监督，在许多场景下达到甚至超越了以 GRPO 为代表的强化学习算法。

然而现有的在线策略蒸馏范式普遍采用统一的监督策略，在所有提示词、所有训练阶段以及所有 token 位置上一律施加相同形式的散度损失。这种设计忽视了一个核心物理事实：在在线策略蒸馏中，教师监督的有效性高度受制于学生自身的能力边界。当学生面对超出自身能力的困难问题时，生成的采样往往混乱破碎，此时教师提供的 token 级微调不仅无法指导学生，反而注入了大量有害的梯度噪声；相反，在学生和教师均已确信掌握的确定性计算或连接词位置，反复计算损失纯粹是算力浪费。

这种由能力不足引发的监督质量退化在三个尺度上同步存在：提示词层面遭遇不合理采样难度、训练时序层面缺少模式覆盖到模式收敛的平滑过渡，以及 token 层面缺乏针对不确定性差异的自适应散度分配。本文的核心切入点在于发现熵是刻画这种三层能力依赖退化的统一度量衡。核心 idea：以教师与学生的联合熵为统一探针，在提示词层构建能力门控课程确保轨迹连贯性，在时序层进行连续的散度退火，在 token 层实施三温区自适应散度与稀疏跳过，形成正向增强的共生蒸馏框架。

方法详解¶

整体框架¶

SEAD 将在线策略蒸馏重构为一个以学生能力为中心的三层协同控制系统。整个流程从题目选择开始，首先通过基于历史通过率的能力门控课程（Competence-Gated Curriculum）筛选出落在学生当前能力边界之内的提示词集合 $\mathcal{D}(t_{\text{step}})$，杜绝超出理解范围的混乱生成。随后学生策略 $\pi_\theta$ 在筛选后的题目上生成推理解答轨迹，并由教师模型 $\pi_{\text{te}}$ 计算逐 token 的词表对数几率。系统在 token 尺度上计算学生与教师的联合熵分布，将所有 token 划分为零梯度区域 Zone A、反向 KL 聚焦区域 Zone B 以及正向 KL 探索区域 Zone C；与此同时，全局散度退火调度器根据训练步数平滑调节正向 KL 的混合系数 $\alpha(t_{\text{step}})$，最终组合成低噪声、高信息密度的自适应损失更新学生参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["提示词题库 𝒬 与难度评分 {d_i}"] --> B["能力门控课程<br/>筛选有效提示词集合 𝒟(t)"]
    B --> C["学生策略 π_θ 采样生成轨迹 x ~ π_θ(·|q)"]
    C --> D["教师模型 π_te 逐 token 前向打分并计算联合熵"]
    D --> E["稀疏熵自适应散度分配<br/>Zone A (跳过) / Zone B (RKL) / Zone C (FKL)"]
    E --> F["动态散度退火调度<br/>余弦退火控制 FKL 权重 α(t)"]
    F --> G["自适应加权损失 ℒ_SEAD 与梯度回传更新"]

关键设计¶

1. 联合熵引导的稀疏自适应散度分配：按需划分监督温区并跳过半数冗余 token 在自回归生成轨迹中，每个 token 位置的局部不确定性直接反映了师生双方的知识状态。SEAD 分别计算教师熵 $H_{\text{te}}(t) = -\sum_{v} \pi_{\text{te}}(v|\mathbf{c}_t)\log \pi_{\text{te}}(v|\mathbf{c}_t)$ 与学生熵 $H_{\theta}(t)$。为避免全词表 Softmax 的巨大开销，实际中基于前 $k$ 个最大 logits 子集高效近似。基于预设的分位数阈值（默认 $\rho_A=50\%, \rho_B=40\%, \rho_C=10\%$），系统将 token 划分为三个功能迥异的区域： - Zone A（跳过区）：师生双方的熵均处于低位，说明该位置属于格式字符、语法连接词或极其确定性的算术中间步，梯度贡献极小，直接赋予零梯度跳过计算； - Zone B（反向 KL 锐化区）：教师熵低但学生熵高，表明教师具有明确的高置信度最优选择而学生仍在犹豫，采用反向 KL 散度（$\mathcal{L}_{\text{RKL}}$）施加模式寻求（mode-seeking）约束，迫使学生概率质量向教师的主峰对齐收敛； - Zone C（正向 KL 覆盖区）：教师熵偏高，对应关键的思维分支与解题策略分叉点，存在多条合理推演路径，采用正向 KL 散度（$\mathcal{L}_{\text{FKL}}$）施加模式覆盖（mode-covering）约束，防止学生过早坍缩至单一路线。

理论证明（定理 1）表明，在良态熵分布与有界评分函数条件下，完整梯度 $g$ 与仅在 Zone B 和 C 计算的稀疏梯度 $\hat{g}$ 之差满足 $\|g - (1-s)\hat{g}\| = \mathcal{O}(s G \sqrt{\tau} \log |\mathcal{V}|)$，其中 $s = |\mathcal{A}|/N \approx 0.5$ 为跳过比例。当低熵阈值 $\tau \to 0$ 时梯度残差收敛至零，证明了跳过约 50% 的 Zone A token 是近乎无损的。

2. 适应能力演化的连续散度退火：平滑调节探索与精炼配比 随着蒸馏训练的推移，学生模型掌握了更多基础推理模式，轨迹中能够被稳定预判的 token 比例不断攀升，Zone C 中高熵分叉的占比逐渐让位于 Zone B 的确定性精炼。若在全流程固定正反向散度的比例，初期极易因反向 KL 过多引发过早熵坍缩，后期则会因正向 KL 持续拖累收敛锐度。SEAD 摒弃了以往粗糙的分阶段突变切换，引入由训练步数 $t_{\text{step}}$ 驱动的余弦退火系数 $\alpha(t_{\text{step}})$： $$\alpha(t_{\text{step}}) = \alpha_{\text{end}} + \frac{\alpha_{\text{start}} - \alpha_{\text{end}}}{2} \left(1 + \cos\left(\frac{t_{\text{step}}}{T_{\text{total}}} \cdot \pi\right)\right)$$ 其中起始值设为 $\alpha_{\text{start}}=0.8$，终值降至 $\alpha_{\text{end}}=0.0$。该系数动态作用于 Zone C 的正向 KL 权重，实现了在训练初期以充分探索解题多样性为主、在训练后期转向高置信度模式收敛精炼的无缝过渡。

3. 能力门控课程学习：以由易到难的连贯轨迹保障监督信号良态 在线策略蒸馏的核心脆弱点在于：当题目远超学生认知边界时，学生生成的采样轨迹完全是逻辑紊乱的无意义符号。此时依据调制 PL 条件（Modulated PL Condition，$\|\nabla \ell_i(\theta)\|^2 \ge \phi(p_i(\theta)) \mu (\ell_i(\theta) - \ell_i^\star)$），当通过率 $p_i \approx 0$ 时有效梯度模长下界直接降至接近零，教师在其上的打分沦为纯粹的噪声干扰。为阻断这种负向干扰，SEAD 在训练前通过初始学生模型的 $K$ 次采样通过率估计题目难度 $d_i = 1 - p_i$，并在训练中采用单调递增的能力函数： $$c(t) = \min\left(1, c_0 (1 + t/T)^p\right)$$ 仅允许落在当前认知前沿以内（即 $d_i \le c(t)$）的提示词进入候选训练集 $\mathcal{D}(t)$。这从根本上保证了学生生成轨迹始终保持基本的逻辑连贯性，为定理 1 要求的良态熵分布提供了物理前提，进而构建起“课程保障采样质量 $\to$ 联合熵精准定位温区 $\to$ 退火调度高效收敛”的良性递进闭环。

损失函数 / 训练策略¶

SEAD 的单步优化目标整合了稀疏区域筛选与退火权重，在每个步骤从能力有效集 $\mathcal{D}(t_{\text{step}})$ 中均匀采样提示词，其整体损失定义为： $$\mathcal{L}_{\text{SEAD}}(\theta, t_{\text{step}}) = \frac{1}{|\mathcal{B} \cup \mathcal{C}|} \left(\sum_{t \in \mathcal{B}} \mathcal{L}_{\text{RKL}}(t) + \alpha(t_{\text{step}}) \cdot \lambda \sum_{t \in \mathcal{C}} \mathcal{L}_{\text{FKL}}(t)\right)$$ 其中归一化因子采用活跃 token 总数 $|\mathcal{B} \cup \mathcal{C}|$，相当于对稀疏梯度施加了等效学习率缩放 $\eta_{\text{eff}} = \eta / (1-s)$；$\lambda$ 用于平衡正向与反向 KL 的内在量纲尺度。在训练策略上，实验采用 4 节点、每节点 8 卡 H100 80GB GPU，基于 DAPO-Math-17K 去重数据集训练 1 个 epoch；批大小设为 96，采样生成温度为 0.7，最大序列长度 16,384 tokens，梯度裁剪阈值 $\epsilon=0.2$。

实验关键数据¶

主实验¶

在 OLMo-3 模型对（7B-Instruct 学生，32B-Instruct 教师）上的数学推理评测中，针对 MATH-500、Minerva-Math、OlympiadBench 报告 Pass@1 贪婪解码精度，针对高难度竞赛题 AMC 2023 及 AIME 2024/2025 报告 32 次独立采样的 Pass@32 平均通过率。

模型 / 方法	MATH-500	Minerva	Olympiad	AMC23	AIME24	AIME25	平均准确率
教师与原始学生
OLMo-7B-Instruct (学生基座)	87.2	41.9	58.2	80.4	46.8	34.6	58.2
OLMo-32B-Instruct (教师上限)	94.0	62.9	68.1	97.7	69.2	60.6	75.4
对比基线
OPSD (自蒸馏)	86.4	43.8	57.8	80.2	44.0	36.8	58.2
GRPO (强化学习)	84.8	43.0	58.8	81.0	45.0	35.5	58.0
Vanilla OPD (RKL, $k=1$)	87.0	41.9	60.1	80.9	47.9	37.3	59.2
SEAD 组件拆解与完整版
仅 KL Annealing	87.8	43.4	58.5	82.9	48.2	35.6	59.4
仅 Token Zones	87.0	41.9	60.1	80.9	47.9	39.3	59.5
Token Zones + KL Annealing	91.0	43.0	62.5	89.1	54.5	42.1	63.7
SEAD (完整版: T+A+C)	91.2	44.5	62.1	89.8	53.9	42.5	64.0

在跨度更广的 Nemotron 系列（8B 学生，49B 教师）上，完整 SEAD 同样从学生基座的 68.3 提升至 69.5~70.0，进一步验证了跨模型族的通用性。

消融实验¶

在 OLMo-3 (7B $\to$ 32B) 上进行 $2^3$ 全因子消融实验，分别孤立分析 Token SEAD 划分（T）、KL 散度退火（A）与课程学习（C）的作用：

实验配置 (T / A / C)	平均准确率 (%)	相对 OPD 增益 ($\Delta$)	AIME25 增益 ($\Delta$)	核心结论与机制表现
Vanilla OPD (基线)	59.18	+0.00	+0.0	全 token 统一反向 KL 监督，基线发生停滞
仅 T (Token Zones)	59.50	+0.32	+2.0	缺乏时间维度匹配，难以充分发挥分区优势
仅 A (KL Annealing)	59.40	+0.22	-1.7	全局无差别退火甚至由于缺乏结构而伤及高难竞赛题
仅 C (Curriculum)	63.38	+4.20	+4.6	强力单因子，直接过滤低质量破碎轨迹噪声
T + A (分区 + 退火)	63.70	+4.52	+4.8	强协同效应，增益达到单一组件孤立表现的 20 倍
T + C (分区 + 课程)	63.42	+4.24	+3.4	课程提供的连贯轨迹净化了熵特征计算
A + C (退火 + 课程)	63.97	+4.79	+4.5	单调能力成长保障了退火节奏的合拍
T + A + C (完整 SEAD)	64.00	+4.82	+5.2	三者呈超加性正向反馈，全面实现最优推理表现

关键发现¶

显著的超加性（Super-additive）协同效应：单独使用散度退火（A）或 token 分区（T）仅带来约 +0.22 至 +0.32 的微弱增益；然而当 T 与 A 结合时，准确率跃升至 63.70（净增 +4.52），增益放大了近 20 倍。这证明 token 分区明确了“在何处施加何种散度”，而退火决定了“何时转换散度重心”，两者缺一不可。
高梯度集中度与安全跳过验证：统计分析显示，Zone A（占所有 token 的 50%）仅承载了 9.7% 的 FKL 损失（单位密度为 0.19 倍均匀期望）；而 Zone C（占 10%）集中了 31.9% 的损失（高达 3.19 倍密度）。在语义分类中，50/40/10 的配置将 0% 的核心解题策略分叉点归入 Zone A，确保关键决策点 100% 获得密集监督。
有效抑制过早熵坍缩：Vanilla OPD 在训练过程中平均 token 熵从 0.39 持续滑落至 0.31，产生严重的模式狭窄；而 SEAD 的分区探索与退火设计将平均熵稳定维持在健康水平，保留了学生在长思维链中的路径多样性。

亮点与洞察¶

将 OPD 核心痛点归结为能力依赖型监督退化：敏锐地指出 OPD 与离线 KD 和强化学习的本质区别在于教师监督质量动态依赖于学生采样的合理性，这一统一视角成功串联起了从 token 到 prompt 的多尺度问题。
联合熵驱动的轻量分区与近乎无损的 50% 算力节省：利用学生与教师 logits 联合熵作为信息增益的无监督物理代理，不依赖额外判别网络即可跳过半数平凡 token，大幅压缩前向后向开销。
多组件闭环增强的系统级设计：课程学习不仅是样本排序工具，更是保障底层 token 熵分布处于可信区域的数学先决条件；退火进度与学生能力成长同频，展现出紧密互锁的理论美感。

局限与展望¶

依赖离线静态难度评估：当前课程学习中的问题难度 $d_i = 1 - p_i$ 完全由初始学生模型 $\pi_{\theta_0}$ 预先采样打分确定，无法动态反映学生在不同数学知识子图上的非均质进化速度。
任务领域局限于数学推理：论文主要在数学符号计算与奥数级题目上进行严格验证，在开放域代码编写、智能体多轮规划及长上下文问答中的通用性仍待进一步检验。
超长长思维链（Long CoT）的极端场景验证有待深化：在超过 16k tokens 的极端展开推理链中，累积误差与熵漂移规律更为复杂，未来可探索动态调整温区比例的在线机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示并形式化 OPD 中能力依赖的监督质量退化，将熵统一应用到三层尺度的协同设计极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7B-32B 与 8B-49B 两大模型族、6 个权威数学竞赛基准，完备的 $2^3$ 因子消融与深入的 token 层机制分析十分扎实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层次分明，定理与推论严密闭环，图表表意清晰规范。
价值: ⭐⭐⭐⭐⭐ 为大模型 reasoning 蒸馏后训练提供了一套低成本、高收益、防坍缩的成熟配方，极具工程落地与学术参考价值。