AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals¶
会议: NeurIPS 2026
arXiv: 2605.20643
OpenReview: https://openreview.net/forum?id=fRtcETLCZ2
代码: https://github.com/duykhuongnguyen/AVSD
领域: 模型压缩
关键词: 自蒸馏, 特权信息, 在线策略学习, 几何共识, 数学推理
一句话总结¶
针对自蒸馏中单一特权视角易引入分布偏移与不可泛化伪元的问题，AVSD 通过几何共识目标锁定跨视角一致的更新方向，并结合对齐度与幅度自适应门控动态融合算术边缘残差信号，显著提升大语言模型在数学与代码推理任务上的在线自蒸馏表现。
研究背景与动机¶
在大语言模型（LLM）的复杂数学推理与代码合成等后训练阶段，基于可验证奖励的强化学习（RLVR，如 GRPO）已成为主流范式。然而，RLVR 的监督信号通常高度稀疏且局限于最终答案的结果层面，当模型无法采样出完全正确的候选解时，便无法提供有效的学习梯度，导致采样成本极高。相比之下，知识蒸馏能够提供密集的 Token 级别监督，但离线蒸馏面临严重的训练-测试分布偏移问题；而在策略自蒸馏（On-Policy Self-Distillation）虽然让模型在其自身生成的 rollouts 上以自身为学生、以附加特权信息（如完整解答、最终答案、提示）的模型为教师进行在线蒸馏，却往往隐式假设训练全程只依赖单一固定的特权视角。
这一假定带来了深层次的不对称矛盾：现实中并不存在跨所有任务和模型尺度都统一最优的单一特权视角。若强制教师使用带思维链的完整参考解，往往会将教师锁定在与学生生成轨迹不匹配的先验模式中，并迫使学生在推理阶段无特权输入时去拟合不可见的特权相关性（Privileged Leakage）；而若仅提供最终答案，模型具有灵活性却面临局部指导信息匮乏的问题。不同特权格式在信息密度与诱导出的分布偏移上差异极大，直接单一选择会损害模型在领域外的推理泛化能力。
本文的切入角度是：如果多种不同的特权视角在当前词处均支持同向的概率增减，则该更新方向具有极高的跨视角稳定性与任务相关性；反之，若某个 Token 仅被个别视角强烈支持，则其可能包含互补线索也可能夹杂着特定视角的噪声伪元。核心 idea：将多特权视角自蒸馏解耦为跨视角的几何共识目标与超额的算术边缘残差，并设计由方向一致性与相对幅度双重约束的自适应门控机制，在严格锁定共识更新方向的前提下选择性吸收有益残差。
方法详解¶
整体框架¶
AVSD 在模型自身生成的在线采样轨迹 \(y \sim P_\theta^S(\cdot \mid x)\) 前缀处，同时为同一模型附加 \(M\) 种不同类型的特权信息视角（例如数学任务中的完整解答、分步推理、最终答案），诱导出 \(M\) 个教师分布族 \(\{q_t^{(m)}\}_{m=1}^M\)。随后，系统分别构建代表交集支持的几何共识目标与代表并集支持的算术边缘目标，二者之差定义为跨视角残差。最终通过一个自适应门控模块评估各视角间的方向对齐度与相对强度，生成重构的教师目标分布，通过反向 KL 散度进行无额外 rollout 成本的在线策略更新。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["学生输入 x 与当前轨迹生成 y ~ P_θ(·|x)"] --> B["构建多视角特权教师分布族 {q_t^(m)}"]
B --> C["双池化目标构建：几何共识 q_t^G 与算术边缘 q_t^A"]
C --> D["双约束自适应残差门控：方向对齐度 C_t 与幅度比率 R_t"]
D --> E["重构目标分布 q_t* 与有界逆向 KL 蒸馏更新"]关键设计¶
1. 几何共识目标与算术边缘目标：解耦交集共识与并集残差
传统自蒸馏直接从单一教师分布优化反向 KL 散度。AVSD 在相同的生成前缀 \(h_t = (x, y_{<t})\) 下引入 \(M\) 个特权视角 \(r^{(m)}\)，对应的单视角蒸馏优势定义为 \(\Delta_t^{(m)}(v) := \log q_t^{(m)}(v) - \log p_t(v)\)。为了提取跨视角一致信任的信号，方法构建了几何共识目标 \(\widetilde{q}_t^G(v)\)，其等价于在所有教师分布上最小化平均反向 KL 散度： $\(\widetilde{q}_t^G(v) = \exp\left(\frac{1}{M}\sum_{m=1}^M \log q_t^{(m)}(v)\right), \quad A_t^G(v) = \log \widetilde{q}_t^G(v) - \log p_t(v) = \frac{1}{M}\sum_{m=1}^M \Delta_t^{(m)}(v)\)$ 几何平均惩罚任何被某一个视角赋予极低概率的词，因此天然保守且稳健，平均优势 \(A_t^G(v)\) 代表了跨视角公认的更新方向。与此同时，为了不丢失特定视角带来的互补推理线索，方法引入最小化平均正向 KL 散度的算术边缘目标 \(q_t^A(v) = \frac{1}{M}\sum_{m=1}^M q_t^{(m)}(v)\)。根据算术-几何平均值不等式，定义始终非负的跨视角残差： $\(J_t(v) := \log q_t^A(v) - \log \widetilde{q}_t^G(v) \ge 0\)$ 该残差量化了个别视角持有但在严格交集中被过滤的补充概率质量。
2. 双约束自适应门控：方向对齐与幅度约束保障残差有界
若直接使用算术目标蒸馏，个别视角的偏置容易掩盖共识甚至翻转正确的梯度的方向（例如某些视角极力推荐一个词，但其余视角均予以抑制）。AVSD 提出重构优势 \(\widehat{A}_t(v) = A_t^G(v) + \lambda_t(v) J_t(v)\)，其中门控因子 \(\lambda_t(v) \in [0, 1]\) 由两部分相乘构成： $\(\lambda_t(v) = C_t(v) R_t(v) = \left( \frac{|A_t^G(v)|}{\frac{1}{M}\sum_{m=1}^M |\Delta_t^{(m)}(v)| + \epsilon} \right) \left( \frac{|A_t^G(v)|}{|A_t^G(v)| + J_t(v) + \epsilon} \right)\)$ 其中对齐分量 \(C_t(v)\) 衡量各视角在更新符号上的一致性，当且仅当所有特权视角同号提升或同号压制该词时取值接近 1，当视角正负抵消时被置零；幅度分量 \(R_t(v)\) 保证当残差远大于共识幅度时自动抑制增益。严谨的数学推导表明，该门控保证了 \(\lambda_t(v) J_t(v) \le |A_t^G(v)|\)：残差项只能调节更新的绝对幅度，永远无法翻转由几何共识所决定的符号方向，从根本上防止了特权视角的噪声信息带偏学生模型。
3. 重构教师目标与无开销在线策略优化
将重构优势代入，得到重归一化的优化目标分布 \(q_t^\star(v)\)： $\(q_t^\star(v) = \frac{\widetilde{q}_t^G(v)\exp(\lambda_t(v)J_t(v))}{\sum_{u \in \mathcal{V}} \widetilde{q}_t^G(u)\exp(\lambda_t(u)J_t(u))}\)$ 当 \(\lambda_t(v) = 0\) 时退化为严格的几何共识目标，当 \(\lambda_t(v) = 1\) 时完全恢复为算术边缘目标。在反向 KL 散度损失 \(\mathcal{L}_{\mathrm{AVSD}}(\theta) = \mathbb{E}[D_{\mathrm{KL}}(p_t(\cdot) \parallel \operatorname{sg}[q_t^\star(\cdot)])]\) 下，采样的生成的 Token 梯度更新正是其重构优势 \(\widehat{A}_t(y_t)\)。由于生成序列由学生在线自回归产生，附加视角仅需在已知上下文后并行或批量执行一次 prefill 前向传播，不会引入额外的自回归解码时间，训练实际耗时仅比单视角 OPSD 增加约 13%。
损失函数 / 训练策略¶
训练采用在线反向 KL 散度蒸馏目标，梯度仅通过学生网络 \(p_\theta(\cdot \mid h_t)\) 反向传播，所有特权教师分布均应用 stop-gradient 算子。在实现细节上，模型采用 LoRA 微调（rank=64, alpha=128，作用于所有投影层），AdamW 优化器，学习率设为 \(5 \times 10^{-6}\)，有效 Batch Size 为 16，训练步数仅需 200 步。在生成采样阶段温度设为 0.7，单题仅需 1 条采样 rollout，相比 GRPO（8 rollouts，500 步）大幅节省了生成开销。
实验关键数据¶
主实验¶
在奥林匹克级数学竞赛数据集（AIME 2024、AIME 2025、HMMT 2025）及代码竞赛基准（Codeforces、LiveCodeBench v6）上，与监督微调（SFT）、强化学习（GRPO）和单视角在线自蒸馏（OPSD）进行 Avg@8 评估对比。
| 基座模型 | 评估任务 / 数据集 | 指标 (Avg@8) | AVSD (本文) | 最佳基线 (GRPO/OPSD) | 绝对提升 |
|---|---|---|---|---|---|
| Qwen3-4B | AIME 2024 | Accuracy (%) | 76.2 | 73.3 (OPSD) | +2.9% |
| Qwen3-4B | AIME 2025 | Accuracy (%) | 68.3 | 65.7 (GRPO) | +2.6% |
| Qwen3-4B | HMMT 2025 | Accuracy (%) | 44.2 | 43.3 (OPSD) | +0.9% |
| Qwen3-4B | Codeforces | Accuracy (%) | 65.6 | 63.6 (OPSD) | +2.0% |
| Qwen3-4B | LiveCodeBench | Accuracy (%) | 45.4 | 45.2 (OPSD) | +0.2% |
| Qwen3-4B | 全任务平均 (Avg.) | Accuracy (%) | 59.9 | 58.2 (OPSD) | +1.7% |
| Qwen3-8B | AIME 2024 | Accuracy (%) | 75.4 | 74.2 (OPSD) | +1.2% |
| Qwen3-8B | AIME 2025 | Accuracy (%) | 69.6 | 67.1 (GRPO) | +2.5% |
| Qwen3-8B | HMMT 2025 | Accuracy (%) | 47.1 | 43.0 (GRPO) | +4.1% |
| Qwen3-8B | Codeforces | Accuracy (%) | 65.8 | 63.2 (OPSD) | +2.6% |
| Qwen3-8B | LiveCodeBench | Accuracy (%) | 52.4 | 50.3 (OPSD) | +2.1% |
| Qwen3-8B | 全任务平均 (Avg.) | Accuracy (%) | 62.1 | 59.2 (OPSD) | +2.9% |
| DeepSeek-R1-Distill-7B | 全任务平均 (Avg.) | Accuracy (%) | 41.4 | 39.3 (GRPO) | +2.1% |
消融实验¶
在 Qwen3-4B 尺度上对共识目标、算术边缘目标以及自适应门控机制进行系统消融，同时对比不同特权视角的单视角表现。
| 配置 | AIME24 | AIME25 | HMMT25 | 三项数学平均 | 说明 |
|---|---|---|---|---|---|
| AVSD (完整模型) | 76.2 | 68.3 | 44.2 | 62.9 | 几何共识 + 算术残差 + 双约束自适应门控 |
| w/o 算术残差 (纯几何共识) | 74.5 | 67.8 | 42.1 | 61.5 | 仅用 \(A_t^G\)，丢弃所有残差，过于保守 (-1.4%) |
| w/o 几何共识 (纯算术边缘) | 75.0 | 66.0 | 42.7 | 61.2 | 直接蒸馏自 \(q_t^A\)，被视角特定噪声干扰 (-1.7%) |
| 单视角 OPSD (仅参考解) | 73.3 | 65.4 | 43.3 | 60.7 | 传统固定解特权基线 (-2.2%) |
| 单视角 OPSD (仅最终答案) | 70.8 | 64.9 | 39.7 | 58.5 | 仅用答案指导，密集监督信号不足 (-4.4%) |
| 单视角 OPSD (仅分步提示) | 72.1 | 63.8 | 40.5 | 58.8 | 仅用局部理由，灵活性与信息量受限 (-4.1%) |
关键发现¶
- 单一视角的非均匀最优性：实验证实了没有任何单一特权视角能在所有数据集上保持最优。例如在单视角模式下，代码任务中“参考实现”视角在 Codeforces 上表现最佳，但在 LiveCodeBench 上“测试执行反馈”视角更优；AVSD 将所有视角动态融合后均超越了各自的最优单视角基准。
- Token 级信用分配的极高鲁棒性：针对错误生成轨迹分析高权重 Token 的反馈方向发现，GRPO 在无成功样本时 29.6% 的情况下出现梯度零信号；单视角 OPSD 对关键错误 Token 分配错误符号奖励（反向增强错误 Token）的比例高达 12.3%；而 AVSD 凭借几何共识与门控约束，将错误符号分配率大幅压低至 2.9%。
- 门控开启率与算力开销：在训练监控中，AVSD 的自适应残差门开启率维持在 21%～27% 之间，既不过度退化为纯共识，又严控了噪声渗透；同时因为复用同一条 rollout，每步训练用时仅从 OPSD 的 41.5s 增加到 46.7s（+12.5%）。
亮点与洞察¶
- 将特权信息的不确定性转化为多视角几何池化：跳出了以往针对特权泄露修剪上下文的经验性做法，巧妙运用信息论中对平均反向 KL 和平均正向 KL 的最优解（几何平均与算术平均），将“共识”与“残差”从数学上严格分离。
- 有界残差定理消除了特权伪元带来的方向风险：证明了 \(\lambda_t(v) J_t(v) \le |A_t^G(v)|\)，使得残差在数学上无论多大也只能调节学习步长而不能逆转共识符号，为在线特权蒸馏提供了极具价值的安全防线。
- 通用的多教师/多视角集成范式：不仅适用于数学题解的不同粒度，同样无缝推广到代码执行的“参考代码/局部提示/测试反馈”多模态环境，为多智能体反馈或异构验证器的集成蒸馏提供了通用参考。
局限与展望¶
- 依赖预定义特权视角的构建质量：当前算法假设可以轻松构造互补的特权视角（如完整解答、最终答案、代码反馈等）。若视角本身包含系统性标注错误或视角间同质化严重，共识机制的增益将受到限制。
- 尚未扩展至多轮 Agent 交互环境：虽然在单轮数学证明和代码生成上表现优异，但在需要频繁调用工具、具备复杂环境状态演化的多轮 Agent 场景中，动态特权视角的定义和在线共识计算仍需进一步探索。
- 目标重构依赖反向 KL 的策略梯度解释：虽然重构目标可以应用于正向 KL，但其采样的优势函数形式与符号方向有界性主要建立在反向 KL 的推导之上，推广至其他对称散度时需额外的理论保证。
相关工作与启发¶
- vs 单视角自蒸馏 (OPSD, Zhao et al. 2026)：OPSD 依赖单一固定的参考解教师，容易产生特权信息泄露和分布偏移；AVSD 通过引入多个特权视角并利用几何共识和门控残差，解决了视角选择困难与特权噪声问题。
- vs 可验证强化学习 (GRPO, Shao et al. 2024)：GRPO 仅在轨迹末端基于二进制正确性赋予标量奖励，在困难题目探索阶段经常面临全错导致的零梯度；AVSD 提供了高密度的 Token 级别梯度引导，且错误 Token 抑制准确率远高于强化学习。
- vs 特权强化学习混合方法 (Self-Distilled RLVR / Yang et al. 2026)：该类方法通常依赖环境真实 Reward 来锚定梯度方向、仅用自蒸馏调幅度；AVSD 则直接在无外部标量奖励时从多视角教师族内部的几何共识中提取更新方向，拓展了自蒸馏的自主可信赖空间。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用算术-几何平均差值构建有界残差门控，形式优美且具备扎实的理论保障。
- 实验充分度: ⭐⭐⭐⭐⭐ 跨数学和代码多个基准，并在 4B/8B 及 DeepSeek-R1-Distill 多个模型上全面验证，Token 级信用分析非常透彻。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅，数学推导与实验设计严密自洽。
- 价值: ⭐⭐⭐⭐⭐ 为后训练时代如何高效榨取特权监督提供了极具启发性的高通用性方案。