跳转至

Draft-OPD: On-Policy Distillation for Speculative Draft Models

会议: EMNLP 2026
论文: ACL Anthology
领域: 模型压缩
关键词: 投机采样, 在线蒸馏, 草稿模型, 曝光偏差, 无损加速

一句话总结

针对传统草稿模型在离线目标轨迹上监督微调(SFT)快速达到性能瓶颈的问题,本文提出 Draft-OPD,通过目标辅助推演生成高质量序列并记录验证暴露的错误位置,回放草稿前缀并结合接受敏感的双向 KL 蒸馏损失,实现草稿模型在自身推理分布下的在线蒸馏,在 Qwen3 系列模型上达成最高 5.60× 的端到端无损推理加速。

研究背景与动机

投机解码(Speculative Decoding, SD)作为大语言模型推理加速的核心技术,通过小型轻量级草稿模型并行提出多个未来词元片段,并由参数量庞大的目标模型进行并行验证,在数学上严格保证无损还原目标模型输出分布的同时显著降低解码延迟。近年来,以 EAGLE-3 和 DFlash 为代表的训练型草稿架构取得了突破性加速比,其核心范式依赖于离线监督微调(SFT)——通过在大模型自身生成的静态推理轨迹上拟合特征与词元,最小化预测误差。

然而,离线监督微调面临着严重的性能天花板现象。实验表明,草稿模型在经历短暂的 SFT 预热后,测试集上的平均接受长度 \(\tau\) 迅速进入停滞甚至波动阶段;此时即便进一步堆叠训练算力或扩大离线语料规模,也无法继续提高接受率,甚至在部分分布外数据上产生逆向负迁移。这一瓶颈的根源在于离线训练与在线推理之间的状态分布严重不匹配:在离线 SFT 中,草稿模型学习的上下文始终由目标模型生成,所有历史前缀均处于目标模型的真值分布内;而在实际投机推理时,草稿模型需要基于自身生成的高熵词元前缀持续推演,目标验证器面对的是草稿策略诱导出的状态。草稿模型在推理过程中一旦偏离目标轨迹,其面对的复合错误状态在离线数据中从未出现过。

将策略在线蒸馏(On-Policy Distillation, OPD)引入草稿模型是打破这一瓶颈的自然思路,但标准 OPD 的直接应用存在本质障碍。训练型草稿模型(如残差预测或块扩散架构)依赖目标模型提供的特征层引导,并非独立完整的自回归生成器;若强制草稿模型自主推演完整序列,极易陷入词元无限重复与语义崩塌,使教师反馈失效。相反,若采用严格的投机验证辅助推演,验证器在拒绝错误词元后会强制重置回目标分布,导致最具有学习价值的草稿失败轨迹被丢弃,在线信号再次退化为目标分布上的离线监督。本文的切入角度是保留目标辅助推演以维持高质量宏观上下文,同时在微观层面记录草稿失败锚点并定向重播错误前缀。核心 idea:利用投机验证过程中的目标辅助推演保障序列稳定性并记录错误位置,通过回放草稿前缀计算师生对数概率,并采用非对称的双向 KL 蒸馏目标分别强化接受样本与惩罚预测错误,实现专注于草稿诱导状态的高效在线蒸馏。

方法详解

整体框架

Draft-OPD 的整体优化流程旨在克服草稿模型无法独立生成高质量长文本的缺陷,同时完整保留推演时暴露的错误策略信号。整体方案包含三个有机衔接的阶段: 1. 带错误位置收集的投机推演(Rollout with Error-Position Collection):在环境交互中,草稿模型以块大小 \(K\) 提出候选词元,冻结的目标大模型进行并行投机验证;在推进有效序列的同时,系统精准记录每一次生成块的起始词元在全局上下文中的绝对索引,作为后续回放的锚点(Anchor),并由验证结果自动划分为接受集与拒绝集。 2. 面向对数概率计算的草稿回放(Replay for Log-Probability Computation):收集到稳定推演序列与锚点后,系统从各个锚点前缀出发,重新对草稿模型生成的完整候选块进行前向推演,分别提取草稿模型(学生)与目标模型(教师)在相同草稿前缀上的逐词元对数概率。该步骤直接复用推演阶段缓存的目标模型隐层特征,避免全量前向重算。 3. 接受敏感的蒸馏目标优化(Acceptance-Aware Distillation Objective):根据验证结果将回放词元拆分为已接受子集与被拒绝子集,分别施加不同方向的 KL 散度约束,并对被拒绝序列引入指数位置衰减因子,对草稿模型进行梯度更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 Prompt 提示词"] --> B["带错误位置收集的投机推演<br/>草稿提议K个词元+目标并行验证,记录块起始锚点"]
    B --> C["面向对数概率计算的草稿回放<br/>从锚点重播候选块,提取师生两端条件对数概率"]
    C --> D["接受敏感的蒸馏目标优化<br/>接受位置前向KL匹配分布,拒绝后缀逆向KL抑制假阳性模式"]
    D --> E["更新草稿模型参数<br/>打破SFT离线饱和瓶颈,提升平均接受长度"]

关键设计

1. 带错误位置收集的投机推演:解决草稿模型自主展开崩溃与错误信号流失的矛盾

训练型草稿模块(如 5-8 层的轻量级 Transformer)缺乏完备的长距离建模能力,若直接令其在 prompt 之后自回归展开数百词元,将在数步内退化为单一词元死循环或乱码,导致教师模型打分失去统计意义。Draft-OPD 利用目标大模型 \(p_\theta\) 与初始化草稿模型 \(q_\phi\) 构成标准的投机解码闭环。设全局验证推演序列为 \(y = (y_0, \dots, y_{T-1})\),在推演步 \(m\) 中,当前验证前缀截断于位置 \(a_m\)(初始 \(a_0 = -1\) 代表仅有 prompt 序列 \(x\))。草稿模型提出包含 \(K\) 个词元的块: $\(d_m = (d_{m,1}, \dots, d_{m,K}) \sim q_\phi(\cdot \mid x, y_{\le a_m})\)$ 目标验证器并行核验后接受前 \(r_m\) 个词元(\(0 \le r_m \le K\)),并将下一个推演锚点更新为 \(a_{m+1} = a_m + r_m\)。这一机制的核心价值在于:宏观生成的全文轨迹始终由目标大模型托底纠偏,确保推演文本在长上下文语义上的连贯性与严谨性;同时,离散的锚点序列 \(\{a_m\}\) 忠实记录了草稿模型在真实推理决策点所遭遇的全部物理环境。更重要的是,在目标验证器并行计算验证序列的过程中,目标模型对前置词元所提取的隐层特征表征已被完整缓存,后续回放时可零代价直接加载,彻底消除了重复计算。

2. 面向对数概率计算的草稿回放:构建对齐于草稿提议前缀的师生评估状态

常规的目标辅助推演仅在最终接受的轨迹 \(y\) 上进行监督,这本质上等价于静态离线微调,直接丢弃了草稿策略中最有信息量的负样本。为此,Draft-OPD 在收集到包含 \(M\) 个锚点的推演轨迹后,启动局部回放机制。对于每个锚点 \(a_m\),定义基准回放上下文为 \(c_m = (x, y_{\le a_m})\)。系统强制沿着草稿模型当初所预测的完整块 \(d_m\) 进行展开,逐位置获取学生模型与教师模型在相同草稿诱导前缀下的输出概率分布: $\(\log q_{m,k}(d_{m,k}) = \log q_\phi(d_{m,k} \mid c_m, d_{m,<k})\)$ $\(\log p_{m,k}(d_{m,k}) = \log p_\theta(d_{m,k} \mid c_m, d_{m,<k})\)$ 该机制将推演块内的所有词元按照实际验证结果严格划分为接受集 \(I_{\text{acc}} = \{(m,k) : 1 \le k \le r_m\}\) 与拒绝集 \(I_{\text{rej}} = \{(m,k) : r_m < k \le K\}\)。回放评估使得目标教师模型能够直接在被草稿模型“带偏”的非目标分布状态上给出指导性概率分布,精确捕捉草稿模型在何种上下文下产生了虚假置信度。

3. 接受敏感的蒸馏目标优化:匹配不对称正负样本特性的双向散度与位置衰减

在回放状态下,接受集合与拒绝集合对草稿模型的优化诉求存在根本性差异。若全局采用单一的前向 KL 散度,模型会将已被验证证伪的草稿错误前缀视为真实可靠状态,强行迫使草稿分布覆盖目标分布,引发概率质量弥散;反之,若全局采用逆向 KL 散度,则无法充分利用已接受序列的高置信度指导。Draft-OPD 提出了精细化的非对称优化目标: - 对于已通过验证的接受集合 \(I_{\text{acc}}\),草稿分布与目标分布高度重合,采用前向 KL 散度(Forward KL,等价于目标分布下的交叉熵),鼓励草稿模型在可信状态下维持模式覆盖,巩固生成一致性: $\(L_{\text{acc}} = \frac{1}{|I_{\text{acc}}|} \sum_{(m,k) \in I_{\text{acc}}} D_{\text{KL}}(p_{m,k} \parallel q_{m,k})\)$ - 对于被验证器否决的拒绝集合 \(I_{\text{rej}}\),核心目标是消除草稿模型的“幻觉模式”与错误先验,因此采用逆向 KL 散度(Reverse KL),以草稿分布自身的高概率模式为主导进行惩罚,迫使草稿模型收缩在目标模型概率极低区域的激进提议: $\(L_{\text{rej}} = \frac{1}{Z} \sum_{(m,k) \in I_{\text{rej}}} w_k D_{\text{KL}}(q_{m,k} \parallel p_{m,k})\)$ 其中 \(Z = \sum_{(m,k) \in I_{\text{rej}}} w_k\) 为归一化系数。针对被拒绝块内部的时序依赖,第一个被拒绝的词元标志着草稿偏差的源头,而其后随词元(\(k > r_m + 1\))是在已经失效的假前缀上条件推演得出的,所包含的有效梯度信号逐渐被噪声淹没。Draft-OPD 为此设计了指数位置衰减权重 \(w_k = \gamma^{k-1}\)(实验默认 \(\gamma = 0.8\)),赋予首个错误位置最高反向传播权重,显著提升了在线蒸馏的学习信噪比。

损失函数 / 训练策略

Draft-OPD 的联合训练损失函数将接受损失与加权拒绝损失进行线性加权融合: $\(\mathcal{L}_{\text{Draft-OPD}} = \frac{\lambda_{\text{acc}} L_{\text{acc}} + \lambda_{\text{rej}} L_{\text{rej}}}{\lambda_{\text{acc}} + \lambda_{\text{rej}}}\)$ 在所有主要基准实验中,权重参数默认设置为平衡比值 \(\lambda_{\text{acc}} = \lambda_{\text{rej}} = 1\)。 训练策略上,系统首先在目标模型生成的轨迹上进行 6 个 epoch 的标准 SFT 预热(基于 SpecForge 框架),构建具备基础局部匹配能力的初始草稿模型。随后进入 OPD 阶段,从 GSM8K、MATH、AoPS 和 CodeAlpaca 中采样构建 16K 条去重 prompt 池(仅取问题,丢弃原始参考答案,由大模型推演生成实时回复)。使用 verl 强化学习分布式框架在 8× NVIDIA H200 GPU 上展开 8 个 epoch 的在线蒸馏(约 5.3K 步),全局批大小设为 24,使用 AdamW 优化器(学习率 \(3 \times 10^{-4}\),cosine 退火,warmup 比例 0.05)。思考模式下最大推演长度截断为 4096 词元,非思考模式下截断为 2048 词元,单次推演草稿块大小 \(K=16\)。整个 Qwen3-4B 的 OPD 阶段耗时约 15 小时(约 120 H200 GPU-hours)。

实验关键数据

主实验

在 Qwen3-4B 与 Qwen3-8B(Thinking 模型设最大生成 8192 词元;Non-Thinking 模型设最大生成 2048 词元)上评估投机端到端加速比与单步平均接受长度 \(\tau\),所有对比方法在相同总训练 FLOPs 预算下对齐比较。

模型 采样配置 评测基准 DFlash \(\tau\) Draft-OPD \(\tau\) DFlash 加速比 Draft-OPD 加速比 相对提升
Qwen3-4B (Thinking) \(T=0\) (Greedy) MATH-500 5.51 6.68 4.88× 5.55× +13.7%
Qwen3-4B (Thinking) \(T=0\) (Greedy) AIME25 5.51 6.59 4.69× 5.28× +12.6%
Qwen3-4B (Thinking) \(T=0\) (Greedy) SWE-Lite 5.51 6.12 4.12× 4.66× +13.1%
Qwen3-4B (Thinking) \(T=0\) (Greedy) 7项基准均值 5.51 5.96 4.33× 4.86× +12.2%
Qwen3-8B (Thinking) \(T=0\) (Greedy) MATH-500 5.19 6.64 5.01× 5.80× +15.8%
Qwen3-8B (Thinking) \(T=0\) (Greedy) 7项基准均值 5.19 5.73 4.34× 4.89× +12.7%
Qwen3-4B (Thinking) \(T=0.6\) (Sampling) 7项基准均值 4.77 5.13 3.84× 4.15× +8.1%
Qwen3-4B (Non-Thinking) \(T=0\) (Greedy) MATH-500 6.04 6.60 6.35× 7.22× +13.7%
Qwen3-4B (Non-Thinking) \(T=0\) (Greedy) 7项基准均值 6.04 6.60 4.84× 5.31× +9.7%
Qwen3-8B (Non-Thinking) \(T=0\) (Greedy) 7项基准均值 6.04 6.57 5.11× 5.60× +9.6%

在主流推理引擎 SGLang(开启 FlashAttention-3)多并发部署评测中,针对 Qwen3-30B-A3B-Thinking 超大模型,Draft-OPD 在 AIME25 基准上的平均 \(\tau\) 达到 5.32(DFlash 为 4.54),并在并发 32 时将吞吐量从 4014 tok/s 提升至 4718 tok/s(提升 17%)。

消融实验

在 Qwen3-4B 思考模型(\(T=0\))上开展各核心组件的严格控制变量消融分析。

消融配置 MATH-500 加速比 MATH-500 \(\tau\) HumanEval 加速比 HumanEval \(\tau\) MT-Bench 加速比 MT-Bench \(\tau\) 说明
Draft-OPD (完整方案) 5.55× 6.57 5.17× 6.18 3.18× 4.44 完整非对称双向KL+位置衰减
去除位置衰减 (w/o Decay) 5.13× 6.18 4.96× 6.01 3.07× 4.29 \(w_k=1\),后随噪声错误削弱收益
全前向散度 (All-Forward KL) 5.34× 6.35 5.01× 6.09 3.09× 4.33 错误位置强行拟合引发质量发散
全逆向散度 (All-Reverse KL) 5.11× 6.14 4.94× 5.98 3.08× 4.33 损失函数模式坍缩,表现最差
随机锚点回放 (Random Anchors) 5.04× 6.08 4.99× 6.07 2.96× 4.24 脱离验证错误点,缺乏针对性
朴素目标辅助推演 (Naive Rollout) 5.06× 6.07 4.80× 5.93 3.02× 4.25 丢弃被拒词元,退化为KL-SFT

关键发现

  • 离线数据饱和与在线状态决胜:对比实验证明,向基线(EAGLE-3 / DFlash)追加 16K OPD 样本对应的目标回复进行单纯 SFT 训练,加速比在 MATH-500 上仅达到 4.28× 和 5.14×,显著落后于 Draft-OPD 的 5.55×。这证明加速增益完全来源于对草稿模型自身推理状态的分布校准,而非单纯接触了更多 prompt。
  • 首错词元主导错误信号:针对拒绝集合仅训练首个被拒绝词元(First-rejected-only)的变体,全基准平均接受长度 \(\tau\) 达到 5.94,与完整加权衰减方案的 5.95 几乎一致(MATH-500 均为 6.57)。这表明首个导致验证失败的词元承载了绝大多数负反馈信号,后续词元截断可以作为极佳的训练加速工程近似。
  • 位置衰减的单向敏感性:将位置衰减因子 \(\gamma=0.8\) 同时施加于已接受词元集合时,平均 \(\tau\) 从 5.95 显著下滑至 5.86。这是因为接受词元处于真实目标轨迹上,所有位置的教师反馈均为高质量正样本,人为衰减破坏了可信监督信号的完整度。
  • 训练演进中的错误后移:对 OPD 训练前 50% 与后 50% 阶段的被拒位置统计显示,前 1-3 位发生拒绝的概率从 39.61% 下降至 38.23%,而后半段(7-15 位)及完整 16 词元全部接受的比例从 5.68% 提升至 6.02%,定量印证了草稿模型生成块命中深度的系统性右移。

亮点与洞察

  • 解耦推演稳定性与错误回放:传统 OPD 陷入“学生独立展开崩溃”与“教师辅助推演抹除策略信号”的双重困境。Draft-OPD 巧妙地用投机验证充当天然稳定器,仅通过轻量级锚点记录与定向重播,在不牺牲长程上下文质量的前提下完整萃取了在线决策错误。
  • 非对称散度精准匹配正负反馈物理意义:识别出投机验证中接受样本与拒绝样本的数学不对称性,将前向 KL 用于模式覆盖、逆向 KL 用于模式抑制,避免了单一散度在复杂多模态分布下的互斥拉扯。
  • 可复用的训练态缓存复用技术:在回放求梯度时直接挂接投机推演阶段由教师模型计算好的 KV Cache 与隐层表征,将通常极为昂贵的大模型在线蒸馏算力开销大幅压缩至 120 GPU-hours 实用级别。

局限与展望

  • 推演上下文长度受限:由于多卡显存与并发推演开销约束,当前 OPD 训练阶段将思考模型的最大响应长度截断在 4096 词元,而测试端存在 8192 词元以上的超长推理链。草稿模型在极端长程末期的深层认知对齐仍有扩展空间。
  • 强依赖白盒目标模型访问:Draft-OPD 要求在回放阶段获取目标模型的输出分布概率和隐层特征,这使得该方法无法直接应用于仅开放黑盒采样 API 的闭源商用模型。
  • 有损验证场景的外延:本方法完全建立在严格无损投机采样的前提下,未来可探索将错误锚点回放机制拓展至基于强化学习奖励或近似有损验证的投机生成框架中。

相关工作与启发

  • vs EAGLE-3 / DFlash: 现有 SOTA 训练型草稿架构专注于模型结构(如树形注意力或块扩散)和静态目标轨迹预训练,忽视了曝光偏差。Draft-OPD 不修改推理架构,而是作为通用后训练范式无缝兼容于 DFlash 等模型之上,打破了单纯依赖 SFT 的收益平顶期。
  • vs DistillSpec / Online Speculative Decoding: 早期投机蒸馏工作主要聚焦于使用同系列轻量级自回归小模型(如 LLaMA-68M/160M),且仅在静态数据上调整散度形式或在线动态微调。Draft-OPD 首次攻克了现代专用嵌入式短块草稿头无法自主自回归 rollout 的本质痛点。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用投机验证机制破除 OPD 无法应用于非独立自回归模型的结构性死结。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4B/8B/30B-MoE 模型、长短思考模式、Greedy/Sampling 参数及 SGLang 高并发实测,消融分析极其扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻,问题抽象高度精确,数学推导与实验洞察逻辑链条极其自洽。
  • 价值: ⭐⭐⭐⭐⭐ 为投机解码草稿模型从单纯 SFT 迈向在线强化/蒸馏后训练时代奠定了关键范式。