跳转至

Draft-OPD: On-Policy Distillation for Speculative Draft Models

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 推理
关键词: 投机采样, 草稿模型, 在策略蒸馏, 错误重放, 无损加速

一句话总结

针对传统离线有监督微调(SFT)草稿模型因分布偏移迅速陷入平台期的瓶颈,提出结合目标模型辅助展开与验证错误位置重放的在策略蒸馏方法(Draft-OPD),配合接收感知非对称损失实现高接受长度与超 5 倍无损推理加速。

研究背景与动机

大语言模型在复杂推理、数学证明与代码生成等高阶认知任务中展现出惊人能力,然而长思维链推理带来的计算开销与延迟也呈指数级上升。投机解码作为一种无损加速范式,通过轻量级草稿模型(Draft Model)快速推测生成候选词元块,再交由庞大的目标模型(Target Model)并行执行验证与修正,其加速倍率从根本上取决于每个验证轮次中被目标模型接收的平均词元长度 \(\tau\)。目前以 EAGLE-3 和 DFlash 为代表的主流高效草稿架构,普遍依赖离线有监督微调(SFT)在目标模型预先生成的静态轨迹上训练草稿权重。

然而,离线 SFT 很快就会遭遇显著的“收益瓶颈”甚至性能倒退:随着训练步数或数据量的持续堆砌,草稿模型在测试数据上的接受长度迅速进入停滞期。这一现象的深层根源在于离线训练与实际投机推理之间的状态分布失配(offline-to-inference mismatch)。在离线 SFT 阶段,草稿模型的输入前缀全部来自目标模型生成的完美轨迹;但在真实投机解码过程中,目标模型检验的却是由草稿模型自身策略即时提出的词元块。一旦草稿模型在推测过程中产生偏差,后续推测步骤便落入未曾在离线数据中见过的“自诱导未知状态”,导致误差级联放大并引发后续词元的大面积拒绝。

直接将强化学习中的在策略蒸馏(OPD)迁移至草稿模型面临着严峻的技术两难:主流草稿模型(如共享嵌入层与 LM Head 的单层或浅层 Transformer 模块)仅为短程并行预测设计,缺乏独立进行完整自回归生成的能力,若强制其独立展开(Draft-only rollout)会迅速陷入无意义的重复乱码;而若采用严格的目标模型辅助展开(Target-assisted rollout),投机验证又会无情丢弃所有被拒绝的错误草稿词元,使轨迹被洗回目标分布,进而抹杀最具价值的负样本纠偏信号。核心 idea:利用目标模型辅助投机推测维持生成轨迹全局稳定,精准记录验证失败的锚点位置并回放草稿生成过程,进而通过接收感知的非对称散度目标分别强化正确模式并定向惩罚草稿诱导错误。

方法详解

整体框架

Draft-OPD 的核心流程分为三个紧密协同的阶段:首先利用草稿模型与目标模型联合执行带投机解码的辅助展开,在产出高质量轨迹的同时记录每个推测块起始的锚点位置(Anchors);随后在训练阶段从记录的锚点上下文出发,回放草稿模型生成的完整词元块,并调用目标模型为该块中的每个词元同步计算对齐的教师对数概率;最后依据投机验证结果将词元精确切分为接收集与拒绝集,施加非对称的接受感知蒸馏目标进行策略更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词与前缀上下文"] --> B["带错误位置记录的投机展开<br/>目标模型保障轨迹质量并打标锚点"]
    B --> C["对数概率计算的锚点回放<br/>草稿与目标模型双向评分草稿词元块"]
    C --> D["接收感知非对称蒸馏目标<br/>前向KL强化接收模式 + 加权反向KL消除拒绝偏差"]
    D --> E["更新优化后的轻量草稿模型策略"]

关键设计

1. 带错误位置记录的投机展开:兼顾轨迹全局稳定性与草稿动作采样

针对草稿模型无法独立长程展开而纯目标轨迹又缺少草稿策略分布的矛盾,Draft-OPD 采用草稿-目标协同的投机验证循环生成长序列。在展开步 \(m\) 中,当前验证通过的前缀终止于位置 \(a_m\),草稿模型 \(q_\phi\) 基于上下文 \(c_m = (x, y_{\le a_m})\) 预测长度为 \(K\) 的候选词元块 \(d_m = (d_{m,1}, \dots, d_{m,K})\)。目标模型 \(p_\theta\) 并行验证该候选块并接收前 \(r_m\) 个词元。系统将每个推测块的起点 \(a_m\) 显式登记为锚点(Anchor),若接收 \(r_m\) 个词元,则下一个锚点更新为 \(a_{m+1} = a_m + r_m\)。这种机制既确保了展开轨迹严格符合目标模型的高质量语义分布、避免退化,又完好封存了草稿模型在推理各处真实暴露的推测动作与状态切入点。此外,展开过程中目标模型已计算的前缀隐藏状态可缓存复用,大幅摊平后续回放阶段的计算开销。

2. 对数概率计算的锚点回放:恢复验证暴露失败状态下的师生概率信号

常规投机解码在验证失败后会直接抛弃被拒绝的词元,导致关键的偏离分布信号丢失。Draft-OPD 通过重放机制解决该问题:在收集完完整展开与锚点后,算法重新遍历所有记录的锚点 \(a_m\),以对应前缀 \(c_m\) 为起点回放当时生成的草稿块 \(d_m\)。对于块内的第 \(k\) 个词元 \(d_{m,k}\),分别由草稿模型与目标模型计算自条件对数概率: $\(\log q_{m,k}(d_{m,k}) = \log q_\phi(d_{m,k} \mid c_m, d_{m,<k})\)$ $\(\log p_{m,k}(d_{m,k}) = \log p_\theta(d_{m,k} \mid c_m, d_{m,<k})\)$ 该重放步骤使得目标模型能对草稿模型提出的错误前缀进行前向推演与评分,迫使教师模型直接对“草稿诱导状态”施加监督,彻底填补了离线数据中从未包含草稿错误前缀的空白。

3. 接收感知非对称蒸馏目标:差异化对待正向对齐与错误抑制

投机验证天然将草稿词元划分为通过验证的接收集合 \(\mathcal{I}_{\text{acc}} = \{(m,k) \mid 1 \le k \le r_m\}\) 与未通过的拒绝集合 \(\mathcal{I}_{\text{rej}} = \{(m,k) \mid r_m < k \le K\}\)。对于接收词元,草稿分布已高度逼近目标分布,采用前向 KL 散度(Forward KL)以最大化覆盖目标模型概率质量,这在数学上等价于最小化目标分布加权交叉熵: $\(\mathcal{L}_{\text{acc}} = \frac{1}{|\mathcal{I}_{\text{acc}}|} \sum_{(m,k) \in \mathcal{I}_{\text{acc}}} D_{\text{KL}}(p_{m,k} \parallel q_{m,k})\)$ 相反,对于拒绝词元,核心问题是草稿模型在目标模型低概率区域分配了过高权重。采用反向 KL 散度(Reverse KL)能够直接惩罚草稿自身高置信度却错误的概率峰值(Mode-seeking 特性),强力压制幻觉推测: $\(\mathcal{L}_{\text{rej}} = \frac{1}{Z} \sum_{(m,k) \in \mathcal{I}_{\text{rej}}} w_k D_{\text{KL}}(q_{m,k} \parallel p_{m,k})\)$ 式中权重 \(w_k = \gamma^{k-1}\)(\(\gamma \in (0, 1]\),默认 \(\gamma=0.8\))引入指数级位置衰减,由归一化因子 \(Z = \sum_{(m,k) \in \mathcal{I}_{\text{rej}}} w_k\) 归一化。该衰减反映了投机验证的短板截断效应:块内靠前的错误直接阻断后续词元的接受,具有决定性负面影响;而首个错误发生后的后续词元建立在已被判违规的非法前缀之上,噪声增大、价值降低,通过指数衰减定向聚焦关键首错。最终联合优化目标为: $\(\mathcal{L}_{\text{Draft-OPD}} = \frac{\lambda_{\text{acc}} \mathcal{L}_{\text{acc}} + \lambda_{\text{rej}} \mathcal{L}_{\text{rej}}}{\lambda_{\text{acc}} + \lambda_{\text{rej}}}\)$

损失函数 / 训练策略

实验默认设定平衡系数 \(\lambda_{\text{acc}} = \lambda_{\text{rej}} = 1\),衰减因子 \(\gamma = 0.8\)。草稿模型在 6 个 SFT epoch 预热权重基础上初始化,在构建的 16K 高质量提示词池(包含 GSM8K、MATH、AoPS 和 CodeAlpaca,完全抛弃静态参考答案、全由目标模型在线生成长响应)上开展 8 个 epoch 的 OPD 训练。思维模式开启时训练截断长度为 4096 词元,关闭时为 2048 词元;采用 AdamW 优化器,学习率 \(3 \times 10^{-4}\) 配备 5% 预热比率的余弦退火调度,块大小固定为 \(K=16\)。

实验关键数据

主实验

在 Qwen3 系列模型(4B、8B 及 30B-A3B-Thinking)上的全面评测显示,在对齐总训练 FLOPs 的严格条件下,Draft-OPD 在推理加速比与接受长度 \(\tau\) 上全面超越顶级基线 EAGLE-3 与 DFlash。下表展示思维模式开启(Max Tokens 8192)下的核心加速比与接受长度:

模型 方法 GSM8K (0.0/0.6) MATH-500 (0.0/0.6) AIME25 (0.0/0.6) MBPP (0.0/0.6) HumanEval (0.0/0.6) SWE-Lite (0.0/0.6) MT-Bench (0.0/0.6) 平均加速比 (0.0/0.6) 平均 \(\tau\) (0.0/0.6)
Qwen3-4B EAGLE-3 4.41× / 3.90× 4.15× / 3.77× 3.30× / 3.07× 4.29× / 3.75× 4.38× / 3.77× 3.47× / 2.75× 3.07× / 2.77× 3.87× / 3.40× 5.33 / 5.03
Qwen3-4B DFlash 4.51× / 4.21× 4.88× / 4.46× 4.69× / 4.25× 4.39× / 3.92× 4.77× / 4.17× 4.12× / 3.17× 2.96× / 2.73× 4.33× / 3.84× 5.51 / 4.77
Qwen3-4B Draft-OPD 5.31× / 4.73× 5.55× / 4.91× 5.28× / 4.56× 4.85× / 4.21× 5.17× / 4.40× 4.66× / 3.38× 3.18× / 2.87× 4.86× / 4.15× 5.96 / 5.13
Qwen3-8B EAGLE-3 4.58× / 4.13× 4.45× / 4.09× 4.01× / 3.57× 4.55× / 3.93× 4.46× / 3.95× 3.38× / 2.83× 3.02× / 2.83× 4.06× / 3.62× 5.64 / 5.33
Qwen3-8B DFlash 4.67× / 4.23× 5.01× / 4.57× 4.77× / 4.34× 4.50× / 3.85× 4.71× / 4.12× 3.72× / 2.88× 3.01× / 2.76× 4.34× / 3.82× 5.19 / 4.66
Qwen3-8B Draft-OPD 5.36× / 4.77× 5.80× / 5.07× 5.51× / 4.80× 4.86× / 4.17× 5.19× / 4.47× 4.31× / 3.13× 3.18× / 2.91× 4.89× / 4.19× 5.73 / 5.05

在非思维模式下(Max Tokens 2048),Draft-OPD 在 Qwen3-4B 和 Qwen3-8B 上的贪心平均加速比分别跃升至 5.31×(\(\tau=6.60\))和 5.60×(\(\tau=6.57\)),相比 DFlash 提升显著。此外在真实推理引擎 SGLang 高并发吞吐测试中,Qwen3-30B-A3B-Thinking 在并发 32 时吞吐达 5007 tok/s,相比 DFlash 的 4462 tok/s 提速 12%,平均 \(\tau\) 从 5.44 增至 5.95。

消融实验

在 Qwen3-4B(思维模式开启,贪心解码)上对各个核心组件进行了严谨拆解,证实了各模块设计的必要性:

配置 / 变体 MATH-500 (加速 / \(\tau\)) HumanEval (加速 / \(\tau\)) MT-Bench (加速 / \(\tau\)) 说明
Draft-OPD (完整方法) 5.55× / 6.57 5.17× / 6.18 3.18× / 4.44 完整结合错误重放与非对称 KL
去除位置衰减 (w/o Weight Decay) 5.13× / 6.18 4.96× / 6.01 3.07× / 4.29 所有拒绝词元权重均等,受噪声干扰
全反向 KL (All-reverse KL) 5.11× / 6.14 4.94× / 5.98 3.08× / 4.33 接收词元也施加反向散度,优化失衡
全前向 KL (All-forward KL) 5.34× / 6.35 5.01× / 6.09 3.09× / 4.33 拒绝词元未惩罚草稿高置信度错误峰值
随机锚点 (Random Anchors) 5.04× / 6.08 4.99× / 6.07 2.96× / 4.24 未针对投机失败处重放,缺乏针对性
朴素目标辅助展开 (Naive Rollout) 5.06× / 6.07 4.80× / 5.93 3.02× / 4.25 丢弃拒绝词元,退化为目标分布 SFT

关键发现

  • 非对称 KL 散度的不可替代性:全反向散度退化最严重(MATH-500 加速比下降 0.44×),因为接收词元需要目标分布赋予质量支撑;而全前向散度无法抑制草稿模型的过度自信错误。二者必须结合。
  • 错误位置锚点的针对性:将锚点替换为随机采样位置会导致全面掉点,证明投机验证暴露出的错误状态才是草稿模型最宝贵的训练资源。
  • 首个拒绝词元决定论:拓展实验(Table 5)表明,仅对每个失败块的“首个拒绝词元”计算损失(First-rejected-only),在 7 个基准上的平均 \(\tau\) 达到 5.94,与完整加权衰减的 5.95 几乎完全一致。这揭示了推测失败的核心矛盾就在首次偏离点,为训练阶段执行早停截断(Truncated replay)以节省显存与算力指明了方向。

亮点与洞察

  • 将验证失败转化为在策略信号:以往投机采样中被直接扔掉的拒绝词元,被 Draft-OPD 巧妙转换为在策略监督的核心切入点,化废为宝。
  • 数学严密的散度对称性破缺:对接收态施加覆盖模式的前向 KL,对拒绝态施加消除虚假置信度的反向 KL,从优化目标上完美拟合了投机解码二元验证机制。
  • 即插即用且无损加速:仅在后训练阶段改造草稿模型,不改变目标模型任何权重与推理期验证算法,天然具备严格的数学无损性与工业级吞吐增益。

局限与展望

  • 展开长度受限:受训练显存开销约束,长思维链训练时的展开上限被截断至 4096 词元,未能完整覆盖测试集 8192 甚至上万步的超长推理末端状态。
  • 白盒目标模型强依赖:展开与重放计算均要求深度访问目标模型的词表对数概率与隐藏状态,无法直接应用于仅暴露黑盒 API 的商用闭源大模型。
  • 架构泛化验证待拓宽:主干验证基于 DFlash 并行扩散类草稿模型与 Qwen3 架构,向 EAGLE 式树状推测以及其他开源架构(如 LLaMA、Gemma)的即插即用泛化仍有待系统评估。

相关工作与启发

  • vs EAGLE-3 / DFlash: 后者均依赖离线目标轨迹进行 SFT,受困于离线到推理的状态分布漂移;Draft-OPD 通过在线生成与错误重放实现突破,在相同 FLOPs 预算下平均加速比高出 13%~23%。
  • vs DistillSpec / 经典 OPD: 经典 OPD 预设学生模型具备长序列自回归能力,而草稿模型独立展开会迅速崩溃;Draft-OPD 创新性引入目标辅助展开与锚点回放,解决了浅层草稿模型无法做在线强化/蒸馏的结构性难题。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 巧妙解决浅层草稿模型无法自展开做在策略蒸馏的底层困境。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 种尺寸、7 项评测基准、并发吞吐及细致消融。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密,问题定义明确,理论分析与实验相互印证。
  • 价值: ⭐⭐⭐⭐⭐ 直接推动大模型投机解码迈入在策略后训练阶段,工业落地潜力巨大。