跳转至

Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 其他
关键词: 投机采样, 大模型推理加速, 非自回归草稿, 因果建模解耦, 低秩残差校准

一句话总结

针对投机采样中自回归草稿存在序贯延迟、并行草稿缺乏块内因果依赖的矛盾,Domino 提出解耦架构:先由并行骨干一次性输出全块基础分布,再由轻量 Domino 头在 logit 空间注入前缀因果信息做低秩残差校准,并辅以基座锚定训练课程,在保持低草稿开销的同时显著提升接受长度与端到端吞吐。

研究背景与动机

现代大语言模型(LLM)的自回归生成过程受限于显存带宽(memory-bound),单 token 串行生成无法充分利用 GPU 大规模并行计算资源,导致推理延迟高居不下。投机采样(Speculative Decoding)作为主流加速范式,通过轻量级草稿模型预先生成多个候选 token,再由目标模型一次前向并行验证,在数学等价保持目标模型分布的前提下减少了昂贵的目标模型调用次数。然而,实际端到端加速比由接受长度与草稿阶段耗时共同决定,这在现有草稿范式中引发了严峻的“质量-成本”两难困境。

主流的自回归草稿方法(如 EAGLE 系列)按序贯步骤生成草稿 token,能够显式捕捉候选块内部的因果依赖关系,生成与目标模型自回归分布高度对齐的高质量候选,因而拥有较高的接受长度。但每生成一个草稿 token 都必须执行一次草稿模型前向和全词表 LM Head 投影,其延迟随投机步长线性累加,甚至抵消了长接受长度带来的收益。相反,全并行草稿方案(如 DFlash、DART)通过单次前向直接预测整个草稿块,消除了重复的序贯计算开销,但由于丢弃了块内的因果依赖,导致草稿分布与目标模型自回归特性失配,接受长度大幅下滑。

这就提出了一个核心问题:能否在保留块并行生成超低开销的同时,恢复块内因果依赖建模的准确率红利?本文给出的切入点是将因果上下文建模与重量级草稿执行彻底解耦,不依赖大模型前向传递因果隐藏状态,而是将因果修正下放至轻量级的 logit 残差空间。核心 idea:Domino 将投机采样的因果建模从自回归草稿执行中彻底解耦,先由并行草稿骨干单次前向输出全块粗糙分布,再由轻量级 Domino 头结合 GRU 前缀因果状态与低秩残差头在 logit 空间实施修正,并配合基座锚定课程学习防止骨干塌陷,以极低计算增量换取高接受长度与吞吐翻倍。

方法详解

整体框架

Domino 包含两个核心组件:并行草稿骨干(Parallel Draft Backbone) 与 Domino 头(Domino Head)。在每一个投机周期内,系统接收目标模型已验证的前缀特征,由并行骨干一次前向生成整个草稿块的块级隐层特征,并经过目标模型冻结的 LM Head 得到全块的基础 Logits。随后,轻量 Domino 头沿草稿序列序贯扫描,利用轻量因果编码器维护已采样 token 的前缀因果状态,结合低秩投影头在 Logit 空间生成残差修正项,与基础 Logits 逐元素相加后采样得到下一位置的草稿 token。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["目标模型已验证前缀与掩码草稿块输入"] --> B["并行草稿骨干<br/>单次前向提取全块表征并经冻结LM Head输出基础Logits"]
    B --> C["因果编码器<br/>轻量GRU序贯聚合前序草稿token嵌入构建前缀因果状态"]
    C --> D["低秩残差校准头<br/>拼接表征经降维瓶颈生成Logit残差修正项"]
    D --> E["基座锚定训练课程<br/>动态权重退火监督防止修正分支捷径导致骨干塌陷"]
    E --> F["目标模型并行验证并接受最长有效前缀"]

关键设计

1. 并行草稿骨干:打破序列依赖消除自回归草稿延迟瓶颈 针对自回归草稿在生成 \(B\) 个草稿 token 时需经历 \(B\) 次网络前向与全词表投影的线性延迟痛点,Domino 采用块级并行草稿网络作为基座。给定已验证前缀序列 \(x_{\le t}\),取最后一位 \(x_t\) 作为锚点,构建长度为 \(B\) 的掩码块 \(\tilde{x}_{t:t+B-1} = [x_t, \text{[MASK]}, \dots, \text{[MASK]}]\)。骨干网络将目标模型在上文抽取的上下文特征 \(C_t\) 与掩码块嵌入拼接,通过非自回归前向一次性输出整块的隐层表征 \(H_{t:t+B-1}\)。随后,直接复用目标模型冻结的输出投影矩阵(LM Head)并行计算每个未来位置的基础 Logits \(L^{\text{base}}_i = \text{LMHead}(H_i)\)(\(i = t+1, \dots, t+B-1\))。由于整个块级表征提取与高维全词表映射仅发生一次,GPU 浮点运算密度得到最大化释放,草稿前向总耗时从传统自回归的 \(\mathcal{O}(B \cdot (t_{\text{net}} + t_{\text{head}}))\) 骤降为常数级的单次块前向开销。

2. 因果编码器:轻量 GRU 状态维护前缀依赖避免大模型序贯前向 虽然并行骨干解决了延迟瓶颈,但各位置的基础分布独立生成,缺失了前置草稿 token 对后续 token 的因果约束。为此,Domino 设计了轻量因果编码器,专门负责在草稿采样过程中追踪前缀因果依赖。在预测位置 \(i\) 时,编码器以非常轻量的门控循环单元(GRU,隐层维度 1024)压缩前序已采样 token 的嵌入向量 \(E_{\le i-1}\),序贯维护因果状态向量 \(S_{i-1} = \text{GRU}(E_{\le i-1}) \in \mathbb{R}^{d_s}\)。通过这种结构,后续位置能够直接感知前序 token 的语义走向,而无需像 EAGLE 那样调用多层 Transformer 骨干反复推理,将因果上下文递推的开销降低了两个数量级。

3. 低秩残差校准头:Logit 空间瓶颈修正规避全词表重复投影 若在隐藏状态空间执行因果特征融合,每一步都需要重新调用计算昂贵的全词表 LM Head 将修正后的隐藏向量投射至词表维度,从而再次引入沉重的串行映射负担。Domino 选择在 Logit 空间进行残差更新:将并行骨干的表征 \(H_i\) 与因果状态 \(S_{i-1}\) 拼接后,送入由低秩瓶颈层构成的校准头(Low-Rank Correction Head): $$ \Delta L_i = W_2 \, \sigma(W_1 [H_i; S_{i-1}]) $$ 其中 \(W_1\) 将拼接特征投影到低维瓶颈空间(秩 \(r = 256\)),\(\sigma\) 为 SiLU 激活函数,\(W_2\) 将低维激活还原至全词表维度,最终草稿分布由基础分布与残差项线性叠加得到 \(L_i = L^{\text{base}}_i + \Delta L_i\)。由于低秩维度 \(r\) 远小于模型主隐层维度,且计算被完全限制在局部小算子内,配合 Triton 算子融合与 CUDA Graphs,单步 Domino 头更新延迟从 2.64ms 进一步压缩至 1.20ms。

4. 基座锚定训练课程:渐进退火多任务监督防止骨干表征退化 在训练因果校准分支时,Domino 采用 Teacher Forcing 机制,为因果编码器输入真实的 ground-truth token 嵌入,这与投机验证仅在连续前缀正确时才采纳的规则天然契合。但若直接端到端优化最终分布损失,强监督的因果修正分支极易形成“捷径(shortcut)”,导致并行骨干网络失去独立表征能力而发生训练塌陷。为阻断这一失效模式,Domino 引入了基座锚定联合损失函数: $$ \mathcal{L} = (1 - \lambda_t) \mathcal{L}{\text{final}} + \lambda_t \mathcal{L} $$ 其中 }\(\mathcal{L}_{\text{base}}\) 与 \(\mathcal{L}_{\text{final}}\) 分别对基础 Logits \(L^{\text{base}}_i\) 与修正后 Logits \(L_i\) 计算交叉熵,并按位置施加指数衰减权重 \(w_k = \exp(-k/\gamma)\)。在训练初期设置 \(\lambda_t = 1\),强制并行骨干学习足够强的基础特征;随后随训练步数将 \(\lambda_t\) 线性退火至 0,优化重心平滑转移至最终校准分布,既保证了并行基座的稳固,又激发了残差头的因果提精能力。

损失函数 / 训练策略

模型训练在保持目标模型完全冻结的条件下进行。草稿模块在由目标模型重新生成的 mlabonne/open-perfectblend(142 万条多样化指令样本)上训练 3 个 epoch。输入序列截断至 3072,草稿块大小固定为 16。优化器使用 AdamW,最大学习率 \(6 \times 10^{-4}\),权重衰减为 0,梯度裁剪阈值 1.0,配合 4% warmup 的余弦学习率衰减调度。损失函数针对第 \(k\) 个草稿位置分配衰减权重 \(w_k = \exp(-k/\gamma)\),优先提升前序核心 token 的预测精度以增加被目标模型连续接受的概率。

实验关键数据

主实验

在 Transformers 后端和 Greedy Decoding(\(T=0\))设置下,Domino 在多项推理、代码和对话基准上与主流投机采样方法展开系统对比(见下表,截取自原论文 Table 1):

模型 方法 (预算) GSM8K (速/\(\tau\)) HumanEval (速/\(\tau\)) MBPP (速/\(\tau\)) MT-Bench (速/\(\tau\)) 全局平均 (速/\(\tau\))
Qwen3-4B EAGLE-3 (16) 2.24× / 3.32 2.09× / 3.09 2.02× / 2.99 1.95× / 2.94 2.04× / 3.04
EAGLE-3 (60) 2.57× / 3.83 2.36× / 3.53 2.30× / 3.44 2.25× / 3.41 2.32× / 3.49
DART (60) 2.16× / 2.65 2.48× / 2.99 2.47× / 3.01 2.19× / 2.69 2.25× / 2.76
DFlash (16) 5.18× / 6.51 5.23× / 6.63 4.77× / 6.12 2.72× / 4.12 4.70× / 6.11
DOMINO (16) 8.02× / 10.12 5.66× / 7.02 5.59× / 7.11 3.28× / 5.12 5.47× / 7.08
Qwen3-8B EAGLE-3 (16) 2.21× / 3.27 2.17× / 3.21 1.93× / 2.86 1.82× / 2.75 1.97× / 2.97
EAGLE-3 (60) 2.56× / 3.80 2.50× / 3.74 2.22× / 3.31 2.07× / 3.17 2.26× / 3.41
DART (60) 2.28× / 2.71 2.52× / 2.95 2.39× / 2.98 2.27× / 3.03 2.29× / 2.82
DFlash (16) 5.21× / 6.59 5.21× / 6.52 4.71× / 5.98 2.73× / 4.18 4.66× / 6.06
DOMINO (16) 7.92× / 10.03 5.89× / 7.39 5.53× / 7.04 3.29× / 5.18 5.49× / 7.17

消融实验

针对 Domino 头各组件及训练策略的有效性,论文在 Qwen3-8B 统一训练数据(ShareGPT)与基准设置下展开消融(数据来自原论文 Table 4 与 Table 6):

消融配置 GSM8K (长/速) HumanEval (长/速) MBPP (长/速) 平均接受长度 \(\tau\) 平均加速比 说明
w/o Domino Head (纯并行基座) 3.82 / 3.17× 3.69 / 3.04× 3.30 / 2.70× 3.49 2.84× 移除因果头,仅保留非自回归并行骨干
w/ Domino Head (完整 Domino) 4.80 / 3.84× 4.35 / 3.51× 3.94 / 3.16× 4.19 3.31× 完整模型:GRU + 低秩残差校准
训练策略对比: TTT - - - 3.80 - 使用类似 EAGLE-3 的测试期模拟生成训练
训练策略对比: TF - - - 3.96 - 使用 Teacher Forcing 但无课程退火
训练策略对比: TF + Curriculum - - - 4.19 - 采用基座锚定课程防塌陷(本文方案)

关键发现

  • 参数与延迟开销极微小,质量收益极显著:相较于纯并行骨干 DFlash,Domino 仅增加了 56M 参数(占草稿模型 +5.3%),在 A100 上前向延迟仅增加 2.8%,但换取了平均接受长度 16.6% 的大幅提升,在 GSM8K 上平均接受长度突破 10 个 token。
  • 高并发服务场景韧性突出:在 SGLang 框架的高并发吞吐评测中(并发度 2 至 32),EAGLE 等自回归草稿在大并发下受草稿阶段计算瓶颈拖累严重降速(并发 32 时加速比常跌破 1.0×),而 Domino 在并发 32 时在 Qwen3-4B GSM8K 仍可维持 1.9× 吞吐提升,达成 5509 TPS。
  • 基座锚定是防止表征塌陷的关键:消融曲线证实,若不采用 \(\lambda_t\) 动态退火损失,骨干网络的训练损失在整个训练周期内停滞在 7.0 以上的高位(完全被残差捷径取代);引入退火后骨干损失稳定下降至 2.0 左右,确保了并行基座与因果校准的良性协作。

亮点与洞察

  • 解耦因果机制与重度模型执行:传统自回归草稿将“因果建模”与“模型前向+LM Head 投影”强绑定,Domino 证明因果信息不需要深层神经网络层层传递,通过超轻量的 GRU 在 logit 空间做低秩残差叠加,即可达到媲美自回归草稿的分布对齐精度。
  • Teacher Forcing 与投机验证逻辑的完美契合:以往投机模型训练常纠结于训练与自回归采样的曝光偏差(Exposure Bias),而投机采样的验证规则决定了只有前缀完全命中时后续位置才有意义,因此在真实 GT 前缀上训练因果编码器不仅开销更小,而且精准击中了验证机制的核心工作区。
  • 算子级工程与算法闭环优化:将原本分散的 GRU 状态更新、低秩矩阵乘与 logit 残差相加通过 Triton 深度融合并捕获进 CUDA Graphs,使序贯校准单步开销压缩至 1.2ms,从工程实现上保障了轻量因果逻辑不会演变成新的序列瓶颈。

局限与展望

  • 框架适配与多硬件生态待拓展:作者指出当前高并发加速评测主要围绕 SGLang 展开,在 vLLM、TensorRT-LLM 等其他工业级引擎上的适配与工程集成仍需系统检验;同时跨架构 GPU(如昇腾、AMD ROCm)上的算子融合效能有待进一步调优。
  • 草稿块大小的静态局限:目前草稿块长度固定为 16,面对不同熵值分布(如高确定性的代码模板 vs 高发散性的文学创作),静态块长可能在简单场景下欠拟合能力,而在困难场景下浪费验证带宽。
  • 扩展至多模态与超长上下文:探索将解耦因果校准思路迁移到多模态生成或超长上下文草稿阶段,利用块并行加速图像/视频 token 生成,同时借助低秩因果状态校正长程一致性。

相关工作与启发

  • vs EAGLE-3 / EAGLE-2: EAGLE 系列依赖自回归解码头与多步树形搜索扩展接受长度,生成成本随步长剧烈递增;Domino 仅用一次并行前向,将因果依赖移入轻量 logit 残差,在相同参数规模下吞吐提升超 2 倍。
  • vs DFlash / DART: DFlash 和 DART 采用非自回归/并行扩散范式大幅削减了草稿耗时,但丧失了块内因果上下文;Domino 在保留并行低开销优势的前提下,补齐了因果修正模块,平均接受长度由 6.0 提升至 7.1+。
  • vs FR-Spec / SpecVocab: 此类工作试图通过词表剪枝或动态词表选择来加速全词表 LM Head 投影,但仍受制于自回归串行调用;Domino 直接绕过重复投影,仅在低秩空间计算 Logit 修正量。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 巧妙提出将因果依赖建模从自回归前向中解耦至 Logit 残差空间的创新设计
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 Qwen3 系列模型、8 大权威基准、低延迟与高并发吞吐、多维消融
  • 写作质量: ⭐⭐⭐⭐⭐ 动机与图示清晰直观,理论权衡分析透彻,问题定位极具工程针对性
  • 价值: ⭐⭐⭐⭐⭐ 大幅弥合了并行草稿与自回归草稿之间的质量鸿沟,具备极高的工程落地与生产部署价值