Decoupled Contrastive Decoding via Expert-Aligned Drafting¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/chadlzx/dcd
领域: LLM 其他
关键词: 对比解码、推测解码、专家对齐、草稿提议、推理加速
一句话总结¶
针对对比解码(CD)因引入业余模型导致自回归延迟成倍剧增的问题,本文揭示了轻量草稿模型难以学习弱对比信号且误差放大的机理,进而提出解耦对比解码(DCD),将业余模型移出串行草稿生成链条并改用纯专家对齐提议器,在维持对比目标完全无损的前提下取得 1.65x 至 1.95x 的平均端到端加速。
研究背景与动机¶
对比解码(Contrastive Decoding, CD)通过放大强专家模型(Expert)与弱业余模型(Amateur)在各词元上的对数似然差异,能够显著抑制大语言模型的幻觉与推理逻辑错误,甚至成为代理微调(Proxy Tuning)与仿真微调(Emulated Fine-Tuning)等轻量适配技术的核心引擎。然而,对比解码在自回归生成的每一步都需要串行执行专家模型与业余模型的双向前向计算,使得原本就受限于显存带宽的自回归生成变得异常昂贵。当研究人员尝试引入推测解码(Speculative Decoding, SD)来降低解码延迟时,传统单模型推测中不存在的“提议对齐(Proposal Alignment)”困境随之浮出水面:串行推测生成草稿时,究竟是应该直接调用业余模型、训练一个感知对比目标的轻量草稿器,还是将对比信号彻底保留在并行验证阶段?
现有加速方法如投机对比解码(SCD)与协作推测(CoS)普遍采用第一种路线,直接将业余模型作为草稿生成器。这一选择虽然看似自然,却使得串行草稿路径的开销与业余模型的前向耗时强绑定,单步串行提议耗时高达数毫秒,极大削弱了推测解码带来的加速红利。为此,研究者自然会设想第二种路线:是否能训练一个轻量级特征草稿模型(如 EAGLE 系列),使其直接拟合包含专家与业余差值的对比目标分布?本文通过控制严密的跨参数 Cross-\(\alpha\) 诊断实验和近似双草稿器(Approximate Dual-Drafter)分解证明,对比感知型轻量草稿器在多数配置下不仅无法提高接受长度,反而会因拟合难度剧增而劣化性能。其深层矛盾在于:在全词表中,超过 81.1% 词元位置处的对比信号强度低于 1.0,而草稿模型的基线拟合误差却普遍高居 \(D_{\text{KL}} \ge 2.0\);当对比信号被草稿器本身的逼近误差严重掩盖甚至放大时,强行让草稿器拟合对比分布只会徒增建模负担。
既然轻量草稿器无法稳定捕获微弱的对比残差,且直接调用业余模型又带来高昂的串行等待延迟,最优的切入角度便是将草稿提议与对比判别完全解耦。核心 idea:彻底切断串行提议路径与业余模型的耦合,直接复用现成且纯粹专家对齐的轻量提议器(如 EAGLE3 或 N-gram)极速生成候选词,仅在并行批量验证阶段注入业余模型并针对未修改的对比解码目标执行标准推测判别,从而在严格无损保留对比解码输出分布的同时实现倍数级推理加速。
方法详解¶
整体框架¶
解耦对比解码(Decoupled Contrastive Decoding, DCD)的核心思想在于将推测系统的“分布正确性”与“提议效率”完全分离。在标准对比解码中,给定历史上下文 \(h\),目标生成分布定义为: $$ \pi_{\text{CD}}(x \mid h) = \frac{1}{Z_{\text{CD}}(h)} \pi_p(x \mid h)^{1+\alpha} \pi_q(x \mid h)^{-\alpha} $$ 其中 \(\pi_p\) 为专家模型分布,\(\pi_q\) 为业余模型分布,\(\alpha \ge 0\) 控制惩罚强度。在 DCD 中,草稿提议器 \(E\) 仅以专家模型的特征或序列为目标进行训练,在串行阶段独立于业余模型 \(M_q\) 展开 \(\gamma\) 步自回归提议。随后,专家模型 \(M_p\) 与业余模型 \(M_q\) 对候选词元序列进行一次并行的批量前向传播,计算出真实的对比目标分布 \(\pi_{\text{CD}}\) 并执行标准推测接受-拒绝采样。
方法的端到端执行流如下图所示:
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["历史上下文序列 y 与缓存隐状态"] --> B["解耦式草稿生成机制<br/>轻量专家对齐提议器极速生成 gamma 个候选词元"]
B --> C["并行双模型前向评估<br/>专家模型 Mp 与业余模型 Mq 同步打分"]
C --> D["免重训对比验证协议<br/>依据未截断标准对比目标分布逐词推测检验"]
D -->|检验命中或发生拒绝| E["有效草稿对齐与动态 alpha 鲁棒性<br/>残差分布采样修正或前缀推进更新"]
E --> F["输出无损对比解码词元序列"]
关键设计¶
1. 解耦式草稿生成机制:消除串行提议路径对业余模型的依赖 针对现有方法(如 SCD 与 CoS)在串行草稿生成中频繁调用完整业余模型 \(M_q\) 导致单步开销高昂(约为 \(\gamma \cdot t_q\))的痛点,DCD 将业余模型从提议链条中完全剥离。DCD 采用纯专家对齐的独立提议器 \(E\)(如 EAGLE3 或前缀匹配 N-gram),在每轮推测中仅耗费极小的特征层或检索延迟 \(t_e\)(在实验中 EAGLE3 单步仅需约 0.6ms,而 N-gram 提议耗时接近 0ms,相比业余模型的 3.5ms 至 7.4ms 降低了 5 到 12 倍)。这种解耦使草稿生成耗时从 \(\gamma \cdot t_q\) 锐减为 \(\gamma \cdot t_e\)。更关键的是,使用者无需针对每一个新业余模型或每个不同的 \(\alpha\) 重新训练草稿器,能够直接即插即用社区公开发布的各尺寸专家模型专用 EAGLE3 权重。
2. 免重训对比验证协议:无损维持目标分布的推测判别 针对传统推测采样如何与双模型对比目标兼容的问题,DCD 在并行验证阶段严格以未截断或受合理性约束的真实归一化对比概率 \(\pi_{\text{CD}}\) 为基准。在单轮验证中,对第 \(i\) 个候选词元 \(\tilde{y}_i\),系统依据接受概率接受该词元: $$ \text{Acceptance Probability} = \min\left(1, \frac{\pi_{\text{CD}}^{(i)}(\tilde{y}_i)}{\pi_e^{(i)}(\tilde{y}_i)}\right) $$ 若在第 \(k \le \gamma\) 个位置遇到拒绝,算法根据截断残差分布 \(P_r(x) \propto \max\left(0, \pi_{\text{CD}}^{(k)}(x) - \pi_e^{(k)}(x)\right)\) 重新采样替代词元;若全数接受,则在第 \(\gamma+1\) 位置直接从 \(\pi_{\text{CD}}^{(\gamma+1)}\) 采样。论文在理论上证明了定理 B.4:只要推测验证以良定义的归一化目标概率 \(\pi_{\text{CD}}\) 为基准,无论提议器 \(E\) 的分布形态如何,输出序列的分布与原始自回归对比解码完全一致,具备数学上的绝对无损保证(Lossless Property)。
3. 有效草稿对齐与动态 \(\alpha\) 鲁棒性:抵御对比惩罚引起的接受率漂移 针对高对比惩罚系数 \(\alpha\) 下草稿接受率容易雪崩的潜在担忧,作者给出了“有效草稿对齐(Effective Draft Alignment)”的理论证明。定义当草稿分布满足 \(\mathbb{E}_{x \sim \pi_e}[\log(\pi_p(x)/\pi_q(x))] > \mathbb{E}_{x \sim \pi_q}[\log(\pi_p(x)/\pi_q(x))]\) 时,草稿模型偏好专家高置信、业余低置信词元的倾向强于业余模型自身。在定理 B.3 中,作者严格导出了 KL 散度相对于 \(\alpha\) 的导数差值: $$ \frac{\partial}{\partial \alpha} D_{\text{KL}}(\pi_q \parallel \pi_{\text{CD}}) - \frac{\partial}{\partial \alpha} D_{\text{KL}}(\pi_e \parallel \pi_{\text{CD}}) = \sum_{x \in \mathcal{V}} (\pi_e(x) - \pi_q(x)) \log \frac{\pi_p(x)}{\pi_q(x)} > 0 $$ 该不等式表明,随着对比系数 \(\alpha\) 增大,业余模型分布 \(\pi_q\) 偏离真实对比目标 \(\pi_{\text{CD}}\) 的速率显著快于专家对齐草稿器 \(\pi_e\)。这在机理上解释了为何 DCD 在较大 \(\alpha\) 条件下接受率衰减更为平缓,成功守住了提议低延迟转化而来的端到端加速优势。
一个完整示例¶
假设系统在输入 prompt 后进入第 \(t\) 轮推测解码,预设草稿长度 \(\gamma = 3\):
1. 草稿生成:轻量 EAGLE3 提议器仅依赖专家上一层的融合隐状态,在 1.8ms 内连续贪婪推测出 3 个候选词元序列 [" solves", " the", " problem"],对应的提议分布概率分别为 \([0.92, 0.88, 0.75]\)。
2. 并行验证打分:专家模型 \(M_p\) 与业余模型 \(M_q\) 对包含这 3 个词元的完整前缀进行单次前向并行计算,得出各位置的对数似然向量,并在 CPU/GPU 混合内核中合成真实归一化对比概率 \(\pi_{\text{CD}}\),得到候选词在目标分布下的真实概率为 \([0.95, 0.85, 0.40]\)。
3. 逐词校验:
- 词元 1:\(\pi_{\text{CD}} / \pi_e = 0.95 / 0.92 > 1\),直接接受 solves;
- 词元 2:\(\pi_{\text{CD}} / \pi_e = 0.85 / 0.88 \approx 0.966\),掷随机数 \(r_2 \sim U(0, 1)\),若 \(r_2 \le 0.966\) 则接受 the;
- 词元 3:\(\pi_{\text{CD}} / \pi_e = 0.40 / 0.75 \approx 0.533\),若 \(r_3 > 0.533\) 则拒绝该词,从残差分布 \(\max(0, \pi_{\text{CD}} - \pi_e)\) 采样修正词元 equation。
4. 结果提交:本轮迭代共产生 3 个有效词元 [" solves", " the", " equation"],总耗时为 \(\gamma \cdot t_e + t_p + t_q \approx 1.8 + 7.98 + 4.38 = 14.16\text{ ms}\)。对比之下,直接用业余模型的 SCD 生成 3 个词需额外耗费 \(3 \times 3.47 \approx 10.4\text{ ms}\) 的串行草稿时间。
损失函数 / 训练策略¶
DCD 本身具有零额外训练(Training-Free)的显著优势:
- 在工程部署时,DCD 直接加载各基座大模型预训练好的官方开源 EAGLE3 检查点(如 yuhuili/EAGLE3-LLaMA3.1-Instruct-8B 等),无需任何与特定业余模型配对的二次训练。
- 论文在前期诊断阶段测试了训练对比感知草稿器(Path 1)的交叉训练目标:使双输入 EAGLE 预测 \(\pi_{\text{CD}}(x \mid h) \propto \pi_p(x \mid h) e^{\alpha s(x \mid h)}\),其中监督信号包含专家与业余隐状态拼接。实验表明哪怕耗费资源进行这种针对特定 \(\alpha\) 的对比微调,在 GSM8K 与 MMLU 上相比基线纯专家监督(train-\(\alpha = 0.0\))的平均接受长度增益仅为微不足道的 \(+0.77\%\) 甚至负增长。因此 DCD 确立了完全放弃对比感知训练、拥抱离线专家对齐权重的策略。
实验关键数据¶
主实验¶
主实验在 SGLang 框架及单张 NVIDIA H200 (141GB) GPU 上展开,在贪婪解码(\(T=0\))与采样解码(\(T=1\))下评估了 HumanEval (HE)、GSM8K (GSM)、MMLU 和 CNN/DM 四个基准数据集。对比方法涵盖原始对比解码(Vanilla CD)、投机对比解码(SCD)、协作推测解码(CoS)、采用前缀匹配 N-gram 提议器的 DCD-NGRAM 以及采用 EAGLE3 提议器的 DCD-EAGLE3。
以下为 8B 规模下不同模型配对的贪婪解码加速比与吞吐量总结(取自论文表 2 与表 11):
| 模型体系 (专家 / 业余) | 对比强度 \(\alpha\) | Vanilla CD 吞吐 (tok/s) | SCD 加速比 | CoS 加速比 | DCD-NGRAM 加速比 | DCD-EAGLE3 加速比 (吞吐) |
|---|---|---|---|---|---|---|
| Llama-3 (8B-Ins / 1B-Ins) | \(\alpha = 0.1\) | 88.7 (1.00x) | 1.43x | 1.54x | 1.56x | 1.83x (162.3 tok/s) |
| Llama-3 (8B-Ins / 1B-Ins) | \(\alpha = 0.5\) | 90.1 (1.00x) | 1.34x | 1.40x | 1.59x | 1.65x (149.0 tok/s) |
| Qwen3 (8B / 1.7B) | \(\alpha = 0.1\) | 63.1 (1.00x) | 1.19x | 1.27x | 1.28x | 1.95x (122.9 tok/s) |
| Qwen3 (8B / 1.7B) | \(\alpha = 0.5\) | 64.6 (1.00x) | 1.05x | 1.08x | 1.19x | 1.71x (110.4 tok/s) |
| Llama-EFT (8B-Ins / 8B) | \(\alpha = 0.1\) | 73.3 (1.00x) | 1.12x | 1.15x | 1.52x | 1.77x (129.6 tok/s) |
| Llama-EFT (8B-Ins / 8B) | \(\alpha = 0.5\) | 72.0 (1.00x) | 1.05x | 1.10x | 1.58x | 1.72x (124.0 tok/s) |
在所有 8B 评测设定中,DCD-EAGLE3 的平均加速比稳居第一(1.65x 至 1.95x)。在最具挑战性的 Qwen3 (\(\alpha=0.5\)) 设定下,业余模型草稿开销过大导致 SCD 与 CoS 在 MMLU/CNN-DM 上甚至跌破 1.0x(即慢于朴素 CD),而 DCD-EAGLE3 依然稳定保持在 1.71x。此外,在 70B 扩展实验(Llama-3.3-70B + Llama-3.1-8B)中,DCD-EAGLE3 依然达到了 1.96x 至 2.02x 的平均加速。
消融实验¶
为透视 DCD 的加速本质,论文在 MMLU 数据集(\(\alpha=0.1, \gamma=5, T=0\))上对各方法的接受长度 \(L\) 及各组件单步耗时(\(t_e, t_p, t_q\) 毫秒)进行了深度耗时拆解(表 5),并对比了“近似双草稿器(Approximate Dual-Drafter)”与 DCD 专家对齐提议器的接受表现(表 6):
| 模型配置与方法 | 平均接受长度 \(L\) | 提议器单步耗时 \(t_e\) (ms) | 专家单步耗时 \(t_p\) (ms) | 业余单步耗时 \(t_q\) (ms) | 实测加速比 | 理论模型预测加速比 |
|---|---|---|---|---|---|---|
| Llama-3 (8B/1B) | ||||||
| Vanilla CD | 0.00 | - | 6.95 | 3.83 | 1.00x | 1.00x |
| SCD (业余模型草稿) | 2.45 | - | 6.84 | 3.47 | 1.34x | 1.48x |
| CoS (协作草稿) | 2.45 | - | 7.08 | 3.59 | 1.34x | 1.48x |
| DCD-NGRAM | 0.48 | 0.00 | 7.04 | 4.06 | 1.36x | 1.43x |
| DCD-EAGLE3 (本文) | 1.44 | 0.63 | 7.98 | 4.38 | 1.50x | 1.70x |
| Qwen3 (8B/1.7B) | ||||||
| Vanilla CD | 0.00 | - | 8.47 | 6.52 | 1.00x | 1.00x |
| SCD (业余模型草稿) | 2.49 | - | 9.06 | 6.53 | 1.14x | 1.20x |
| CoS (协作草稿) | 2.49 | - | 9.15 | 6.63 | 1.17x | 1.23x |
| DCD-NGRAM | 0.41 | 0.00 | 9.07 | 7.23 | 1.22x | 1.30x |
| DCD-EAGLE3 (本文) | 1.48 | 0.61 | 10.15 | 7.93 | 1.61x | 1.76x |
| Llama-EFT (8B/8B) | ||||||
| Vanilla CD | 0.00 | - | 7.19 | 7.25 | 1.00x | 1.00x |
| SCD (业余模型草稿) | 2.64 | - | 6.77 | 6.47 | 1.20x | 1.28x |
| CoS (协作草稿) | 2.64 | - | 7.67 | 7.38 | 1.11x | 1.17x |
| DCD-NGRAM | 0.49 | 0.00 | 6.98 | 7.12 | 1.45x | 1.52x |
| DCD-EAGLE3 (本文) | 1.46 | 0.60 | 7.42 | 7.50 | 1.79x | 1.98x |
此外,在对比感知型双草稿拟合消融中,近似双草稿器(Approximate Dual-Drafter)在 Llama-3 (\(\alpha=0.5\)) 下的平均接受长度 \(L\) 仅为 1.711 / 1.241(GSM8K/MMLU),相对目标分布的散度为 \(D_{\text{KL}}=4.74\);而专家对齐的 DCD-EAGLE3 接受长度更高(1.863 / 1.355),散度更低(\(D_{\text{KL}}=3.54\))。
关键发现¶
- 串行延迟优于绝对接受数:尽管业余模型草稿(SCD/CoS)在单轮中接受的词元数略多(\(L \approx 2.45\) 对比 DCD 的 \(1.44\)),但其单步草稿耗时高达 3.5ms 至 7.4ms;DCD-EAGLE3 单步仅需约 0.6ms,直接将串行提议开销压缩至原本的 1/5 至 1/12,凭借极低的迭代周期时长完胜基线。
- 误差放大击垮了双草稿器:近似双草稿器的理论误差包含 \((1+\alpha)\epsilon_p - \alpha\epsilon_q\),指数倾斜使得微小的草稿误差呈指数级放大,仅在 31.9% 至 39.7% 的位置比单纯专家对齐更接近对比目标。
- 对比强度动态衰减差异:当对比强度 \(\alpha\) 从 0.0 提升至 0.5 时,SCD 在 Qwen3 MMLU 上的相对接受长度跌至 62.9%,而 DCD-EAGLE3 依然维持在 77.4%,证明专家对齐提议器对对比惩罚具备更强的动态鲁棒性。
- 严格的任务级输出一致性:在全量 HumanEval (Pass@1) 与 CNN/DM (ROUGE-L) 上,DCD-EAGLE3 与 Vanilla CD 的 95% 置信区间完全重叠,最大指标绝对差异仅为 2.44 Pass@1 点和 0.16 ROUGE-L 点,完美兑现了推测验证的无损承诺。
亮点与洞察¶
- 提出提议对齐核心问题:首次将对比推测解码中的草稿对齐路径形式化为“业余耦合”、“对比感知拟合”与“专家解耦对齐”三条路线,填补了推测对比解码系统设计的认知空白。
- 揭示信号与误差的量级倒挂机制:发现大模型推理中多达 81.1% 位置处的对比惩罚差值小于 1.0,证实轻量模型根本无法在自身高误差(\(D_{\text{KL}} \ge 2.0\))下稳定还原这种精细残差,解释了以往复杂草稿器吃力不讨好的根因。
- 零成本复用生态资产:DCD 使对比解码摆脱了对特定配对模型的定制训练束缚,直接复用现成开源 EAGLE3 权重,为 Proxy Tuning、EFT 等技术的高效工业部署铺平了道路。
局限与展望¶
- 基准测试的工况局限:作者在 Limitations 中指出,实验评测基于标准公开基准和固定的解码超参数(如固定 \(\gamma=5\)),未涵盖超长上下文序列、多语言长文本或动态自适应 \(\alpha\) 机制,在极端场景下最优草稿长度可能发生漂移。
- 动态阈值合理性约束有待探索:虽然理论证明表明 DCD 可直接包裹 Li et al. (2023) 的截断合理性约束(Plausibility Constraint),但文中主实验均基于未截断目标运行,未来可进一步在工业级复杂过滤规则下测试端到端稳定性。
相关工作与启发¶
- vs SCD (Yuan et al., 2024):SCD 直接调用业余模型作为草稿生成器,受到业余模型高延迟的严重制约;DCD 采用轻量专家对齐提议器生成草稿,将单步提议耗时削减 5 至 12 倍,在各种 \(\alpha\) 下均大幅超越 SCD。
- vs CoS (Fu et al., 2025):CoS 采用业余与专家交替提议以期跳步,但仍未脱离业余模型主导的串行时间;DCD 完全剔除提议阶段的业余模型参与,系统架构更干净且在所有模型家族中均表现出更高吞吐。
- vs EAGLE3 (Li et al., 2025):EAGLE3 面向单模型普通推测解码;DCD 证明了 EAGLE3 的提议分布可无缝外推至双模型对比解码的目标验证中,且展现出优异的 \(\alpha\) 动态抗衰减特性。
评分¶
- 新颖性: 4.5/5 深入剖析了对比推测解码中的草稿对齐本质,推翻了直觉上“草稿器需拟合对比目标”的假想,理论与诊断完备。
- 实验充分度: 5.0/5 涵盖三种 8B 配对、70B 扩展、跨 \(\alpha\) 诊断、组件耗时拆解与 Spec-Bench 六大子任务,实证极其扎实。
- 写作质量: 5.0/5 逻辑链条环环相扣,从诊断分析到理论证明再到系统落地层次清晰,图表极具说服力。
- 价值: 4.8/5 为昂贵的对比解码和代理微调推理提供了即插即用的无损落地加速方案,具备重大工程实践价值。