Efficiently Aligning Draft Models via Parameter- and Data-Efficient Adaptation

会议: NeurIPS 2026
arXiv: 2603.09527
代码: https://github.com/Lyn-Lucy/Efficient-Draft-Adaptation
领域: LLM效率
关键词: 投机微调, 草稿模型自适应, 参数高效微调, 数据选择, 推理加速

一句话总结

针对领域微调导致目标模型输出分布漂移并大幅削弱投机微调接受率的难题，本文提出参数与数据高效的草稿模型自适应框架 EDA，通过解耦共享/专用门控专家、目标模型领域自生成监督与基于表征漂移的免训练样本筛选，以极低训练开销恢复并提升投机解码加速比。

研究背景与动机

投机微调（Speculative Decoding）作为一种无损的大语言模型推理加速范式，通过轻量级草稿模型预先推测多个候选词元，再由目标大模型并行验证，在数学上严格保证最终输出分布不变的前提下显著减少了目标模型的前向计算次数。然而在实际工业与科研部署中，通用预训练大模型往往会针对特定垂直领域（如数学推理、代码生成、医疗问答等）进行监督微调（SFT）。这种领域微调会剧烈改变目标模型的条件概率分布与文本生成习惯。

这一现象导致了投机解码系统面临严峻的分布失配瓶颈：基于通用基座模型训练的草稿模型在微调后的特定领域目标模型上接受率断崖式下跌，平均接受长度急剧萎缩，甚至由于验证频繁失败反而比直接自回归解码更慢。若为每个微调后的目标模型从头全量重新训练专有草稿模型，不仅计算成本与时间开销巨大，而且在下游垂直领域数据存在隐私保护或专有产权限制时，训练草稿模型往往难以获取目标微调所用的原始私有语料。

本文作者观察到，微调前后目标模型的输出分布并非完全割裂，未适配草稿模型仍具有非零接受长度，表明两者依然共享大量基础语言规律，仅在领域特有表征与推理风格上存在局部偏移。核心 idea：将草稿模型解耦为固定的通用共享专家与轻量级可微调专用专家，结合目标模型端到端自生成数据对齐训练与推测目标，并利用隐藏表征马氏距离筛选高价值样本实现参数与数据双重高效自适应。

方法详解

整体框架

EDA 框架旨在将预训练的通用草稿模型快速、低成本地适配至经过领域微调的目标模型。整个自适应流程由三个紧密耦合的阶段构成： 1. 共享-专用门控草稿解耦架构：在草稿模型的 Transformer 块中保留预训练通用知识，同时引入轻量级专用专家与可学习门控； 2. 目标模型领域自生成数据对齐：使用目标模型在领域提示上自回归生成补全，消除训练监督与投机验证时的分布偏差； 3. 基于表征偏移的高价值样本筛选：利用目标模型自生成过程中的隐藏状态计算马氏距离与高分位数聚合，构建紧凑子集训练专用专家。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["通用草稿模型预训练权重 + 领域无标注 Prompt"] --> B["目标模型领域自生成<br/>生成对齐轨迹数据 D_self"]
    B --> C["高价值样本筛选<br/>PCA降维 + 马氏距离 + 高分位数聚合"]
    C --> D["构建紧凑训练子集 D_compact<br/>仅保留偏离通用分布的高价值样本"]
    D --> E["共享-专用门控专家微调<br/>冻结共享专家，仅优化专用专家与门控权重"]
    E --> F["对齐后的轻量草稿模型<br/>服务于领域目标模型投机微调加速"]

关键设计

1. 共享-专用门控草稿架构：解耦通用语言规律与领域特定分布 传统的投机解码草稿模型采用单体网络拟合目标模型的完整分布，微调目标模型后若采用全量微调，参数量大且容易破坏通用能力。EDA 将草稿模型 Transformer 块内的前馈网络（FFN）替换为共享专家 \(E^{\mathrm{s}}\) 与专用专家 \(E^{\mathrm{p}}\) 的双专家门控结构。共享专家继承在通用语料（如 ShareGPT）上预训练的 FFN 权重并在适配过程中严格冻结，负责捕捉跨领域通用的基础语法和通用表征；专用专家被初始化为相同维度的轻量级瓶颈 MLP 并保持可训练。给定隐藏状态输入 \(h_t \in \mathbb{R}^{L \times d}\)，双路专家输出为： $\([u_t^{\mathrm{s}}, u_t^{\mathrm{p}}] = [E^{\mathrm{s}}(h_t), E^{\mathrm{p}}(h_t)]\)$ 门控网络引入可学习路由权重 \(w^{\mathrm{s}}, w^{\mathrm{p}} \in \mathbb{R}^{d \times 1}\) 计算两者的 softmax 贡献权重： $\([g_t^{\mathrm{s}}, g_t^{\mathrm{p}}] = \operatorname{softmax}([h_t w^{\mathrm{s}}, h_t w^{\mathrm{p}}])\)$ 最终混合输出表示为 \(\tilde{h}_t = g_t^{\mathrm{s}} u_t^{\mathrm{s}} + g_t^{\mathrm{p}} u_t^{\mathrm{p}}\) 并送入输出头得到词元预测概率。该设计使得自适应阶段仅需微调专用专家和路由向量（仅占完整模型约 27.5% 参数），极大地降低了参数更新与优化显存开销。

2. 目标模型领域自生成：消除离线训练与投机验证目标失配 在常规草稿模型训练中，模型通常以离线数据集中的真实后续词元为监督目标。但在投机微调的验证阶段，草稿模型的推测词元接受与否完全取决于目标模型自身的条件概率分布 \(P_{\theta_t}(\cdot \mid x)\)。当下游领域采用专有数据微调或目标模型具有特定的输出格式偏好时，静态公开数据集与目标模型的真实自回归轨迹存在明显分歧。EDA 引入领域自生成机制：给定领域提示集合 \(\mathcal{D}_{\mathrm{domain}} = \{x^i\}\)，直接调用微调后的目标模型执行自回归采样生成对应回答 \(y^i \sim P_{\theta_t}(\cdot \mid x^i)\)，构造出对齐自生成数据集 \(\mathcal{D}_{\mathrm{self}} = \{(x^i, y^i)\}\)。草稿模型在 \(\mathcal{D}_{\mathrm{self}}\) 上以目标模型的实际生成轨迹为监督进行优化，使得草稿预测与目标模型的后续验证标准高度一致，直接拉长了投机命中链条。

3. 基于表征偏移的高价值样本筛选：免额外计算的紧凑子集挖掘 即便仅更新专用专家，在大规模领域自生成数据集上全量训练依然带来不必要的计算冗余。因为对于已被冻结的共享专家充分掌握的样本，继续训练专用专家收益极低，应当将优化算力集中在展现出显著领域特定表征偏移的样本上。EDA 提出一种完全复用自生成推理隐藏状态的免训练样本价值评分算法： - PCA 降维：对目标模型生成回答词元序列 \(\mathcal{A}\) 产生的各层隐藏状态 \(h_t\)，通过主成分分析降维为 \(h'_t\)，过滤背景噪声并保障协方差矩阵估算的数值稳定性； - 通用参考分布马氏距离：在通用参考集 \(\mathcal{D}_{\mathrm{general}}\) 提取降维隐状态的均值 \(\mu\) 与协方差矩阵 \(\Sigma\)，计算每个词元的马氏距离： $\(d_t(x) = (h'_t(x) - \mu)^\top \Sigma^{-1} (h'_t(x) - \mu)\)$ - 高分位数序列聚合：由于垂直领域的特征差异（如核心定理推导、特定代码语法调用）往往集中在局部的关键步上，简单的平均池化会平滑掉关键奇异信号。EDA 采用高分位数聚合得到样本级评分： $\(s(x) = \mathrm{Quantile}_{t \in \mathcal{A}}(d_t(x), \rho)\)$ 按 \(s(x)\) 降序挑选前 \(K\) 个样本构成紧凑训练集 \(\mathcal{D}_{\mathrm{compact}}\)。该过程不产生额外的模型前向计算，利用 50% 的紧凑样本即可达到全量数据适配的接受率。

损失函数 / 训练策略

在筛选得到的紧凑子集 \(\mathcal{D}_{\mathrm{compact}}\) 上，冻结草稿模型的注意力层、输出头以及共享专家 \(E^{\mathrm{s}}\)，仅对专用专家 \(E^{\mathrm{p}}\) 与路由权重 \(w^{\mathrm{s}}, w^{\mathrm{p}}\) 进行梯度更新。损失函数结合词元预测交叉熵与中间层特征对齐正则化项： $\(\theta_d = \arg\min_{\theta_d} \mathbb{E}_{x \sim \mathcal{D}_{\mathrm{compact}}} \sum_t \left[ L_{\mathrm{reg}} + \mathrm{CE}(P_{\theta_t}(x_t \mid x_{<t}), P_{\theta_d}(x_t \mid x_{<t})) \right]\)$ 其中 \(L_{\mathrm{reg}}\) 为参考 EAGLE 的中间隐层表征对齐损失。训练时采用统一超参数配置：Batch size 为 16，学习率设为 \(4 \times 10^{-5}\)，训练周期为 20 个 epoch。

实验关键数据

主实验

实验选用 Qwen2.5-7B 作为通用基座模型训练初始草稿模型，并分别评估向三个领域微调目标模型的自适应性能：数学领域（Qwen2.5-Math-7B，5个基准：GSM8K、AIME2024、SVAMP、Hendrycks-MATH、MathQA）、代码领域（Qwen2.5-Coder-7B，5个基准：HumanEval、APPS、BigCodeBench、HumanEval+、MBPP）以及医疗领域（Meditron3-Qwen2.5-7B，5个基准：MedMCQA、MedQA-USMLE、PubMedQA、MedQA、MMLU）。评估指标包括平均接受长度（\(\tau\)）与端到端解码加速比（Speedup）。

下表汇报在贪婪解码（\(T=0\)）下各领域基准的平均结果：

领域 / 目标模型	方法	可训练参数规模	平均接受长度 \(\tau\)	平均加速比
数学领域 (Qwen2.5-Math-7B)	Training-Free	0	1.19	\(0.84\times\)
	Full-FT	100%	4.69	\(3.07\times\)
	LoRA	~27.5%	4.61	\(2.94\times\)
	EDA (Base)	27.5%	4.71	\(3.07\times\)
	EDA (Ours, 50% 数据)	27.5%	5.19	\(3.27\times\)
代码领域 (Qwen2.5-Coder-7B)	Training-Free	0	1.75	\(1.18\times\)
	Full-FT	100%	4.59	\(2.76\times\)
	LoRA	~27.5%	4.50	\(2.72\times\)
	EDA (Base)	27.5%	4.59	\(2.76\times\)
	EDA (Ours, 50% 数据)	27.5%	5.18	\(3.11\times\)
医疗领域 (Meditron3-Qwen2.5-7B)	Training-Free	0	2.15	\(1.39\times\)
	Full-FT	100%	3.89	\(2.47\times\)
	LoRA	~27.5%	3.79	\(2.36\times\)
	EDA (Base)	27.5%	3.87	\(2.45\times\)
	EDA (Ours, 50% 数据)	27.5%	4.21	\(2.66\times\)

消融与开销分析实验

为验证数据筛选算法的有效性以及整体自适应框架的算力开销优势，在 4 块 NVIDIA H200 GPU 上对 Qwen2.5-7B 到 Qwen2.5-Math-7B 的微调适配进行了详细对比分析：

评估维度 / 配置	可训练大小 (MB)	训练耗时 (h)	GSM8K 接受长度 \(\tau\)	说明
从头重新训练 (Re-Train)	462 MB (100%)	5.1 h (100%)	4.22	传统做法：为新目标模型从头训练草稿模型
EDA (50% 随机采样)	127 MB (27.5%)	2.0 h (39.2%)	4.58	随机剔除一半样本，未利用表征偏移信息
EDA (50% 反向 PCA 采样)	127 MB (27.5%)	2.0 h (39.2%)	4.44	优先选择马氏距离最小样本，性能出现明显衰退
EDA (50% PCA 马氏筛选)	127 MB (27.5%)	2.0 h (39.2%)	4.79	相比从头重训省时 60.8%，\(\tau\) 提高 +13.5%
EDA (100% 全量自生成数据)	127 MB (27.5%)	4.0 h (78.4%)	4.82	增加一倍数据仅微弱提升 0.03，证明 50% 筛选即达饱和

关键发现

• 未经微调适配的草稿模型在特定领域严重失效：在数学领域 \(T=0\) 下直接迁移时，\(\tau\) 仅为 1.19，加速比仅 \(0.84\times\)（反而比不使用投机解码更慢）。而在经过 EDA 适配后，\(\tau\) 恢复至 5.19，加速比达到 \(3.27\times\)。
• 目标模型自生成对齐超越全量微调：EDA (Ours) 相比于全参数微调（Full-FT）不仅节省了参数，平均接受长度更全面领先（数学 5.19 vs 4.69，代码 5.18 vs 4.59，医疗 4.21 vs 3.89），证明消除训练数据与验证目标间的分布偏差比单纯扩大模型优化容量更关键。
• 高分位数马氏距离实现了高价值样本的快速收敛：通过 PCA 降维与马氏距离筛选前 50% 的样本，所获得的接受率（4.79）已极其逼近使用 100% 数据训练的上限（4.82），显著优于随机采样的 4.58 与逆序采样的 4.44。

亮点与洞察

• 解耦输出分布建模：打破传统方法将草稿模型视为一体化单体网络的固有思维，通过共享专家复用通用语言底座、专用专家定向拟合领域增量，以 27.5% 的参数实现了跨模型的高效复用。
• 目标模型闭环自生成消除目标失配：深刻指出投机解码中草稿模型预测的是“目标模型的决策”而非“人类标注真值”，采用目标模型生成伪标签直接抹平了预训练与推测执行时的目标差异。
• 免前向计算的高价值数据蒸馏：精巧地利用生成阶段已产生的中间层隐藏状态计算马氏偏离度，不仅无任何额外推理开销，而且通过高分位数聚合敏锐捕捉到领域专用的“关键步骤”，为大模型数据剪枝提供了新思路。

局限与展望

• 基座架构兼容性假设：当前实验主要依托于同系列架构的迁移适配（如 Qwen2.5 基础模型向同尺寸微调版迁移），若目标模型在微调阶段更改了词表尺寸、嵌入层映射或发生了剧烈架构演进，共享专家的复用策略可能需要额外的投影层桥接。
• 多领域多专家动态路由的扩展空间：目前 EDA 针对单个领域微调独立训练一个专用专家。未来可进一步探索混合专家系统（MoE），构建多垂直领域共存的轻量专家池，在推理时根据 prompt 动态激活专用专家以实现通用投机加速。
• 自生成过程的离线依赖：当前自生成数据集仍需目标模型预先完成离线批量生成，未来可探索在线流式对齐或弱监督轻量自蒸馏机制，进一步压缩端到端自适应周期。

相关论文

• [NeurIPS 2026] SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning
• [NeurIPS 2026] Communication-Efficient LLM Adaptation over Decentralized GPU Meshes
• [ACL 2026] Small Data, Big Noise: Adversarial Training for Robust Parameter-Efficient Fine-Tuning
• [ICLR 2026] PARD: Accelerating LLM Inference with Low-Cost Parallel Draft Model Adaptation
• [NeurIPS 2026] HAPS: Hierarchical LLM Routing with Joint Architecture and Parameter Search