Continuous-Time Distribution Matching for Few-Step Diffusion Distillation¶

会议: NeurIPS 2026
arXiv: 2605.06376
代码: https://github.com/byliutao/cdm
领域: 模型压缩
关键词: 扩散模型蒸馏, 分布匹配, 连续时间优化, 截断误差修正, 少步生成

一句话总结¶

针对传统分布匹配蒸馏受限于离散时间锚点和积分截断漂移的问题，本文提出连续时间分布匹配（CDM），通过动态连续时间步调度与速度驱动的外推对齐目标，在无需 GAN 或奖励模型辅助的前提下实现了高质量 4 步文生图合成。

研究背景与动机¶

扩散模型与流匹配模型在文生图领域取得了非凡的生成质量，但其固有的迭代采样机制往往需要数十至上百次网络前向评估（NFE），带来了巨大的计算瓶颈。为了加速采样，基于分数的分布匹配蒸馏（如 DMD 与 DMD2）通过逆向 KL 散度将学生输出与预训练教师的目标分布拉齐，成为少步生成的核心路线之一。然而，现有 DMD 方案为了保持训练与少步推理时间步的严格一致，强制将反向模拟限制在目标推理步对应的少数固定离散时间锚点上。

这种严格的离散时间约束给模型优化带来了深层矛盾：一方面，在离散锚点之间的广大时间连续域内缺乏中间密集监督，迫使学生网络拟合出极其不平滑的速度场；另一方面，逆向 KL 散度固有的模式寻求（mode-seeking）倾向导致少步生成极易产生过平滑和伪影，迫使前人工作不得不引入 GAN 判别器或复杂的人类偏好奖励模型来勉强维系高频细节。此外，少步欧拉积分由于步长极大，必然带来严重的数值截断误差，导致采样轨迹不可避免地漂移出真实流形。

本文的研究切入点在于打破“训练必须严格对齐推理离散步”的思维定势，深入探究连续时间域下的分布匹配机制。作者发现分布匹配本质上具有调度独立性，且分布匹配（DM）损失并非单纯的稳定正则项，而是驱动学生对齐教师无引导分布的核心引擎。本文的核心 idea 是：将分布匹配框架全面迁移至连续优化空间，采用动态连续时间调度覆盖全时域，并构造速度驱动的轨迹外外推对齐目标（CDM Loss），在连续域内自修正积分截断漂移并正则化速度场。

方法详解¶

整体框架¶

CDM 将原本受限于离散锚点的 DMD 流程全面升级为连续时间优化范式。模型以前向扩散模型/流匹配的去噪速度场为基础，在反向模拟阶段采用动态随机长度的连续时间序列；在此基础上，利用提取的中间潜变量计算用于文本对齐的分类器自由引导增强（CA）损失与用于真实数据流形对齐的分布匹配（DM）损失。针对少步采样中大步长引起的离散误差，框架通过一阶欧拉外推探测偏离主轨迹的潜状态，并施加局部自一致的连续时间分布匹配损失（CDM Loss）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["随机初始高斯噪声<br/>x_t1 ~ N(0, I)"] --> B["动态连续时间调度<br/>反向模拟随机长度 N 与连续序列"]
    B --> C["轨迹上中间潜变量提取<br/>采样锚点 x_ti"]
    C --> D["轨迹上解耦优化<br/>CA 损失与 DM 损失双轮驱动"]
    C --> E["速度驱动外推与轨迹外对齐<br/>沿预测速度步进产生 x_ti' 并施加 CDM 损失"]
    D --> F["学生速度场联合参数更新<br/>L = L_CA + L_DM + L_CDM"]
    E --> F
    F --> G["高质量 4 步无辅助判别器生成"]

关键设计¶

1. 动态连续时间调度：打破推理锚点束缚以平滑全时域速度场

传统 DMD2 范式将反向模拟严格固定在预定义的离散时间序列 \(\mathcal{S}_{\mathrm{infer}}=\{t_1, \dots, t_N\}\) 上，这割裂了学生在连续时间流形上的平滑演化。CDM 提出在每个训练迭代中随机采样模拟长度 \(N \sim \mathcal{U}\{1, N_{\max}\}\)，并生成单调递减的连续时间序列 \(1 = t_1 > t_2 > \dots > t_N > 0\)。这种动态调度带来了双重优势：随机长度让学生接触不同步长的积分轨迹，而从连续区间 \((0, 1]\) 采样锚点消除了传统方法中学生离散锚点与教师连续扰动时间步 \(\tau, \tilde{\tau}\) 之间的分布错配。基于 Tweedie 公式与流匹配插值的理论分析表明，在动态连续调度下，CA 梯度与 DM 梯度能够在全时域内连续正则化学生速度场，其关于参数 \(\theta\) 的 DM 损失梯度表示为：

\[\nabla_{\theta}\mathcal{L}_{\mathrm{DM}}=-w_{\tilde{\tau}}\frac{\tilde{\tau}^{2}}{1-\tilde{\tau}}\left(\frac{\partial\mathcal{D}_{\theta}(\mathbf{x}_{t_{i}},t_{i},\mathbf{c})}{\partial\theta}\right)^{\!\top}\left(\nabla_{\mathbf{z}_{\tilde{\tau}}}\log p_{\mathrm{real}}(\mathbf{z}_{\tilde{\tau}}|\mathbf{c})-\nabla_{\mathbf{z}_{\tilde{\tau}}}\log p_{\mathrm{fake}}(\mathbf{z}_{\tilde{\tau}}|\mathbf{c})\right)\]

其中 \(w_{\tilde{\tau}}\) 为动态归一化权重，\(\mathcal{D}_{\phi}\) 为冻结的真实教师，\(\mathcal{D}_{\psi}\) 为在线更新的伪教师。在连续时间期望下，该损失促使学生生成分布在整个区间内均匀收敛至真实流形。

2. 速度驱动外推与轨迹外对齐：主动纠正少步欧拉积分截断误差

动态调度虽然密集覆盖了轨迹锚点，但无法约束相邻离散步之间的速度场剧烈波动。在少步推理中，单步欧拉积分的局部截断误差高达 \(\mathcal{O}((\Delta t)^{2}\sup_{\tau}\|dv_{\theta}/d\tau\|)\)，由速度场的随体导数（material derivative）决定。CDM 提出速度驱动的轨迹外探测机制：在中间锚点 \(\mathbf{x}_{t_i}\) 处，利用当前预测速度 \(v_{t_i} = v_{\theta}(\mathbf{x}_{t_i}, t_i, \mathbf{c})\)，独立采样连续目标时间步 \(t_i^{\prime} \sim \mathcal{U}(0, 1]\) 并执行一阶外推：

\[\mathbf{x}_{t_{i}^{\prime}} = \mathbf{x}_{t_{i}} + (t_{i}^{\prime} - t_{i}) v_{t_{i}}\]

由于概率流 ODE 的轨迹具有曲率，线性外推点 \(\mathbf{x}_{t_i^{\prime}}\) 会自然偏离真实轨迹。CDM 通过学生自身对该外推点进行局部干净数据预测 \(\hat{\mathbf{x}}_0^{(i^{\prime})} = \mathcal{D}_{\theta}(\mathbf{x}_{t_i^{\prime}}, t_i^{\prime}, \mathbf{c})\)，并加噪至 \(\hat{\tau} \sim \mathcal{U}(0, 1]\) 构建参考潜变量 \(\mathbf{z}_{\hat{\tau}}\)，构建轨迹外对齐损失：

\[\mathcal{L}_{\mathrm{CDM}}=\frac{1}{2}\left\|\mathcal{D}_{\theta}(\mathbf{x}_{t_{i}^{\prime}},t_{i}^{\prime},\mathbf{c})-\operatorname{sg}\Bigl[\mathcal{D}_{\theta}(\mathbf{x}_{t_{i}^{\prime}},t_{i}^{\prime},\mathbf{c})+w_{\hat{\tau}}\left(\mathcal{D}_{\phi}(\mathbf{z}_{\hat{\tau}},\hat{\tau},\mathbf{c})-\mathcal{D}_{\psi}(\mathbf{z}_{\hat{\tau}},\hat{\tau},\mathbf{c})\right)\Bigr]\right\|_{2}^{2}\]

通过迫使外推点上的速度满足差分关系 \((v_{\theta}(\mathbf{x}_{t_i^{\prime}}, t_i^{\prime}) - v_{\theta}(\mathbf{x}_{t_i}, t_i)) / (t_i^{\prime} - t_i) \approx dv_{\phi}/d\tau\)，CDM 显式压制了高阶振荡，赋予学生在偏离主干时自动拉回真实分布的自修正能力。

3. 解耦分布匹配机制：明晰无引导分布对齐与结构约束协同

针对学术界先前将 DM 损失单纯视为训练稳定剂的误区，作者通过详实对比实验揭示：在剥离文本引导增强项后，仅靠 DM 损失蒸馏出的模型高度拟合教师的无 CFG 边缘分布。这意味着 DM 损失并非被动正则，而是决定生成质量底色的核心驱动。CDM 进一步将三者融合为统一优化目标 \(\mathcal{L} = \mathcal{L}_{\mathrm{CA}} + \mathcal{L}_{\mathrm{DM}} + \mathcal{L}_{\mathrm{CDM}}\)。\(\mathcal{L}_{\mathrm{CA}}\) 负责提供隐式文本分类器梯度 \(\nabla_{\mathbf{z}_\tau} \log p_{\mathrm{real}}(\mathbf{c}|\mathbf{z}_\tau)\) 以强化图文对齐，\(\mathcal{L}_{\mathrm{DM}}\) 提供轨迹上的边缘分布匹配，而 \(\mathcal{L}_{\mathrm{CDM}}\) 提供跨时域的漂移纠正，三者互补形成了无需任何外置 GAN 鉴别器即可保持极高锐利度的自足蒸馏体系。

损失函数 / 训练策略¶

训练采用统一的三阶段交替更新策略： 1. 反向模拟与锚点采样：从高斯噪声开始，使用学生参数 \(\theta\) 沿随机采样的连续时间表迭代模拟 \(N\) 步，随机抽取单一中间锚点 \(i \sim \mathcal{U}\{1, \dots, N\}\)，实现三项损失对同一前向潜状态的高效复用。 2. 伪教师更新：伪教师 \(\psi\) 采用双时间尺度更新规则（TTUR），在学生预测的加噪潜变量上根据流匹配损失更新 2 次（学习率 \(5 \times 10^{-6}\)）。 3. 学生网络优化：学生网络采用 AdamW 优化器，学习率 \(1 \times 10^{-5}\)，权重衰减 0.001，批大小为 128（SD3-Medium）或 64（Longcat-Image）。引导系数 \(\alpha=7.0\)，\(N_{\max}=28\)。三项损失等权相加，一次反向传播更新学生参数 \(\theta\)。

实验关键数据¶

主实验¶

主实验在 SD3-Medium 和 Longcat-Image 两个骨干网络上展开，分辨率均为 \(1024 \times 1024\)。在 PickScore 测试集（2K 提示词）与 DPG-Bench（1K 提示词）上评测综合美学质量与图文对齐度。所有少步蒸馏方法在 4 NFE 下测试（除 Hyper-SD 为 8 NFE）。

数据集 / 骨干	指标	本文 (CDM, 4步)	之前SOTA (D-DMD*, 4步)	教师基线 (Base, 100步)	提升 / 对比表现
SD3-Medium	Aesthetic ↑	6.075	6.038	5.885	相比 D-DMD +0.037，显著超越 100 步教师
SD3-Medium	DPGBench ↑	85.26	84.52	85.04	超过 100 步教师基线 (+0.22)
SD3-Medium	PickScore ↑	21.95	21.85	21.73	斩获所有少步模型最高偏好分
SD3-Medium	HPSv3 ↑	9.561	9.176	8.189	较 D-DMD 提升 +0.385，大幅领先教师
SD3-Medium	CLIPScore ↑	27.98	27.69	28.60	保持高水平图文对齐
Longcat-Image	Aesthetic ↑	5.919	5.782	5.926	逼近 100 步教师水平
Longcat-Image	DPGBench ↑	88.35	88.04	87.08	超过 100 步教师 (+1.27)
Longcat-Image	HPSv3 ↑	10.65	9.629	9.450	较之前最优显著跃升 +1.021

消融实验¶

在 SD3-Medium 上进行 4 NFE 详细消融，涵盖损失函数分解与核心机制设计：

配置	AES ↑	DPG ↑	PickScore ↑	HPSv3 ↑	CLIP ↑	说明
完整模型 (Full CDM)	6.075	85.26	21.95	9.561	27.98	全指标最优平衡
w/o \(\mathcal{L}_{\mathrm{CA}}\)	5.861	72.87	21.05	8.128	24.78	缺少图文引导，对齐与美学严重坍塌
w/o \(\mathcal{L}_{\mathrm{DM}}\)	6.016	84.57	21.75	8.954	27.66	缺少轨迹上分布匹配，HPSv3 下降 0.607
w/o \(\mathcal{L}_{\mathrm{CDM}}\)	6.067	85.12	21.85	9.153	27.91	缺失外推误差校正，高频细节退化
机制: 固定时间调度 (Fixed)	6.051	83.84	21.89	9.482	27.75	离散绑定限制泛化性，DPG 下跌 1.42
机制: 无扰动 (纯轨迹上)	6.027	84.43	21.94	9.374	27.90	缺乏轨迹外鲁棒性，HPSv3 下跌 0.187
机制: 高斯加噪外推替代	6.040	84.65	21.92	9.516	27.88	无法反映实际数值漂移方向
机制: 全轨迹 \(\hat{\mathbf{x}}_0\) 替代局部预测	6.026	85.14	21.92	9.346	27.97	长距离误差累积，局部校正更优

关键发现¶

三损失协同不可或缺：若单独使用 \(\mathcal{L}_{\mathrm{CA}}\) 会发生严重的结构崩溃（DPG 暴跌至 3.45，HPSv3 跌至 -10.15）；而仅保留分布匹配项（\(\mathcal{L}_{\mathrm{DM}}\) 或 \(\mathcal{L}_{\mathrm{CDM}}\)）虽能产生合理视觉图像但图文匹配极低（CLIP 仅 ~24.78）。三者联用产生强互补增益。
速度外推胜过经验加噪：消融证实单纯在潜变量上加高斯白噪声无法模拟真实的 ODE 截断误差，只有通过学生自身的预测速度沿时间差进行线性外推，才能精确捕捉少步推理中出现的漂移状态。
跨步数泛化能力：由于速度场在连续域得到了全面平滑约束，CDM 训练出的模型能够无缝泛化至 3、4、6、8 等任意 NFE 推理，步数增加时细节表现单调递增，无需重新训练。

亮点与洞察¶

解绑离散推理约束的范式转换：首次打破了 DMD 训练时间步必须严格对齐推理时间步的教条，证明了分布匹配在连续域上训练反而能赋予模型更好的跨步泛化能力与更平滑的速度场。
随体导数视角的截断漂移抑制：从数值分析严谨推导了欧拉积分截断误差与速度场随体导数 \(dv_{\theta}/d\tau\) 的定量关系，巧妙构造一阶外推有限差分，以自一致监督形式抹平了数值积分带来的高阶失真。
纯粹监督替代 GAN / 奖励模型：在完全不依赖不稳定 GAN 判别器或昂贵多模态奖励模型的前提下，纯靠优化连续分布匹配就恢复了高频纹理与锐利轮廓，极大简化了蒸馏管线。

局限与展望¶

训练阶段计算开销增大：动态连续调度采样了较长平均长度的反向轨迹，且外推点计算要求对真实教师与伪教师多进行一次前向传播，使得训练耗时达到 D-DMD 的约 1.8 倍（推理阶段耗时与显存完全一致）。
受限于教师模型的表征天花板：由于 DM 与 CDM 均以教师网络的分数函数为监督信号，教师本身无法良好合成的概念或复杂组合，学生在蒸馏后同样无法凭空涌现。
任务范围有待拓宽：目前实验主要验证于静态文生图（SD3-Medium 和 Longcat-Image），尚未拓展至轨迹长度更长、时序一致性要求更严苛的视频扩散模型与图像编辑任务。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将 DMD 范式提升至完全连续时间域，速度外推自修正机制构思精巧。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 SD3 与 Longcat-Image 两大主力架构，消融与理论推导详实透彻。
写作质量: ⭐⭐⭐⭐⭐ 理论分析与实验论证环环相扣，从数值微分视角解释误差极其清晰。
价值: ⭐⭐⭐⭐⭐ 为少步扩散加速提供了一条摆脱 GAN 与奖励模型、兼具理论与实效的全新基石范式。