CoDMD: Copula-aware Distribution Matching Distillation for Fast Video Generation

会议: NeurIPS 2026
arXiv: 2606.21982
代码: https://andrew-zhang98.github.io/CoDMD_page
领域: 视频生成
关键词: 扩散模型蒸馏, 视频生成, 分布匹配蒸馏, Copula理论, 少步数生成

一句话总结

针对传统分布匹配蒸馏（DMD）在少步数视频生成下容易遭遇运动退化与模式崩溃的结构性缺陷，本文基于 Sklar 定理引入 Copula 视角，提出了复用教师与伪评分场余弦相似度矩阵的轻量级关系正则化蒸馏（CoDMD），在 4 步推理下实现约 25 倍加速与领先的视频生成质量。

研究背景与动机

基于扩散模型与流匹配（Flow Matching）的时空变换器架构已成为当前高品质图像与视频生成的核心范式。然而，这类模型在推断时通常需要经历 50 到 100 次迭代去噪步数（NFE），在面临高空间分辨率与长视频序列的实际应用场景中，极高的计算成本构成了严重的部署瓶颈。为了大幅减少采样步数，以分布匹配蒸馏（DMD）为代表的少步数蒸馏技术应运而生。DMD 不再强制要求学生网络在每个细粒度时间步精确对齐教师的单步轨迹，而是通过最小化逆向 KL 散度，直接在数据分布空间拉近学生生成样本与真实/教师分布的距离。然而，当推断步数被激进压缩至 4 步甚至更少时，标准 DMD 在视频领域会出现显著退化，典型表现为运镜失败、动作极其迟缓甚至近乎静止、空间布局崩解以及画面严重过饱和。

根据统计学中的 Sklar 定理，任意连续联合概率分布均可唯一分解为各维度的边缘分布以及完整刻画跨维度依赖结构的 Copula。高质量视频的生成不仅依赖于单个像素或单帧画面的局部外观逼真度（由边缘分布决定），更从根本上依赖于帧与帧之间、不同物体交互以及运动轨迹在时空维度上的严密依赖耦合（即底层 Copula）。然而，标准 DMD 的评分替代目标在本质上是一个坐标独立的样本内回归损失，其梯度更新方向孤立地拉升每个时空坐标点的边际密度，对样本间或时序帧间的成对相对几何关系没有任何显式约束。更严重的是，DMD 所依赖的逆向 KL 散度天然具备“模式寻优”（mode-seeking）偏置：它会严厉惩罚学生分布覆盖教师弱概率区域的行为，却从不对学生遗漏教师支持的有效模式施加惩罚。在极端受限的 4 步网络容量下，这种非对称偏置促使优化过程陷入局部极值，丢弃丰富的时空动态，最终坍缩到平庸静态的退化解中。

本文的切入点在于直接填补 DMD 遗漏的 Copula 依赖结构监管。既然 DMD 在每次迭代时已经计算了冻结教师模型与在线伪模型（Fake Model）的评分估计，那么反映教师分布流形的关系几何信息便完全可以在不引入额外辅助网络、额外数据集或长采样轨迹的前提下免费提取。核心 idea：基于 Sklar 定理构建 Copula 感知的分布匹配蒸馏（CoDMD），直接复用每次迭代已有的真实与伪评分场，在批次间样本与时序帧两个互补粒度上构建成对余弦相似度矩阵，并通过关系型评分替代目标显式惩罚模式坍缩，实现高质量无损的 4 步视频蒸馏。

方法详解

整体框架

CoDMD 旨在将 50 步乃至上百步的预训练视频扩散教师模型蒸馏为仅需 4 步前向模拟的学生生成器。整个框架在标准 DMD 的“生成器-在线伪评分模型-冻结真实教师模型”三元对抗结构上展开。训练过程中，学生生成器从标准高斯噪声出发，在离散的少步数时间列表中模拟生成视频样本；随后对生成的样本注入随机扩散噪声，分别送入冻结的真实教师去噪器与在线更新的伪评分去噪器中计算各自的评分估计。除了保留标准 DMD 的逐坐标样本内评分匹配损失之外，CoDMD 将提取出的学生、真实与伪模型输出在空间维度进行自适应池化，分别在批次维度与帧维度构建余弦相似度矩阵，进而构建基于批次关系和帧间关系的目标分布并实施 KL 散度约束，形成双重粒度的 Copula 正则化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Z["随机高斯噪声 z"] --> STU["4步学生生成器 G_theta<br/>少步数后向模拟输出视频 x"]
    STU --> FD["前向加噪过程<br/>采样时间步 t 注入高斯噪声得 x_t"]
    FD --> FAKE["在线伪评分模型 mu_fake<br/>在线追踪学生分布并提供伪评分"]
    FD --> REAL["冻结教师去噪器 mu_real<br/>提供真实高保真分布评分"]
    STU --> DMD_LOSS["标准坐标级 DMD 损失<br/>逐坐标反向 KL 梯度更新"]
    FAKE --> CO_MAT
    REAL --> CO_MAT
    STU --> CO_MAT

    subgraph CO_MAT["Copula 感知关系矩阵构建与对齐"]
        direction TB
        B_MAT["批次级关系对齐<br/>时空全池化表征跨样本成对相似度矩阵"]
        F_MAT["帧间级关系对齐<br/>空间池化表征样本内部逐帧成对相似度矩阵"]
    end

    DMD_LOSS --> TOTAL["总目标函数 L_total<br/>联合梯度反向传播优化学生网络参数 theta"]
    B_MAT --> TOTAL
    F_MAT --> TOTAL
    TOTAL --> OUT["高效 4 步推断视频生成器"]

关键设计

1. 坐标级 DMD 评分替代目标的局限性诊断
标准 DMD 最小化伪生成分布与真实分布之间的逆向 KL 散度 \(D_{\mathrm{KL}}(p_{\text{fake}} \,\|\, p_{\text{real}})\)。在实际优化中，该目标被转化为无需显式计算生成器高维雅可比矩阵的评分替代重构损失： $\(\boldsymbol{\Delta}(\mathbf{x}) \triangleq w_{t}\alpha_{t}\bigl(s_{\text{fake}}(\mathbf{x}_{t},t) - s_{\text{real}}(\mathbf{x}_{t},t)\bigr)\)$ $\(\mathcal{L}_{\mathrm{DMD}} = \frac{1}{2} \bigl\|\mathbf{x} - \operatorname{stopgrad}(\mathbf{x} - \boldsymbol{\Delta}(\mathbf{x}))\bigr\|_{2}^{2}\)$ 根据 Sklar 定理，联合概率密度的对数梯度可严格展开为独立的边际评分与 Copula 评分两部分：\(\nabla_{\mathbf{y}}\log p(\mathbf{y}) = s^{\text{marg}}(\mathbf{y}) + s^{\text{cop}}(\mathbf{y})\)。上述标准 DMD 扰动量 \(\boldsymbol{\Delta}(\mathbf{x})\) 是逐坐标独立计算的，它仅在每个孤立的时空点上将边际密度拉向真实分布，对不同位置和样本间的二阶乃至高阶依赖几何（即 \(s^{\text{cop}}\)）缺乏直接监督。例如，对于由标准高斯变量构成的双帧系统，正相关序列 \((U, U)\) 与负相关序列 \((U, -U)\) 拥有完全一致的逐帧边际高斯分布，仅基于边际监督的损失函数对此完全无法区分。同时，逆向 KL 散度在受限容量空间内优化时，损失严格等于 \(-\log \pi_{j^{\star}}\)（其中 \(\pi_{j^{\star}}\) 为最大混合分量的权重），必然促使学生网络抛弃次要模式而坍缩至单一局部主模态。这正是导致 4 步视频生成中运动退化与多样性丢失的数学根源。

2. 双粒度评分余弦相似度矩阵构建
为在零额外网络开销的前提下引入 Copula 几何监督，CoDMD 巧妙利用单步迭代中已经求得的三个核心表征：学生输出 \(\mathbf{x} \in \mathbb{R}^{F \times C \times H \times W}\)、教师预测评分 \(\mu_{\text{real}}\) 与伪模型评分 \(\mu_{\text{fake}}^{\phi}\)。CoDMD 在两个互补的时空维度实施池化压缩并计算成对余弦相似度： - 批次级关系矩阵：将每个样本沿时间帧与空间维度 \((F, H, W)\) 全局平均池化，保留通道维度得到 \(C\) 维特征向量，跨多 GPU 通信汇总得到全局批次大小 \(B_g\) 个向量。基于这组特征沿通道维度计算两两之间的余弦相似度，分别构造出学生、真实教师与伪模型的 \(B_g \times B_g\) 维批次相似度矩阵 \(\mathbf{S}_{\text{stu}}^{\text{batch}}\)、\(\mathbf{S}_{\text{real}}^{\text{batch}}\) 以及 \(\mathbf{S}_{\text{fake}}^{\text{batch}}\)。这一维度有效约束了不同视频样本之间的几何多样性。 - 帧间级关系矩阵：对于批次内的单个视频样本，仅在空间维度 \((H, W)\) 实施平均池化，保留时间维度 \(F\) 与通道维度 \(C\)，形成 \(F\) 个 \(C\) 维特征向量。在样本内部计算两两帧之间的余弦相似度，构建出 \(F \times F\) 维的帧间相似度矩阵 \(\mathbf{S}_{\text{stu}}^{\text{frame}}\)、\(\mathbf{S}_{\text{real}}^{\text{frame}}\) 和 \(\mathbf{S}_{\text{fake}}^{\text{frame}}\)。该过程完全在各 GPU 本地执行，直接监管视频时序演变的动态连续性与运动幅度。

3. 关系型评分替代目标与梯度对齐机制
类比于坐标级评分差 \(\boldsymbol{\Delta}(\mathbf{x}) = s_{\text{fake}} - s_{\text{real}}\)，CoDMD 定义了关系空间的残差扰动矩阵 \(\boldsymbol{\Delta}_{\mathbf{S}} \triangleq \mathbf{S}_{\text{fake}} - \mathbf{S}_{\text{real}}\)。为构建保真优化流，算法定义了一个带有截断梯度的软目标概率分布与当前学生关系分布： $\(\mathbf{P}_{\text{tgt}} \triangleq \operatorname{softmax}\bigl(\tau^{-1}[\mathbf{S}_{\text{stu}} - \boldsymbol{\Delta}_{\mathbf{S}}]\bigr), \quad \mathbf{P}_{\text{stu}} \triangleq \operatorname{softmax}\bigl(\tau^{-1}\mathbf{S}_{\text{stu}}\bigr)\)$ $\(\mathcal{L}_{\text{rel}}^{general} \triangleq \operatorname{KL}\bigl(\mathbf{P}_{\text{tgt}} \,\|\, \mathbf{P}_{\text{stu}}\bigr)\)$ 其中 \(\tau > 0\) 为温度超参数。对该损失针对学生关系矩阵 \(\mathbf{S}_{\text{stu}}\) 进行一阶泰勒展开，能够推导出极为精妙的数学联系： $\(\nabla_{\mathbf{S}_{\text{stu}}}\mathcal{L}_{\text{rel}} = \frac{1}{N\tau^2} \mathbf{M}(\mathbf{S}_{\text{stu}}; \tau) \boldsymbol{\Delta}_{\mathbf{S}} + O(\tau^{-3})\)$ 其中预处理器 \(\mathbf{M}\) 为按行计算的半正定（PSD）Softmax 雅可比矩阵。这意味着关系损失对学生矩阵的梯度更新方向精确正比于关系残差 \(\mathbf{S}_{\text{real}} - \mathbf{S}_{\text{fake}}\)：当伪模型与教师在几何关系上达成一致时，梯度自然消失；当出现偏差时，梯度沿最速下降方向将学生推向教师的关系流形。最终联合训练目标通过超参数加权整合为： $\(\mathcal{L}_{\text{total}} = \mathcal{L}_{\mathrm{DMD}} + \lambda_{\text{batch}} \mathcal{L}_{\text{rel}}^{\text{batch}} + \lambda_{\text{frame}} \mathcal{L}_{\text{rel}}^{\text{frame}}\)$

损失函数 / 训练策略

在训练阶段，教师模型参数完全冻结。学生生成器 \(G_\theta\) 与伪评分模型 \(\mu_{\text{fake}}^\phi\) 均由教师权重初始化。在每个优化步骤中，伪评分模型通过标准去噪均方误差 \(\mathcal{L}_{\text{denoise}}^\phi = \|\mu_{\text{fake}}^\phi(\mathbf{x}_t, t) - \operatorname{stopgrad}(\mathbf{x})\|_2^2\) 持续跟踪学生生成分布的漂移，其更新频率通常设为每 1 步更新一次，而学生生成器则每 5 步利用 \(\mathcal{L}_{\text{total}}\) 触发一次更新。优化器采用 AdamW，批次大小在 1.3B 模型上设为 128，在 14B 模型上设为 64；学生学习率为 \(2 \times 10^{-6}\)，伪评分模型学习率为 \(4 \times 10^{-7}\)；无分类器引导（CFG）缩放系数设为 3.5。温度参数固定为 \(\tau = 0.1\)，两个关系正则化权重设为 \(\lambda_{\text{batch}} = \lambda_{\text{frame}} = 0.1\)。所有训练在 32 块 NVIDIA A100 (80GB) 上采用 BF16 混合精度完成，耗时约 1.5 天。

实验关键数据

主实验

实验基于开源 Wan-2.1-T2V 系列扩散模型（1.3B 与 14B），生成分辨率为 832×480、共 81 帧（5秒、16 fps）的高清视频，将 50 步扩散教师蒸馏至 4 步，并在 VBench 全面评估体系下与多种轨迹匹配方法（sCM、rCM）及分布匹配方法（DMD、DCM、AVD）展开对比。

模型规模	算法方法	推断步数 (NFE)	生成耗时 (TimeCost) ↓	质量得分 (Quality) ↑	语义得分 (Semantic) ↑	总分 (Total) ↑
Wan2.1-1.3B	Teacher (Pretrained)	50×2	270s	84.43	80.73	83.69
	DMD (CVPR 2024)	4	11s	84.53	78.78	83.38
	DCM (ICCV 2025)	6	18s	83.12	74.33	81.36
	sCM (arXiv 2024)	6	18s	83.42	72.98	81.33
	rCM (arXiv 2025)	4	11s	83.72	79.18	82.81
	AVD (arXiv 2026)	4	11s	84.73	79.80	83.75
	CoDMD (本文)	4	11s	85.50	80.27	84.46
Wan2.1-14B	Teacher (Pretrained)	50×2	710s	84.71	81.75	84.12
	DMD (CVPR 2024)	4	27s	84.56	80.84	83.81
	sCM (arXiv 2024)	6	44s	83.48	74.01	81.52
	rCM (arXiv 2025)	4	27s	84.97	80.35	84.05
	AVD (arXiv 2026)	4	27s	84.19	82.07	83.89
	CoDMD (本文)	4	27s	85.55	82.12	84.87

消融实验

在 Wan2.1-T2V-1.3B（4步）上对关系损失的各个组件、直接特征匹配变体以及超参数敏感性进行消融分析。

实验配置	动态程度 (Dynamic) ↑	视觉质量 (Quality) ↑	语义对齐 (Semantic) ↑	总分 (Total) ↑	说明
DMD 基线 (\(\lambda=0\))	71.1	84.5	78.8	83.4	缺乏关系约束，动态发生严重模式坍缩
DMD + \(\mathcal{L}_{\text{rel}}^{\text{batch}}\)	83.1	85.1	79.4	84.0	仅约束批次多样性，各项指标均衡提升
DMD + \(\mathcal{L}_{\text{rel}}^{\text{frame}}\)	93.3	85.0	76.8	83.9	运动幅度显著激增，但过度追求动态损伤语义
CoDMD (完整双粒度)	86.1	85.5	80.3	84.5	两粒度互补，动态与语义达到最佳平衡
直接特征匹配变体 (\(\mathcal{L}_{\text{rel}}^{\text{direct}}\))	88.6	84.7	79.0	83.8	抛弃对抗残差直接拉近特征，监督信号弱

同时，针对共享权重 \(\lambda = \lambda_{\text{batch}} = \lambda_{\text{frame}}\) 的超参敏感性实验表明：在 \(\lambda \in [0.1, 0.5]\) 范围内，CoDMD 总分均稳定保持在 83.91 至 84.46 的高水准；当 \(\lambda=1.0\) 时，过强的关系损失扰乱了主坐标分布信号，总分下降至 82.70。

关键发现

• 粒度互补性：批次级关系损失 \(\mathcal{L}_{\text{rel}}^{\text{batch}}\) 侧重于拉开样本间的语义多样性并防止多样本模式坍缩；而帧间级关系损失 \(\mathcal{L}_{\text{rel}}^{\text{frame}}\) 则强力刺激时间序列的动态变化。二者结合可完美避免单一帧间正则化所导致的“动作过激而背离文本提示”的不良现象。
• 动态保持能力：监测训练过程中的动态程度指标可以发现，原生 DMD 在训练推进至几千步后动态得分发生断崖式下跌（坍缩至静态画面）；而 CoDMD 始终将动态度维持在 85 以上的高位。
• 细粒度属性飞跃：在 VBench 的 16 个具体子项中，CoDMD 相比 DMD 提升最显著的维度为动态程度（Dynamic Degree 从 71.11 提升至 86.11，增幅达 +15.0）、色彩保真度（Color 从 83.76 提升至 86.52，增幅 +2.8）以及多物体协同交互（Multiple Objects 从 78.72 提升至 81.88，增幅 +3.7）。
• 盲测主观偏好：在包含 25 位受试者的成对双盲主观测试中，CoDMD 相对 DMD 的胜率高达 81.8%，相对 rCM 达到 74.4%，甚至面对 50 步完整教师模型时依然取得了 51.3% 的胜率。

亮点与洞察

• 从统计学 Copula 视角重新审视扩散蒸馏：跳出了传统工作局限于逐像素重建误差或单一样本边际分布匹配的思维定势，首次将 Sklar 定理与评分匹配理论严格统一，揭示了少步数生成中运镜失败与布局坍塌的理论根源。
• 零额外推断与存储开销的巧思设计：巧妙复用生成器反传阶段本就必须计算的真实教师评分与伪评分场，通过通道维度的余弦相似度构建对齐目标，无需引入额外的判别器、预训练感知网络或回放缓存区。
• 评分替代梯度的优雅对齐：通过一阶泰勒展开严格证明了 Softmax-KL 关系损失在数学本质上是评分残差的一阶自适应投影，在理论形式上与标准 DMD 达成了高度和谐的统一。

局限与展望

• 作者承认的局限：在极端追求大动态表现时，视频生成的时间闪烁（Temporal Flickering）和背景稳定性（Background Consistency）相比于慢速运转的 50 步教师网络存在微弱让步（例如背景一致性从 96.29 微降至 94.23），反映出高动态与绝对帧间静止之间的天然权衡；此外，当前实现仅在全局空间平均池化后的通道向量上计算相似度，尚未引入局部 patch 级的精细空间几何关系。
• 潜在改进思路：未来可探索将空间局部注意力图或交叉注意力图纳入 Copula 几何匹配中，以进一步增强细粒度小物体与局部肢体交互的几何保真度；同时可将该关系对齐机制推广至自回归长视频生成模型以抑制长程时序漂移。

相关工作与启发

• vs DMD / DMD2：DMD2 引入了辅助 GAN 损失和两阶段优化，增加了对抗训练的不稳定性。CoDMD 证明了无需判别器，只需通过双粒度余弦相似度矩阵正则化评分场内在几何，即可直接根治模式坍缩与过饱和。
• vs rCM / 一致性模型：rCM 等方法依赖轨迹一致性建模与多时间步联合训练，推断步数往往需要 4-6 步且极易因步长截断带来肢体扭曲。CoDMD 纯粹基于终点分布匹配，生成的运动自然度与肢体结构完整性显著更佳。
• vs 经典特征关系蒸馏（RKD）：RKD 针对单向确定性网络特征图进行欧氏距离匹配；CoDMD 则将其跃迁至生成式评分场的三元动态残差流形上，并推导证明了与逆向 KL 散度等价的雅可比驱动机制。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次从 Copula 理论深度剖析扩散蒸馏的模式坍缩，设计了零额外参数的优雅关系匹配目标。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1.3B 与 14B 两代前沿大模型，提供全面的 VBench 16 维拆解、训练动态监控、消融与双盲人评。
• 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰严密，从 Sklar 定理、逆向 KL 特性到 Softmax 梯度展开环环相扣。
• 价值: ⭐⭐⭐⭐⭐ 为超高效工业级视频扩散模型（4步部署）提供了极具实用价值且理论自洽的通用加速方案。

相关论文

• [ECCV 2026] Salt: Self-Consistent Distribution Matching with Cache-Aware Training for Fast Video Generation
• [CVPR 2026] Transition Matching Distillation for Fast Video Generation
• [NeurIPS 2026] Beyond Distribution Matching: Self-Supervised Representation Forcing for Few-Step Video Diffusion
• [NeurIPS 2026] Beyond Distribution Matching: Self-Supervised Representation Forcing for Few-Step Video Generation
• [ECCV 2026] Joint Alignment and Distillation for Video Generation via Sample-Guided Distribution Matching