Joint Alignment and Distillation for Video Generation via Sample-Guided Distribution Matching¶

会议: ECCV 2026
论文: ECCV 原文
领域: 视频生成
关键词: 视频生成、分布匹配、知识蒸馏、偏好对齐、无强化学习对齐

一句话总结¶

提出单阶段样本引导分布匹配框架 DM-Align，将少步蒸馏梯度与人类偏好对齐梯度在统一分数空间协同聚合，彻底绕过传统强化学习的多步采样瓶颈与后蒸馏模型崩溃难题。

研究背景与动机¶

基于扩散模型与流匹配模型的视频生成技术取得了突破性进展，但高昂的推理时延与人工审美偏好对齐依然是走向实际应用的核心瓶颈。学术界与工业界通常将研究拆分为两个独立方向：其一是模型蒸馏，旨在将数十至上百步的迭代去噪过程压缩为 4 步以内的极速推理；其二是人类偏好对齐，借鉴大语言模型中的强化学习（RL）技术（如 DPO 与 GRPO）微调生成模型，使其符合人类视觉偏好与指令依从性。然而，现有工作普遍将蒸馏与对齐视作割裂的两阶段串联流水线，导致了难以调和的技术困境。

若采用“先对齐后蒸馏”的路线，在多步原始扩散模型上运行 RL 算法计算开销极其惊人，单步优化需要遍历几十步去噪轨迹；更本质的是，传统方法需将连续的常微分方程（ODE）采样过程硬编码为离散马尔可夫决策过程（MDP），依赖反向随机微分方程（SDE）转换与高斯假设来估计轨迹概率，算法繁琐脆弱。反之，若采用“先蒸馏后对齐”试图借助少步生成加速 RL，则高度压缩的极速生成器对参数扰动异常敏感，稀疏且带噪声的强化学习奖励信号会迅速破坏紧绷的连续生成流形，引发严重的模糊、闪烁甚至灾难性模型崩溃。

本文跳出“将扩散模型强行套入强化学习框架”的思维定式，从分布匹配（Distribution Matching, DM）的统一理论视角出发，发现了蒸馏梯度与对齐梯度在分数空间中的内在兼容性：两者均可严谨表达为向目标高维流形投影的分布匹配梯度。本文的核心 idea 是：将蒸馏与人类偏好对齐统一为单阶段样本引导分布匹配框架 DM-Align，由同一个动态假模型提供统一分数场估计，无缝聚合保真度蒸馏梯度与偏好引导梯度，在零强化学习开销下实现 4 步超快高清对齐视频生成。

方法详解¶

整体框架¶

DM-Align 的整体优化流水线在单一计算流中同时执行模型蒸馏与偏好对齐。整个系统由三个核心部分协同运作：可训练的少步视频生成器 \(G_\theta\)、冻结权重的原始教师模型 \(\mu_{\text{real}}\)（提供真实高保真度先验），以及一个在线持续学习的去噪假模型 \(\mu^\phi_{\text{fake}}\)（逼近生成器当前的输出分布，并充当鲁棒的分数估计器）。

在单次优化迭代中，训练过程交替进行两阶段：在假模型更新阶段，生成器生成少步样本，假模型在任意加噪时间步 \(t\) 下通过去噪得分匹配损失更新自身参数，维持对生成器流形的精准打分能力；在生成器更新阶段，系统同步计算真实教师与假模型之间的分布匹配蒸馏梯度 \(\nabla \mathcal{L}_{\text{DMD}}\)，以及基于人类偏好样本/群体探索构建的样本引导对齐梯度 \(\nabla \mathcal{L}_{\text{align}}\)。两者在线性加权后汇聚为统一梯度 \(\nabla \mathcal{L}_G\)，直接更新生成器 \(G_\theta\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入文本提示词 c 与高斯噪声 z"] --> B["少步生成器 G_θ<br/>前向采样 4 步去噪输出"]
    B --> C["假模型动态更新：分数场逼近<br/>基于去噪得分匹配持续训练 μ_fake"]
    C --> D["分布匹配蒸馏：保真度引导<br/>真实教师与假模型分数差构筑 DMD 梯度"]
    C --> E["样本引导对齐：人类偏好引导<br/>利用偏好样本与分数场构筑 DM-Align 梯度"]
    D --> F["协同梯度聚合<br/>加权融合更新生成器参数 θ"]
    E --> F
    F --> G["高质量 4 步对齐视频生成"]

关键设计¶

1. 假模型动态更新：分数场逼近

传统强化学习将生成轨迹映射为 MDP 状态转移，需要通过复杂推导估计反向 SDE 的轨迹对数概率，数学假设苛刻且极易漂移。DM-Align 彻底抛弃离散 MDP 抽象，直接在连续分数空间建模目标分布。为此，系统维护一个与生成器结构一致的去噪假模型 \(\mu_{\text{fake}}^\phi\)。在每轮迭代中，生成器使用少步采样生成视频样本 \(x_0 = G_\theta(z)\)，并在反向传播时对其进行截断梯度操作（stop-gradient）。通过正向加噪扰动生成重叠流形 \(x_t = \alpha_t x_0 + \sigma_t \epsilon\)，假模型通过标准去噪均方误差（MSE）损失进行密集监督更新：

\[ \mathcal{L}_{\phi}^{\text{denoise}} = \mathbb{E}_{t, \epsilon} \left\| \mu_{\text{fake}}^\phi(x_t, t) - x_0 \right\|_2^2 \]

依据 Tweedie 公式等价性，一个训练充分的去噪网络预测能够直接无偏估计扰动数据分布的 Stein 分数 \(s_{\text{fake}}(x_t, t) = \nabla_{x_t} \log p_{\theta, t}(x_t)\)。这一设计使假模型成为一个动态演进的高维向量场分析器，既作为蒸馏过程中生成流形的排斥基底，又作为后续偏好样本向高奖励区域投影的几何标尺，避免了外部价值网络（Critic）在分布外样本上的高方差崩溃。

2. 分布匹配蒸馏：保真度引导

为了将多步扩散过程压缩为极少步（例如 4 步），DM-Align 继承分布匹配蒸馏（DMD）原则，直接最小化生成器边缘分布 \(p_{\text{fake}}\) 与真实教师模型先验分布 \(p_{\text{real}}\) 之间的 KL 散度 \(\mathcal{D}_{\text{KL}}(p_{\text{fake}} \parallel p_{\text{real}})\)。由于显式概率密度在视频维度完全不可求，算法通过在加噪潜在空间中对比固定真实教师模型 \(\mu_{\text{real}}\) 与动态假模型 \(\mu_{\text{fake}}\) 的分数差异，计算出针对生成器参数 \(\theta\) 的确定性解析梯度：

\[ \nabla_\theta \mathcal{L}_{\text{DMD}} \approx - \mathbb{E}_{t, z} \left[ \left( s_{\text{real}}(F(G_\theta(z), t), t) - s_{\text{fake}}(F(G_\theta(z), t), t) \right) \frac{d G_\theta(z)}{d \theta} \right] \]

该梯度的物理意义非常明确：\(s_{\text{real}}\) 将生成的潜在表示拉向预训练教师模型所熟知的自然清晰视频流形，而 \(-s_{\text{fake}}\) 则消除生成器当前假分布中模糊、模式坍塌与低动态的伪影。在联合训练初期，生成器输出极其粗糙，该蒸馏梯度在量级上自然占据主导地位，迅速为模型构筑起连贯物理结构与高画质轮廓，从根源上杜绝了直接对少步模型使用强化学习时引发的视觉崩溃。

3. 样本引导对齐：人类偏好引导

在标准 RLHF 体系下，满足 Bradley-Terry 偏好假说且与参考分布 \(p_{\text{ref}}\) 保持正则化约束的最优策略具备闭式解 \(p^*(x) \propto p_{\text{ref}}(x) \exp(r(x) / \beta)\)。本文通过变分重参数化将对齐目标转化为最小化 \(\mathcal{D}_{\text{KL}}(p_\theta \parallel p^*)\)，推导表明其生成器参数梯度形式严格处于分数匹配域：

\[ \nabla_\theta \mathcal{L}_{\text{align}} \approx - \mathbb{E}_{t, z} \left[ \left( \nabla_{x_t} \log p_t^*(x_t) - \nabla_{x_t} \log p_{\theta, t}(x_t) \right) \frac{d G_\theta(z)}{d \theta} \right] \]

由于理想目标分布的精确对数梯度 \(\nabla_{x_t} \log p_t^*(x_t)\) 无法直接求导，本文巧妙利用假模型对高奖励样本加噪后的隐式流形投影作为替代。具体衍生出两种互相补充的落地形态： - DM-PairLoss（成对数据驱动）：针对高质量视频对（如 ConsistID 数据集），将标注的人类偏好高保真真机样本记为 \(x^+\)，生成样本视作负样本。直接计算两者经过假模型评分后的差异：\(\nabla \mathcal{L}_{\text{align}} \approx - \mathbb{E} [ ( s_{\text{fake}}(F(x^+, t), t) - s_{\text{fake}}(F(G_\theta(z), t), t) ) \frac{d G_\theta}{d \theta} ]\)。该机制形成强健的对比梯度，将当前生成向量拉向真实偏好锚点。 - DM-GroupLoss（奖励模型探索驱动）：针对无标注海量文本（如 VidProM 数据集），对同个提示词由生成器快速采样 \(K\) 个输出 \(\{x_1, \dots, x_K\}\)，利用外部奖励模型评分计算各样本的相对优势 \(A_i\)。取 Top-\(k\) 最优样本的几何平均作为动态偏好目标 \(\bar{x}^+\)，形成自适应群体优化梯度：

\[ \nabla_\theta \mathcal{L}_{\text{DM-Group}} \approx - \mathbb{E}_{t, z} \left[ \sum_{i=1}^K A_i \left( s_{\text{fake}}(F(x_i, t), t) - s_{\text{fake}}(F(\bar{x}^+, t), t) \right) \frac{d G_\theta(z)}{d \theta} \right] \]

低质样本（\(A_i < 0\)）被强力推向群体优质中心，高质样本（\(A_i > 0\)）进一步向极值偏好峰值拓展，完全在单次正向反向计算中完成探索与对齐。

4. 协同梯度聚合：单阶段联合优化

为了让蒸馏与对齐互不干扰且形成正向共生，DM-Align 在同一个生成器潜在空间中将两者线性加权：

\[ \nabla \mathcal{L}_G = \lambda_{\text{DMD}} \nabla \mathcal{L}_{\text{DMD}} + \lambda_{\text{align}} \nabla \mathcal{L}_{\text{align}} \]

生成器完成少步采样后，产生的 \(x_{\text{final}}\) 既作为蒸馏的负分布依据，又作为对齐判别的基础。二者共用一套由假模型提取的高效特征梯度流，消除了传统多轮迭代中特征漂移造成的反复振荡。少步蒸馏赋予防崩塌的几何骨架，偏好梯度则赋予生动的运动表现力与准确的语义细节，形成了极低显存与时间开销下的双重提升。

损失函数 / 训练策略¶

训练采用 AdamW 优化器，在 32 块 NVIDIA H100 GPU 上对 Wan2.1-T2V-1.3B 基础模型展开优化。生成器与假模型的学习率分别设定为 \(2 \times 10^{-6}\) 与 \(4 \times 10^{-7}\)。假模型每步必更以保证分数场精度，而生成器采用 \(N=4\) 的更新间隔（每 5 步更新一次）确保收敛平稳。蒸馏时间步固定为 4 步调度：\([1000, 750, 500, 250]\)，教师模型的无分类器引导（CFG）尺度设为 6.0。权重超参基准设定为 \(\lambda_{\text{DMD}} = \lambda_{\text{align}} = 0.5\)；DM-Group 组规模取 \(K=8\) 并平均 Top-4 优秀样本。整个训练在 1,000 步内即可完全收敛（在 500 步时已展现出极高的质量），无须设计独立的纯 DMD 预热阶段。

实验关键数据¶

主实验¶

论文在两套基准上展开系统评估：基于 ConsistID 数据集的成对对齐测试 DM-Align (Pair)，以及基于 VidProM 丰富文本提示集的群体奖励对齐测试 DM-Align (Group)。评测指标采用权威的 VBench 视频综合评测基准，同时覆盖时序一致性（主体与背景一致性）、运动质量（动作平滑性与动态幅度 Dynamic Degree）和视觉质量（审美质量与成像质量）。

数据集 / 评测设定	方法	NFE (步数)	综合得分 (Average)	动态幅度 (Dynamic Degree)	审美质量 (Aesthetic Quality)	成像质量 (Imaging Quality)
ConsistID 数据集 (成对偏好对齐)	Wan-T2V-1.3B (原始底模)	100	78.20	50.78	56.09	72.29
ConsistID	DMD2 (纯蒸馏基线)	4	79.68	52.81	57.64	74.73
ConsistID	Flow-DPO (纯RL对齐)	100	81.54	67.13	56.32	72.91
ConsistID	Flow-DPO + DMD2 (两阶段串联)	4	79.89	53.43	58.26	74.35
ConsistID	DM-Align (Pair) (本文)	4	82.78	66.25	60.89	75.61
VidProM 数据集 (群体奖励对齐)	Wan-T2V-1.3B (原始底模)	100	77.85	56.40	57.33	66.20
VidProM	DMD2 (纯蒸馏基线)	4	78.88	51.64	63.02	69.30
VidProM	DanceGRPO (纯RL对齐)	100	82.76	75.78	60.44	70.15
VidProM	DanceGRPO + DMD2 (两阶段串联)	4	80.54	60.85	60.71	70.81
VidProM	DM-Align (Group) (本文)	4	84.40	80.19	62.17	71.45

消融实验与分析¶

1. 训练效率与显存优化对比 下表记录了单次优化步在 32 卡 H100 环境下的前向计算步数（NFE）与实际耗时开销。

优化方法	每次迭代采样 NFE	单步耗时 Time (s)	加速倍率 / 训练特性
DanceGRPO (传统流匹配 RL)	1536	423 s	基准 (极耗时，需大量采样轨迹)
DMD2 (标准分布匹配蒸馏)	46	11 s	~38.5× 加速，但缺乏偏好对齐机制
DM-Align (本文联合对齐)	51	15 s	~28.2× 加速，仅多耗 4s 即可获得全套偏好对齐

2. 损失权重比率敏感性分析 (在 CogVideoX-2B 与不同奖励模型上的验证) 研究了蒸馏损失与对齐损失权重配比 \(\lambda_{\text{DMD}} : \lambda_{\text{align}}\)（和约束为 1）对文本对齐（TA）与美学评分（HPSv2）的影响。

权重配比设定 (\(\lambda_{\text{DMD}} : \lambda_{\text{align}}\))	Wan-1.3B TA (↑)	Wan-1.3B HPSv2 (↑)	CogVideoX TA (↑)	CogVideoX HPSv2 (↑)	机制表现与结论
1:0 (纯 DMD 蒸馏)	0.75	20.50	0.22	18.71	缺乏对齐能力，文本遵从性与美感较低
3:1 (重蒸馏轻对齐)	1.34	24.01	0.58	20.92	显著改善对齐，模型极平稳
1:1 (本文基准设定)	1.65	28.89	0.55	25.01	综合性能达到全局最高峰值
1:3 (轻蒸馏重对齐)	1.56	12.37	0.08	13.78	蒸馏约束过弱导致基础画质严重退化
Varying (从 1:0 线性调度到 1:3)	1.45	27.56	0.49	22.11	动态退火策略表现强劲且稳定

关键发现¶

两阶段串联的断崖式退化：实验证实“先对齐后蒸馏”会发生严重的对齐能力丢失。DanceGRPO 本身在 100 步生成下动态幅度达 75.78，但后续施加 DMD2 蒸馏后锐减至 60.85（暴跌 14.93 点）；而 DM-Align 单阶段联合优化不仅守住了运动幅度，反向刷新至 80.19，彻底攻克了阶段割裂的退化顽疾。
近 30 倍训练提速：由于摆脱了反向 SDE 多步迭代与高频 Critic 回传，DM-Align 单步迭代时间从传统视频 RL 的 423 秒压缩至 15 秒，将原本难以承受的视频模型偏好微调带入日常可训范畴。
跨架构与超大 MoE 可扩展性：在万亿参数级 Wan2.2-T2V-A14B（含高噪/低噪双 14B 专家的 MoE 架构）上，仅对主管高层宏观语义的高噪专家施加 DM-Align，即可将 4 步生成综合 VBench 分数从 78.35（DMD 基线）推升至 83.45，大幅超越 100 步原始底模（80.00）。

亮点与洞察¶

分数空间兼容性突破：敏锐地揭示出蒸馏（KL(fake || real)）与基于 Bradley-Terry 假设的偏好对齐（KL(fake || optimal)）在分数匹配域具备同构形式，将看似风马牛不相及的两个任务统一在单一前向去噪假模型下。
彻底告别离散 MDP 适配：不同于以往将连续流匹配硬套为 MDP 从而面临复杂的随机微分方程变换，DM-Align 直接借助加噪后偏好样本在假模型向量场上的投影计算梯度，算法简洁、数值稳定且原生支持快速收敛。
可复用的少步调优范式：不仅适用于 Wan2.1/2.2 与 CogVideoX，其“高噪专家优先对齐”策略与成对/群体探索双重模式，为开源社区未来在各类 DiT / Flow-Matching 视频大底模上开展低成本人类对齐提供了标准化样板。

局限与展望¶

收敛理论证明尚待补完：尽管在变分推导下给出了单项对齐梯度的合理性，但带权线性叠加后的非凸双目标动态博弈过程仍缺乏严格的动力系统收敛性数学保证。
依赖 DMD 架构基座：当前框架高度依赖基于假模型（Fake Model）得分匹配的 DMD 体质，无法直接照搬并入近期兴起的纯判别器单步 GAN 视频加速框架（如 Diffusion-GAN/POS-E）。
奖励信号局限性：视频级奖励模型（如 VideoAlign）在剧烈运动下易给高频噪声或白屏误打高分，迫使当前组探索主要倚赖文本一致性与逐帧 2D 美学均值，呼唤更高鲁棒性的 3D 时空 Reward Model。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示蒸馏与偏好对齐在分布匹配分数域的兼容性，彻底跳出传统强化学习 MDP 框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 Wan2.1、Wan2.2 MoE、CogVideoX，包含成对、无标注群体探索以及多重奖励指标与人评。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰优美，动机矛盾挖掘精准，图表结构完整且说服力强。
价值: ⭐⭐⭐⭐⭐ 为超快（4步）高质量视频生成与人类偏好对齐提供了工业级实用的单阶段统一解法。