MoGAN: Improving Motion Quality in Video Diffusion via Few-Step Motion Adversarial Post-Training¶
会议: ECCV2026
论文: ECCV 原文
领域: 视频生成
关键词: 视频扩散、光流判别器、对抗后训练、分布匹配蒸馏、运动质量
一句话总结¶
MoGAN 在三步 Wan2.1 蒸馏模型上联合学习光流真假判别与分布匹配约束，将 VBench 的 Motion Score 从 DMD 的 0.859 提高到 0.973，同时保持三步推理路径。
研究背景与动机¶
视频扩散模型已经能生成清晰单帧，但单帧逼真不等于整段运动可信。 人物肢体可能跨帧变形，背景可能闪烁，移动物体也可能留下重影。 标准去噪或流匹配目标没有直接要求模型学会真实运动的统计规律，因此较低的重建误差不保证较好的时序表现。 原文图 1 用同一模型、不同随机种子的例子展示这种脱节：损失约 0.36 的样本反而比损失约 0.39 的样本运动更差。 这一例子说明训练误差与运动质量并不等价，但不是对所有扩散模型的普遍因果证明。
少步蒸馏又放大了另一种问题：模型可以通过减少运动获得很高的平滑度。 主实验中的 DMD 模型在 VBench 上比教师更平滑，却把动态程度从 0.83 降到 0.73。 因此，单纯消除闪烁可能把视频变成几乎静止的画面，并没有解决生成自然动作的问题。 轨迹控制或物理模拟能提供外部约束，但通常需要额外输入；基于偏好或奖励的后训练又依赖能可靠判断连续运动的评价器。 作者尤其关注稀疏帧视觉语言奖励对细粒度时间变化不够敏感的问题，而不是声称所有强化学习方法都无法改善运动。
MoGAN 的切入点是把监督空间从外观转向连续光流：让判别器直接学习真实视频中位移场的变化规律。 不过，只追求光流上的逼真也可能诱导抖动或噪声，因此必须保留教师分布约束。 三步蒸馏模型在这里不仅提供推理加速，也提供足够干净、可用于估计光流的预测视频。 核心 idea：以光流序列上的对抗学习恢复运动动态性，再用分布匹配和判别器正则防止模型把“运动更多”变成“噪声更多”。
方法详解¶
整体框架¶
输入包含文本提示、噪声潜变量，以及仅供训练使用的真实运动视频。 生成器从 DMD 蒸馏后的 Wan2.1-T2V-1.3B 初始化，沿三步路径产生视频潜变量预测。 训练时通过窗口化解码得到连续像素帧，再由冻结的 RAFT 提取相邻帧光流。 真实视频走同样的光流表示路径；判别器学习区分真实运动和生成运动，生成器则接收可微的对抗反馈。 与此同时，冻结教师和可更新的生成分布分数估计器提供 DMD 约束，阻止外观和文本条件能力过度漂移。 以下图展示训练数据流与反馈；推理时只保留生成器的三步采样和常规视频解码，不调用 RAFT 或判别器。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
INPUT["文本与噪声"] --> WARM["少步预热"]
WARM --> WINDOW["窗口化解码"]
WINDOW --> FLOW["冻结 RAFT<br/>提取光流"]
REAL["真实运动视频"] --> FLOW
FLOW --> DISC["光流判别器"]
DISC --> JOINT["联合正则训练"]
TEACHER["冻结教师与<br/>生成分布分数估计器"] --> JOINT
JOINT -.->|训练反馈| WARM
WARM -->|推理：三步采样与常规解码| VIDEO["生成视频"]关键设计¶
1. 少步预热：先让光流估计看到可信的画面
光流估计依赖相邻帧之间可辨认的对应关系，直接把严重带噪的扩散中间态交给 RAFT，得到的位移场未必代表物体运动。 MoGAN 因而先进行 5K 步 DMD 预热，使三步生成器的中间预测已经足够清晰。 后训练在蒸馏后的离散时间步上取得干净预测，而不是把教师的全部扩散时间步都展开来计算运动损失。 算法还使用 backward simulation 构造当前生成器产生的样本，再对这些样本加噪以形成更新所需的状态。 这里“少步”是光流监督可用的前提之一，不只是把原模型简单减到更少的采样次数。
生成器仍然接受用户文本条件，因此没有放弃文本到视频任务。 对抗分支使用另一个固定的判别器提示，这与生成器的用户提示不是同一件事。 原文推理路径保持三步，训练增加的运动组件不会随模型部署进入采样循环。 这一设计也限定了实验结论：文中验证的是已有少步生成器的后训练，不是从零训练视频 GAN。
2. 窗口化解码：让像素空间运动监督能反传到生成器
生成器工作在潜空间，RAFT 却需要像素帧，所以运动损失必须经过视频解码器才能回传。 Wan 解码器具有跨块递归状态，完整解码并保留全部反向图会占用大量显存。 作者采用连续块子采样、截断时间反向传播和梯度检查点，只在一个连续窗口内计算光流与对抗损失。 窗口边界处断开递归状态的梯度，覆盖完目标窗口后提前结束解码，避免无关帧带来的计算开销。 连续窗口仍包含相邻帧关系，因此没有把运动判断退化为互不关联的静态图像评分。
主实验使用 12 个潜变量块，对应像素空间的 49 帧。 解码器和 RAFT 的参数被冻结，但冻结参数不等于截断它们对输入的梯度。 生成器更新仍需让梯度通过像素解码和光流估计路径返回，只有指定的递归边界被截断。 这也解释了为什么训练的运动生成器分支仍然昂贵：省掉推理步骤，并不会消除像素空间反向传播的成本。 窗口外的长程依赖并未被这一局部监督完整覆盖，是方法的实际边界。
3. 光流判别器：判断运动序列，而不是判断画面风格
RAFT 为相邻帧输出水平和垂直位移，包含 \(T\) 帧的视频通常产生 \(T-1\) 个二维光流场。 作者在末尾追加一个光流图，使时间长度与输入视频一致，并把逐像素位移幅值作为第三个通道。 因此判别器接收的是位移方向和强度构成的运动表示，而不是原始 RGB 内容。 这一表示经编码后进入从 Wan2.1 DiT 改造的判别器；它更直接暴露闪烁、局部扭曲和动作幅度的时间变化。 光流减弱了外观信息的干扰，但不是完全独立于图像纹理或估计器偏差的真实物理量。
判别器采用预训练 DiT 的前 16 层，在第 7、13、15 层设置轻量预测分支。 每个分支通过辅助 token 的交叉注意力和小型 MLP 汇聚特征，多个分支的输出拼接后再由 MLP 输出真假 logit。 判别器扩散时间固定为 \(t^*=0\)，文本条件固定为“a video with good motion”。 固定这些输入使其专注于运动真假，而不是在判别阶段随用户文本或随机扩散噪声改变标准。 真实视频和生成视频都转换为相同表示，监督学习的是运动分布，而不是要求生成视频复现某段指定轨迹。
4. 联合正则训练：用教师约束防止光流对抗目标被钻空子
运动判别器若过强或容易被高频流场欺骗，生成器可能通过微抖动取得更高分，而非生成自然动作。 MoGAN 保留 DMD 的教师分布约束，并让生成分布分数估计器持续跟踪当前生成器。 教师保持冻结，生成分布分数估计器通过流匹配更新，而且更新频率高于生成器，以减轻分数估计滞后。 生成器分别接收分布匹配反馈和运动对抗反馈；不能把 DMD 理解成与真实视频逐像素配对的重建损失。 原文算法区分 DMD 生成器更新、生成分布分数更新、运动判别器更新和运动生成器更新，并非所有网络同时最小化同一个标量。
对抗目标采用 logistic GAN 形式；下面按生成器与判别器角色重写原文式 (4)–(5)，避免正文参数下标说明的混淆。 其中 \(D_\phi\) 是运动判别器，\(o_r\) 与 \(o_g\) 分别为真实和生成光流，\(g\) 为 softplus。
判别器还加入原文称为 R1/R2 的正则，分别作用于真实与生成光流输入。 式 (6)–(7) 实际写成原输入与高斯扰动输入的判别输出差平方，因此这里不擅自替换成常见的显式输入梯度惩罚公式。 这种约束限制判别器对小扰动的过度敏感，与防止生成器偏离教师的 DMD 约束承担不同职责。 消融中去掉任意一种都会恶化结果，尤其去掉 DMD 后出现运动和画质共同退化。
损失函数 / 训练策略¶
后训练采用 AdamW，学习率为 \(1\times10^{-5}\)，共训练 800 步；这不包含前述 5K 步预热。 运动生成器与判别器损失权重均为 0.5，R1/R2 权重均为 0.3，扰动参数为 \(\sigma=0.01\)。 生成器 batch size 为 16，判别器为 64，后者不需要保留同样昂贵的生成器反向路径。 训练提示集合包含 5K 条多样文本，真实运动数据为筛选出的 15K 段动态丰富的视频。 正文没有给出足以复建这一筛选数据集的完整公开清单，不能把这些数量等同于可复现的数据配方。 原文报告在 8 张 H200 上，启用 FSDP 和激活检查点后，后训练在 16 小时内完成。 表 3 中运动生成器分支耗时 15.6 秒、峰值显存 82 GB；不同分支 batch size 不同，不宜直接相加推导端到端吞吐。
实验关键数据¶
主实验¶
下表节选原文表 1，第 11 页；两套提示集均使用 VBench 指标，每个提示采样 5 个随机种子，不同模型使用相同种子。 平滑度按百分数展示，动态程度、Motion Score、美学和图像质量按原表尺度保留，数值越高越好。 FlowMo 的结果由作者引用其论文，不属于这里相同种子重跑的两个核心基线，故未混入此表。
| 数据集 | 模型 | 步数 | 平滑度 (%) | 动态程度 | Motion Score | 美学 | 图像质量 |
|---|---|---|---|---|---|---|---|
| VBench | Wan2.1 | 50 | 98.0 | 0.83 | 0.905 | 0.57 | 0.66 |
| VBench | DMD-only | 3 | 98.8 | 0.73 | 0.859 | 0.57 | 0.69 |
| VBench | MoGAN | 3 | 98.6 | 0.96 | 0.973 | 0.59 | 0.68 |
| VideoJAM-Bench | Wan2.1 | 50 | 97.9 | 0.85 | 0.915 | 0.55 | 0.63 |
| VideoJAM-Bench | DMD-only | 3 | 98.5 | 0.81 | 0.898 | 0.57 | 0.65 |
| VideoJAM-Bench | MoGAN | 3 | 98.5 | 0.98 | 0.983 | 0.57 | 0.66 |
Motion Score 按第 5.2 节定义，是归一化运动平滑度与动态程度的算术平均：
这里 \(S\) 表示按百分数报告的平滑度，\(D\) 表示动态程度；平滑度依赖帧插值评价，动态程度依赖光流评价。 它能惩罚“平滑但静止”的视频，却不直接证明物理规律或文本动作语义正确。
消融实验¶
下表来自原文表 2，第 13 页，使用与主实验相同的自动指标；表中完整模型数值对应 VideoJAM-Bench 行，但表题没有再次明确指定提示集，因此不能把数据集归属视为独立确认。 “去掉光流”指把对抗判别转到视频潜空间，而不是关闭全部对抗训练。
| 配置 | 平滑度 (%) | 动态程度 | Motion Score | 美学 | 图像质量 |
|---|---|---|---|---|---|
| 完整模型 | 98.5 | 0.98 | 0.983 | 0.57 | 0.66 |
| 去掉 DMD | 99.1 | 0.35 | 0.674 | 0.50 | 0.55 |
| 去掉 R1/R2 | 95.1 | 0.86 | 0.905 | 0.55 | 0.64 |
| 去掉光流 | 98.0 | 0.85 | 0.915 | 0.56 | 0.67 |
关键发现¶
- 由表 1 直接相减，VBench 上相对 DMD 的 Motion Score 增量为 0.114；平滑度略降，但动态程度从 0.73 升至 0.96，收益主要不是进一步平滑。
- 表 2 去掉 DMD 后动态程度从 0.98 降至 0.35，尽管平滑度达到 99.1%；作者将其解释为生成崩坏导致指标失效，不能读成真正更平滑的优质视频。
- 第 12–13 页的人类研究使用 148 个视频、每个视频 5 份独立标注和 3 项标准，每个比较设置共 2,220 份回答；摘要报告运动偏好对教师为 52% 对 38%，对 DMD 为 56% 对 29%。
- 数值边界：第 11–12 页正文把 VideoJAM-Bench 的 DMD Motion Score 写成 0.830，表 1 则为 0.898；本笔记采用表值。表 2 去掉 DMD 的 0.674 也不等于由显示分量算出的 0.6705，保留原值、不自行校正。
- 原文将部分 Motion Score 增幅写成动态程度增幅；本笔记不复述这些冲突百分比。人类研究的完整柱状图数字未被文本缓存可靠提取，未补造其余偏好比例。
亮点与洞察¶
- 判别空间本身就是归纳偏置：输入光流让学习目标更接近连续运动，而不是指望通用 RGB 判别器自动把容量用于时序。
- 少步蒸馏与运动后训练互相支持：前者提供干净、便宜的预测，后者修补蒸馏后容易变静态的运动分布。
- DMD 的作用超出保画质：消融显示它也是限制光流噪声投机的重要约束，运动监督不应与生成分布稳定性分开设计。
- 读者启发：对其他视频后训练任务，可先寻找能暴露目标失败模式的可微表示，再与教师约束联合使用；这属于方法迁移设想，非本文已验证结果。
局限与展望¶
- 作者明确承认二维光流会误判遮挡、离面运动和快速关节动作，对极小运动和复杂深度变化也不可靠。
- 像素解码与 RAFT 反传仍有成本；潜空间运动代理、几何一致的运动场或物理先验是文中提出的后续方向，而不是当前组件。
- 主实验围绕 Wan2.1-T2V-1.3B 展开，正文对更大模型开销的讨论不等于已经展示跨规模实验结果。
- 人类评价显示文本对齐略弱于 50 步教师；保持三步速度并不代表所有维度都超过教师。
- 缓存包含完整正文方法、结果和参考文献，但未包含正文提到的附录；细化结构、数据筛选及公式排版疑点不能据此进一步核实。
相关工作与启发¶
- vs DMD / DMD-v2：分布匹配优先维持少步生成分布；MoGAN 在保留它作为约束的同时，增加序列光流判别来针对运动缺陷。
- vs VideoJAM：VideoJAM 通过联合外观与运动表示强化生成；MoGAN 在已有少步模型上后训练，运动判别分支无需进入最终推理路径。
- vs APT 与视频潜空间 GAN：通用对抗后训练关注感知逼真度，MoGAN 把判别对象改为光流序列；表 2 显示简单换回视频潜空间不足以获得同样的运动收益。
- vs 光流引导的提示优化：原文引用的相关方法以单张光流优化提示嵌入，MoGAN 则利用光流序列更新生成器，监督范围和更新对象均不同。
评分¶
- 新颖性: 4/5。光流序列判别、少步生成和分布约束的组合具有明确针对性，但基础组件已有成熟先例。
- 实验充分度: 4/5。两套基准、人工偏好与关键消融相互支撑，单一主干和数据披露不足限制外推。
- 写作质量: 3/5。核心流程可复述，但表文数值、交叉引用与部分公式说明需要进一步校订。
- 价值: 4/5。不增加推理组件即可修复少步视频的静态化倾向，对生成后训练具有实用参考意义。