MotionGrounder: Grounded Multi-Object Motion Transfer via Diffusion Transformer¶

会议: NeurIPS 2026
arXiv: 2604.00853
OpenReview: https://openreview.net/forum?id=LIXr6DYzVA
论文: https://arxiv.org/abs/2604.00853
代码: https://kaist-viclab.github.io/motiongrounder-site/
领域: 视频生成
关键词: 视频生成, 动作迁移, 扩散Transformer, 多目标控制, 空间定位

一句话总结¶

针对基于扩散 Transformer（DiT）的视频动作迁移受限于单物体且缺乏显式语义定位的问题，MotionGrounder 提出基于光流的稳定运动信号（FMS）与物体-描述对齐损失（OCAL），在无需额外训练的零样本优化下首次实现了多物体可控动作迁移。

研究背景与动机¶

文本引导的视频动作迁移（Motion Transfer）旨在将参考视频的时序动态迁移至由目标文本提示词定义的新视频中，从而在保留源视频动作的同时改变生成场景与主体的视觉外观。随着视频扩散模型从早期的 U-Net 架构向能够更好地捕捉长时程时空依赖的扩散 Transformer（Diffusion Transformer, DiT，如 CogVideoX、Wan2.1）演进，生成视频的视觉真实度与分辨率获得了显著提升。然而，现有基于 DiT 的动作迁移方法（如 DiTFlow、MultiMotion）多建立在单物体运动假设上，直接处理现实世界复杂的密集多物体场景时往往力不从心。

这种失效的核心痛点在于两方面：首先，现有方法依赖的注意力运动流（Attention Motion Flow, AMF）是从 DiT 的跨帧注意力图中提取特征轨迹，在存在纹理相似或快速大位移时极易引入显著噪声，甚至将背景纹理误当成前景运动；其次，多物体场景中缺乏显式的“物体-文本描述”空间绑定机制，尽管部分方法（如 ConMo）尝试通过全局/局部解耦来分离相机与物体运动，但其无法建立文本中各个子物体与画面空间区域的精确映射，在去噪过程中极易发生运动错位（Motion Misattribution，例如将直升机的旋转运动错误赋予地面的士兵）以及语义混淆（例如生成两个相同物体或丢弃次要物体）。

本文的切入角度是：利用显式光流轨迹为 DiT 潜空间提供抗噪的刚性运动先验，并通过跨模态注意力反向引导建立物体掩码与文本词元之间的双向空间锚定。核心 idea：构建基于稠密光流的稳定运动信号（FMS）为潜空间注意力提供鲁棒位移监督，并结合物体-描述对齐损失（OCAL）在去噪阶段反传优化潜变量，以无需训练的推理期优化实现具有多物体精准空间接地与语义隔离的视频动作迁移。

方法详解¶

整体框架¶

MotionGrounder 采用免训练（training-free）的推理期反向传播优化框架。给定包含 $N$ 个物体的 $F$ 帧源视频 $V_S$、全局目标描述文本 $c_g$（由各物体描述 $\{c_i\}_{i=1}^N$ 组成）以及各物体在源视频中的二值时空掩码 $\{M_i^{1:F}\}_{i=1}^N$，整体流程分为两大部分： 1. 基于光流的运动先验构建（离线提取）：从源视频中均匀抽取 $J = F/4$ 帧（与 VAE 编码器的时间压缩比相匹配），利用预训练光流网络 GMFlow 计算相邻帧间的稠密双向光流场，下采样后构建潜空间补丁轨迹（Patch Trajectory），汇总为稳定的运动位移信号 FMS。 2. 多目标空间与运动联合引导去噪（在线优化）：从高斯噪声 $z_T \sim \mathcal{N}(0, I)$ 开始进行反向扩散去噪。在前 30% 的去噪步数（$t > T_{opt}$，即决定空间布局与宏观动态的关键阶段）中，通过冻结的 DiT 前向传播提取跨帧空间注意力和跨模态图文注意力，分别构建运动位移监督损失 $\mathcal{L}_{\text{FMS}}$ 与物体-描述对齐损失 $\mathcal{L}_{\text{OCAL}}$，对潜变量 $z_t$ 执行 5 步 Adam 梯度下降更新，最终送入 VAE 解码器重构为目标视频 $V_T$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：源视频 V_S + 全局与物体描述 + 物体掩码"] --> B["基于光流的稳定运动信号构建<br/>GMFlow 提取稠密光流并下采样至潜空间"]
    B --> C["运动轨迹构建与位移汇聚<br/>允许轨迹复制以保留多物体局部动态"]
    C --> D["DiT 潜空间反向去噪过程<br/>前 30% 步数激活在线优化"]
    D --> E["双向跨注意力提取与时间重复扩展<br/>对齐潜帧与逐帧物体掩码"]
    E --> F["对象-描述对齐损失 OCAL 计算<br/>前背景注意力对比与尺度自适应正则"]
    D --> G["注意力坐标位移与 FMS 均方误差约束"]
    F & G --> H["联合梯度反传更新潜变量 z_t"]
    H --> I["完成去噪并经 VAE 解码生成目标视频 V_T"]

关键设计¶

1. 基于光流的稳定运动信号（FMS）与轨迹构建 传统基于 DiT 注意力图估计运动位移（如 AMF）极易受到背景纹理自相似性及剧烈运动带来的注意力弥散干扰。FMS 转而借助通用光流估计网络 GMFlow 获取亚像素级位移场 $(f_x, f_y)$，并双线性下采样到潜空间分辨率 $(\hat{f}_x, \hat{f}_y)$。对于潜空间帧 $j$ 中坐标为 $(x_j, y_j)$ 的补丁，依据连续帧位移场逐帧追踪，生成跨越 $J$ 个潜帧的连续时空轨迹： $$\text{traj}(x_j, y_j) = \{(x_1, y_1), (x_2, y_2), \dots, (x_J, y_J)\}$$ 与先前仅允许一对一追踪的工作（如 FLATTEN）不同，FMS 允许轨迹复制（Trajectory Duplication）。因为潜空间压缩不可避免地将多个像素聚合成一个特征补丁，强制一对一匹配会导致补丁争夺唯一配对而出现局部静止停滞；允许轨迹复制后，相邻运动补丁可以共享运动趋势，显著改善了大运动幅度物体的连续性。进而，参考视频在任意潜帧对 $(j, k)$ 间的位移集合记作 $\text{FMS}(z_{\text{ref}}) = \{\Delta_{j \rightarrow k} \mid \forall (x_j, y_j)\}$，其中 $\Delta_{j \rightarrow k} = (x_k - x_j, y_k - y_j)$。在去噪过程中，利用 DiT 第 20 层的跨帧自注意力矩阵 $A_{j,k}$ 计算梯度可微的期望坐标差： $$\tilde{\Delta}_{j \rightarrow k} = \sum_{(x_k, y_k)} A_{j,k}[(x_j, y_j), (x_k, y_k)] \cdot (x_k - x_j, y_k - y_j)$$ 通过最小化均方差损失 $\mathcal{L}_{\text{FMS}} = \|\text{FMS}(z_{\text{ref}}) - \text{DISP}(z_t)\|_2^2$，迫使生成视频的潜变量注意力动态逼近参考光流。

2. 跨模态注意力对齐损失（OCAL）与时间重投影 在多物体共存的视频中，单纯的运动引导无法区分“哪个物体应遵循哪条轨迹”，极易导致运动错置。OCAL 针对 DiT 第 10 层中每个子物体文本描述 $c_i$ 对应的 token，提取双向跨注意力图（文本到视频与视频到文本并取均值），得到空间分辨率为 $(H/16, W/16)$、时间长度为 $F/4$ 的物体注意力张量 $A_i^t$。为了与源视频原始帧率下的逐帧掩码 $m_i^{1:F}$ 对齐，OCAL 沿时间轴将注意力值重复 4 次，获得扩展张量 $\tilde{A}_i^t \in \mathbb{R}^{F \times (H/16) \times (W/16)}$。随后构建前景激活与背景抑制两个对称目标： $$\mathcal{L}_{\text{FG}}^{(i)} = \left(1 - \text{sum}(\tilde{A}_i^t \odot m_i^{1:F})\right)^2, \quad \mathcal{L}_{\text{BG}}^{(i)} = \left(\text{sum}(\tilde{A}_i^t \odot (1 - m_i^{1:F}))\right)^2$$ 前者驱使对应物体的跨模态注意力能量紧密聚集在目标掩码区域内部，后者则严格惩罚注意力泄漏到掩码以外的背景或其他物体区域，彻底切断了不同物体间的语义与外观纠缠。

3. 尺度自适应正则化与多物体评价指标 OGS 在多物体场景中，前景物体的空间尺度往往极不均衡（例如背景中的坦克与近景的飞鸟）。如果对所有物体赋予相同权重，大面积物体将主导优化梯度，导致小物体被淹没或无法生成。OCAL 引入尺度自适应加权因子 $\lambda_{size}^{(i)} = 1 - \sum m_i^{1:F} / |m_i^{1:F}|$，掩码覆盖面积越小的物体获得越高的损失权重，从而确保画面中微小尺寸物体的完整呈现。为了准确评估多物体动作迁移的真实效果，针对全局 CLIP 评分无法衡量空间错位与局部漏生成缺陷的问题，论文进一步提出了物体空间接地得分（Object Grounding Score, OGS）。OGS 联合利用开放词表检测器 Grounding DINO 预测生成物体检测框，结合分割模型 SAM2 提取精确主体区域计算局部语义相似度 $s_{\text{CLIP}}$，并与源物体掩码边界框计算空间交并比 $s_{\text{IoU}}$： $$\text{OGS}_{i,f} = \begin{cases} 0, & \text{若文本指定物体未能成功生成} \\ s_{\text{IoU}}^{i,f} \cdot s_{\text{CLIP}}^{i,f}, & \text{正常生成并成功检测} \end{cases}$$ 该指标不仅惩罚了物体漏生成，而且只有在“位置对齐且语义正确”时才会取得高分，为多物体可控生成设立了可靠的量化评估标准。

损失函数 / 训练策略¶

MotionGrounder 是一个完全免额外训练的推理期优化方法。在去噪过程中，每个时间步 $t$ 的总引导优化目标为： $$\mathcal{L}_t = \lambda_{\text{FMS}} \cdot \mathcal{L}_{\text{FMS}} + \lambda_{\text{OCAL}} \cdot \mathcal{L}_{\text{OCAL}}$$ 其中 $\mathcal{L}_{\text{OCAL}} = \frac{1}{N} \sum_{i=1}^N \lambda_{size}^{(i)} (\mathcal{L}_{\text{FG}}^{(i)} + \mathcal{L}_{\text{BG}}^{(i)})$。 - 优化阶段与调度：总去噪步数设为 50 步，在线优化仅在前 30% 步数（即 $t \in [35, 50]$）内激活，每个时间步内执行 5 步 Adam 优化更新潜变量 $z_t$。学习率采用线性衰减策略，从 0.002 降至 0.001。 - 层位置与超参数：选用 CogVideoX-5B 作为主干模型，FMS 模块作用于 DiT 的第 20 个 Transformer 模块（$B=20$），OCAL 作用于第 10 个模块（$B=10$）。损失平衡系数分别设为 $\lambda_{\text{FMS}} = 1.25$ 与 $\lambda_{\text{OCAL}} = 1.00$，跨帧注意力温度参数设为 $\tau = 2$。硬件部署仅需单张 NVIDIA A6000 GPU 即可完成推理。

实验关键数据¶

主实验¶

论文构建了包含 52 个高动态视频的多物体评估数据集（来自 DAVIS、YouTube-VOS 和 ConMo），在 Caption、Subject、Scene 三类提示词设定下，与 5 种前沿免训练/基于反演的优化方法（DMT、MOFT、MotionClone、ConMo、DiTFlow）进行定量对比（主干统一采用 CogVideoX-5B）：

设定	方法	运动保真度 (MF) ↑	空间重合度 (IoU) ↑	局部文本对齐 (LTA) ↑	物体接地得分 (OGS) ↑	全局文本对齐 (GTA) ↑	时序一致性 (CTC) ↑	结构连续性 (DTC) ↑
All (全量均值)	DMT	0.6886	0.2057	0.2656	0.0571	0.3155	0.9348	0.9057
	MOFT	0.5450	0.1988	0.2630	0.0553	0.3138	0.9387	0.8907
	MotionClone	0.5258	0.2061	0.2672	0.0581	0.3151	0.9407	0.9390
	ConMo	0.6405	0.2023	0.2620	0.0568	0.3160	0.9367	0.8916
	DiTFlow	0.6637	0.1868	0.2657	0.0520	0.3156	0.9399	0.9259
	MotionGrounder (本文)	0.6813	0.2371	0.2677	0.0671	0.3182	0.9417	0.9379
Caption	DiTFlow	0.6762	0.2134	0.2781	0.0625	0.3151	0.9414	0.9342
	MotionGrounder (本文)	0.6875	0.2638	0.2776	0.0763	0.3224	0.9426	0.9439
Subject	DiTFlow	0.6483	0.1917	0.2587	0.0514	0.3155	0.9375	0.9146
	MotionGrounder (本文)	0.6818	0.2403	0.2617	0.0667	0.3150	0.9410	0.9335
Scene	DiTFlow	0.6667	0.1552	0.2604	0.0420	0.3161	0.9409	0.9288
	MotionGrounder (本文)	0.6746	0.2073	0.2637	0.0584	0.3173	0.9415	0.9362

用户盲测（49 位评审员对 50 个多物体视频进行 1-6 级排序，越低越好）显示，MotionGrounder 在动作依从性（2.99 vs DiTFlow 3.40）、文本忠实度（2.97 vs DiTFlow 3.40）和物体接地准确度（2.83 vs DiTFlow 3.46）上均位列第一。

消融实验¶

核心模块贡献分析（全量 All 设定）：

实验配置	运动保真度 (MF) ↑	空间重合度 (IoU) ↑	局部文本对齐 (LTA) ↑	物体接地得分 (OGS) ↑	全局对齐 (GTA) ↑	时序一致 (CTC) ↑	结构一致 (DTC) ↑
(a) CogVideoX-5B 基线	0.4257	0.1593	0.2662	0.0446	0.3177	0.9430	0.9393
(b) 仅开启 FMS	0.6714	0.1652	0.2634	0.0462	0.3125	0.9419	0.9339
(c) 仅开启 OCAL	0.4860	0.3099	0.2684	0.0868	0.3223	0.9430	0.9422
(d) 完整模型 (FMS + OCAL)	0.6813	0.2371	0.2677	0.0671	0.3182	0.9417	0.9379

OCAL 内部设计消融（全量 All 设定）：

变体配置	MF ↑	IoU ↑	LTA ↑	OGS ↑	说明
(a) 移除 OCAL	0.6714	0.1652	0.2634	0.0462	缺乏语义空间定位，出现大面积物体纠缠与漂移
(b) 仅文本至视频注意力	0.6749	0.2328	0.2668	0.0659	空间定位能力显著提升，但缺乏视频侧反向抑制
(c) 仅视频至文本注意力	0.6675	0.2157	0.2662	0.0609	语义对齐增强，但边界定位清晰度较差
(d) 双向跨注意力结合	0.6791	0.2375	0.2654	0.0667	双向注意力互补，IoU 相比单向显著改善
(e) 引入时间轴 4x 重复	0.6800	0.2345	0.2644	0.0656	帧级别掩码精确匹配，MF 提升至 0.6800
(f) 引入尺度正则化 (Full)	0.6813	0.2371	0.2677	0.0671	成功激发小目标生成，全指标达到最佳平衡

关键发现¶

FMS 与 OCAL 的互补机制：单纯使用 FMS 可以大幅提升运动保真度（MF 从基线的 0.4257 飙升至 0.6714），但由于缺乏物体与提示词的显式绑定，物体常在错误的空间区域运动，导致 IoU 仅为 0.1652；反之，单用 OCAL 会将物体严格锁死在指定空间区域（IoU 达到 0.3099，OGS 达到 0.0868），但因缺乏外在动态驱动，物体几乎保持静止（MF 仅 0.4860）。二者结合使得生成视频在自然允许物体形变与移动的同时，达成了动作迁移与多物体空间定位的最佳平衡。
轨迹复制的关键作用：消融表明，若在 FMS 中强制单向一对一匹配，补丁竞争机制会导致部分区域被强制静止，从而抑制了目标整体的位移幅度；允许轨迹复制后，补丁能够共享大运动趋势，使目标能够展现出大幅度的自然奔跑与位移。
DMT 高 MF 指标的真相：DMT 在 MF 上略高于本文（0.6886 vs 0.6813），这是由于 DMT 深度依赖参考视频全局特征的刚性注入，导致模型直接“克隆”了原视频中的细节（如直升机螺旋桨旋转模式），但在提示词要求主体发生剧烈形变时出现过拟合，而 MotionGrounder 具有更好的内容解耦与外观形变自由度。

亮点与洞察¶

从无约束注意力向显式光流轨迹的范式转变：过去 DiT 动作迁移试图直接从不稳定的自注意力图逆向推导运动，极易受背景自相似性干扰；本文反向操作，将经典光流算法的鲁棒几何先验投射为潜空间均方误差约束，化被动捕捉为主动引导。
时间压缩与逐帧引导的分辨率桥接：视频 VAE 在时间轴上执行 4 倍降采样带来了潜帧与原视频逐帧掩码的错配；本文通过跨模态注意力的简单时间重复与对称对比损失，以极小开销解决了空间与时间分辨率不对齐的瓶颈。
开源多物体动作迁移评测基准与 OGS 指标：填补了当前动作迁移评估只关注全局 CLIP 匹配而忽视“多物体错位与漏生成”的评测空白，采用检测（Grounding DINO）与精细分割（SAM2）联动的评估体系具有很强的通用迁移价值。

局限与展望¶

依赖预分割掩码与光流质量：方法输入需要准确的参考视频多物体时空掩码。在面对剧烈相机晃动、严重动态模糊或遮挡重现时，光流算法（GMFlow）与分割模型的误差会直接传导至 FMS 与 OCAL。
推理期优化的计算延迟：尽管免除了预训练开销，但在去噪前 30% 步数中每步额外执行 5 次潜变量梯度反传，显著增加了视频生成的总体延迟，目前尚难以满足实时交互需求。
未来改进方向：可进一步探索前馈式注意力调制（如轻量级 Adapter 或 ControlNet 类分支），将 FMS 与 OCAL 的约束离线蒸馏为端到端参数，消除测试期循环反传开销。

评分¶

新颖性: ⭐⭐⭐⭐☆ [首次在 DiT 架构下打通多物体动作迁移与显式语义接地，提出的 FMS 与 OCAL 协同机制构思清晰]
实验充分度: ⭐⭐⭐⭐⭐ [自建包含 52 个视频的多物体基准，提出 OGS 新指标，定量对比、三类提示词消融及用户盲测完备详实]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，公式符号定义严谨，图表表达直观]
价值: ⭐⭐⭐⭐☆ [为可控视频生成与视频编辑提供了实用的免微调多物体时空控制范式]