MotionGrounder: Grounded Multi-Object Motion Transfer via Diffusion Transformers¶

会议: NeurIPS 2026
arXiv: 2604.00853
论文: arXiv
代码: https://kaist-viclab.github.io/motiongrounder-site/
领域: 视频生成
关键词: 视频生成、运动迁移、多目标控制、扩散Transformer、注意力操纵

一句话总结¶

针对现有 DiT 视频运动迁移方法受限于单目标且缺乏精细语义绑定的核心瓶颈，本文提出首个支持多目标空间接地的免微调框架 MotionGrounder，通过光流运动信号（FMS）构建稳健运动先验，并利用目标-文本对齐损失（OCAL）约束跨注意力映射，实现多实体解耦运动迁移与精确空间生成。

研究背景与动机¶

基于扩散 Transformer（DiT）的文本到视频（T2V）生成模型（如 Sora、CogVideoX、Wan2.1）近年来在视觉保真度与时空建模能力上取得了显著进展。然而，纯文本提示词仅能粗粒度指导画面外观与全局动态，无法实现细粒度的跨时空物体运动控制。为此，文本引导的运动迁移任务应运而生：该技术旨在将参考视频中真实的物体时序运动轨迹，精确迁移到由目标文本所定义的新外观视频中。尽管早期基于 U-Net 的迁移方法（如 DMT、MOFT、MotionClone）和近期基于 DiT 的方案（如 DiTFlow）能够处理简单场景，但绝大多数现有方法严格受限于单一物体视频。

真实世界视频普遍包含多个相互作用的实体与复杂的局部相对运动。当现有方法直接应用于多目标场景时，会遭遇严重的结构性失效。一方面，少数试图扩展到多物体的方案（如 ConMo）依赖计算成本高昂且在 DiT 上极易不稳定的 DDIM 反演，且无法建立实体与文本词元之间的显式语义对应；另一方面，直接从 DiT 跨帧注意力图提取的注意力运动流（AMF）在背景纹理相似、相似物体共存或剧烈运动时极其嘈杂，导致严重的“运动错配”（即一个物体的运动被错误赋予另一物体）或“实体纠缠”（如两只不同动物被合成重复同质实体）。多目标视频运动迁移的核心矛盾，在于如何在免训练、无需反演的 DiT 潜在空间中，同时实现全局平滑的运动轨迹提取与局部实体级的空间语义解耦。

为了彻底解决多目标场景下的运动混淆与空间错位，本文提出首个基于 DiT 的多目标接地运动迁移框架 MotionGrounder。核心 idea：利用基于光流的潜在补丁轨迹构建稳健低噪的运动监督信号（FMS），并在去噪推理阶段联合引入基于时空跨注意力的目标-文本对齐损失（OCAL），以免训练优化方式显式将各目标词元约束至指定的空间掩码区域，实现多实体运动迁移与空间接地的统一。

方法详解¶

整体框架¶

MotionGrounder 的输入包括包含 \(N\) 个物体的源视频 \(V_S\)、全局文本描述 \(c_g\)、各目标对应的子句描述 \(\{c_i\}_{i=1}^N\) 以及目标在源视频中的空间掩码序列 \(\{M_i^{1:F}\}_{i=1}^N\)。系统目标是生成语义外观遵循 \(c_g\)、各实体位置精确对应 \(\{c_i\}\) 且运动动态忠实继承自 \(V_S\) 的目标视频 \(V_T\)。

整体流程分为两个核心阶段：首先在预处理阶段，从源视频中以步长为 4 均匀下采样 \(J = F/4\) 帧（与 VAE 编码器的时间下采样因子严格对齐），利用光流估计网络 GMFlow 计算相邻采样帧的稠密位移场，下采样至潜在分辨率后构建多帧连续的补丁运动轨迹，汇总为参考运动信号 \(\text{FMS}(z_{\text{ref}})\)；进入去噪生成阶段后，在去噪的前 30% 步数内，模型在前向计算提取 3D 注意力图并构造目标潜在位移 \(\text{DISP}(z_t)\)，同时提取目标词元与潜在补丁之间的跨注意力图，结合掩码引导构建目标-文本对齐损失 \(\mathcal{L}_{\text{OCAL}}\)，通过反向传播直接更新去噪潜在变量 \(z_t\)，最终无需微调即可解码出高质量目标视频。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    A["输入：源视频 V_S + 全局与目标文本 c_g, {c_i} + 目标掩码序列 {M_i}"] --> B["下采样与稠密光流估计<br/>GMFlow 提取 J=F/4 帧位移场并对齐潜在分辨率"]
    B --> C["基于光流的运动信号 (FMS)<br/>追踪连续补丁轨迹并汇总锚点帧间相对位移"]

    subgraph DenoiseLoop ["前 30% 去噪优化回环 (t > T_opt)"]
        direction TB
        D["DiT 前向提取 3D 注意力图<br/>获取跨帧注意力 A_j,k 与文本跨注意力 A_i^t"]
        D --> E["跨帧注意力位移计算<br/>软注意力加权坐标差构建 DISP(z_t)"]
        D --> F["时间维度重复对齐与掩码引导<br/>A_i^t 沿时间轴 4x 复制对齐逐帧掩码 m_i"]
        E --> G["计算 FMS 运动监督损失 L_FMS"]
        F --> H["目标-文本对齐损失 (OCAL)<br/>尺寸感知加权的前景强化与背景抑制"]
        G --> I["联合梯度反向传播<br/>更新潜变量 z_t = z_t - lr * ∇_z L_t"]
        H --> I
    end

    C --> DenoiseLoop
    DenoiseLoop --> J["常规无指导去噪扩散步 (后 70% 步数)"]
    J --> K["VAE 空间解码器<br/>输出生成视频 V_T"]

关键设计¶

1. 基于光流的运动信号（FMS）：消除注意力运动流中的噪声与错误关联 以往基于 DiT 的迁移方法（如 DiTFlow）直接依赖无约束的注意力运动流（AMF）提取运动，但在纹理同质的背景区域或存在多个外观相似实体的场景中，自注意力权重极易产生剧烈漂移，引发假性背景运动或跨目标运动混淆。FMS 引入显式几何光流先验，从源视频均匀抽取的 \(J=F/4\) 个关键帧中利用 GMFlow 提取稠密位移场，并双线性下采样到潜在空间分辨率 \((\hat{f}_x, \hat{f}_y)\)。对第 \(j\) 帧位于 \((x_j, y_j)\) 的补丁，通过跨帧累积位移构建完整的时序追踪轨迹 \(\text{traj}(x_j, y_j) = \{(x_1, y_1), \dots, (x_J, y_J)\}\)。与以往方法严格限制补丁单射对应不同，FMS 显式允许轨迹重复（Trajectory Duplication），这对于 VAE 压缩空间尤为关键——由于时空压缩将多个像元压缩至同一潜在补丁，允许多轨迹共享运动向量能避免补丁间的离散竞争停滞，保证大尺度运动的完整传播。随后提取锚点帧到后续帧的位移差集合：

\[\text{FMS}(z_{\text{ref}}) = \{\Delta_{j \to k} = (x_k - x_j, y_k - y_j) \mid \forall (x_j, y_j), j,k \in \{1,\dots,J\}\}\]

在 DiT 的第 20 个 Transformer Block 处，模型通过温度标度为 \(\tau=2\) 的跨帧软注意力 \(A_{j,k} = \sigma(\tau Q_j K_k^\top / \sqrt{d})\) 计算可微位移场 \(\tilde{\Delta}_{j \to k} = \sum_{(x_k, y_k)} A_{j,k}[(x_j, y_j), (x_k, y_k)] \cdot (x_k - x_j, y_k - y_j)\)，汇总为 \(\text{DISP}(z_t)\) 并通过均方误差损失驱动运动对齐：

\[\mathcal{L}_{\text{FMS}} = \|\text{FMS}(z_{\text{ref}}) - \text{DISP}(z_t)\|_2^2\]

2. 目标-文本对齐损失（OCAL）：显式多实体注意力空间锚定 多目标视频迁移的核心难点在于模型经常发生语义漂移，使特定描述的物体生成在错误的坐标区域，或导致次要小型物体被全局背景淹没。OCAL 在 DiT 的第 10 个 Transformer Block 处提取第 \(i\) 个目标对应描述词元 \(c_i\) 的双向 3D 跨注意力图 \(A_i^t \in \mathbb{R}^{(F/4) \times (H/16) \times (W/16)}\)。为了解决 VAE 编码带来的 4 倍时间压缩与原始视频掩码 \(m_i^{1:F} \in \mathbb{R}^{F \times (H/16) \times (W/16)}\) 之间的维度失配，OCAL 提出时间维度四倍重复机制（Repetition），将 \(A_i^t\) 沿时间维度展开为 \(\tilde{A}_i^t \in \mathbb{R}^{F \times (H/16) \times (W/16)}\)。随后通过前景聚合强化与背景抑制两项联合约束注意力的能量分布：

\[\mathcal{L}_{\text{FG}}^{(i)} = \left(1 - \text{sum}(\tilde{A}_i^t \odot m_i^{1:F})\right)^2, \quad \mathcal{L}_{\text{BG}}^{(i)} = \left(\text{sum}(\tilde{A}_i^t \odot (1 - m_i^{1:F}))\right)^2\]

针对多目标场景中物体尺度差异悬殊、大尺度目标容易主导优化目标的问题，OCAL 创新性地引入了尺寸感知正则化权重 \(\lambda_{\text{size}}^{(i)} = 1 - \frac{\sum m_i^{1:F}}{|m_i^{1:F}|}\)。当目标占据的掩码体积越小时，\(\lambda_{\text{size}}^{(i)}\) 权重越接近 1，从而强制反向传播梯度重点关注较小的实体，抑制其在多实体生成竞争中消失。所有目标综合损失为：

\[\mathcal{L}_{\text{OCAL}} = \frac{1}{N} \sum_{i=1}^N \lambda_{\text{size}}^{(i)} \left(\mathcal{L}_{\text{FG}}^{(i)} + \mathcal{L}_{\text{BG}}^{(i)}\right)\]

3. 目标接地分数（OGS）：空间对齐与语义正确性的统一评测度量 现有的视频运动迁移评测长期依赖全局帧级 CLIP 分数，然而全局指标无法捕捉“目标位置颠倒”、“局部物体漏生成”等细粒度空间语义缺陷；而传统的 IoU 指标仅反映几何重叠，对区域内的语义内容完全盲目。本文提出专门针对多目标视频生成的量化指标 OGS。对第 \(f\) 帧生成的第 \(i\) 个物体，首先借助开集目标检测器 Grounding DINO 结合文本 \(c_i\) 预测其实际生成的边界框，并与源物体真实边界框计算交并比 \(s_{\text{IoU}}^{i,f}\)；接着将预测边界框作为提示输入 SAM2 进行精确边缘分割并滤除背景干扰，将抠出的前景图像块输入 CLIP 计算与描述 \(c_i\) 的局部余弦相似度 \(s_{\text{CLIP}}^{i,f}\)。若文本中指定的物体在目标帧中未能成功生成，则惩罚性地赋值为 0：

\[\text{OGS}_{i,f} = \begin{cases} 0, & \text{若物体 } i \text{ 在目标帧中缺失} \\ s_{\text{IoU}}^{i,f} \cdot s_{\text{CLIP}}^{i,f}, & \text{正常生成} \end{cases}\]

全视频综合 OGS 通过对所有帧与所有有效实体取平均得到，构成了检验多物体运动迁移在“空间位置是否重合”与“生成内容是否正确”上的严谨双重视角。

损失函数 / 训练策略¶

MotionGrounder 完全遵循无需训练的推理期优化（Inference-time Optimization）范式。在 50 步的扩散去噪过程中，优化仅在初始 30% 步数（前 15 步）内激活，每个时间步内部执行 5 次 Adam 优化迭代，学习率从 0.002 线性衰减至 0.001。在扩散潜变量 \(z_t\) 上的总优化损失定义为：

\[\mathcal{L}_t = \lambda_{\text{FMS}} \cdot \mathcal{L}_{\text{FMS}} + \lambda_{\text{OCAL}} \cdot \mathcal{L}_{\text{OCAL}}\]

其中核心超参数设置为 \(\lambda_{\text{FMS}} = 1.25\)，\(\lambda_{\text{OCAL}} = 1.00\)。在前 15 步优化结束后，后 70% 步数沿用标准无约束扩散去噪推进，既能牢固锁定时空运动结构与语义接地，又避免了后期梯度干扰导致的高频纹理失真与过度饱和。

实验关键数据¶

主实验¶

主实验在由 DAVIS、YouTube-VOS 和 ConMo 构建的 52 个高动态多目标视频评测集上展开，包含 24 帧 480×720 分辨率视频，分为三套提示词评测维度：直接描述原视频的 Caption Prompt、替换前景实体的 Subject Prompt，以及彻底更换新背景的 Scene Prompt。基础扩散架构采用 CogVideoX-5B，对比基线涵盖 DMT、MOFT、MotionClone、ConMo 以及 DiTFlow。

| 方法 | 评测场景 | 运动保真度 (MF) ↑ | 空间交并比 (IoU) ↑ | 局部文本对齐 (LTA) ↑ | 目标接地分数 (OGS) ↑ | 全局文本对齐 (GTA) ↑ | 时间一致性 (CTC) ↑ | |---|---|---|---|---|---|---| | DMT | Caption | 0.7069 | 0.2172 | 0.2754 | 0.0627 | 0.3186 | 0.9358 | | ConMo | Caption | 0.6495 | 0.2336 | 0.2738 | 0.0680 | 0.3154 | 0.9381 | | DiTFlow | Caption | 0.6762 | 0.2134 | 0.2781 | 0.0625 | 0.3151 | 0.9414 | | MotionGrounder (Ours) | Caption | 0.6875 | 0.2638 | 0.2776 | 0.0763 | 0.3224 | 0.9426 | | DMT | Subject | 0.6840 | 0.2158 | 0.2610 | 0.0588 | 0.3183 | 0.9337 | | ConMo | Subject | 0.6377 | 0.2014 | 0.2578 | 0.0553 | 0.3154 | 0.9354 | | DiTFlow | Subject | 0.6483 | 0.1917 | 0.2587 | 0.0514 | 0.3155 | 0.9375 | | MotionGrounder (Ours) | Subject | 0.6818 | 0.2403 | 0.2617 | 0.0667 | 0.3150 | 0.9410 | | DMT | Scene | 0.6749 | 0.1841 | 0.2606 | 0.0499 | 0.3095 | 0.9348 | | ConMo | Scene | 0.6342 | 0.1717 | 0.2544 | 0.0472 | 0.3172 | 0.9365 | | DiTFlow | Scene | 0.6667 | 0.1552 | 0.2604 | 0.0420 | 0.3161 | 0.9409 | | MotionGrounder (Ours) | Scene | 0.6746 | 0.2073 | 0.2637 | 0.0584 | 0.3173 | 0.9415 | | DMT | All | 0.6886 | 0.2057 | 0.2656 | 0.0571 | 0.3155 | 0.9348 | | MOFT | All | 0.5450 | 0.1988 | 0.2630 | 0.0553 | 0.3138 | 0.9387 | | MotionClone | All | 0.5258 | 0.2061 | 0.2672 | 0.0581 | 0.3151 | 0.9407 | | ConMo | All | 0.6405 | 0.2023 | 0.2620 | 0.0568 | 0.3160 | 0.9367 | | DiTFlow | All | 0.6637 | 0.1868 | 0.2657 | 0.0520 | 0.3156 | 0.9399 | | MotionGrounder (Ours) | All | 0.6813 | 0.2371 | 0.2677 | 0.0671 | 0.3182 | 0.9417 |

消融实验¶

消融实验深入验证了 FMS 运动监督、OCAL 空间对齐及其内部各子模块的有效性（全数据集 All 设置下的定量对比）。

配置与消融项	运动保真度 (MF) ↑	空间交并比 (IoU) ↑	局部文本对齐 (LTA) ↑	目标接地分数 (OGS) ↑	全局文本对齐 (GTA) ↑	帧间一致性 (CTC) ↑	说明
(a) 基础 CogVideoX-5B	0.4257	0.1593	0.2662	0.0446	0.3177	0.9430	无引导基线，缺乏运动继承与物体定位
(b) 仅启用 FMS	0.6714	0.1652	0.2634	0.0462	0.3125	0.9419	运动保真度暴涨 (+0.2457)，但缺乏局部语义接地
(c) 仅启用 OCAL	0.4860	0.3099	0.2684	0.0868	0.3223	0.9430	空间接地大幅跃升，但实体缺乏连续运动动力
(d) 完整模型 (FMS + OCAL)	0.6813	0.2371	0.2677	0.0671	0.3182	0.9417	运动与接地兼顾的最优均衡点
-- OCAL: 仅 Text-to-Video	0.6749	0.2328	0.2668	0.0659	0.3172	0.9416	仅优化文本到视频注意力，接地略弱
-- OCAL: 仅 Video-to-Text	0.6675	0.2157	0.2662	0.0609	0.3151	0.9420	仅优化视频到文本注意力，定位出现漂移
-- OCAL: 无时间重复机制	0.6791	0.2375	0.2654	0.0667	0.3172	0.9420	4 帧融合掩码破坏时序细粒度引导
-- OCAL: 无尺寸正则化	0.6800	0.2345	0.2644	0.0656	0.3176	0.9416	小目标容易在梯度优化中被大目标淹没

关键发现¶

FMS 与 OCAL 的互补协同效应：仅采用 FMS 时，模型能够忠实迁移剧烈的动态变化（MF 从 0.4257 跃升至 0.6714），但由于缺乏语义引导，物体位置极易跑偏（IoU 仅 0.1652）；仅采用 OCAL 时，物体虽被精确锚定在指定掩码位置（IoU 达 0.3099），但由于缺乏运动传递，生成对象近乎静止（MF 仅 0.4860）。两者的结合不仅使 MF 提升至 0.6813，更实现了最佳的自然运动与语义接地均衡。
轨迹重复对大位移运动的决定性影响：在 FMS 的设计验证中，若强制补丁轨迹满足严格的单射一对一约束，会引发显著的补丁竞争与运动停滞；允许轨迹重复能让相邻移动补丁协同传递位移场，使大幅度复杂位移得以保真重建。
DMT 高 MF 指标的虚假繁荣：在主对比中，DMT 的全局 MF 略高于本文（0.6886 vs 0.6813），但这是由于 DMT 的特征注入过度绑定源视频刚性纹理所致（例如在更换直升机时强行保留了旋翼刚体旋转），缺乏对新主题外观的自适应适应，而本文在保证新主体形态合理形变的同时实现了更真实的运动解耦。

亮点与洞察¶

光流先验与潜在扩散跨帧注意力的可微桥接：本文没有停留在像素级后处理拼接或浅层特征替换，而是通过将 GMFlow 计算的连续运动场离散化为潜在补丁位移，巧妙地作为监督目标注入到 DiT 内部的跨帧注意力坐标差分中，实现了几何运动先验与生成式注意力特征的高效对齐。
四倍时间重复解决 VAE 压缩的时空跨度割裂：视频 DiT 普遍依赖 4x 时间压缩的 3D-VAE，导致潜在帧率远低于原始视频掩码。本文通过将注意力图沿时间维度显式重复 4 次，低成本且高精度地实现了逐帧细粒度掩码监督，避免了粗暴帧融合带来的运动模糊。
首创多目标生成专属评估基准 OGS：结合 Grounding DINO 与 SAM2 建立的开集检测加精准抠图评测流，填补了多物体视频生成领域长期缺乏局部语义-空间联合评估工具的空白，具有很强的跨任务复用价值。

局限与展望¶

密集交互实体的数量上限：作者在消融与极限测试中指出，MotionGrounder 在处理 3 个及以下目标时表现极为稳健，但在实体数量达到 4 个或更多且发生密集碰撞交互时，性能显著衰减。这是由于 VAE 的高倍空间与时间压缩导致小尺度实体在潜在特征层面丢失，造成跨注意力的空间重叠与语义纠缠。
对初始光流与掩码质量的强依赖：该框架高度依赖前端预处理输入。若源视频光流估计在快速遮挡或极端光照下失效，或者提供的物体掩码边缘粗糙，FMS 与 OCAL 将传递错误的几何约束，造成生成目标撕裂或异常畸变。
未来的可能改进方向：探索高分辨率潜在空间或在扩散后期引入轻量级像素空间细化分支，同时结合交互图结构（Interaction Graph）显式建模多实体间的相对拓扑关系。

评分¶

新颖性: ⭐⭐⭐⭐☆ [首次在 DiT 架构上系统性攻克免训练多目标运动迁移与空间接地难题，设计了互补的 FMS 与 OCAL]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖 52 个视频基准、三类提示词维度、Wan2.1 泛化实验、详尽的模块与参数消融以及 49 人参与的严格人类评估]
写作质量: ⭐⭐⭐⭐⭐ [逻辑链条严密自洽，核心机制叙述清晰，数学符号与流程图直观优雅]
价值: ⭐⭐⭐⭐☆ [为可控视频编辑与影视级多实体内容创作提供了实用、高质量的即插即用技术路线]