Learning to Generate Rigid Body Interactions with Video Diffusion Models¶

会议: ECCV2026
论文: ECCV 原文
项目: KineMask
作者: David Romero, Ariana Bermudez, Viacheslav Iablochnikov, Hao Li, Fabio Pizzati, Ivan Laptev
领域: 视频生成
关键词: 速度掩码、刚体交互、两阶段训练、合成数据、文本条件

一句话总结¶

KineMask 通过速度掩码控制、逐步撤去未来运动条件的两阶段训练及事件文本条件，让视频扩散模型从单幅图像和初始速度生成后续刚体交互，并在合成测试及真实场景观感评估中改善运动与交互质量。

研究背景与动机¶

视频生成已经能保持较好的外观与时间连贯性，但物体一旦发生碰撞，就可能出现穿透、消失或无接触位移。这对创意视频是局部瑕疵，对世界模型却意味着行动与后果之间的关系不可信。已有方法可以先重建场景，再交给物理模拟器计算运动，但单幅图像中的几何、材料和遮挡本身就难以恢复。另一类拖拽控制可以让物体按指定路径移动，却要求用户事先给出未来轨迹，甚至隐含地指定碰撞后的终点。因此，“让物体按路径走”和“只给初始运动，让模型预测后果”并不是同一个任务。

本文选择后一个任务：用户在图片中的物体上画一个速度箭头，模型自己生成后续运动以及对其他物体的影响。困难在于，首帧条件很稀疏，直接训练容易学不好运动控制；反过来，始终提供完整轨迹又会让模型依赖推理时拿不到的信息。作者于是先用完整速度掩码建立控制能力，再通过删除未来帧条件，把问题变成根据初始状态延展动力学。训练数据使用 Blender 中的方块与圆柱交互，让接触后的运动变化在数据里有明确依据。但这类简单几何体并不包含碎裂、溅水等丰富现象，模型还需要保留预训练视频模型已有的视觉与事件知识。

文本在这里不是速度的替代品，而是描述交互可能引发的事件，使低层运动信号可以激活更丰富的生成先验。训练时文本来自完整合成视频，推理时则由 GPT-5 根据输入图像与运动方向预测场景后果，二者的信息来源必须区分。这种安排同时利用了合成数据的运动监督与预训练模型的真实场景知识，但不等于加入可验证的物理求解器。 核心 idea：先用密集速度掩码学会控制，再撤去未来条件学会续推，并用事件文本保留复杂交互效果的生成能力。

方法详解¶

整体框架¶

输入是一幅场景图像、目标物体及用户指定的初始速度，输出是包含未来运动和交互的视频。基础模型采用图像到视频的 CogVideoX-I2V-5B；冻结视频主干，训练额外的 ControlNet 分支接收速度掩码。整体包含速度掩码编码、两阶段掩码丢弃训练和高层文本条件三个关键设计。训练视频提供真实运动和事后事件描述，推理仅提供初始掩码及预测描述，不输入真实未来轨迹。下面实线表示条件或数据流，虚线表示训练得到的参数与训练专用文本。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Data["Blender 视频与速度"] --> Mask["速度掩码编码"]
        Mask --> Train["两阶段掩码<br/>丢弃训练"]
        Data --> Text["高层文本条件"]
        Input["输入图像与速度箭头"] --> Text
        Input --> Initial["SAM2 与首帧速度掩码"]
        Text -.->|训练视频描述| Train
        Train -.->|ControlNet 参数| Model["冻结视频主干<br/>与训练后的 ControlNet"]
        Initial --> Model
        Text -->|预测事件描述| Model
        Input -->|参考图像| Model
        Noise["随机噪声"] --> Model
        Model --> Output["未来交互视频"]

关键设计¶

1. 速度掩码编码：同时告诉模型哪个物体移动、往哪里移动

普通二值掩码只表达物体位置，无法区分同一物体向左还是向右，也不能表达初始快慢。 KineMask 在物体分割区域内填入三通道瞬时速度，红、绿、蓝分别对应三维速度的三个轴。把所有帧堆叠起来，就得到同时携带物体形状、位置和运动状态的时空控制张量。这里的颜色是控制数值的编码，不是对物体真实外观的修改；原图仍由图像到视频主干接收。 Blender 提供方块、圆柱、纹理背景和随机方向及幅度的初始速度，因此可以直接获得这些监督信号。 Interactions 数据包含碰撞，Simple Motion 则只包含孤立物体的移动，二者用于区分“会移动”与“会交互”。

关键限制是：只给首帧已经在运动的物体编码，因碰撞才开始运动的其他物体始终不提供控制掩码。因此即使在密集监督阶段，受撞物体的响应也不能靠逐像素指定来获得，而需要模型从视频训练中学习。推理时 SAM2 从输入图像提取目标区域，再把用户箭头转换成该区域的初始速度编码。多个主动运动物体可以同时设置初始掩码，论文展示了它们彼此碰撞或撞到第三个物体的例子。正文没有给出速度数值到 RGB 范围的完整标定细节，因此不能把箭头长度直接解释为已校准的真实世界速度。这个编码解决的是对象级运动条件输入，不是质量、摩擦系数或关节驱动的完整状态表示。

2. 两阶段掩码丢弃训练：把跟随完整运动条件过渡为根据初始状态续推

第一阶段对主动运动物体提供各帧速度掩码，ControlNet 先学习把密集控制映射到视频中的形状和运动。如果直接只用首帧条件训练，控制分支既要学会读掩码，又要同时预测后续状态，优化问题更困难。第二阶段从第一阶段参数继续训练，随机删除部分后续帧的速度条件，删除位置以零填充。正文说明采样偏向较早的帧，因为合成序列里的交互大多在前段发生；具体采样分布留在未提供的附录中。模型由此看到不同稀疏程度的条件，必须在缺少未来掩码时补出后续运动。这里删除的是控制输入，不是目标视频帧，完整视频仍然提供生成训练的监督。

最终推理只保留首帧掩码，后续控制槽位全部置零，记为：

\[ \widetilde{m}=[m_0,0,\ldots,0]. \]

这一关系直接对应第 3.2 节的推理设置；零表示条件缺失，不能理解为要求物体之后静止。被撞物体的速度变化、主动物体的减速或最终位置都需要模型生成，而不是由用户预填。表 1 用“只训练第二阶段”检验密集预训练是否有必要，结果支持保留两个阶段。另一个比较对象在测试时拿到所有帧真实掩码，是具有额外未来信息的特权上界，不属于相同输入预算的部署方法。

3. 高层文本条件：用事件描述激活超出几何体训练集的生成先验

简单碰撞数据能教会模型何时推动另一个物体，却不直接包含杯中液体溢出、陶器碎裂等复杂现象。作者用 Tarsier 为完整训练视频生成详细描述，重点包含物体交互及其后果，而不是只写“物体在表面上移动”。这些描述仍然只涉及训练集中的合成元素，并未给模型额外的碎裂或流体仿真视频。它们的作用是让控制训练继续使用文本通道，避免模型只关注速度信号而丢失对复杂事件提示的响应。推理时 GPT-5 观察新图像和运动方向，形成预期后果的描述，再与首帧速度掩码一起交给视频模型。因此最终视频中的复杂效果来自运动条件、预测文本以及预训练主干知识的共同作用。

论文通过固定简短提示与丰富事件描述的对照，检验训练时是否保留文本语义的重要性。在真实场景定性结果中，丰富描述训练更容易生成花盆破碎和水面波动，即使这些效果不在简单几何训练集里。但语言描述本身也可能先给出一个错误后果，视频生成器并没有另一个物理模块去校验它。因此“能生成语义合理的交互”不应被扩大为“只凭视觉控制分支就恢复了真实动力学”。速度决定用户希望怎样开始运动，文本约束可能发生什么事件，两者互补但没有硬一致性保证。这一点也解释了文本增强为何可能改善观感，却不一定改善每一个运动距离指标。

一个完整示例¶

考虑左侧杯子朝右侧杯子运动的场景，这是对图 1 流程的解释，不是新增实验。用户只在左杯上画箭头，SAM2 提取左杯形状，初始速度值填进该区域，后续控制帧留零。右杯最初静止，因此不需要用户手动指定它被撞后的位置或轨迹。 GPT-5 根据场景与方向给出可能碰撞及后续效果的描述，供视频主干作为文本条件。训练后的控制分支把左杯运动约束注入去噪过程，主干同时生成接触、右杯响应及可能的液体效果。若把右杯移走，同一个初始箭头不再意味着同一个终点，因为后续状态仍由整个场景共同决定。图 7 用改变速度或替换受撞对象展示类似响应差异，但没有给出物理质量估计误差或守恒误差。

损失函数 / 训练策略¶

训练保留视频扩散模型的生成目标，只优化控制分支，而非额外加入碰撞守恒或牛顿动力学损失。正文以反向扩散条件分布的 KL 目标介绍训练，并说明实际通过噪声预测实现。由于缓存中的相关公式存在符号损坏，这里不猜补为可直接复现的精确目标函数。两个阶段使用相同的视频生成训练目标，关键变化在控制张量由密集变为随机截断，而不是另起一种监督任务。 CogVideoX 实现将 ControlNet 接入前 8 层，控制权重为 0.5，推理生成 49 帧。每个合成数据集有 10,000 个训练样本和 100 个测试样本，测试颜色与纹理不与训练重合。 Real World 包含 50 幅网络收集或 ChatGPT 生成的图片，没有真实未来运动轨迹，不能用于逐帧轨迹真值评估。正文没有完整列出训练步数、学习率及掩码丢弃分布，当前缓存也未包含所引用的附录，复现仍需补充材料。

实验关键数据¶

主实验¶

表 A 摘录原文表 2（第 11 页）：在 Interactions 合成测试集上评估训练数据与模型选择。该组用于隔离低层运动控制，使用固定简短提示；不能把它当作丰富文本完整系统在真实世界上的误差表。 MSE 是生成视频与真值视频的均方误差，FVD 衡量视频分布差异，FVMD 衡量运动特征分布差异，三者越低越好。 IoU 是 SAM2 提取的生成物体掩码与真值掩码的交并比，越高越好；原表将 FVMD 拼为 FMVD，以下按指标正文统一记为 FVMD。

方法	训练数据	MSE ↓	FVD ↓	FVMD ↓	IoU ↑
CogVideoX	无任务微调	344.6	807.3	3514.9	0.192
CogVideoX	Interactions	201.9	368.2	162.9	0.243
KineMask	Simple Motion	166.2	301.1	160.5	0.334
KineMask	Interactions	158.7	250.7	143.8	0.355

相同 KineMask 架构下，交互数据把 FVD 从 301.1 降至 250.7，绝对降低 50.4；说明只学习平移不能替代学习接触后果。交互数据微调后的 CogVideoX 仍落后于 KineMask，支持对象级条件机制的作用，而不只是“多看了合成视频”。

消融实验¶

表 B 摘录原文表 1（第 10 页）：Simple Motion 测试集上的训练阶段消融，用于尽量排除复杂文本和碰撞因素。 KineMask 的低层控制训练与推理使用固定简短提示；正文另说明 CogVideoX 比较项使用视频描述，因此不把它视为纯粹只改阶段数的对照。表内最关键的受控比较是“仅第二阶段”与“两阶段”，而最后一行额外使用了所有未来帧的真实控制掩码。

配置	测试控制条件	MSE ↓	FVD ↓	FVMD ↓	IoU ↑
CogVideoX	无速度掩码	158.3	601.1	1504.6	0.051
仅第二阶段	首帧速度掩码	86.3	288.8	201.0	0.237
两阶段	首帧速度掩码	47.2	160.3	199.8	0.367
第一阶段 + 完整掩码	每帧真实速度掩码，特权上界	24.9	89.7	165.6	0.684

两阶段相对仅第二阶段将 MSE 从 86.3 降至 47.2，IoU 从 0.237 提升至 0.367；但 FVMD 仅从 201.0 降至 199.8。因此收益尤其体现在空间位置及形状一致性，不能概括为所有运动指标同等幅度改善。完整掩码上界的 IoU 仍达 0.684，提示自由续推与知道真实未来之间还有明显差距。

关键发现¶

原文第 13 页对表 3 的解释给出：丰富文本训练的 IoU 为 0.376，第二优配置为 0.356；对应讨论中的 FVD 为 231.3 对 238.8。
同段指出丰富文本模型的运动指标为 174.4，而该表最佳为 143.8，明确存在文本效果与运动一致性的取舍。
表 3 的缓存行列发生合并，故不重建完整表格，只引用正文明确说明的数字；MSE 及逐行配对不据损坏排版推断。
第 9 页的用户研究有 30 名参与者，比较运动服从度、交互真实性和整体物理一致性，并允许选择两者相同。
图 5、图 12 的偏好百分比无法从当前文本读取，仅保留作者报告的改善方向；Wan2.2-5B 与 Cosmos2.5-2B 的扩展结果亦不补造比例。

亮点与洞察¶

先学习密集控制再削减条件，是把可监督的轨迹跟随转成初始状态生成的实用课程。它降低控制学习难度，又使测试接口不需要预知未来。
受撞物体从不直接提供速度掩码，使交互响应成为必须学习的内容。否则密集条件可能把整个“物理效果”提前写进输入。
数据消融说明外观迁移与交互迁移不是同一件事。模型能在真实物体上保持好看的纹理，并不意味着仅凭平移训练就能处理碰撞。
文本通道可以保留预训练模型的复杂事件能力。读者可借鉴这种条件保留思路，但仍应单独测量文本与低层运动发生冲突时的行为。

局限与展望¶

作者明确指出控制仅覆盖速度，真实运动还受质量、摩擦、形状和空气阻力影响；当前方法没有显式输入或估计这些完整参数。
方法聚焦质心运动，不是部件级驱动或关节控制；训练相机静止，也不显式控制相机运动，软体交互仍是未来方向。
读者判断：真实场景没有未来轨迹真值，用户偏好与精选视频支持“更合理”，不能证明质量估计、因果识别或物理守恒准确。
读者判断：预测文本可以带入事件先验，也可能带入错误后果；需要独立检验错误描述、遮挡及长时序重复生成时的失效。
更强的验证应在可控物理参数下报告速度、碰撞时刻及守恒误差，并区分真实照片与生成图片；这些是建议，不是已完成实验。

评分¶

新颖性: 4/5。速度掩码与从密集到稀疏的训练形成清晰组合，但控制分支和合成训练本身已有先例。
实验充分度: 4/5。覆盖训练阶段、数据、文本和跨主干验证，真实场景定量物理真值仍缺失。
写作质量: 4/5。主线与消融逻辑清晰，复现细节依赖附录；缓存公式及表 3 损坏也限制了当前核查。
价值: 4/5。为初始状态控制的视频世界模型提供可复用方案，但距离可靠的机器人动力学预测仍有验证缺口。