TriMotion: Modality-Agnostic Camera Control for Video Generation¶

会议: ECCV2026
论文: ECCV 原文
全文: 会议 PDF
项目: TriMotion
作者: Seunghyun Shin, Jifei Song, Wooseok Jeon, Hae-Gon Jeon, Jiankang Deng
领域: 视频生成
关键词: 相机控制、统一运动嵌入、跨模态对齐、潜空间一致性、运动组合

身份核验：清单 ID 3398、stub 与缓存首页标题一致，没有副标题变化。本文依据会议 PDF 正文第 3–5 节及表 1–4；缓存未提供可确认的本文 arXiv ID 或代码仓地址，故不补写。

一句话总结¶

TriMotion 用几何落地的三元组数据将视频、位姿、文本变成统一相机运动条件，再以冻结的潜空间运动预测器约束视频生成，位姿条件 V2V 达到 FVD 221.59、CamMC 3.6797，同时支持跨模态运动组合。

研究背景与动机¶

相机可控视频生成需要同时保留源场景与执行新视点运动，但不同用户表达运动意图的方式差异很大。 CamI2V、ReCamMaster 接受明确位姿，精度高却要求用户准备几何轨迹；MotionClone、CamCloneMaster 可以借参考视频传递运镜，但不便精确编辑时间阶段。文本最容易输入，却没有天然的逐帧结构，也不会完整给出平移尺度、角速度等几何参数。

关键困难不是简单地为生成器接上三个输入接口，而是让“向前推进并左转”的句子、相同运镜的视频、对应外参序列表达同一个控制信号。只对齐整段语义会漏掉动作顺序，只依赖余弦相似度又可能丢失绝对几何线索；即使输入嵌入正确，扩散生成过程仍可能偏离目标轨迹。因此，论文既要建立可靠的共享运动空间，也要检查生成结果是否真正遵循这个空间里的目标。

核心 idea：用几何轨迹生成同步文本，以全局对比、逐时刻匹配和位姿回归共同学习共享运动空间，再直接从生成潜变量预测运动，约束输出而不反复解码视频。

方法详解¶

整体框架¶

输入包含用于保留内容的源图像或源视频，以及用于指定运镜的视频、位姿或文本参考；输出是相同内容在目标相机运动下的视频。训练首先构造运动三元组并学习统一运动嵌入，再训练潜空间运动预测器，最后用目标运动条件与运动一致性损失微调 Wan 系列视频扩散 Transformer。 “源内容”和“目标运动”是不同角色，参考运镜视频不要求与源视频具有相同场景。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
data["同步视频与外参"] --> triplet["几何落地三元组"]
triplet --> space["统一运动嵌入"]
space --> condition["目标运动条件"]
source["源图像或视频"] --> condition
condition --> latent["生成潜变量"]
latent --> consistency["潜空间运动一致性"]
space --> consistency
consistency -.->|训练约束| condition
latent --> output["VAE 解码输出视频"]

图中的一致性分支用于训练，不是每次采样都先解码视频再估计相机的后处理。方法第 4.1 节使用 3D VAE，将时间、空间分别压缩 4 倍和 8 倍；干净源潜变量与带噪目标潜变量沿时间维拼接。外观描述由冻结 T5 编码，源首帧由冻结 CLIP 图像编码器编码，目标运动则通过独立的运动通路注入。

关键设计¶

1. 几何落地三元组：先提取运动阶段，再让语言模型描述

Motion Triplet Dataset 扩展 Multi-Cam Video Dataset：基础数据包含 136K 个 Unreal Engine 5 视频、13.6K 个动态场景、40 个三维环境和 122K 条独特相机轨迹。直接把连续外参矩阵交给语言模型容易丢失时间关系，因此先以首帧为锚构造相对轨迹，计算逐帧平移和旋转变化。小于固定阈值的变化视为静止，较大变化映射为 Dolly、Pan、Tilt 等标准运镜操作，并组织成有先后顺序的运动阶段。

Qwen3-4B-Instruct 根据这份符号序列生成短摘要和详细段落，详细版本描述时间过渡与速度变化。提示要求区分同时发生与先后发生的动作，并避免显式米数、角度等度量值，使文本接近日常用户指令。这一步提供的是有几何依据的语言监督，而不是人工编写或自由看视频生成的通用场景描述；正文没有给出静止阈值的具体数值。

2. 统一运动嵌入：同时保留整段意图、时间位置与几何

视频分支采用 VGGT 的特征聚合模块，在每帧 patch 后附加相机 token，经帧内与全局交替注意力收集多视图几何信息。文本分支先用冻结 T5 编码句子，再让固定数量的可学习运动查询交叉关注文本 token，把静态句子转换为有序运动 token。位姿分支把每帧 \(3\times4\) 外参展平，通过带 GELU 的逐帧 MLP 映射到同一维度，保留轨迹序列结构。

每个分支得到长度相同的 \(N\) 个运动 token，前面再加一个可学习全局 token，经各自轻量时间 Transformer 输出 \((N+1)\times D\) 的表示。首 token 表达整段轨迹，后续 token 表达逐时刻运动。三种模态两两采用对称 InfoNCE 对齐全局 token，并最小化对应时间 token 的余弦距离。另一个共享位姿回归器从每种模态嵌入预测外参，以 L1 误差监督，防止只学会“相似运动聚在一起”却丢掉几何可恢复性。

按原文式 (9) 整理，三种约束合为：

\[ \mathcal{L}_{\mathrm{align}}=\mathcal{L}_{\mathrm{NCE}}+\lambda_t\mathcal{L}_{\mathrm{temp}}+\lambda_p\mathcal{L}_{\mathrm{pose}}. \]

这里的全局检索正确不代表逐帧位姿完全正确，后文表 3 正好揭示文本嵌入在这两方面的差别。

3. 目标运动条件：只把希望执行的运动交给生成器

每个扩散 Transformer block 都有自己的投影 MLP，把目标运动嵌入映射到隐藏特征布局后做残差相加。源视频仍通过干净源潜变量提供内容，但运动条件只使用目标嵌入，不额外拼接源运动，也不使用“目标减源”的运动差向量。原因是相机条件应该指向最终轨迹：拼接源运动容易形成竞争控制信号，差向量又可能去掉目标轨迹的绝对结构。

I2V 不另造生成器，而是把输入图像编码成伪视频潜变量的首帧，其余潜帧补零。 V2V 则提供完整源序列，二者共享同一条件与去噪结构；因此统一的是源格式接口和目标运动接口，而不是把相机控制退化成普通文本提示。

4. 潜空间运动一致性：监督实际生成的运动，而不只监督输入表示

运动嵌入预测器由 3D 卷积和时间 Transformer 构成，从干净视频潜变量预测全局及时间运动 token。它先对齐视频运动编码器的嵌入，并在训练时加入低扩散时间步的轻微噪声，以适应去噪器并不完美的干净潜变量估计；训练完成后冻结。按原文式 (10)，其核心是两种粒度的余弦距离：

\[ \mathcal{L}_{\mathrm{motion}}(\hat e,e)=1-\mathrm{sim}(\hat e^{(0)},e^{(0)})+\frac{\lambda_h}{N}\sum_{k=1}^{N}\left[1-\mathrm{sim}(\hat e^{(k)},e^{(k)})\right]. \]

生成器采用 rectified flow，带噪目标为 \(z_t=(1-t)z_0+t\epsilon\)，速度目标为 \(\epsilon-z_0\)，所以预测干净潜变量为 \(\hat z_0=z_t-t v_\theta\)。这也是原文式 (11) 的含义：把预测潜变量送入冻结预测器，与当前目标模态嵌入比较，梯度通过预测器传回生成器。预测器冻结不等于阻断这条梯度；它提供稳定的运动评价函数，不随生成器一起改变判据。不需要重复高分辨率像素解码是这一设计的计算优势，但正文未提供具体加速倍数。

一个完整示例¶

假设源图像展示一个室内空间，目标文字是“先向前推进，再逐渐向左摇摄”；这是解释流程的示例，不是新增实验。 T5 和运动查询先形成时间 token，首段对应推进，后段包含左转，统一运动嵌入将其作为生成器每层的目标条件。源图像首潜帧及后续补零潜帧提供 I2V 内容输入；训练时，预测出的干净潜变量若没有表现左转，会受到时间 token 一致性约束。若改用表达同一轨迹的参考视频或外参序列，只更换运动编码入口，不更换扩散主干。

第 5.5 节还在该空间探索跨模态组合：顺序组合拼接两段运动序列，并以第一段终态偏移第二段以保持连续；插值则线性混合两个运动嵌入。论文给出图 5 和用户评分，但未充分展开嵌入终态偏移的实现，因此不能将其视为严格保证几何连续的通用轨迹代数。

损失函数 / 训练策略¶

最终生成损失按式 (12) 为 \(\mathcal{L}_{\mathrm{total}}=\mathcal{L}_{\mathrm{denoise}}+\lambda_m\mathcal{L}_{\mathrm{motion}}\)，前者是速度预测的均方误差。只更新扩散主干的三维时空注意力层和逐 block 投影 MLP；I2V 与 V2V 每轮以相等概率采样。统一运动空间训练 100 个 epoch，运动预测器训练 10 个 epoch，扩散主干训练 10K 次迭代，数据留出 1% 验证。硬件为 4 张 NVIDIA H200；优化器 AdamW，学习率 \(10^{-4}\)，\(\beta_1=0.9\)、\(\beta_2=0.999\)，权重衰减 0.01。正文未说明 \(N\)、\(D\)、损失权重具体值或精确 Wan 型号规模，不能自行补为某个常见配置。

实验关键数据¶

主实验¶

第 5.1 节使用 Koala-36M 的 500 个源视频与 RealEstate10K 的 500 个视频-位姿对；缺失的运动文字由相同几何描述流程补齐。以下摘录原文表 1 的 V2V 结果。FVD、平移误差和 CamMC 越低越好，CLIP-V 越高越好；CLIP-V 衡量源内容保留。相机位姿由 MegaSaM 估计后计算误差，CamMC 沿用 CamI2V 指标；正文未重述其完整公式，不能把它解释成准确率百分比。

V2V 方法	控制模态	FVD	平移误差	CamMC	CLIP-V
TrajectoryCrafter	位姿	299.96	3.2621	3.5711	0.8794
ReCamMaster	位姿	253.65	3.6559	4.3611	0.8833
CamCloneMaster	视频	241.38	3.8987	4.7964	0.8791
TriMotion	文本	237.87	3.7525	4.7778	0.9041
TriMotion	视频	254.55	3.6468	4.2384	0.8851
TriMotion	位姿	221.59	3.2356	3.6797	0.9071

位姿条件 TriMotion 相比 ReCamMaster 的 FVD 降低 32.06，但 CamMC 不及 TrajectoryCrafter 的 3.5711，不能宣称所有指标第一。 I2V 中 TriMotion 位姿条件 FVD 为 317.85、CamMC 为 4.3087；CamCloneMaster 分别为 312.13、4.9585，仍体现画质分布指标与运动误差并不总同向。

消融实验¶

原文表 2 全部采用位姿条件 V2V；Concatenation 指源与目标运动嵌入拼接，不是取消主干输入中的源/目标视频潜变量拼接。

运动条件 / 损失配置	FVD	平移误差	CamMC	CLIP-V
源与目标运动嵌入拼接	193.56	10.5327	11.2641	0.9214
目标减源运动嵌入	265.53	9.6904	10.9317	0.8903
不使用运动一致性损失	249.85	4.2986	4.8660	0.8828
完整 TriMotion	221.59	3.2356	3.6797	0.9071

移除运动一致性后，CamMC 从 3.6797 升至 4.8660，增加 1.1863；加入该项相对无损失版本降低约 24.38%。拼接条件的 FVD 193.56 和 CLIP-V 0.9214 反而更好，但运动误差明显变坏，表明过度保留源视频不能等价于成功重定向相机。

关键发现¶

原文表 3 的跨模态检索在三元组验证集完成，正对来自同一轨迹，负对来自同一场景内不同轨迹；Recall@1 是对应模态正确配对排在首位的比例。

模态对	正对余弦相似度	负对余弦相似度	Recall@1
视频与位姿	0.9605	0.0317	98.50%
视频与文本	0.8887	0.0256	98.00%
文本与位姿	0.9121	0.0243	99.50%

同表在 RealEstate10K 上回归位姿时，文本嵌入 CamMC 为 3.8359，位姿嵌入为 0.6603；检索对齐强不意味着语言能恢复同样精确的几何。原文表 4 的用户研究有 20 名参与者：30 对视频-文本、10 个顺序组合及 10 个插值样例，生成质量评估则为 I2V、V2V 各 10 个样例。五分制下，长描述匹配得分 \(4.11\pm0.22\)，顺序组合 \(3.97\pm0.23\)，插值 \(3.88\pm0.27\)；小样本人评支持可用性，但不是大规模泛化证明。

亮点与洞察¶

先把连续外参转成有时间顺序的运镜符号，再生成文字，减少语言模型直接读取数值序列的负担。这个设计也让文本监督更容易追溯到几何来源。
全局对齐、时间对齐和位姿回归各自约束不同层面。高检索率与较弱文本几何精度并存，提醒读者不要把“语义一致”误写成“几何等价”。
训练时直接评价生成潜变量的运动，避开像素解码。可迁移的思路是为可控属性建立冻结的潜空间评估器，但前提是其对生成误差足够稳健。

局限与展望¶

作者明确指出，极端轨迹需要生成大面积不可见区域时，仍会出现边界扩展伪影；可结合显式三维背景补全或时间外推。
训练监督主要来自合成 UE5 场景；虽然评测使用真实视频，仍缺少更广泛复杂动态、极端视角与开放式语言的分项结果。
文本生成不包含显式度量值，且文本位姿回归弱于位姿输入。因此“模态无关”指统一接口与表示，不代表三种输入信息量相同。
运动组合主要由定性图和小规模人评支持，未展示长链组合的累计几何误差；值得补充长度、转向强度与失败率扫描。
正文未报告潜空间约束的实际耗时、显存节省及多次训练方差，效率收益和统计稳定性尚不能量化。

评分¶

新颖性: 4/5。三模态运动空间与潜空间结果约束形成完整方案，但各组成技术已有基础。
实验充分度: 4/5。覆盖 I2V、V2V、条件消融、检索和用户研究，效率与极端运动分析仍不足。
写作质量: 4/5。核心架构与消融相互对应，但部分超参数及运动组合实现细节不够具体。
价值: 4/5。降低相机控制输入门槛，适合交互式视频编辑；不应理解为精确三维轨迹的无损语言接口。