Unveiling the Value of Motion for Cinematic Camera Trajectories¶

会议: NeurIPS 2026
arXiv: 2609.38683
领域: 其他（电影级相机轨迹生成）
关键词: 相机轨迹生成、运动中心表示（DirSpeed）、掩蔽自回归模型（CineGEN）、CineScript数据集、跨模态对齐

一句话总结¶

针对传统以绝对位姿表示相机轨迹造成的几何与语言语义割裂，本文提出将轨迹解耦为归一化方向与对数速度的运动中心表示 DirSpeed，并构建多模态电影基准 CineScript 与连续掩蔽自回归生成模型 CineGEN，大幅刷新了文本生成相机轨迹的对齐度与物理真实感。

研究背景与动机¶

电影中的相机运镜是视觉叙事的核心手段，运镜不仅关乎相机在三维场景中所处的位置，更取决于相机如何沿着特定方向和速度动态演进。随着虚拟制作和可控视频生成的飞速发展，利用自然语言描述直接合成相机运镜轨迹成为了计算机视觉与图形学的前沿热点。然而，现有的文本生成轨迹方法（如 CCD、E.T.、GenDoP）普遍将相机轨迹参数化为每帧全局绝对位姿序列（Pose9D）。尽管这种以位姿为中心的几何表示完备，但它在本质上与人类的电影摄影语言产生了严重割裂——人类导演与摄影师习惯用“缓慢向前推轨并向右平摇”这类相对运动术语来描述运镜，而非指定相机在全局坐标系下的绝对三维坐标。

这种几何纠缠带来了一个根深蒂固的表征瓶颈：绝对坐标迫使神经网络在隐式特征空间中艰难地解缠方向、速度与全局空间位置，导致文本到轨迹的跨模态对齐极为困难。同时，现有评测框架（如 CLaTr）往往将轨迹重建目标与跨模态对比检索损失强行绑定，过重的生成与重构负担模糊了细粒度的图文实例级判别边界。此外，学术界缺乏兼具细粒度局部运镜描述、宏观剧本场景叙事背景以及真实电影元数据的高质量电影数据集，使得模型难以习得高层次的电影美学与导演风格。

本文认为轨迹表征形式是破解可控运镜生成瓶颈的关键突破口。核心 idea：将相机轨迹从传统绝对位姿彻底重构为解耦的归一化方向与对数速度（DirSpeed），并基于该紧凑连续表示构建轻量纯对比评测协议与方差引导的掩蔽自回归扩散生成模型（CineGEN），使运镜生成兼顾局部指令对齐与宏观电影叙事上下文。

方法详解¶

整体框架¶

整个框架由运动中心表示（DirSpeed）、多模态电影基准构建（CineScript）、纯对比评测协议以及掩蔽自回归轨迹生成器（CineGEN）四大核心模块构成。输入条件包括文本运镜描述（Motion Caption）、剧本级场景梗概（Logline）以及起始机位锚点（First Pose），输出为连续的平移与旋转运动序列，最终积分重构为绝对位姿轨迹。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入条件<br/>运镜描述 + 剧本Logline + 初始机位"] --> B["多模态条件融合<br/>CLIP文本编码 + MLP特征拼接"]
    B --> C["DirSpeed 运动中心表示<br/>解耦归一化方向与对数压缩速度"]
    C --> D["CineScript 电影基准<br/>28K片段 + 运镜标签 + 场景描述 + 元数据"]
    D --> E["CineGEN 掩蔽序列建模<br/>Transformer 双向自注意力提取上下文"]
    E --> F["方差引导去噪解码<br/>置信度排序逐步揭示 + DDPM连续扩散采样"]
    F --> G["轨迹积分与位姿重构<br/>李代数指数映射恢复SE(3)连续路径"]

关键设计¶

1. DirSpeed 运动中心表示：解耦归一化方向与对数速度

传统绝对位姿表示将每帧相机旋转转换为连续 6D 形式 \(\phi(R_t) \in \mathbb{R}^6\)，并与 3D 平移向量 \(\mathbf{t}_t \in \mathbb{R}^3\) 拼接为 9 维向量 \(\mathbf{x}^{\mathrm{pose}}_t \in \mathbb{R}^9\)，迫使模型在全局坐标系中隐式推断帧间相对运动。针对这一几何纠缠痛点，DirSpeed 从连续位姿序列 \(\{(R_t, \mathbf{t}_t)\}_{t=1}^T\) 计算相邻帧间的相对平移增量 \(\Delta \mathbf{t}_t = \mathbf{t}_t - \mathbf{t}_{t-1}\) 以及基于李代数对数映射的相对旋转轴角向量 \(\boldsymbol{\omega}_t = \log_{SO(3)}(R_{t-1}^\top R_t)\)。

为了彻底隔离运镜语言所描述的“运动轴向”与“运动快慢”，DirSpeed 显式将每个速度向量分解为 \(L_2\) 归一化的单位方向向量与经对数压缩的标量速度：

\[\mathbf{d}^{\mathrm{tr}}_t = \frac{\Delta\mathbf{t}_t}{\|\Delta\mathbf{t}_t\|+\varepsilon}, \quad s^{\mathrm{tr}}_t = \log(\|\Delta\mathbf{t}_t\|+\varepsilon)\]

\[\mathbf{d}^{\mathrm{rot}}_t = \frac{\boldsymbol{\omega}_t}{\|\boldsymbol{\omega}_t\|+\varepsilon}, \quad s^{\mathrm{rot}}_t = \log(\|\boldsymbol{\omega}_t\|+\varepsilon)\]

最终每帧运动特征表示为 8 维向量 \(\mathbf{x}^{\mathrm{ds}}_t = [\mathbf{d}^{\mathrm{tr}}_t, \mathbf{d}^{\mathrm{rot}}_t, s^{\mathrm{tr}}_t, s^{\mathrm{rot}}_t] \in \mathbb{R}^8\)。归一化操作将几何朝向从尺度中完全解耦，而对数变换压缩了真实电影中跨越多个数量级的运动剧烈程度，形成数值极为稳定的有界分布，极大降低了跨模态对齐与生成的优化难度。

2. CineScript 电影基准：多模态分层电影标注

现有轨迹数据集仅提供单薄的机械运镜描述，缺乏真实影片制作中的叙事背景与宏观风格信息。CineScript 从 ShotBench、CineTechBench、MovieShots、CMD 和 VADB 五大公开电影源汇聚约 28K 个高质量片段（1000 万帧，平均时长 12.0 秒）。首先通过 ViPE 算法高精度提取每帧机位并进行滤波平滑；随后利用速度阈值切分运动基元并通过 Mistral-7B 生成精炼的局部运镜描述（如“steady dolly-in with a pan right”）。

关键创新在于引入了场景级剧本梗概（Logline）与电影元数据关联：利用 Qwen3-VL-32B-Instruct 为每个片段自动生成遵循工业规范的场景剧本描述（格式为 [INT./EXT.] [Location] – [Time] – [Action]），严禁包含任何运镜词汇，纯粹提供环境光照、主导主体与情节动作信息；同时将可溯源片段链接至 Wikidata/IMDb，标注上映时代（Era）、影片类型（Genre）与导演（Director，涵盖 Christopher Nolan、Wes Anderson、Steven Spielberg 等）。这为探索宏观电影语言与微观运镜动态之间的映射奠定了数据基石。

3. CineGEN 连续掩蔽自回归扩散：平衡局部因果与全局双向上下文

标准扩散模型缺乏渐进式的时序运动承诺机制，而传统的严格因果自回归模型受限于单向生成顺序，难以协同全局电影镜头规划。针对这一架构权衡，CineGEN 基于连续标记掩蔽自回归（MAR）机制设计。不同于处理高维图像时依赖有损离散 VQ 编码，相机轨迹天然具备低维紧凑的几何属性，CineGEN 直接在连续的 DirSpeed 特征空间上进行生成。

模型由 Transformer 序列生成器（Sequencer）与 MLP 条件扩散去噪器（Denoiser）组成。Sequencer 接收被随机掩蔽部分时步的轨迹 \(\mathbf{x}^{\mathrm{masked}}\)，并融合由 CLIP ViT-B/32 编码的运镜描述 \(\mathbf{e}_{\mathrm{motion}}\)、剧本描述 \(\mathbf{e}_{\mathrm{logline}}\) 以及初始相机状态 \(\mathbf{x}_{\mathrm{fp}}\)（通过自适应层归一化 AdaLN 注入），输出包含双向上下文信息的隐向量 \(\mathbf{H}^{\mathrm{seq}}\)。随后，Denoiser 在掩蔽位置上针对真实连续特征执行条件 DDPM 扩散去噪预测。

4. 方差引导揭示策略：基于上下文置信度的非自回归解码

在推理阶段，若采用随机顺序或固定从前向后的时序揭示，往往会在置信度极低的位置产生累积误差。CineGEN 提出根据 Sequencer 上下文向量的通道方差来度量当前位置的生成置信度。对于第 \(s\) 个自回归推理步中所有未揭示的位置 \(j \in \mathcal{M}_s\)，计算其隐向量通道间的方差 \(\rho_j\)：

\[\rho_j = \frac{1}{h}\sum_{k=1}^h \left(H^{\mathrm{seq}}_{j,k} - \bar{H}^{\mathrm{seq}}_j\right)^2\]

通道方差越小，表明双向自注意力对该时步几何特征的汇聚越明确、上下文置信度越高。算法每一步优先选出方差最小的 \(n_s\) 个时步进行 DDPM 多步采样揭示，并将去噪结果更新为已知观测，交替迭代直至整条轨迹生成完成。

损失函数 / 训练策略¶

系统涉及评测协议对比训练与生成模型去噪训练两套目标：

轻量纯对比评测协议：针对 CLaTr 强行耦合重建损失模糊判别边界的弊端，采用基于冻结 CLIP ViT-L/14 文本编码器与 4 层轻量 Transformer 轨迹编码器的双塔结构，直接通过对称 InfoNCE 损失进行跨模态对比优化：

\[\mathcal{L}_{\mathrm{NCE}} = \frac{1}{2}(\mathcal{L}_{y\to x} + \mathcal{L}_{x\to y})\]

\[\mathcal{L}_{y\to x} = -\frac{1}{B}\sum_{i=1}^B \log\frac{\exp(\langle\widehat{\mathbf{h}}^y_i, \widehat{\mathbf{h}}^x_i\rangle / \tau)}{\sum_{j\in\mathcal{N}(i)}\exp(\langle\widehat{\mathbf{h}}^y_i, \widehat{\mathbf{h}}^x_j\rangle / \tau)}\]

其中温度系数设为 \(\tau = 0.1\)，并加入假负例过滤机制（文本余弦相似度 \(>0.99\) 的样本对在负例分母中予以屏蔽）。

CineGEN 连续生成损失：在随机采样掩蔽集合 \(\mathcal{M}\) 和扩散时步 \(\tau\) 下，以均方误差联合优化 Denoiser 的噪声预测网络 \(\epsilon_\theta\)：

\[\mathcal{L}_{\mathrm{MAR}} = \mathbb{E}_{j\in\mathcal{M}, \tau, \boldsymbol{\epsilon}}\left[\|\widehat{\boldsymbol{\epsilon}} - \boldsymbol{\epsilon}\|_2^2\right]\]

训练阶段掩蔽比例在 \([0.5, 1.0]\) 间均匀采样，采用 5 倍批量噪声扰动扩增与 EMA 权重滑动平均；推理时配合无分类器引导（CFG Scale = 3.5），以 18 步自回归调度完成完整轨迹生成。

实验关键数据¶

主实验¶

在 CineScript 基准上，将 CineGEN 与经典代表性方法 CCD、E.T.、GenDoP（包含官方预训练权重与在 CineScript 上重新训练的版本）进行全面评估。评测指标涵盖轨迹运动基元 F1、弗雷歇相机距离（FCD）、流形覆盖率（Coverage）、对齐度得分（AlignScore）、检索指标（R@1、MedR）以及基于真实轨迹训练的时代/流派/导演属性探测宏 F1。

方法 / 配置	轨迹 F1 ↑	FCD ↓	覆盖率 ↑	对齐度 AlignScore ↑	检索 R@1 ↑	检索 MedR ↓	时代 Era F1 ↑	类型 Genre F1 ↑	导演 Director F1 ↑
CCD* (预训练)	0.117	52.45	0.298	4.90	0.08	1032.5	44.3	46.3	12.1
CCD (重训)	0.128	49.19	0.270	18.82	0.43	397.0	47.2	56.3	32.7
E.T.* (预训练)	0.015	135.74	0.034	0.00	0.08	960.0	40.7	56.7	25.0
E.T. (重训)	0.000	179.88	0.014	0.36	0.16	745.0	40.7	45.8	33.6
GenDoP* (预训练)	0.175	102.97	0.085	7.63	0.23	715.5	33.5	45.6	18.1
GenDoP (重训)	0.234	22.10	0.586	33.11	0.93	195.0	33.2	52.5	29.9
CineGEN (本文)	0.437	6.77	0.783	57.79	3.35	52.0	47.8	60.7	48.1

消融实验¶

为了验证 CineGEN 各项核心模块设计与 DirSpeed 内部数学分解机制的有效性，论文分别在系统级（表 10）与表征分解级（表 11）进行了深入消融：

表 1：CineGEN 架构与输入条件消融分析

配置	轨迹 F1 ↑	FCD ↓	覆盖率 ↑	AlignScore ↑	R@1 ↑	MedR ↓	导演 F1 ↑	说明
CineGEN (完整模型)	0.437	6.77	0.783	57.79	3.35	52.0	48.1	最佳综合平衡
替换为绝对位姿 (Pose9D)	0.189	20.99	0.638	41.11	1.94	110.5	29.8	性能出现全面崩溃断崖
去掉初始位姿 (w/o \(\mathbf{x}_{\mathrm{fp}}\))	0.425	15.13	0.722	53.07	3.84	54.0	35.2	失去空间机位锚定，FCD剧增
去掉剧本梗概 (w/o \(\mathbf{e}_{\mathrm{logline}}\))	0.402	9.75	0.769	51.16	2.44	72.0	45.1	缺少叙事上下文，风格拟合受损
去掉方差引导 (随机揭示)	0.401	8.84	0.784	53.60	2.79	58.0	43.2	解码置信度不足，对齐与导演风格下降

表 2：DirSpeed 核心数学成分分解消融（对比对齐评测协议）

特征组合	R@1 ↑	R@5 ↑	R@10 ↑	MedR ↓	AlignScore ↑	说明
仅归一化方向 [\(\mathbf{d}^{\mathrm{tr}}, \mathbf{d}^{\mathrm{rot}}\)]	19.7	33.0	40.1	22	61.2	贡献绝大部分检索对齐信号
仅对数速度 [\(s^{\mathrm{tr}}, s^{\mathrm{rot}}\)]	5.7	9.1	12.3	290	46.8	纯速度无法支撑有效对齐
原始相对速度 [\(\Delta \mathbf{t}, \boldsymbol{\omega}\)]	3.8	8.0	9.3	377	48.4	尺度与朝向纠缠，表现极其糟糕
DirSpeed (方向 + 对数速度)	25.2	40.7	49.0	11	66.3	显式解耦兼具朝向准确与动态稳定

关键发现¶

运动中心表示是核心胜负手：将 DirSpeed 换回传统的 Pose9D 导致轨迹 F1 从 0.437 暴跌至 0.189，FCD 恶化三倍以上（6.77 \(\to\) 20.99），跨模态检索中位排名退化一倍以上（52 \(\to\) 110.5）。这证实了文本指令天然对应微分级的相对运动行为，绝对坐标是阻碍对齐的最大障碍。
原始速度并非灵丹妙药，解耦归一化才是关键：单纯做时序差分的原始速度向量在对齐评测中 R@1 仅为 3.8%，甚至大幅逊于纯方向的 19.7%。唯有将方向与对数速度正交解耦，才能将 R@1 跃升至 25.2%，证明了单位方向向量在语言语义投影中的决定性地位。
高阶导演风格具有可辨识轨迹签名：在真实轨迹探测实验中，分类器对诺兰、韦斯·安德森、斯皮尔伯格三位标志性导演的判别 Macro-F1 达到 68.2%（DirSpeed）对比 51.8%（Pose9D）。而在生成轨迹上，CineGEN 实现了高达 48.1% 的导演风格保留率，远超 GenDoP 的 29.9% 与 CCD 的 32.7%。

亮点与洞察¶

表征层面的“四两拨千斤”：本文没有盲目堆叠更深的网络参数，而是从第一性原理指出了电影运镜的语言本质是“运动方式”而非“静态机位”，通过极简的几何解耦（单位方向 + 对数速度）在零额外参数代价下全面碾压复杂基线。
剥离重建负担的轻量纯对比评测范式：指出了以 CLaTr 为代表的旧基线将“表征重建”与“判别对齐”混合优化的误区，构建了纯粹基于对比损失的轻量评测器，不仅将检索 R@1 从 6.9% 提升至 25.2%，更将评测器训练耗时从数小时压缩至 10 分钟。
连续无损的掩蔽自回归生成架构：打破了视觉 MAR 领域必须使用 VQ-VAE 离散化 Token 的思维定势，巧妙利用相机轨迹天然紧凑低维的特性，在连续特征空间中直接以方差引导的 DDPM 进行自回归填充，同时兼顾了全局规划与逐步因果收敛。

局限与展望¶

真实电影元数据规模与长尾分布：CineScript 中能够明确溯源并链接至公开知识库（IMDb/Wikidata）的高阶元数据片段目前仅有约 3.2K 条，且导演分布呈现极度严重的长尾效应。因此当前模型尚未直接将导演与流派作为生成条件，显式可控的导演风格合成仍有待更大规模的专业标注支持。
前序位姿估计（SfM/SLAM）的残余噪声依赖：数据集的所有真实轨迹依赖于 ViPE 视觉位姿估计系统的离线提取，虽然经过了滤波与平滑，但在镜头切换边缘、剧烈动态模糊或弱纹理场景下仍不可避免地带有估计误差。
合成场景梗概的潜在幻觉：剧本 Logline 当前由 VLM（Qwen3-VL）自动化生成，尽管经过了人工抽样质检与格式规范，但在复杂隐喻或高动态剧烈交互场景中仍可能存在微小事实偏差。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了长期垄断该领域的绝对位姿表征范式，首次提出运动中心解耦（DirSpeed）与连续无损掩蔽自回归轨迹生成框架。
实验充分度: ⭐⭐⭐⭐⭐ 构建了包含 28K 视频片段与剧本/元数据的大规模基准 CineScript，并设计了详尽的组件分解、跨评测器迁移与盲测人类评估。
写作质量: ⭐⭐⭐⭐⭐ 论述逻辑严密，问题定义精准透彻，数学形式优雅精炼，图表表达极具说服力。
价值: ⭐⭐⭐⭐⭐ 为虚拟电影拍摄、可控视频生成与具身运镜规划提供了高质量的基础数据集、标准评测协议与强有力的生成范式。