Taming Camera-Controlled Video Generation with Verifiable Geometry Reward¶

会议: ECCV2026
论文: ECCV 原文
领域: 视频生成
关键词: 相机控制、可验证几何奖励、相对位姿、GRPO、动态场景

一句话总结¶

CamVerse 把生成视频与参考视频的三维相机轨迹转化为分段相对位姿奖励，用在线 GRPO 改善相机控制；表 1 中 T2V 平移误差从 SFT 的 0.0395 降至 0.0293，但 I2V 感知质量并非同步提高。

研究背景与动机¶

相机可控视频生成要求模型不仅画出提示词描述的场景，还要把指定的三维镜头路径落实为逐帧视角变化。 CameraCtrl、MotionCtrl 和 AC3D 等方法已经能够把相机参数或射线表示注入生成器，但主流训练仍是监督微调（SFT）。 SFT 学习固定的文本、视频、相机配对样本，却不直接检查模型自己生成的视频究竟有没有执行指令。因此，一段视频可以内容逼真、整体运动方向大致正确，却在转弯处继续直行，或者通过不合理的场景变形模拟相机移动。静态场景占主导的训练集还容易弱化主体运动，使模型难以同时处理相机移动和人物等主体的独立动态。

在线强化学习（RL）可以反复采样当前模型的输出，并提高成功执行控制的输出概率，但奖励设计并不简单。普通图像或整段视频质量分数无法指出镜头究竟在哪一小段偏离了目标；相机轨迹估计本身还带有尺度不确定性和重建噪声。直接比较绝对轨迹也可能偏好全局形状接近、局部运动不连贯的结果，使局部正确但存在累计漂移的样本得不到有用反馈。本文因此关注的不是再加一个相机条件接口，而是如何从生成结果中抽取足够可靠、足够细的几何反馈。

作者利用大规模前馈三维模型估计相机位姿，先消除生成轨迹与参考轨迹的尺度和坐标系差异，再比较短时间段内的相对运动。这让奖励更贴近“此处应该怎样移动”，同时让同一视频中正确和错误的片段可以获得不同反馈。 核心 idea：将三维轨迹一致性转换成经过置信度筛选的分段相对位姿奖励，再通过在线 GRPO 把这种几何先验注入视频生成器。

方法详解¶

整体框架¶

输入包含文本提示词、目标相机轨迹，以及 I2V 场景下的首帧；输出是沿目标轨迹展开的视频。 CamVerse 先用带相机标注的多样化视频完成监督微调，再从当前生成器为同一条件采样多段候选视频。训练阶段通过“轨迹重建与对齐”“分段相对位姿奖励”“组相对策略更新”构成闭环，而不是把参考视频作为推理时必须提供的输入。参考视频用于训练中的轨迹比较；部署时保留生成器及相机条件，不需要执行奖励评估和策略更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["文本、目标轨迹<br/>与可选首帧"] --> Generator["SFT 初始化的生成器"]
        Generator -->|训练时采样| Samples["同条件候选视频"]
        Samples --> Align["轨迹重建与对齐"]
        Reference["训练参考视频"] --> Align
        Align --> Reward["分段相对位姿奖励"]
        Reward --> Update["组相对策略更新"]
        Update -.->|训练反馈| Generator
        Generator -->|推理时| Output["相机可控视频"]

基础生成器是约 2B 参数的内部预训练扩散 Transformer，配合时空 VAE 将时间维压缩 4 倍、空间维压缩 8 倍。相机关键帧位姿先插值到视频帧数，再构造逐像素 Plücker 射线表示，交给轻量相机网络编码。每条射线包含方向与相机中心和方向的叉积，因此每像素得到 6 维几何条件，而不是简单拼接一组全局外参数字。这种表示把相机朝向和空间位置对应到像素射线，更容易与视频特征结合，但本身不保证输出正确遵循轨迹。

训练数据共 315k 段视频，其中 314k 用于训练、1k 留作测试，覆盖真实视频和游戏环境。作者强调大幅度镜头运动与不同程度的主体动态，并用重建及多阶段筛选排除失败样本、拓宽轨迹分布。这部分为生成器提供基础能力；几何奖励的作用则是进一步筛选当前生成分布中更准确的执行结果。论文没有在所提供正文中给出完整的数据筛选阈值，因此不能据此直接复现整条数据构建流水线。

关键设计¶

1. 轨迹重建与对齐：先消除尺度歧义，再判断控制误差

对生成视频和参考视频分别执行前馈三维重建，得到每帧 camera-to-world 外参以及像素置信度。原文使用的大模型体系包括 π3；评估部分明确采用 π3 估计轨迹和几何置信度。即使两段视频执行相同运动，重建出的相机位置仍可能处在不同尺度和坐标系下，直接相减会把这种歧义误当成生成错误。因此，作者根据两条轨迹的相机中心估计 Umeyama 相似变换，联合求出尺度、旋转和平移。该变换统一作用于生成轨迹：相机中心接受尺度、旋转和平移，姿态旋转只接受对齐旋转。这样保留旋转矩阵的含义，同时把后续比较放到参考轨迹的坐标系中。

这里的“可验证”指可以从生成视频重新估计几何并计算误差，不意味着拿到了传感器级真实位姿。重建器仍可能在模糊、遮挡和动态物体占比大的视频中出错，因此作者还会利用置信度排除不可靠片段。对齐也使评价对统一的尺度变化不敏感，不能把较小误差直接解释为精确恢复了米制移动距离。换言之，模型受到约束的是对齐后的运动一致性，而不是未经标定的绝对物理尺度。

2. 分段相对位姿奖励：把一条轨迹拆成可比较的局部运动

对齐后，将两条轨迹按相同时间边界划分为非重叠短段，比较每段起点到终点的相对变换。下面保留原文式 (7) 的核心关系；波浪线表示生成轨迹，撇号表示已经对齐，帽号表示参考轨迹。

\[ \widetilde{T}_k=(\tilde{E}'_{n_k})^{-1}\tilde{E}'_{n_k+L},\qquad \hat{T}_k=(\hat{E}_{n_k})^{-1}\hat{E}_{n_k+L}. \]

将参考相对变换的逆乘以生成相对变换，得到该段的误差变换。其平移部分用于计算平移误差，旋转部分通过旋转矩阵迹计算角距离；误差越小，该段越符合预期镜头运动。原文还对平移误差作裁剪，对旋转角计算中的反余弦输入作数值裁剪，以避免异常值或数值越界。最终用平移与旋转误差的加权负值作为对齐分数，对应原文式 (9)：

\[ s_k=-\bigl(\lambda_t e_t(k)+\lambda_R e_R(k)\bigr). \]

分数越接近零，表示该段的几何偏差越小；这里不是“正分才算正确”的二元奖励。再将生成视频像素置信度汇聚为帧级置信度，并利用阈值屏蔽不可靠片段，使重建失败不会直接主导策略更新。正文未清楚给出帧到片段的聚合细节、片段长度和奖励权重的实际取值，笔记不补造这些超参数。局部相对运动能减轻累计偏差对每一段评分的干扰，但端点相对变换并不等价于检查段内每帧的平滑性。因此，“密集”应理解为相对于整段视频单一分数而言更细，并非逐像素或逐帧均有独立的控制监督。相应消融同时比较相对/绝对误差搭配与整段视频奖励，能分开观察误差定义和奖励粒度的作用。

3. 组相对策略更新：奖励当前生成器的成功样本，并约束偏移

在同一条件下采样一组候选视频后，为每个视频得到一组分段分数。作者使用组内所有奖励值的均值与标准差作 z-score 归一化，从而把绝对分数转为相对优势。原文式 (10) 的关键是比较“同组中相对更好或更差”，而不是要求所有条件共用一个容易失衡的固定成功阈值：

\[ A_k^g=\frac{s_k^g-\mu}{\delta+\gamma}. \]

这里 \(g\) 是候选视频索引，\(k\) 是片段索引，\(\mu\)、\(\delta\) 是组内统计量，\(\gamma\) 用于数值稳定。实际奖励流程包括前述置信度筛选；原文在奖励与掩码后分数的符号使用上并不完全统一。随后计算新旧策略在去噪转移上的概率比，使用 GRPO/PPO 风格的裁剪目标，避免单轮更新把分布推得过远。 SFT 模型作为冻结参考策略，通过 KL 正则限制模型为提高几何分数而偏离原有生成能力。该过程不要求穿过三维重建器反向传播像素级梯度，而是利用采样轨迹的奖励和策略概率进行更新。原文目标对候选、去噪步和片段求和，但没有清楚展示更细的空间或时间位置梯度映射，不能额外声称实现了像素级信用分配。

为提高探索效率，训练采用混合随机/确定性采样，而不是让全部去噪步骤都承担随机探索成本。每组生成 16 个样本，按奖励选取最高 4 个和最低 4 个参与优化，同时保留成功与失败的学习信号。这不是部署时必须生成 16 个候选再挑选的推理算法，而是在线后训练的数据产生方式。因此，训练成本和单次生成成本需要区分，不能把 GRPO 优化步耗时当作模型推理延迟。

一个完整示例¶

考虑首帧中有一条道路，目标镜头要求先向右前方移动，再改变观察方向；这是用于解释流程的示例，不是新增实验。两个候选都能生成清晰道路，但其中一个开头只向正前方移动，另一个较好地执行向右前方的位移。重建与对齐先消除两段生成视频可能存在的整体尺度差异，随后比较对应短段的起终点相对位姿。直行候选在相关片段得到更大的平移偏差，转向不准的候选则在旋转项上受罚。如果某段重建置信度不足，它会被屏蔽，而不是被当成确定的失败证据。组相对更新提高较好候选对应采样轨迹的概率，同时用参考策略正则抑制画面退化；原文图 4 的失败案例也说明直行偏置并未完全消失。

损失函数 / 训练策略¶

SFT 采用 flow-matching 速度预测目标，对全部模型参数训练 10k 次迭代，批量大小约为 128。视频长边调整到 512 像素，保留宽高比，长度为 2–10 秒，并使用支持变长视频的 packing dataloader。任务比例为 30% T2V、70% I2V；文本条件以 0.3 概率丢弃，相机条件始终保留。 AdamW 学习率为 \(5\times10^{-5}\)，权重衰减为 0.01，数值稳定项为 \(10^{-15}\)，SFT 时间步偏移设为 5。 GRPO 在约 3.2k 个训练样本上进行 I2V 后训练，运行 200 次迭代，对 Transformer 块内所有线性层添加 LoRA，秩为 64、缩放参数为 128。共用 14 个去噪步：前 3 步使用噪声级别 0.7 的 SDE 采样，其余使用一阶 ODE 采样；时间步偏移为 6，CFG 为 3.5。 KL 权重为 \(10^{-4}\)，实验硬件为 32 张 NVIDIA H200；这不是轻量单卡训练的证据。原文明确说 GRPO 阶段针对 I2V，却同时报告 T2V 后训练结果，未进一步解释任务间训练与评测衔接，不推断为另做了同规模 T2V RL。

实验关键数据¶

主实验¶

表 1 位于论文第 9 页；CamVerse* 表示 SFT 基线，CamVerse 表示加入在线 RL 后训练。表题写“混合测试集”，第 4.2 节将其描述为 1k 段视频，由 342 段 RealEstate10K 和 658 段自建数据构成，时长为 4–8 秒。但第 4.3 节又把表 1 描述为 RealEstate10K 测试集；这里保留表题口径，并明确这一原文冲突，不将两种集合视为已核实一致。

任务	方法	平移误差 ↓	旋转误差 ↓	几何一致性 ↑	VQ ↑
T2V	CameraCtrl	0.0887	1.4586	0.7567	2.93
T2V	AC3D-2B	0.0476	1.0451	0.8156	3.82
T2V	AC3D-5B	0.0428	0.9120	0.8820	4.69
T2V	CamVerse*	0.0395	0.6506	0.9081	5.30
T2V	CamVerse	0.0293	0.5140	0.9173	5.91
I2V	CameraCtrl	0.1696	3.2809	0.6087	2.63
I2V	CamVerse*	0.0337	0.5613	0.9174	5.02
I2V	CamVerse	0.0286	0.4685	0.9226	4.87

平移误差是相似变换对齐后对应相机位置的平均 RMSE，旋转误差是对应朝向的平均角差；正文没有在表内明确旋转单位，不自行标成度或弧度。几何一致性是 π3 像素置信度超过 0.1 的有效像素占比，不是点云真值误差或经过人工标注的几何正确率。 VQ 对每段视频均匀抽取 8 帧，以固定高质量清晰画面提示计算 HPSv3，衡量的是抽样帧感知质量，而非完整时序质量。

消融实验¶

表 3 位于第 12 页，按第 4.4 节使用 RealEstate10K 的 100 段视频子集进行 I2V 评估。其中 SFT 的 0.0280/0.4444 来自这一消融设置，不能与表 1 的 SFT 数值直接拼接计算提升。

配置	平移奖励误差	旋转奖励误差	平移误差 ↓	旋转误差 ↓
SFT baseline	不适用	不适用	0.0280	0.4444
混合奖励	相对	绝对	0.0292	0.4537
混合奖励	绝对	相对	0.0293	0.4281
分段奖励	相对	相对	0.0238	0.3286
整段视频奖励	相对	相对	0.0277	0.3739

关键发现¶

表 1 的 T2V 平移误差由 0.0395 降至 0.0293，作者报告相对下降 25.8%；这是在同一 SFT 基础上观察后训练收益的关键比较。
表 3 中，分段相对奖励的旋转误差为 0.3286，优于整段视频奖励的 0.3739；两种混合绝对/相对配置也没有达到分段全相对方案的效果。
表 4（第 12 页）中，3/14 个 SDE 步取得 0.0238/0.3286 的平移/旋转误差，单优化步 343s；1/14 和 5/14 步分别耗时 274s、412s，更多探索并非总是更好。
I2V 的 VQ 从 5.02 下降到 4.87，说明纯几何奖励没有自动解决感知质量；不能把摘要的总体改善解读成所有指标均提高。

亮点与洞察¶

奖励不依赖为每个视频额外收集人工偏好，而是把三维模型已有能力转化成可计算的训练信号。其价值在于从输出中检查控制执行，而不是只在输入端强化条件。
“先对齐、再比较局部运动”把重建尺度歧义和控制偏差分开。它减少无关惩罚，但同时界定了模型能被验证的物理量范围。
分段奖励和 SDE 探索解决不同问题：前者提供更细的反馈，后者产生可供比较的不同输出。消融表明二者都不能简单用更大采样预算替代。

局限与展望¶

作者在图 4 和第 4.3 节指出，数据仍偏向向前直行，导致模型在需要右前方移动时先直行；拓宽轨迹分布尚未完全消除偏置。
作者承认 I2V 感知质量略降，建议引入多目标奖励，并计划将方法扩展到世界模型动作控制和具身数据生成。
从评估角度看，训练奖励与几何评估均依赖三维估计体系，置信度提升不能独立证明真实几何更正确；独立位姿来源或多评估器交叉验证值得补充。这是读者判断。
可复现性仍受内部预训练骨干、32 张 H200 训练条件，以及未明确列出的奖励参数限制；原文也没有报告跨随机种子的误差区间。
缓存中的若干公式存在排版抽取损坏，式 (8) 附近还把旋转和平移的文字标签写反；本笔记只保留可辨认的核心关系，并按矩阵含义解释，不补造完整损失或缺失超参数。

评分¶

新颖性: 4/5。相机控制中的分段可验证几何奖励具有针对性，策略优化框架主要沿用已有方法。
实验充分度: 4/5。主结果与多组消融覆盖核心设计，但测试集口径冲突、缺少误差区间和独立几何评估降低了证据完整性。
写作质量: 3/5。核心流程清楚，但奖励细节、任务设置衔接和部分符号仍需澄清。
价值: 4/5。展示了三维几何先验通过后训练提升视频控制的实用路线，同时提示不能忽略感知质量权衡。