VGGRPO: Towards World-Consistent Video Generation with 4D Latent Reward¶

会议: ECCV2026
论文: ECCV 原文
作者: Zhaochong An, Orest Kupyn, Théo Uscidda, Andrea Colaco, Karan Ahuja, Serge Belongie, Mar Gonzalez-Franco, Marta Tintore Gazulla
机构: Google; University of Copenhagen; University of Oxford; Institut Polytechnique de Paris
领域: 视频生成
关键词: 几何一致性、潜空间奖励、相机运动、四维重建、GRPO

一句话总结¶

VGGRPO 将视频潜变量直接接入几何基础模型，用相机平滑与重投影一致性两种奖励做 GRPO 后训练，在 Wan2.2-5B 的动态场景测试中取得 66.00% 的运动质量胜率，并将奖励计算时间从 54.73 s 降至 41.33 s。

研究背景与动机¶

视频扩散模型可以把单帧画得逼真，却未必让多帧对应同一个稳定世界。镜头移动时，墙壁可能变形，背景结构可能漂移，相机轨迹也可能突然抖动。把点云、深度分支或额外几何损失接进生成器能缓解这些问题，但通常需要改变结构或重新训练较多参数；本文希望通过后训练改善已有生成器，而不重做其生成架构。

另一条路线是用外部几何模型给视频打分，再通过偏好优化对齐。Epipolar-DPO 和 VideoGPA 分别利用极线约束与稠密几何信息，但静态场景假设难以覆盖运动物体和非刚性形变。同时，视频生成器本来在 VAE 潜空间工作，奖励模型却读取 RGB：每组候选都要经过 VAE 解码，这让在线采样的 GRPO 付出重复解码的时间与显存成本。

本文利用几何基础模型已学到的空间先验，把奖励入口改到视频潜空间，再借助支持动态重建的 Any4D 区分背景与运动区域。核心 idea：训练一个直接读取视频潜变量的几何模型，让在线 GRPO 同时奖励稳定相机和跨视角一致的静态结构，从而在含动态物体的视频中做几何对齐而不反复解码 RGB。

方法详解¶

整体框架¶

VGGRPO 是文本到视频生成器的后训练框架，不是以重建点云为最终输出的系统。训练先建立潜几何模型（Latent Geometry Model, LGM），再让同一提示词产生一组去噪完成的视频潜变量；LGM 输出相机、深度、点图和场景流，据此计算两种奖励并更新生成器的 LoRA 参数。

潜几何模型负责把已有几何先验变成可用的评分接口，相机平滑奖励约束镜头轨迹，重投影一致性奖励约束静态结构，分项归一化 GRPO 则把量纲不同的两个分数转成可比较的组内优势。这里免去的是后训练评分时的 RGB 解码；最终给用户观看视频仍需要解码。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["提示词与一组<br/>生成视频潜变量"] --> LGM["潜几何模型"]
    LGM --> Motion["相机平滑奖励"]
    LGM --> Geometry["重投影一致性奖励"]
    Motion --> Update["分项归一化 GRPO"]
    Geometry --> Update
    Update --> Output["更新生成器 LoRA<br/>继续在线采样"]

关键设计¶

1. 潜几何模型：跳过 RGB 入口，保留后续几何推理能力

原始几何模型从 RGB 图像出发，而生成器提供 VAE 潜变量，两者不能直接连接。作者用一个轻量 3D 卷积连接器取代几何模型前若干层，把潜变量映射到某个中间层的特征空间，再继续运行剩余 Transformer 层和几何预测部分。这不是给生成器增加一个必须参与采样的新分支，而是建立独立的奖励计算路径。

训练连接器时，同一段校准视频走两条路径：一条经原几何模型得到中间特征，另一条经 VAE 编码和连接器得到待对齐特征。作者根据特征对齐误差共同选择拼接层及连接器参数；随后联合微调连接器和下游几何层，让潜空间预测与原模型的相机、深度、点图等输出对齐。原文式 (7) 的结构可写为：

\[ \widehat{\Phi}_{\psi}=\Phi_{\hat{\ell}+1:L}\circ S_{\psi}. \]

其中 \(S_{\psi}\) 是连接器，\(\hat{\ell}\) 是拼接位置，\(\Phi_{\hat{\ell}+1:L}\) 是保留的几何网络后段。主设置以 Any4D 为几何基础模型，因此除相机、深度和世界坐标系点图外，还能提供场景流；VGGT 版本则主要服务静态场景。缓存未含补充材料，也没有给出最终拼接层编号、校准集规模或各输出对齐权重，不能据此补成完整复现配置。

2. 相机平滑奖励：惩罚轨迹抖动，而非直接压低相机速度

LGM 从去噪完成的潜变量估计相机位姿。作者先在世界坐标系中取相机中心，计算相邻帧位移作为离散速度，再用相邻速度之差表示加速度。平移误差将加速度范数除以相邻速度范数之和，以减少重建尺度对评分的影响。以下按原文式 (11)、(13) 及其文字说明重排公式；缓存中的部分数学排版有缺失。

\[ e_{\mathrm{trans}}=\frac{1}{N-2}\sum_{i=2}^{N-1}\frac{\|\mathbf a_i\|_2}{\|\mathbf v_i\|_2+\|\mathbf v_{i-1}\|_2}, \qquad r_{\mathrm{motion}}=\frac{1}{2}\left(\frac{1}{1+e_{\mathrm{trans}}}+\frac{1}{1+e_{\mathrm{rot}}}\right). \]

这里用 \(N\) 表示帧数，以免与去噪步数混淆；\(\mathbf v_i=\mathbf c_{i+1}-\mathbf c_i\)，\(\mathbf a_i=\mathbf v_i-\mathbf v_{i-1}\)。旋转误差 \(e_{\mathrm{rot}}\) 用完全相同的归一化形式，只把速度换成 \(\boldsymbol\omega_i=\log_{SO(3)}(R_i^\top R_{i+1})\)，把加速度换成相邻角速度之差。两种误差均经 \(1/(1+e)\) 映射后取平均，越平滑越接近 1。

该奖励针对速度突变，因此匀速推镜不会因位移较大而直接被惩罚；但它也不能判断某次急转是否符合提示词的艺术意图。完全静止时分母如何稳定化，正文没有说明，不能自行把某个数值稳定常数写成作者设置。这些量是按帧差分的评分量，不应解释为经过帧率标定的物理加速度。

3. 重投影一致性奖励：用最差视角暴露局部结构错误

相机轨迹平滑并不等于墙壁或路面结构正确。因此第二种奖励把各帧世界坐标系点图汇聚成场景点云，再用预测相机投影回每个视角，比较渲染深度与该视角直接预测的深度。静态视频可以汇聚所有点；动态视频则利用预测场景流筛去动态区域，只汇聚静态点，避免把运动物体跨时刻的位置误当作互相矛盾的背景几何。

有效投影像素构成集合 \(\Omega_i\)。原文式 (14)、(15) 按正文所述深度差与最差视角聚合方式重排如下：

\[ e_{\mathrm{geo}}^{(i)}=\frac{1}{|\Omega_i|}\sum_{\mathbf p\in\Omega_i}\left|\widehat D_i(\mathbf p)-D_i(\mathbf p)\right|, \qquad r_{\mathrm{geo}}=-\frac{1}{3}\sum_{i\in\operatorname{top3}(e_{\mathrm{geo}})}e_{\mathrm{geo}}^{(i)}. \]

这里 top3 是误差最大的 3 个视角，不是分数最高的 3 个候选视频。取最差视角可以防止短暂的局部崩坏被大量正常帧稀释。深度误差沿用预测深度的尺度，正文没有明确其物理单位或动态筛选阈值；笔记不把它标成米。所谓“4D 奖励”在此主要意味着借助动态重建能力识别可靠静态结构，并不直接约束运动物体的完整形变轨迹。

4. 分项归一化 GRPO：先比较同组候选，再更新潜空间去噪策略

对每个提示词，当前策略采样 \(K\) 个完整去噪轨迹，用每条轨迹最终的干净潜变量计算两项奖励。运动奖励在有限区间内，而几何奖励是负深度误差；若直接相加，某项可能只因数值尺度较大而主导更新。因此原文式 (16) 先分别求组内均值和标准差，再平均标准化奖励：

\[ A^k=\frac{1}{2}\left(\frac{r_{\mathrm{motion}}^k-\mu_{\mathrm{motion}}}{\sigma_{\mathrm{motion}}}+\frac{r_{\mathrm{geo}}^k-\mu_{\mathrm{geo}}}{\sigma_{\mathrm{geo}}}\right). \]

该优势用于轨迹上各步的 GRPO 更新：计算新旧策略的潜变量转移概率比，对未裁剪与裁剪后的优势加权项取较小值，并用 KL 项约束策略偏离参考模型。随机探索沿用 flow-based GRPO 的 ODE-to-SDE 转换；本文的关键改动是奖励和策略计算落在潜空间，而不是提出一种新的偏好数据集。

组内相对比较意味着奖励模型不必给出跨提示词完全校准的绝对分数。另一方面，它仍依赖 LGM 对候选优劣的排序可靠性，且正文未说明组内方差为零的处理细节。不能把这种评分器的自一致性自动等同于真实世界几何正确性。

一个完整示例¶

以文中展示的“跟拍道路上高速行驶的汽车”为例，同一提示词产生 64 个候选潜视频，LGM 分别估计镜头轨迹、道路点图以及运动区域。某个候选可能让汽车运动自然，却让路面和背景墙逐渐变形；另一个候选背景稳定，却有明显镜头跳动，两种奖励就会分别指出不同问题。

场景流首先帮助把运动汽车从背景点云汇聚中排除，重投影奖励再检查道路等静态区域，并强调误差最大的 3 个视角；相机奖励独立检查轨迹的速度变化。两个组内标准化分数共同决定每条轨迹的优势，LoRA 更新提高综合表现较好候选的生成概率。这是机制示例，不代表论文提供了这组 64 个候选的逐项实测分数。

损失函数 / 训练策略¶

LGM 在基础生成器合成视频与 DL3DV、RealEstate10K、MiraData 真实视频的混合数据上训练 20 个 epoch。它先学习特征拼接，再对齐几何输出；生成器后训练使用来自上述三个数据集的提示词。

正文将两个骨干记作 Wan2.1-1B 和 Wan2.2-5B，本笔记保留该命名，不自行改成其他参数规模。后训练使用 LoRA，秩为 32、缩放因子为 64；每组 64 个样本，AdamW 学习率和权重衰减均为 \(1\times10^{-4}\)。这里组大小与效率测试的 batch size 4 是不同设置。

正文另展示免训练的测试时梯度引导：总计 50 个去噪步，每隔 20 步应用一次潜空间奖励引导。它是附加使用方式，不应混同于主结果中经过 LoRA 后训练的模型；缓存没有相应补充实现，也未提供完整的分辨率、帧数或硬件配置。

实验关键数据¶

主实验¶

测试包含 190 条静态场景提示词与 200 条动态场景提示词。VQ/MQ 是 VideoReward 评估模型给出的视觉质量/运动质量相对基础模型的胜率，单位为百分比，不是本文新收集的人工投票；Sampson 极线误差只在静态集计算。VBench 的通用品质指标在全部 390 条提示词上评估。

下表摘取原文表 1；VQ/MQ 越高越好，极线误差越低越好，其单位在正文中未明确。

骨干与后训练	静态 VQ (%)	静态 MQ (%)	静态极线误差	动态 VQ (%)	动态 MQ (%)
Wan2.1-1B / Epipolar-DPO	54.21	55.79	0.098	45.50	43.00
Wan2.1-1B / VideoGPA	53.68	56.32	0.105	42.50	41.00
Wan2.1-1B / VGGRPO	59.47	66.84	0.102	57.00	63.00
Wan2.2-5B / Epipolar-DPO	52.11	58.95	0.101	38.00	54.50
Wan2.2-5B / VideoGPA	54.74	60.53	0.098	40.00	54.00
Wan2.2-5B / VGGRPO	62.63	68.42	0.093	56.50	66.00

Wan2.2-5B 的动态 MQ 相对 VideoGPA 高 12.00 个百分点，但这是两种方法各自对基础模型的胜率之差，不是二者直接对战的胜率。Wan2.1-1B 的极线误差 0.102 仍高于 Epipolar-DPO 的 0.098，因此不能把结果概括成“每项指标都最优”。

消融实验¶

原文表 2(a)、2(b) 使用 Wan2.2-5B；VQ/MQ 是静态与动态两部分的汇总结果，不能与表 1 的单一动态集直接混用。

配置	VQ (%)	MQ (%)	静态极线误差	对应分析
VGGT 几何模型	54.96	60.61	0.090	表 2(a)，仅用静态提示词训练
Any4D，仅相机平滑奖励	55.60	63.40	0.104	表 2(b)，去掉重投影奖励
Any4D，两项奖励	59.57	67.21	0.093	表 2(a)、2(b)，完整设置

增加重投影奖励使 MQ 从 63.40% 提升到 67.21%，极线误差从 0.104 降到 0.093。VGGT 的静态误差更低，但 Any4D 的汇总 VQ/MQ 更高；该对比同时改变了动态支持能力及训练提示词范围，不能仅归因于几何骨干架构。

下表为原文表 2(e) 的奖励计算效率，batch size 为 4，不是完整训练或最终生成视频的总耗时。

奖励计算方式	时间 (s)	峰值 GPU 显存 (GB)
RGB-based	54.73	76.80
潜空间奖励	41.33	68.57

关键发现¶

奖励计算少用 13.40 s，即 24.5% 的时间；峰值显存减少 8.23 GB。这不包含单独训练 LGM 的前期成本。
表 2(d) 的标准 VBench 提示词测试中，运动平滑度从 0.9841 升至 0.9895，Dynamic Degree 却从 0.4237 降至 0.3962。作者解释为相机抖动减少降低了 RAFT 光流幅值，但该指标本身无法证明所有有意义的物体运动都保留。
表 2(c) 的免训练引导将极线误差从 0.142 降到 0.136，耗时从 44.35 s 增至 62.60 s；它有独立推理开销，不能套用表 2(e) 的奖励加速比例。

亮点与洞察¶

几何基础模型不必只在 RGB 空间充当事后评估器。通过中间特征拼接，它可以成为生成器原生潜空间上的奖励接口，减少候选组反复解码。
平滑轨迹与一致结构是两个不同要求。消融表明，只修镜头仍会留下墙壁结构错误，最差视角重投影项正好针对这种局部崩坏。
动态重建能力的用途不是强行让运动物体保持静止，而是识别哪些点不该汇聚。这个思路可迁移到其他需要在动态视频中寻找可靠背景约束的任务。

局限与展望¶

正文没有独立局限章节。以下是根据方法与实验范围作出的分析，不能当作作者已验证的失败结论。
动态点被排除在重投影奖励外，因此结果不足以证明人物关节、碰撞或非刚体形变符合物理规律；可以进一步加入动态对应或轨迹约束。
奖励依赖 LGM 自己预测的相机、点图和深度，可能存在共同偏差或奖励利用。独立几何评测与人工检查能帮助区分内部一致和真实正确。
只有两个 Wan 骨干及有限的留出提示词测试，未报告置信区间。相机平滑偏好对手持摄影、急转镜头等刻意不平滑场景的影响也需单独测试。
缓存包含完整主文与参考文献，但没有补充材料；拼接细节、动态阈值、分母稳定化以及完整训练预算仍待核实，无法据此宣称完全可复现。

评分¶

新颖性: 4/5。潜空间几何拼接与动态感知奖励构成清晰组合，策略优化本身沿用已有框架。
实验充分度: 4/5。包含双骨干、双场景、奖励消融和效率分析，但欠缺独立动态几何真值评估。
写作质量: 4/5。主线与奖励动机清楚，正文仍依赖未包含在缓存中的补充实现细节。
价值: 4/5。对几何感知视频后训练有直接参考意义，但不宜扩大解释为完整物理世界模拟器。