Learning to Correct Geometry in Generated Videos¶

会议: NeurIPS 2026
arXiv: 2610.23856
OpenReview: https://openreview.net/forum?id=F4Nu5j4xQU
代码: https://weijielyu.github.io/VGC
领域: 视频生成
关键词: 视频几何校正, 相机运动, 视频生成, 运动解耦, 视频扩散模型

一句话总结¶

针对生成视频在相机大范围运动下容易出现几何扭曲、视差错乱与场景漂移的问题，本文提出后验式视频到视频扩散校正器 VGC，通过构建自适应关键帧合成的成对监督数据集 VG-Pairs，并引入光流显式解耦相机与物体运动，在不修改原生成器的情况下显著提升跨模型几何一致性。

研究背景与动机¶

现代扩散视频生成模型已能合成视觉细节极为逼真的动态视频片段，但在相机发生连续位移或视角大幅旋转时，其作为“世界模拟器”的空间一致性往往迅速崩溃。画面中的刚性物体常在视角切换下发生扭曲形变，前后景视差关系混乱，全局场景布局随时间漂移，甚至连续的运镜会坍缩成突兀的镜头切变。

这种几何崩溃的深层诱因本质上是一个数据分布失衡问题。网络级大规模视频数据中，绝大部分显著运动均由动态物体产生，而拍摄相机往往处于静止或微弱晃动状态，导致模型极度缺乏视角变化引发外观形变的强几何监督。结果是在条件生成中，相机运动与物体内在动态被深度纠缠：当面对大运镜指令时，生成器倾向于用局部物体的非刚性形变来“拟合”像素变化，而不是维持一个稳定的三维场景布局。现有工作主要尝试在生成器训练期注入 3D 监督（如深度或极线约束）或者后验进行超分去噪，但前者需要昂贵的重训练且无法适配黑盒 API，后者则只关注像素纹理平滑而忽略了宏观几何结构的纠正。

核心 idea：将视频几何一致性修复解耦为后验视频到视频（V2V）任务，利用实拍位姿视频结合轨迹自适应关键帧驱动的视频修补合成成对监督数据集 VG-Pairs，并借助光流先验解耦相机运镜与前景动态，实现跨生成器的免微调几何校正。

方法详解¶

整体框架¶

Video Geometry Corrector (VGC) 整体包含成对数据生成（VG-Pairs 构建）与条件扩散校正训练两大阶段。首先从包含丰富相机运动与精确位姿真值的实拍视频出发，利用轨迹自适应关键帧划分运镜段，由预训练图像到视频（I2V）修补模型合成具有几何失真但运镜轨迹贴近的视频对；随后，以失真视频的潜在特征与提取的前向光流图作为联合条件，训练视频扩散去噪骨干网络，将失真视频映射恢复为几何一致的目标视频。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["实拍视频真值与相机位姿<br/>真实场景序列 + 六自由度轨迹"] --> B["轨迹自适应关键帧划分<br/>测地旋转与位移积分预算"]
    B --> C["分段图像到视频修补<br/>合成几何畸变视频对"]
    C --> D["光流辅助运动解耦<br/>提取稠密光流场分离全局运镜"]
    D --> E["视频几何校正器去噪训练<br/>通道拼接失真潜在表征与光流"]
    E --> F["输出高几何一致性视频<br/>稳定 3D 场景与视差布局"]

关键设计¶

1. 轨迹自适应关键帧划分：防止端到端插值产生的轨迹捷径偏差

构建成对监督数据的核心前提是合成视频必须保留原视频的语义与相机大体走势，同时仅产生符合生成器特性的几何错误。若直接仅以首末两帧作为输入给 I2V 模型做内插，在大角度非线性旋转运镜下，模型极易选择走最短旋转路径的“捷径”（例如将 $225^\circ$ 的环绕旋转简化成反向 $45^\circ$ 转角），导致合成视频脱离目标轨迹。

为此，系统先累计全序列四元数测地旋转角 $\Delta\phi_i = 2\arccos(|\langle\mathbf{q}_i, \mathbf{q}_{i+1}\rangle|)$ 与欧氏位移 $\|\mathbf{t}_{i+1}-\mathbf{t}_i\|_2$，得到总旋转量 $R_{\text{tot}}$ 与总平移量 $D_{\text{tot}}$。随后根据单段预算容忍度（如 $R_{\text{seg}}=120^\circ, D_{\text{seg}}=10\text{m}$）自适应确定分段数 $m$： $$m=\min\left(M_{\max}, \max\left(1, \left\lceil\max\left(\frac{R_{\text{tot}}}{R_{\text{seg}}}, \frac{D_{\text{tot}}}{D_{\text{seg}}}\right)\right\rceil\right)\right)$$ 在确定段数后，通过计算相邻帧平移与旋转增量方向夹角的拐点得分 $s(i)=\theta(\mathbf{v}_{i-1}, \mathbf{v}_i) + \alpha\theta(\boldsymbol{\omega}_{i-1}, \boldsymbol{\omega}_i)$，利用贪心非极大值抑制（NMS）在运镜突变剧烈处插入 $m-1$ 个内部关键帧。各子段由预训练 Wan 2.1-Fun-InP 独立插值后再拼接，既逼真诱导了视差错位与结构弯曲，又锁定了宏观运镜路径。

2. 光流辅助运动解耦：分离全局运镜场与前景局部动态

纯 RGB 像素在时空维度上将场景几何、物体纹理与运动速度深度交织在一起，模型难以单凭外观判断像素位移究竟来自相机平移还是物体自身的形变。而几何校正的目标应当是纠正相机运镜下的错误三维投影，同时保留前景物体原本合理的动态行为。

光流显式提供了像素运动的方向与幅值。相机的刚性运镜会在全图诱发连续平滑的全局流动场，而物体运动则呈现为局部的矢量扰动。VGC 使用预训练光流网络从输入的几何畸变视频中提取逐帧前向光流，作为显式运动结构先验与失真视频潜变量在通道维度进行拼接输入。由于光流直接在线从输入的失真视频推导，在推理部署时完全自给自足，为去噪扩散过程提供了清晰的运动分流指引。

3. 视频几何校正器去噪训练：免改动原模型的即插即用扩散精炼

VGC 基于预训练视频扩散模型构建，目标是学得从几何失真空间到一致性三维流形的高保真条件映射，而不重写原始视频生成器。设目标真值视频潜在表征为 $\mathbf{z} = E(\mathbf{x})$，在加噪步数 $t$ 下构建带噪潜在变量 $\mathbf{z}_t$。去噪网络 $\epsilon_\theta$ 在文本提示词 cross-attention 以及失真视频潜表征与光流的通道拼接条件 $\mathbf{c}$ 约束下训练： $$\mathcal{L} = \mathbb{E}_{t, \epsilon}\left[\|\epsilon - \epsilon_\theta(\mathbf{z}_t, t, \mathbf{c})\|_2^2\right]$$ 该架构在推理时仅需单次前向扩散去噪，即能作为通用后处理插件无缝适配各种黑盒或开源生成器。同时，将骨干网络扩展到 14B 参数级别时，该结构不仅能纠正静态场景的相机刚性视差，还能进一步泛化至含有动态人物、行车等通用视频，自动修补肢体错位与结构缺失。

损失函数 / 训练策略¶

VGC 以 Wan 2.1-1.3B 为基础骨干，在 32 张 NVIDIA H100 GPU 上采用 AdamW 优化器训练 10K 步。学习率设为 $1\times 10^{-5}$，权重衰减为 0.01，全局 batch size 为 64。输入视频分辨率为 $832\times 480$、81 帧。光流由预训练 SEA-RAFT 提取并注入。关键帧提取超参数配置为：最大分段数 $M_{\max}=4$，单段旋转预算 $R_{\text{seg}}=120^\circ$，单段平移预算 $D_{\text{seg}}=10\text{m}$，最小段长 $L_{\min}=15$，拐点权重 $\alpha=1$。

实验关键数据¶

主实验¶

主实验在位姿条件控制（RealEstate10K）与文本提示驱动（DL3DV）两套基准上全面评估。在 RealEstate10K 上使用 DFoT 作为基线生成器，并结合 Geometry Forcing (GF) 及 REPA；在 DL3DV 上使用 CogVideoX 系列与 VideoGPA。评估指标涵盖图像质量（PSNR, SSIM, LPIPS）及三维一致性（Revisit Error RVE、3DCS）。

数据集	方案 / 生成器	PSNR ↑	SSIM ↑	LPIPS ↓	RVE / 3DCS ↓	说明
RealEstate10K	DFoT	13.61	0.4006	0.4487	184.2	原始姿态引导基线
RealEstate10K	GF	14.76	0.4484	0.4127	181.0	训练期注入几何先验
RealEstate10K	GF + REPA	14.16	0.4217	0.4218	171.8	特征对齐增强
RealEstate10K	DFoT + VGC (Ours)	14.87	0.4545	0.4395	168.9	纯后验校正超越重训模型
RealEstate10K	GF + VGC	15.50	0.4715	0.4150	158.8	结合 GF 带来 +0.74dB / -22.2 RVE
RealEstate10K	GF + REPA + VGC	15.25	0.4675	0.4226	160.9	结合 GF+REPA 带来 +1.09dB / -10.9 RVE
DL3DV	CogVideoX-5B T2V	15.6668	0.5389	0.5285	0.8617	文本驱动基线 (3DCS)
DL3DV	CogVideoX-5B T2V + VGC	16.6940	0.5519	0.5733	0.8376	3DCS 降低 0.0241, PSNR +1.03dB
DL3DV	CogVideoX 1.5-5B T2V	15.9062	0.4644	0.5449	0.8342	升级版 T2V 基线
DL3DV	CogVideoX 1.5-5B T2V + VGC	17.7342	0.5284	0.5936	0.7859	PSNR 大幅提升 +1.83dB, 3DCS -0.0483
DL3DV	VideoGPA (CogVideoX-5B T2V)	14.6318	0.5210	0.5065	0.9346	几何奖励微调基线
DL3DV	VideoGPA + VGC	15.9092	0.5413	0.5546	0.8737	显著挽回 VideoGPA 的纹理退化 (+1.28dB)

消融实验¶

消融实验重点验证辅助光流条件对几何修正与图像保真度的作用（在 RealEstate10K 上测试），以及扩展至 14B 模型后在 SpatialVID 通用动态视频增强上的多维度表现。

配置	PSNR ↑	SSIM ↑	LPIPS ↓	RVE ↓	说明
DFoT + VGC (w/o Flow)	14.76	0.4509	0.4433	169.4	去掉光流后图像质量与长程一致性轻微下滑
DFoT + VGC (Full Model)	14.87	0.4545	0.4395	168.9	完整模型：光流提供局部运动结构增益

此外，在涵盖动态人物与复杂物体的 SpatialVID 评测中（使用 Wan 2.2-14B 骨干）： - 在 CogVideoX-I2V 生成的动态视频上，VGC 相比通用视频增强模型 SeedVR2 与 VEnhancer v2，将成像质量提升至 72.7654（基线 69.6945），动态程度指标从 0.30 跃升至 0.66，DOVER 达到 10.50。 - 在 HunyuanVideo 1.5-I2V 上，成像质量达到 75.1367（基线 73.7167），同时维持了 0.9482 的高背景一致性。

关键发现¶

几何增益主要源自 VG-Pairs 成对监督本身：即使不添加光流，VGC (w/o Flow) 在 RealEstate10K 上的 RVE 已经从 184.2 降至 169.4，证实利用合成失真对训练逆向几何恢复具有根本有效性；光流则进一步提升了图像高频结构的一致性与局部信噪比。
极佳的正交可叠加性：VGC 无论挂载在未经专门几何设计的基线生成器（DFoT, CogVideoX），还是挂载在已引入 3D 约束的模型（Geometry Forcing, VideoGPA）后方，均能在原基础上再度取得 0.7~2.4 dB 的显著 PSNR 增益，并大幅降低重投影与回环重访误差。
规模效应带来通用动态泛化：将参数从 1.3B 扩展至 14B 后，模型习得了从静态场景刚性视差向动态场景非刚性人体/物体运动修补的泛化能力，能自动补全破损肢体并纠正反物理的穿模轨迹。

亮点与洞察¶

逆向合成破解成对数据瓶颈：利用现有成熟的图像-视频插值模型在长距离、大转角下天然产生的几何坍缩与形变缺陷，巧妙构建出了“自然畸变输入 $\leftrightarrow$ 实拍真实目标”的无缝配对数据。
拐点自适应关键帧策略：避免了简单首尾帧插值导致的运镜捷径偏差，使得合成出的畸变视频严密贴合原始相机位姿走势，确保网络训练的是“几何校正”而非不可控的“重新脑补”。
后验模块解耦架构：完全避免了重新微调基础视频生成模型的庞大开销，天然支持跨模型家族（CogVideoX, HunyuanVideo, Wan）迁移，具备极强的工业级插件化部署价值。

局限与展望¶

严重遮挡与极端大盲区重构受限：若原始生成器因运镜范围过大而完全遗漏了关键地标或生成了严重违背拓扑的幻想物体，后验校正模型在缺乏原始 3D 记忆库的情况下，仍可能沿袭局部错误语义。
计算开销依赖扩散采样：推理阶段需额外进行一次多步扩散去噪，相比单步前馈后处理工具（如基础超分辨率或插帧算法）增加了推理时延。
未来可探索将稀疏三维点云表征或显式深度缓存作为更深层的记忆体，以进一步扩展极端长序列下的全局几何保真度。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用关键帧插值缺陷生成配对数据，首创后验视频几何校正范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖姿态可控生成、提示词生成、消融实验以及 14B 动态视频泛化评估。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对应清晰，问题阐述与数学表达直击痛点。
价值: ⭐⭐⭐⭐⭐ 为解决通用视频生成模型“物理世界模拟失真”提供了一种极具实用价值的解耦路线。