GeoWorld: Providing Full-frame Geometry Features to Facilitate 3D Scene Generation¶

会议: ECCV2026
论文: ECCV 原文
项目: https://peaes.github.io/GeoWorld
领域: 3D 视觉
关键词: 单图场景生成、全帧几何特征、视频扩散模型、几何对齐、高斯泼溅

一句话总结¶

GeoWorld 先补全相机轨迹下的粗视频，再把 VGGT 提取的全帧几何信息作为第二阶段的视频条件与训练约束，使 RealEstate10K 新视角合成 PSNR 达到 17.28 dB，随后重建的 3DGS 场景达到 16.64 dB。

研究背景与动机¶

从单张图像生成可换视角观察的场景，困难不只是把缺失像素补得好看。相机移动后，原图未见的区域必须被创造出来，同时同一物体在不同帧里的形状和位置还要互相兼容。ViewCrafter、FlexWorld 等方法利用视频生成先验补出这些视角，再将视频重建为 3D 场景，但视频看起来连贯，并不意味着底层几何没有冲突。

单图深度或相机条件能够约束已知区域，却不能直接提供所有未来视角的完整结构。将原图反投影到新相机位置，得到的只是带空洞的局部视图；尤其在遮挡变化处，视频模型仍需凭先验猜测。本文观察到，直接微调的视频模型已经能补出内容完整的粗视频，只是其中仍有模糊与几何扭曲。因此，粗视频不必被当作最终结果，它也可以成为提取多视图几何的中间材料。

核心 idea：先生成一个覆盖全部目标帧的几何草稿，再用多视图几何模型读取草稿、筛选可靠特征，并以真实视频的几何特征监督第二次生成，让“猜内容”与“纠正结构”承担不同职责。

方法详解¶

整体框架¶

输入是一张场景图像和给定的相机轨迹，最终输出为可渲染的 3D Gaussian Splatting（3DGS）场景。图 3 的主链路先经过几何条件生成，获得内容完整的条件视频；VGGT 再从整个视频提取几何特征，经过几何适配模块后送入第二阶段的几何约束扩散模型。

第二阶段还使用条件视频本身，而不是只接收几何 token。训练时，预测视频与真实视频分别经过 VGGT 的 aggregator，以几何对齐损失约束生成结果；推理时没有真实视频分支。最终生成的视角序列用于重建 3DGS，不能把视频输出与最终场景渲染视为同一个评测对象。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["单张图像与相机轨迹"] --> Draft["几何条件生成"]
        Draft --> Geometry["VGGT 全帧几何特征"]
        Geometry --> Adapter["几何适配模块"]
        Adapter --> Diffusion["几何约束扩散模型"]
        Draft -->|条件视频| Diffusion
        Diffusion --> Output["预测视频与 3DGS 重建"]
        Diffusion --> Loss["几何对齐损失"]
        Truth["真实视频的 VGGT 特征"] --> Loss
        Loss -.->|仅训练时监督| Diffusion

关键设计¶

1. 几何条件生成：把局部投影视图变成可提取全帧几何的草稿

首先沿给定相机轨迹渲染原图所能解释的区域。训练时可访问完整视频，因此作者先用数据集的全部可用帧重建 3DGS，再从随机起始帧提取深度，按 FlexWorld 的方式进行反投影和配对。推理时不能使用这些真实多视角信息，改由 MASt3R 估计单图点云并反投影。这一区别是训练数据构造方式，不代表推理需要多张输入图。

随后微调一个 Wan2.1-1.3B 视频模型，把带空洞的渲染序列补全为条件视频。这个阶段只有单帧几何特征可用，作者通过交叉注意力将其作为额外条件。第一阶段训练完成后，对整个训练集运行推理，离线生成第二阶段需要的条件数据；因此两阶段不是从头联合优化的一次生成。

VGGT 联合读取条件视频，产生覆盖所有帧的几何特征。这里“全帧”指几何条件覆盖视频序列，而非保证恢复了场景全部不可见表面。条件视频仍可能有错误，但相较只看原图，它为目标视角提供了可供第二阶段参考的完整结构假设。

2. 几何适配模块：对齐时空尺寸，并抑制不可靠的几何 token

VGGT 特征与视频潜变量的帧数、空间分辨率并不一致。作者先在时间维池化、在高宽维插值，再用 MLP 适配器对齐特征表示。比起将全部几何 token 直接交给交叉注意力，这一步明确处理了两个模型的时空网格差异，减少粗糙对应关系给视频生成带来的干扰。

然而尺寸一致不等于信息可靠。条件视频中的模糊物体会产生含糊几何，天空或纯色墙面也可能缺少有用结构。模块因此采用类似 Squeeze-and-Excitation 的 MLP 预测器，整合全局信息，为每个 token 预测权重；先将权重乘到适配后的特征上，再丢弃权重最低的 50% token。

剩余 token 在视频模型各层通过逐帧交叉注意力注入：视频潜变量作为 query，几何 token 作为 key/value，同时使用对齐的相对位置嵌入。筛选的目的不是要求所有低权重位置都不存在几何，而是防止低信息量或低质量条件在生成中占据过多影响力。

3. 几何对齐损失：以真实视频纠正草稿几何，而非要求模型照搬草稿

仅注入条件视频的几何特征，会把第一阶段的错误也带进第二阶段。为此，作者另外比较预测视频与真实视频的 VGGT 特征，使用 aggregator 输出而非解码后的深度或点云，保留较完整的几何表示。条件输入回答“可以参考什么结构”，对齐监督则回答“生成结果应该接近什么结构”，两者并不等价。

按第 3.2 节对均方误差的文字定义，几何项与总损失可整理为下式。缓存中的原公式存在抽取缺符号，此处是依据正文恢复的等价写法，不额外推断已损坏的扩散预测目标：

\[ \mathcal{L}_{\mathrm{geo}}=\operatorname{MSE}\!\left(G(I),G(I_{\mathrm{pred}})\right),\qquad \mathcal{L}=\mathcal{L}_{\mathrm{diff}}+\lambda\mathcal{L}_{\mathrm{geo}},\quad \lambda=0.2. \]

其中 \(G\) 是 VGGT aggregator，\(I\) 与 \(I_{\mathrm{pred}}\) 分别是真实视频和预测视频。真实视频几何只在训练中提供监督；推理依靠已学会的约束和条件特征，不需要目标视频，也没有用真实场景几何替换单图输入。

一个完整示例¶

以单张室内图和向右移动的相机轨迹为说明性例子：原图点云投影后，原本被家具挡住的位置会形成空洞。第一阶段补出墙面与家具背后的内容，即使边缘有些变形，整段视频也已覆盖目标视角。VGGT 据此提取跨帧结构，适配模块抑制模糊边缘等低权重 token，第二阶段同时参考粗视频和筛选后的几何特征重新生成。

训练时，若生成的柜体在不同视角下发生结构变化，真实视频与预测视频的几何特征差异会提供额外纠偏信号。最后用生成帧重建 3DGS，才能从场景表示重新渲染。这个例子解释流程，不是论文单列的实验案例。

损失函数 / 训练策略¶

两个视频阶段均以 Wan2.1-1.3B 为基础，训练 batch size 为 16，学习率为 \(5\times10^{-5}\)，输入分辨率为 \(192\times336\)，训练片段为 17 帧。第一阶段训练 7000 次迭代，第二阶段训练 2000 次迭代；几何适配模块与第二阶段扩散模型同步训练，使用 8 张 NVIDIA A100。

训练数据来自 DL3DV。按 FlexWorld 方式构造配对，采样两个 epoch 后，保留平均相机平移与旋转最小的前 25% 样本，得到约 5000 对视频。这有助于保证局部渲染视图质量，但也使训练分布偏向较温和的相机运动。

训练的 17 帧、低分辨率配置应与表 3 的推理配置区分：GeoWorld 推理为 \(576\times1024\)、49 帧。正文未详细说明两种配置之间的全部实现细节，不能据此自行补写采样器、推理步数或训练分辨率扩展方案。

实验关键数据¶

主实验¶

测试使用 RealEstate10K（RE10K）与 Tanks and Temples（Tanks），各随机抽取 100 段视频，每段 49 帧。表 1 评估直接生成的新视角视频；表 2 先把生成帧重建为 3DGS，再按对应相机位姿渲染并评估。以下只合并列出代表性指标，PSNR 越高越好，LPIPS 越低越好。

任务与原表号	数据集	方法	PSNR / dB	LPIPS
新视角合成，表 1	RE10K	Hunyuan-Voyager	14.85	0.4357
新视角合成，表 1	RE10K	GeoWorld	17.28	0.3297
新视角合成，表 1	Tanks	See3D	13.00	0.5400
新视角合成，表 1	Tanks	GeoWorld	14.99	0.4556
3DGS 场景渲染，表 2	RE10K	See3D	14.67	0.4413
3DGS 场景渲染，表 2	RE10K	GeoWorld	16.64	0.4284
3DGS 场景渲染，表 2	Tanks	See3D	13.14	0.5420
3DGS 场景渲染，表 2	Tanks	GeoWorld	15.00	0.5058

RE10K 视频 PSNR 相比 Hunyuan-Voyager 提高 2.43 dB；RE10K 的 3DGS 渲染 PSNR 相比 See3D 提高 1.97 dB。不能把这两个增益合成一个指标，它们比较的是不同输出层级。

消融实验¶

表 4 在 RE10K 上累加几何对齐损失和几何适配模块。表中括号增益均相对于直接嵌入，而不是相对于上一行。

配置（原表 4）	PSNR / dB	LPIPS	相对直接嵌入的 PSNR 增益
直接通过交叉注意力嵌入几何特征	16.77	0.3381	0.00
加几何对齐损失	16.96	0.3284	0.19
再加几何适配中的尺寸对齐	17.17	0.3286	0.40
再加全局加权	17.28	0.3292	0.51

这里必须保留两个细节：表 4 最后一行 LPIPS 为 0.3292，而表 1 的完整模型为 0.3297，原文没有解释差异；另外，增加适配后 PSNR 继续改善，但 LPIPS 并未在每一步都改善，最小值出现在“加几何对齐损失”一行。

表 5 进一步比较丢弃比例：50%、30%、70% 的 PSNR 分别为 17.28、17.17、17.22 dB，SSIM 分别为 0.6193、0.6173、0.6188。50% 在这组设置中最好，但优势较小，不应解读为所有场景的通用最优比例。

关键发现¶

表 3 的推理均在单张 A100 80 GB 上测量，GeoWorld 的训练时间与推理时间包含两个阶段。

方法（原表 3）	参数量	推理尺寸（高 x 宽 x 帧数）	推理时间	推理显存
ViewCrafter	2.6B	576 x 1024 x 25	120 s	24 GB
FlexWorld	5.0B	576 x 1024 x 49	201 s	28 GB
Hunyuan-Voyager	12.8B	512 x 768 x 49	1110 s	48 GB
GeoWorld	3.9B	576 x 1024 x 49	148 s	31 GB

GeoWorld 相对 Hunyuan-Voyager 的 7.5 倍速度来自 1110/148，但两者分辨率不同，这不是严格等分辨率吞吐测试。GeoWorld 也不是表中参数最少或显存最低的方法：ViewCrafter 更小，FlexWorld 的显存也低于 GeoWorld。

图 11 中第一阶段训练 3000、7000、11000 步的 FID 分别为 32.17、29.55、29.66，支持“继续训练第一阶段并不能替代几何细化”，但不是完整的等算力消融。表 1 中 FlexWorld 的 RE10K FID/FVD 为 30.56/270.4，优于 GeoWorld 的 31.00/311.7，因此不能声称本文所有视频指标领先。

亮点与洞察¶

把粗生成结果当作几何条件来源，而非最终交付物，使单图任务能间接利用多视图几何模型。关键是承认草稿有误差，再设计筛选和真实视频监督来处理误差。
几何条件注入与几何监督分工明确。前者让模型看到跨帧结构假设，后者避免模型只学习复制草稿的缺陷。
特征筛选同时处理不可靠信息与低信息量区域。图 13 的解释既包含模糊区域，也包含天空、纯色墙面，不能简单等同于一个几何正确性判别器。

局限与展望¶

作者在第 4.5 节承认条件生成若训练不足，会提供不足甚至错误的几何引导。全局加权能缓解问题，但不能保证 VGGT 对所有生成内容都可靠。
本文没有独立的局限章节。以下是阅读层面的边界判断：两个测试集、每段 49 帧的结果，尚不能证明长距离持续探索、动态场景或强遮挡下的一致性。
训练只保留运动最小的前 25% 样本，且训练与推理的几何初始化来源不同。大相机运动与单图估计误差下的稳健性，需要分组实验进一步验证。
几何特征距离与 MEt3R 等学习型指标不能替代真实三维测量误差。可补充带真实几何的数据、长轨迹回环测试，以及不同几何编码器间的交叉验证。
31 GB 推理显存与 148 s 的报告配置仍有部署门槛。不同方法的分辨率、帧数不完全相同，速度结论需保留表 3 的条件。

评分¶

新颖性: 4/5。将粗生成与全帧几何约束串联，比单纯使用深度条件更具系统性。
实验充分度: 4/5。覆盖视频、3DGS、组件和效率，但缺少长轨迹及严格等预算比较。
写作质量: 4/5。设计主线清晰，但表间 LPIPS 差异和部分实现细节有待说明。
价值: 4/5。为较小视频模型利用几何基础模型提供了具体、可复用的路径。