World Reconstruction From Inconsistent Views¶

会议: ECCV2026
作者: Lukas Höllein, Matthias Nießner
机构: Technical University of Munich
论文: ECCV 原文
项目: Video to World
领域: 3D 视觉
关键词: 非刚性配准、生成漂移、点云对齐、逆形变渲染、世界重建

一句话总结¶

本文把视频生成中的几何漂移视为需要消除的观测形变，用非刚性点云对齐和逆形变感知的 2D Gaussian Splatting（2DGS）优化重建统一静态世界，在跨视频模型主实验中取得 79.29 的 3D 一致性和 86.59 的光度一致性得分。

研究背景与动机¶

视频扩散模型可以生成细节丰富的室内外环境，但“逐帧看起来合理”不等于“所有帧来自同一个三维世界”。例如相机绕过一座房屋时，窗框可能轻微移动、墙面可能被拉伸；即便生成模型接受相机轨迹条件，也未必严格遵循该轨迹。直接使用这些图像优化高斯场景，会让同一个表面分裂成多层，训练视角纹理模糊，新视角则出现悬浮伪影。

已有方法主要在生成端加强相机控制、维护三维缓存或微调一致性约束，但依然存在生成漂移，而且需要针对生成器训练。本文转而利用几何基础模型的一个特点：它不一定能纠正生成漂移，却能把漂移显露为不同帧点云之间的不重合。这使问题从“让生成器永远不犯错”转成“把已有观测配准到一个统一空间”，但仅仅对齐点云还不够，因为原始监督图像依然不一致。

核心 idea：先用非刚性配准获得规范空间中的一致几何，再在训练渲染时把场景逆形变回每帧观测空间，让光度优化改善外观而不把生成漂移重新写回静态世界。

方法详解¶

整体框架¶

输入是描绘静态场景的一个或多个生成视频，输出是可以从新视角实时渲染的统一 2DGS 场景，而不是时间变化的动态场景。 DepthAnything-3（DA3）预测深度、置信度和相机，形成逐帧彩色点云；可靠点筛选后，帧到模型非刚性配准和全局细化依次消除表面错位。最后学习从规范空间返回各帧空间的逆形变，并通过该形变计算渲染损失。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    INPUT["生成视频 + DA3预测"] --> FILTER["可靠点筛选"]
    FILTER --> ICP["帧到模型非刚性配准"]
    ICP --> GLOBAL["全局几何细化"]
    GLOBAL --> RENDER["逆形变感知渲染"]
    RENDER --> OUTPUT["统一静态2DGS世界"]

关键设计¶

1. 可靠点筛选：保留能支持表面对齐的密集观测

DA3 为每帧预测逐像素深度与置信度，并估计针孔相机内外参；如果视频生成器提供相机轨迹，就以该轨迹为条件预测深度和置信度。随后按相机内参反投影深度，再变换到共同坐标系，获得彩色点云。这里不是全局简单截掉低置信度点：作者先把点分配给体素，在每个体素内部计算局部置信度分位数，同时计算各体素点数的分位数阈值。只有置信度达到局部阈值、且所在体素占据数达到阈值的点才能保留，兼顾局部可信度与重复观测支持。

这种初始化尽量保留稠密、可对齐的场景表面，而不是先清空问题区域再依赖生成器补洞。它仍可能包含重复墙面或窗框，因为置信度反映的是几何预测可靠性，并不保证跨帧生成内容完全一致；下一阶段才负责解决这类错位。

2. 帧到模型非刚性配准：先逐帧把错位表面并入共同模型

第一帧作为规范参考，后续帧依次与已经融合的模型对齐，而不是只和上一帧做成对配准。每帧同时优化相机外参和一个 hash-grid MLP：网络在三维位置处输出六维 twist，通过指数映射得到逐点 SE(3) 变换。单个点采用刚性变换，但不同位置的变换不同，因此整片表面可以非刚性地弯曲；处理顺序是在本帧相机空间局部形变，再通过相机外参进入规范空间。

配准结合三类互补证据：点到平面的 ICP 约束表面距离，彩色 ICP 对齐局部切平面的颜色梯度，RoMa 图像匹配提供带置信权重的跨帧对应。最近邻 ICP 只接受距离阈值内的点，若窗框错位超过阈值，就没有梯度把它拉回来；稀疏图像对应能连接这些相距较远、但语义外观对应的位置。原文式（6）的加权对应约束可写成下式，其中两端是匹配像素对应、已经变换到同一坐标系的三维点，\(w_m\) 是匹配置信度：

\[ \mathcal{L}_{\mathrm{corr}}= \frac{\sum_m w_m\|\mathbf{x}_m-\mathbf{y}_m\|_2^2}{\sum_m w_m}. \]

作者还比较每个点与相距一个体素的六个轴向邻居的 twist 预测，限制局部形变差异，避免为降低匹配误差而任意撕裂表面。优化由粗到细，只有最细尺度启用非刚性网络；这样先用较稳定的刚性更新处理大体位姿，再放开局部自由度。每帧融合时还依据历史帧 ICP 几何与颜色损失的中位数绝对偏差（MAD）自适应剔除异常点，两种损失均通过门限才并入模型。

3. 全局几何细化：让对应两端共同修正累计误差

逐帧融合虽然能建立完整场景，却只在每轮更新当前帧，早期模型的误差可能逐步累积成“已经对上、但仍然很厚”的表面。全局阶段联合优化所有相机与逐帧形变网络，为每个点寻找来自其他帧的 5 个最近邻，用于几何和颜色目标。关键差异是梯度同时流向对应的两端，不再把融合模型当成永远固定的真值，因此多帧表面可以共同收紧。

为防止所有点一起塌缩或相机任意漂移，作者从每帧采样锚点，约束它们的 twist 接近全局优化前的状态，也对相机的 twist 参数施加同样约束。这一阶段是围绕已有配准结果做细化，不是重新从零拟合。原文图 5 的栅栏示例说明了目标：表面变薄的同时，原本叠加的纹理边缘也更加清晰。

4. 逆形变感知渲染：对齐几何后，不再强迫它直接解释矛盾图像

若把对齐点云交给普通高斯优化，并直接从原相机渲染，仍有几何漂移的训练图像会迫使高斯移动回多层表面。因此作者先解析求逆刚性相机变换，再训练一个共享的逆形变 hash-grid MLP，以可学习的视图嵌入区分不同帧。监督来自已有正向配准：采样原始相机空间点，将其正向变换到规范空间，再要求逆形变能够恢复原点，用三维均方误差和局部平滑项优化。

接着把规范点云初始化为 2D 高斯圆盘：位置来自点云，旋转依据法线，尺度依据 10 个最近邻的平均欧氏距离，不透明度初始化为 0.1，颜色转为零阶球谐系数。训练每个视图前，对高斯位置和旋转应用对应逆形变，并按文中刚性逆变换处理尺度，再做 2DGS 光栅化与 alpha 混合。以下是对式（10）至（13）计算路径的解释性记法，不是原文新增的损失定义；\(\mathcal{G}\) 为规范高斯场景，\(D_i^{-1}\) 为该帧的逆变换，\(\mathcal{R}\) 表示渲染：

\[ \hat I_i=\mathcal{R}\!\left(D_i^{-1}(\mathcal{G})\right). \]

优化图像 L1 与 LPIPS 损失，并加入 2DGS 深度和法线正则；梯度穿过逆形变回传到规范高斯，同时优化相机。因此训练时可以解释“窗框在这一帧偏移”的观测，最终用于新视角浏览的却仍是没有逐帧漂移的规范场景。这与动态重建有重要区别：形变在这里是消除观测不一致的辅助变量，不是需要在最终世界里播放的真实运动。

一个完整示例¶

设生成视频沿房屋移动，前后帧中的同一窗框发生位置偏移。这是机制示意，不是新增实验结果。 DA3 将其显露为两层窗框点云；可靠点筛选去掉低置信度和稀疏支持的点，但保留两层可信观测。如果错位超出 ICP 门限，RoMa 对应先提供拉近两层的信号，局部非刚性形变进一步合并窗框，之后全局优化收紧表面。训练高斯时，每帧的逆形变暂时把统一窗框移回该帧的位置，再与该帧图像比较；浏览时渲染统一窗框，而不是平均出一片模糊边缘。

损失函数 / 训练策略¶

帧到模型优化的目标为几何 ICP、彩色 ICP、稀疏对应和形变平滑项之和；该组合在原文 §3.2 明确给出：

\[ E=\mathcal{L}_{\mathrm{data}}+0.05\mathcal{L}_{\mathrm{color}} +1.0\mathcal{L}_{\mathrm{corr}}+10.0\mathcal{L}_{\mathrm{tv}}. \]

§4.1 对所有结果采用统一设置：体素尺寸依次为 4 cm、2 cm，最近邻距离上限为 5 cm、3 cm，分别优化 50、150 次，Adam 学习率为 \(10^{-3}\)。局部置信度分位数为 15，体素占据数分位数为 50；RoMa 使用最多 20 对图像、最多 5,000 个对应的设置。全局细化另运行 100 次，锚定权重为 50.0；50 帧场景的两个几何阶段平均耗时 25 分钟、占用 20 GB 显存，设备为单张 A6000。点云下采样至约 1.5M 个高斯，不进行增密，优化 5,000 次约需 10 分钟、8 GB 显存。镜面反射场景可再优化高阶球谐 10,000 次；这一阶段冻结相机和位置，避免把几何漂移编码为视角相关外观。

实验关键数据¶

主实验¶

原文表 1 每个视频采样 50 帧，覆盖 Wan-2.2、ViewCrafter、Gen3C、SEVA、Voyager、Genie3、HY-WorldPlay，并跨视频源模型平均。下表均为得分、越高越好，不是百分比准确率，也不是厘米级几何误差。一致性与保真度沿用 WorldScore；本缓存正文未展开其底层指标公式，因此不能由表中数值推断绝对几何精度。

方法（原文表 1）	3D 一致性	光度一致性	CLIP-IQA+	CLIP Aesthetic
DA3	69.53	71.62	31.64	36.64
3DGS-MCMC	67.34	69.58	35.56	35.06
VGGT-X	65.73	65.58	38.21	37.24
VGGT-X†	69.66	67.05	41.44	37.53
本文	79.29	86.59	46.56	37.61

DA3 基线并非原始深度预测分数，而是 DA3 点云初始化、附带 DA3 深度约束的 3DGS；VGGT-X† 则用 DA3 替换原几何预测。相对 VGGT-X†，本文前三项分别高 9.63、19.54、5.12 分；美学得分仅高 0.08 分，不能把它描述成所有外观指标都大幅改善。输入视频的 CLIP-IQA+、CLIP Aesthetic 为 47.39、39.04，仍高于重建结果的 46.56、37.61。

消融实验¶

原文表 2 是四个 SEVA 场景的平均结果，与表 1 的跨模型平均不是同一评测集合。

配置（原文表 2）	3D 一致性	光度一致性	CLIP-IQA+	CLIP Aesthetic
only rigid：仅刚性对齐	76.98	64.93	11.43	49.12
no inv：无逆形变渲染	78.28	55.16	15.81	46.39
no filt：无点筛选	72.58	64.88	55.17	51.05
no corr：无稀疏对应	65.62	74.76	44.81	46.27
no global：无全局细化	63.90	77.85	49.69	51.61
完整模型	79.79	86.88	55.30	52.40

关键发现¶

去掉逆形变渲染，光度一致性由 86.88 降至 55.16，减少 31.72 分；几何预对齐不能替代正确的图像监督路径。
去掉全局细化，3D 一致性由 79.79 降至 63.90，减少 15.89 分；逐帧局部成功不等于全局表面足够薄。
仅刚性对齐的 CLIP-IQA+ 为 11.43，而完整模型为 55.30；相机外参修正无法解释局部物体形变。
大场景实验最多使用 32 个 SEVA 视频序列，与 WorldExplorer 和 VGGT-X 比较；图 7 展示更稳定的新视角，但正文未提供对应量化表。

亮点与洞察¶

将“规范几何”与“观测如何偏离它”分开建模。对齐后仍保留形变映射，才能避免后续光度训练推翻前面的几何修复。
RoMa 对应与 ICP 并非简单重复。前者补足大错位时最近邻阈值之外的吸引信号，后者负责局部表面精细贴合。
稠密初始化让 2DGS 无须增密即可训练。代价则从高斯增密转移到前置几何配准，不能只报告最后 10 分钟作为总成本。

局限与展望¶

作者明确区分几何漂移与内容幻觉：物体移动变形可以配准，但凭空增删物体、回访时更换纹理不一定存在合理的统一对应。
方法仍需逐场景优化；报告的几何与高斯基础阶段相加约 35 分钟，且不包括视频生成与可选球谐阶段，不是端到端实时重建。
本文面向静态场景，非刚性变换是误差补偿。不能据此宣称支持物理正确的动态交互或真实运动恢复。
从评测边界看，正文只提供四个 SEVA 场景的消融，且未展开 WorldScore 指标实现；大场景结果以定性图为主，未报告置信区间。
作者提出用鲁棒机制识别幻觉帧，或把对齐结果作为生成器微调信号；进一步研究还应验证在低重叠和严重内容替换时的失败检测能力。

评分¶

新颖性: 4/5。非刚性配准本身成熟，但将逆形变引入不一致生成视图的高斯监督路径很有针对性。
实验充分度: 4/5。多生成器主实验与关键组件消融完整，大场景量化和误差统计仍不足。
写作质量: 4/5。规范空间、观测空间与消融之间逻辑清晰，若进一步展开指标和逆变换实现会更易复现。
价值: 4/5。为已有视频模型提供实际可用的三维重建路线，但不解决内容幻觉和逐场景优化成本。