ReconSplat: Generalizable 3D Scene Reconstruction Beyond Observed Views¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/xxx
领域: 重建与渲染
关键词: 3D高斯泼溅, 新视角合成, 前馈式3D重建, 多视角潜在扩散模型, 场景外推补全

一句话总结¶

ReconSplat 提出了一个前馈式 3D 场景重建与视角外推框架，通过光栅化 3D 变分高斯分布构建多视角几何与外观潜在特征，并将其作为粗糙先验注入多视角潜在扩散模型（MV-LDM），同时实现了未观测视角的高保真合成与多视角一致的精确深度重构。

研究背景与动机¶

从极稀疏的输入图像（如 2 到 4 帧）实现真实世界大尺度场景的快速前馈式 3D 重建与新视角合成（NVS），是具身智能、空间计算与虚拟现实的核心基础。现有的前馈式 3D 高斯泼溅（3DGS）回归方法（如 pixelSplat、MVSplat、DepthSplat）虽然摆脱了传统 NeRF 或 3DGS 繁重的单场景逐次优化过程，能够瞬间从多视角回归出局部点云或高斯基元，但在本质上高度受限于已知观测视角的空间包络。一旦目标视角的相机位姿发生大基线移动或视锥外推（extrapolation），这些几何回归模型在未观测区域就会因缺乏三维基元投影而彻底失效，产生严重的黑洞空洞或结构崩塌。

为了突破视角内插的局限，近期的生成式工作（如 latentSplat、MVSplat360）尝试引入 GAN 或视频扩散模型在图像或潜在空间进行视角外推与场景补全。然而，这类方法普遍暴露出生成外观与真实几何的割裂：生成模型倾向于产生看似视觉合理但三维几何完全失真的幻觉纹理，其潜在表示缺乏多视角三维几何物理约束，导致投影视差失调、深度图极其破碎噪乱，根本无法反投影得到一致、致密的三维点云。相反，显式引入单目深度先验的几何回归方法（如 DepthSplat）虽能给出平滑的相对深度，却完全缺乏无观测区域的生成补全能力。

本文的切入角度是：必须将确定性 3D 高斯泼溅的几何接地能力与生成式扩散模型的跨视角外推先验在潜在特征层面进行深度双向耦合。核心 idea：构建一种可微变分 3DGS 潜在场并提出“先光栅化再采样”闭式混合机制，将渲染得到的外观与几何变分先验作为控制条件注入多视角潜在扩散模型（MV-LDM），在前馈推理中联合去噪生成彼此对齐的目标视角外观与几何深度。

方法详解¶

整体框架¶

ReconSplat 采用前馈双阶段协同架构，输入为稀疏的 $N$ 张已知位姿的 RGB 上下文图像 $I_c = \{I_c^i\}_{i=1}^N$。第一阶段利用多视角编码器从上下文图像前馈回归一组携带 4 维变分外观与几何分布参数的 3D 高斯基元集合 $\mathcal{G}$；对于任意给定的目标相机视锥 $P^\odot$，通过闭式矩匹配的高斯光栅化投影，直接在 2D 潜在图像网格上积分渲染出粗糙的目标变分潜在分布参数，并采样出初步潜在特征 $\tilde{Z}^\odot$。第二阶段构建了基于 SD2.1 架构的多视角潜在扩散模型（MV-LDM），将初步潜在特征通过轻量投影注入 U-Net 解码器作为控制条件，配合跨视角 3D 自注意力与可选的 3D 卷积层，在去噪过程中同步重构出高分辨率、几何自洽的目标视角外观潜在与相对深度，最后通过 LoRA 微调的轻量 VAE 解码器映射到像素空间与度量深度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：稀疏上下文图像<br/>RGB 图像集 + 相机位姿"] --> B["前馈 3D 变分潜在场<br/>MVSplat 骨干预测 3DGS 几何与变分参数"]
    B --> C["变分参数闭式光栅化<br/>矩匹配 α-blending 渲染到 2D 潜在网格"]
    C --> D["双路潜在变分自编码器<br/>LoRA 微调 SD-VAE 外观与几何解码器"]
    D --> E["多视角潜在扩散模型<br/>联合生成外观与深度，3D 自注意力保证跨视角一致"]
    E --> F["输出：三维自洽新视角与稠密深度<br/>支持大基线外推并可反投影为一致稠密点云"]

关键设计¶

1. 变分 3D 高斯潜在场与“先光栅化再采样”闭式积分：解决潜在特征空间分布失真与三维多视角混叠问题
现有变分高斯方法（如 latentSplat）通常在 3D 空间对每个高斯基元独立采样潜在向量，然后再通过传统高斯光栅化进行 alpha 混合。然而，非线性采样的离散值经过加权累加后，其局部统计特性严重偏离标准高斯分布，导致下游 VAE 解码器输出模糊且无法显式引入潜在正则项。ReconSplat 创新地采用了“先光栅化分布参数、再采样潜在向量”的策略。网络输出的每个 3D 高斯基元除了包含三维中心坐标 $X_k$、协方差 $\Sigma_k$、不透明度 $\alpha_k$ 和球谐颜色 $c_k$ 之外，还包含外观与几何的 4 维变分均值与对角方差 $(\mu_k^a, \sigma_k^a)$ 和 $(\mu_k^g, \sigma_k^g)$。在沿光线投影视锥进行前向混合时，由于多个高斯混合分布非严格高斯，论文推导了一阶与二阶矩匹配的一致性闭式公式： $$ \bar{\boldsymbol{\mu}}p = \mathbf{m}} = \frac{1}{A_p}\sum_{k}\alpha_{p,k}T_{p,k}\boldsymbol{\muk, \quad \bar{\boldsymbol{\sigma}}p^2 = \mathbf{m}} - \mathbf{m_p^2 $$ 其中 }^2 = \frac{1}{A_p}\sum_{k}\alpha_{p,k}T_{p,k}\big(\boldsymbol{\sigma}_k^2 + \boldsymbol{\mu}_k^2\big) - \bar{\boldsymbol{\mu}$A_p = \sum_k \alpha_{p,k}T_{p,k}$ 为像素累积不透明度，$T_{p,k} = \prod_{t < k}(1 - \alpha_{p,t})$ 为透射率。通过在 2D 降采样潜在网格（$H/8 \times W/8$）上直接渲染出像素级的变分参数 $(\bar{\mu}^a, \bar{\sigma}^a, \bar{\mu}^g, \bar{\sigma}^g)$，使得系统可以在 2D 潜在空间对光栅化结果施加显式的 KL 散度正则化，使其完美对齐 SD-VAE 的先验隐空间，为高保真特征解码提供了坚实支撑。

2. 双分支 LoRA 潜在自编码器与几何感知损失：解耦外观与相对深度解码并规避全量微调漂移
直接使用预训练 SD-VAE 编码监督 3D 潜在场会导致训练极早饱和且视角间监督冲突，因为原始 SD-VAE 是针对单图重建优化的，缺乏多视角一致性且无法处理深度数据。ReconSplat 固定预训练 SD-VAE 主干的大部分权重，仅对解码器引入参数量仅占约 2% 的低秩自适应（LoRA）分支，分别独立微调外观解码器 $D_a$ 与几何解码器 $D_g$。几何解码器直接由潜在特征回归高精度相对伪深度 $\hat{D}$。为了捕获锐利的几何边缘与表面法向连续性，几何损失函数不仅包含鲁棒的广义 Charbonnier 损失（$\alpha=1$ 的平滑 $L_1$），还组合了深度图归一化结构相异性损失与多尺度梯度匹配损失： $$ \mathcal{L}_\text{gm}(\mathbf{D}, \hat{\mathbf{D}}) = |\nabla_x \mathbf{D} - \nabla_x \hat{\mathbf{D}}| + |\nabla_y \mathbf{D} - \nabla_y \hat{\mathbf{D}}| $$ 该设计保证了在仅依赖 RGB 输入推断时，模型能从潜在场中解耦并恢复出轮廓分明、连续平滑的高质量几何结构。

3. 控制网式特征注入与多视角时空自注意力扩散骨干：打破视锥边界并实现时空几何一致性外推
由于 3DGS 基元完全由已知上下文视锥投影而来，外推到全新视点时不可避免地存在大面积未被任何高斯基元覆盖的空白区域。为了对这些盲区进行合理补全并消除接缝伪影，ReconSplat 设计了多视角潜在扩散模型（MV-LDM）。它保留了 SD2.1 U-Net 的单帧去噪先验，在每个 U-Net 块中增加零初始化的跨视角 3D 自注意力残差分支，并在注意力中嵌入基于相机外参的 PRoPE（Cameras as Relative Positional Encoding）相对位置编码。第一阶段光栅化渲染得到的粗糙变分潜在特征并不直接拼接到 U-Net 输入层，而是采用类似 ControlNet 的无损注入方式：经过投影层 $\phi$ 映射后直接加到 U-Net 中间块与解码器的跳表连接中。针对视频级轨迹推断，模型还支持可选的轻量级 3D 卷积层（通过 adaLN 调制相机参数），在仅更新 77M 参数的前提下显著抑制视角序列渲染中的高频闪烁。

损失函数 / 训练策略¶

第一阶段 3D 潜在场与 LoRA 解码器端到端训练总损失为： $$ \mathcal{L} = \mathcal{L}a(\hat{\mathbf{I}}) + \mathcal{L}g(\hat{\mathbf{D}}) + \omega_a \mathcal{L}\text{KL}(q_a) + \omega_g \mathcal{L}\text{KL}(q_g) + \omega_\text{aux}\mathcal{L}\text{aux}(\hat{\mathbf{I}}\mathcal{G}) $$ 其中外观损失 $\mathcal{L}_a$ 包含像素级 $L_1$、LPIPS 感知损失和自适应加权对抗判别损失；$\mathcal{L}_\text{aux}$ 是由 3DGS 显式球谐参数直接渲染出像素图像与真值的辅助光度损失，作为驱动高斯基元 3D 几何与位置参数形变更新的唯一反向传播梯度源。

第二阶段 MV-LDM 采用 $v$-prediction 形式的 DDPM 扩散目标优化： $$ \mathcal{L}{\boldsymbol{v}}(\theta) := \mathbb{E}}, \mathbf{z0} \big[ |\boldsymbol{v} - \boldsymbol{v}\theta(\mathcal{Z}_t; \phi(\tilde{\mathcal{Z}}^\odot), \mathcal{P}^\odot, \mathcal{Z}_c, \mathcal{P}_c)|^2 \big] $$ 训练中引入退火多分辨率噪声（annealed multi-resolution noise）以兼顾宏观结构构图与高频细节。无分类器引导（Classifier-Free Guidance, CFG）在训练时以 $p_\text{uncond}=0.1$ 的概率丢弃上下文图像与条件特征。针对 $f=8$ 降采样与 SD-VAE 训练分辨率不匹配的问题，模型在全分辨率下进行 200K 步预训练后，进行 50K 步 2× 双线性上采样输入的微调，有效将潜在降采样率缩减至 $f=4$，大幅改善生成保真度。

实验关键数据¶

主实验¶

在真实大尺度室内场景数据集 RealEstate10K（RE10K，大基线极具挑战的外推设置下）以及无界复杂室内外多场景基准 DL3DV-10K 上的代表性定量评估如下：

数据集与任务设置	对比方法	FID ↓	LPIPS ↓	DISTS ↓	PSNR ↑	SSIM ↑
RE10K 视角外推 (Extrapolation)	pixelSplat (CVPR'24)	11.18	0.259	0.154	20.65	0.728
	MVSplat (ECCV'24)	9.83	0.245	0.145	20.49	0.752
	DepthSplat (CVPR'25)	11.81	0.227	0.139	20.71	0.776
	latentSplat (ECCV'24)	6.93	0.234	0.127	21.60	0.732
	MVSplat360 (NeurIPS'24)	5.49	0.245	0.148	20.46	0.748
	ReconSplat (本文)	4.89	0.222	0.120	21.92	0.735
DL3DV-10K 全轨迹双轮 (n=300)	pixelSplat (CVPR'24)	132.79	0.472	0.287	17.15	0.494
	MVSplat (ECCV'24)	97.73	0.476	0.235	15.59	0.358
	DepthSplat* (CVPR'25)	55.84	0.297	0.155	19.41	0.633
	latentSplat (ECCV'24)	73.08	0.411	0.182	16.32	0.472
	MVSplat360 (NeurIPS'24)	52.86	0.461	0.191	14.17	0.332
	ReconSplat (本文)	43.87	0.351	0.137	17.58	0.508

(注：DepthSplat 额外使用了全量 5 倍以上的 DL3DV 训练数据，而 ReconSplat 在公平对标的可比基线中全面领先，且 FID 表现最优。)*

此外，在 ScanNet++（12 组真实 iPhone RGB-D 室内扫描序列）上的零样本跨数据集新视角相对深度评估中，ReconSplat 取得 AbsRel 0.206、RMSE 0.467、RMSElog 0.238，显著优于 MVSplat360（AbsRel 0.410, RMSE 0.753）与 DepthSplat（AbsRel 0.255, RMSE 0.492）。

消融实验¶

在 RE10K 外推评估设置下，对各核心技术模块逐步剔除的消融对比（微调前 Baseline 为 2× 图像微调前）：

配置 / 变体	PSNR ↑	SSIM ↑	LPIPS ↓	FID ↓	核心说明
Full Model (完整方案)	21.92	0.735	0.222	4.89	全量模型，结合 3DGS 潜在调节与 2× 分辨率精细微调
w/o ft (无 2× 上采样微调)	21.26	0.704	0.241	5.84	分辨率匹配缺失导致 FID 升高 0.95
w/o ft, G (无 3DGS 特征引导)	20.75	0.693	0.249	6.07	丧失三维物理几何先验引导，所有质量指标全面衰退
w/o ft, D (无生成式深度先验联合学习)	21.61	0.718	0.232	5.84	仅学生成外观任务较简单单项PSNR微高，但破坏了几何结构一致性
w/o ft, $\epsilon_\text{mr}$ (无多分辨率噪声)	21.27	0.705	0.241	6.02	缺失尺度扰动退化了生成图像的全局感知真实度

关键发现¶

3DGS 空间特征先验的决定性价值：去掉变分 3DGS 潜在场调节（w/o G）使得 PSNR 骤降 1.17 dB，FID 从 4.89 恶化到 6.07，证明 2D 扩散生成必须锚定在显式三维几何基元投影的脚手架上，否则多视角容易沦为各自独立且几何脱节的幻觉。
外观与几何双分支联合建模的约束机制：联合建模深度虽然提升了模型学习的拟合复杂度，但迫使隐空间学到了严密的三维物理布局约束；消融掉深度生成（w/o D）后，新视角反投影出的点云出现严重重叠与漂移。
对上下文输入数量的优异扩展能力：在 DL3DV-10K 测试中，尽管模型仅在 $N=4$ 上训练，当测试时增加到 $N=6$ 和 $N=8$ 帧输入时，ReconSplat 的 FID 持续优化至 30.13 与 27.40，PSNR 提升到 22.71 dB；而对比方案 latentSplat 在 8 帧时由于极线注意力复杂度发生爆显存（OOM）。

亮点与洞察¶

变分高斯分布先光栅化再采样的数学闭式解：通过严谨的一阶与二阶矩匹配推导，将 3D 高斯潜在分布的 alpha-blending 在 2D 潜在空间还原为连续解析高斯，既保留了可微性，又允许直接施加标准正态 KL 散度约束，攻克了神经隐式特征渲染分布漂移的顽疾。
无损控制网注入保留冻结扩散先验：不破坏成熟 Stable Diffusion 基础通道结构，将 3DGS 初步潜在向量通过类似 ControlNet 侧支嵌入跳表连接，最大限度复用了大规模文生图模型的深厚先验与泛化纹理合成能力。
“点云-图像-深度”三位一体前馈重建：生成的深度与 RGB 在潜在空间强相关，可以直接反投影出致密点云，将传统单纯的 2D 图像视角外推质变为具有可测量几何意义的前馈式三维场景级补全。

局限与展望¶

对前端几何粗糙度存在依赖瓶颈：如果极度稀疏的输入视角存在大面积反光、严重遮挡或剧烈运动模糊，导致第一阶段 MVSplat 回归的高斯基元位置发生大尺度离群，第二阶段扩散模型可能会放大这部分错误的几何诱导。
潜在空间非原生 3D 设计：底层复用 2D SD-VAE 的图像隐空间，虽然具备丰富的纹理表现力，但在三维旋转等李群变换下不具备显式旋转等变性。
未来方向：探索在统一框架内构建原生 3D 多视角变分 Auto-Encoder，将神经场景流场或基于 Transformer 的几何大模型作为主干端到端融合。

评分¶

新颖性: ⭐⭐⭐⭐☆ 变分 3DGS 参数闭式光栅化与 MV-LDM 双路外观几何联合去噪设计非常巧妙且系统性强。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 RE10K、DL3DV-10K 极限大基线外推及 ScanNet++ 真实深度泛化评测，动静态与点云反投影消融翔实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密自洽，数学推导清晰，架构图与图表表现力出众。
价值: ⭐⭐⭐⭐⭐ 成功攻克了前馈 3D 视角外推领域“生成外观与物理几何不可兼得”的长期难题，为大场景生成式 3D 视觉提供了强有力范式。