MCSplat: Multi-View Photometric and Geometric Consistent Feed-Forward Gaussian Splatting for Driving Scenes¶

会议: NeurIPS 2026
arXiv: 2610.25345
论文: https://arxiv.org/abs/2610.25345
领域: 自动驾驶
关键词: 自动驾驶场景重建, 前馈3D高斯泼溅, 跨相机光度一致性, 双边网格, 几何自监督

一句话总结¶

针对自动驾驶多相机前馈 3D 高斯泼溅中跨视角光度不一致与弱约束区域几何不稳定的双重挑战，MCSplat 提出基于深度对应的规范外观空间构建、多尺度双边网格 Transformer 外观恢复，以及 Fisher 信息引导的自适应表面几何自监督，在 Waymo 和 nuScenes 上显著提升了新视角合成与跨视角几何一致性。

研究背景与动机¶

自动驾驶仿真系统与长时序闭环规划高度依赖逼真的三维环境数字孪生。相比于单场景慢速优化的神经辐射场或 3D 高斯泼溅（3DGS），基于几何基础模型（GFM，如 MoGe-2、Depth Anything 等）的前馈高斯生成方法（如 UniSplat、StreetForward）能直接从多视角环视图像实时推断 3D 高斯基元属性，展现出卓越的泛化潜力和效率。然而，在真实车载环视相机系统中，由于各相机曝光参数、自动白平衡、图像信号处理器（ISP）管线各异以及光照剧烈变化，跨相机重叠区域普遍存在严重的光度不一致性。传统基于重构光度误差的端到端监督极易将这种相机特异性的颜色差异错误归因并吸收到高斯几何（如位置和朝向）中，导致同一物理表面在重叠视场中分裂为破碎的高斯碎片与漂浮物。

与此同时，车载环视相机的布置主要覆盖自车行驶轨迹两侧，横向视角重叠狭窄且严重缺乏大基线离轴观测。即使 GFM 提供了密集单目深度作为高斯中心先验，高斯的旋转、尺度、不透明度等属性在弱纹理区域或深度不连续边缘仍然处于欠约束状态。现有尝试引入局部表面法线自监督的方法，往往通过深度图局部差分计算伪法线，但在物体遮挡边缘、深度阶跃处以及 GFM 单目深度误差带上，差分法线自身极为不可靠，盲目引入全图刚性几何正则反而会污染真实边界结构。

为攻克这两大痛点，本文提出在表征解耦与自适应正则化两个维度协同创新。首先通过深度引导的跨相机几何对应关系，将存在光度差异的多视角输入投影对齐至统一的规范外观空间，使 3DGS 骨干网络专注学习纯粹的物理几何与规范外观；随后借助多尺度双边网格 Transformer 将规范渲染图无损映射回各相机原始外观进行监督。核心 idea：解耦几何重建与相机特异性外观，在规范空间学习 3DGS 基元并由多尺度双边网格恢复原始外观，同时利用光度损失对高斯中心的 Fisher 信息敏感度在线量化局部几何不确定性，自适应加权表面法线与扁平化自监督。

方法详解¶

整体框架¶

MCSplat 整体 pipeline 围绕“规范外观解耦”与“不确定性引导几何自监督”展开，输入为车载环视多视角图像与基础几何模型（GFM）预测的密集先验深度，输出为具有高几何一致性与逼真外观的 3D 高斯基元集合。流程主要分为三个协同阶段： 1. 深度引导规范外观空间构建（CAC）：利用相机拓扑选定参考相机组，通过 3D 反投影与远景圆柱体投影视差，在重叠区估计分段鲁棒仿射变换，将非参考相机对齐到相邻参考相机，消除跨视角曝光与色调差异； 2. 规范空间 3D 高斯预测与渲染：GFM 主干网络与高斯预测头在规范图像域下前馈预测 3D 高斯基元，并在规范空间完成可微光栅化渲染，避免多相机光度冲突污染高斯几何参数； 3. 多尺度双边网格 Transformer（BGT）外观恢复：以规范与原始图像的残差特征为条件，解码多尺度三维双边网格，将规范渲染图像按像素自适应映射回真实相机曝光域进行光度监督； 4. Fisher 信息引导的几何自监督（Geo）：在训练当前步在线计算光度损失对高斯中心平移的 Fisher 信息敏感度，将其转化为空间不确定性权重，对弱约束与非天空区域的高斯基元自适应施加表面法线对齐和扁平化正则。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角环视输入图像 + GFM 先验深度"] --> B["深度引导规范外观构建<br/>参考视点锚定与重叠区仿射对齐"]
    B --> C["规范外观图像域"]
    C --> D["前馈 3D 高斯预测头<br/>规范空间预测几何与属性基元"]
    D --> E["规范空间高斯光栅化渲染"]
    E --> F["多尺度双边网格 Transformer<br/>残差 Token 解码与逐级仿射恢复"]
    F --> G["恢复原始相机外观与光度损失"]
    G -.->|单步光度敏感度反传| H["Fisher 信息不确定性量化<br/>高斯中心平移梯度平方范数"]
    H --> I["自适应表面几何自监督<br/>法线对齐与高斯厚度惩罚"]
    G --> J["最终渲染与多视角一致性评估"]
    I --> J

关键设计¶

1. 深度引导规范外观空间构建：消除跨相机曝光色调歧义
在多相机环视系统中，相机的曝光策略与图像处理器对色彩的映射差异会在视场交界处产生阶跃式的色彩断层。针对这一痛点，MCSplat 并不依赖黑盒神经网络强行拟合颜色，而是基于真实 3D 几何对应关系构建物理可解释的规范色彩空间。以 Waymo 五相机环视布局为例，算法将前向（Front）、左侧（SideLeft）和右侧（SideRight）设为锚定参考相机集合 \(\mathcal{V}_{\mathrm{ref}}\)，两枚过渡相机（FrontLeft 与 FrontRight）则分别通过其相邻的双参考相机进行锚定。对于具备可靠单目或 LiDAR 深度 \(D_r(p_i)\) 的参考视角像素 \(p_i\)，通过相机外参和内参反投影至 3D 空间，再重投影至目标相机 \(t\) 对应像素 \(\tilde{p}_i\)；对于无可靠深度的天空区域，则将光线与自车中心的远景天空圆柱体求交后重投影匹配。在建立对应点集合后，求解带正则化的通道对角仿射变换参数 \((a_c, b_c)\)：

\[\min_{\{a_c, b_c\}} \sum_{i} \rho\left(a_c I_t^c(\tilde{p}_i) + b_c - I_r^c(p_i)\right) + \lambda_a \sum_{c} (a_c - 1)^2 + \lambda_b \sum_{c} b_c^2\]

其中 \(\rho(\cdot)\) 为鲁棒惩罚核函数，正则项确保在对应点稀疏或退化时自动退化为恒等映射。对于处于两枚参考相机中间的目标相机，沿图像水平坐标 \(u \in [0, W-1]\) 对两侧参考相机算得的变换矩阵进行线性平滑插值：\(\mathbf{A}_t(u) = (1 - \alpha(u))\mathbf{A}_{t \to r_1} + \alpha(u)\mathbf{A}_{t \to r_2}\)，其中 \(\alpha(u) = u/(W-1)\)。地面与天空区域分别独立估计并插值，彻底消除了相机视场边界的生硬拼接痕迹。

2. 多尺度双边网格 Transformer：解耦外观恢复与防高斯形变
规范空间消除了光度冲突，但模型最终仍需要能够合成特定相机原始曝光特性的真实图像以进行准确光度监督。若直接用高容量 CNN 变换渲染图，往往会导致梯度倒灌改变原本正确的 3D 高斯几何。MCSplat 引入紧凑的多尺度三维双边网格 Transformer（BGT）。在尺度 \(m\) 下，双边网格 \(\mathbf{B}_q^{(m)} \in \mathbb{R}^{12 \times L_m \times H_m \times W_m}\) 在每个网格单元内存储扁平化的 \(3 \times 4\) 仿射颜色变换矩阵。对于像素 \(p\)，利用其归一化图像坐标 \((x_p, y_p)\) 与规范渲染图的灰度指导值 \(\gamma_p = \text{gray}(\hat{I}_q^{\mathrm{can}}(p))\) 进行切片采样（Bilateral Slicing），提取仿射参数并在齐次坐标下由粗到精逐级复合：

\[\mathbf{T}_{q,p} = \mathbf{T}_{q,p}^{(M)} \cdots \mathbf{T}_{q,p}^{(1)}, \quad \begin{bmatrix} \hat{I}_q(p) \\ 1 \end{bmatrix} = \mathbf{T}_{q,p} \begin{bmatrix} \hat{I}_q^{\mathrm{can}}(p) \\ 1 \end{bmatrix}\]

在网格参数预测端，冻结的 DINOv2 图像编码器分别提取规范图和原始图的 Patch Token \(P_q^{\mathrm{can}}\) 与 \(P_q^{\mathrm{raw}}\)。BGT 将残差 Token \(R_q^{(m)} = \text{Pool}(P_q^{\mathrm{raw}} - P_q^{\mathrm{can}})\) 作为 Key/Value，将规范 Query Token \(Q_q^{(m)} = \text{Pool}(P_q^{\mathrm{can}})\) 经过自注意力后与残差 Token 进行交叉注意力交互。这种残差 Token 机制显式隔离了待恢复的曝光与色偏信息，大幅削减了内容语义冗余，使粗尺度双边网格负责捕获全局白平衡/曝光偏移，细尺度网格专注校正局部暗角与局部反光。

3. Fisher 信息几何不确定性感知自监督：精准正则化弱约束表面
在自动驾驶 sparse-view 布局下，高斯的旋转、尺度和中心在弱纹理道路或离轴大视差角度下易出现多义解。常规几何自监督强制高斯扁平化并贴合深度差分计算的表面法线，但在遮挡边缘和深度不连续处，差分法线往往是错的。MCSplat 发掘了模型自身光度敏感度的物理内涵：如果光度损失对某个高斯中心平移的扰动极其剧烈，说明该基元正处于纹理丰富或多视角强几何约束区域，位置高度可信；反之若敏感度接近于零，说明该区域处于弱光照、弱纹理或遮挡模糊带，几何不确定性极大，亟需外部几何正则化引导。为此，论文定义单步平移 Fisher 信息：

\[F_{i,q}^{xyz} = \left\| \frac{\partial \mathcal{L}_{\mathrm{photo},q}}{\partial \boldsymbol{\mu}_i} \right\|_2^2, \quad \bar{F}_i^{xyz} = \frac{1}{|\mathcal{V}_{\mathrm{cur}}|} \sum_{q \in \mathcal{V}_{\mathrm{cur}}} F_{i,q}^{xyz}\]

在当前迭代步计算 Fisher 信息后，对其归一化并施加截断梯度（Stop-Gradient）操作，转化为自适应不确定性权重 \(w_i = \exp(-\gamma \tilde{F}_i^{xyz})\)。权重 \(w_i\) 随 Fisher 信息单调递减，使得高确定性基元保留数据驱动的主导权，而欠约束基元获得更强的表面自监督。对于非天空高斯，将其最薄轴向（最小尺度对应的旋转轴）作为高斯法线 \(\mathbf{n}_i^{\mathrm{gs}} = \mathbf{R}_i \mathbf{e}_{k_i^\star}\)，与邻域高斯中心差分拟合的局部表面法线 \(\mathbf{n}_i^{\mathrm{surf}}\) 计算绝对内积朝向损失，并对其最小尺度进行厚度惩罚：

\[\ell_i^{\mathrm{orient}} = 1 - |\langle \mathbf{n}_i^{\mathrm{surf}}, \mathbf{n}_i^{\mathrm{gs}} \rangle|, \quad \ell_i^{\mathrm{flat}} = s_{i, k_i^\star}, \quad \mathcal{L}_{\mathrm{geo}}^{\mathrm{unc}} = \lambda_{\mathrm{orient}} \frac{\sum_i w_i \ell_i^{\mathrm{orient}}}{\sum_i w_i} + \lambda_{\mathrm{flat}} \frac{\sum_i w_i \ell_i^{\mathrm{flat}}}{\sum_i w_i}\]

这一设计全程无需依赖额外的教师模型（如外部稠密法线估计网络），全部由当前模型在计算图中的一阶敏感度在线推导完成，计算高效且自洽。

损失函数 / 训练策略¶

模型采用解耦的两阶段训练策略： - Stage 1（规范空间几何与属性学习）：冻结预训练 GFM 骨干，在规范外观空间下训练稀疏 3D 卷积模块和高斯预测头。损失函数包括规范外观域下的重构 MSE 损失、LPIPS 损失、动态区域前景分解损失 \(\mathcal{L}_{\mathrm{dyn}}\)，以及基于 MoGe ROE 闭式解尺度对齐的 \(\mathcal{L}_{\mathrm{scale}}\)：

\[\mathcal{L}_{\mathrm{stage1}} = \sum_{v \in \mathcal{V}_{\mathrm{cur}}} \left( \lambda_1 \mathcal{L}_{\mathrm{mse}}^{v,\mathrm{can}} + \lambda_2 \mathcal{L}_{\mathrm{lpips}}^{v,\mathrm{can}} + \lambda_3 \mathcal{L}_{\mathrm{dyn}}^v + \lambda_4 \mathcal{L}_{\mathrm{scale}}^v \right) + \sum_{v \in \mathcal{V}_{\mathrm{fut}}} \left( \lambda_1 \mathcal{L}_{\mathrm{mse}}^{v,\mathrm{can}} \odot B^v + \lambda_2 \mathcal{L}_{\mathrm{lpips}}^{v,\mathrm{can}} \right)\]

Stage 2（外观恢复与不确定性几何联合优化）：冻结除高斯 MLP 之外的高斯预测头权重，重点优化多尺度双边网格 Transformer。在保留 Stage 1 规范损失的基础上，增加原始相机外观恢复的图像域损失（\(\mathcal{L}_{\mathrm{mse}}^{v,\mathrm{img}}\) 与 \(\mathcal{L}_{\mathrm{lpips}}^{v,\mathrm{img}}\)）、双边网格平滑度全变分损失 \(\mathcal{L}_{\mathrm{tv}}\)，以及 Fisher 信息引导的几何自监督损失 \(\mathcal{L}_{\mathrm{geo}}^{\mathrm{unc}}\)：

\[\mathcal{L}_{\mathrm{stage2}} = \mathcal{L}_{\mathrm{stage1}} + \sum_{v \in \mathcal{V}_{\mathrm{cur}} \cup \mathcal{V}_{\mathrm{fut}}} \left( \lambda_5 \mathcal{L}_{\mathrm{mse}}^{v,\mathrm{img}} + \lambda_6 \mathcal{L}_{\mathrm{lpips}}^{v,\mathrm{img}} \right) + \lambda_7 \mathcal{L}_{\mathrm{tv}} + \mathcal{L}_{\mathrm{geo}}^{\mathrm{unc}}\]

超参数设置为 \(\lambda_1 = \lambda_5 = 5.0\)，\(\lambda_2 = \lambda_6 = 0.05\)，\(\lambda_3 = 0.05\)，\(\lambda_4 = 0.1\)，\(\lambda_7 = 1.0\)，\(\lambda_{\mathrm{orient}} = 0.05\)，\(\lambda_{\mathrm{flat}} = 0.5\)。采用 AdamW 优化器，在 16 张 NVIDIA H20 GPU 上以 batch size 32 进行分布式训练。

实验关键数据¶

主实验¶

在 Waymo Open Dataset（798 训练场景，202 验证场景）和 nuScenes 上，MCSplat 与多视角前馈 3DGS 代表性 SOTA 方法进行了对比。在 Waymo 5 相机环视（Multi-view）以及单前视（Front-view）评测中，MCSplat 均显著刷新了当前最好成绩：

数据集 / 视角配置	评测任务	方法	PSNR ↑	SSIM ↑	LPIPS ↓
Waymo (Front)	输入视点重构 (Recon)	UniSplat	28.93	0.86	0.18
Waymo (Front)	输入视点重构 (Recon)	MCSplat (本文)	31.05	0.89	0.12
Waymo (Front)	新视角合成 (NVS)	UniSplat	27.34	0.80	0.20
Waymo (Front)	新视角合成 (NVS)	MCSplat (本文)	27.64	0.84	0.16
Waymo (Multi, 5-view)	输入视点重构 (Recon)	UniSplat	29.58	0.86	0.17
Waymo (Multi, 5-view)	输入视点重构 (Recon)	MCSplat (本文)	30.53	0.88	0.13
Waymo (Multi, 5-view)	新视角合成 (NVS)	UniSplat	25.98	0.76	0.24
Waymo (Multi, 5-view)	新视角合成 (NVS)	MCSplat (本文)	26.35	0.76	0.22
nuScenes (Multi)	联合评测 (Recon & NVS)	UniSplat	25.37	0.765	0.246
nuScenes (Multi)	联合评测 (Recon & NVS)	MCSplat (本文)	26.19	0.783	0.248

在反映真实 3D 几何质量的跨相机重叠区深度重投影误差以及 MoGe-2 伪法线一致性指标上，MCSplat 取得了突破性提升：

评估指标 (Waymo)	UniSplat (基线)	MCSplat (本文)	改善幅度
深度重投影平均误差 Mean (m) ↓	2.378	0.910	降低 61.73%
深度重投影均方根误差 RMSE (m) ↓	6.427	3.920	降低 39.01%
伪法线平均角误差 Mean (°) ↓	115.05	92.82	降低 22.23°
伪法线角误差 \(< 5^\circ\) 占比 (%) ↑	0.02	4.24	提升 212 倍
伪法线角误差 \(< 11.25^\circ\) 占比 (%) ↑	0.10	10.08	提升 100 倍
伪法线角误差 \(< 30^\circ\) 占比 (%) ↑	1.18	17.38	提升 14.7 倍

消融实验¶

为验证规范外观构建（CAC）、双边网格 Transformer（BGT）和 Fisher 几何正则（Geo）各组件的独立贡献，论文在 Waymo 数据集上进行了组件剥离分析：

配置	评测目标	深度重投影 Mean (m) ↓	重构 PSNR ↑	重构 LPIPS ↓	法线误差 \(< 30^\circ\) (%) ↑	说明
Baseline (UniSplat)	原始 GT (Raw)	2.378	29.58	0.17	1.18	未做外观解耦与几何正则
+ CAC	规范 GT (Can)	0.967	31.06	0.13	4.08	消除跨相机光度歧义，几何误差骤降
+ CAC + BGT	原始 GT (Raw)	0.967	30.76	0.13	4.08	保持高质量几何同时恢复原始相机曝光
+ CAC + Geo	规范 GT (Can)	0.910	31.09	0.14	17.38	表面自监督极大提升法线一致性
+ CAC + Geo	原始 GT (Raw)	0.910	29.35	0.14	17.38	缺少 BGT 导致原始外观未校准
MCSplat (全模型)	原始 GT (Raw)	0.910	30.53	0.13	17.38	几何与外观全面达到最优

在专门挑选的 57 个具有剧烈跨相机光度差异的 Waymo 极端验证子集（Waymo Appearance-Inconsistent Subset）中，MCSplat 的优势更加明显：多视角环视重构 PSNR 从 UniSplat 的 29.28 dB 提升至 30.88 dB（+1.60 dB），LPIPS 从 0.18 降至 0.14（-22.2%）；单前视 PSNR 从 29.18 dB 飙升至 32.07 dB（+2.89 dB），验证了方法在严苛曝光扰动下的鲁棒性。

关键发现¶

光度一致性是跨视场几何学习的前提：CAC 模块将多相机深度重投影误差直接从 2.378 m 砍半至 0.967 m（降幅 59.34%），证明此前基线的大部分几何破碎实际上源于多视差相机之间被动学习“曝光/白平衡不一致”引起的过拟合伪影；
几何正则与光度重构存在内在权衡：在缺少 Geo 时，CAC+BGT 的 raw PSNR 达 30.76 dB，略高于完整模型的 30.53 dB。这是因为未加几何扁平化约束的高斯基元拥有更多拟合高频图像杂讯的自由度；引入 Geo 虽然在纯 PSNR 上微幅让步，但将合法表面法线比例从 4.08% 暴拉至 17.38%，在离轴大基线横向位移（1.8m~2.0m 变道视点）合成中彻底消除了漂浮物与车辆形变。

亮点与洞察¶

解耦空间先统一再恢复的双边网格机制：传统 NeRF-W 类方法靠隐式 Latent Code 调控外观，难以约束局部空间色偏且无法前馈泛化；MCSplat 在特征域提取规范与真实图像的“残差 Token”直接引导三维双边网格，既能保留局部保边平滑特性，又防止梯度假性破坏三维几何，极具工程优雅性。
无需外部教师模型的自适应 Fisher 几何不确定性：大多数自监督正则因缺乏置信度而不敢在复杂场景施加；MCSplat 巧妙利用光度误差对高斯中心的一阶敏感度作为内在不确定性度量，在线、免额外参数地把法线正则精准聚焦在弱纹理和欠约束表面，思路可直接推广到其他通用前馈 3DGS 架构中。

局限与展望¶

作者承认的局限：受限于 Waymo 数据集的外观与天气多样性，在极少数复杂场景下恢复的原始域色彩仍可能出现轻微色偏；同时目前外观仿射模型主要基于空间几何对应，未显式结合时序动态光照模型或物理相机 ISP 参数。
潜在改进方向：当前双边网格仅在单帧多视角空间维度解码，若在跨帧时序维度引入一致性光流正则或物理曝光先验，将进一步增强大动态车速下的外观连续性；此外，当前方法在完全不可见或严重遮挡区域仍存在少量离轴拉伸伪影。

评分¶

新颖性: ⭐⭐⭐⭐☆ 规范外观解耦与 Fisher 敏感度几何不确定性权重的结合针对车载痛点极具针对性与新意。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 Waymo 全集、nuScenes、极端光度不一致子集、几何法线度量及离轴变道渲染，证据链完备。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨清晰，问题定义准确，理论推导与实验分析环环相扣。
价值: ⭐⭐⭐⭐⭐ 为端到端自动驾驶仿真与通用前馈 3D 场景重建提供了扎实的高保真几何基建方案。