SparseSurf: Sparse-View 3D Gaussian Splatting for Surface Reconstruction¶

会议: AAAI 2026
arXiv: 2511.14633
代码: 项目页面
领域: 3D视觉
关键词: 稀疏视角, 表面重建, 高斯溅射, 立体匹配, 多视角一致性

一句话总结¶

提出 SparseSurf，通过立体几何-纹理对齐（Stereo Geometry-Texture Alignment）和伪特征增强几何一致性（Pseudo-Feature Enhanced Geometry Consistency），在稀疏视角下同时实现高精度表面重建和高质量新视角合成，在 DTU、BlendedMVS 和 Mip-NeRF360 数据集上达到 SOTA。

研究背景与动机¶

3D高斯溅射在稠密视角下能高效重建高质量表面，但在稀疏视角下容易过拟合，导致重建质量严重下降。现有方法面临两个关键挑战：

挑战一：扁平化高斯加剧过拟合 - 为了更好地贴合表面几何，近期方法（FatesGS、Sparse2DGS）采用扁平化2D高斯基元 - 然而扁平化增加了各向异性，在稀疏视角下反而加剧了过拟合风险 - 从训练视角看不出问题，但在新视角下渲染质量严重下降

挑战二：单目深度先验的局限性 - 现有方法使用单目深度估计作为几何约束 - 但单目深度存在尺度模糊性，且缺乏置信度估计 - 在稀疏视角下，噪声引入的多视角不一致性更加严重

作者的核心洞察是：应该利用立体匹配提供度量级（metric）监督，并通过多视角特征一致性来缓解过拟合，使表面重建和新视角合成能够协同提升。

方法详解¶

整体框架¶

SparseSurf 基于扁平化3DGS（类似PGSR/GaussianSurfels），包含两个核心模块： 1. Stereo Geometry-Texture Alignment：渲染立体视图对，通过预训练立体匹配网络获取度量级深度先验 2. Pseudo-Feature Enhanced Geometry Consistency：结合训练视角和伪未见视角的多视角特征一致性

关键设计¶

1. 立体几何-纹理对齐（Stereo Geometry-Texture Alignment）：连接渲染质量与几何估计¶

核心思想是利用3DGS优秀的插值渲染能力，渲染立体视图对并通过预训练立体匹配网络获取精确的度量级几何先验。

立体先验估计： - 对每个训练相机位姿 $\mathbf{P}_i$，在水平基线 $b$ 处生成立体视角 - 渲染立体视角图像形成立体对，输入预训练立体匹配网络获取视差图 - 通过已知基线和焦距将视差转换为深度 $\mathcal{D}^*$ - 从深度图计算法线 $\mathcal{N}^*$ - 通过立体视图一致性检查生成可靠性掩码 $\mathcal{M}^*$ 过滤不可靠像素 - 训练过程中定期（每300次迭代）重新渲染并更新先验

立体几何监督： $$\mathcal{L}_{depth} = \mathcal{L}_1(D, \mathcal{D}^*)$$ $$\mathcal{L}_{normal} = 1 - \mathcal{C}osine(N, \mathcal{N}^*)$$ $$\mathcal{L}_{nd} = 1 - \mathcal{C}osine(N_d, \mathcal{N}^*)$$

此外引入边缘感知拉普拉斯平滑损失： $$\mathcal{L}_{smooth} = \mathcal{S}mooth(N, \mathcal{N}^*) + \mathcal{S}mooth(N_d, \mathcal{N}^*)$$

总立体损失： $$\mathcal{L}_{stereo} = (\lambda_d \mathcal{L}_{depth} + \lambda_n \mathcal{L}_{normal} + \lambda_{nd} \mathcal{L}_{nd})\mathcal{M}^* + \lambda_s \mathcal{L}_{smooth}$$

设计动机：随着训练推进，渲染质量提升→立体深度先验更准确→更好的几何监督→进一步提升渲染质量，形成正向循环。

2. 伪特征增强几何一致性（Pseudo-Feature Enhanced Geometry Consistency）：缓解过拟合¶

包含两个子模块：

伪视角特征一致性（Pseudo-view Feature Consistency）： - 为每个高斯基元增加特征属性，通过特征蒸馏从冻结的特征提取模型学习多视角特征表示 - 特征蒸馏损失：$\mathcal{L}_f = 1 - \mathcal{C}osine(F, \mathcal{F}^*)$ - 在随机伪视角渲染特征图，通过双向warp计算特征差异，生成置信度掩码 - 采用 patch 级余弦相似度避免像素级噪声污染：

\[\mathcal{L}_{pseudo} = \sum_{i,j} \mathcal{M}_{feat}^{(i,j)} [1 - \mathcal{C}osine(\bar{\mathcal{F}}_{p2t}^{(i,j)}, \bar{\mathcal{F}}_r^{(i,j)})]\]

训练视角特征对齐（Train-view Feature Alignment）： - 利用训练视角的高置信度特征在像素级强化多视角一致性 - $\mathcal{L}_{train} = 1 - \mathcal{C}osine(\mathcal{F}_{s2t}, \mathcal{F}_s)$

这种"稀疏训练视角+伪未见视角"的联合约束有效缓解了扁平化高斯在稀疏视角下的过拟合问题。

3. 多视角特征表示：高效的特征蒸馏¶

使用 Vis-MVSNet 提取8维多视角特征。关键设计是将特征编码进高斯属性中，避免每次迭代重新提取伪视角特征的计算开销，使整个pipeline保持高效。

损失函数 / 训练策略¶

总训练损失包含渲染损失、立体损失和特征一致性损失。立体先验从第500次迭代开始引入，每300次迭代更新一次，实现渐进式的几何引导。

实验关键数据¶

主实验（DTU表面重建 — Chamfer Distance↓）¶

方法	little-overlap设置	large-overlap设置	类别
COLMAP	2.61	1.52	MVS
NeuSurf	1.35	0.99	神经隐式
FatesGS	1.37	0.92	GS表面重建
2DGS	2.52	1.69	GS表面重建
Sparse2DGS	—	1.13	GS表面重建
SparseSurf	1.05	0.89	GS表面重建

在DTU两种稀疏视角设定下均取得最优Chamfer Distance。

DTU新视角合成¶

方法	PSNR↑	SSIM↑	LPIPS↓	AVGE↓
CoR-GS	19.21	0.853	0.119	0.082
Binocular3DGS	20.71	0.862	0.111	—
NexusGS	20.21	0.869	0.102	0.071
SparseSurf	21.31	0.886	0.089	0.067

在新视角合成上也取得全面最优，证明表面重建和渲染质量可以协同提升。

消融实验¶

配置	Accuracy↓	Completion↓	Average CD↓	说明
Baseline（无模块）	1.318	2.302	1.810	基线
+ $L_{stereo}$	0.822	1.612	1.217	立体约束显著提升
+ $L_{stereo}$ + $L_{pseudo}$	0.610	1.327	0.969	伪视角进一步提升
+ 全部（$L_{train}$）	0.533	1.239	0.886	训练视角对齐锦上添花

关键发现¶

立体先验是最大的性能贡献者（CD从1.810降至1.217，降低33%）
伪视角特征一致性有效缓解过拟合（CD从1.217降至0.969）
训练视角特征对齐提供额外的鲁棒性增益（0.969→0.886）
Patch级特征一致性比像素级更鲁棒，避免噪声传播

亮点与洞察¶

表面重建与渲染的协同：打破了传统方法中"更好的表面贴合→更差的渲染"的 trade-off
立体先验的正循环设计：渲染质量提升→更好的立体先验→更好的几何→再提升渲染，实现自增强
伪视角的特征级监督：相比之前仅用RGB或单目深度监督伪视角，多视角特征一致性约束更有效
计算效率的考量：将特征编码进高斯属性，避免了每次为伪视角重新提取特征的开销
适度使用扁平化高斯：认识到扁平化带来的过拟合风险，并用一致性约束来缓解

局限与展望¶

依赖预训练立体匹配网络的质量，该网络在训练早期渲染质量差时可能提供噪声先验
伪视角的生成策略较简单（基于训练相机附近），可探索更智能的视角选择
计算开销：需要额外的立体匹配推理和特征提取
未针对大规模场景（如Mip-NeRF360室外场景）做特定优化
3个视角的稀疏设定固定，未探索不同稀疏程度的表现

评分¶

新颖性: ⭐⭐⭐⭐ — 立体自增强先验和特征级伪视角一致性设计新颖
实验充分度: ⭐⭐⭐⭐⭐ — 三个数据集，两种稀疏设定，详尽消融和对比
写作质量: ⭐⭐⭐⭐ — 动机分析透彻，方法推导清晰
实用价值: ⭐⭐⭐⭐ — 稀疏视角表面重建有广泛应用需求