ReInGS: Re-Initializing 3D Gaussians against Sparsity Discrepancy in Few-Shot Novel View Synthesis¶

会议: ECCV 2026
论文: ECCV 原文
领域: 3D 视觉
关键词: 3D高斯泼溅, 少样本新视角合成, 稀疏差异, 高斯重初始化, 混合点采样

一句话总结¶

针对少样本 3DGS 依赖全数据集稠密 SfM 点云导致的数据泄露与“稀疏差异”问题，ReInGS 提出由粗到细的两阶段高斯重初始化架构，通过空间扩展混合点采样捕捉全局宏观几何，并结合视角内与跨视角细节感知采样重建高频局部表面，在无额外视角先验下取得少样本新视角合成 SOTA。

研究背景与动机¶

基于 3D 高斯泼溅（3DGS）的神经渲染方法凭借可微分栅格化与显式椭球基函数表示，在密集视角场景下实现了高保真与实时渲染。然而在极端少样本（如仅有 2 至 4 张输入视角）的新视角合成（NVS）任务中，缺乏足够的视差与多视角交汇，导致传统运动恢复结构（SfM）无法重建可靠的初始立体点云。FSGS、CoR-GS 等少样本 3DGS 代表性基准为了维持渲染质量，在初始化阶段引入了数据集所有可用扩展视角的稠密 SfM 点云，甚至使用全量视角的立体匹配深度。

这种做法构成了严峻的稀疏差异（Sparsity Discrepancy）：名义上评测的是少样本视角渲染，实际初始化却利用了测试/未见视角所构成的密集点云，存在严重的隐式数据泄露。一旦将这些方法剥离外部视角、仅使用少样本输入或随机点云初始化，其合成质量便发生断崖式下跌（例如在 LLFF 3-view 下 PSNR 直降 2 到 4 dB）。深入分析发现，扩展点云的核心增益不仅在于几何先验，还在于极高的空间点密度；而在少样本下，稀疏点云迫使自适应密度控制（ADC）沿长距离梯度路径输运高斯，极易陷入局部最优，诱发尺度畸变、过度膨胀的悬浮物以及大面积空洞破损。

既然少样本重建不能依赖未见视角的立体匹配，那么能否仅凭借少样本自身信息与空间几何规律，自给自足地生成兼顾宏观拓扑与局部细节的高密度初始化？核心 idea：构建由粗到细的两阶段高斯重初始化框架，先通过空间扩展混合采样建立覆盖全局空间的稠密先验并预优化宏观拓扑，再通过结合深度残差与透光度的视角内反投影及抗过拟合跨视角重要性采样提取微观几何细节，彻底摆脱外部扩展点云依赖。

方法详解¶

整体框架¶

ReInGS 整体流水线分为粗粒度初始化（Coarse-level Initialization）、细粒度重初始化（Fine-level Re-Initialization）和最终联合优化三大阶段。在粗粒度阶段，算法首先对少样本稀疏 SfM 重建出的有界场景空间进行尺度外扩，采用均匀规则网格与随机采样相结合的混合策略生成全空间覆盖的高密度初始点，并利用光度损失与硬深度正则化完成第一阶段高斯集 \(\Theta_1\) 的几何拓扑预吸附。随后，渲染出的视图暴露了宏观平滑但细节模糊的问题；细粒度重初始化随之启动，通过计算单视角渲染图与单目估计深度的残差及累积透光度，将重要未充分重建区域反投影回 3D 空间作为候选高斯集 \(\Theta_2\)，并紧接着通过跨视角重叠覆盖概率加权筛选出最终的高保真高斯集 \(\Theta\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["少样本输入图像与已知位姿"] --> B["空间扩展混合点采样<br/>包围盒扩展 + 均匀规则与随机网格混合"]
    B --> C["粗粒度预优化<br/>光度损失 + 单目硬深度正则收敛宏观拓扑"]
    C --> D["视角内细节感知采样<br/>深度残差与累积透光度联合重要性反投影"]
    D --> E["细粒度预优化<br/>单目软深度正则抑制离面漂移"]
    E --> F["跨视角重要性采样<br/>多视角光线相交覆盖度概率化重筛选"]
    F --> G["最终全局优化与新视角渲染"]

关键设计¶

1. 空间扩展混合点采样：缩短长距离输运与破除边界欠采样

在极度稀疏的输入视角下，由 COLMAP 等 SfM 算法估计出的场景点云不仅点数稀少，且空间包围盒 \(V\) 通常严重收缩，无法完整覆盖实际物体与背景外延。根据高斯混合模型（GMM）极大似然估计的特性，单个高斯中心 \(\mu_i\) 的更新梯度主要受 \(3\sigma_i\) 范围内的局部邻域支配；当初始点与真实表面相距遥远时，自适应密度控制（ADC）的长距离运输容易产生梯度弥散并停滞在局部极值，催生试图强行填补虚空的大体积模糊高斯。

为了缩短高斯优化移动路径并弥补视场边缘裁切，本设计首先引入比例系数 \(\gamma = 1.4\) 对包围盒各轴做空间扩展，得到扩增体积 \(V'\)。随后在 \(V'\) 内执行均匀格点与均匀随机采样的混合策略（EHPS）。均匀点采样以规则空间步长在三维空间铺设骨架，有效抑制了多视差投影重叠区域的歧义性；随机采样则打破规则网格引起的混叠假影，充实几何连续度。设空间各维度尺度为 \([\Delta'_x, \Delta'_y, \Delta'_z]\)，分别配置采样系数 \(\beta_1 = 200, \beta_2 = 50\) 注入稠密初始点云，赋予初始高斯集 \(\Theta_1\) 全局宏观覆盖能力。

2. 视角内细节感知采样：基于深度与透光度的几何残差补全

粗粒度预优化后的高斯集 \(\Theta_1\) 能够还原宏观结构，但由于初始化时缺乏视角感知，高斯权重多被大尺度基函数占据，导致渲染图出现细节失真与悬浮伪影。为了向未充分收敛的几何高频区域注入针对性几何点，本设计采用基于图像顺序渲染（Image-Order Rendering）思想的视角内采样（IVPS）。定义每个训练视角图像上像素 \(p\) 的重要性综合得分：

\[\Omega_P(p) = \delta \cdot \Omega_D(p) + (1-\delta) \cdot \Omega_T(p)\]

其中权重超参设为 \(\delta = 0.03\)。深度子项 \(\Omega_D(p)\) 衡量渲染深度与预训练单目深度模型（Depth Anything）所得参考深度 \(\hat{D}_g(p)\) 之间的归一化残差吻合度；累积透光度子项 \(\Omega_T(p) = \sum_{i \in \mathcal{N}} \alpha_i T_i\) 捕捉沿相机光线的能量透射分布。透过率高的区域表明对应视线方向上尚未构建出具有足够不透明度的实体表面，亟需结构补充。对于渲染深度，算法强制设定穿透高斯不透明度 \(\alpha'_i = 0.99\) 计算硬几何交点 \(D(p)\)：

\[D(p) = \sum_{i \in \mathcal{N}} \alpha'_i \prod_{j=1}^{i-1}(1-\alpha'_j) (W \|\mu_i - o\|_2 + t)\]

根据重要性概率分布随机抽取约 10% 的高得分像素点，通过空间相机外参反投影为空间 3D 坐标，并直接以像素色彩赋予初值，构建出具有局部几何感知力的高精高斯集 \(\Theta_2\)。

3. 跨视角重要性采样：抗过拟合的多视角投影重加权

单视角反投影产生的高斯点若直接参与训练，极易对单个已知视角的局部纹理产生过拟合，甚至在未见视角方向产生错位的空洞或刺状伪影。借鉴物体顺序渲染（Object-Order Rendering）思想，跨视角采样（CVPS）机制跨所有训练视角考量高斯球的投射贡献。针对 \(\Theta_2\) 中的每一个高斯 \(\theta_i\)，统筹其在全体训练视点图像集 \(\mathcal{I}\) 中被各光线投射覆盖的加权面积：

\[\Omega_G(\theta_i) = \sum_{I \in \mathcal{I}} \sum_{p \in I} \Pi(\theta_i, p) \alpha_i T_i\]

若高斯 \(\theta_i\) 在视点光线投影下覆盖像素 \(p\)，则指示函数 \(\Pi(\theta_i, p) = 1\)，否则为 0。为了避免尺寸偏大的高斯凭借天然的面积优势垄断保留名额、进而抹杀承载微观边缘细节的小尺度高斯，本设计放弃硬性的 Top-K 截断，而是将绝对得分归一化为多项式采样概率分布：

\[\mathcal{P}(\theta_i) = \frac{\Omega_G(\theta_i)}{\sum_{j \in \mathcal{N}} \Omega_G(\theta_j)}\]

依此概率跨全体视角随机重采样保留约 40% 的核心高斯基元作为最终集合 \(\Theta\)。该机制既淘汰了仅在单视角瞬时投射的冗余漂浮物，又维系了稀疏视线交叠处的多视角几何一致性。

损失函数 / 训练策略¶

整个管线涵盖 3 轮递进优化：粗粒度预优化、细粒度预优化与最终全局优化。总训练步数为 6000 步，采用 Adam 优化器。损失函数在不同阶段自适应切换： - 渲染外观损失 \(\mathcal{L}_A\) 在各阶段均被激活，由 \(L_1\) 颜色重建损失与 D-SSIM 结构相似度损失复合而成。 - 几何正则项呈现分级约束：在粗粒度预优化阶段采用硬深度正则化损失 \(\mathcal{L}_C\)，强力拉平三维高斯与粗糙表面间的离面距离，快速消解离散漂浮物；而在细粒度预优化与最终优化阶段，切换为软深度正则化损失 \(\mathcal{L}_F(p)\)，保留真实场景表面的细微深度起伏，防止过度正则化抹平物体雕刻细节。

实验关键数据¶

主实验¶

在代表性前向少视角数据集 LLFF 上，分别针对严苛的 2-view、3-view 和 4-view 设定与现有 SOTA 方法展开系统对比。标有“稀疏差异(!)”的方法利用了整个场景全量未见视角的密集 SfM 点云初始化；标有“无稀疏差异(%)”的方法则遵循绝对少样本规范。

方法	稀疏差异	PSNR (2/3/4-view) ↑	SSIM (2/3/4-view) ↑	LPIPS (2/3/4-view) ↓	AVGE (2/3/4-view) ↓
RegNeRF	-	16.55 / 19.41 / 21.49	0.468 / 0.627 / 0.713	0.417 / 0.306 / 0.257	0.207 / 0.149 / 0.105
FreeNeRF	-	17.07 / 19.97 / 21.80	0.513 / 0.652 / 0.713	0.376 / 0.280 / 0.259	0.187 / 0.134 / 0.105
SparseNeRF	-	17.74 / 20.33 / 21.90	0.513 / 0.657 / 0.720	0.386 / 0.302 / 0.260	0.171 / 0.127 / 0.101
3DGS	!	15.45 / 17.25 / 18.81	0.522 / 0.574 / 0.669	0.383 / 0.300 / 0.257	0.196 / 0.155 / 0.124
FSGS	!	18.45 / 20.31 / 21.11	0.617 / 0.652 / 0.703	0.325 / 0.288 / 0.220	0.137 / 0.104 / 0.098
DNGaussian	!	17.72 / 19.12 / 20.76	0.537 / 0.591 / 0.717	0.357 / 0.294 / 0.236	0.160 / 0.132 / 0.102
CoR-GS	!	18.73 / 20.45 / 21.70	0.636 / 0.712 / 0.769	0.247 / 0.196 / 0.169	0.125 / 0.101 / 0.082
3DGS (随机点)	%	12.83 / 14.99 / 17.31	0.311 / 0.483 / 0.584	0.470 / 0.362 / 0.297	0.273 / 0.202 / 0.153
FSGS (随机点)	%	15.58 / 18.28 / 20.30	0.461 / 0.572 / 0.673	0.463 / 0.312 / 0.273	0.217 / 0.147 / 0.110
DNGaussian (随机点)	%	16.47 / 18.87 / 20.86	0.450 / 0.583 / 0.690	0.408 / 0.313 / 0.266	0.192 / 0.141 / 0.107
CoR-GS (随机点)	%	14.96 / 16.32 / 18.03	0.363 / 0.452 / 0.561	0.429 / 0.354 / 0.295	0.225 / 0.188 / 0.151
FewViewGS	%	- / 18.96 / -	- / 0.585 / -	- / 0.307 / -	- / 0.135 / -
ReInGS (本文)	%	19.39 / 20.88 / 22.24	0.599 / 0.687 / 0.748	0.296 / 0.256 / 0.239	0.132 / 0.108 / 0.092

在物体级多视角数据集 DTU（3-view 设定）上的实验同样证明了其优越性： - 3DGS 基线仅获 12.77 dB PSNR；FSGS 在无泄露设定下跌至 12.93 dB。 - DNGaussian 与 FewViewGS 分别取得 18.85 dB 与 19.13 dB。 - ReInGS 跃升至 21.30 dB PSNR、0.832 SSIM、0.170 LPIPS、0.081 AVGE，显著超越同等条件下的所有竞争方法（PSNR 净提升达 2.17 dB 以上）。

消融实验¶

在 LLFF 数据集 3-view 设置下，以无泄露的 DNGaussian 复现模型为基线，逐模块验证 EHPS、IVPS 与 CVPS 的增益：

实验配置	EHPS	IVPS	CVPS	PSNR ↑	LPIPS ↓	SSIM ↑	核心观察
Baseline (DNGaussian)	-	-	-	18.87	0.313	0.583	基准稀疏随机点初始化
+ EHPS	✓	-	-	19.38	0.348	0.589	建立全局宏观空间支撑 (+0.51 dB)
+ EHPS + IVPS	✓	✓	-	19.79	0.260	0.645	引入单视角几何细节，感知感知显著优化 (LPIPS 骤降至 0.260)
+ EHPS + CVPS	✓	-	✓	20.05	0.314	0.611	跨视角一致性提升图像保真度 (+1.18 dB)
VDPS 独立组合	-	✓	✓	19.66	0.285	0.638	缺少粗粒度全局骨架，高频采样收益受限
完整模型 (ReInGS)	✓	✓	✓	20.88	0.256	0.687	三策略协同，取得全指标最佳 (+2.01 dB / +0.104 SSIM)

关键发现¶

几何细节与多视角一致性的明确分工：消融数据显示，IVPS 的加入带来 LPIPS（0.348 \(\to\) 0.260）与 SSIM 的飞跃，印证了基于深度残差的局部采样能精准定位高频几何微结构；而 CVPS 的加入则主要驱动 PSNR（19.38 \(\to\) 20.05）的大幅跃升，表明跨视角光线覆盖筛选有效压制了单视角纹理过拟合。
粗细粒度阶段的高度依赖性：若抛开粗阶段的 EHPS 直接进行细粒度重采样（Row 5），PSNR 仅为 19.66 dB；一旦结合 EHPS 提供的全局稳定骨架，模型进一步迸发出 1.22 dB 的增益（达到 20.88 dB），证明由粗到细的两阶段设计具有不可替代的结构互补性。
无泄露打破性能天花板：在 2-view 极少样本下，以往方法如 FSGS (15.58 dB) 和 CoR-GS (14.96 dB) 几乎无法合成有效视角；ReInGS 凭借空间扩展混合初始化达到 19.39 dB，甚至反超了带有未见视角泄露的 CoR-GS (18.73 dB)，彻底终结了“少样本 3DGS 必须偷看未见视角点云”的路径依赖。

亮点与洞察¶

一针见血揭露领域评测盲区：首次系统性指出了少样本 3DGS 领域普遍存在的“稀疏差异”与扩展视角点云数据泄露问题，为学术界提供了真正公平严谨的 Benchmark 准则。
软硬兼施的分阶段几何引导：在粗粒度使用硬深度正则快速压制悬浮物，在细粒度切换为软深度正则保护高频纹理与局部凹凸，兼顾了收敛稳定性与表现力。
图像顺序与物体顺序采样的有机融合：创新性地将传统图形学中 Image-Order（反投影找残差补点）与 Object-Order（正向投影统计光线交会）渲染理念转化为高斯重初始化准则，为离散辐射场几何演化提供了清晰的理论映射。

局限与展望¶

未覆盖区域的破洞与裂纹（Hollows & Cracks）：当测试视点距离训练视点跨度极大时，由于高斯基元分布无法完全铺满所有新视线像素，相邻高斯球之间的缝隙会在大旋转下暴露为空洞与撕裂缝。
计算时间与显存开销：两阶段混合密集采样及两轮预优化显著增加了初始化周期的开销。尽管 6000 步的总体训练代价依然可控，但未来需要探索更轻量的动态剪枝与自适应格点划分机制以加速渲染。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭露少样本 3DGS 中的稀疏差异泄露问题，并提出图像/物体顺序互补的由粗到细重初始化机制。
实验充分度: ⭐⭐⭐⭐⭐ 在 LLFF 与 DTU 两个基准上严谨拆解了“有泄露”与“无泄露”两种设置，消融与对比充分扎实。
写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣，问题切入直击痛点，数学公式与图形学概念表达清晰严谨。
价值: ⭐⭐⭐⭐⭐ 拔除了领域内的非公平评测漏洞，确立了无外援少样本 3D 高斯重建的高标准 baseline。