Geometric Probing for Isotropic Optimization Manifold in Sparse-View 3D Gaussian Splatting¶

会议: ECCV 2026
论文: ECCV 官方页面
PDF: ECCV PDF
代码: https://github.com/zyl123456aB/StableGS
领域: 3D视觉
关键词: 3D高斯泼溅, 稀疏视角重建, 各向同性优化流形, 几何探测, 渲染稳定性

一句话总结¶

针对稀疏视角下3DGS损失曲面高度各向异性导致的浮斑与退化问题，StableGS在无外部先验监督下，通过基于Hessian曲率的属性空间探测与临界视点一致性约束，重塑各向同性优化流形，在LLFF、DTU和Mip-NeRF360上取得SOTA。

研究背景与动机¶

在自动驾驶、具身智能与虚拟现实等前沿领域中，从稀疏拍摄视角（通常仅有3至9张图像）重构高保真3D辐射场具有重要的实用价值。然而，标准的3D高斯泼溅（3DGS）在稀疏监督下极易严重退化，在新视角上频繁产生漂浮伪影（floaters）、高斯膨胀/退化以及视角依赖的透光率撕裂。以往的主流方案通常将该问题归咎于几何约束不足，进而引入单目深度估计算法作为外部几何先验、设计启发式几何正则项，或者通过随机丢弃高斯点构建自集成模型。但这类方法本质上停留在“头痛医头”的表层对策，既受制于单目先验本身的尺度与结构误差，也未从根本上解释稀疏监督为何会诱发可微光栅化管线的系统性崩溃。

从优化流形曲率与泛化性的视角审视该问题，本文揭示了3DGS在稀疏约束下的根本症结在于损失曲面呈现极端的“方向各向异性”（directional anisotropy）。由于缺少全方位视角的几何锚定，光栅化算子在不同参数维度的敏感性出现百倍以上的割裂：在视线深度方向上的微小位置漂移会导致高斯排序剧烈交换，极端长宽比高斯引发投影退化，而视度参数则直接过拟合训练视角的透光遮挡。这种在少数脆弱方向陡峭、在其余方向平坦的高各向异性损失地形，导致标准一阶优化器收敛到仅对训练视角有效的尖锐狭窄谷底，在新视角下发生灾难性退化。通用平坦极小值优化方法（如SAM）假设参数空间均匀且各向同性平滑，既无法建模高斯空间变换与深度排序的特有非线性，也无法感知跨视角投影的几何自洽性。

基于这一洞察，本文跳出引入外部几何先验的惯性思维，提出内在重塑优化流形几何特性的Stable 3DGS（StableGS）。核心 idea：通过基于Hessian迹敏感度分析的属性空间探测（ASP）针对性扰动并最小化脆弱几何维度的最坏渲染损失，配合在遮挡边界与视差极端处施加基准-扰动一致性的视点空间探测（VSP），主动驱动优化流形从方向各向异性收敛至各向同性稳定盆地。

方法详解¶

整体框架¶

StableGS在标准3DGS的光栅化流水线之上引入了几何流形诊断与正则化机制。系统在训练前1000次迭代执行常规重构预热；随后开启几何流形探测循环：首先利用无矩阵向量积的Hutchinson估计算子周期性评估各属性维度的局部平均曲率，自适应确定属性扰动步长；紧接着由属性空间探测（ASP）沿视线深度、四元数切空间、对数缩放与视度方向生成联合扰动高斯场，并计算扰动渲染图的重构对抗损失；最后由视点空间探测（VSP）依据深度法向与基线外推采样具有严苛几何考验的合成视角，约束基础高斯与扰动高斯在新视角上的渲染自洽性。整个过程无需显式求逆Hessian矩阵，在保持推理零额外开销的前提下，将损失曲面条件数降低74%。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入稀疏多视角图像与相机位姿"] --> B["标准3DGS高斯场初始化与热身训练"]
    B --> C["Hessian曲率估计算子<br/>Hutchinson法评估各属性平均曲率"]
    C --> D["属性空间探测 ASP<br/>深度偏置位置/旋转缩放病态/透明度扰动"]
    C --> E["视点空间探测 VSP<br/>遮挡边界法向/视差位移/跨视点插值采样"]
    D --> F["扰动高斯场光栅化与重构损失"]
    E --> F
    F --> G["联合优化目标<br/>L_recon + λ_ASP·L_ASP + λ_VSP·L_VSP"]
    G --> H["收敛至各向同性稳定流形的新视角渲染输出"]

关键设计¶

1. 几何流形各向异性诊断：量化光栅化算子的三维脆性轴

标准3DGS在稀疏视角下的根本病因在于损失矩阵Hessian具有极大的条件数 $\mathcal{A}(\boldsymbol{\Theta}) = \lambda_{\max}(\mathbf{H}) / \lambda_{\min}(\mathbf{H})$。作者深入剖析光栅化算子各分量的二阶曲率，精确定位了三大脆性轴：其一是深度交换（Depth Swap），沿相机光线方向 $v_{\text{cam}} = \mu_i - t_m$ 哪怕发生极细微的位置偏移，也会使高斯在有序序列 $\mathcal{N}(p)$ 中跳变前后层级，其沿光线方向的梯度模长通常比侧向梯度高出100倍以上；其二是旋转与缩放的投影病态（Projection Ill-conditioning），高斯协方差矩阵若呈扁长针状或极端倾斜，其投影至2D屏幕的协方差条件数 $\kappa(\boldsymbol{\Sigma}'_i) = \lambda_{\max}(\boldsymbol{\Sigma}'_i) / \lambda_{\min}(\boldsymbol{\Sigma}'_i)$ 极易骤升至100以上，导致高斯在微小转动下退化为细线或爆发性覆盖屏幕；其三是透明度撕裂（Opacity Instability），不充分的视锥约束促使高斯透明度 $\alpha_i$ 沦为视线遮挡的过拟合开关，在新视角产生幽灵半透伪影。

2. 属性空间探测（ASP）：Hessian自适应的脆性反向约束

为了压制上述三大脆性轴的高曲率谷峰，ASP设计了基于曲率逆向自适应的定向扰动机制。首先利用Hutchinson随机迹估计算子计算各属性分量的曲率尺度 $\tau_\phi = \sqrt{\text{tr}(\mathbf{H}_\phi)/d_\phi}$，并将基准扰动步长设为 $\rho_\phi = c_\phi / (\tau_\phi + \epsilon)$，使得曲率平坦处大步探索、极陡处微步微调避免发散。针对位置属性，将空间梯度显式正交解耦为沿相机光线的深度分量与侧向分量，采用深度加权偏置向量构造定向扰动： $$\boldsymbol{\epsilon}_{\mu, i} = \rho_\mu \cdot \frac{\gamma \cdot \mathbf{g}_{\text{depth}, i} + (1-\gamma) \cdot \mathbf{g}_{\text{lateral}, i}}{\|\gamma \cdot \mathbf{g}_{\text{depth}, i} + (1-\gamma) \cdot \mathbf{g}_{\text{lateral}, i}\|}$$ 其中取 $\gamma = 0.7$ 强力冲击易产生排序混乱的深度排序。针对旋转和缩放，在 $\mathfrak{so}(3)$ 李代数正切空间采用受2D投影条件数 $\kappa(\boldsymbol{\Sigma}'_i)$ 放大的自适应扰动，并在对数尺度空间扰动尺度以保证正定性；视度则在logit空间按梯度符号直接微调。最终所有属性的扰动被整合成单一扰动高斯场 $\tilde{\boldsymbol{\Theta}}$，仅消耗一次额外光栅化即可计算最坏情况对抗损失 $\mathcal{L}_{\text{ASP}}(\boldsymbol{\Theta})$，驱使参数离开尖锐极小值。

3. 视点空间探测（VSP）：复合几何严苛视角的一致性对齐

仅依靠训练视角的扰动优化仍无法阻止模型坍缩至跨视角泛化脆弱的窄槽。VSP针对性合成几何考验最严苛的全新视角，并强制原始模型与扰动模型在这些未知视角上的渲染输出保持一致。具体而言，针对每个训练相机 $P_m$，VSP合成一个融合了三种几何变形的复合探针相机 $P_k = \{R_k, t_k\}$：利用渲染深度图边缘法向生成垂直于遮挡轮廓的旋转 $\exp(\theta \cdot \mathbf{n}_{\text{edge}, m})$ 以攻击深度不连续面；利用相机位姿测地线球面线性插值（Slerp）与外推生成处于训练凸包边缘或内部的过渡位姿；施加垂直于视线的侧向平移位移 $t_{\text{parallax}} = \delta \cdot t_{\perp, m}$ 激发近景视差跳变。在此复合未知视点下，通过最小化未扰动高斯 $\hat{\mathbf{I}}_k(\boldsymbol{\Theta})$ 与扰动高斯 $\hat{\mathbf{I}}_k(\tilde{\boldsymbol{\Theta}})$ 之间的渲染差异 $\mathcal{L}_{\text{VSP}}(\boldsymbol{\Theta})$，切断了高斯点通过单视角特化记忆来拟合场景的可能，强迫三维结构具备真正的空间一致性。

损失函数 / 训练策略¶

StableGS的全局训练目标由三部分构成： $$\mathcal{L}_{\text{total}}(\boldsymbol{\Theta}) = \mathcal{L}_{\text{recon}}(\boldsymbol{\Theta}) + \lambda_{\text{ASP}} \mathcal{L}_{\text{ASP}}(\boldsymbol{\Theta}) + \lambda_{\text{VSP}} \mathcal{L}_{\text{VSP}}(\boldsymbol{\Theta})$$ 其中，标准重构损失 $\mathcal{L}_{\text{recon}}$ 包含对训练图像的 $\ell_1$ 损失与 D-SSIM 损失（权重为 0.2）。$\mathcal{L}_{\text{ASP}}$ 衡量扰动参数在训练视角上的图像重构损失，$\mathcal{L}_{\text{VSP}}$ 约束基础参数与扰动参数在 $K$ 个复合探针视角下的 $\ell_1$ 与 SSIM 一致性。训练超参数经LLFF验证集固定为 $\lambda_{\text{ASP}} = 1.0$、$\lambda_{\text{VSP}} = 0.5$ 以及属性探测全局缩放标量 $c_\phi = 0.01$。Hutchinson迹估计算子采用 $B = 10$ 个标准正态探针，每100次迭代更新一次曲率标尺并伴随高斯致密化/修剪，既保证了二阶信息的准确捕获，又避免了反复反向传播带来的计算膨胀。

实验关键数据¶

主实验¶

在代表性前向多视角基准LLFF（3/6/9输入视角）、无边界大范围360°场景基准Mip-NeRF360（12/24输入视角）以及物体级遮挡基准DTU（3输入视角）上与代表性NeRF和3DGS前沿方法进行定量对比：

数据集 / 场景配置	评测指标	3DGS (原始基线)	DropGaussian (原前沿)	StableGS (本文)	相对前沿提升
LLFF (3-view)	PSNR ↑ / SSIM ↑ / LPIPS ↓	16.46 / 0.440 / 0.401	20.76 / 0.713 / 0.200	21.19 / 0.726 / 0.208	+0.43 dB / +0.013 / -
LLFF (6-view)	PSNR ↑ / SSIM ↑ / LPIPS ↓	21.09 / 0.699 / 0.229	24.74 / 0.837 / 0.117	25.05 / 0.841 / 0.127	+0.31 dB / +0.004 / -
LLFF (9-view)	PSNR ↑ / SSIM ↑ / LPIPS ↓	23.21 / 0.785 / 0.176	26.21 / 0.874 / 0.088	26.47 / 0.885 / 0.097	+0.26 dB / +0.011 / -
DTU (3-view)	PSNR ↑ / SSIM ↑ / LPIPS ↓	14.74 / 0.672 / 0.249	20.22 / 0.830 / 0.150*	20.86 / 0.848 / 0.130	+0.64 dB / +0.018 / -0.020
Mip-NeRF360 (12-view)	PSNR ↑ / SSIM ↑ / LPIPS ↓	18.52 / 0.523 / 0.415	19.74 / 0.577 / 0.364	19.98 / 0.580 / 0.368	+0.24 dB / +0.003 / -
Mip-NeRF360 (24-view)	PSNR ↑ / SSIM ↑ / LPIPS ↓	22.80 / 0.708 / 0.276	24.13 / 0.762 / 0.225	24.38 / 0.756 / 0.233	+0.25 dB / -0.006 / -

*注：DTU表中对比项为DropoutGS，StableGS在其基础上进一步领先0.64 dB PSNR并大幅削减感知误差LPIPS。

消融实验¶

消融实验系统评测了三大脆弱性扰动轴的独立贡献、VSP探针模式分解以及跨数据集超参数敏感度：

实验配置分类	具体模块 / 探针配置	LLFF 3-view PSNR (dB)	DTU 3-view PSNR (dB)	Mip-NeRF360 12-view PSNR (dB)	流形各向异性指数 $\mathcal{A}$ 降低
基线对照	原始 3DGS 基准	16.46	14.74	18.52	基准 (0%)
属性轴消融 (ASP单轴)	仅位置探测 (+ Position only)	18.92	18.35	19.31	-
属性轴消融 (ASP单轴)	仅视度探测 (+ Opacity only)	17.85	16.98	19.02	-
属性轴消融 (ASP单轴)	仅旋转/缩放探测 (+ Rot/Scale only)	17.52	16.42	18.89	-
视角探针分解 (VSP模式)	仅遮挡轮廓旋转 (Occlusion only)	19.87	-	-	-
视角探针分解 (VSP模式)	仅跨视点插值 (Interp only)	19.62	-	-	-
视角探针分解 (VSP模式)	仅视差侧向平移 (Parallax only)	19.43	-	-	-
完整模型	StableGS (完整 ASP + VSP)	21.19	20.86	19.98	74% 削减

关键发现¶

深度排序不稳定是首要退化根源：单独引入位置属性探测（Position only）便为LLFF带来 +2.46 dB 的飞跃，独占ASP全模块收益的84%，证实了光栅化阶段沿视线方向的深度层级跳变是稀疏视角3DGS崩溃的首要杀手。
几何脆性轴具有互补性与重叠性：三大属性扰动轴单独带来的收益之和为 +4.91 dB，而联合ASP增益为 +2.92 dB，说明各属性扰动不仅在各自维度平抑极端梯度，也协同缓解了由几何形变诱发的复合光栅化失真。
训练收敛效率反超基线：在单张RTX 5090显卡上，StableGS在消耗与标准3DGS相同的训练时间预算（9.7分钟）时便已达到21.16 dB，提前超越所有对比方法充分收敛后的终局成绩；最终以1.3倍训练时间（13.1分钟）换取 +4.73 dB 的巨大提升，且推理阶段完全保持原始3DGS的实时光栅化速度。

亮点与洞察¶

跳脱外部先验依赖的内在流形正则化：不同于以往方法强制依赖存在系统偏差的单目深度网络或繁复的多阶段训练，StableGS首次从优化流形几何曲率与病态条件数切入，揭示了稀疏3DGS退化的数学本质，证明仅靠内在几何流形重塑即可击败深度引导模型。
低成本全局耦合扰动：ASP巧妙地将所有高斯的5类物理属性扰动合并为单一全局扰动配置，每次迭代仅增加单次前向光栅化调用，结合Hutchinson免矩阵二阶信息估计，兼顾了理论严密性与落地实用性。
几何关键扰动可外推至通用可微渲染：针对视线光束的正交梯度分解（深度分量 vs 侧向分量）和李群 $\mathfrak{so}(3)$ 切空间自适应扰动思路，具备极强的模块通用性，可直接移植到2D-GS、Mip-Splatting以及通用可微表面网格的稀疏重建任务中。

局限与展望¶

极端视角外推的几何先验缺失：在完全超出拍摄相机凸包的大范围侧后方外推视点下，由于没有任何视觉线索，模型仍受限于局部连续性假设，无法无中生有地补充完全未见区域的高频纹理。
Hessian迹估计的局域噪声：Hutchinson估计算子在大规模密集高斯场景下若采样点偏少，可能在局部产生微弱的曲率波动，未来可探索利用时序动量平滑曲率估计标尺。
与表面紧致表征的融合前景：将各向同性流形约束进一步拓展至高斯法向一致性与紧致网格提取（如2D Gaussian / SuGaR），有望打通稀疏视角辐射场向工业级高保真CAD/网格重建的端到端管线。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从优化流形各向异性与Hessian二阶曲率视角深度剖析稀疏3DGS退化机制，提出针对性几何探测范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖LLFF、DTU、Mip-NeRF360全主流稀疏设置，具备完备的单轴消融、流形曲率量化、各向异性降低率及显存时延分析。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从几何直觉到数学公式衔接紧密，图表对比极具说服力。
价值: ⭐⭐⭐⭐⭐ 为无外部先验的少样本3D几何与辐射场重建开拓了全新的流形优化路径，对可微渲染优化理论贡献显著。