Denoising-GS: Gaussian Splatting with Spatial-aware Denoising¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/
领域: 3D 视觉
关键词: 3D高斯泼溅, 空间感知去噪, 动量随机探索, Fisher信息不确定性, 新视点合成

一句话总结¶

将 3D 高斯泼溅的优化重新建模为空间感知高斯基元去噪过程，结合动量随机探索、均值与尺度协调的空间梯度去噪、Fisher 信息不确定性剪枝以及局部稀疏补偿，在显著压缩基元数量的同时实现了 SOTA 的新视点合成质量。

研究背景与动机¶

基于 3D 高斯泼溅（3DGS）的显式辐射场渲染凭借其精细的渲染表现与极高的实时渲染速率，已经成为新视点合成（NVS）的核心基石，并广泛辐射至表面重建、SLAM、3D 生成以及动态人体建模等下游领域。然而，3DGS 高度依赖运动恢复结构（SfM）生成的稀疏点云进行初始化，这种点云通常带有大量残缺与噪点。在后续的 SGD 优化过程中，模型极易陷入局部极值，催生出大量漂浮噪点与冗余高斯，破坏了场景重建的几何保真度。

为了克服局部最优，近期工作如 3DGS-MCMC 尝试引入随机梯度朗之万动力学（SGLD）噪声扰动和不透明度引导重定位。然而这类方法存在两处显著瓶颈：其一，随机扰动完全建立在瞬时梯度与纯高斯随机游走上，在几何高曲率区域或鞍点处震荡剧烈、收敛缓慢；其二，SGLD 扰动只作用于高斯的中心均值位置（Mean），完全忽略了决定基元有效空间支撑域的协方差结构（Covariance），导致形状尺度的更新与位置位移相互脱节，甚至出现均值平移被沿同轴的过度尺度拉伸所抵消的问题。

面对这一矛盾，本文跳出单纯调整位置的思路，将 3DGS 的优化过程类比为三维点云去噪，指出高斯基元不能仅做孤立的位置位移，必须将其位置（均值）与空间形态（协方差）作为一个整体去噪。核心 idea：将 3DGS 参数更新重构为空间感知的高斯基元去噪过程，通过引入带历史动量记忆的随机探索维持轨迹连贯，设计投影至高斯局部坐标系的空间梯度去噪项协调均值与尺度变化，并协同 Fisher 信息不确定性剪枝与空间连贯性细化实现紧凑高保真的场景表示。

方法详解¶

整体框架¶

Denoising-GS 将初始化的含噪高斯基元集作为输入，构建了一个自粗到精的连贯去噪与结构重整管线。整个流程首先通过引入历史梯度指数移动平均的动量随机探索，引导高斯均值在参数空间内进行具有方向惯性的全局极值搜索；随后，在空间梯度去噪模块中将世界坐标系下的均值梯度变换至各个高斯椭球的局部主轴坐标系，消除尺度膨胀与均值位移同轴抵消引发的无效噪点扩展；最后，框架利用基于 Fisher 信息矩阵的奇异值估计基元不确定性以剔除低置信度冗余噪点，并依据 $k$ 近邻欧氏距离在稀疏未被充分表征的区域进行选择性分裂细化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["初始含噪高斯基元<br/>SfM 稀疏点云初始化"] --> B["动量偏置随机探索<br/>历史梯度 EMA 驱动定向探索"]
    B --> C["空间梯度去噪<br/>局部坐标系主轴对齐与自适应位移"]
    C --> D["不确定性去噪<br/>基于 Fisher 信息近似奇异值剪枝"]
    D --> E["空间连贯性细化<br/>k 近邻距离驱动稀疏区域分裂"]
    E --> F["输出紧凑高质量 3DGS<br/>高保真新视角合成"]

关键设计¶

1. 动量偏置随机探索：赋予随机游走以历史优化流记忆 标准 3DGS-MCMC 所采用的 SGLD 方案在每一步仅依赖瞬时损失梯度叠加无记忆的高斯随机扰动，极易在复杂的能量曲面上出现震荡回环，难以穿越鞍点与狭窄几何谷底。为保证去噪过程平滑且具方向性，本文引入带有指数衰减动量的随机探索机制。具体维护一个历史梯度滑动均值向量 $\mathbf{m}_t$： $$\mathbf{m}_t = \beta_1 \mathbf{m}_{t-1} + (1 - \beta_1) \nabla_{\mathcal{M}_{t-1}}$$ 在参数更新阶段，均值 $\mathcal{M}_t$ 不仅遵循当前损失梯度的牵引与尺度敏感的高斯噪声抖动，更叠加受偏置因子 $\alpha$ 控制的动量漂移项： $$\mathcal{M}_{t+1} = \mathcal{M}_t - \lambda_t \nabla_{\mathcal{M}_t} \mathcal{L}_{\mathrm{total}} + \sqrt{2 \lambda_t \tau} \boldsymbol{\xi}_t - \alpha \lambda_t \mathbf{m}_t$$ 其中 $\boldsymbol{\xi}_t \sim \mathcal{N}(0, \mathbf{I})$ 为注入的高斯噪声，$\tau$ 为温度系数。该设计既保留了朗之万动力学跳出局部陷阱的渐近收敛性，又通过动量惯性约束了高斯基元的运动轨迹，有效抑制了无序的高频位置震颤。

2. 空间梯度去噪：局部坐标系下均值与尺度的协同更新 在传统 3DGS 优化中，高斯均值 $\mathcal{M}$ 与尺度矩阵 $\mathbf{S} = \mathrm{diag}(s_x, s_y, s_z)$ 的梯度相互独立计算。当高斯沿着某一主轴发生平移时，若该轴向的尺度同时膨胀，基元外延会扩大覆盖至非真实的含噪空白区域，造成无效甚至反向的更新。针对这一问题，本模块先将世界坐标系下的均值梯度通过旋转矩阵 $\mathbf{R}$ 变换至高斯椭球自身的局部坐标系： $$\nabla \mathcal{M}^G = \mathbf{R}^\top \nabla \mathcal{M}$$ 接着提取局部均值梯度 $\nabla \mathcal{M}^G$ 与尺度梯度 $\nabla \mathbf{S}$ 响应最大的主轴 $j \in \{x, y, z\}$。若两者的主方向发生对齐，则说明存在均值平移与尺度扩展竞争的问题。模块构造一个沿该主轴的自适应去噪位移项 $\Delta \mu$： $$\Delta \mu = |\nabla \mathbf{S}_j| \cdot \mathrm{sign}(\nabla \mathcal{M}_j^G)$$ 最终更新将该项重新旋转投射回全局坐标，修正均值更新公式： $$\mathcal{M}_{t+1} = \mathcal{M}_t - \lambda_t \nabla_{\mathcal{M}_t} \mathcal{L}_{\mathrm{total}} + \Delta D + \beta_2 \mathbf{R} \Delta \mu$$ 式中 $\Delta D = \sqrt{2 \lambda_t \tau} \boldsymbol{\xi}_t - \alpha \lambda_t \mathbf{m}_t$ 承接上一模块的探索更新，$\beta_2$ 为去噪强度系数。此修正项促使高斯基元整体朝向真实表面紧缩移动，避免了膨胀扩散导致的浮空几何噪声。

3. 不确定性去噪与空间连贯性细化：紧致性约束与几何补全 即便进行了参数位置与尺度的协同优化，场景中依然留存大量对视点渲染贡献微弱或置信度极低的冗余基元。直接按固定不透明度剪枝容易误伤弱纹理区域的支撑面。本文引入基于 Fisher 信息矩阵（FIM）的不确定性量化策略。对于第 $i$ 个高斯的参数集 $\theta_i = \{\mathcal{M}_i, \mathbf{S}_i\}$，利用各视点渲染 $L_2$ 损失梯度的外积近似其 Fisher 信息矩阵： $$\mathbf{F}_i = \sum_{v \in \mathcal{V}} \nabla_{\theta_i} \mathcal{L}_v (\nabla_{\theta_i} \mathcal{L}_v)^\top$$ 对 $\mathbf{F}_i$ 进行奇异值分解（SVD），将其 6 个奇异值之和定义为基元的总信息量指标： $$u_i = \sum_{j=1}^{6} \sigma_j(\mathbf{F}_i)$$ 信息量 $u_i$ 越小的高斯代表其参数对渲染损失的敏感度越低、置信度极差。算法按设定比例直接剪枝不确定性最高（$u_i$ 最小）的基元。

在此基础上，为弥补修剪以及 SfM 本身在稀疏区域的覆盖缺口，引入空间连贯性细化策略。计算每个基元中心到其 $k$ 个最近邻基元的平均欧氏距离： $$d_i = \frac{1}{k} \sum_{j=1}^{k} \| \mathbf{x}_i - \mathbf{x}_{i, j} \|_2$$ 对处于最稀疏分位（$d_i$ 极大）的高斯基元，沿用透明度引导的几何裂变规则执行分裂与克隆，从而在不增加冗余总体量的前提下精细修补弱几何边缘与弱纹理平面。

损失函数 / 训练策略¶

框架整体沿用标准 3DGS 的复合渲染损失函数，包括 $L_1$ 光度损失以及 D-SSIM 结构相似度正则项：$\mathcal{L}_{\mathrm{total}} = (1 - \lambda_{\mathrm{sim}}) \mathcal{L}_1 + \lambda_{\mathrm{sim}} \mathcal{L}_{\mathrm{D-SSIM}}$。在超参数配置上，动量系数 $\alpha = 0.05$，平滑系数 $\beta_1 = 0.9$，空间去噪强度 $\beta_2 = 0.5$；不确定性剪枝移除排名前 10% 的高不确定性基元；空间连贯性细化在训练过程中共触发 5 次，每次针对空间最稀疏的前 0.05% 基元执行分裂补偿（$k=3$）。Mip-NeRF 360 数据集迭代训练 35K 次，Tanks and Temples 与 Deep Blending 数据集迭代训练 30K 次。

实验关键数据¶

主实验¶

在 Mip-NeRF 360、Tanks and Temples 以及 Deep Blending 三大权威基准上，Denoising-GS 与当前主流的 3DGS 变体进行了定量评估对比（原论文 Table 1）：

数据集	指标	Denoising-GS (本文)	3DGS-MCMC (前SOTA)	Vanilla 3DGS	增益 / 优势
Mip-NeRF 360	PSNR ↑ / SSIM ↑ / LPIPS ↓	29.925 / 0.897 / 0.142	29.893 / 0.896 / 0.186	29.258 / 0.880 / 0.168	+0.032 dB / LPIPS 显著降低 0.044
Tanks and Temples	PSNR ↑ / SSIM ↑ / LPIPS ↓	24.561 / 0.868 / 0.149	24.290 / 0.860 / 0.190	23.649 / 0.845 / 0.178	+0.271 dB / SSIM +0.008 / LPIPS 优 0.041
Deep Blending	PSNR ↑ / SSIM ↑ / LPIPS ↓	29.872 / 0.906 / 0.239	29.665 / 0.895 / 0.320	29.475 / 0.900 / 0.247	+0.207 dB / SSIM +0.011 / LPIPS 优 0.081

在基元表征紧致度方面，论文进一步对比了各方法在 Mip-NeRF 360 各场景下的高斯数量需求（原论文 Table 2）： - Vanilla 3DGS 平均需 3.004M 基元，PSNR 为 29.258 dB； - 3DGS-MCMC 平均需 3.093M 基元，PSNR 为 29.893 dB； - Mip-Splatting 与 Pixel-GS 分别膨胀至 3.783M 和 4.684M 基元； - Denoising-GS 仅需 2.789M 基元，相比 3DGS-MCMC 节省约 10% 的基元规模，同时 PSNR 攀升至 29.925 dB（其中 Bicycle 场景由 5.90M 降至 5.32M，Counter 场景由 1.20M 降至 1.08M）。

消融实验¶

论文对核心控制超参数以及剪枝/细化策略进行了全面消融验证（原论文 Table 3）：

配置与超参数	剪枝比例	稠密化比例	Mip-NeRF 360 (PSNR/SSIM/LPIPS)	Tanks & Temples (PSNR)	说明
$\alpha=0.05, \beta_1=0.9, \beta_2=0.5$ (本文默认)	10%	0.05%	29.925 / 0.897 / 0.142	24.561	全局平衡最优组合
$\alpha=0.05, \beta_1=0.9, \beta_2=0.1$	10%	0.05%	29.930 / 0.897 / 0.142	24.606	空间梯度去噪项偏弱，室内泛化性略微波动
$\alpha=0.05, \beta_1=0.9, \beta_2=1.0$	10%	0.05%	29.924 / 0.897 / 0.142	24.499	空间去噪强度过激导致几何过紧缩
$\alpha=0.1, \beta_1=0.9, \beta_2=0.5$	10%	0.05%	29.901 / 0.897 / 0.143	24.458	动量偏置过大拖累探索灵活性
默认参数	20%	0.05%	29.864 / 0.896 / 0.144	24.496	过度剪枝损害微小结构细节
默认参数	10%	0.1%	29.900 / 0.897 / 0.143	24.521	稠密化过频增加冗余基元

关键发现¶

感知质量（LPIPS）取得跨越式飞跃：在三大测试集上，Denoising-GS 的 LPIPS 均显著压制对比基线（如 Mip-NeRF 360 从 3DGS-MCMC 的 0.186 压降至 0.142，Deep Blending 从 0.320 压降至 0.239）。这直接印证了空间梯度去噪与不确定性剔除对消除浮空噪点和半透明光斑的卓越效果。
动量与空间去噪相辅相成：将动量引入随机探索使得参数在遍历鞍点时具备惯性导向，而将梯度变换至局部主轴有效化解了均值平移与尺度扩张相互抵消的动力学矛盾。
10% 剪枝与 0.05% 细化的极佳收敛点：每场景平均剔除约 310K 冗余噪点，并针对性补充约 5.6K 空间稀疏基元，能够在大幅降低存储显存占用的同时显著强化弱纹理平面的连贯表达。

亮点与洞察¶

高斯局部主轴梯度对齐机制：巧妙地将世界坐标下的均值梯度利用四元数旋转矩阵映射至高斯本地参考系，直接抓住均值平移与尺度缩放同轴竞争这一传统 3DGS 优化的几何盲点，设计简洁却切中要害。
Fisher 信息奇异值对基元信息量的量化：避开计算不可行的真实期望，转而利用多视点渲染梯度外积构造经验 Fisher 矩阵并通过 6 自由度 SVD 求和，将参数敏感度转化为天然的物理去噪置信度准则。
轻量紧凑的表征范式：不同于通过堆叠千万级基元换取指标的暴力方案，本文证明了合理的去噪重整与稀疏修补能够以更少的基元数量（节省超 10%）达成超越密集基元的高保真度。

局限与展望¶

计算开销开销存在阶段性增加：在执行不确定性评估时需要对参数梯度矩阵进行 SVD 奇异值分解，尽管仅在特定去噪阶段周期性触发，仍会带来短时的显存与计算时间消耗。
最近邻搜索依赖固定超参数：空间连贯性细化中选取固定的 $k=3$ 邻域欧氏距离，对场景整体尺度的自适应感知相对初级，面对极端非均匀相机轨迹时可能在前景和背景间产生密度判据漂移。
未来改进方向：可进一步探索结合在线轻量级协方差矩阵近似替代 SVD，并将该去噪机制拓展至高动态或可变形高斯泼溅场景（Dynamic 3DGS）中。

评分¶

新颖性: ⭐⭐⭐⭐☆ (将 3DGS 优化创新性重构为双重空间去噪，主轴梯度协同与动量 SGLD 设计扎实有力)
实验充分度: ⭐⭐⭐⭐⭐ (全面覆盖三大标准数据集，从渲染指标、点云规模到超参消融均具有深度说服力)
写作质量: ⭐⭐⭐⭐⭐ (问题剖析透彻，数学形式规范，对比示意图直观揭示了几何优化痛点)
价值: ⭐⭐⭐⭐☆ (为 3DGS 基础优化器改进提供了兼顾紧凑性与渲染真实感的高效范式)

配置与超参数	剪枝比例	稠密化比例	Mip-NeRF 360 (PSNR/SSIM/LPIPS)	Tanks & Temples (PSNR)	说明
\(\alpha=0.05, \beta_1=0.9, \beta_2=0.5\) (本文默认)	10%	0.05%	29.925 / 0.897 / 0.142	24.561	全局平衡最优组合
\(\alpha=0.05, \beta_1=0.9, \beta_2=0.1\)	10%	0.05%	29.930 / 0.897 / 0.142	24.606	空间梯度去噪项偏弱，室内泛化性略微波动
\(\alpha=0.05, \beta_1=0.9, \beta_2=1.0\)	10%	0.05%	29.924 / 0.897 / 0.142	24.499	空间去噪强度过激导致几何过紧缩
\(\alpha=0.1, \beta_1=0.9, \beta_2=0.5\)	10%	0.05%	29.901 / 0.897 / 0.143	24.458	动量偏置过大拖累探索灵活性
默认参数	20%	0.05%	29.864 / 0.896 / 0.144	24.496	过度剪枝损害微小结构细节
默认参数	10%	0.1%	29.900 / 0.897 / 0.143	24.521	稠密化过频增加冗余基元