Robust 3DGS-based SLAM via Adaptive Kernel Smoothing

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/xju-zsh/Robust-3DGS-based-SLAM-via-Adaptive-Kernel-Smoothing.git
领域: 3D视觉
关键词: 3D高斯泼溅, 稠密视觉SLAM, 自适应核平滑, 位姿跟踪鲁棒性, 局域KNN校正

一句话总结

针对 3D 高斯参数噪声导致光度对齐易陷入尖锐局部极小的问题，本文提出在光栅化阶段引入瞬态自适应核平滑校正（CB-KNN），构建平滑优化曲面并解耦保真度与跟踪鲁棒性，在维持高精度建图的同时将相机轨迹跟踪误差降低 19% 至 35%。

研究背景与动机

随着 3D 高斯泼溅（3DGS）在神经辐射场渲染领域的突破，基于显式点云高斯基元的可微光栅化 SLAM 系统迅速成为稠密视觉建图与定位的新范式。相较于隐式 NeRF 架构，3DGS 凭借极高的渲染吞吐与显式空间表达，使得系统能够在 SLAM 闭环中直接利用合成的颜色与几何深度图进行连续帧间光度与几何对齐。然而，当前主流 3DGS-SLAM 系统普遍建立在一个底层假设之上，即只有尽可能追求极致的高分辨率渲染清晰度与视觉逼真度，才能实现最优的相机位姿估计。

这一传统假设在实际动态观测或复杂传感器退化场景下遭遇了严峻挑战。3D 高斯参数（包括三维中心、协方差尺度、旋转四元数及球谐颜色）高度依赖于含有噪声的多视角图像联合反向传播求解，不可避免地在几何边缘与遮挡交界处产生大量参数漂移和外点高斯基元。在标准可微光栅化过程中，这些瑕疵参数会催生高频渲染伪影、局部空洞或光度阶跃。从优化理论角度分析，此类高频渲染噪声会直接将光度对齐的目标能量函数塑造成一个充满大量尖锐局部极小值（sharp local minima）的非凸优化曲面，极易在相机快速运动或大视角切换时捕获梯度下降优化器，导致位姿跟踪剧烈抖动甚至跟丢。传统的特征点重加权或鲁棒核函数多针对传感器外生噪声，无法解决内生于地图参数表达本身的结构性误差。

针对这一核心矛盾，本文提出反常规的平滑正则化视角：在位姿跟踪阶段，适度、受控的模糊平滑渲染反而比纯粹追求视觉锐度更具抗噪韧性。这一思路在数学机理上契合递进非凸性（Graduated Non-Convexity, GNC）原则，即通过扩大每个高斯基元在局部投影区域的连续影响域，抹平目标损失曲面上的高频噪声毛刺并扩展全局吸引盆。核心 idea：在光栅化阶段引入即插即用的瞬态局域自适应核平滑（CB-KNN），动态微调近邻高斯基元的空间投影与色彩权重以构建平缓优化曲面，既消解参数噪声对位姿跟踪的负面扰动，又完好保留底层规范地图的全局几何保真度。

方法详解

整体框架

本文构建了一套将自适应核平滑与经典 3DGS 跟踪建图循环有机结合的鲁棒 SLAM 系统。系统采用连续同步 RGB-D 视频流作为输入，维护由各向同性基元组成的规范 3D 高斯地图。为了兼顾计算实时性与跟踪稳定性，系统确立了“双轨协同”架构：普通非关键帧利用恒定速度模型与未平滑的规范高斯地图进行超轻量光度位姿粗算；一旦判定为关键帧，则在 GPU 光栅化内核中激活自适应核平滑校正（Corrective Blurry KNN, CB-KNN）。通过动态测算运动与几何密度计算近邻数，对当前像素投影邻域内的近邻高斯执行空间重心引导的 2D 坐标微移与局部光度一致性重权，生成正则化的平滑颜色、深度与轮廓图，进而指导精细位姿梯度反传以及抗伪影地图增殖与剪枝。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：连续同步 RGB-D 视频帧"] --> Split{"关键帧与非关键帧分流"}
    Split -->|普通非关键帧| FastTrack["恒定速度模型粗位姿估计<br/>规范高斯地图快速光度位姿跟踪"]
    Split -->|关键帧建图阶段| KernelAdapt["动态核尺度自适应调节<br/>依据运动幅度与局部几何密度计算 K"]
    KernelAdapt --> DualSmooth["双维度局部自适应核平滑<br/>2D 投影质心微移与光度加权一致性重构"]
    DualSmooth --> RegularizedRend["正规化可微光栅化渲染<br/>瞬态合成平滑颜色/几何深度/轮廓掩码"]
    RegularizedRend --> OptMap["正规化驱动的地图管理与双轨优化<br/>高可信区域平滑损失优化与抗噪增殖剪枝"]
    FastTrack --> Out["输出：高精度相机位姿与紧凑 3D 高斯地图"]
    OptMap --> Out

关键设计

1. 动态核尺度自适应调节：基于运动幅度与几何密度平衡平滑强度与几何保真

固定大小的平滑核无法应对复杂的空间动态变化。如果邻域范围选取过大，在静止观察或几何结构极其致密的区域容易造成过度平滑，抹除微小的真实几何边缘；反之，若平滑范围过小，则在相机剧烈晃动或几何稀疏边缘区域无法有效填补空洞。针对这一权衡，系统设计了动态核尺寸调节策略，将近邻数 \(K\) 与当前帧间相机相对运动幅度 \(\gamma \in [0, 1]\) 以及局域 \(8 \times 8\) 像素网格内的高斯分布密度 \(\rho\) 建立反比联动机制：

\[K = K_0 \cdot \max\left(1, \beta \cdot \frac{\gamma}{\rho + \epsilon}\right)\]

其中基准近邻数 \(K_0\) 在高质量合成场景设为 5，在强噪声与大抖动真实场景设为 8，比例因子 \(\beta=0.3\)，\(\epsilon=10^{-6}\) 用于维持数值稳定性。当系统检测到大幅度相机旋转或观测处于边缘稀疏结构时，算法自动放大 \(K\) 值以施加更强的平滑正则化，强力抑制由于定位初值偏差引发的外点梯度爆炸；而在缓慢推移且高斯密集的纹理丰富区，系统自适应收缩至基准 \(K_0\)，精细保留高频几何特征。

2. 双维度局部自适应核平滑：2D 投影质心微移与光度一致性重构消解局部极小

在确定每个像素 \(p=(u,v)\) 的 \(K\) 个最近邻高斯集合 \(\mathcal{G}_p = \{g_{p1}, \dots, g_{pK}\}\) 后，直接修改底层全局 3D 高斯参数会破坏地图的长期几何真实性。为此，CB-KNN 将平滑作用严格约束为渲染层面的“瞬态正则化”（transient regularization），在 CUDA 光栅化内核中同步执行空间几何与光度色彩的双维度平滑：

在几何空间维度，先利用相机外参 \(E_t\) 和内参 \(K_{cam}\) 将邻域内所有高斯的 3D 中心 \(\mu_{pj}\) 投影至像平面，计算局部邻域的 2D 投影几何质心 \(C_p = \frac{1}{K} \sum_{g_{pj} \in \mathcal{G}_p} \pi(\mu_{pj}, E_t, K_{cam})\)。随后，令每个候选基元的 2D 投影位置向局部质心 \(C_p\) 产生微小向心偏移：

\[\pi(\mu'_{pk}) = \pi(\mu_{pk}) + \alpha \cdot \frac{C_p - \pi(\mu_{pk})}{\|C_p - \pi(\mu_{pk})\| + \epsilon}\]

其中位移强度系数 \(\alpha \in [0.1, 0.3]\)。这种投影微移人为增大了高斯基元之间的 2D 重叠区域，在光栅化阶段主动缝合因深度离散化导致的几何空洞与撕裂。在光度色彩维度，根据每个高斯在像素 \(p\) 处的径向衰减不透明度响应值 \(f_{pj}(p)\)，计算局部归一化贡献权重 \(\omega_{pj} = \frac{f_{pj}(p)}{\sum_{g_{pi} \in \mathcal{G}_p} f_{pi}(p)}\)，将修正后的瞬态颜色设定为邻域内主导基元的加权共识 \(c'_{pk} = \sum_{g_{pj} \in \mathcal{G}_p} \omega_{pj} c_{pj}\)。双维度平滑构建起瞬态高斯集 \(\mathcal{G}'_p\)，在此基础上通过标准 \(\alpha\)-compositing 合成平滑颜色 \(C(p)\)、几何深度 \(D(p)\) 及累积轮廓值 \(S(p)\)。

3. 正规化驱动的地图管理与双轨优化：高可信掩码约束与抗漂浮物增殖

平滑合成的图像并不仅用于视觉呈现，其核心在于为梯度优化与地图拓展提供抗噪引导。在位姿优化层面，利用瞬态渲染得到的平滑累积轮廓图 \(S(p)\) 作为置信度掩膜，严格在充分覆盖的高斯区域（\(S(p) > 0.99\)）计算几何与光度复合损失：

\[\mathcal{L}_{t} = \sum_{p: S(p) > 0.99} \left( \|D(p) - D_{GT}(p)\|_1 + 0.6 \cdot \|C(p) - C_{GT}(p)\|_1 \right)\]

由于平滑操作过滤了单基元参数漂移造成的梯度尖峰，优化目标函数呈现出更大、更光滑的吸引盆地，使得梯度下降步长能够平稳越过局部障碍，收敛至真实的位姿解。在地图维护层面，传统 3DGS-SLAM 常因高频渲染残差而在空间盲目克隆出大量无意义的“悬浮漂浮物”（floaters）。本文转而依靠平滑深度与轮廓图构建二值化增殖掩码：

\[M(p) = \max\left(\mathbb{I}(S(p) < 0.5), \; \mathbb{I}(D_{GT}(p) < D(p)) \cdot \mathbb{I}\left(|D_{GT}(p) - D(p)| > \lambda \cdot \text{MDE}\right)\right)\]

其中 \(\lambda = 50\) 缩放中位数深度误差（MDE）。该掩码确保系统只在真正存在几何未覆盖或显著视线遮挡的区域注入新高斯，并在后续建图中基于平滑深度进行共视关键帧反投影回环优化，从源头上遏制了地图膨胀与漂浮伪影。

损失函数 / 训练策略

位姿优化目标即上述式中定义的鲁棒掩码复合损失 \(\mathcal{L}_{t}\)。在建图优化阶段，系统将当前关键帧与基于平滑几何反投影选取的重叠共视关键帧编组，联合优化规范 3D 高斯的位置、旋转、尺度和基础色彩，同时定期执行低透明度（\(\sigma_i < 0.05\)）剪枝与大半径冗余抑制。所有针对位姿与地图更新的反向传播均依托于平滑前向传播衍生的解析梯度，实现无需网络预训练的端到端稳健运行。

实验关键数据

主实验

系统在合成基准数据集 Replica（8 个场景）以及真实传感器采集的 TUM-RGBD（5 个序列）和 ScanNet（6 个序列）上开展了全面的绝对轨迹误差（ATE RMSE）评测，对比基准包含传统神经隐式 SLAM 与最新的 3DGS 方案（以 SplaTAM 为核心基准）。

数据集	序列 / 统计	SplaTAM [22]	GS-SLAM [47]	NICE-SLAM [59]	本文方法 (Ours)	性能提升 (vs SplaTAM)
Replica (ATE RMSE ↓ cm)	Room0	0.31	0.48	0.97	0.25	降低 19.4%
Replica	Room1	0.40	0.53	1.31	0.23	降低 42.5%
Replica	Room2	0.29	0.33	1.07	0.25	降低 13.8%
Replica	Office0	0.47	0.52	0.88	0.32	降低 31.9%
Replica	Office1	0.27	0.41	1.00	0.21	降低 22.2%
Replica	Office2	0.29	0.59	1.06	0.27	降低 6.9%
Replica	Office3	0.32	0.46	1.10	0.29	降低 9.4%
Replica	Office4	0.55	0.70	1.13	0.45	降低 18.2%
Replica 平均	8 场景均值	0.36	0.50	1.07	0.28	误差降低 22.2%
TUM-RGBD (ATE RMSE ↓ cm)	fr1/desk	3.35	3.32	4.26	1.88	降低 43.9%
TUM-RGBD	fr1/desk2	6.56	—	4.99	4.48	降低 31.7%
TUM-RGBD	fr1/room	11.76	—	34.49	7.94	降低 32.5%
TUM-RGBD	fr2/xyz	1.36	1.36	31.73	1.25	降低 8.1%
TUM-RGBD	fr3/office	5.16	6.62	3.87	2.78	降低 46.1%
TUM-RGBD 平均	5 序列均值	5.63	—	15.87	3.67	误差降低 34.8%
ScanNet 平均	6 场景均值	11.88	—	10.70	8.46	误差降低 28.8%

除了位姿精度的大幅提升外，建图渲染保真度评测显示，本文在 Replica 上的平均 PSNR 从 SplaTAM 的 34.11 dB 提升至 34.31 dB，SSIM 达到 0.97，LPIPS 保持在 0.09。这充分证明平滑正则化并未劣化场景地图的真实细节，反而在建图层面有效滤除了伪影高斯。

消融实验

为了严格解耦 CB-KNN 中几何空间平滑（Position Smoothing）与色彩平滑（Color Smoothing）各自的效用，在带有剧烈运动模糊与传感器噪声的 TUM-RGBD fr1/desk 及 ScanNet 0169 序列上进行了组件分解对比。

序列	空间位置平滑 (Position)	色彩平滑 (Color)	深度 L1 误差 (cm) ↓	ATE RMSE (cm) ↓	渲染 PSNR (dB) ↑	说明
TUM-RGBD fr1/desk	✗	✗	2.93	3.36	21.85	无平滑基线模型
TUM-RGBD fr1/desk	✗	✓	2.59	2.65	23.52	仅色彩平滑：提升渲染质量显著
TUM-RGBD fr1/desk	✓	✗	2.30	2.28	22.61	仅位置平滑：位姿跟踪改善主导项
TUM-RGBD fr1/desk	✓	✓	2.03	1.86	24.41	完整 CB-KNN：位姿与重建双重最优
ScanNet 0169	✗	✗	6.55	12.13	18.79	无平滑基线模型
ScanNet 0169	✗	✓	6.20	11.03	19.86	仅色彩平滑
ScanNet 0169	✓	✗	5.91	10.12	19.23	仅位置平滑
ScanNet 0169	✓	✓	5.83	9.82	20.32	完整 CB-KNN：误差压制至 10 cm 以下

此外，通用性集成实验表明，当将 CB-KNN 模块无缝插入单目高斯系统 MonoGS 时，Replica 上的平均 ATE RMSE 从 0.42 cm 降至 0.29 cm（降幅达 31.0%），TUM-RGBD 平均 ATE RMSE 从 1.48 cm 降至 1.31 cm。在运行效率方面，虽然关键帧处理因 KNN 搜索带来微小的额外开销（3.05 ms 增至 3.25 ms），但平滑优化曲面使得位姿估计收敛所需的迭代次数锐减约 40%，单帧跟踪耗时由 1.19 s 缩减至 0.94 s，推动系统整体运行帧率从 0.49 Hz 反向攀升至 1.41 Hz。

关键发现

• 几何位置平滑主导位姿收敛：消融数据显示，位置平滑贡献了绝大部分的位姿跟踪精度增益（在 fr1/desk 上将 ATE RMSE 从 3.36 cm 压制至 2.28 cm）。这证实了几何离散空洞与参数突变引起的剧烈梯度抖动是导致跟踪陷入局部极小的根本原因。
• 色彩平滑专攻光度稳定：色彩加权对 PSNR 指标贡献最大（单独使用使 PSNR 跃升 1.67 dB），其主要价值在于熨平外点基元的光度尖峰，消除虚假光流反传。
• 优化步数减少反超计算耗时：常规认知认为增加光栅化阶段的近邻处理必然拖慢系统，但实际上优良的凸性曲面使得梯度步进无需在抖动中反复震荡，以 40% 的迭代步数节约实现了近 3 倍的端到端吞吐提升。

亮点与洞察

• 颠覆“画质即跟踪”的认知盲区：传统 3DGS-SLAM 一味追求超高清渲染作为配准基准，本文率先从非凸优化理论剖析了高频清晰度伴生的局部极小陷阱，提出受控模糊即正则化的有效范式。
• 瞬态操作不污染底层真值：算法巧妙地将核平滑严格限制在当前前向渲染与反向传播的内存临时空间中，底层三维高斯的全局坐标与本征属性保持纯净，实现了“鲁棒跟踪”与“高保真建图”的完美解耦。
• 通用即插即用的模块化潜力：无需重写整套复杂的底层光栅化管线架构，仅在 CUDA 级别注入轻量 KNN 邻域校正，即可直接赋能包括 MonoGS、SplaTAM 在内的各类 3DGS-SLAM 系统。

局限与展望

• 作者承认的局限：CB-KNN 目前仅在像平面 2D 投影空间进行近邻搜索与质心牵引，尚未完全扩展至三维欧氏空间的各向异性张量核计算，在具有极端深度突变的边缘剪切区域可能引入轻微的透视混叠。
• 实验与边界局限：动态核尺寸参数中的超参数 \(\beta\) 和基准值 \(K_0\) 在不同数据集间仍依赖经验分段设置（合成数据取 5，复杂真实数据取 8），尚未形成完全端到端自学习的连续尺度预测网络。
• 未来改进思路：可探索将核平滑机制与事件相机（Event Camera）的高频时域连续性相结合，或引入基于 Hessian 矩阵曲率自适应感知的高斯不确定度建模，实现全自动的各向异性核平滑光栅化。

相关工作与启发

• vs SplaTAM [22]: SplaTAM 依赖于原始高斯的无修正可微光栅化，在平滑轨迹且低噪声的室内环境下表现优异，但在快速相机转动或深度传感器噪声严重时容易发生位姿漂移；本文基于其架构引入 CB-KNN 瞬态正则化，在 TUM-RGBD 挑战序列上将 ATE 降低 34.8%，且提升了系统整体帧率。
• vs GS-SLAM [47]: GS-SLAM 尝试通过严格的几何度量选择性跳过不可靠的高斯投影以减少伪影，但容易丢失薄结构与弱纹理几何；本文采用正向平滑而非生硬剔除，通过动态扩大基元影响域既桥接了空洞又维持了优化连续性。
• vs ORB-SLAM3 [6]: 传统基于特征的方法利用 Huber 损失或 GNC 降低几何重投影外点影响，但其无法抑制 3DGS 地图表达自身内生的渲染噪声；本文将平滑内生化到图形学渲染循环中，填补了底层神经表征与前端稳健对齐之间的理论空白。

评分

• 新颖性: ⭐⭐⭐⭐☆ 突破传统追求锐利渲染的惯性思维，从递进非凸优化视角引入光栅化核平滑。
• 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 Replica、TUM-RGBD、ScanNet 三大标准基准，配齐主对比、通用性测试、消融实验与收敛耗时曲线。
• 写作质量: ⭐⭐⭐⭐⭐ 论证脉络清晰，数学建模规范严谨，实验图表详实且极具洞察力。
• 价值: ⭐⭐⭐⭐⭐ 为 3DGS 视觉里程计与机器人具身导航在真实噪声工况下的稳定落地提供了极其优美实用的即插即用范例。

相关论文

• [ECCV 2026] Robust and Efficient Monocular 3D Gaussian SLAM for Kilometer-Scale Outdoor Scenes
• [CVPR 2026] AERGS-SLAM: Auto-Exposure-Robust Stereo 3D Gaussian Splatting SLAM
• [ECCV 2026] Structure Gaussian Splatting SLAM
• [ECCV 2026] VKSR: Scalable Kernel Surface Reconstruction Using Vecchia's Approximation
• [ECCV 2026] SkipGS: Post-Densification Backward Skipping for Efficient 3DGS Training