Structure Gaussian Splatting SLAM¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/yanyan-li/StructureGS-SLAM
领域: 3D视觉
关键词: 3D高斯泼溅, 稠密SLAM, 平面高斯实例, 结构闭环, 位姿图优化

一句话总结¶

针对传统高斯 SLAM 在弱纹理与重复环境中光度梯度消失导致的位姿漂移与浮块伪影，本文将室内丰富平面显式建模为持久化平面高斯实例（PGI），提出利用非平行平面相对几何估计相机位姿的结构闭环机制与稀疏全局视点锚定优化，在无需轨迹重访的条件下实现了毫米级跟踪精度与高保真稠密重建。

研究背景与动机¶

基于 3D 高斯泼溅（3DGS）的密集 SLAM 方案近年来展现出极高的渲染效率与几何表达潜力，通过将可微高斯椭球投影视角并计算与 RGB-D 观测之间的光度与几何深度残差，系统能够联合优化相机轨迹与三维场景表征。然而，这种依赖密集像素级对齐的机制在真实室内环境中存在根本性脆弱性：在白墙、地面等大面积弱纹理区域，光度梯度极易消失；而在走廊、相似房间等重复结构中，局部观测高度退化，造成高斯基元脱离真实几何表面生长成大量空中浮块（floaters），累积出显著的全局位姿漂移。

现有高斯 SLAM 系统缓解长期漂移的主要手段继承自传统视觉 SLAM，即依赖回环检测（Loop Closure）或全局人造结构先验（如曼哈顿、亚特兰大世界假设）。但这些机制在实际应用中往往受制于严苛的前提：回环检测高度机会主义，必须要求相机轨迹以充分的视角重叠重新访问历史区域，在狭长走廊或单向探索路径中完全失效；全局正交假设则过于死板脆弱，一旦建筑布局偏离理想直角关系就会引入错误约束。更关键的是，现有方案大多仅将平面信息作为追踪时的瞬态几何线索，缺乏能够跨时间维护、匹配并参与全图联合优化的持久化结构实体。

室内环境中天然广泛存在着墙壁、地面、桌面等大面积连续平面，这些平面不仅在多视角下高度稳定，而且其法向量与距离偏移为相机六自由度运动提供了坚实的解析几何约束。本文的核心 idea 是将平面结构提升为 3D 高斯地图中的持久化平面高斯实例（Planar Gaussian Instances, PGI），基于跨帧多平面几何一致性建立无需物理轨迹重访的「结构闭环（Structure Closure）」，并结合稀疏全局视点锚定与纹理自适应联合优化彻底抑制浮块与漂移。

方法详解¶

整体框架¶

系统接收连续的 RGB-D 视频流，整体管线涵盖前端结构感知追踪与关键帧筛选、单视角平面提取与局部-全局 PGI 关联生长、基于非平行平面的结构闭环构建，以及联合优化与稀疏全局锚定四大核心阶段。前端首先利用结合纹理权重的光度-深度一致性跟踪相机位姿，并通过共视度与平面结构变化量联合判定关键帧。在关键帧上，系统提取 2D 平面分割块并反投影拟合为局部 3D 平面，通过几何门控与投影 IoU 匹配将其关联到全局维护的 PGI 实体中，赋予每个高斯基元连续的平面实例嵌入。当非邻接帧共同观测到两个及以上非平行 PGI 时，系统解析计算相对位姿并通过多平面点云 ICP 精化，生成结构闭环边加入位姿图；最后在滑动窗口内联合优化活跃相机位姿与高斯参数，并固定稀疏全局视点（SGVs）作为锚点以确保全局一致性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["RGB-D 视频流输入"] --> B["前端结构感知跟踪与关键帧筛选"]
    B --> C["持久化平面高斯实例（PGI）地图构建与关联"]
    C --> D["结构闭环（Structure Closure）与位姿图约束"]
    D --> E["稀疏全局视点锚定（SGVs）机制"]
    E --> F["纹理自适应 RGB-D 一致性与平面几何正则化优化"]
    F --> G["高保真 3D 高斯地图与低漂移相机轨迹"]

关键设计¶

1. 持久化平面高斯实例（PGI）地图构建与关联：将瞬态平面观测转化为可演化地图实体 传统方法将平面检测作为局部优化先验，帧间无法维持实体一致性，且离散标量平面 ID 易引入非物理的数值大小偏置。为此，本文将场景高斯基元扩展为 $G_i = [\mu_i, \Sigma_i, o_i, c_i, \theta_i]$，其中新增的三维连续向量 $\theta_i \in \mathbb{R}^3$ 为平面实例嵌入。系统通过 Sigmoid 映射生成实例伪彩色预测 $c_i = \sigma(\theta_i)$，并使用颜色调色板映射真实平面掩码，借助边缘加权的 Charbonnier 损失监督实例场演化： $$E_{\text{pgi}} = \frac{1}{|\Omega|} \sum_{u \in \Omega} w_{\text{edge}}(u) \sqrt{\|\hat{c}(u) - \mathbf{y}(u)\|_2^2 + \varepsilon^2}$$ 对于新输入关键帧，系统首先提取面积最大的前 $K$ 个连通平面区域并合并过分割补丁。随后，局部平面与全局 PGI 之间通过两级门控进行数据关联：第一级为几何法向量角度差 $\theta_{ig} = \arccos(n_i^\top n_g)$ 与归一化法向距离偏移差 $\Delta d_{ig}$；第二级计算二者在当前图像平面上的投影掩码交并比 $\text{IoU}(i, g)$。综合两项成本后利用匈牙利算法（Hungarian algorithm）完成全局一对一指派，未匹配的合法平面则注册为新 PGI，实现了结构实体的增量累积与终身维护。

2. 结构闭环（Structure Closure）与位姿图约束：无需轨迹重访的非平行平面几何约束 传统回环检测依赖严苛的视角重叠与图像纹理特征匹配，在单向长走廊或重复房间中频繁失效。本文提出的结构闭环直接利用空间中非平行平面交割提供的全局刚体变换约束。当任意两个非时间邻接的关键帧同时观测到至少两个法向量不平行的共有 PGI 时，平面的法向量对应关系直接解析求解出相对旋转矩阵，而平面距相机的法向偏移量则构成相对平移的线性方程系统，由此解算出解析初值。为消除深度噪声并保证鲁棒性，系统在对应平面支撑点集及保留的非平面几何特征点上执行轻量化多平面 ICP（Iterative Closest Point）配准，得到精化后的相对变换 $\hat{T}_{c_j, c_i}$。该约束作为结构闭环边与时序相邻的里程计边一同输入全局位姿图 $G = (V, E)$ 进行非线性图优化，使累积误差在探索早期即可被高频纠正。

3. 稀疏全局视点锚定（SGVs）机制：兼顾计算效率与长期轨迹一致性的全局参考 若在每一轮优化中均更新全局所有历史关键帧，计算开销将随时间呈超线性激增；而仅采用纯局部滑动窗口优化，则会不可避免地诱发长期累积漂移。本文引入稀疏全局视点（Sparse Global Viewpoints, SGVs）作为优化锚点。SGVs 是从活跃滑动窗口外部精心筛选出的一组极具结构代表性的关键帧集合，其筛选优先级为：优先选取参与结构闭环约束的关键帧，其次选取与当前活跃窗口共享至少两个 PGI 的关键帧，最后退化选择位姿图中拓扑连接度最高的枢纽节点。在局部联合 BA 优化期间，SGVs 的相机位姿严格保持固定，充当全局刚体坐标系的锚桩，使得活跃窗口内部的高斯基元与当前位姿能够在受控的全局坐标框架下平滑对齐，彻底阻断了漂移沿时间轴向前传导。

4. 纹理自适应 RGB-D 一致性与平面几何正则化优化：兼顾细微纹理对齐与弱纹理浮块抑制 为根治弱纹理平面区域光度梯度消失导致的优化失稳问题，本文设计了纹理自适应混合监督策略。利用 Sobel 算子计算图像梯度模长 $G(u, v)$，并归一化为纹理门控系数： $$\mathcal{T}(u, v) = 1 - \frac{G(u, v) - G_{\min}}{G_{\max} - G_{\min} + \epsilon}$$ 在弱纹理区域（$\mathcal{T}$ 趋向 1），系统大幅增强基于深度 Charbonnier 损失的几何监督权重；在丰富纹理区域，则侧重光度损失（$L_1$、图像梯度与 SSIM 复合项）。同时，为防止高斯基元在平面内部各向同性膨胀或悬空，本文针对归属于 PGI 的高斯施加平面几何正则化：扁平化损失 $L_{\text{flat}} = \mathbb{E}_i \max(0, s_3 - k \sqrt{s_1 s_2})$ 迫使椭球在法向方向收缩为极薄的冲压薄片，法向对齐损失 $L_n = \mathbb{E}_i |n_g \cdot n_p - 1|$ 促使高斯短轴严格与所属平面法向量重合。联合目标函数协同约束位姿与地图参数，从根源上消除了悬浮伪影。

损失函数 / 训练策略¶

系统的全局联合优化目标函数整合了四个互补的监督能量项，其数学表达式为： $$\mathcal{L} = \lambda_{\text{pgi}} E_{\text{pgi}} + \lambda_{\text{pho}} E_{\text{pho}} + \lambda_{\text{geo}} E_{\text{geo}} + \lambda_{\text{str}} E_{\text{str}}$$ 其中 $E_{\text{pho}}$ 包含加权的光度 $L_1$ 损失、梯度差损失与结构相似度损失（SSIM）；$E_{\text{geo}}$ 为深度的 Charbonnier 鲁棒回归损失；$E_{\text{str}} = \omega_n L_n + \omega_{\text{flat}} L_{\text{flat}}$ 为平面法向与扁平度几何正则项。时间关键的高斯栅格化及反向传播梯度计算完全基于自定义 CUDA 内核高效执行，其余位姿图建图与前端逻辑由 PyTorch 驱动，在单张 RTX 4090 上实现稳定实时的密集建图。

实验关键数据¶

主实验¶

论文在基准数据集 Replica（8 个合成室内场景）以及真实物理环境数据集 TUM RGB-D 上进行了全面评测，对比涵盖神经隐式代表方法（NICE-SLAM、Point-SLAM、Vox-Fusion）与前沿高斯 SLAM 代表方法（SplaTAM、MonoGS、GS-SLAM、LoopSplat）。

表 1：Replica 数据集上的新视角合成渲染质量对比（PSNR ↑ / SSIM ↑ / LPIPS ↓）

方法	类型	平均 PSNR (dB) ↑	平均 SSIM ↑	平均 LPIPS ↓
NICE-SLAM	神经隐式网格	24.42	0.809	0.233
Vox-Fusion	神经体素隐式	24.41	0.801	0.236
Point-SLAM	神经点云隐式	35.62	0.977	0.114
SplaTAM	3D 高斯泼溅	33.89	0.970	0.099
GS-SLAM	3D 高斯泼溅	34.27	0.975	0.082
LoopSplat	3DGS + 回环检测	36.63	0.985	0.112
MonoGS	3D 高斯泼溅	39.31	0.974	0.045
Ours	3DGS + 结构闭环	39.70	0.977	0.042

表 2：Replica 数据集绝对轨迹误差对比（ATE RMSE, 单位: cm ↓）

方法	R0	R1	R2	Off0	Off1	Off2	Off3	Off4	平均 ATE (cm) ↓
NICE-SLAM	0.97	1.31	1.07	0.88	1.00	1.06	1.10	1.13	1.07
Vox-Fusion	1.37	4.70	1.47	8.48	2.04	2.58	1.11	2.94	3.09
Point-SLAM	0.61	0.41	0.37	0.38	0.48	0.54	0.69	0.72	0.53
SplaTAM	0.31	0.40	0.29	0.47	0.27	0.29	0.32	0.72	0.38
MonoGS	0.46	0.31	0.33	0.47	0.48	0.24	0.18	2.06	0.57
GS-SLAM	0.48	0.53	0.33	0.52	0.41	0.59	0.46	0.70	0.50
Loopy-SLAM	0.24	0.24	0.28	0.26	0.40	0.29	0.22	0.35	0.29
LoopSplat	0.28	0.22	0.17	0.22	0.16	0.49	0.20	0.30	0.26
Ours	0.28	0.23	0.26	0.22	0.16	0.13	0.17	0.28	0.22

表 3：TUM RGB-D 数据集真实场景轨迹位姿误差对比（ATE RMSE, 单位: cm ↓）

方法	fr1/desk	fr1/desk2	fr2/xyz	fr2/rpy	fr3/tex_far	fr3/tex_near	平均 ATE (cm) ↓
Loopy-SLAM	3.79	3.38	1.62	0.40	1.22	2.01	2.07
SplaTAM	3.35	6.54	1.24	0.42	1.43	2.41	2.57
MonoGS	1.48	7.03	1.44	0.57	1.72	1.81	2.34
LoopSplat	2.08	3.54	1.58	1.04	3.71	4.66	2.77
Ours	1.60	4.02	1.47	0.42	0.08	1.76	1.56

消融实验¶

表 4：结构闭环（Structure Closure）触发频率消融分析（Replica R0 与 Off0）

结构闭环触发间隔 ($k$ 关键帧)	R0 ATE (cm) ↓	R0 PSNR (dB) ↑	R0 LPIPS ↓	Off0 ATE (cm) ↓	Off0 PSNR (dB) ↑	Off0 LPIPS ↓
每 4 帧触发一次	0.32	36.59	0.051	0.25	43.61	0.031
每 10 帧触发一次	0.37	36.51	0.047	0.32	43.44	0.032
每 25 帧触发一次	0.53	36.04	0.054	0.61	42.91	0.039

表 5：极限弱纹理挑战序列（TUM RGB-D 无纹理序列）位姿估计对比（ATE RMSE, 单位: cm ↓）

序列	MonoGS	LoopSplat	Ours	优势说明
fr3/notex_far	16.63	8.18	7.47	大面积白墙远景下保持精确轨迹
fr3/notex_near	55.59	轨迹发散失败 ($\times$)	16.36	竞品完全丢失时仍保持稳定建图

关键发现¶

结构闭环对非回环轨迹的纠偏至关重要：表 4 显示，当增大结构闭环间隔至 25 帧时，两场景 ATE 分别上升至 0.53 cm 和 0.61 cm；而在间隔 4 到 10 帧时系统始终维持高精度，证明频繁的非平行平面几何闭环是阻断位姿漂移的关键。
弱纹理恶劣环境下的压倒性鲁棒性：在几乎无纹理特征的 fr3/notex_near 序列中，基于传统视觉匹配和光度回环的 LoopSplat 完全发散失败，MonoGS 误差高达 55.59 cm，而本文借助 PGI 与结构闭环将误差压制在 16.36 cm，展现出平面几何约束的极高生存能力。
连续嵌入消除 ID 排序退化：定性与定量对比证实，传统标量平面 ID 在优化中会引入人为的数值排序冲突（如 ID 16 与 18 之间被强制插值），而本文的连续可微嵌入 $\theta_i$ 配合颜色调色板梯度传播，能够学习到高度锐利清晰的物体平面边界，从物理上避免了跨平面高斯参数污染。

亮点与洞察¶

跳出回环重访限制的结构闭环构想：传统 SLAM 严重受困于「必须走回头路才能闭环」的先验假设。本文巧妙洞察到任意视角的两个非平行稳定平面本身就是天然的三维坐标系锚定基准，将闭环从「图像/外观重访」升维到「几何实体共视」，在长廊或大尺度单向建图中具备降维打击优势。
连续实例向量与调色板可微渲染架构：将不可微的离散分割标签转化为连续三维潜空间嵌入，并通过软调色板映射到 RGB 渲染管道中统一进行可微梯度回传，为神经渲染与结构实例分割联合优化提供了极佳的范式参考。
高斯基元物理形态的主动约束：单纯依靠光度误差难以约束无纹理平面的三维椭球厚度。扁平化正则将高斯基元推向类似 Surfel（面元）的几何形态，不仅大幅精简了冗余的高斯点数量，而且彻底消除了困扰高斯渲染的「悬空毛刺与浮块」。

局限与展望¶

强依赖场景平面的丰富度与几何非平行性：系统构建结构闭环的前提是同时共视至少两个非平行的显著平面（如地面与垂直墙面）。在野外自然非结构化场景、纯曲面或仅存在单一无限大平面的开阔区域，结构闭环退化无法激活。
动态干扰与平面分割错误累积：前端采用启发式图分割器提取 2D 平面，当室内存在动态行人遮挡或大面积杂乱堆叠杂物时，平面过分割或误识别可能将非平面碎片误注册为 PGI，进而对多平面 ICP 配准产生负面影响。
未来改进方向：可考虑结合轻量级学习型开放词表 3D 分割大模型（如 SAM / Segment Any 3D）提升极端光照与杂物下的平面解耦能力；同时将圆柱体、球体等二阶几何基元融入图优化，以拓展至非结构化环境。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将平面转化为持久化高斯实例并提出无需轨迹重访的结构闭环，构思极其精巧]
实验充分度: ⭐⭐⭐⭐⭐ [不仅评测了标准渲染与轨迹精度，还设计了极端无纹理挑战与高频消融实验]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严谨清晰，系统架构图与消融图示直观详实]
价值: ⭐⭐⭐⭐⭐ [为室内高斯 SLAM 解决弱纹理退化与长期漂移问题开辟了兼顾保真度与几何稳定性的全新路径]