Manifold-Aware Spectral Compaction: A Graph Signal Processing Perspective on Online Gaussian Reduction for 3DGS SLAM¶

会议: ECCV 2026
论文: ECCV Official
代码: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/4373.pdf
领域: 3D视觉
关键词: 3D高斯泼溅, SLAM, 模型压缩, 最优传输, 谱嵌入

一句话总结¶

本文提出面向在线 3DGS SLAM 的流形感知谱紧凑化框架（MASC），从图信号处理（GSP）与黎曼流形视角将地图压缩重构为连续信号重建问题，结合对称 KL 散度建图、增量 Nyström 谱聚类与保矩 Bures-Wasserstein 质心聚合，在消除约 60% 冗余高斯的同时使 GPU 显存降低至原来的 1/2.8、渲染帧率提升 2.4 倍，并在 TUM 数据集上实现 0.98 cm 的轨迹跟踪精度。

研究背景与动机¶

三维高斯泼溅（3DGS）凭借可微各向异性高斯基元与超高渲染速度，已成为稠密神经辐射场 SLAM 的前沿地图表征。然而在连续探索未见视角的增量建图过程中，为最小化光度残差，系统会不断触发自适应致密化（densification），导致高斯基元数量随轨迹长度呈线性爆炸式增长。这种无节制膨胀不仅造成 GPU 显存急剧飙升，还会引入显著的渲染累积延迟，严重制约了 3DGS SLAM 在边缘计算与长序列自主机器人上的实际落地。

针对该瓶颈，现有的高斯压缩方案大多脱胎于离线静态场景重建，通常依赖视线累积权重、不透明度或 Hessian 敏感度等启发式重要性评分进行贪心剪枝。这类局部评估手段割裂了场景流形在全局拓扑上的内在几何连续性：一方面，单纯依据欧氏距离或硬性阈值剔除基元，容易在薄壁障碍物或复杂重叠表面造成穿孔与结构破碎（表现为感知误差 LPIPS 的急剧飙升）；另一方面，在线 SLAM 无法承担离线全局优化的 \(O(N^3)\) 谱分解开销，突兀地删除或合并基元还会破坏梯度传递的连续性，进而引发位姿跟踪漂移与建图退化。

本文的切入视角是：成熟 3DGS 地图中的冗余并非单纯的空间过密，其本质是黎曼流形上的“谱冗余”——描述同一平滑物理表面的相邻高斯具有高度相似的属性，图信号能量极度富集于图拉普拉斯算子的低频子空间，从而表现为图狄利克雷能量（Graph Dirichlet Energy）趋近于零。核心 idea：将在线高斯缩减重塑为流形上的连续谱信号重建任务，利用对称 KL 散度与增量 Nyström 近似将高斯拉普拉斯算子投影至紧凑谱子空间，并借助 Bures-Wasserstein 质心闭式解将低频冗余基元凝聚为保矩“超高斯”（Super-Gaussian），在保留几何高频边缘的同时实现无损即插即用压缩。

方法详解¶

整体框架¶

MASC 作为一个即插即用的轻量级压缩模块嵌入在 3DGS SLAM 的建图后端。系统首先接收连续增量构建的稠密高斯地图，利用各基元的多维概率密度函数（PDF）计算对称 KL 散度，构建能够反映真实统计重叠度的统计拓扑图；随后，通过最远点采样（FPS）选取代标节点，采用增量 Nyström 算法计算近似谱坐标，将全图映射至低维谱嵌入空间；在谱坐标下完成低频冗余聚类后，利用基于最优传输的 Bures-Wasserstein 质心迭代求解超高斯的协方差矩阵，并结合加权低通滤波融合位置与颜色；最后，受流形体积惩罚项约束的自适应优化目标动态决定压缩留存率 \(\rho_k\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["稠密在线高斯地图<br/>位置/协方差/颜色/不透明度"] --> B["统计拓扑图构建<br/>对称KL散度 + 外观高斯核"]
    B --> C["增量Nyström谱嵌入<br/>FPS代标采样与O(nm)近似分解"]
    C --> D["谱子空间冗余聚类<br/>低频特征聚类识别结构冗余"]
    D --> E["保矩超高斯聚合<br/>Bures-Wasserstein质心闭式解"]
    E --> F["体积正则化谱优化<br/>平衡谱重构误差与超高斯膨胀"]
    F --> G["紧凑高保真SLAM地图<br/>基元数量精简约60%"]

关键设计¶

1. 统计拓扑图构建：解决欧氏距离误连拓扑与统计重叠失真问题

传统紧凑化算法多依赖欧氏空间 KD 树或哈希网格聚类，极易将隔着薄墙或障碍物两侧、空间临近但物理隔离的高斯错误关联。MASC 将每个高斯基元 \(g_i=(\mu_i, \Sigma_i, \alpha_i, \mathbf{c}_i)\) 视为连续空间中的多元正态分布 \(\mathcal{N}_i(\mu_i, \Sigma_i)\)，利用对称 Kullback-Leibler（SKL）散度严格度量两个三维高斯之间的重叠概率：

\[D_{SKL}(\mathcal{N}_i \parallel \mathcal{N}_j) = \frac{1}{2} \left[ \text{tr}(\Sigma_j^{-1}\Sigma_i) + \text{tr}(\Sigma_i^{-1}\Sigma_j) + (\mu_i - \mu_j)^\top (\Sigma_i^{-1} + \Sigma_j^{-1})(\mu_i - \mu_j) - 2d \right]\]

其中维度 \(d=3\)。结合几何散度与球谐外观向量 \(\mathbf{c}_i\) 的 \(L_2\) 差异，两节点间的边权重 \(W_{ij}\) 仅在 \(k\) 近邻内激活，截断高斯核定义为：

\[W_{ij} = \exp\left( -\frac{D_{SKL}(\mathcal{N}_i \parallel \mathcal{N}_j)}{\sigma_{geo}^2} - \frac{\|\mathbf{c}_i - \mathbf{c}_j\|_2^2}{\sigma_{app}^2} \right), \quad j \in k_{nn}(i)\]

这一设计确保了拓扑图的边只连接在几何密度和辐射外观上均平滑连续的共面高斯，从物理机理上杜绝了跨表面的错误连接。

2. 增量 Nyström 谱嵌入：突破在线 SLAM 的 \(O(N^3)\) 特征分解计算瓶颈

对全图拉普拉斯矩阵 \(\mathbf{L}_N = \mathbf{D} - \mathbf{W}\) 进行全局特征值分解的计算复杂度为 \(O(N^3)\)，无法嵌入在线建图。MASC 揭示出地图成熟区域的图狄利克雷能量 \(\mathcal{E}_{smooth}(\mathbf{F}) = \frac{1}{2} \sum_{i,j} W_{ij} \|f_i - f_j\|_2^2 \to 0\)，即有效信号高度压缩于低频特征向量。为此，MASC 引入块结构 Nyström 矩阵近似：通过最远点采样（FPS）提取基数 \(m \ll N\)（通常仅占全图 1%~5%）的代标点集 \(A\)，将亲和矩阵分解为代标内部矩阵 \(\mathbf{W}_{AA}\) 与交叉块 \(\mathbf{C} \in \mathbb{R}^{N \times m}\)。对 \(\mathbf{W}_{AA}\) 进行小规模特征分解 \(\mathbf{W}_{AA} = \mathbf{U}_A \mathbf{\Lambda}_A \mathbf{U}_A^\top\) 后，全图正交近似特征向量 \(\tilde{\mathbf{U}}\) 可通过解析映射得到：

\[\tilde{\mathbf{U}} = \mathbf{C} \mathbf{U}_A \mathbf{\Lambda}_A^{-1}\]

当 SLAM 前端插入新关键帧时，系统无需重新构建全局图，仅需增量更新 \(\mathbf{C}\) 矩阵中与新节点关联的行，计算复杂度大幅降低至 \(O(nm)\)，从而使谱聚类得以在毫秒级预算内流式执行。

3. 保矩 Bures-Wasserstein 超高斯聚合：杜绝朴素算术平均导致的各向异性体积失真

在谱坐标空间聚类得到冗余高斯集合 \(\mathcal{C}_k\) 后，如果采用朴素的算术平均或线性插值直接融合协方差矩阵，会严重破坏各向异性椭球体的几何体积与方向性，引发严重的模糊和失真。MASC 创新性地采用概率测度空间下的 2-Wasserstein 距离，将超高斯 \(\mathcal{S}_k\) 的协方差矩阵 \(\mathbf{\Sigma}_{\mathcal{S}_k}\) 定义为加权 Bures-Wasserstein 质心：

\[\mathbf{\Sigma}_{\mathcal{S}_k} = \arg\min_{\mathbf{\Sigma}} \sum_{i \in \mathcal{C}_k} w_i \, d_W^2(\mathcal{N}(0, \mathbf{\Sigma}), \mathcal{N}(0, \mathbf{\Sigma}_i))\]

其中权重 \(w_i = \alpha_i / \sum_{j \in \mathcal{C}_k} \alpha_j\)。该非凸优化问题通过保定不动点迭代格式实现闭式求解更新：

\[\mathbf{\Sigma}_{\mathcal{S}_k}^{(t+1)} = \left(\mathbf{\Sigma}_{\mathcal{S}_k}^{(t)}\right)^{-1/2} \left( \sum_{i \in \mathcal{C}_k} w_i \left( \left(\mathbf{\Sigma}_{\mathcal{S}_k}^{(t)}\right)^{1/2} \mathbf{\Sigma}_i \left(\mathbf{\Sigma}_{\mathcal{S}_k}^{(t)}\right)^{1/2} \right)^{1/2} \right)^2 \left(\mathbf{\Sigma}_{\mathcal{S}_k}^{(t)}\right)^{-1/2}\]

对于空间中心 \(\mu_{\mathcal{S}_k}\) 和外观属性 \(\mathbf{c}_{\mathcal{S}_k}\)，则直接执行加权低通滤波：\(\mu_{\mathcal{S}_k} = \sum_{i \in \mathcal{C}_k} w_i \mu_i\)，\(\mathbf{c}_{\mathcal{S}_k} = \sum_{i \in \mathcal{C}_k} w_i \mathbf{c}_i\)。该聚合机制在理论上严格保持了局部辐射场的一阶矩与二阶矩，兼具各向异性保真度与几何平滑度。

损失函数 / 训练策略¶

宏观保留比例 \(\rho_k = K / |\mathcal{P}|\) 并非通过人工硬阈值截断，而是由统一的谱重构与物理体积惩罚目标函数动态联合驱动：

\[\min_{\{\mathcal{C}_k\}_{k=1}^K} \sum_{k=1}^K \sum_{i \in \mathcal{C}_k} \|\mathbf{u}_i - \mathbf{z}_k\|_2^2 + \lambda \sum_{k=1}^K \text{Vol}(\mathbf{\Sigma}_{\mathcal{S}_k})\]

式中 \(\mathbf{u}_i\) 为近似谱特征向量行向量，\(\mathbf{z}_k\) 为第 \(k\) 个簇在谱空间内的质心，超参数 \(\lambda\) 平衡了流形谱重构保真度与几何稀疏性。正则项 \(\text{Vol}(\mathbf{\Sigma}_{\mathcal{S}_k}) \propto \sqrt{\det(\mathbf{\Sigma}_{\mathcal{S}_k})}\) 显式抑制聚合生成体积异常膨胀的“虚胖”高斯，避免在光线投射穿过时诱发半透明雾状渲染伪影。

实验关键数据¶

主实验¶

在合成数据集 Replica（测试单目与 RGB-D 模态）和真实动态数据集 TUM RGB-D（涵盖快速相机运动与模糊）上，对 MASC 与当前代表性神经渲染 SLAM 系统进行基准对比。MASC 的所有数据均在精简约 60% 高斯基元（即留存率 \(\rho_k \approx 40\%\)）的严苛条件下测得。

表 1: Replica 数据集上的综合性能对比（RTX 4090 测试）

输入模态	方法	定位 RMSE (cm) ↓	PSNR (dB) ↑	SSIM ↑	LPIPS ↓	渲染 R-FPS ↑	GPU 显存 (GB) ↓
Monocular	Photo-SLAM	1.09	33.30	0.926	0.078	911.3	6.0
Monocular	MASC + Photo-SLAM (本文)	0.35	34.15	0.935	0.065	1150.0	3.5
Monocular	DROID-Splat	0.27	39.47	1.000	0.030	145.0	6.0
Monocular	MASC + DROID-Splat (本文)	0.27	39.20	1.000	0.031	350.0	2.3
RGB-D	Photo-SLAM	0.60	34.96	0.940	0.059	1084.0	5.0
RGB-D	MASC + Photo-SLAM (本文)	0.30	36.39	0.950	0.048	1103.0	3.2
RGB-D	DROID-Splat	0.29	39.66	1.000	0.030	145.0	14.0
RGB-D	MASC + DROID-Splat (本文)	0.29	39.16	1.000	0.037	350.0	5.0

表 2: TUM RGB-D 真实数据集平均性能与留存率 \(\rho_k\) 敏感性分析（摘录自原论文 Table 3）

主干网络	留存率 \(\rho_k\)	地图基元数 (k) ↓	峰值显存 (GB) ↓	跟踪 FPS ↑	轨迹 ATE (cm) ↓	PSNR (dB) ↑	SSIM ↑
Photo-SLAM	100% (未压缩)	~50.0	5.00	40	1.32	21.90	0.763
Photo-SLAM	80%	40.0	4.50	45	1.20	22.40	0.778
Photo-SLAM	60%	30.0	3.70	49	1.08	22.90	0.793
Photo-SLAM	40% (MASC)	20.0	3.50	55	0.98	23.43	0.807
DROID-Splat	100% (未压缩)	180.4	8.50	160	1.47	27.58	0.990
DROID-Splat	60%	108.2	4.50	295	1.43	27.54	0.990
DROID-Splat	40% (MASC)	70.3	3.00	450	1.42	27.52	0.990

消融实验¶

表 3: 压缩策略对比消融（Replica 数据集，\(\rho_k = 40\%\)，DROID-Splat 主干，原论文 Table 4）

压缩策略配置	PSNR (dB) ↑	SSIM ↑	LPIPS ↓	显存 (GB) ↓	ATE (cm) ↓	结论说明
(a) 未压缩基准 (100%)	39.66	1.000	0.030	14.00	0.29	原始无剪枝基线
(b) 随机下采样 (Random)	28.15	0.812	0.185	5.00	1.42	严重破坏表面连续性，误差激增
(c) 启发式剪枝 (Heuristic)	35.20	0.945	0.085	5.00	0.45	割裂局部几何，高频感知损失增加
(d) 欧氏空间 K-Means	36.85	0.968	0.072	5.00	0.40	忽略高斯分布重叠度，带来位姿漂移
(e) MASC (本文谱方法)	39.16	1.000	0.037	5.00	0.33	近乎无损重建，跟踪精度依然极高

表 4: 关键算法组件消融（TUM RGB-D 数据集，\(\rho_k = 40\%\)，原论文 Table 5）

配置组件	PSNR (dB) ↑	SSIM ↑	LPIPS ↓	渲染 FPS ↑	ATE (cm) ↓	说明
(1) 仅几何空间 (\(\sigma_{app} \to \infty\))	19.45	0.712	0.185	430	1.48	缺失外观相似度引导，纹理边界失真
(2) 稀疏代标节点 (\(m = 100\))	18.20	0.685	0.210	460	1.55	Nyström 采样严重不足，谱空间扭曲
(3) 仅欧氏 \(L_2\) 距离 (移除 \(D_{SKL}\))	19.85	0.725	0.165	440	1.46	无法感知三维协方差各向异性重叠
(4) 简单算术平均融合 (无 Wasserstein)	20.32	0.730	0.158	450	1.45	破坏各向异性体积，产生几何偏差
(5) 完整 MASC (\(m = 1000\))	20.96	0.741	0.150	450	1.42	达到最优谱保真度与鲁棒位姿定位

关键发现¶

去伪存真的几何正则化效应：在 TUM 真实序列中，将基元保留率压缩至 40% 反而显著改善了位姿估计精度（Photo-SLAM 的 ATE 从未压缩的 1.32 cm 优化至 0.98 cm，在 fr1/desk 单目序列上从 1.54 cm 优化至 1.50 cm）。这证明 MASC 的谱低通与质心聚合并非简单丢弃细节，而是滤除了由动态模糊和传感器噪声诱发的高频漂浮物（floaters），起到了全局流形正则化的作用。
显存与吞吐的非线性释放：在 DROID-Splat (RGB-D) 上，MASC 将峰值显存从 14.0 GB 压缩至 5.0 GB（降幅 64.3%），渲染帧率从 145 FPS 飙升至 350 FPS（2.4 倍提速），彻底打通了 3DGS SLAM 在边缘设备上长时间运行的性能瓶颈。
代标数量饱和特性：消融曲线表明 Nyström 代标点数在 \(m=1000\) 处即呈现重建保真度饱和（PSNR 曲线平稳），以全图极小的计算开销即可精确逼近全量图拉普拉斯谱。

亮点与洞察¶

从离散重要性到连续图信号处理的范式跃迁：不同于把剪枝看作按权重的离散二选一过滤，MASC 将地图冗余严格证明为流形上的低频谱重叠，用图狄利克雷能量衰减揭示了 3DGS-SLAM 的本质瓶颈，兼具扎实的数理基础与物理可解释性。
Bures-Wasserstein 质心闭式解保持局部辐射矩：通过最优传输理论推导出的不动点迭代算法，保证了聚合后的超高斯在各向异性方向与局部辐射场一阶、二阶矩上的绝对守恒，克服了传统线性平均导致的几何结构塌缩。
跨系统泛化性：MASC 不侵入特定 SLAM 前端的位姿求解器，既适配特征匹配型的 Photo-SLAM，也兼容密集光流迭代型的 DROID-Splat，展现了优异的即插即用特性。

局限与展望¶

代标点采样的静态假设：Nyström 采样当前依赖最远点采样（FPS），在遇到空间分布极度非均匀（如大面积无纹理开阔地面与密集复杂几何结构交织）的环境时，代标点的分配密度可能无法最优自适应局域几何曲率。
大规模室外无界场景拓展：目前实验主要集中在室内 Replica 与 TUM 数据集，在大规模室外车载环视或长距离漂移闭环场景下，图拓扑构建的局部 \(k\) 近邻限制可能需要引入多尺度分层图表示。
动态物体分离机制缺失：虽然低通滤波抑制了部分运动模糊噪点，但当前拓扑图未显式建立时序运动流分离机制，未来可与语义或时空一致性结合，赋能复杂动态场景下的高斯流式精简。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将图信号处理（GSP）与 Bures-Wasserstein 质心引入在线 3DGS SLAM，谱冗余视角极富启发性]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 Replica 与 TUM 双数据集、单目/RGB-D 双模态，包含完备的留存率动态退化与模块消融]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严密、逻辑链条自洽，图表信息表达清晰]
价值: ⭐⭐⭐⭐⭐ [切实攻克了 3DGS SLAM 显存爆炸的产业落地痛点，为神经辐射场实时建图提供了即插即用典范]