Cube-Splat: High-Fidelity 360° Gaussian Splatting SLAM via Cubemap Factorization and Adjoint-Consistent Optimization¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/guoxf304/CubeSplat
领域: 3D 视觉
关键词: 3D高斯泼溅、全向SLAM、立方体图分解、伴随一致性优化、全景三维重建

一句话总结¶

针对传统针孔高斯泼溅 SLAM 视场狭窄、漂移严重及非前向视角空洞的问题，Cube-Splat 将 360° 全景帧解耦为共享光心的四面固定姿态虚拟针孔立方体图，通过李代数伴随映射汇聚多面光度梯度联合更新单一相机位姿，实现了大范围室内外场景高精度、无盲区的全景密集 3DGS-SLAM。

研究背景与动机¶

基于 3D 高斯泼溅（3DGS）的密集视觉 SLAM 系统（如 MonoGS、Photo-SLAM、SplaTAM）在近年来展现出优异的显式几何表达能力与实时可微渲染速度。然而，现有的 3DGS-SLAM 绝大多数建立在标准针孔相机模型的基础之上，其狭窄的视场角（FoV）导致相机每次观测只能覆盖场景极其受限的锥体区域。一旦相机经历剧烈的旋转、剧烈视角转换或经过纹理匮乏的大尺度空间，单视角观测就会出现严重累积漂移；更致命的是，针孔 SLAM 仅能沿前进轨迹重建前方视锥，使侧向与后方未被覆盖的区域留下大片黑色的渲染空洞与重建盲区。

全向 360° 全景成像（例如鱼眼环形透镜 PAL 或等距柱状投影 ERP）在理论上能提供完整的环形全景覆盖，大幅消除遮挡与跟踪死角，但直接将全向帧接入 3DGS-SLAM 面临着双重几何矛盾。一方面，全向相机极其强烈的非线性球面扭曲与透视针孔的光栅化投影机制天然冲突，若直接在全景图上进行高斯泼溅光栅化，计算代价高昂且难以维持局部各向异性高斯椭球体的投影保真度；另一方面，若简单地将全景图像切片为多个独立视角，如何在统一的非线性最小二乘位姿图优化中维持多视角间的刚性几何约束，并避免多面梯度冲突或对参考面选择敏感，是全向辐射场实时建图的核心瓶颈。

本文的切入点在于：全景图像本质上是由单一物理光心接收的 360° 连续光线流，因而可以利用离散正交虚拟针孔面将非线性全向成像精确投影回标准的透视相机模型，并利用刚体变换李群的伴随表示精确统一微分梯度流。核心 idea：通过将 360° 图像因子化分解为共享单一光心的四面固定朝向立方体图（Cubemap），将前方视野作为基准主位姿状态，并利用伴随变换将其余三个观察面的光度扰动梯度严格投射汇聚至主状态，实现视角不变且严格几何一致的全向位姿跟踪与全景高斯建图。

方法详解¶

整体框架¶

Cube-Splat 的整体流程划分为前端位姿跟踪线程与后端高斯地图优化线程，二者协同交替运行。输入的 360° 全景帧（支持 PAL 环形全景与 ERP 全景图像）首先经由几何相机投影模型去畸变并解耦为四面虚拟透视针孔图像（前 Front、左 Left、右 Right、后 Back），所有面严格共享同一个物理投影光心。在位姿跟踪线程中，地图高斯保持冻结，四面图像分别进行可微渲染并计算光度残差，通过伴随矩阵统一回传至主位姿更新当前相机运动；在建图线程中，固定位姿并利用预训练深度网络提取的全景深度先验辅助关键帧的高斯稠密化与插入，并在所有立方体面上反向传播光度损失，更新各向异性高斯的空间位置、协方差、不透明度与球谐系数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 360° 全景图像<br/>PAL 环形模型 / ERP 等距投影"] --> B["立方体图分解与虚拟针孔投影<br/>共享光心分解为四向透视视锥 (F, L, R, B)"]
    B --> C["全景几何先验与关键帧管理<br/>Depth Anywhere 稠密深度先验指导高斯初始化"]
    C --> D["伴随一致性多面位姿跟踪<br/>冻结地图 / 计算四面光度残差 / 伴随映射更新主位姿"]
    D --> E["多面联合高斯建图与稠密化<br/>固定位姿 / 聚合四面光线梯度 / 属性克隆与分裂"]
    E --> F["输出高精度 6DoF 轨迹与 360° 密集辐射场地图"]

关键设计¶

1. 立方体图因子化与虚拟针孔投影：消除全向畸变并统一标准针孔渲染 为了让成熟高效的标准 3DGS 光栅化器无缝处理全向图像，系统建立了统一的立方体图分解机制。针对配备环形透镜的 PAL 工业相机，采用 Scaramuzza 多项式全向投影模型将 2D 像素 $(x_m, y_m)$ 映射到相机坐标系下的单位空间射线，并以最大坐标分量为依据将射线分配到主视轴对齐的立方体面；针对标准的等距柱状投影（ERP）图像，则通过经纬度映射将像素坐标逆投影到三维单位球面上： $$ x_c = \cos(\theta)\cos(\phi),\quad y_c = \sin(\theta),\quad z_c = \cos(\theta)\sin(\phi) $$ 在此基础上，定义了绕光心旋转的四面正交虚拟针孔（前、左、右、后，忽略上下极点以避免无效地面与天空畸变冗余），每面具有独立的 $90^\circ \times 90^\circ$ 视场角。由于所有虚拟面共享单一物理光心，各面到基准面（前视面）的坐标系变换仅由固定的已知旋转矩阵 $R_c^{(k)}$ 决定，从而彻底规避了全向球面复杂的微积分推导，使后续的可微渲染可以直接调用基于仿射近似雅可比 $J$ 的经典 2D 协方差投影： $$ \mathbf{\Sigma}'i = \mathbf{J} \mathbf{R}}^{(k)} \mathbf{\Sigmai (\mathbf{R})^\top $$}^{(k)

2. 伴随一致性多视角位姿优化：实现无偏差的全景梯度聚合 在多相机或多面 SLAM 中，若对各个面分别估计位姿更新，极易因图像噪声或局部纹理缺失导致几何撕裂与尺度不一致。Cube-Splat 将前向虚拟针孔的位姿 $\mathbf{T}_{cw}$ 确立为系统的唯一主状态量，其余各面的世界到相机变换严格由刚体变换外参矩阵 $\mathbf{M}^{(k)} = [\mathbf{R}_c^{(k)} \mid \mathbf{0}]$ 约束，即 $\mathbf{T}_{cw}^{(k)} = \mathbf{M}^{(k)} \mathbf{T}_{cw}$。在非线性最小二乘跟踪中，令主状态的李代数摄动量为 $\boldsymbol{\xi} \in \mathfrak{se}(3)$，由于刚体运动微分映射遵循李群伴随表示，第 $k$ 个面上的局部扰动 $\boldsymbol{\xi}_{(k)}$ 与主状态扰动满足： $$ \boldsymbol{\xi}{(k)} = \mathrm{Ad} $$ 因此，各面渲染图像与真实观测之间的光度误差梯度，可通过伴随算子的转置严格映射并累加到主位姿的梯度中。在 Gauss-Newton 求解中，全局海森矩阵 }^{(k)}} \boldsymbol{\xi$\mathbf{H}$ 与残差梯度向量 $\mathbf{b}$ 被构建为： $$ \mathbf{H} = \sum_k \left(\mathrm{Ad}{\mathbf{M}^{(k)}}\right)^\top \left(\mathbf{J}}^\top \mathbf{W{(k)} \mathbf{J}}\right) \mathrm{Ad{\mathbf{M}^{(k)}}, \quad \mathbf{b} = \sum_k \left(\mathrm{Ad}}^{(k)}}\right)^\top \mathbf{J{(k)}^\top \mathbf{W} $$ 这一伴随一致性构建在数学上严格保证了整个优化过程与参考面的选取无关，使得侧向和后向的广阔全景地标能够无缝锚定主位姿，极大地抑制了纯前向跟踪常有的旋转累积漂移。} \mathbf{r}^{(k)

3. 多面光度聚合建图与全景深度先验引导 在建图阶段，主相机位姿被冻结，四面虚拟图像渲染得到的预测颜色与真值在有效像素区域内计算 Charbonnier 鲁棒光度损失 $\mathcal{L}_{\mathrm{map}} = \sum_k \sum_{\mathbf{u} \in \Omega^{(k)}} \rho(\hat{\mathbf{I}}^{(k)}(\mathbf{u}) - \mathcal{I}^{(k)}(\mathbf{u}))$。来自不同方向视锥的反向传播梯度自然汇聚到全景三维空间中的共享高斯图元上，从而同时更新空间坐标 $\boldsymbol{\mu}_i$、协方差 $\mathbf{\Sigma}_i$、不透明度 $\alpha_i$ 及球谐系数 $\mathbf{C}_i$。为了解决单目高斯 SLAM 在冷启动和快速探索时的大尺度深度欠约束问题，系统引入预训练的 360° 单目深度模型（Depth Anywhere）在关键帧生成密集的几何深度先验，专门用于指导未观测区域内新高斯的几何初始化与天空区域的高斯剔除，而在高频位姿跟踪中完全脱离深度约束仅依赖多面光度一致性，从而在保障几何严密性的同时实现了极低的运行延迟。

4. 自动化全向综合基准 SynPano 数据集设计 为了解决现有全向 SLAM 数据集运动模式单一、缺乏真实 6DoF 复杂漫游轨迹以及缺少绝对对齐真值的问题，作者设计并开源了高扩展性的 SynPano 合成基准。该数据集基于 Blender Cycles 物理全局光照路径追踪引擎自动生成，涵盖 10 个具有挑战性的室内外大尺度场景。通过在采样关键位姿间引入三维贝塞尔曲线（Bézier Curve）参数化插值，SynPano 创造了包含螺旋上升、任意急转漫游等高度复杂的真实 6DoF 连续运动轨迹，并同步输出高分辨率 1920×960 ERP 图像、像素级精准稠密深度、密集 3D 点云及语义掩码，为评测全向 SLAM 极限性能提供了可复现的基准真值。

损失函数 / 训练策略¶

跟踪与建图均基于鲁棒 Charbonnier 光度损失函数 $\rho(x) = \sqrt{x^2 + \epsilon^2}$ 进行多面光度误差计算。在位姿跟踪线程中，采用带伴随变换的 Gauss-Newton 迭代算法，得益于多面全景视锥极强的联合几何约束，前端每次跟踪仅需迭代约 35 步即可高精度收敛（传统针孔基线需 70 步以上）；在建图线程中，设定视差与跟踪残差阈值自适应筛选关键帧，并依据累积梯度阈值进行周期性克隆（针对欠重建小结构）与分裂（针对过大尺度高斯），结合周期性透明度复位剔除悬浮伪影。

实验关键数据¶

主实验¶

论文在真实 PAL 传感器数据集 PALVIO、合成全向数据集 OmniBlender 以及自建的复杂 6DoF 基准 SynPano 上，与 Photo-SLAM、MonoGS 以及 S3PO-GS 等代表性 GS-SLAM 方法展开了全方位对比（基准方法由于不支持 360° 输入，均切取标准 $90^\circ \times 90^\circ$ 前视透视图像作为输入）。指标包含绝对轨迹误差（ATE，单位 m）、峰值信噪比（PSNR，单位 dB）、结构相似度（SSIM）和感知距离（LPIPS）。

表 1：室内与室外全向数据集上的定量评测（摘自原论文 Table 1）

数据集环境	方法	ATE (m) ↓	PSNR (dB) ↑	SSIM ↑	LPIPS ↓
PALVIO (真实室内 PAL)	Photo-SLAM	2.2299	24.74	0.8738	0.2537
	MonoGS	2.8881	23.67	0.8445	0.4575
	S3PO-GS	1.9317	27.70	0.8976	0.2902
	Cube-Splat (本文)	0.0769	29.25	0.9307	0.2145
SynPano (合成室内 ERP)	Photo-SLAM	- (失败)	-	-	-
	MonoGS	0.7112	28.92	0.8795	0.2276
	S3PO-GS	0.1877	32.27	0.9288	0.1454
	Cube-Splat (本文)	0.0040	33.56	0.9356	0.1373
OmniBlender (合成室内 ERP)	Photo-SLAM	0.0095	28.97	0.8892	0.1314
	MonoGS	0.0740	29.68	0.8344	0.2277
	S3PO-GS	0.1221	32.18	0.8876	0.1714
	Cube-Splat (本文)	0.0013	33.22	0.8958	0.1767
SynPano (无界室外 ERP)	Photo-SLAM	- (失败)	-	-	-
	MonoGS	6.5869	22.84	0.7087	0.3297
	S3PO-GS	- (失败)	-	-	-
	Cube-Splat (本文)	0.1058	23.44	0.7349	0.3211
OmniBlender (无界室外 ERP)	Photo-SLAM	0.0337	24.73	0.7704	0.2205
	MonoGS	0.4269	18.86	0.5813	0.4299
	S3PO-GS	0.3334	23.91	0.7196	0.2327
	Cube-Splat (本文)	0.0129	25.88	0.8109	0.2082

消融实验¶

为了严格解耦“视场角增大”与“伴随一致性多视角优化算法”各自的贡献，作者在 SynPano 上控制跟踪（T）与建图（M）所启用的面数，进行受控变量消融研究。

表 2：视场角与伴随一致性优化在 SynPano 上的受控消融（摘自原论文 Table 2）

方法配置	跟踪面数 (T)	建图面数 (M)	伴随一致性 (Ad-Con)	ATE (m) ↓	PSNR (dB) ↑	SSIM ↑	LPIPS ↓	说明
MonoGS (原始)	1 (Front)	1 (Front)	✕ (不适用)	0.7112	28.92	0.8795	0.2276	仅前视单视角建图与跟踪
MonoGS (1T-4M)	1 (Front)	4 Faces	✕ (不适用)	0.1057	30.91	0.9095	0.1625	四面聚合建图，但仍单面前视跟踪
Cube-Splat (2T-4M)	2 Faces	4 Faces	✓	0.0526	32.18	0.9187	0.1539	双面伴随联合跟踪
Cube-Splat (3T-4M)	3 Faces	4 Faces	✓	0.0057	32.88	0.9294	0.1476	三面伴随联合跟踪
Cube-Splat (完整版)	4 Faces	4 Faces	✓	0.0040	33.56	0.9356	0.1373	全四面伴随联合跟踪与建图

表 3：前端优化迭代步数缩减鲁棒性对比（摘自原论文 Table 3 节选）

优化迭代数	barbershop (MonoGS)	barbershop (S3PO-GS)	barbershop (Cube-Splat 本文)	classroom (MonoGS)	classroom (S3PO-GS)	classroom (Cube-Splat 本文)
100 iters	0.1577 m	0.1056 m	0.0006 m	0.0076 m	0.1133 m	0.0012 m
50 iters	0.2828 m	0.1069 m	0.0006 m	0.0715 m	0.1145 m	0.0007 m
30 iters	0.3270 m	0.1062 m	0.0013 m	0.1783 m	0.1162 m	0.0013 m
20 iters	0.2256 m	0.1069 m	0.0409 m	0.3021 m	0.1061 m	0.0049 m

表 4：单卡 RTX 4070 Ti SUPER 运行效率分析（摘自原论文 Table 4）

系统配置	观察视角	整体运行 FPS ↑	每步迭代用时 ↓	跟踪收敛迭代数	每帧总耗时 ↓
MonoGS	1 面 (Front)	~1.60	7.8 ms	~70 步	0.47 s
Cube-Splat (无深度先验)	4 面 (Cubemap)	~1.60	12.7 ms	~35 步	0.49 s
Cube-Splat (完整系统)	4 面 (Cubemap)	~1.53	12.8 ms	~35 步	0.49 s

关键发现¶

多面伴随优化的质变效应：如表 2 所示，仅扩充建图视场（MonoGS 1T-4M）可将 ATE 从 0.7112m 降至 0.1057m，但当引入 4 面伴随跟踪时，ATE 呈现数量级跃升至 0.0040m（误差降低 96% 以上），证明全景 SLAM 的核心优势必须通过严格一致的跟踪优化才能被充分激发。
无界室外场景的断崖式优势：在极端挑战的室外场景中（如 SynPano outdoor），狭窄针孔系统由于缺乏远近几何深度约束，Photo-SLAM 和 S3PO-GS 发生轨迹发散失败，MonoGS 漂移高达 6.58m；而 Cube-Splat 依靠 360° 周边环境稳定特征持续锚定相机姿态，将 ATE 压制在 0.1058m。
优化步数大幅压缩带来的计算换算比：多面联合残差提供了极强的梯度引导方向，使系统在迭代次数被砍到 30 步时仍能维持毫米级定位精度（表 3）。虽然单步耗时因处理四面图像从 7.8ms 增加至 12.8ms，但总迭代步数由 70 步缩减至 35 步，使得每帧耗时维持在 0.49s（约 1.53 FPS），与单目单针孔基线基本持平。

亮点与洞察¶

李群伴随矩阵的巧妙化用：将多相机固联刚体几何与李代数求导紧密结合，直接推导出多虚拟面残差对单一主相机状态的伴随雅可比累加形式，以纯数学闭式解彻底解决了多面视锥同时跟踪时的梯度不一致与参考坐标系依赖问题。
计算复杂度与收敛速度的对冲平衡：多视角渲染通常会显著拖慢 SLAM 的运行频率，但作者敏锐发现多向视锥能提供正交约束信息，使得 Gauss-Newton 步长直指真实最优解，通过削减 50% 的迭代次数抵消了 4 倍渲染开销，在工程和理论上实现了优雅平衡。
高质量合成全景基准 SynPano 的开源价值：首次系统化解决了全向 SLAM 领域缺乏带复杂 6DoF 运动、无漂移几何真值和物理渲染光影基准的痛点，通过贝塞尔轨迹参数化与全模态标注填补了社区关键测试空白。

局限与展望¶

上下极点视锥的舍弃：系统为降低计算开销并规避无人机或手持设备上下方向特征退化与畸变，仅采用了水平环形的四面立方体图。在需要剧烈俯仰（如大幅度抬头翻滚）的空中具身飞行场景下，可能缺失关键天顶与天底几何约束。
单目尺度依赖与深度先验开销：尽管 Depth Anywhere 仅在关键帧介入且耗时受限，但在纯单目设定下，无界户外场景的绝对尺度仍需先验约束，未来若融合全向惯性测量单元（VIO）或 LiDAR 测距将使几何更加稳健。
动态物体与极高帧率挑战：当前系统运行帧率约为 1.5 FPS，属于准实时水平，距离车载导航和高速机器人所需的 20+ FPS 仍有差距，且尚未建模场景中的动态前景移动对象。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次提出基于立方体图因子化与伴随一致性映射的 360° 3DGS-SLAM 架构]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖真实 PAL 环形工业镜头、OmniBlender 及自建高难度 6DoF SynPano 室内外基准，消融实验严谨详实]
写作质量: ⭐⭐⭐⭐⭐ [数学推导清晰简练，图表精美直观，动机与逻辑展开连贯]
价值: ⭐⭐⭐⭐⭐ [为全向相机与具身智能机器人的全景三维显式建图提供了坚实的理论基础与开箱即用的开源工具链]