ActiveStructure: Plane Scene Graph-Guided Active 3D Gaussian Splatting¶

会议: ECCV 2026
Paper: https://eccv.ecva.net/virtual/2026/poster/5184
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/9253.pdf
领域: 3D视觉
关键词: 主动重建、三维高斯泼溅、平面场景图、下一最佳视点、结构完整性

一句话总结¶

ActiveStructure 在主动 3DGS 建图中加入持续更新的平面场景图，用关系异常与三维缺口驱动视点选择，并让已建好的墙面从探索吸引目标变成抑制信号，在 Replica 的固定 2000 帧预算下达到 97.47% 覆盖率和 32.13 dB PSNR。

研究背景与动机¶

主动重建不仅要回答“如何把看到的图像拟合好”，还要决定“下一步去哪里看”。ActiveGAMER 等方法根据渲染覆盖、像素或高斯的不确定性选择视点，擅长发现未观测区域；然而，两块墙面分别渲染得很好，并不意味着它们之间的关系已经可靠。墙角是否衔接、地板与天花板是否平行、远处两片点云是否其实属于同一面墙，都是涉及多个表面的关系问题，逐像素分数没有直接表达这些关系的载体。

平面先验和场景图本身并不新。PGSR 等工作把平面用于改善已有观测的几何拟合，场景图则常用于重建后的语义组织。本文改变的是这些结构的用途：让未验证的关系主动生成采集需求，而不只是被动约束模型。大平面还具有阶段性的双重作用：早期多看墙、地板和天花板有利于建立场景骨架，后期继续把预算花在已经完善的大平面上，却可能妨碍桌椅等小表面的补充观测。

因此，本文没有替换高斯表达，也没有提出一个新渲染器，而是在同一个建图系统上增加关系评估与探索控制。核心 idea：用平面场景图衡量像素覆盖之外的结构缺损，并随着骨架完善反转大平面的探索作用，把采集和优化预算转向仍然缺少监督的表面。

方法详解¶

整体框架¶

输入是室内智能体逐步获得的带位姿 RGB-D 帧，输出是增量更新的 3DGS 地图。系统同时维护三种表示：高斯地图负责颜色、深度渲染与像素覆盖；平面场景图负责表面关系和缺损评估；符号距离场 SDF 负责可通行性与避障。

关键帧中的平面分割被提升到三维并合并到图中，随后评估各平面的自身质量与关系异常，将不足转成候选视点的结构增益。候选视点再结合像素增益、当前探索阶段和距离因素排序，经 SDF 上的路径规划执行后，新的观测反馈给高斯地图与场景图。以下四个设计依次解释这条闭环。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["带位姿 RGB-D<br/>高斯地图与 SDF"] --> B["平面场景图"]
    B --> C["质量与关系异常"]
    C --> D["缺口定位与双路增益"]
    A -->|像素覆盖| D
    D --> E["信息极性反转"]
    E --> F["视点选择与避障<br/>采集或精修"]
    F -->|新观测更新| A

关键设计¶

1. 平面场景图：将局部平面观测变成持续维护的关系骨架

系统在周期性关键帧上检测平面，将 RGB-D 分割结果反投影到三维，再用 SVD 拟合平面。每个节点保留法向与偏移、点集、面积、观测次数、质心以及法向历史。难点不是单帧拟合，而是判断新片段是否对应旧表面：如果法向严格对齐且点到平面的距离很小，就放宽质心距离，让相距较远的同一墙面碎片能够合并；不满足共面条件时采用更严格的质心门限，另用深度不连续检查排除几何相似但物理分离的表面。匹配成功后指数滑动平均更新，否则新增节点。

图边综合法向对齐和空间接近程度，权重越小代表关系越可靠，再以最小生成树提取强关系骨架。这里的边权是关系亲和度，不应误读成对所有正交关系的直接奖励。节点若具有较高的树上介数中心性、较大的树度数，或同时满足面积与点数门限，就归为结构平面；其余归为物体表面。前两项发现关系枢纽，后一项避免一块尚未连入成熟骨架的大墙被错当小物体。这是随建图演化的几何分类，而不是依赖墙、椅等语义标签的分类器。

2. 质量与关系异常：区分“这块面没建好”和“它与周围没连好”

自身质量使用八类信号：空间覆盖、点密度、拟合稳定性、观测次数、边界完整性、法向一致性、时间稳定性和内部完整性。结构平面更重视覆盖、内部完整性与法向一致性，物体表面更重视密度、边界与观测次数；法向一致性利用滑动窗口中的历史法向，避免一次拟合得好就被当作已经收敛。八维质量向量经过类型相关的加权聚合得到质量分数，分数越高代表自身重建越充分。

关系侧再检查三种异常：树上的低度数节点可能缺乏结构锚定；空间上相近却没有图边的节点提示邻域关系缺失；相邻平面夹角偏离室内常见的平行或正交关系，则提示法向或观测仍不稳定。三个分数都保留非零下限，避免某个维度把其他信号完全清零。核心融合关系为原文式 (10) 及其前文定义：

\[ \Phi_i=\phi_i^{\mathrm{c}}\phi_i^{\mathrm{r}}\phi_i^{\mathrm{g}},\qquad \gamma_i=(1-q_i)\Phi_i. \]

其中 \(q_i\) 是自身质量，三个 \(\phi\) 分别表示连通、邻域和几何异常；\(\gamma_i\) 是用于规划的结构信息缺损。乘法相当于软合取：只有自身不足与多种关系异常同时突出，优先级才明显上升，而不是一个可疑角度就触发大量回访。这也有代价：高自身质量或某一很小的异常分数会压低总信号，因此“能表达关系问题”不等于“会强烈响应所有关系问题”。原文还用可见节点异常的均值与最大值混合，兼顾整片薄弱区域与单个严重异常；缓存未明确给出该混合量在最终候选评分中的完整代入细节。

3. 缺口定位与双路增益：把抽象不足转成可拍摄的三维目标

只有一个低质量分数，规划器仍不知道该朝哪里看。本文把平面点集投影到 SVD 给出的二维切平面，在网格上通过形态学闭运算获得内部掩膜，再检查其中哪些网格没有观测点。原文定义的内部缺损率为：

\[ g_i=\frac{|I_i\setminus O_i|}{|I_i|+\epsilon}. \]

\(I_i\) 表示内部掩膜，\(O_i\) 表示已占据网格。空格中心被逆投影回三维，成为明确的缺口目标；这不同于只看平面点数少不少，也不同于仅沿外边界补点。不过，内部掩膜是估计结果，不是完整表面的真值，所以真实开口与观测缺口的区分仍取决于几何假设和观测质量。

候选池来自自由体素位置与 Fibonacci 球面格点采样的朝向。像素增益统计没有可信高斯覆盖的像素；若候选主要看到已跟踪且缺损很低的平面，就降低这部分收益。结构增益则累加可见平面的缺损，并奖励能看到三维缺口中心的候选。可见性通过视锥、距离和观察角度筛选；系统还为看到已跟踪平面的候选保留非零可见性下限。原文式 (13) 和 (14) 可清晰整理为：

\[ \mathrm{IG}_{\mathrm{str}}(T_c)=\sum_{i\in V_c^{\mathrm{vis}}}\alpha_i^{(\psi)}\gamma_i+\omega_d\mathrm{IG}_{\mathrm{def}}(T_c), \]

\[ \mathrm{IG}(T_c)=(1-\rho_c)\mathrm{IG}_{\mathrm{px}}(T_c)+\omega^{(\psi)}\mathrm{IG}_{\mathrm{str}}(T_c). \]

\(\psi\) 是当前阶段，\(\alpha\) 调节不同类型平面的权重，\(\omega_d\) 控制缺口项，\(\rho_c\) 折扣像素收益，\(\omega\) 控制结构通道。这里的“信息增益”是可计算的规划代理分数，不是已标定的概率熵下降，也没有要求两路统计独立。候选经对数增益的 softmax 归一化后，再乘上偏好距离较近、可达目标的因子；SDF 上的 RRT 生成带最小安全间距约束的路径，随后平滑插值平移和旋转。高斯优化仍沿用原有流程，改变的是获得监督的位置。

4. 信息极性反转：完成的大平面不再持续吸引探索

第一阶段强调结构平面的缺损，保守裁剪候选，优先获得墙、地板、天花板构成的骨架，候选池耗尽时结束。第二阶段转向物体表面，提高折扣上限：若视野主要被已经重建好的结构平面占据，就进一步折扣候选收益，使同一大平面从早期的吸引对象变成后期的抑制信号。这里的“反转”不需要将高斯颜色或几何损失取负，也不等于把所有平面增益直接变成负值，而是改变类型权重、折扣与终止信号。

第三阶段重访渲染保真度最低的关键帧并增加建图优化迭代，直到目标关键帧超过质量门限。总体上，阶段边界由重建状态而非预先分配的帧数驱动；但这不代表实验没有预算，全部阶段仍被纳入每序列 2000 帧限制。后处理会改善图像质量，也可能降低几何完整性，因此需要看消融中的多指标取舍，而不能把三个阶段当作对每个指标都单调有益。

一个完整示例¶

设想一间已看过大部分墙面的办公室，墙面中间仍有一块未覆盖区域，墙与地板的关系也不够稳定。这是机制示例，不是额外实验：场景图先把属于同一墙面的碎片合成节点；八维质量指出内部覆盖不足，关系分数又发现锚定薄弱，二者共同抬高结构缺损。二维网格中的空格被还原成三维目标后，一个新像素收益不高、但能正对缺口的候选仍可能胜出。

补拍完善了墙面后，该节点的缺损下降。第二阶段继续看这面墙的候选被折扣，桌椅表面的收益变得更重要；最后系统不再追逐新区域，而是回到低保真关键帧做优化。Replica Off2 的消融恰好展示这种取舍：缺口定位配置的覆盖率为 97.21%，完整配置为 96.58%，但 PSNR 从 29.03 升至 30.94 dB。

损失函数 / 训练策略¶

增量建图通过颜色与深度监督更新高斯，关键帧在未覆盖位置初始化新高斯，并执行分裂、克隆和裁剪。原文式 (3) 的缓存文本在深度残差处截断，因此这里不补写完整损失，也不猜测损失权重、迭代次数、平面门限、候选方向数量或阶段阈值。

实验采用 Habitat 的带位姿 RGB-D 观测，视场为 \(60^\circ\times90^\circ\)，单张 RTX 4090，每序列 2000 帧且包含三个阶段。论文说明主动 GS 对比系统使用 SplaTAM 建图骨干而不更改高斯属性；被动系统则提供真值位姿并去掉跟踪阶段。因此结果主要检验探索策略，不能直接当作含定位误差的真实机器人 SLAM 结论。

实验关键数据¶

主实验¶

Replica 包含 8 个室内场景，Matterport3D（MP3D）包含 5 个较大的环境。Acc 为几何精度误差，Com. 为补全误差，单位均为 cm、越低越好；C.R. 为 5 cm 阈值下的覆盖率，越高越好。PSNR 单位为 dB，SSIM 越高越好，LPIPS 越低越好。下表摘录原文表 1、表 2 的平均结果。

数据集	方法	Acc ↓	Com. ↓	C.R. ↑	PSNR ↑	SSIM ↑	LPIPS ↓
Replica	ActiveSplat	1.43	1.58	93.64%	24.72	0.854	0.170
Replica	ActiveGAMER	1.28	1.74	96.59%	30.99	0.960	0.137
Replica	ActiveStructure	1.16	1.49	97.47%	32.13	0.974	0.116
MP3D	ActiveSplat	4.05	6.66	84.81%	21.79	0.737	0.253
MP3D	ActiveGAMER	1.63	2.54	94.63%	25.43	0.912	0.285
MP3D	ActiveStructure	1.57	1.91	96.23%	26.08	0.920	0.256

相对 ActiveGAMER，Replica 的 PSNR 提升 1.14 dB，覆盖率增加 0.88 个百分点；MP3D 的补全误差从 2.54 降到 1.91 cm，相对降低约 24.8%，覆盖率增加 1.60 个百分点。MP3D 的 LPIPS 仍略逊于 ActiveSplat；Replica 的 MonoGS 虽有更低的 LPIPS 0.085，却只有 73.20% 覆盖率，不能只看单一外观指标宣称整体重建更好。

消融实验¶

原文表 3 在 Replica Off2 上逐项累加组件，而不是逐项独立移除。Depth 为深度误差，单位 cm。

配置	Acc ↓	Com. ↓	C.R. ↑	PSNR ↑	SSIM ↑	LPIPS ↓	Depth ↓
A：仅像素计数	1.51	4.65	91.24%	28.41	0.962	0.163	1.47
B：加 PSG 增益	1.42	3.45	92.07%	28.65	0.963	0.157	1.39
C：加异常检测	1.33	1.68	96.98%	29.12	0.964	0.135	1.22
D：加缺口定位	1.17	1.56	97.21%	29.03	0.963	0.131	1.07
E：完整模型	1.22	1.65	96.58%	30.94	0.976	0.115	0.91

关键发现¶

B 到 C 的补全误差降低 1.77 cm，覆盖率增加 4.91 个百分点，是最显著的单次结构改善；仅仅建一个图还不够，异常如何转成规划权重才是关键。
D 到 E 的 PSNR 增加 1.91 dB，但 Acc 变差 0.05 cm，覆盖率减少 0.63 个百分点。该变化同时涉及分阶段策略与末期优化，不能据此隔离出极性反转的独立因果效应。
原文表 4 中，Room0 耗时为 20.5 分钟，对比 ActiveGAMER 的 114.5 分钟，约快 5.6 倍；Room1 为 17.6 对 99.1 分钟。这是两场景的总耗时，不是整套数据集的平均帧率。

亮点与洞察¶

结构表示不仅用于优化，也能提出下一次观测应解决的问题。把“看起来已覆盖”与“关系已经稳定”分开，是比更换渲染器更可迁移的设计。
缺口逆投影把诊断变成三维目标。类似思路可以用于其他主动建图系统，但需验证掩膜是否会把真实开口误判为缺损。
同一类表面在不同阶段有不同信息价值。类型权重与折扣的状态切换比持续奖励大面积表面更契合室内重建需求。

局限与展望¶

作者明确指出的取舍：末期外观优化会牺牲部分几何准确度与完整性，完整模型并非所有指标都最优。
适用假设：平面与典型夹角先验适合室内建筑；曲面、倾斜结构、非典型布局可能引入误报。缓存未给出这些场景的专项验证。
评估边界：实验使用带位姿仿真观测，未证明对真实深度噪声、位姿漂移、动态遮挡的鲁棒性；效率表仅覆盖两个 Replica 场景。
解释与复现边界：累加消融不能排除组件交互，缓存未报告误差条或多随机种子统计，部分公式抽取损坏且若干阈值未明确。后续应增加独立开关消融、噪声实验与参数敏感性分析。
关系信号仍是代理量：最小生成树的叶节点不必然意味着观测不足，乘法融合也可能压低单一严重异常。可探索带关系置信度的图与更具选择性的异常聚合，但这属于后续建议，不是本文已验证结果。

评分¶

新颖性：4/5。把持续维护的表面关系用于主动规划，并引入阶段性抑制机制，贡献清楚，但大量基础组件已有先例。
实验充分度：4/5。两个数据集、多种基线与累加消融支持有效性，真实噪声、独立组件贡献和统计稳定性仍待验证。
写作质量：4/5。像素覆盖与关系完整性的区别清晰，但不能把结构代理量视为完整性的严格保证，缓存公式损坏也限制核验。
价值：4/5。对平面占主导的室内主动重建具有实用启发，几何与外观的预算取舍也有参考意义。