NoPA: Non-Parametric Online 3D Scene Graph Generation¶
会议: ECCV 2026
论文: ECCV 原文
领域: 3D 视觉
关键词: 3D场景图、在线生成、非参数化分布、核密度估计、最大均值差异
一句话总结¶
针对基于单高斯假设的在线3D场景图生成容易在扁平或多部件物体上发生欠合并与几何细节丢失的问题，NoPA提出基于固定粒子集核密度估计的非参数化物体表征，结合“Hellinger粗筛 + MMD细判”的两阶段在线融合策略与亲和度关系传播机制，在保持实时推理效率的同时大幅提升了场景图构建精度。
研究背景与动机¶
在线 3D 语义场景图（3D SSG）构建是从流式连续 RGB-D 观测中实时解析场景几何、物体语义及空间交互拓扑的关键任务，在具身智能、机器人导航与三维操作中具有核心支撑作用。然而，传统离线或基于 RGB-D SLAM 稠密点云重建的在线框架计算负载极大，难以在有限显存与实时帧率约束下稳定部署；而近期以 FROSS 为代表的无 SLAM 实时方案虽通过将物体粗暴简化为单一 3D 高斯椭球实现了超实时推理，却将三维场景图生成推入了另一维度的困境。
单一 3D 高斯分布施加了严格的单峰椭球几何先验，在面对墙壁、挂画、窗户等薄片/平面结构时极易退化出近奇异的协方差矩阵，而在椅子、水槽等凹形或多部件复合实体上又无法维持真实的空间支撑。在多视角探索过程中，视点转换与局部遮挡会导致同一物体的局部估计产生剧烈偏移的协方差；当基于 Hellinger 距离或 Bhattacharyya 距离进行数据关联时，局部观测无法与全局物体对齐而频繁触发欠合并，导致单个物体破碎为多个孤立小高斯，并在严格的后处理滤除阶段造成关系边的大量流失。
解决该瓶颈的关键在于：既要摆脱繁重且无界膨胀的点云与网格重构，又不能倒退回过度简化的刚性参数化椭球假定。本文的核心 idea 是为每个三维物体维护固定尺度的非参数化粒子集合并构建核密度估计，采用 Hellinger 边缘带内的最大均值差异（MMD）进行分布级鲁棒关联，并在重采样保持常数内存的同时借助图亲和度聚类传播补全缺失关系边。
方法详解¶
整体框架¶
NoPA 接收流式 RGB-D 视频帧与对应的相机位姿，先利用预训练的 2D 场景图检测器提取局部物体的 2D 边框与候选交互谓词；随后在 2D 边框内均匀采样像素点并依据深度反投影至世界坐标系，构造局部的 3D 粒子集；接着，局部候选粒子集与全局维护的物体集合进行两阶段在线数据关联——利用快速拟合高斯的 Hellinger 距离快速判定明确匹配与明确新生，而对处于边界带内的模糊候选调用最大均值差异（MMD）实现分布级判决；合并后通过基于 MCMC 扰动的核密度重采样将粒子数严格限制为常数；最后利用关联期间缓存的 MMD 亲和度矩阵执行关系传播与多数表决，恢复单帧漏检的拓扑连边。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["流式 RGB-D 输入与相机位姿"] --> B["2D 场景图检测与反投影粒子集采样"]
B --> C["两阶段在线关联与分布级合并<br/>Hellinger 粗筛 + MMD 边界判决"]
C --> D["常数内存粒子核密度重采样<br/>MCMC 提议扰动更新支撑集"]
D --> E["亲和度聚类关系传播与补全<br/>复用 MMD 矩阵恢复单视角漏检边"]
E --> F["全局 3D 语义场景图输出"]关键设计¶
1. 非参数化粒子集表征：打破刚性椭球先验并保留多模态几何支撑 传统高斯参数化强行假设物体为单峰对称椭球，极易抹杀非凸及薄片物体的几何轮廓。NoPA 将每个 3D 物体 \(o\) 建模为包含 \(n\) 个离散粒子点 \(\mathcal{X}(o) = \{\mathbf{x}_k\}_{k=1}^n \subset \mathbb{R}^3\) 的非参数化样本集。在空间中，这一粒子集对应于一个未知连续空间占用分布的核密度估计（KDE）： $\(\hat{f}(\mathbf{x}\mid o) = \frac{1}{n} \sum_{k=1}^n \kappa(\mathbf{x}, \mathbf{x}_k), \quad \kappa(\mathbf{x}, \mathbf{y}) = \exp\left(-\frac{\|\mathbf{x}-\mathbf{y}\|_2^2}{2\sigma^2}\right)\)$ 该连续非参数化分布天然具备表达任意多峰形态、凹多边形与各向异性片状结构的能力，无需存储海量稠密点云，从而在源头上杜绝了由于协方差失配引发的欠合并问题。
2. 两阶段在线关联与分布级合并：兼顾毫秒级推断与难例分布匹配 在线场景图中全量计算粒子集分布距离极为耗时，而单纯依赖协方差又易在遮挡或视角转换时失效。为此，NoPA 设计了混合判定准则：首先对局部新物体 \(\hat{o}\) 与全局物体 \(o\) 的粒子集分别拟合一阶矩与二阶矩 \((\mu, \Sigma)\) 和 \((\hat{\mu}, \hat{\Sigma})\)，计算二者之间的 Hellinger 距离 \(d_H\)；若 \(d_H < \delta_H - \epsilon\)，则直接确认为同一物体并合并；若 \(d_H > \delta_H + \epsilon\)，则明确判为新物体并实例化；而对于落在不确定边缘带 \([\delta_H - \epsilon, \delta_H + \epsilon]\) 内的模糊候选项，系统触发第二阶段的最大均值差异（MMD）检验： $\(d_{\mathrm{MMD}}^2(o, \hat{o}) = \mathbb{E}_{\mathbf{x},\mathbf{x}'\sim\mathcal{X}(o)}[\kappa(\mathbf{x}, \mathbf{x}')] + \mathbb{E}_{\mathbf{y},\mathbf{y}'\sim\mathcal{X}(\hat{o})}[\kappa(\mathbf{y}, \mathbf{y}')] - 2\mathbb{E}_{\mathbf{x}\sim\mathcal{X}(o),\mathbf{y}\sim\mathcal{X}(\hat{o})}[\kappa(\mathbf{x}, \mathbf{y})]\)$ 当 \(d_{\mathrm{MMD}} \le \delta_{\mathrm{MMD}}\) 时执行合并，否则生成新节点。MMD 在再生核希尔伯特空间（RKHS）中衡量两个经验测度的全分布差异，不仅对高阶矩敏感，且完全无需显式点对点配准或表面网格生成，精准拦截了二阶矩偶然接近但真实轮廓迥异的错误关联。
3. 常数内存粒子核密度重采样：防止粒子无限膨胀与长程特征退化 随着多帧连续对齐，直接合并粒子集会导致物体包含的粒子数无界线性膨胀，使后续图迭代与 MMD 评估计算复杂度急剧爆炸。NoPA 提出了基于连续空间核密度重采样的保容机制：合并后的物体取两集合并支撑 \(\mathcal{X}(o) \cup \mathcal{X}(\hat{o})\)，将其映射为 MCMC 采样的提议分布，通过在离散粒子索引上均匀抽取并施加高斯扰动生成新的固定基数粒子集： $\(\mathcal{X}_j(o) \leftarrow \mathcal{X}_{I_j}(o) + \varepsilon_j, \quad I_j \sim \mathrm{Uniform}\{1, \dots, 2n\}, \quad \varepsilon_j \sim \mathcal{N}(0, h^2 \Sigma)\)$ 在工程实现中通过 Cholesky 分解 \(LL^\top = h^2 \Sigma\) 采用张量并行化加速扰动注入 \(\mathcal{X}(o) \leftarrow \mathcal{X}_{:,\mathbf{I}}(o) + L \mathbf{Z}\)（其中 \(\mathbf{Z} \in \mathbb{R}^{3\times n}\) 为标准高斯白噪声）。这一重采样过程使得全局物体粒子数恒定锁定为 \(n=256\)，不仅将内存占用压缩至与高斯方案相同的数十兆字节级别，而且在空间上平滑了多次观测的拼接边界，保留了跨视角的多模态表面细节。
4. 亲和度聚类关系传播与补全：弥补单视角检测丢边与谓词断裂 2D 场景图检测器在单视角画面下由于视线遮挡、光照突变或低置信度过滤，经常发生谓词预测漏检（Dropout），而在增量式 3D 拓扑维护中丢失的边往往永久无法恢复。NoPA 利用在关联阶段自然沉淀的高精 MMD 测度构造无额外计算开销的物体亲和度矩阵： $\(\mathbf{A}_{i,j} = \left[\max\left(0, 1 - \frac{d_{\mathrm{MMD}}(\mathcal{X}_i(o), \mathcal{X}_j(o))}{2\delta_{\mathrm{MMD}}}\right)\right]\)$ 通过设定阈值 \(\tau\) 滤除弱关联以防止超大团聚类，系统将空间结构相似、几何支撑吻合的局部候选片段归入同质聚类簇内；新合并或生成的节点在继承当前帧检测谓词后，在簇内进行关系边广播并通过多数投票（Majority Voting）裁决最终关系类别，有效抑制了伪阳性孤立预测并极大补全了遗失的图拓扑。
实验关键数据¶
主实验¶
在 3DSSG 数据集（20 类物体、7 类谓词）与 ReplicaSSG 数据集（34 类物体、9 类谓词）上对比主流在线 3D SSG 生成算法。评测指标采用关系三元组召回率（Rel. Recall）、物体类别召回率（Obj. Recall）、谓词召回率（Pred. Recall）以及对应的类别平均召回率（mRecall），同时统计单帧耗时与显存消耗。
| 数据集 | 方法 | Rel. Recall (%) | Obj. Recall (%) | Pred. Recall (%) | Obj. mRecall (%) | Pred. mRecall (%) | 延迟 (ms) | 显存 (MB) |
|---|---|---|---|---|---|---|---|---|
| 3DSSG | JointSSG [34] | 25.5 | 58.1 | 27.3 | 43.0 | 33.3 | 191 | - |
| 3DSSG | Kim et al. [14] | 9.1 | 59.0 | 7.1 | 51.0 | 8.0 | 310 | - |
| 3DSSG | FROSS [11] | 27.9 | 62.4 | 33.0 | 63.8 | 18.0 | 7 | - |
| 3DSSG | FROSS (复现) | 25.7 | 60.6 | 30.7 | 62.4 | 17.7 | 22 | 1204 |
| 3DSSG | NoPA (n=128) | 49.9 | 68.5 | 58.5 | 65.7 | 30.2 | 26 | 1206 |
| 3DSSG | NoPA (n=256) | 53.2 | 69.0 | 61.4 | 66.4 | 29.4 | 27 | 1206 |
| ReplicaSSG | FROSS [11] | 22.3 | 26.1 | 27.8 | 28.8 | 20.4 | 7 | - |
| ReplicaSSG | FROSS (复现) | 22.3 | 25.3 | 27.5 | 27.6 | 12.6 | 17 | 1206 |
| ReplicaSSG | NoPA (n=128) | 32.4 | 28.0 | 34.6 | 29.6 | 16.5 | 22 | 1230 |
| ReplicaSSG | NoPA (n=256) | 36.9 | 28.6 | 39.5 | 29.8 | 18.6 | 23 | 1230 |
消融实验¶
在 3DSSG 测试集上逐步分解核心组件对最终场景图生成的增益表现，其中 NP. 为非参数化粒子集表征，Merge. 为基于 MMD 的两阶段合并判定，Prop. 为基于亲和度聚类的关系传播机制。
| 配置 | NP. | Merge. | Prop. | Rel. Recall (%) | Obj. Recall (%) | Pred. Recall (%) | Obj. mRecall (%) | Pred. mRecall (%) | 说明 |
|---|---|---|---|---|---|---|---|---|---|
| 基线 (FROSS) | \(\times\) | \(\times\) | \(\times\) | 25.7 | 60.6 | 30.7 | 62.4 | 17.7 | 经典高斯参数化方案 |
| + 仅粒子替换 | \(\checkmark\) | \(\times\) | \(\times\) | 17.6 | 66.1 | 20.8 | 64.8 | 11.1 | 强行用旧高斯规则合并粒子导致失配严重 |
| + MMD 合并策略 | \(\checkmark\) | \(\checkmark\) | \(\times\) | 26.3 | 69.0 | 31.0 | 66.4 | 17.1 | 契合粒子分布的 MMD 判定全面拉升召回 |
| 完整 NoPA | \(\checkmark\) | \(\checkmark\) | \(\checkmark\) | 53.2 | 69.0 | 61.4 | 66.4 | 29.4 | 关系传播将关系召回暴增至 53.2% |
关键发现¶
- 非参数化表征必须配合匹配的分布准则：单独将高斯替换为粒子集却沿用旧高斯合并准则时，三元组关系召回率大幅跌落至 17.6%，这是因为高斯距离无法度量非参数化粒子流的多峰边界；而一旦引入 MMD 评估，三元组与物体召回立即恢复并反超基线。
- 关系传播机制对拓扑完整度具有决定性提升：在维持物体空间占位完全不变的前提下，关系传播机制将关系召回从 26.3% 跨越式跃升至 53.2%（绝对提升 +26.9%），谓词召回翻倍（31.0% \(\rightarrow\) 61.4%），充分证明单视角 2D 丢边是阻碍在线 3D 拓扑一致性的头号元凶。
- 粒子规模与延迟保持极佳平衡：仅需 \(n=128\) 个粒子即可取得 49.9% 的关系召回并实现 26ms（约 38.5 FPS）的端到端超实时推理；扩展至 \(n=256\) 粒子时耗时仅微增 1ms，显存稳定锁定在约 1.2GB，完全能够直接挂载在板载计算单元运行。
亮点与洞察¶
- 将连续 KDE 与 MCMC 引入常数内存流式融合：通过高斯核扰动重采样解决在线更新中粒子集无限增长的工程顽疾，既规避了体素降采样的格网离散化伪影，又将内存与耗时牢牢限制在常数级别。
- 两阶段关联的成本最优解：并非全盘盲目调用高开销的 MMD 核矩阵运算，而是将一阶/二阶矩作为快速预筛选漏斗，仅在分布模糊的边缘带激活 MMD，实现了算法精度与计算成本的最佳解耦。
- 无感复用中间分布测度构建拓扑先验：直接将合并阶段计算出的跨物体 MMD 相似度作为后续图关系亲和度，完全不需增加额外神经网络开销便实现了鲁棒的多视角拓扑自愈。
局限与展望¶
- 受制于前端 2D 场景图检测器的上限：作为 Lifting-based 架构，若 2D RT-DETR-EGTR 检测器严重漏检或产生不可逆的语义错标（例如将灶台错误识别为橱柜），3D 后端无法单凭空间几何先验自行纠偏。
- 极端动态与强遮挡场景下的鲁棒性未经验证：当前实验假设环境以刚性静态室内为主，若物体发生位移或遭遇长时间严重视线遮挡，连续帧的粒子集对齐可能引入漂移。
- 未来方向：可考虑将开放词表视觉语言模型（Open-Vocabulary VLM）或基础大模型先验注入物体语义节点，在非参数几何支撑的基础上实现开集物体的在线细粒度交互理解。
相关工作与启发¶
- vs JointSSG / MonoSSG: 依赖繁重的稠密 SLAM 建图或全局多视角优化，在线帧率极低（延迟 191~284ms，仅 3~5 FPS）；NoPA 采用轻量粒子集合与瞬时位姿反投影，以约 27ms（~37 FPS）实现超实时推断。
- vs FROSS: FROSS 虽快但将物体过度抽象为单高斯椭球，在平面与凹形物体上频繁欠合并；NoPA 采用非参数化连续 KDE 表达真实几何，并在同等毫秒级效率下使 3D 场景图关键关系召回率提升了一倍以上（53.2% vs 25.7%）。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次将非参数化粒子核密度估计与 MMD 判别引入无 SLAM 在线 3D 场景图生成，思路清晰优雅。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3DSSG 与 ReplicaSSG 双基准，消融实验详实，复现对比严格公正。
- 写作质量: ⭐⭐⭐⭐⭐ 问题刻画切中痛点，数学推导完备，实验图表论证扎实有力。
- 价值: ⭐⭐⭐⭐⭐ 为具身智能与实时机器人在线三维场景理解提供了兼顾高保真几何拓扑与超实时帧率的优秀基石。