H2G: Hierarchy-Aware Hyperbolic Grouping for 3D Scenes¶

会议: NeurIPS 2026
arXiv: 2605.11967
OpenReview: https://openreview.net/forum?id=8pIDwVyuXe
代码: 待确认
领域: 3D表示与场景理解
关键词: 3D 场景分层分组、双曲表示学习、洛伦兹模型、神经辐射场、基础模型蒸馏

一句话总结¶

H2G 提出了一种层次感知的双曲亲和场，通过 Dasgupta 目标将 2D SAM 提议与 DINO 语义相似度重构为树监督，并蒸馏到单流洛伦兹双曲 3D 特征场中，实现了无需物理尺度查询的多粒度 3D 场景分组。

研究背景与动机¶

3D 场景分层分组（hierarchical 3D grouping）旨在无预设语义标签或固定词表的前提下，将场景自底向上解析为多粒度几何与语义结构（从细粒度部件、完整物体到物体复合群组）。随着 SAM 等 2D 基础分割大模型的发展，将无类别 2D 掩码提议提升至 NeRF 等 3D 辐射场表示成为多视角一致分组的主流思路。然而，重叠甚至互相冲突的 2D 提议在三维空间中究竟应如何组织为连贯的层次树结构，在现有工作中尚未得到明确规范。代表性方法如 GARField 采用以物理尺度为条件的亲和场，将层次性直接绑定到由深度推导的物理尺度上，这不仅在面对部分观测物体、大范围无边界背景或非刚性物体时极易失效，而且在推理时必须针对不同查询尺度反复多轮渲染；而 OmniSeg3D 等单特征场方法则严重依赖掩码的像素重叠与包含关系，反映的往往是提议的几何包围边界而非真正的语义层级。

这种表征失真与计算冗余的核心矛盾在于：无序的 2D 视觉基础模型特征仅提供了对称的成对语义相似度，缺乏天然的有向树层级；同时，欧氏特征空间的体积增长仅随维度多项式扩张，难以低失真地紧凑容纳树状分支结构中呈指数级膨胀的叶子节点与复合层次。现有方案要么通过繁琐的连续尺度网格采样逼近层级，要么退化为扁平实例聚类，无法在统一的度量空间中自洽表达“部件属于物体、物体属于局部场景”的语义包含与合并顺序。

本文的切入角度是：利用分层聚类理论将无序的 DINO 区域语义亲和图重构为具有坚实理论保障的 2D 语义树监督，并借助具备天然负曲率和指数体积增长特性的洛伦兹双曲空间，将多粒度层次直接编码为三维连续特征场。核心 idea：提出 H2G 框架，通过 Dasgupta 目标引导的谱二分法将 2D 掩码构建为语义树监督，并将其蒸馏入单流洛伦兹双曲 3D 特征场中，借助双曲外角分离、边界紧致性与相对最近公共祖先（LCA）保序目标，实现无需尺度条件渲染的尺度无关 3D 层次化场景分组。

方法详解¶

整体框架¶

H2G 的核心流程由两个主要阶段构成：2D 语义层次树监督构建与 3D 双曲亲和场蒸馏学习。在 2D 阶段，输入图像的多尺度重叠 SAM 掩码首先通过包含关系筛选和拓扑分割转换为互不重叠的叶节点掩码，并通过均值池化提取对应的 DINO 补丁描述符以构建成对语义亲和图；随后借助基于 Dasgupta 层次聚类目标的递归谱二分法，自顶向下解构出包含叶节点、虚拟中间节点与根节点的 2D 语义森林。在 3D 学习阶段，预训练冻结的 NeRF 几何分支提供体渲染权重，语义分支预测连续样本点的欧氏切空间特征并投影至洛伦兹双曲流形；沿光线聚合的双曲特征通过基于 Klein 坐标的爱因斯坦中点计算层次原型，并接受叶节点角向分类、根节点粗粒度对齐、簇内距离紧致性以及 LCA 相对保序损失的联合监督。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角图像 + SAM 提议 + DINO 特征"] --> B["基于 Dasgupta 目标的 2D 语义层次树重构<br/>包含关系解析 + 亲和图递归谱二分"]
    B --> C["洛伦兹双曲空间 3D 特征场蒸馏<br/>哈希网格编码 + 光线聚合 + 洛伦兹双曲投影"]
    C --> D["双曲角向层次分离与紧致性约束<br/>爱因斯坦中点原型 + 叶/根双曲外角分类 + 边界截断"]
    D --> E["基于 Klein 坐标的 LCA 序关系保持<br/>连续测地深度估计 + 三元组相对合并保序"]
    E --> F["单次渲染 3D 双曲特征场与多粒度分组输出"]

关键设计¶

1. 基于 Dasgupta 目标的 2D 语义层次树重构：将无序掩码相似度转化为语义树结构 现有 2D 基础模型生成的 SAM 提议与 DINO 特征分别提供几何边界和成对语义相似度，但 DINO 的余弦相似度是对称无序的度量，无法直接提供层次树的有向父子关系。为将对称亲和度矩阵 $\mathbf{W}$ 转化为有向树 $\mathcal{T}$，H2G 引入理论分层聚类领域的 Dasgupta 代价函数： $$\mathcal{C}(\mathcal{T}; \mathbf{W}) = \sum_{a<b} W_{ab} \left| \operatorname{Leaf}\left( \operatorname{LCA}_{\mathcal{T}}(a, b) \right) \right|$$ 该代价函数赋予高相似度叶节点更小的最近公共祖先（LCA）子树规模，从而强制语义相近的部件在树的浅层子树中优先合并。由于在稠密 DINO 图上精确求解 Dasgupta 的稀疏割（sparsest cut）近似算法时间复杂度过高，H2G 采用递归谱二分法（recursive spectral bisection）作为实用替代方案：在每次划分中计算归一化图拉普拉斯算子的 Fiedler 向量，并根据符号划分叶节点集合，构建虚拟内部节点直至单例叶节点。这种顶向下划分消除了经验性几何包含规则的误判，将预处理耗时降低两个数量级的同时完整保留了语义树拓扑。

2. 洛伦兹双曲空间 3D 特征场蒸馏：以单特征空间承载多粒度分支结构 为了在连续双曲空间中学习层次结构，H2G 采用 $D$ 维洛伦兹模型 $\mathbb{H}_c^D \subset \mathbb{R}^{D+1}$（曲率参数 $c > 0$），其内积定义为 $\langle\mathbf{x}, \mathbf{y}\rangle_L = -x_0 y_0 + \mathbf{x}_{\text{space}}^\top \mathbf{y}_{\text{space}}$。双曲几何的体积随测地半径呈指数级扩张，天然契合树状分支数据的大容量嵌入需求。网络使用多分辨率哈希网格编码器 $E_\psi$ 预测 3D 样本点特征，并通过浅层投影头 $G_\psi$ 输出欧氏切向量，随后通过双曲映射投影至双曲面： $$\mathbf{s}_r = \Pi_c\left( G_\psi(\bar{\mathbf{h}}_r) \right) = \left( \sqrt{\frac{1}{c} + \|G_\psi(\bar{\mathbf{h}}_r)\|_2^2}, \; G_\psi(\bar{\mathbf{h}}_r) \right) \in \mathbb{H}_c^D$$ 其中 $\bar{\mathbf{h}}_r$ 为沿光线根据冻结的 NeRF 渲染权重聚合的特征。通过单次前向渲染输出的连续双曲特征，无需显式输入物理尺度或进行多轮尺度扫描渲染，即可在同一度量流形上连续表示从细粒度部件到整体物体的完整层级。

3. 双曲角向层次分离与紧致性约束：解耦语义方向区分与簇内紧凑度 在双曲空间中，若直接使用测地距离进行对比学习，径向深度与方向差异会产生耦合，导致语义类别边界模糊。H2G 借鉴双曲外角机制，将语义身份主要编码在角度方向上，将层级深度保留在径向距离上。在批次采样中，为避免逐射线对比的巨大计算量，H2G 利用 Klein 坐标系下的爱因斯坦中点算子 $\operatorname{E_{mid}}(\cdot)$ 将同一叶标签的光线特征聚合为叶原型 $\mathbf{p}_\ell$ 和根质心 $\mathbf{q}_\rho$。叶级别损失 $\mathcal{L}_{\text{leaf}}$ 优化光线特征 $\mathbf{s}_r$ 与目标叶原型的双曲外角分类；根级别损失 $\mathcal{L}_{\text{root}}$ 则以叶原型作为查询点，对齐所属根质心以确保同一大物体的不同部件共享粗粒度方向。为了防止簇内特征过度弥散，设计带边界截断的紧致性损失： $$\mathcal{L}_{\text{comp}} = \frac{1}{|\mathcal{B}|} \sum_{r\in\mathcal{B}} \left( \operatorname{ReLU}\left( d_{\mathbb{H}}\left( \mathbf{s}_r, \operatorname{sg}(\mathbf{p}_{y_r}) \right) - \epsilon \right) \right)^2$$ 该设计允许误差在距离阈值 $\epsilon$ 内自由松弛，仅惩罚超出边界的弥散样本，实现了高层语义分离与底层特征紧凑的解耦。

4. 基于 Klein 坐标的 LCA 序关系保持：无尺度绝对距离回归的拓扑保序 角向分离仅约束了局部叶节点和粗粒度根节点的朝向，无法保证树状结构内部复杂层级的合并顺序。为此，H2G 引入基于 Klein 坐标测地段的连续 LCA 深度替代指标。在 Klein 投影下，双曲测地线表现为直线段，两叶原型 $\mathbf{k}_i, \mathbf{k}_j$ 测地线上距离原点最近的点即为连续 LCA 深度代理 $\widehat{\mathbf{k}}_{ij}$，其至原点的双曲距离定义为： $$d_o(i, j) = \frac{1}{\sqrt{c}} \cosh^{-1}\left( \frac{1}{\sqrt{1 - \|\widehat{\mathbf{k}}_{ij}\|_2^2}} \right)$$ 在采样三元组 $(i, j, k) \in \mathcal{P}_{\text{LCA}}$ 中，$i$ 与 $j$ 来自同一父节点的同胞分支，而 $k$ 来自相同祖父节点下的堂兄弟分支，理论上要求 $d_o(i, j) > d_o(i, k)$ 且 $d_o(i, j) > d_o(j, k)$。H2G 通过 Softmax 排序交叉熵损失 $\mathcal{L}_{\text{LCA}}$ 约束相对深度的三元组关系，而非硬性回归绝对距离，从而将 2D 语义树的祖先深度拓扑无失真地迁移至 3D 双曲场中。

损失函数 / 训练策略¶

模型训练采用两阶段方案：第一阶段首先在 30k 迭代中优化 NeRF 的 RGB 几何场；第二阶段冻结 RGB 几何与相机姿态参数，从几何哈希网格热启动语义分支，并在 20k 迭代中利用 2D 层次监督联合优化分组场。总体损失函数定义为四个分层目标与最大范数正则项的加权求和： $$\mathcal{L} = \lambda_{\text{leaf}} \mathcal{L}_{\text{leaf}} + \lambda_{\text{root}} \mathcal{L}_{\text{root}} + \lambda_{\text{comp}} \mathcal{L}_{\text{comp}} + \lambda_{\text{LCA}} \mathcal{L}_{\text{LCA}} + \lambda_{\text{norm}} \mathcal{L}_{\text{norm}}$$ 其中超参数配置为：紧致性权重 $\lambda_{\text{comp}} = 1.0$、根节点粗粒度权重 $\lambda_{\text{root}} = 2.0$、LCA 序权重 $\lambda_{\text{LCA}} = 0.05$；外角温度参数 $\tau_{\text{leaf}} = 0.22, \tau_{\text{root}} = 0.20, \tau_{\text{LCA}} = 0.5$；单次迭代从单张图像采样 8192 条光线，使用 Adam 优化器在单张 RTX 3090 GPU 上耗时仅约 20 分钟即可完成训练。

实验关键数据¶

主实验¶

在 GARField 3D 完整性（3D Completeness）基准和候选群组召回率（Group Recall）上评估多视角层次一致性。在 3D Completeness 中对比视点独立最佳阈值（View-wise, V）与跨视点层级共享阈值（Level-wise, L），其中标 $*$ 表示相同严谨协议下复现的基准：

模型	Fine (V)	Fine (L)	Medium (V)	Medium (L)	Coarse (V)	Coarse (L)	Mean (V)	Mean (L)
SAM	0.594	–	0.799	–	0.858	–	0.750	–
GARField	0.846	–	0.877	–	0.917	–	0.880	–
SAM*	0.557	–	0.742	–	0.901	–	0.733	–
GARField*	0.824	0.823	0.607	0.587	0.815	0.784	0.749	0.731
H2G (本文)	0.848	0.840	0.813	0.809	0.844	0.828	0.835	0.826

在候选提议池质量与预算约束下的 Group Recall 评估中，H2G 以极紧凑的提议数量超越基线：

方法	提议总数	原生 mIoU	原生 [email protected]	原生 [email protected]	预算 K=150 mIoU	预算 K=150 [email protected]	$\text{AUC}_{500}$ (mIoU)	$\text{AUC}_{2000}$ (mIoU)
GARField*	2010.8	0.758	0.892	0.619	0.368	0.373	0.427	0.641
H2G (本文)	314.8	0.780	0.896	0.746	0.541	0.580	0.596	0.734

消融实验¶

在损失函数各组件的消融实验中，评估各项设计对细、中、粗不同层级 3D 完整性的影响：

配置	Fine	Medium	Coarse	Mean	说明
完整模型 (Full)	0.848	0.813	0.844	0.835	综合性能最优
w/o 角向分离 (angle)	0.631	0.774	0.830	0.745	细粒度显著崩塌（Fine 骤降 0.217），表明外角分离是细粒度局部判别核心
w/o 粗粒度根对齐 (coarse)	0.862	0.878	0.585	0.775	粗粒度完整性剧烈下降至 0.585，表明根约束防止了整物体的过度细分
w/o 紧致性约束 (compact)	0.843	0.771	0.782	0.799	簇内弥散使中/粗粒度分割质量明显受损
w/o LCA 序保持 (LCA)	0.847	0.806	0.839	0.831	损失内部拓扑层次引导，整体均值略有下降

关键发现¶

在 GARField 3D 完整性基准上，H2G 在视点独立阈值与层级共享阈值下均取得最佳复现均值。特别是在中等粒度（Medium）上，相比 GARField* 实现了从 0.607 到 0.813（视点独立）和 0.587 到 0.809（层级共享）的巨大突破，验证了基于语义亲和力而非物理尺度的层次构建更符合真实物体的部件-整体关系。
跨视点阈值保留率（CTR）达到 0.988（GARField* 为 0.975），证明单双曲特征场中的特征亲和度天然校准良好，跨视角层次分割阈值具有高度通用性。
在候选提议召回上，H2G 仅生成 314.8 个高质量紧凑候选（仅为 GARField* 2010.8 个的约 1/6），但在原生评估与任意有限预算 $K$ 下全面领先，显著降低了下游 3D 场景理解模块的提议处理开销。

亮点与洞察¶

巧妙引入 Dasgupta 层次聚类代价函数，将 2D 视觉基础模型的连续对称相似度转化为严谨离散层次树，避免了纯手工包容启发式规则的几何噪声。
充分发掘洛伦兹双曲流形负曲率与指数体积扩张的几何归纳偏置，以单流紧凑特征替代复杂的尺度条件分支网络，免除了昂贵的多尺度连续渲染。
将外角方向分离、测地截断紧致性与 Klein 投影 LCA 连续深度排序深度结合，构建了一套完备自洽的连续流形层次几何学习损失。

局限与展望¶

2D 监督依赖于 SAM 的初始边界质量与 DINO 特征的鲁棒性，当物体存在严重遮挡或微小部件时可能生成存在瑕疵的层次树。
层次树是在各单视角 2D 图像上独立生成的，虽然经过 3D 双曲场蒸馏能吸收多视角一致性，但视角间树结构的轻微拓扑不一致仍可能引入局部冲突。
最终 3D 掩码提取仍需在切空间中执行阈值截断或 HDBSCAN 聚类，尚未实现端到端全自动离散树节点解析。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将 Dasgupta 层次聚类与洛伦兹双曲场无缝结合用于 3D 场景层次化分组
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3D 完整性、受限提议召回、跨视点阈值保留率及详尽组件消融
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨，方法动机与几何设计链条高度自洽
价值: ⭐⭐⭐⭐⭐ 为无类别开放场景 3D 分层理解与轻量级单流神经特征场提供了极具价值的范式