Group3D: MLLM-Guided Semantic Grouping for Open-Vocabulary 3D Object Detection¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://ubin108.github.io/Group3D/
领域: 多模态VLM / 3D视觉
关键词: 开放词表3D目标检测、多视图RGB、多模态大语言模型、语义兼容分组、实例构建门控

一句话总结¶

Group3D 针对多视图 RGB 开放词表 3D 检测中几何聚合容易不可逆过度合并的问题，提出利用多模态大模型构建场景自适应词表与语义兼容分组，在 3D 片段合并时引入语义兼容门控与非对称包容几何校验，无需真实点云或 3D 监督即在姿态已知和无姿态设定下刷新 SOTA。

研究背景与动机¶

开放词表 3D 目标检测旨在突破预定义训练类别的限制，在开放环境中准确定位 3D 实例边界并识别未知语义概念。过去基于激光雷达或密集点云的 3D 检测方法往往高度依赖昂贵的人工 3D 边界框标注；为了扩展到未知类别，近期研究多借助 2D 视觉语言模型（如 CLIP）蒸馏伪监督，但仍普遍假定场景具备现成的显式 3D 几何（如高质量点云）。相比之下，仅依赖低成本、易获取的多视图 RGB 图像进行开放词表 3D 检测更具实用价值与泛化前景，但也面临着更严苛的几何歧义挑战。

现有基于多视图图像的开放词表 3D 检测方案（如 Zoo3D、OpenM3D）大多遵循“几何优先、解耦标签”的范式：先利用跨视图多视角几何将 2D 预测反投影至 3D 空间聚类并聚合成类别无关的 3D 实例几何，随后在后处理阶段基于视觉语言相似度为实例赋予开放词表语义。然而，多视图 RGB 重建生成的 3D 几何天然具备视点依赖性与局部不完整性，深度估计噪声与未观测区域极易导致相邻或结构贴合的不同物体在 3D 空间中紧密相连。一旦仅依靠几何一致性（如空间距离或体素交并比）进行碎片合并，极易将属于不同类别的物体（如桌子与椅子、墙面与门）不可逆地熔接为一个巨大实例，或是把同一物体的局部碎片撕裂；这种在实例构建早期发生的几何过合并，在后期的语义分类阶段无论如何加权都无法挽回。

更棘手的是，若简单在合并阶段引入严格的同名类别约束，又会受制于多视图图像中强烈的“词表标签噪声”——同一个物理实体在不同视角、光照或尺度下，常被 2D 开放词表检测器预测为不同但语义相近的名称（例如一侧被唤作 sofa，另一侧被识别为 chair；或者 desk 与 table 混杂）。本文的切入角度是：与其在几何聚类后被动打标，不如将大模型的语言语义常识直接前置为 3D 碎片合并阶段的结构化约束门控。核心 idea：利用 MLLM 跨视图提取场景自适应词表并将其划分为表征语义可替代性的兼容分组，在 3D 片段合并时实施「语义兼容 + 体素级重叠与包容」联合门控，从而在阻断跨类别几何过合并的同时容纳跨视图分类多样性。

方法详解¶

整体框架¶

Group3D 接收单场景的一组多视图 RGB 图像以及可选的相机位姿，预测场景中的开放词表 3D 目标实例集合。整个系统分为两个阶段四个核心模块：首先通过多模态大语言模型（MLLM）提取各视图类别假设并规范化聚合，构建紧凑的“场景词表记忆”，同时利用 2D 基础分割模型（如 SAM 3）配合单目/多视几何反投影构建保留类别假设与置信度的“3D 片段记忆”；随后，利用 MLLM 根据真实物理常识将词表划分成语义兼容组，并在 3D 片段合并阶段执行组级语义兼容与非对称体素重叠的联合门控；最后，通过多视图置信度加权统计完成各实例的标签决策与 3D 边界框提取。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视图 RGB 图像输入"] --> B["场景记忆构建<br/>提取场景词表记忆与 3D 片段记忆"]
    B --> C["语义兼容分组<br/>MLLM 诱导跨视角语义等价分组"]
    C --> D["组门控 3D 片段合并<br/>语义门控与体素重叠/包容联合校验"]
    D --> E["多视图证据累积<br/>置信度加权投票与 3D 包围框提取"]
    E --> F["最终开放词表 3D 目标实例"]

关键设计¶

1. 场景记忆构建：解耦解构的场景词表与几何片段双记忆库 为支撑开放词表的灵活实例构建，系统首先在场景层面建立两套互补的全局记忆结构。针对语义层，系统使用多模态大模型对各个输入视角进行密集物体发现，各视图提取预设数量（如 $K=5$）的候选类别，通过大小写规范化和词形还原（例如将 Trash_can 标准化为 trash can）消除表层命名冗余，去重聚合为全局场景自适应词表 $\mathcal{V} = \bigcup_n \mathcal{V}_n$。针对几何层，系统借助强大的通用提示分割模型（SAM 3），以场景词表中的各类名为文本提示，在各视角生成类别感知的高质量 2D 掩码 $m_{n,i}$，并计算顾及图像全局存在概率与查询匹配度的综合置信度： $$s_{n,i} = s^{\text{query}}_{n,i} \cdot s^{\text{pres}}_n$$ 当相机姿态未知时，系统利用免监督 3D 重建模型（如 Depth Anything 3 或 VGGT）联合估算相机外参和连续深度图 $D_n$，通过相机内参逆投影公式将掩码内的前景像素反投影至统一世界坐标系下的 3D 点云碎片 $F_{n,i}$。经过深度离群点过滤后，每个碎片封装为一个原子单元 $(F_{n,i}, \ell_i, s_{n,i})$，共同存入 3D 片段记忆库 $\mathcal{F}$。

2. 语义兼容分组：利用语言先验刻画跨视角语义等价性 在多视角开放式识别中，同一物体在俯视、侧视或被部分遮挡时极易被赋予细微差异的类别标签。如果强行要求碎片类别完全相同才允许合并，会导致同一实例被严重碎片化；若完全忽略语义仅看几何，又会把靠在一起的异类物体融为一体。Group3D 巧妙促使 MLLM 理解“语义替代性”而非“空间相邻性”，将场景词表 $\mathcal{V}$ 划分为若干语义兼容组 $\mathcal{G} = \{G_g\}_{g=1}^G$。模型在提示指导下将可能指向同一物理实体的易混淆标签划入同组（如 chair 与 sofa、desk 与 table），但严格禁止将结构依附关系（如 wall 与 window、wall 与 door）、支撑结构关系（如 floor 与 wall）以及局部与整体关系（如 table 与 cup）划入同组。这种语言诱导的分组映射 $g(\ell)$ 构成了后续实例合并时的语义安全防火墙。

3. 组门控 3D 片段合并：语义约束与体素包容的非对称合并机制 全局 3D 实例构建采用贪心聚类策略，片段按空间尺度降序排列，优先以大尺寸主体片段为核心构建聚类。对于待合并的碎片 $(F_{n,i}, \ell_i, s_{n,i})$ 与已有实例聚类 $(C_F, C_\ell)$，合并必须同时满足双重准则：第一，语义准则必须满足 $g(\ell_i) = g(C_\ell)$，即新片段的语义组必须与该聚类当前容纳的所有类别标签所在的兼容组完全一致，从而物理上彻底隔绝异类几何的粘连；第二，几何准则通过 5cm 体素化进行局部空间一致性检验。传统单一体素 IoU 在碎片大小极不均衡时存在致命缺陷——当微小局部碎片完整附着在巨大碎片内部时，并集过大导致 IoU 远低于阈值而错失合并。为此，Group3D 引入非对称包容度指标 $\text{Cont}_{\texttt{vox}}(B \to A) = \frac{|\texttt{vox}(A) \cap \texttt{vox}(B)|}{|\texttt{vox}(B)|}$，并定义复合几何连通谓词： $$\text{Overlap}(A, B) = \big(\text{IoU}_{\texttt{vox}}(A, B) \ge \tau_{\text{iou}}\big) \;\lor\; \big(\text{Cont}_{\texttt{vox}}(B \to A) \ge \tau_{\text{cont}}\big)$$ 只有在语义组相同且满足复合空间重叠时，碎片才合并入该实例点云集合，并将类别标签加入实例的候选集合 $C_\ell$。

4. 多视图证据累积：抗偏置的置信度频次重加权决策 当所有碎片完成组门控聚类后，每个生成的 3D 实例都累积了来自不同视角的点云集合与多个候选语义标签。为了从兼容组内的多个候选标签中裁决出最具代表性的最终预测类名，系统不仅计算该类别在所有关联碎片上的平均置信度 $\bar{s}(\ell)$，还通过非线性饱和函数考量观测视角的重复支持频次： $$s(\ell) = \bar{s}(\ell) \cdot \Big(1 - \exp\big(-\frac{N(\ell)}{\tau}\big)\Big)$$ 其中 $N(\ell)$ 表示在合并过程中归属于类别 $\ell$ 的碎片总数，凹型指数加权既有效奖励了跨多个视角稳定检出的真实类别，又避免了某些在密集连拍中频繁误检的伪标签因碎片数量无限增长而出现不成比例的支配优势。最终实例标签取 $\arg\max_{\ell \in C_\ell} s(\ell)$，并以合并点云 $C_F$ 在三维坐标轴向上的极值包络直接生成高精度 3D 轴对齐包围框。

一个完整示例¶

以一间包含一张长餐桌和几把靠椅的会议室场景为例： 1. 记忆构建：MLLM 在视点 1 看到长桌边缘并提取标签 desk，在视点 2 远景看到同一物体并提出标签 table；SAM 3 根据这两个 prompt 分别生成 2D 掩码，由单目深度反投影得到点云碎片 $F_{1,\text{desk}}$ 和 $F_{2,\text{table}}$。同时，桌旁的椅子在视点 1 被检出为 chair，反投影生成 $F_{1,\text{chair}}$。 2. 兼容分组：MLLM 将 desk 与 table 归入同一种语义兼容组 $G_1$（家具-工作台类）；而 chair 则归入另一独立兼容组 $G_2$（坐具类）。 3. 门控合并：虽然由于重建噪声，$F_{1,\text{chair}}$ 的局部点云在空间上几乎贴合在 $F_{1,\text{desk}}$ 的桌腿处，但由于 $g(\text{chair}) \ne g(\text{desk})$，语义门控直接拒绝两者合并，避免了桌椅粘连的典型几何过合并错误；而当处理 $F_{2,\text{table}}$ 时，由于 $g(\text{table}) = g(\text{desk}) = G_1$，且两者的体素包容度 $\text{Cont}_{\texttt{vox}}$ 超过阈值，顺利合并为同一张桌子的完整 3D 点云。 4. 决策输出：在多视图累积中，table 获得 3 个视角的碎片支持，$s(\text{table})$ 显著高于仅有 1 个视角的 desk，该实例最终被赋予 table 标签并输出紧凑的 3D 边界框。

实验关键数据¶

主实验¶

在 ScanNetV2 基准（包含 ScanNet20 与更具挑战性的长尾稀疏 ScanNet60）以及 ARKitScenes 实测室内数据集上，对 Group3D 在姿态已知（pi）与完全无姿态（ui）两种 RGB 多视图设置下进行评测，并与现有多视图及点云基线方法进行对比。

方法	模态 / 输入	无姿态 (Pose-free)	零样本 (Zero-shot)	ScanNet20 [email protected]	ScanNet20 [email protected]	ScanNet60 [email protected]	ScanNet60 [email protected]
OV-3DET	点云 + 图像	否	否	18.0	-	-	-
CoDA	真实点云	否	否	19.3	-	9.0	-
OV-Uni3DETR	真实点云	否	否	25.3	-	19.4	-
Zoo3D (Zero-shot)	真实点云 + 图像	否	是	34.7	23.9	27.1	18.7
Zoo3D (Self-sup)	真实点云 + 图像	否	否	37.2	26.3	32.0	20.8
OpenM3D	多视图 RGB	否	否	19.8	7.3	-	-
Zoo3D (Zero-shot)	多视图 RGB	否	是	30.5	17.3	22.0	10.4
Zoo3D (Self-sup)	多视图 RGB	否	否	32.8	15.5	23.9	10.8
Group3D (本文)	多视图 RGB	否	是	51.1	27.4	29.1	13.9
Zoo3D (Zero-shot)	多视图 RGB	是	是	24.2	8.8	13.3	4.1
Zoo3D (Self-sup)	多视图 RGB	是	否	27.9	10.4	15.3	5.6
Group3D (本文)	多视图 RGB	是	是	41.2	18.5	22.3	8.5

消融实验¶

在 ScanNet20 无姿态（Pose-free）严格零样本设置下，对碎片合并核心组件（表 5）及不同基础模型与骨干网络组合（表 4）进行系统性消融。

配置 / 变体	模块构成	ScanNet20 [email protected]	ScanNet20 [email protected]	说明
纯几何合并	仅体素 IoU/包容度聚类	28.2	9.9	缺乏语义约束，严重跨类过合并
+ 场景词表记忆	严格同名类别限制合并	35.9	14.8	抑制跨类过合并，但对跨视角标签抖动过于敏感
+ 语义兼容分组 (Full)	Group3D 完整方案	41.2	18.5	兼具语义保护与同义容差，达到最优性能 (+13.0 mAP25)
替换重建骨干	VGGT 替代 Depth Anything 3	40.0	18.7	VGGT 在 ScanNet 上有预训练，表现接近
替换 MLLM	Qwen3-VL-8B 替代 GPT-5.1	38.5	16.9	小型开源多模态模型依然保持强竞争力
替换分割模型	Grounded SAM 2 替代 SAM 3	39.7	17.6	置信度公式与掩码质量略低，总体性能稳定

关键发现¶

语义门控决定性能上限：单纯依赖几何聚类的基线在无姿态下仅有 28.2 mAP25，引入严格同词表匹配后提升至 35.9，而进一步通过 MLLM 语义兼容分组消除分类歧义后大幅跃升至 41.2（相比纯几何方案暴增 +13.0 mAP25），证明在稀疏不完整的多视体重建中，“语义早介入”是解决误合并的决定性机制。
超越真实点云依赖：在 ScanNet20 姿态已知设置下，Group3D 仅靠 RGB 输入即取得 51.1 mAP25，大幅超出使用真实点云与姿态图像输入的 SOTA 方法 Zoo3D（37.2 mAP25）高达 13.9 个百分点，表明精准的语义结构化聚合能弥补甚至超越传感器级别的密集几何精度。
超参鲁棒性与长尾扩展性：每个视角提取的类别候选数 $K$ 从 5 增加到 10，mAP25 保持 41.2 完全不变（mAP50 仅从 18.5 变为 18.8），展现极高的计算效率与超参稳定性；在拥有 200 个长尾细粒度类别的 ScanNet200 上，Group3D 在姿态已知下达 17.9 mAP25、无姿态下达 12.6 mAP25，全面优于 Zoo3D。

亮点与洞察¶

将大语言模型先验转化为物理隔离防火墙：以往工作仅把 MLLM/VLM 当成最后的文本分类打标器，Group3D 首次将大语言模型的常识推理能力转化为几何碎片合并的前置约束，通过明确剔除“支撑、依附、部分-整体”等结构空间共现关系，真正提取出空间上可替代的纯语义等价分组。
体素重叠与包容度的非对称互补：在多视几何中，由于局部遮挡与远近景差异，碎片大小经常呈现数倍的非对称差异。引入点云包含率 $\text{Cont}_{\texttt{vox}}$ 破除了经典 IoU 惩罚小尺度前景碎片的痛点，保证了局部细长构件（如椅腿、扶手）与主体框架的顺畅吸收。
即插即用且完全免训练：整个框架无需任何 3D 边界框微调或多视几何可学习参数，完全依托当前最强的通用视觉基础模型（SAM 3、Depth Anything 3、MLLM），具备极高的零样本域迁移与落地工程价值。

局限与展望¶

依赖上游 2D 基础模型的初筛召回率：如果 MLLM 在初始阶段未能识别出视野中极其微小、低对比度或冷门物体的类别名称，后续 SAM 3 便不会生成对应的 2D 掩码，从而导致该物体在 3D 空间中彻底漏检。
轴对齐包围框的几何表达局限：当前最终 3D 边界框直接通过合并点云簇的各轴极值（min-max）生成，对于空间中有明显倾斜角（yaw 旋转）或非轴对齐朝向的复杂物体，包围框内部包含大量空旷背景或截断误差。
未来方向：探索引入面向 3D 旋转框的轻量姿态拟合算法（如最小外接定向包围框 OBB 拟合），并探索端到端提示词自适应迭代机制，使 3D 几何的不确定性反哺指导 MLLM 进行聚焦式二次细粒度检视。

评分¶

新颖性: ⭐⭐⭐⭐ [创新地将 MLLM 语义等价分组引入 3D 碎片几何聚类门控中，构思巧妙]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 ScanNet 20/60/200 与 ARKitScenes，跨有姿态/无姿态多维度评测与细致消融]
写作质量: ⭐⭐⭐⭐⭐ [论文动机清晰，数学符号表达严谨，问题定义直击几何过合并痛点]
价值: ⭐⭐⭐⭐ [为免 3D 传感器、纯 RGB 开放词表三维场景感知提供了极具实用价值的范式]