Beyond Isolated Objects: Relationship-aware Open Vocabulary Scene Understanding via 3D Scene Graph Analysis¶
会议: ECCV 2026
论文: ECCV 2026
代码: https://cxavireh.github.io/relgraphov-projectpage
领域: 3D表示与场景理解
关键词: 3D开放词表理解, 3D场景图, 语义分割, 双流图注意力网络, 层次对比学习
一句话总结¶
针对现有 3D 开放词表语义分割将物体视作孤立实体而难以辨识外观相似物体的痛点，RelGraphOV 提出结合多视角 VLM 链式思维推理构建关系感知 3D 场景图，并通过自适应门控双流上下文 GAT 与层次对比学习解耦传播稠密几何与稀疏语义，显著提升了细粒度与长尾场景理解能力。
研究背景与动机¶
三维开放词表场景理解致力于突破预定义闭集类别的限制，将视觉语言模型（如 CLIP）丰富的文本对齐先验注入 3D 点云表征，以支持任意自然语言驱动的稠密点云语义分割与空间检索。现有方案主要分为两条路线：一类是将 2D 骨干（如 LSeg、OpenSeg）的稠密像素级语言特征反投影并蒸馏至 3D 空间，这类方法具备较强的几何空间鲁棒性，但在遮挡严重或长尾概念上泛化不足；另一类则是将 3D 物体提议与实例级全局 CLIP 嵌入关联，具备良好的长尾概念识别能力，却因缺乏局部稠密细节而在少纹理或不完整观测中表现脆弱。
更深层次的问题在于，这两类范式均将场景内的物体当作相互孤立的离散个体进行独立语义推断，完全忽视了物体间蕴含的结构化空间与语义依赖。在现实 3D 场景中，许多物体孤立观察时极度模糊——例如区分“普通窗帘（curtain）”与“淋浴帘（shower curtain）”，仅靠外观材质往往难分彼此，但若结合周围的共存关系（如邻近浴缸、马桶或瓷砖墙面），歧义便能迎刃而解。将 3D 场景图引入开放词表分割面临两大现实阻碍：一是开放词表极度开放，缺乏大规模人工标注的关系三元组真值；二是稠密几何特征与稀疏实例 CLIP 特征异构混合时存在严重的“特征干扰（Feature Interference）”，图神经消息传递极易被几何噪声污染，摧毁高层语义空间的判别度。
本文的切入角度是：利用大语言与视觉模型的多视角联合推理能力无监督地提炼物体间关系，并将场景图作为上下文结构先验，设计解耦双流结构在聚合关系的同时隔离噪声。核心 idea：利用多视角 VLM 链式思维推理与几何剪枝全自动构建关系感知 3D 场景图，并构建自适应门控双流 GAT 解耦传播稠密几何表征与 CLIP 高层语义，配合层次对比损失实现抗漂移的开放词表 3D 语义增强。
方法详解¶
整体框架¶
RelGraphOV 的整体处理流水线包含四个核心步骤：首先以无类别的 3D 物体提议为候选节点，通过多视角复合打分筛选最佳关键帧，并驱动 VLM 链式思维推理生成物体间 SVO 关系三元组以构建关系感知 3D 场景图；其次，利用 VLM 多视角裁决引擎为每个节点生成一致、细粒度的高质量文本描述与软监督标签；随后，输入自适应门控双流上下文 GAT，主流聚合稠密 LSeg 几何特征，辅助流独立维护纯净的 CLIP 语义特征，并通过虚拟超级节点引入全局场景级上下文；最后，联合层次对比损失和双流正则化损失进行端到端优化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：点云与 RGB-D 序列<br/>生成无类别 3D 提议"] --> B["多视角推理场景图构建<br/>视点打分 + VLM-CoT 生成 SVO 边"]
B --> C["多视角裁决节点标注引擎<br/>SAM 掩码 + DAM 描述 + 双视角仲裁"]
C --> D["虚拟超级节点全局上下文注入<br/>跨注意力连接局部提议与全局场景"]
D --> E["边引导消息传递与单向自适应门控融合<br/>双流解耦传播，主几何流单向吸收语义"]
E --> F["层次对比与双向对齐联合优化<br/>实例自一致 + 类间分离 + 防灾难遗忘"]
F --> G["输出：稠密开放词表 3D 分割"]关键设计¶
1. 多视角推理场景图构建：免标注的结构化先验提炼 针对开放词表下缺乏大规模关系标注的问题，本方法采用自动化的多视角图构建流水线。首先通过无类别掩码聚类获取 3D 物体提议点云并建立三维包围盒与质心，利用包含完整度、投影面积、中心度以及运动模糊清晰度的复合打分函数挑选最具辨识度的 2D 关键帧。通过质心几何近邻初筛出几何候选连接后，利用包含两个目标的重合视点构建视觉提示，驱动大视觉语言模型（如 Qwen-VL-Max）进行链式思维（CoT）推理，对无效或“无关系”的冗余边进行剪枝，并将确认有效的关系转化为“主语-谓语-宾语（SVO）”三元组。每个 SVO 词项分别通过 CLIP 文本编码器编码后拼接为边特征向量 \(f_{e_{ij}}\)，构成兼具几何邻近与语义依存的关系图 \(\mathbf{SG} = (\mathbf{E}_{refine}, \mathbf{F}_v, \mathbf{F}_e)\)。
2. 多视角裁决节点标注引擎：消除跨视点描述冲突 针对同一 3D 物体在不同拍摄视角下因光照、遮挡或截断导致描述不一致的现象，设计了一套自动化仲裁引擎。算法采用两组差异化的权重配置，分别挑选出以能见度为主的最佳视角和以锐度/中心度为主且具备空间低重叠度的第二视角，结合 SAM 和通用描述模型（Describe Anything Model）分别提取两视角的候选描述文本。随后调用轻量级语言模型（Qwen-Turbo）比对基础类别是否吻合；若出现分歧，则将双视角视觉证据输入仲裁提示词中判定最终客观类别并细化材质、颜色等属性，最后由 CLIP 文本编码器编码为节点标注软监督特征 \(f_{\text{anno}}^i\)。
3. 自适应门控双流上下文 GAT：解耦消息传递消除特征干扰 为解决稠密 LSeg 特征与稀疏 CLIP 特征混合传播引起的“特征干扰”与语义污染，模型将图神经网络解耦为以密集特征为主的主流（Main Stream）和以全局语义为主的辅助流（Auxiliary Stream）。首先引入虚拟超级节点（Super Node）连接全图所有实体节点，通过标准 GAT 抽取全场景级表征 \(G_{\text{global}}\)，并利用 Cross-Attention 将全局上下文注入主流状态中得到 \(\tilde{h}_{m,i}^{(l)}\)。在邻域消息传递中，将边特征 \(f_{e_{ij}}\) 拼接到邻居节点的 Key 中，从而使注意力权重直接受到物体间语义关系的调控： $\(\text{Attention Key}_{ij} = [\tilde{h}_{m,j}^{(l)} \parallel f_{e_{ij}}]\)$ 在每一层邻域聚合完成后，辅助流保持纯净的 CLIP 语义用于下一层，而主流则通过可学习的单向门控机制自适应吸收辅助流中的泛化语义： $\(\text{Gate} = \sigma(\text{MLP}([\hat{h}_{m,i}^{(l)} \parallel \hat{h}_{a,i}^{(l)}])), \quad h_{m,i}^{(l+1)} = \hat{h}_{m,i}^{(l)} + \alpha \cdot \text{Gate} \odot \hat{h}_{a,i}^{(l)}\)$ 这种单向汲取设计既赋予了几何流深度的类别语义，又彻底阻断了几何噪声对 CLIP 先验的污染。
4. 层次对比与双向对齐机制：抗语义漂移与防灾难遗忘 为了利用软文本标注监督网络，标准对比学习极易惩罚近义词或同父类别的合理预测。为此提出了层次对比损失 \(\mathcal{L}_{\text{hie}}\)，基于标注特征间的余弦相似度设定正样本掩码 \(M_{\text{pos}}^{ij}\)（当相似度超过阈值 \(\tau\) 时视为同类正样本），并在自样本对上引入边界裕量 \(\mathcal{M}\)。同时，为防止模型在长周期微调中遗忘基础视觉语言模型的空间与语义泛化能力，针对双流分别引入对称的泛化对齐损失 \(\mathcal{L}_{\text{align}}\)： $\(\mathcal{L}_{\text{align}}(F, f_{\text{init}}, \gamma) = \frac{1}{N}\sum_{i=1}^N \left( \gamma F^{v_i} \cdot f_{\text{anno}}^i + (1 - \gamma) F^{v_i} \cdot f_{\text{init}}^{v_i} \right)\)$ 其中主流使用 \(\mathcal{L}_{\text{reg}} = \mathcal{L}_{\text{align}}(F_{\text{out}}, f_l, \gamma_{\text{reg}})\) 锚定稠密 LSeg 先验，辅助流使用 \(\mathcal{L}_{\text{aux}} = \mathcal{L}_{\text{align}}(F_{\text{aux}}, f_c, \gamma_{\text{aux}})\) 锚定实例 CLIP 先验，确保了微调过程中的语义稳定性。
损失函数 / 训练策略¶
模型的总损失函数由层次对比损失与双流对齐正则化损失线性组合构成： $\(\mathcal{L}_{\text{total}} = \lambda_{\text{hie}} \cdot \mathcal{L}_{\text{hie}} + \lambda_{\text{reg}} \cdot \mathcal{L}_{\text{reg}} + \lambda_{\text{aux}} \cdot \mathcal{L}_{\text{aux}}\)$ 超参数配置为 \(\lambda_{\text{hie}}=0.5\)、\(\lambda_{\text{reg}}=1.5\)、\(\lambda_{\text{aux}}=1.5\)，对齐权衡因子 \(\gamma_{\text{reg}}=\gamma_{\text{aux}}=0.7\)。网络采用 Adam 优化器，在单张 NVIDIA RTX 4090 GPU 上以初始学习率 \(1\times 10^{-3}\)、批大小 256 训练 600 个 epoch。
实验关键数据¶
主实验¶
在标准室内基准 ScanNetV2、细粒度长尾基准 ScanNet200 以及跨数据集零样本评估（ScanNet++ 与 Replica）上均进行了评测。
| 数据集 | 指标 | RelGraphOV (本文) | 强基线 SOTA (CUA-O3D / Mosaic3D) | 提升幅度 |
|---|---|---|---|---|
| ScanNetV2 (20-class) | mIoU (%) | 58.4 | 55.3 (CUA-O3D) | +3.1 |
| ScanNetV2 (20-class) | mAcc (%) | 73.4 | 65.6 (CUA-O3D) | +7.8 |
| ScanNet200 (200-class) | mIoU (%) | 14.5 | 12.4 (Mosaic3D) | +2.1 |
| ScanNet200 (200-class) | mAcc (%) | 26.1 | 25.1 (Mosaic3D) | +1.0 |
| ScanNet++ (Zero-shot 100-class) | mIoU (%) | 20.9 | 13.3 (OpenScene-2D) | +7.6 |
| ScanNet++ (Zero-shot 100-class) | mAcc (%) | 33.2 | 20.0 (OpenScene-2D) | +13.2 |
| Replica (Zero-shot 51-class) | mIoU (%) | 22.7 | 12.9 (OpenScene-2D) | +9.8 |
在 ScanNetV2 的具体类别 IoU 中，“淋浴帘（shower curtain）”在基线 OpenScene 和 CUA-O3D 中因缺乏上下文推理完全无法识别（均为 0.0%），而 RelGraphOV 借助浴缸/卫生间场景图关系大幅提升至 64.2%；在 ScanNet200 长尾子集划分上，Tail 类别 mIoU 达到 6.3%，显著高于 CUA-O3D 的 0.0% 和 Mosaic3D 的 1.3%。
消融实验¶
| 配置 | ScanNetV2 mIoU | ScanNetV2 mAcc | ScanNet200 mIoU | ScanNet200 mAcc | 说明 |
|---|---|---|---|---|---|
| Ours (full model) | 58.4 | 73.4 | 14.5 | 26.1 | 完整模型 |
| w/o scene graph | 50.7 | 62.6 | 9.5 | 14.4 | 移除场景图拓扑，退化为独立 LSeg 掩码池化 |
| w/o relation guidance | 55.5 | 70.7 | 11.0 | 20.1 | 保留拓扑但剔除 SVO 边特征，退化为普通 GAT |
| w/o global feature | 56.0 | 71.3 | 11.1 | 20.2 | 移除虚拟超级节点跨注意力注入 |
| w/o dual graph fusion | 57.9 | 73.0 | 12.7 | 22.9 | 单流直接拼接 LSeg 与 CLIP 特征（特征干扰） |
| w/o \(\mathcal{L}_{\text{hie}}\) | 52.2 | 65.5 | 7.8 | 12.4 | 移除层次对比损失，类别区分度严重受损 |
| w/o \(\mathcal{L}_{\text{reg}}\) | 54.9 | 71.7 | 10.9 | 20.1 | 移除主流几何对齐，分割边界泛化弱化 |
| w/o \(\mathcal{L}_{\text{aux}}\) | 55.9 | 70.4 | 13.4 | 25.6 | 移除辅助流 CLIP 对齐，发生高层语义漂移 |
关键发现¶
- 场景图结构的引入贡献最为显著：去掉场景图连接使 ScanNet200 上的 mIoU 从 14.5% 断崖式跌落至 9.5%（-5.0%），证明孤立物体推断在复杂多类别场景中是主要的性能瓶颈。
- 单流拼接特征确实导致了特征干扰：
w/o dual graph fusion在 ScanNet200 上丢失了 1.8% 的 mIoU 和 3.2% 的 mAcc，验证了解耦双流架构中单向门控注入在隔离几何噪声方面的有效性。 - 层次对比损失 \(\mathcal{L}_{\text{hie}}\) 是维持长尾判别的基石：移除该损失导致 ScanNet200 mIoU 暴跌 6.7%（从 14.5% 跌至 7.8%），说明基于标注相似度构建软正样本掩码对于缓解近义类别误罚极为关键。
亮点与洞察¶
- 自动化免标注场景图先验注入：巧妙利用现成 VLM（Qwen-VL-Max）的多视角 CoT 推理能力提取 SVO 关系三元组，既绕开了高昂的人工标注成本，又成功赋予几何点云高阶环境语义上下文。
- 解耦式单向门控双流机制：针对几何与语义在 GNN 传播中的干扰难题，采用“主几何流吸收语义、辅助语义流纯净单向供给”的机制，为异构多模态特征融合提供了一个通用的解耦范式。
- 跨数据集零样本迁移优势显著：在完全未见过的 ScanNet++ 与合成场景 Replica 上展现出极高的泛化性能（ScanNet++ mIoU 达到 20.9%，相比强基线实现大幅跃升），验证了关系上下文在跨域环境中的高度不变性。
局限与展望¶
- 依赖预训练 2D 骨干的特征上限：当前实现中 LSeg 与 CLIP 的特征提取器保持冻结，其表征质量直接决定了图节点的初始化上限；未来可探索端到端联合训练或集成更先进的密集视觉语言骨干。
- 局限于静态重建场景：目前的场景图构建假定环境是静态刚性的，在包含人机交互、动态移动物体的时序复杂场景中，如何实现时空一致的动态场景图连续增量更新仍待探索。
相关工作与启发¶
- vs OpenScene / CUA-O3D: 传统 3D 开放词表方法依赖孤立的多视角反投影或掩码平均池化，在区分功能/外观强相关的物体时容易混淆；RelGraphOV 显式将 3D 场景图作为关系先验，使“淋浴帘”这类易混类别的识别率从 0% 跃升至 64.2%。
- vs ConceptGraphs / Open3DSG: 此类工作主要探索场景图本身的预测与开放集关系问答；RelGraphOV 首次将推理出的 3D 场景图作为中间上下文先验，回流用于密集的开放词表点云语义分割任务。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次将无监督 VLM 推理生成的 3D 场景图引入开放词表稠密分割，双流门控解耦设计思路清晰。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 ScanNetV2、ScanNet200 及两个跨数据集的严格零样本评测，包含详尽的模块消融。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文呼应紧密，数学符号与模块设计阐述清晰。
- 价值: ⭐⭐⭐⭐☆ 为开放词表 3D 场景理解从“孤立物体感知”迈向“关系感知环境认知”提供了切实可行的范式。