RelationVGGT: Visual Geometry Transformers for 3D Spatial Relation Segmentation

会议: NeurIPS 2026
arXiv: 2610.00970
论文: https://arxiv.org/abs/2610.00970
领域: 3D表示与场景理解
关键词: 3D空间关系分割, 视觉几何Transformer, 前向多视角推理, 跨视角对应, 场景图理解

一句话总结

RelationVGGT 提出了一种无需已知相机姿态与每场景优化的前向三维空间关系分割模型，通过联合融合 DINOv2 语义特征与 Pi3 几何表征，并将三维体素关系检索重构为目标视角像素级的条件注意力预测，实现了基于主语掩码与开放文本查询的跨视角目标分割。

研究背景与动机

三维场景理解近期从早期的每场景辐射场或高斯优化演进为前向几何模型推理，LangSplat、OpenGaussian 等工作通过将视觉-语言特征嵌入三维高斯或 NeRF 基元，实现了开放词表的物体级定位。然而，现存体系几乎全部局限于以单个物体为中心的孤立感知，将三维场景粗暴抽象为离散实体的集合，忽视了支撑具身智能与高阶空间推理所必需的物体间空间关系（如物体间的放置支撑、包含与几何相邻关系）。

现有探索三维物体间关系的方法面临严峻的计算与泛化瓶颈。以开创性的 RelationField 为代表的工作将关系建模建立在三维辐射场与连续坐标对之上，为了在给定主语和关系词（如“resting on”）时定位目标物体（如桌子），模型必须在三维连续体素网格中执行全场景密集穷举检索；同时依赖特定坐标系的显式点位置编码，完全无法泛化至未见过的全新场景。另一路径是利用视频大语言模型（如 Video-LISA、UniPixel）处理多视角序列，但在缺乏显式三维几何先验的情况下，大基线相机位姿变化会彻底破坏视角间的一致性。

针对上述矛盾，本文提出了一种无需相机位姿先验与场景优化的前向三维空间关系分割范式。本文的核心 idea 是将昂贵且依赖重建的三维体素级关系检索重构为以参考视角主语为条件的目标视角图像网格像素级关系预测，通过交替堆叠主语条件交叉注意力与全局多视角自注意力直接输出对齐语言空间的关系特征图。

方法详解

核心机制

针对 RelationField 需在连续三维空间计算双坐标函数 \(g_\theta(\mathbf{x}, \mathbf{z}) \mapsto \mathbf{r}\) 所导致的高昂体素遍历开销，RelationVGGT 改变了检索的几何载体。模型将参考视角图像 \(I_r\) 中的主语掩码 \(M_s\) 作为上下文条件，直接在目标视角图像网格上构建像素级关系特征图 \(\mathcal{R}_t = \{\mathbf{r}_t(\mathbf{u}) \mid \mathbf{u} \in I_t\}\)。每个特征向量 \(\mathbf{r}_t(\mathbf{u}) \in \mathbb{R}^D\) 编码了目标视角像素 \(\mathbf{u}\) 处所对应的物理实体与参考主语之间的空间关系，并直接映射至文本嵌入空间。当给定开放文本关系查询 \(q\) 时，目标物体区域通过点积相似度与 Sigmoid 激活直接定位，将原本三维空间的隐式检索转化为二维图像网格上的密集相关性预测。

整体框架与流程

模型接收无姿态多视角图像集合 \(\mathcal{I} = \{I_i\}_{i=1}^N\)，选定一个参考视角 \(I_r\) 及其中指定的主语二值掩码 \(M_s\)，其余视角作为目标视角 \(\mathcal{I}_{\text{tgt}}\)。多视角图像首先输入冻结的 2D 视觉基础模型 DINOv2 与 3D 几何基础模型 Pi3 提取多通道表征，由轻量级 Input Mixer 融合为视角 token。关系 Transformer 对保留空间结构的参考视角主语 token 与目标视角多视角 token 执行层级条件推理，最后由 DPT 掩码解码器输出像素级关系特征，并通过与 Jina 文本编码器生成的查询向量进行内积生成目标二值掩码。

%%{init: {'theme': 'base', 'themeVariables': {'fontSize': '12px', 'lineColor': '#2B6CB0'}}}%%
flowchart TD
    In["多视角无姿态图像集合 & 参考视角主语掩码"] --> Feat["特征提取与多模态融合<br/>DINOv2语义特征 + Pi3几何特征 + Input Mixer"]
    Feat --> Trans["关系Transformer推理<br/>主语掩码Token过滤 + 交叉注意力 + 多视角自注意力"]
    Trans --> Dec["DPT掩码解码器<br/>上采样输出逐像素关系特征图"]
    Dec --> Match["文本查询匹配与后处理<br/>Jina文本向量内积 + Sigmoid阈值分割"]
    Match --> Out["各目标视角中的目标物体一致性分割掩码"]

关键设计

1. 语义与几何双流互补特征提取与输入混合

三维空间关系推理既需要细粒度的语义类别感知以识别人工物体的语义边界，又需要视角不变的多视角几何对应。模型并行提取 DINOv2 的 Patch 级表征 \(E_n^D\) 与 Pi3 几何编码器中间层 Token \(E_n^P\)：

\[F_n = M_\theta([E_n^D; E_n^P]) \in \mathbb{R}^{P \times d_f}\]

其中 Input Mixer \(M_\theta\) 采用线性投影与数层带旋转位置编码（RoPE）的 Transformer 块。DINOv2 提供了强先验的对象级语义线索，而 Pi3 赋予了模型在不依赖相机外参情况下的多视角几何对应与空间深度感知能力。

2. 保留空间结构的主语条件与关系Transformer交互

现有条件分割模型常将参考对象压缩为单一池化向量，这会抹平主语的局部几何姿态与接触面细节。本文保留参考视角的全部 Patch Token \(F_r\)，并通过下采样后的主语掩码 \(\bar{M}_s\) 执行元素点乘硬过滤：\(F_r^s = \bar{M}_s \odot F_r\)。将所有目标视角的 Token 拼接为序列 \(Z^0 \in \mathbb{R}^{(N-1)P \times d_f}\)，在每层 Transformer 中交替执行：

\[\bar{Z}^\ell = \operatorname{CrossAttn}_\ell(Z^\ell, F_r^s), \quad Z^{\ell+1} = \operatorname{SelfAttn}_\ell(\bar{Z}^\ell)\]

交叉注意力促使目标视角像素查询主语局部的精细空间锚点，而全局自注意力则促进多目标视角间跨视角的特征交换与几何一致性建立。

3. 开放式文本对齐推理与多查询弱监督训练

空间关系通常具有一词多义与多描述性（例如“resting on”与“supported by”、“on”等同义词均成立）。单一标签的分类损失会错误惩罚合理的语义表达。为此，训练阶段采用基于多查询 Sigmoid Focal Loss 与 Dice Loss 的复合监督：

\[\mathcal{L}_{\text{mask}} = w_{\text{focal}} \mathcal{L}_{\text{focal}}^{\text{multi-q}} + w_{\text{dice}} \mathcal{L}_{\text{dice}}\]

推理阶段，模型使用 Jina Embeddings v3 编码文本关系查询为向量 \(\mathbf{e}(q)\)，并在解码特征图上直接计算像素级匹配分数 \(S_t(\mathbf{u}; q) = \operatorname{sigmoid}(\mathbf{r}_t(\mathbf{u})^\top \mathbf{e}(q))\)。通过固定阈值 \(\tau = 0.3\) 二值化，无需传统特征场算法繁琐的正负 Prompt 归一化。

4. 结合三维几何先验与大语言模型的自动化关系标注流

针对多视角一致空间关系标注严重匮乏的问题，本文在 ScanNet++ 三维实例点云标注的基础上设计了全自动生成管线。首先在投影视角上采用 Set-of-Mark (SoM) 提示 Qwen3-VL 预测候选关系元组；引入跨视角一致性投票（剔除少于 3 个视角共同支持的伪关系），并根据三维包围盒交叠度与质心欧氏距离剔除物理违背的接触关系；最后通过大语言模型进行谓词同义词重写扩展词汇丰富度，高效合成了覆盖 900 个场景的高质训练数据。

理论分析与设计权衡

本文在设计关系预测头时对比了显式点图（Pointmap）编码与隐式几何特征。实验表明，直接将标准化 3D 点坐标通过位置编码拼入特征（PE(pointmap) + DINOv2）会导致性能明显下降（mIoU 从 0.445 跌至 0.370）。这是因为显式点云坐标高度依赖点云重构精度与尺度归一化，且缺乏多视角高层结构感知；相比之下，Pi3 的潜在特征是在大规模多视角几何任务中自监督预训练的，能够在潜在空间中平滑传递几何亲和力与遮挡连续性，证明了预训练基础几何表征相比于低级坐标几何的显著优势。

实验关键数据

主实验

论文在 ScanNet++、Replica 和 LERF 三个包含复杂多视角与多物体交互的基准上进行了系统评测，覆盖 28 种独特空间谓词。主要对比基线包含开放词表高斯表征（LangSplat、OpenGaussian）以及三维关系场方法（RelationField 及其无目标检索变体 RelationField†）。

数据集 / 评测基准	指标	LangSplat	OpenGaussian	RelationField†	RelationField	RelationVGGT (本文)
Replica	mIoU (↑)	0.191	0.349	0.219	0.326	0.446
Replica	mAcc (↑)	0.256	0.470	0.336	0.537	0.640
LERF	mIoU (↑)	0.159	0.256	0.232	0.276	0.254
LERF	mAcc (↑)	0.254	0.378	0.346	0.410	0.332
ScanNet++	mIoU (↑)	0.074	0.162	0.240	0.307	0.445
ScanNet++	mAcc (↑)	0.064	0.254	0.395	0.491	0.675
全局宏平均 (Avg)	mIoU (↑)	0.141	0.255	0.230	0.303	0.382
全局宏平均 (Avg)	mAcc (↑)	0.191	0.367	0.359	0.480	0.549

在大基线视角变化的鲁棒性评测中，针对视频大模型基线（UniPixel、SA2VA、VideoLISA），在小基线时 UniPixel 达到 0.423 mIoU，但在大基线时退化至 0.354；而本文方法在大基线下仍维持 0.366 mIoU 与 0.575 mAcc，显著展现出三维几何感知在宽视点变化下的稳定性。

消融实验

在 ScanNet++ 基准（40 个查询，阈值 \(\tau=0.3\)）上对各模块设计的消融验证如下：

配置分支	变体设计	mIoU (↑)	mAcc (↑)	机制影响分析
完整模型	RelationVGGT (Full Model)	0.445	0.675	完整结合语义-几何特征与交替注意力
输入特征源	P.E.(pointmap) + DINOv2	0.370	0.568	显式三维点坐标缺乏深层几何上下文，性能下降 0.075
输入特征源	Pi3 only (无DINOv2)	0.422	0.579	丧失丰富的高层物体语义先验
输入特征源	DINOv2 only (无Pi3)	0.370	0.579	缺失跨视角几何对应，大视点关系泛化骤降
架构设计	cross-attn only	0.399	0.579	缺少目标视角间自注意力，视角一致性受损
架构设计	alternating-attention (VGGT)	0.394	0.571	传统交替块未针对主语条件强化，效果次优
训练目标	单标签 Sigmoid Focal Loss	0.406	0.604	无法建模空间谓词同义词歧义，抑制合理预测
数据管线	移除几何边物理过滤	0.398	0.625	噪声与空间违背假阳性关系损伤监督信号质量

关键发现

• 几何表征与语义表征同等关键：单用 DINOv2 会因丢失几何定位在 ScanNet++ 上降低 0.075 mIoU，而单用 Pi3 则因缺乏细粒度类别辨识能力使 mAcc 下降 0.096。
• 主语掩码边界敏感度低：借助 SAM2 使用单点或单包围框提示生成的粗略掩码，模型 mIoU 仍能维持在 0.383 与 0.382，与真值掩码（0.382）几乎无差，展现出高度的交互友好性。
• 谓词同义词泛化极强：面对未在训练集中出现过的生僻同义谓词时，mIoU 仅轻微下降 0.031，证实特征直接与连续语言空间深度对齐。

亮点与洞察

• 二维网格像素重构三维体素检索：巧妙规避了三维场耗时巨大的全空间网格遍历，利用视觉基础模型的跨视角几何与上下文注意力直接实现跨视角目标推导。
• 解耦物体先验的纯关系推理：在推理期不输入目标物体的类别文本（如不提供“desk”），模型仅依赖主语和空间关系词推导出目标掩码，真正实现了高阶物理关系理解。
• 物理约束驱动的数据飞轮：利用三维点云包围盒交叠与跨视角多重投票，将喧闹的 2D 视觉语言模型预测清洗为高质量的三维关系图，为后续空间推理任务提供了可扩展的数据生成方案。

局限与展望

• 依赖预分割三维实例数据集：当前自动标注管线仍需依赖 ScanNet++ 这类拥有真值实例点云的室内数据集，尚未直接拓展到完全无标注的在野（in-the-wild）视频。
• 极端密集杂乱场景的分辨力受限：在像 LERF 这样桌面极度拥挤、小物件密集重叠的场景中，模型缺乏局部超高分辨率建模能力，导致性能略低于带有 GT 物体类别提示的方法。
• 关系类型局限于静态空间物理拓扑：当前仅覆盖支撑、悬挂、包含等物理接触与几何相邻关系，未来需进一步扩展至动作因果、交互功能与场景图联合解析。

相关工作与启发

• vs RelationField: RelationField 必须在已知姿态的单场景 NeRF 上逐场景优化，且依赖三维点网格穷举查询；RelationVGGT 为完全前向架构，零样本泛化至新场景且计算复杂度降低数个量级。
• vs Video Foundation Models (UniPixel/SA2VA): 视频分割模型在大基线位姿变化下因时间连续性破坏而失效；本文借助 3D 几何基础模型嵌入，在宽基线与视点跳跃下保持多视角空间一致性。
• vs 3D Referring Segmentation: 传统 3D 语言定位任务在提示文本中包含了目标物体本身的类别或特征描述；本文仅提供主语与动词关系，要求模型完全从三维上下文推理出未知目标的几何边界。

评分

• 新颖性: ★★★★★ (将三维空间关系推理重构为前向多视角条件分割，摆脱体素检索与位姿依赖)
• 实验充分度: ★★★★★ (覆盖多基准定量评测、视频模型横向对比、消融及主语/语言扰动鲁棒性分析)
• 写作质量: ★★★★★ (逻辑严密清晰，动机与架构推演顺畅，图表完备)
• 价值: ★★★★★ (为三维场景理解从“孤立实体感知”迈向“空间交互推理”奠定了坚实的前向范式基石)

相关论文

• [NeurIPS 2026] UniFunc3D: Unified Active Spatial-Temporal Grounding for 3D Affordance Segmentation
• [CVPR 2026] ORD: Object-Relation Decoupling for Generalized 3D Visual Grounding
• [ECCV 2026] Volume Transformer: Revisiting Vanilla Transformers for 3D Scene Understanding
• [CVPR 2026] Scalable Object Relation Encoding for Better 3D Spatial Reasoning in Large Language Models
• [CVPR 2026] MVGGT: Multimodal Visual Geometry Grounded Transformer for Multiview 3D Referring Expression Segmentation