跳转至

P\(^3\)-VLM: A Point-based Alternative for Grounded 3D Vision-Language Models

会议: NeurIPS 2026
arXiv: 2610.28018
论文: https://arxiv.org/abs/2610.28018
代码: https://p3vlm.insait.ai/
领域: 多模态 VLM
关键词: 3D视觉语言模型、3D Grounding、点提示、3D高斯泼溅、语义泄漏

一句话总结

揭示了现有3D VLM基于包围盒提示中严重的几何“语义泄漏”与视觉盲区问题，提出严格的单点空间提示协议，并构建包含位置、任务与上下文三通路的无检测器场景级3D VLM（P\(^3\)-VLM），在显著削弱几何捷径的同时实现了SOTA的视觉定位与跨域鲁棒性。

研究背景与动机

3D视觉语言模型（3D VLMs）致力于对复杂三维物理环境实现通用理解，既能执行全局无锚定的场景级问答，也能根据空间位置提示对特定物体进行具身定位与描述。然而，现有3D定位评测与提示范式中存在普遍的“语义泄漏（Semantic Leakage）”漏洞：绝大多数模型依赖三维包围盒（Bounding Box，包含中心坐标、三维尺寸与偏航角）作为空间提示或目标表征基元。包围盒的绝对尺寸、长宽比和体积本身携带了极强的类别先验（例如窄高的盒子天然对应门，大平面的盒子对应床），使得模型无需真正观察物体的精细视觉与纹理，仅凭几何外框尺寸就能推测出物体类别。

这种对包围盒强先验的依赖在目标级和场景级VLM中普遍存在。实验证明，一个完全不输入任何视觉信息、仅接受包围盒坐标的“纯盲眼（Blind）”LLM，在ScanNet的Nr3D物体分类任务上竟能取得高达36.4%的准确率；而采用目标检测器的VLM在用粗糙多层感知机（MLP）编码替代真实3D视觉特征后性能几乎不掉。这种几何捷径导致现有3D VLM在面对非紧致包围盒、尺寸多样的物体以及重建噪声时极其脆弱，严重掩盖了真实视觉感知能力的缺失。

为了彻底阻断基于盒子外形的几何先验捷径，本文提出单点定位提示协议（Point-based Grounding Prompting），仅提供目标物体上的单个3D点坐标 \((x, y, z)\) 进行查询。在此严格约束下，盲眼LLM的准确率断崖式下跌至18.0%，现有基线（如LL3DA和GaussianVLM）性能也大幅下降，暴露出其视觉表征的薄弱。核心 idea：摒弃包围盒几何先验，提出单点空间提示协议，并设计包含位置感知、任务感知与全局上下文的三通路场景级3D VLM，使模型真正依赖紧密结合3D几何位置的高斯体素视觉特征完成定位与推理。

方法详解

整体框架

P\(^3\)-VLM是一个无须检测器（detector-free）且面向全场景的3D VLM，直接以3D高斯泼溅（3D GS）场景和自然语言提示为输入，在单点空间提示下自回归生成自由文本回答。模型首先利用稀疏3D GS编码器将原始高斯点云体素化，获得锚定在空间网格上的体素特征；随后将体素特征送入三条互补的视觉处理通路（位置感知通路、任务感知通路与上下文感知通路），分别提取查询局部的视觉点特征、经指令引导与稀疏化的全场景特征以及无条件全局场景摘要，最后连同文本指令标记送入LLM（Qwen3-VL-4B）生成回复。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入3D高斯泼溅场景与查询点 p"] --> B["3D GS体素化编码<br/>生成稠密体素特征 F 与坐标 C"]
    B --> C["位置感知通路<br/>最近邻体素与点坐标拼接过MLP"]
    B --> D["体素稀疏化与3D RoPE增强<br/>平均池化下采样至2048网格"]
    D --> E["上下文感知通路<br/>8个可学习查询交叉注意力池化"]
    D --> F["任务感知通路<br/>文本自注意力引导3D RoPE交叉调制与压缩"]
    C --> G["多模态标记融合与LLM解码<br/>[T_loc, T_ctx, T_task, 任务Prompt]"]
    E --> G
    F --> G
    G --> H["自回归生成文本描述或回答"]

关键设计

1. 空间稀疏化与3D RoPE特征增强：降低长序列开销并内嵌三维相对空间几何

原始3D高斯经过SceneSplat稀疏卷积编码后，每个场景可产生超过10,000个稠密体素标记，计算全自注意力开销过大。为此，模型在均匀3D网格上对原始体素特征进行平均池化，将其下采样至至多2048个标记。为了让后续Transformer具备直接感知三维欧几里得几何的能力而无需依赖脆弱的绝对位置编码表，模型采用堆叠的4层空间感知自注意力层，其Query和Key均经由3D旋转位置编码（3D RoPE）进行轴向频率调制：

\[\theta_{i, \text{axis}} = \frac{\text{pos}_{\text{axis}}}{1000} \cdot 10000^{-2i/d_h}, \quad i = 0, \ldots, \frac{d_h}{6}-1\]

通过在Q和K内积中显式乘入空间欧氏相对距离，模型直接赋予下采样体素全局几何感知能力，输出空间增强特征 \(\mathbf{S} \in \mathbb{R}^{N \times D_{\text{lm}}}\)。

2. 位置感知通路：基于局部原始高斯体素与坐标拼接的高保真点特征提取

针对单点查询 \(\mathbf{p} \in \mathbb{R}^3\)，模型定位欧氏距离最近的体素中心 \(i\)，提取其未被稀疏化层平滑过的原始高斯体素特征 \(\mathbf{F}_i\)。这一设计至关重要：消融实验证明，经过自注意力池化的特征因全局平滑削弱了极度关键的局部空间细节。模型将原始特征与归一化查询点坐标进行向量拼接，通过一个4层GELU激活的多层感知机投影至语言模型隐藏维度：

\[\mathbf{T}_{\text{loc}} = \text{MLP}([\mathbf{F}_i \,;\, \mathbf{p}]) \in \mathbb{R}^{D_{\text{lm}}}\]

该设计让MLP能够联合推断“该位置具体是什么物体”与“该位置处于三维空间的何处”，无需复杂的外部掩码或检测头；在无位置提示的全局问答中，该通路被完全抑制，不引入多余标记。

3. 上下文感知通路：紧凑全局场景摘要引导注意力聚焦

为防止模型在单点定位时退化为只看局部的“管窥”状态，上下文感知通路引入 \(K=8\) 个可学习查询标记 \(\mathbf{Q}_{\text{learn}}\)，对经过3D RoPE增强的空间特征 \(\mathbf{S}\) 执行无条件交叉注意力：

\[\mathbf{T}_{\text{ctx}} = \text{XAttn}(\mathbf{Q}_{\text{learn}}, \, \mathbf{S}) \in \mathbb{R}^{K \times D_{\text{lm}}}\]

这些无条件标记不受具体语言问题干扰，迫使其自发捕捉全局场景级宏观属性（房间布局、空间朝向、房间类型等）。全局上下文的分流使得任务感知通路不必分心于全局场景表征，注意力显著聚焦在与指令相关的特定物体区域。

4. 任务感知通路：指令驱动的空间残差交叉微调与标记压缩

针对具体的语言指令或任务查询 \(\mathbf{L}\)，模型首先通过2层自注意力提取精炼文本特征 \(\mathbf{L}_{\text{refined}}\)。接着，为使全场景体素根据用户意图进行差异化响应，3D RoPE增强的体素序列向精炼文本标记做交叉注意力，并通过零初始化的残差投影层稳定叠加回原视觉特征：

\[\mathbf{S}_{\text{task}} = \text{LayerNorm}\left(\mathbf{S} + \mathbf{W}_{\text{out}} \cdot \text{XAttn}_{\text{3DRoPE}}(\mathbf{S}, \, \mathbf{L}_{\text{refined}})\right)\]

最后，利用128个可学习查询标记将任务精炼后的特征序列压缩为128个LLM可直接接收的视觉标记 \(\mathbf{T}_{\text{task}}\)，实现极高计算效率与语义表达力的平衡。

损失函数 / 训练策略

P\(^3\)-VLM采用两阶段自回归训练策略： - 阶段一（位置通路预训练）：仅激活位置感知通路，在Nr3D和ScanRefer的定位标注数据上训练点定位描述生成，仅向LLM输入单标记 \(\mathbf{T}_{\text{loc}}\) 与文本指令。此阶段使局部体素到语言词表的映射快速稳定，避免初期多通路优化互相干扰。 - 阶段二（多任务联合微调）：激活全部三条通路，在Nr3D、ScanRefer定位任务以及ScanQA和SQA3D场景问答的混合数据集上联合端到端微调。

训练优化目标为标准自回归下一个词元预测负对数似然损失：

\[\mathcal{L} = -\sum_{t} \log p_\theta(y_t \mid y_{<t}, \, \mathbf{T}_{\text{loc}}, \, \mathbf{T}_{\text{task}}, \, \mathbf{T}_{\text{ctx}}, \, \mathbf{L})\]

使用AdamW优化器（初始学习率 \(3 \times 10^{-5}\)，权重衰减 0.05），采用线性预热（200步）与余弦衰减调度；语言模型主干采用Qwen3-VL-4B并以LoRA（rank 16, \(\alpha=32\)）微调投影层权重，3D编码器SceneSplat全程端到端更新。

实验关键数据

主实验

在Nr3D与ScanRefer数据集上对点提示（p）与包围盒提示（b）进行对比评估。采用基于LLM评测器（Gemini 2.5 Flash）抽取类别计算的类别准确率（Class Acc，严格反映是否真正认出物体）以及句子语义相似度（Sentence-BERT Sim）。

数据集 模型 提示类型 类别准确率 Acc (%) 文本相似度 Sim (%)
Nr3D LL3DA 包围盒 (b) 47.7 48.1
Nr3D LL3DA 单点 (p) 33.1 39.5
Nr3D GaussianVLM 包围盒 (b) 46.2 48.2
Nr3D GaussianVLM 单点 (p) 29.3 35.5
Nr3D P\(^3\)-VLM (Ours) 单点 (p) 52.1 46.0
Nr3D P\(^3\)-VLM (Ours) 包围盒 (b) 52.4 46.3
ScanRefer LL3DA 包围盒 (b) 48.0 55.9
ScanRefer LL3DA 单点 (p) 29.2 34.9
ScanRefer GaussianVLM 包围盒 (b) 50.4 59.1
ScanRefer GaussianVLM 单点 (p) 33.2 41.4
ScanRefer P\(^3\)-VLM (Ours) 单点 (p) 56.1 54.2
ScanRefer P\(^3\)-VLM (Ours) 包围盒 (b) 58.4 52.5

在分布外泛化（GaussianVLM-OOD，未见过的ScanNet++场景物体计数）与场景问答基准上的表现如下：

评估基准 LL3DA LEO GaussianVLM P\(^3\)-VLM (b) P\(^3\)-VLM (p)
ScanNet++ OOD (EM) 1.5 7.9 9.3 15.42 17.31
ScanQA (EM-R) 30.3 - 30.7 30.5 31.9
SQA3D (EM-R) 43.3 50.9 51.4 51.9 51.8
SQA3D (BLEU-4) 1.0 9.4 17.1 19.5 30.6

消融实验

在P\(^3\)-VLM (p)点提示模型上独立去除各通路，并与仅保留就近体素+全局上下文的最小化匹配基线（Matched baseline）对比：

模型配置 Nr3D Acc (%) Nr3D Sim (%) ScanQA EM-R (%) SQA3D EM-R (%) SQA3D BLEU-4 (%)
完整模型 (Full model) 52.1 46.0 31.9 51.8 30.58
w/o 位置感知通路 (Location) 49.3 43.9 30.4 45.6 0.0
w/o 任务感知通路 (Task) 50.2 46.0 30.1 47.9 22.5
w/o 上下文感知通路 (Context) 50.2 45.2 22.7 49.4 34.8
极简匹配基线 (Matched baseline) 39.8 41.9 31.3 49.6 20.2

在点提示位置扰动与物体表面点采样实验中： - 扰动半径偏移 \(0.1 \times\) 包围盒尺度：Nr3D Acc为 50.6%（仅微跌1.5%）； - 扰动半径偏移 \(0.9 \times\) 包围盒尺度（覆盖几乎整个物体边缘）：Nr3D Acc仍保持在 46.6%（仅跌5.5%）； - 直接改用表面随机点采样训练（Surface Point）：Nr3D准确率大幅飙升至 58.8%，ScanRefer准确率达到 64.3%。

关键发现

  • 去几何捷径倒逼出真实视觉能力：在ScanNet++未见场景的零样本计数（OOD）中，单点提示训练的P\(^3\)-VLM (p)达到了17.31%的精确匹配度，比包围盒训练的P\(^3\)-VLM (b)的15.42%高出近2个百分点，更大幅碾压先前SOTA GaussianVLM（9.3%），证明摆脱对外框先验的依赖促使模型学习到了本质的几何视觉表征。
  • 表面点采样对大型物体的强赋能：将查询点从物体几何中心转移到表面随机点后，中大型家具（桌椅、书架、柜子）的识别准确率平均飞跃了21.3个百分点。这是因为大物体中心往往落在空心内部（如桌面下方、柜体内部），体素池化缺乏几何与纹理信息；表面点则紧贴真实可观测的高斯基元。
  • 传统n-gram评价指标具有极强迷惑性：若只看CIDEr/METEOR/ROUGE，生成语法流畅但物体识别完全错误（如把椅子说成马桶）的模型依然能拿到高分，必须结合LLM抽取或分类准确率进行严谨验证。

亮点与洞察

  • 尖锐揭示3D VLM领域的“盲眼作弊”现象：通过训练“无视觉纯盲眼LLM”仅靠包围盒数值输入就能达到36.4%高准确率的绝妙实验，一针见血地指出社区长期以来依靠包围盒长宽高先验作弊的痛点。
  • 原始未平滑特征用于定位的精妙设计：位置通路直接从原始稀疏体素取特征与坐标拼接，避开了被自注意力全局平滑过的稠密特征，保证了定位所必须的高频局部性。
  • 表面点采样的泛化迁移潜力：利用表面随机点训练不仅摆脱了“中心点高度依然存在少许类别先验”的残余泄漏，还能直接赋能具身机器人——真实激光雷达或深度相机命中物体的永远是表面点而非质心。

局限与展望

  • 依赖预先重建的3D高斯泼溅：输入需要预先进行3D GS重建，对于没有预建地图的动态开放实时场景存在额外计算管线延迟。
  • 下游评测偏向感知识别，缺乏长文本对话：当前验证任务集中在ScanRefer/Nr3D物体描述和ScanQA简短问答上，尚未在复杂多轮具身规划与交谈对话场景中深入探究。
  • 特征绑定于SceneSplat体素化结构：当前主要基于SceneSplat的体素架构，虽然实验拓展验证了Sonata点云编码器，但对NeRF或纯网格等不同三维表征格式的兼容性仍待扩展。

相关工作与启发

  • vs GaussianVLM: 两者均为基于3D GS的场景级VLM。GaussianVLM更注重语义驱动（语言特征早早融入高斯），但在单点提示下由于缺乏稳健的几何定位结构大幅跌至29.3%；P\(^3\)-VLM坚持几何驱动，通过显式的三通路设计与3D RoPE位置增强，在点提示下达到52.1% SOTA。
  • vs LL3DA / LEO: LL3DA和LEO等依赖检测器提议或包围盒输入，存在天然的检测器漏检瓶颈和几何泄漏脆弱性，在非紧致外框下性能崩溃至28%左右；P\(^3\)-VLM为detector-free设计，抗干扰性极强。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统量化并破除3D VLM中的包围盒语义泄漏，提出单点定位范式与三通路高斯架构。
  • 实验充分度: ⭐⭐⭐⭐⭐ 包含盲眼模型控制实验、外框扰动鲁棒性、表面点扩展及多基准消融，论证极其扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，问题意识极强，逻辑推演层层递进。
  • 价值: ⭐⭐⭐⭐⭐ 为具身智能与3D基础模型的真实空间感知评测指明了重要方向。

相关论文