3D-PLOT-LLM: Part-Level Object Tokens for 3D Large Language Models¶

会议: NeurIPS 2026
arXiv: 2606.19828
论文: https://arxiv.org/abs/2606.19828
领域: 多模态VLM
关键词: 3D大语言模型、部件级词元、标记空间精炼、无解码器架构、3D点云理解

一句话总结¶

3D-PLOT-LLM 提出了一种无需分割解码器或边界框预测头的轻量级 3D 视觉语言模型，通过无监督几何区域划分将点云 Patch 组织为 \(K\) 个局部相干区域，并引入连续标记与专属词汇词元 <part_k> 以及标记空间精炼（MSR）模块，首次让大模型能够在自身词表中双向寻址并推理 3D 局部部件。

研究背景与动机¶

三维多模态大语言模型（3D MLLM，如 PointLLM、PiSA）通常将点云编码为扁平的无结构 Patch 序列，擅长整体物体级描述与分类，但在部件级别（part-level）存在根本性的表征瓶颈。物体在三维空间中是由具体的结构单元组合而成的，但传统 3D MLLM 缺乏能够指代、命名或聚合局部部件（如椅子的扶手、靠背、椅腿）的词元单元。以往尝试赋予模型部件感知能力的方法大多借鉴密集预测体系：例如 Kestrel 借助 LISA/GLaMM 架构外挂分割解码器并引入专用 [SEG] 词元，Part-X-MLLM 则引入繁重的双路径编码器与三维边界框语法。

这种范式的核心痛点在于：不仅使非大模型部分的参数量剧增约一个数量级，而且部件始终停留在外部模块的输出端，大模型自身的输入输出词表并未发生改变，模型无法在其原生 Token 流中直接阅读、指代和推理局部部件。此外，依赖外部语义部件标注或预测器不仅难以跨类别扩展（现有部件标注仅覆盖数万样本，远低于预训练所需的数十万级规模），而且部件粒度天然具有层级多义性。

本文的切入角度是打破对外部复杂检测/分割头和规范化部件层级定义的依赖，让部件指代从输入端的结构化组织中自然涌现。核心 idea：将点云划分为 \(K\) 个空间相干几何区域并在 LLM 词表中显式保留 <part_k> 专属词元，结合轻量级标记空间精炼（MSR）模块注入几何统计量与邻接拓扑，以不到 11M 可训练参数实现无解码器的双向部件级词元交互与推理。

方法详解¶

整体框架¶

3D-PLOT-LLM 的核心理念是将 3D 物体的各个几何区域转化为大语言模型原生词表中的一等公民（first-class tokens）。系统输入由冻结的 Point-BERT 编码器从 8,192 个点中提取出 512 个 Patch 词元与全局 [CLS] 词元。整个模型由三大相互配合的组件构成：无监督几何区域划分负责将 512 个 Patch 分组为 \(K=16\) 个空间相干区域，并提取区域几何统计量与拓扑邻接图；标记空间精炼（MSR）模块通过残差变换将这些空间与结构上下文注入每个区域的可学习连续标记中；最后，词元装配机制将全局词元、保留词表词元 <part_k>、精炼标记与各区域 Patch 词元有序排列，送入多模态投影层与大语言模型。整个架构完全移除了分割解码器与边界框回归头。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入点云与冻结 Point-BERT<br/>8192 点 → 512 Patch 词元"] --> B["无监督几何区域划分<br/>超像素聚合与平衡合并至 K=16 区域"]
    B --> C["标记空间精炼<br/>注入 7 维几何统计量与图邻接残差"]
    B --> D["词元装配机制<br/>有序拼接 [CLS]、专属词元 &lt;part_k&gt;、标记与 Patch"]
    C --> D
    D --> E["多模态投影与 LLM 推理<br/>双向部件问答：文本到插槽 (C2S) / 插槽到文本 (S2C)"]

关键设计¶

1. 无监督几何区域划分：确定性无偏的空间聚类基底 针对传统方法依赖外部预训练部件分割器所导致的可扩展性差与类别偏置痛点，本文采用纯无监督、确定性的特征与坐标混合聚类算法，将 512 个 Patch 划分为 \(K=16\) 个局部相干区域。算法首先基于 Patch 坐标构建 \(k=12\) 近邻图，并根据截断阈值门控跨越空白空间的边；随后以最远点采样为种子，按照融合欧氏距离与特征余弦相似度的联合代价函数 \(c_{uv} = \lambda \|c_u - c_v\|_2 + (1-\lambda)(1 - \cos(f_u, f_v))\)（设定 \(\lambda=0.8\)）贪心生长出 150–200 个超像素；接着在超像素图上以测地最远点为种子，受控合并生成 \(K=16\) 个平均包含 32 个 Patch 的平衡区域；最后经过 4 轮边界平滑与连通分量清理，确保所有 Patch 完整分配。由于算法完全由输入点云坐标与冻结特征唯一确定，区域索引 \(k\) 在推理时具备稳定的几何对应性，同时输出每个区域的 7 维统计向量 \(s_k\)（质心 \(xyz\)、Patch 占比 \(|G_k|/N\) 以及各轴跨度 \(xyz\)）与邻接集合 \(\mathcal{N}(k)\)。

2. 词元装配机制：保留词表词元与连续标记的解耦表征 以往方法仅在解码器端引入单一的 [SEG] 词元，无法在输入端指定特定部件区域。3D-PLOT-LLM 设计了一种混合排列的输入序列格式：在每个区域 \(k\) 的 Patch 词元集合 \(G_k\) 之前，依次插入专属词汇词元 <part_k> 以及可学习连续标记 \(\mathbf{m}_k \in \mathbb{R}^{384}\)：

\[[\texttt{CLS}], \underbrace{\texttt{<part\_0>}, \mathbf{m}_0, G_0}_{\text{region } 0}, \dots, \underbrace{\texttt{<part\_K-1>}, \mathbf{m}_{K-1}, G_{K-1}}_{\text{region } K-1}\]

在 \(K=16\) 时，整个点云序列总长度为 \(1 + 2K + \sum |G_k| = 545\)。这种解耦装配赋予了词元明确的分工：Patch 集合 \(G_k\) 与标记 \(\mathbf{m}_k\) 承载该区域的具体几何内容，经由投影层映射至 LLM 维度（4096 维）；而专属词元 <part_k> 直接作为词表条目绕过投影层，自身不携带固有几何先验，其语义完全在大模型内部通过端到端训练与对应区域的内容词元绑定，使模型既能在 Prompt 中解析带有部件索引的指令，又能在输出中自由生成 <part_k> 进行部件定位。

3. 标记空间精炼：几何统计量与图邻接的残差注入 初始的可学习区域标记 \(\mathbf{m}_k\) 缺乏对全局几何布局及相邻关系的感知。为克服独立标记带来的注意分散问题，标记空间精炼（MSR）模块通过两阶段残差变换为其注入空间几何与拓扑邻接信息：

\[\tilde{\mathbf{m}}_k = \mathbf{m}_k + \alpha_{\text{s}} \cdot \text{MLP}(s_k)\]

\[\hat{\mathbf{m}}_k = \tilde{\mathbf{m}}_k + \alpha_{\text{adj}} \cdot \text{MP}(\tilde{\mathbf{m}}_k; \mathcal{N}(k))\]

其中第一阶段通过双层 MLP 将 7 维统计向量 \(s_k\) 升维后残差加权至标记；第二阶段通过消息传递层聚合近邻区域的信息：

\[\text{MP}(\tilde{\mathbf{m}}_k; \mathcal{N}(k)) = \phi\left(W_c \tilde{\mathbf{m}}_k + \frac{1}{|\mathcal{N}(k)|} \sum_{k' \in \mathcal{N}(k)} W_n \tilde{\mathbf{m}}_{k'}\right)\]

这里 \(W_c, W_n \in \mathbb{R}^{384 \times 384}\) 分别为中心与邻居投影矩阵，\(\phi\) 为双层更新网络。残差因子 \(\alpha_{\text{s}}, \alpha_{\text{adj}}\) 初始化为 0.05，且 \(\phi\) 的输出层零初始化，确保训练伊始 \(\hat{\mathbf{m}}_k \approx \mathbf{m}_k\) 恒等映射平滑启动。精炼后的 \(\hat{\mathbf{m}}_k\) 进入投影层直接引导大模型对紧随其后的 \(G_k\) 的自注意力计算，为整个区域提供精准的结构参照。

损失函数 / 训练策略¶

模型采用标准自回归语言建模交叉熵损失进行两阶段训练： - Stage 1（特征对齐）：在 Objaverse 的 660K Cap3D 简要描述数据上训练 3 个 epoch。保持 Point-BERT 和 Vicuna-v1.5-7B 完全冻结，仅训练多模态投影层、可学习区域标记和 MSR 模块。学习率为 \(2 \times 10^{-3}\)，余弦退火调度，有效批大小为 48。 - Stage 2（指令微调）：在分词器中引入 \(<part_0> \dots <part_{K-1}>\) 保留词元（初始化为现有词表嵌入均值），将 PointLLM 的 70K 复杂指令与构建的 77K PartVerse-QA 问答对（包含文本到插槽 C2S 和插槽到文本 S2C）混合，训练 3 个 epoch。Point-BERT 保持冻结，解冻 LLM、投影层、标记与 MSR 联合优化。学习率为 \(2 \times 10^{-5}\)，基于 DeepSpeed ZeRO-3 在 2 张 A100 80GB GPU 上运行，有效批大小为 16。

实验关键数据¶

主实验¶

在 Objaverse 全局物体描述基准（Table 1）与 3DCoMPaT-GrIn 多部件接地描述基准（Table 3）上，3D-PLOT-LLM 均展现出超越基线的性能。

基准 / 任务	评测指标	3D-PLOT-LLM (本文)	基线 / SOTA	相对提升 / 差距
Objaverse 描述 (同数据 70K)	SBERT	47.94	47.66 (PointLLM)	+0.28
Objaverse 描述 (同数据 70K)	GPT-4o 裁判	40.56	39.08 (PointLLM)	+1.48
Objaverse 描述 (全量 147K)	SBERT	48.31	48.21 (PointLLM-PiSA 132K)	+0.10
Objaverse 描述 (全量 147K)	METEOR	12.59	12.32 (PointLLM-PiSA)	+0.27 (\(p \approx 0.04\))
3DCoMPaT-GrIn (接地描述)	BLEU-4	9.32	8.85 (PointLLM FT) / 8.55 (Kestrel)	+0.47 / +0.77
3DCoMPaT-GrIn (接地描述)	METEOR	33.93	33.19 (PointLLM FT) / 32.88 (Kestrel)	+0.74 / +1.05
3DCoMPaT-GrIn (接地描述)	SimCSE	86.23	85.33 (PointLLM FT) / 84.13 (Kestrel)	+0.90 / +2.10
3DCoMPaT-GrIn (接地描述)	GPT-4o 裁判	43.34	40.31 (PointLLM FT)	+3.03

消融实验¶

通过构建的 PartVerse-QA 评估集（Table 2 & Table 4），系统消融验证了词表词元、区域标记与 MSR 模块的贡献：

实验配置	C2S Jaccard ↑	C2S 精确匹配率 (%) ↑	S2C SBERT ↑	S2C GPT-4o 裁判 ↑	说明
纯词表词元 (Vocab-only, 无标记)	0.413	8.42%	61.23	43.98	仅靠词表词元完成基线接地
引入原始标记 (无 MSR 精炼)	0.263	3.06%	61.57	41.93	无空间上下文标记反而分散早期注意力
MSR 仅统计量分支 (\(\alpha_{\text{adj}}=0\))	0.284	-	-	43.93	缺乏邻域拓扑，提升有限
MSR 仅邻接分支 (\(\alpha_{\text{s}}=0\))	0.305	-	-	43.69	缺乏绝对尺度与位置参照
完整模型 (+ MSR 两分支)	0.459	13.78%	62.04	44.68	较纯词表提升 +64% 精确匹配，协同效应显著
词元置换探针 (推理时打乱标签)	0.209	1.28%	-	-	证实大模型习得真实几何绑定而非随机对应

关键发现¶

无精炼标记的负面干扰效应：若直接加入未精炼的连续标记 \(\mathbf{m}_k\)（不使用 MSR），C2S Jaccard 从 0.413 骤降至 0.263，Exact-match 从 8.42% 跌至 3.06%。这是因为独立标记缺乏几何与拓扑信息，在 LLM 早期注意力层中充当了噪声扰动；而 MSR 注入 7 维几何特征与邻域拓扑后，C2S Jaccard 飞跃至 0.459，充分证明结构化上下文在部件绑定中的必要性。
双分支互补性超越简单线性相加：MSR 单独使用统计量分支获得 0.284 Jaccard，单独使用邻接分支获得 0.305 Jaccard，而两者结合跃升至 0.459（提升 +0.196，远大于各自单分支增益 +0.021 与 +0.042 的代数和）。
极高的参数与样本效率：MSR 仅引入约 0.74M 额外参数（全模型新增可训练参数不到 11M，相比密集分割解码器低一个数量级）。在数据规模消融中，仅需 16% 的 PartVerse-QA 训练样本即可匹敌无精炼基线在 100% 数据下的性能。

亮点与洞察¶

将部件指代重构为原生词表问题：不同于以往将部件预测委托给外部解码器（如 SAM 或 Mask3D 分支），3D-PLOT-LLM 让大模型直接在其输入输出文本序列中读取并生成部件索引，实现了语言与三维局部结构的原生多模态统一。
无监督确定性划分规避部件多义性与标注瓶颈：通过特征与空间几何协同增长算法，使模型在无需人工语义部件标注的情况下获得稳定的可寻址基底，语义部件作为离散槽位的动态组合自然学得。
跨模态迁移启示：把复杂几何/视觉目标离散化为具身插槽、并在连续表征中插入结构化图残差的设计思路，可平滑迁移至 2D 目标密集交互、机器人抓取部件定位以及室内场景级目标指代等具身任务中。

局限与展望¶

部件分辨率受限于固定离散槽位：当前模型基于 \(K=16\) 的固定槽位预算，虽然在 PartVerse 中覆盖了 94.5% 的物体部件数量，但在需要点云级别逐点分割掩码（Point-wise mask）的密集预测任务中，粗粒度槽位无法替代专用稠密解码器。
对称与重复部件的语言歧义：在汽车轮子、椅子四腿等高度对称部件上，由于无监督划分将不同轮子分入不同槽位，而纯文本描述未指定具体方位时，模型存在插槽分配二义性。
未来方向：探索动态可变 \(K\) 或层级化（Hierarchical）树状区域划分机制，同时引入更强的主干点云编码器（如 Uni3D 或 ReCon++），并将该词元化交互机制扩展至大规模室内多物体场景理解。

评分¶

新颖性: ⭐⭐⭐⭐⭐（颠覆性地将部件感知从外挂分割解码器转向词表级词元交互，设计精妙）
实验充分度: ⭐⭐⭐⭐⭐（覆盖 PartVerse-QA、3DCoMPaT-GrIn、Objaverse 三大基准，包含置换探针、显著性检验与完备消融）
写作质量: ⭐⭐⭐⭐⭐（逻辑严谨，动机阐述切中要害，结构与公式表达极清晰）
价值: ⭐⭐⭐⭐⭐（为轻量化 3D 具身智能与交互式大语言模型提供了极具启发性的技术路线）