UniPart: Towards Zero-shot Language-Grounded 3D Part Segmentation for Embodied Interaction¶

会议: ECCV 2026
论文: ECCV 原文
代码: [待开源]
领域: 3D表示与场景理解
关键词: 3D 部件分割 / 零样本泛化 / 具身交互 / 视觉语言模型 / 点云表征

一句话总结¶

UniPart 提出了一种基于层级残差文本注入的轻量级前馈 3D Transformer 架构，并配套构建了包含 16 万资产与 800 万文本-部件对的多视角一致性数据集 LangPart-1M 及精标子集 LangPart-4K，实现了无需推理期多视角重投影的高效零样本 3D 细粒度部件分割与真实具身抓取交互。

研究背景与动机¶

构建通用的具身智能系统要求机器人不仅能够感知并定位宏观物体实例，更需要在细粒度几何层面上理解物体的功能结构与局部组件。在开放世界的机械操作场景中，抓取一把螺丝刀的把手、按下微波炉的特定按键或握住茶壶的提梁，都高度依赖对指令相关局部的精确定位。传统视觉基础模型（如 SAM 与 CLIP）在 2D 领域取得了优异的泛化能力，并在近期被广泛拓展至 3D 空间，但现有 3D 感知模型在细粒度部件理解上面临着两难困境。

一方面，以 Point-SAM 为代表的可提示 3D 模型继承了实例分割的泛化优势，但通常只能在整物级别将离散物体从场景中剥离，缺乏解析物体内部语义部件的能力；另一方面，ShapeNetPart 和 PartNet 等经典部件分割模型虽然具备细粒度的局部感知能力，但依赖于固定的封闭类别分类体系（如 16 或 45 个类别），在面对开放词表或长尾指令时完全丧失了零样本迁移能力。现有开放词表尝试（如 PointCLIPV2 或 PartSLIP++）要么需要在推理时密集渲染数十个视角的 2D 图像并通过反向投影投票，导致单次推理耗时高达数十甚至上百秒；要么受限于 2D-3D 提升过程中视角不一致产生的几何噪声。

针对这一核心矛盾，本文认为理想的具身感知基语应当是一个将自由文本短语直接映射为 3D 点云局部掩码的语义接口。要实现这一目标，必须同时攻克“缺乏大规模跨视角一致的文本-部件 3D 标注数据”与“缺乏高效、直接的前馈 3D 跨模态分割架构”两大壁垒。本文的核心 idea 是：构建基于多视角一致性文本引导合并机制的大规模数据引擎 LangPart-1M，并搭配在所有 Transformer 编码层中直接注入 CLIP 文本嵌入的前馈 3D 模型 UniPart，辅以三阶段跨模态渐进式对齐微调策略，彻底摆脱推理阶段的多视角渲染开销。

方法详解¶

整体框架¶

UniPart 的整体架构由数据飞轮与前馈推理网络两大部分组成。数据侧从 16 万 Objaverse 资产出发，经严格的六维空间语义过滤后，利用 GPT-5.2-Pro 和 SAM 进行多视角 Set-of-Mark 提示分割与语义合并，生成 800 万文本-部件对（LangPart-1M），并经人工审核构建 LangPart-4K 高质量子集。网络侧接收物体点云与自由文本指令，先由 FPS 与 k-NN 提取几何局部 Patch，通过 PointNet 投影为 3D Token 序列；随后送入 $N$ 层的 Plain 3D Transformer 编码器；在编码器的每一层中，冻结的 CLIP 文本全局嵌入均被以逐 Token 相加的方式注入点云特征；最后由 MLP 解码器预测逐点二值分割掩码，实现 0.4 秒级的高速前馈推理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["输入：物体点云 X + 文本指令 l"] --> B["点云局部 Token 化<br/>FPS 采样 + k-NN + PointNet 提取局部几何 Token"]
    A --> C["语言编码<br/>冻结 CLIP Text Encoder 提取全局文本嵌入"]
    B --> D["前馈跨模态 3D Transformer<br/>N 层 Plain Transformer 编码主干"]
    C -->|逐层广播| E["层级逐 Token 残差文本注入<br/>各编码层特征与文本嵌入逐点直接相加"]
    D <--> E
    E --> F["PointNet-MLP 解码器<br/>上采样并输出逐点二值预测 Logits"]
    F --> G["输出：目标部件 3D 点云分割掩码"]

关键设计¶

1. LangPart-1M 数据引擎与多视角文本引导合并：打通 2D 基础模型向 3D 部件标注的规模化飞轮

从互联网海量 3D 资产（Objaverse）中提取细粒度部件的核心痛点在于：2D 掩码独立提升至 3D 空间时极易产生跨视角几何不一致与严重过分割。为解决该问题，本文设计了包含四大阶段的自动化数据引擎。首先，针对 Objaverse 资产实施包含非场景、无底座地表、几何结构可分性等 6 项严格规则的 VLM 自动化清洗；随后由 GPT-5.2-Pro 生成该物体的全量功能部件候选列表；在 Blender 中受控光照渲染 12 个视角的图像后，利用 SAM 提取无监督局部候选，并赋予 Set-of-Mark（SoM）视觉编码；核心创新在于第三阶段：将带标注的 2D 图像送回 GPT-5.2-Pro，由其根据物体部件列表跨视角选择可见部件，并将属于同一功能语义的多个碎片区域 ID 强制合并；最后结合精确深度与内外参反向投影生成稠密点云部件标签。该机制有效滤除了 2D 提升中的孤立噪点与边界撕裂，累计产出超 160K 物体、250+ 类别、1,000+ 部件类型共 800 万对高质量标注。

2. 层级逐 Token 残差文本注入：极简而高响应的跨模态融合机制

在 3D 点云与文本特征的跨模态融合上，主流设计往往偏向复杂的双向交叉注意力机制（Cross-Attention）或通道拼接（Concat）。然而实验发现，由于具身交互中的指令文本多为短语或短句（如“茶壶把手”、“右侧按钮”），其语义信息已被 CLIP 全局嵌入高度压缩，复杂的注意力机制不仅容易引入庞大参数量和显存开销，还在小样本或复杂几何局部上存在过拟合倾向。UniPart 采用在 $N$ 层 Plain 3D Transformer 的每一层中直接将 CLIP 文本嵌入向量与每一个点云 Token 特征进行向量加法（Additive Injection）的设计。这种逐层均匀注入保证了文本条件在深层网络中的连续强监督，既避免了注意力计算的冗余二次复杂度，又让局部几何特征在演进的全生命周期中紧密受控于文本目标。

3. 三阶段渐进式对齐与微调策略：兼顾宏观语义跨模态对齐与微观几何边界精度

针对完全自动化生成的数据集不可避免带有少量模型伪影与边缘模糊的局限，UniPart 提出了跨模态渐进式训练管线。第一阶段为跨模态表示预对齐：在单视角局部点云与对应渲染 RGB 图像之间建立点到图像 Patch 的投影映射，最小化点云编码器特征与 CLIP 图像 Patch 嵌入之间的余弦距离，强制 3D 骨干网络预先汲取 2D 视觉语言特征空间的丰富语义先验；第二阶段为大规模预训练：在 LangPart-1M 全量 800 万对数据上进行二值交叉熵（BCE）监督学习，使模型建立对开放词表几何部件的宏观定位能力；第三阶段为高保真微调：借助 10 名专业标注人员精细校验的 LangPart-3K 子集修正自动化标注的几何边界歧义，大幅提升掩码边缘精度与小部件的召回率。

损失函数 / 训练策略¶

UniPart 采用分阶段定制的优化目标： 1. 第一阶段跨模态几何-视觉预训练：给定单视角点云 $X^{sini}$ 与同视角 RGB 图像 $I$，通过点到图像 patch 映射 $\pi(i) \in \{1,\dots,M\}$，最小化归一化点特征 $\hat{z}_i$ 与对应 CLIP 图像 Patch 特征 $\hat{c}_{\pi(i)}$ 的负余弦相似度： $$\mathcal{L}_{align} = 1 - \frac{1}{N}\sum_{i=1}^N \langle \hat{z}_i, \hat{c}_{\pi(i)} \rangle$$ 2. 第二、三阶段二值分割微调：网络对给定文本短语 $\ell_{ij}$ 输出逐点前景概率 $\hat{S}_{ij} \in [0, 1]^N$，监督信号为真实二值标签 $S_{ij}$，整体优化目标为全量样本上的二值交叉熵损失（BCE）： $$\mathcal{L}_{BCE}(\hat{S}_{ij}, S_{ij}) = -\frac{1}{N}\sum_{k=1}^N \left[ S_{ij}^k \log(\hat{S}_{ij}^k) + (1 - S_{ij}^k) \log(1 - \hat{S}_{ij}^k) \right]$$ 总损失为数据集内所有物体及其全部部件掩码的 BCE 损失加和： $$\min_{\theta_{UP}} \sum_{X_i \in \mathcal{D}} \sum_{S_j^i \in S_i} \mathcal{L}_{BCE}(\hat{S}_j^i, S_j^i)$$

实验关键数据¶

主实验¶

论文在通用的开放世界 3D 部件分割基准 Objaverse-General 以及经典迁移基准 ShapeNetPart、PartNet-E、自建基准 LangPart-1K 上进行了零样本评测，指标为平均交并比（mIoU, %）。在两种常见提示形式 {part} of a {object} 和 {part} 下，UniPart 均展现出对现有基线的巨大优势，同时推理延迟仅需 0.4 秒（比 PartSLIP++ 快 400 倍以上）。

基准数据集	评测子集 / 设定	提示形式	UniPart (本文)	FIND3D (SOTA)	OpenMask3D	PointCLIPV2	PartSLIP++
Objaverse-General	见类 (Seen)	`{part} of a {object}`	46.43	33.78	11.81	9.81	2.69
	见类 (Seen)	`{part}`	49.27	34.10	11.93	11.27	15.03
	未见类 (Unseen)	`{part} of a {object}`	41.46	26.21	7.01	10.27	0.57
	未见类 (Unseen)	`{part}`	45.23	27.41	10.31	11.09	10.43
ShapeNetPart	标准位姿 (Canonical)	`{part}`	41.75	24.09	10.37	20.22	6.46
	随机旋转 (Rotated)	`{part} of a {object}`	42.43	29.64	6.75	16.88	0.94
	ShapeNetPart-V2	`{part} of a {object}`	55.63	42.15	15.87	15.14	1.54
LangPart-1K	单视角点云 (Partial)	`{part}`	33.56	8.97	-	-	-
	完整点云 (Complete)	`{part} of a {object}`	28.69	14.36	-	-	-
PartNet-E	标准位姿 (Canonical)	`{part} of a {object}`	23.15	16.86	12.54	11.28	5.12
	随机旋转 (Rotated)	`{part} of a {object}`	24.28	17.62	11.93	10.32	3.87

消融实验¶

为解耦架构贡献与数据贡献，论文在 Objaverse-General 上设计了严格的受控交叉对比实验（Table 6），并在模型组件层面进行了跨模态融合方式（Table 8）与第一阶段预训练有效性（Table 7）的消融。

1. 架构与数据贡献解耦对照实验（Objaverse-General, Zero-shot mIoU %）

模型架构	训练数据集	mIoU (%)	相对基线提升	说明
FIND3D 架构	FIND3D 原始数据 (36k)	30.75	基线 (0.00)	原始基准
UniPart 架构 (本文)	FIND3D 原始数据 (36k)	35.27	+4.52 (+14.69%)	证明前馈残差 Transformer 架构本身的优越性
FIND3D 架构	LangPart-1M (本文数据)	38.42	+7.67 (+24.94%)	证明 LangPart-1M 大规模数据引擎的质量与标注价值
UniPart 架构 (本文)	LangPart-1M (本文数据)	47.25	+16.50 (+53.66%)	架构与数据联合协同达到最优性能

2. 跨模态融合机制与预训练消融实验

实验组别	消融配置	mIoU (%)	表现分析
多模态融合方式	交叉注意力 (Cross-attn)	29.22	注意力计算易在稀疏点云局部过拟合且计算量大
	特征乘法 (Multiplication)	28.13	乘法调制过度压制未激活几何特征
	通道拼接 (Concat)	30.31	通道扩张增加解码层负担，提升有限
	逐层相加 (Addition, 本文)	33.56	相较 Cross-attn 提升 +4.34%，兼具高效与强条件控制
预训练影响	带预训练 + 单视角局部点云	33.56	第一阶段对齐使局部几何直接继承 CLIP 语义结构
	无预训练 + 单视角局部点云	26.34	性能大幅下降 -7.22%，显现跨模态对齐的必要性
	带预训练 + 完整几何点云	27.17	虽预训练于单视角，仍可稳定泛化至完整几何
	无预训练 + 完整几何点云	23.39	性能下降 -3.78%

关键发现¶

数据引擎与模型架构的双轮驱动：受控对照实验清晰证明，单纯将训练集替换为 LangPart-1M 就能使 FIND3D 模型提升 7.67% mIoU；而将模型替换为 UniPart 架构在相同数据下也能纯涨 4.52% mIoU；二者结合时性能跃升至 47.25% mIoU（+16.50%），表明极简的层级文本注入能够充分消化百万级高质量部件对的丰富监督。
逐层相加优于复杂交叉注意力：在多模态融合消融中，朴素的向量逐层相加（33.56%）显著优于流行的 Cross-Attention（29.22%）和 Concat（30.31%）。短文本 prompt 特征已被全局压缩，逐层直接残差注入能有效将高层指令意图贯穿整个点云特征流，防止深层几何特征发生指令漂移。
具身操作实机验证的闭环有效性：在搭配 Franka Panda 机械臂（夹爪）与 UR5 机械臂（Shadow Hand 灵巧手）并结合 RealSense D415 的实机操作中，UniPart 在 20 种真实物体上的部件分割准确率达 90.5%，下游基于 GraspNet/DexGraspNet2.0 的语言指令部件抓取成功率达 85.0%，且单次感知仅需 0.4 秒，完全满足实时闭环控制要求。

亮点与洞察¶

极简前馈架构终结多视角回投的延迟噩梦：过去开放词表 3D 分割长期依赖多视角 2D 模型反向投影（如 PartSLIP++ 单次耗时 174.3 秒），UniPart 证明纯前馈 3D 骨干配合层级文本注入即可达到更优精度，并将延迟压缩至 0.4 秒，为机器人闭环交互扫平了算力障碍。
利用 VLM 闭环构建跨视角一致 3D 数据引擎：通过 Set-of-Mark 提示与 GPT-5.2-Pro 对 2D SAM 碎片掩码进行跨视角语义合并，巧妙利用大模型的空间逻辑推理克服了纯几何配准在非规则部件上的脆弱性。
可复用的模块化具身感知接口：UniPart 将语言到 3D 掩码的映射解耦为通用的感知基元，下游抓取或操作算法无需针对具体语义重新微调，可直接对接 DexGraspNet 或规划器，展现出极高的模块泛化性。

局限与展望¶

孤立物体假设与非杂乱场景依赖：当前 LangPart-1M 依赖从 Objaverse 提取的单物体 CAD 资产，UniPart 输入假设为经过裁剪或分割的单物体点云；在复杂堆叠、大场景混乱遮挡的开放室内环境下，必须依赖前置的 3D 目标检测器或实例分割模块。
细长与柔性部件的几何拓扑表征脆弱性：点云下采样与 k-NN 邻域聚合对电线、杯把细环等微细拓扑结构较为敏感，低分辨率点云下易出现断连或欠分割。
未来改进方向：可进一步将 UniPart 的层级文本注入机制拓展至点云-高斯泼溅（3DGS）联合表征，并引入触觉或动态交互反馈，实现从静态单步分割到交互式动态部件探索的演进。

评分¶

新颖性: ⭐⭐⭐⭐ [构建了多视角语义合并的百万级 3D 部件数据集，并验证了前馈 3D Transformer 逐层加权文本注入的极简有效性]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 Objaverse-General、ShapeNetPart、PartNet-E、LangPart-1K 四大基准，包含严谨的数据/架构解耦消融与真实双机械臂抓取验证]
写作质量: ⭐⭐⭐⭐⭐ [逻辑链条严密自洽，从具身操作痛点切入，方法机制与受控实验设计极为清晰规范]
价值: ⭐⭐⭐⭐⭐ [为具身智能操作提供了真正毫秒级可用、开放词表的 3D 部件感知基础设施，对机器人操作领域具有重要实用价值]