P3-SAM: Native 3D Part Segmentation¶

会议: ECCV2026
论文: ECCV 原文
领域: 3D表示与场景理解
关键词: 原生三维监督、部件分割、单点提示、多掩码预测、自动分割

一句话总结¶

P3-SAM 从约 370 万个三维资产中提取原生部件监督，让单个正点经两阶段网络产生三个部件候选，再用质量预测、自动选点和重复抑制形成整物体分割；在不利用部件连通性先验的 PartObj-Tiny 设置中取得 59.88 IoU，对比 PartField 为 53.93。

研究背景与动机¶

对一个三维物体进行部件分割，并不只是判断哪些点属于同一语义类别。资产编辑往往需要把一把椅子的不同支撑、座面和靠背拆成可独立操作的实例，而且新资产的部件命名和数量未必出现在训练类别表中。预定义标签的逐点分类难以直接承担这种开放部件划分任务；把二维 SAM 掩码从多个渲染视角投回三维，则把可见性与视角分歧引入了部件边界。即使投影结果只用来训练三维网络，这些误差也会成为监督的一部分。

另一个困难是“部件”没有唯一粒度。点击扶手上的一点，可以要求扶手，也可以要求包含扶手的更大结构。已有特征聚类方案通常还需要部件数量或层级选择，提示模型则需要人工给点；模型能响应一次查询，不等于已经自动完成整物体分割。P3-SAM 因而同时改变监督来源和输出组织：利用艺术家逐件组装资产留下的三维结构构建训练标签，用多候选容纳划分歧义，再把大量单点查询压缩成一个部件集合。

这里最值得区分的是“使用连通性生产标签”和“测试时靠连通性切物体”。前者可以是训练数据的入口，后者会在水密扫描件或生成资产上失效，因为一个整体连通表面仍可能包含多个部件。核心 idea：从原生三维资产中学习点到部件的对应，用多掩码表达粒度歧义，并让可学习质量评价与几何后处理共同完成无需预设部件数的实例划分。

方法详解¶

整体框架¶

输入是物体网格或表面点云，输出是与语义类别无关的部件实例掩码；对网格还要输出逐面部件编号。训练前先构造“原生三维监督”；训练时“两阶段多掩码预测”根据一个正点产生候选；测试时“质量引导自动分割”负责自动提供提示、选择候选并回填网格。推理不调用二维 SAM，也不需要为待处理物体重新训练分割头。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["艺术家网格"] --> B["原生三维监督<br/>连通块处理与水密化"]
    B -.->|仅训练标签| D["两阶段多掩码预测<br/>单正点与三候选"]
    C["输入表面点与法线<br/>共享点特征"] --> D
    D --> E["质量引导自动分割<br/>评分、去重与回填"]
    E --> F["点级部件实例<br/>及网格面标签"]

表面点的编码对每个资产只做一次，可以被多次提示查询复用。但两阶段中的全局聚合依赖当前提示和初始掩码，不能连同点特征一起误写成完全与提示无关的缓存。单点交互只使用候选预测与评分；整物体自动模式额外执行最远点采样、非极大值抑制和未标注面的补全。

关键设计¶

1. 原生三维监督：利用资产制作结构，同时避免把拓扑捷径当作分割能力

作者收集 Objaverse、Objaverse-XL、ShapeNet、PartNet 等来源的网格。艺术家可能分别创建零件再组装，因此网格连通分量保存了部分部件线索，但直接把每个分量当标签会把碎片也变成部件。数据流程先按连通性拆开，计算表面积，再在分辨率 128 的体素空间建立邻接：两个子网格占据同一体素便视为相邻。面积不足总表面积 1% 的小块迭代并入相邻且更大的块；最终只保留部件数为 2–50 的物体，并过滤严重面积失衡的样本，得到约 370 万个资产。

这种监督不需要多视角 SAM 一致性，但也不等于人工语义真值。独立制作的装饰片可能被分开，语义独立的结构也可能已焊接。数据引擎表达的是作者筛选后可接受的部件划分，而不是所有物体唯一正确的零件定义。原文第 3.1 节还把单个大部件过滤阈值写为 0.85%，与前述每个部件超过 1% 的要求冲突；此处不擅自改成 85%，也不把该条件当作可直接复现的可靠参数。

为减轻“见到断开的网格就能答对”的分布偏置，作者进一步把资产转成只保留外表面的水密版本，成功获得约 230 万个。新表面上的每个面继承原模型最近面的标签；同一资产有水密版本时，训练以 80% 的概率选它，否则使用原版本。模型因此必须从表面几何学习边界，而不能始终依赖训练资产中的内部结构和拓扑分离。最近面迁移仍可能在薄片、接触面和边界附近产生误标，水密化不是无误差标注器。

2. 两阶段多掩码预测：先提出部件假设，再按假设汇总整体形状

编码器采用 Sonata 预训练的 Point Transformer V3，减小输入体素尺寸以保留复杂几何，再融合不同层级输出，通过共享 MLP 得到每点 512 维特征。每次查询将点特征、原始坐标与广播后的提示点坐标拼接。单个正点已经是明确的空间条件，因此这里没有复用 SAM 的多类型提示编码器；这也是轻量分割头可以快速重复查询的重要前提，而非完整支持 SAM 的框、负点或文本交互。

第一阶段用三个独立 MLP 输出三个候选掩码。同一点在不同数据来源中可能对应不同粒度，保留多个候选比强迫一个头兼容所有划分更合适。三个头不是固定的细、中、粗语义槽位：论文通过训练竞争鼓励差异，没有提供所有资产统一的尺度标签。

第二阶段把原混合输入和三个初始掩码送入 MLP，再沿点维度最大池化形成全局特征；另一组三个 MLP 同时读取原输入、该全局特征和初始掩码，重新预测。初始掩码提供“现在大概在找哪个部件”的线索，全局汇聚则补上整个候选区域的形状背景，使局部几何相似的表面可以依据更大范围的结构重新判断归属。这不是严格的只在掩码内部池化：原文的做法是把掩码作为全局特征网络的输入，不能额外发明硬裁剪或注意力模块。

两阶段均有掩码监督。对一个提示，只让损失最小的候选头承担该次掩码反向传播，避免三个头都被同一真值强行拉到完全相同的输出。这样允许不同头适应不同粒度，但不保证三者必然语义可解释，也不保证每次都能覆盖用户真正想要的尺度；候选选择仍需另一个可靠度模型。

3. 质量引导自动分割：把局部查询变成无需预设数量的部件集合

IoU 预测器结合混合输入、全局特征和第二阶段三个掩码，经 MLP、最大池化与输出 MLP，预测每个候选与真值的 IoU。训练中真值可用，推理时只能使用预测分数来选头，不能把实际测得的 IoU 当作免费可用的评分。模型评分是“这个候选可能有多正确”，与后处理直接计算的“两候选重叠多少”是不同量。

自动模式从 100,000 个表面点中用最远点采样选 400 个提示，重复使用共享点特征；每个提示留下一个候选及其质量。过采样提高发现不同部件的机会，也必然带来同一部件的重复预测。随后按质量降序运行 NMS，每次保留队首掩码，删掉与它的掩码 IoU 大于 0.9 的候选，直到队列为空。留下多少个掩码，就预测有多少个部件；无需先输入聚类簇数。

NMS 在这里是删除重复候选，不是把两个集合取并集。阈值也只排除高度重叠，不保证所有保留掩码两两互斥，因此不能把它直接等同于最终网格分区。点所属掩码通过点到面的对应回投，以投票决定标签，再对没有标签的面执行迭代填充：有邻接时取邻居多数标签，缺乏连接信息时用若干最近面。最后每个面有标签，是网络预测与覆盖后处理共同作用，不代表网络已经逐面精确判断了所有漏采样区域。

一个完整示例¶

以带座面、靠背与支撑件的椅子作为机制示例，不把以下说明视作论文额外测得的结果。

从网格采样 100,000 个表面点及法线，先提取共享点特征，再自动挑选 400 个提示点。
位于座面的一点触发三个初始候选；第二阶段结合这些候选汇聚整体形状，再产生三个细化结果。质量分支选出最可信的一个，而不是由用户逐头指定。
座面上其他提示可能生成几乎相同的掩码，它们会被 NMS 抑制；靠背等低重叠候选则可能保留。最终部件数量由候选集合决定，这里不假定椅子必须被切成某个固定数目。
点标签回投网格，未采样覆盖的面被邻域投票补全。自动模式无用户点，但“没有用户点”来自自动选点机制，不是把点条件从网络输入中删掉。

如果用户给出多个分别指向目标部件的提示，论文另采用尽量覆盖整个物体、同时减少掩码重叠的组合选择，而非逐个只取最高预测 IoU。层次分割则在已有部件的平均点特征上进行层次聚类。这两项是应用方式，不应倒写为默认自动模式必须运行的训练模块。

损失函数 / 训练策略¶

训练时每个资产随机选 \(K=8\) 个真实部件，每个部件内随机取一个正点。两个阶段分别采用 Dice 和 Focal 的加权组合，Dice 系数为 0.5；下面只保留说明多头竞争的核心关系，其中 \(t\) 为阶段、\(i\) 为候选、\(j\) 为提示：

\[ \mathcal{L}_{\mathrm{mask}}^{(t)} =\frac{1}{K}\sum_{j=1}^{K}\min_{i\in\{1,2,3\}} \left[0.5\mathcal{L}_{\mathrm{Dice}}(m_{ij}^{(t)},m_j^{\mathrm{gt}}) +\mathcal{L}_{\mathrm{Focal}}(m_{ij}^{(t)},m_j^{\mathrm{gt}})\right]. \]

质量分支不采用这个“只训最佳头”的选择，而是对三个预测 IoU 都施加均方误差，目标由第二阶段掩码按 0.5 阈值二值化后与真值计算。总目标是第一阶段掩码损失、第二阶段掩码损失和 IoU 损失之和。掩码分支学“画对”，质量分支学“识别哪个画得更对”，两者职责不能互相替代。

训练对坐标、法线和提示加噪声，并以 0.3 的概率去掉法线；这让模型不完全依赖理想表面输入。训练、评测、推理均用 100,000 个点。优化器为 Adam，学习率 \(10^{-5}\)；使用 64 张 H20，每卡 batch size 2，训练 9 个 epoch，约 4 天。点数固定不等于对任意网格复杂度都有同等细节保真度，极小部件仍可能被采样遗漏。

表 1 报告约 112M 参数、自动分割约 8 秒、交互约 3 毫秒。后者应理解为特征已提取后的轻量查询，不是从读取新资产到完整网格分割的端到端延迟。当前主文没有给出足够统一计时条件，不能把不同方法的约计时直接当成严格硬件等价基准。

实验关键数据¶

主实验¶

表 2 和表 3 分别比较普通网格、水密网格及点云，以下只摘取关键平均 IoU，不重复全部类别列。PartObj-Tiny 为 200 个资产、8 类；水密版为其中成功转换的 189 个资产；PartNetE 为 1,906 个形状、45 类。表中数值沿用原文百分制，越高越好；差值是百分点，不是相对百分比。

数据集与设置	对照方法	对照 IoU	P3-SAM IoU	差值（百分点）
PartObj-Tiny，无连通性先验	SAMPart3D	53.47	59.88	6.41
PartObj-Tiny，无连通性先验	PartField	53.93	59.88	5.95
PartObj-Tiny，有连通性先验	PartField	79.18	81.14	1.96
PartObj-Tiny，单点交互	Point-SAM	27.91	51.23	23.32
PartObj-Tiny-WT，完整分割	PartField	51.54	58.10	6.56
PartObj-Tiny-WT，单点交互	Point-SAM	24.16	49.11	24.95
PartNetE，完整分割	PartField	59.1	65.39	6.29
PartNetE，单点交互	Point-SAM	45.85	63.48	17.63

主实验在 PartObj-Tiny 无连通性先验时报告 P3-SAM 为 59.88 IoU、PartField 为 53.93，差值为 5.95 个百分点。水密版上的 58.10 对 51.54 进一步支持模型不只依赖断开的子网格，但训练规模、标签来源与骨干预训练共同变化，不能只归功于某个分割头。

“有连通性”是额外结构辅助协议：PartField 使用连通分量形成层次结果并取最优层级，P3-SAM 也引入连通分量和按部件的随机提示。因此 81.14 不应作为默认无人工部件信息自动模式的成绩，也不能把它与 59.88 的差当成一次独立模块消融。水密表面并非没有数学邻接，而是缺乏直接对应部件的分离连通分量先验。

交互评测在每个真实部件中采 10 个提示，平均各预测与对应真值的 IoU；它衡量给定点时选出的单个掩码，与完整分割的全局协议不同。原文表 3 标题只提水密 PartObj-Tiny，但内容也包含 PartNetE，笔记按实际行名区分，不把两组数据混成一个集合。

消融实验¶

表 4 在作者自建数据的测试集上评估分割头。这里 mIoU 使用 0–1 标度，与主实验的百分制数值不同；各行不应用小数点错位直接比较。

配置	数据增强	mIoU	被比较的变化
Single-Head	无	0.2801	只有第一阶段单头
Stage 1 Only	无	0.4265	第一阶段多头
Stage 2 Only	无	0.6647	包含全局特征的预测阶段
Stage 1 + Stage 2	无	0.7464	联合两阶段结构
Full	有	0.7906	联合两阶段与增强

关键发现¶

第一阶段单头到多头的 mIoU 为 0.2801→0.4265，说明不强迫单一候选兼容所有部件划分有价值；这不是证明每个头都学到了固定且唯一的尺度。
Stage 1 Only 到 Stage 2 Only 为 0.4265→0.6647，差值 0.2382；联合两阶段再到 0.7464。它支持全局聚合及初步候选的配合，而非只靠头数增加。
数据增强使完整两阶段从 0.7464 到 0.7906，绝对增加 0.0442。消融并未分别隔离水密化、去法线、坐标噪声的贡献。
图 7 对移除 NMS、洪泛填充只展示定性结果，没有可引用的独立数值降幅；IoU 预测器也没有单独的定量移除消融。

亮点与洞察¶

原生三维监督的价值不是宣称资产拓扑天然正确，而是把多视角投影误差换成可审查的数据构造假设，再用水密化覆盖与该假设不同的推理分布。
提示式能力和自动化能力分工明确：单点条件降低一次预测的开放性，过采样与评分解决覆盖，NMS解决重复，面标签补全解决采样遗漏。只提升交互掩码质量不能自动保证完整分区质量。
两阶段的作用是让预测结果参与特征汇总，而不仅是串接更深的 MLP。这个思路可用于其他有粒度歧义的局部查询，但要重新验证评分校准和候选之间的重叠处理。

局限与展望¶

作者明确指出模型主要理解表面几何，不了解部件所占空间体积；部件掩码并非遮挡实体的完整重建，HoloPart 生成应用也不是网络自身完成体积推断的证据。
面积过滤、连通块合并与最近面标签迁移是启发式规则，不能保证符合所有编辑需求；原文 0.85% 条件仍需澄清，不能声称已获得无歧义复现流程。
原生标签、370 万数据规模、Sonata 预训练和64张 H20预算共同出现，现有实验没有把这些因素逐一控制。正文也没有完整说明与外部评测资产的去重协议，不能据有限集合宣称对任意未知物体都可靠。
固定 100,000 点、400 提示和 NMS 0.9 没有系统敏感性曲线；小部件覆盖、不同粒度候选冲突及质量分数失准应单独测试。填充让所有面有标签，不等于消除了边界误差。
缓存含主文和参考文献，未提供额外补充材料或重复训练方差；结果应作为这些协议内的证据，而非统计显著性或全场景稳健性的完整证明。

评分¶

新颖性: 4/5。原生数据构建、简化提示模型与完整自动流程的组合有辨识度，单个基础算子较常规。
实验充分度: 4/5。覆盖网格、点云、交互和结构消融，但数据来源消融、去重细节与参数敏感性仍不足。
写作质量: 3/5。核心流程可复述，过滤阈值与部分评测命名存在需澄清之处。
价值: 4/5。对三维资产处理和下游部件编辑有直接参考意义，但训练成本与表面几何边界需纳入预期。