Instruct-Particulate: Scaling Feed-Forward 3D Object Articulation with Kinematic Control

会议: NeurIPS 2026
arXiv: 2606.14699
论文: https://arxiv.org/abs/2606.14699
代码: https://instruct-particulate.github.io
领域: 3D表示与场景理解
关键词: 铰接三维物体、运动学控制、前向部件分割、关节参数估计、多模态指令

一句话总结

针对三维铰接物体标注数据匮乏及部件粒度歧义难题，提出 Instruct-Particulate 模型，通过引入包含文本、点提示及拓扑树的运动学规范指令实现前向部件分割与关节参数估计，并在构建的超 15 万异构三维数据集上完成大规模训练。

研究背景与动机

理解与交互铰接三维物体（如微波炉门、抽屉、旋钮、厨具）是具身智能体、物理仿真系统及游戏动画应用的核心基础。然而，现有的前向铰接三维重建与分析方法严重受制于高质量训练数据的匮乏。以往基准工作大多依赖小规模人工标注集（如仅含约两千个资产的 PartNet-Mobility）或受限于固定类别的规则程序化生成，导致模型在面对未见类别、复杂拓扑结构以及扩散生成算法产出的网格时泛化能力急剧退化。

阻碍数据规模扩展的核心矛盾在于标注粒度与语义的不一致性：真实世界中通用的静态三维资产体量庞大，但缺乏运动学结构；同时，对于同一静态几何体，合理的铰接拆解方式往往并不唯一（例如微波炉可仅拆分炉门，亦可同时拆解旋钮与按键）。直接汇聚异构数据训练无条件前向模型，会导致模型在不同粒度间模糊平均，生成破碎退化的预测结果。

本文的切入角度是引入显式的运动学指令规范对任务进行解歧。通过给定目标部件文本描述、三维点提示与拓扑连接关系，模型能够精准针对特定粒度的目标进行解析，从而释放利用海量异构伪标签与多源数据进行预训练的潜力。核心 idea：将三维物体铰接结构预测重新表述为受运动学指令条件控制的前向任务，利用视觉语言模型与编码智能体构建超 15 万异构三维铰接数据集，实现鲁棒的跨类别部件分割与高精度运动学关节参数解算。

方法详解

整体框架

Instruct-Particulate 接收静态三维网格表面采样点云与目标运动学指令规范，以前向推理方式同时预测稠密表面查询点的部件归属标签以及每个可动关节的六自由度运动参数（包含旋转/移动轴向、轴上点及极限角度/位移范围）。

方法的处理流水线分为三个核心阶段：首先是输入与提示的 Token 化表征阶段，将几何形状点云压缩为潜空间形状 Token，同时将文本描述与可选的三维点提示融合成部件 Token，并对表面查询点进行局部几何编码；接着进入双路解耦交互注意力阶段，通过堆叠的 Transformer 块实现部件与形状、查询与部件之间的跨模态信息传递；最后通过轻量级解码器预测部件分割概率，并基于超参数化几何目标进行鲁棒的全局关节运动参数拟合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：静态3D网格与运动学指令规范"] --> B["运动学规范指令化表征<br/>文本/几何点提示融合与拓扑树编码"]
    B --> C["双路解耦交互注意力机制<br/>形状-部件-查询跨模态特征更新"]
    C --> D["超参数化局部关节预测与两步几何拟合<br/>逐点轴向/极值回归与一致性解算"]
    D --> E["输出：解耦部件网格与物理仿真关节参数"]

关键设计

1. 运动学规范指令化表征：消除多粒度歧义的提示条件机制

针对异构数据源中部件划分粒度冲突与语义模糊的问题，模型显式引入运动学条件规范 \(\mathcal{C} = (\{(t_p, \mathbf{x}_p)\}_{p=1}^P, \mathcal{K})\)。其中 \(\mathcal{K} = \{(u_e, v_e, \tau_e)\}_{e=1}^{P-1}\) 定义了由 \(P-1\) 个关节连接的部件有向运动树拓扑结构，关节类型 \(\tau_e \subset \{\text{pri}, \text{rev}\}\) 区分移动关节与转动关节。对于每个部件 \(p\)，输入包含文本描述 \(t_p\) 及可选的三维表面提示点 \(\mathbf{x}_p\)。文本描述经过预训练 CLIP 编码器提取特征后由轻量 MLP 映射，三维点则结合其法向量 \(\mathbf{n}_p\) 与几何特征 \(\mathbf{f}_p\) 进行嵌入：

\[\tilde{\mathbf{l}}_p^0 = \phi_t(\text{CLIP}(t_p)) + \text{embed}(\mathbf{x}_p, \mathbf{n}_p, \mathbf{f}_p) \in \mathbb{R}^D\]

该机制使模型能够在无歧义的指令引导下工作：文本提示提供语义类型定位，点提示消除对称无序部件（如桌子的四条腿）的几何对齐歧义。在测试阶段，当缺乏人工指令时，该运动学条件亦可通过通用多模态视觉语言模型自动生成。

2. 双路解耦交互注意力机制：高效无查询自注意力的跨模态网络

针对稠密表面查询点计算复杂度高且长度泛化困难的问题，网络采用非对称解耦注意力设计。输入形状 \(M\) 采样 \(N=10,240\) 个点，经由 VecSet 跨注意力与可学习嵌入交互压缩为 \(L=2,048\) 个紧凑形状 Token \(\mathbf{Z}^S\)。在后续堆叠的 \(B=6\) 层 Transformer 块中，部件 Token 首先与全局形状 Token 做交叉注意力，并在部件集合内进行自注意力更新：

\[\{\tilde{\mathbf{l}}_p^b\}_{p=1}^P = \text{SelfAttn}\left(\text{CrossAttn}(\{\tilde{\mathbf{l}}_p^{b-1}\}_{p=1}^P, \mathbf{Z}^S)\right)\]

对于 \(M\) 个稠密表面查询点 \(\mathbf{q}_j\)，网络依次计算其与全局形状 Token 及更新后的部件 Token 的交叉注意力：

\[\{\tilde{\mathbf{q}}_j^b\}_{j=1}^M = \text{CrossAttn}\left(\text{CrossAttn}(\{\tilde{\mathbf{q}}_j^{b-1}\}_{j=1}^M, \mathbf{Z}^S), \{\tilde{\mathbf{l}}_p^b\}_{p=1}^P\right)\]

该设计的精妙之处在于完全剔除了查询点之间的自注意力计算。这一选择不仅大幅降低了内存与计算开销，使得推理时能够并行处理超过 10 万个稠密查询点，还规避了查询点数量变化引发的 Transformer 长度方差消失缺陷，保证了任意密度几何采样下的预测稳定性。

3. 超参数化局部关节预测与两步几何拟合：从逐点投影到全局运动解算

直接从全局特征回归具有强非线性几何约束的关节旋转轴、锚点和运动范围极难收敛。本文借鉴局部超参数化策略，令子部件 \(v_e\) 上的每个表面查询点 \(\mathbf{q}_j\) 预测局部过参数化目标：包含局部轴向向量 \(\tilde{\mathbf{d}}_{j,e}^\tau\)、关节轴线上距离该查询点最近的垂足投影点 \(\tilde{\mathbf{c}}_{j,e}^\tau\)，以及该查询点在该关节处于运动下限与上限姿态时的瞬时三维坐标 \(\tilde{\mathbf{q}}_{j,e}^{\tau,-}\) 与 \(\tilde{\mathbf{q}}_{j,e}^{\tau,+}\)：

\[(\tilde{\mathbf{d}}_{j,e}^\tau, \tilde{\mathbf{c}}_{j,e}^\tau, \tilde{\mathbf{q}}_{j,e}^{\tau,-}, \tilde{\mathbf{q}}_{j,e}^{\tau,+}) = \psi_{\text{joint}}(\tilde{\mathbf{q}}_j^B, \tilde{\mathbf{l}}_{u_e}^B, \tilde{\mathbf{l}}_{v_e}^B, \mathbf{e}_\tau)\]

在推理聚合阶段，算法将关节参数解耦为两步解析求解：第一步对归属于该部件的所有查询点的轴向与投影垂足进行平均投票，直接鲁棒确定关节空间轴线 \(\mathbf{a}_e = (\mathbf{d}_e, \mathbf{p}_e)\)；第二步基于正向运动学方程 \(F(\mathbf{q}_j, \mathbf{a}_e, \theta_e, \tau_e)\)，利用非线性最小二乘法优化求解运动范围界限 \([\theta_e^-, \theta_e^+]\)：

\[\arg\min_{\theta_e^-, \theta_e^+} \sum_{j \in \mathcal{Q}(e)} \left( \|\tilde{\mathbf{q}}_{j,e}^{\tau,-} - F(\mathbf{q}_j, \mathbf{a}_e, \theta_e^-, \tau_e)\|_2^2 + \|\tilde{\mathbf{q}}_{j,e}^{\tau,+} - F(\mathbf{q}_j, \mathbf{a}_e, \theta_e^+, \tau_e)\|_2^2 \right)\]

这种解耦拟合避免了轴向与运动范围联合全局优化时的局部极小陷入，大幅提高了关节估计的物理保真度。

损失函数 / 训练策略

模型端到端通过多任务损失进行联合优化：\(\mathcal{L} = \mathcal{L}_{\text{part}} + \mathcal{L}_{\text{joint}}\)。 其中部件分割损失采用标准交叉熵：

\[\mathcal{L}_{\text{part}} = \frac{1}{M} \sum_{j=1}^M \text{CE}(\tilde{S}_j, m(\mathbf{q}_j))\]

关节运动参数损失监督每个可动关节及其子部件表面查询点的局部过参数化目标，采用 \(L_1\) 范数平衡各项误差：

\[\mathcal{L}_{\text{joint}} = \frac{1}{P-1} \sum_{e=1}^{P-1} \sum_{\tau \in \tau_e} \sum_{m(\mathbf{q}_j)=v_e} \left( \lambda_d \|\tilde{\mathbf{d}}_{j,e}^\tau - \mathbf{d}_e^\tau\|_1 + \lambda_c \|\tilde{\mathbf{c}}_{j,e}^\tau - \mathbf{c}_{j,e}^\tau\|_1 + \lambda_q \|\tilde{\mathbf{q}}_{j,e}^{\tau,-} - \mathbf{q}_{j,e}^{\tau,-}\|_1 + \lambda_q \|\tilde{\mathbf{q}}_{j,e}^{\tau,+} - \mathbf{q}_{j,e}^{\tau,+}\|_1 \right)\]

超参数配置设定损失权重 \(\lambda_d = 5\)、\(\lambda_c = 5\)、\(\lambda_q = 10\)。优化器采用 AdamW，峰值学习率 \(6.4 \times 10^{-5}\)，预热 1,000 步，在 16 块 NVIDIA Blackwell GPU 上以全局 Batch Size 128 训练 100,000 步。数据混合比例精心设计：PartNet-Mobility (2.3k, 权重 0.17)、GRScenes (1.8k, 权重 0.10)、HY3D-Bench-Part-Level (117k, 权重 0.18)、HY3D-Bench-Synthetic (27k, 权重 0.22) 以及 Articraft 编码智能体生成的 CAD 资产 (10k, 权重 0.33)。训练中引入随机部件合并、文本提示以 0.2 概率随机丢弃、点提示以 0.25 概率随机丢弃的数据增广策略，确保提示与几何的鲁棒互补。

实验关键数据

主实验

在包含 14 个复杂类别（如搅拌机、油烟机、燃气灶等未见类别）的 Lightwheel 评估基准上，针对 Image Only、Mesh 和 Mesh + Kinematic 三种输入设定进行对比评测。评估指标涵盖部件匹配精度/召回率（Prec/Rec）、静止姿态分割交并比（mIoU/gIoU）与 Chamfer 距离（PC）、极限姿态铰接几何质量（gIoU/PC/OC），以及关节轴向角度误差（AE，单位度）与定位误差（LE）。

输入模式	方法	匹配 Prec↑	匹配 Rec↑	静止 mIoU↑	静止 PC↓	铰接 gIoU↑	铰接 PC↓	轴向 AE(°)↓	轴向 LE↓
Image Only	SINGAPO	37.6%	25.4%	0.182	0.200	-0.263	0.295	30.3	0.077
Image Only	PAct	24.6%	16.8%	0.092	0.230	-0.434	0.404	42.9	0.188
Image Only	PhysX-Anything	20.3%	19.2%	0.093	0.247	-0.459	0.334	38.8	0.123
Image Only	URDF-Anything+	70.7%	23.9%	0.260	0.259	-0.138	0.305	50.4	0.128
Image Only	Instruct-Particulate	73.4%	57.6%	0.405	0.102	0.164	0.161	18.1	0.139
Mesh	Articulate AnyMesh	89.2%	42.5%	0.452	0.190	0.158	0.237	21.7	0.043
Mesh	PartField	61.2%	62.6%	0.264	0.106	—	—	—	—
Mesh	Particulate	89.9%	51.5%	0.576	0.168	0.305	0.208	20.9	0.040
Mesh	Instruct-Particulate	94.3%	74.8%	0.724	0.091	0.542	0.108	13.9	0.018
Mesh + Kinematic	P3SAM	41.6%	79.7%	0.411	0.177	—	—	—	—
Mesh + Kinematic	Instruct-Particulate	97.3%	95.9%	0.821	0.010	0.747	0.039	9.5	0.015

消融实验

消融实验深入验证了训练数据源的增益贡献（表 2）以及不同条件模态的作用（表 3）：

实验组别	训练数据组合 / 条件模式	匹配 Prec↑	匹配 Rec↑	静止 mIoU↑	铰接 gIoU↑	轴向 AE(°)↓	轴向 LE↓
数据消融 \(\mathbb{A}\)	PM + GRS（基线）	89.3%	71.2%	0.620	0.446	13.0	0.036
数据消融 \(\mathbb{B}\)	+ 部件增强数据 (S.3.2)	95.3%	89.2%	0.743	0.652	12.3	0.025
数据消融 \(\mathbb{C}\)	+ 合成伪标签 (S.3.1)	96.8%	95.3%	0.813	0.745	13.1	0.020
数据消融 \(\mathbb{D}\)	+ 编码智能体资产 (S.3.3)（完整模型）	96.9%	95.4%	0.825	0.757	11.0	0.018
模态消融 \(\mathbb{A}\)	无运动学条件约束（匈牙利匹配）	64.1%	74.7%	0.463	0.226	22.9	0.048
模态消融 \(\mathbb{B}\)	仅文本提示（禁用点提示）	87.7%	66.5%	0.576	0.398	13.8	0.079
模态消融 \(\mathbb{C}\)	仅点提示（禁用文本提示）	95.6%	91.1%	0.663	0.594	18.8	0.035
模态消融 \(\mathbb{D}\)	完整提示（文本 + 点提示）	96.9%	95.4%	0.825	0.757	11.0	0.018

关键发现

• 数据异构扩展的互补性：仅在既有公开数据集上训练的模型（数据组 \(\mathbb{A}\)）发生明显过拟合，面对未见物体泛化能力极弱；扩充大规模部件标注及合成伪标签数据（组 \(\mathbb{B}\)、\(\mathbb{C}\)）使静止分割 mIoU 从 0.620 大幅提升至 0.813；而编码智能体 Articraft 提供的 1 万条强物理监督数据（组 \(\mathbb{D}\)）则进一步将关节角度误差 AE 从 13.1° 压低至 11.0°。
• 运动学条件是规避歧义的关键：完全去除运动学条件的变体（模态组 \(\mathbb{A}\)）由于被迫在异构数据集中多重合理的分割方案间妥协，静止分割 mIoU 骤降至 0.463，铰接几何 gIoU 从 0.757 跌落至 0.226。
• 点提示与文本提示的协同效应：点提示提供了极强的几何位置锚定（使召回率与分割指标显著上升），而文本提示则对关节运动语义与轴向方向预测提供关键支撑（缺乏文本提示时轴向误差 AE 从 11.0° 恶化至 18.8°）。

亮点与洞察

• 将多源异构弱标签转化为强先验：巧妙利用运动学条件解歧机制，克服了三维铰接领域长期难以汇聚跨粒度数据的结构性瓶颈，成功让十万级弱标注三维模型为前向铰接网络赋能。
• 两阶段解耦的关节参数拟合：不强行通过神经网络直接端到端拟合复杂几何约束，而是由网络预测局部的轴向垂足与极值状态坐标，再通过代数投票与前向运动学优化恢复全局参数，显著增强了旋转与平移轴线的鲁棒性。
• 端到端图像铰接生成的工业化串联：通过解耦几何重建与运动学解析，将单图输入交由现成通用三维生成底座（如 HY3D-3.1）重建，再由本模型精准解析运动结构，打通了从单张实拍图片直接生产仿真级铰接三维资产的通用管线。

局限与展望

• 依赖输入网格的表面拓扑质量：模型假设输入几何体表面封闭且拓扑基本完整，若 AI 生成网格存在浮空碎块、非流形孔洞或部件间几何粘连，局部查询点的轴向投票会出现系统性偏移。
• 缺乏深层物理动力学属性预测：当前输出限定于运动学树、关节类型与几何动程范围，未估计物体的质量分布、摩擦系数、惯性张量或弹簧阻尼系数，距离全自动生成即开即用的物理仿真资产仍需后处理或微调对齐。
• 极端密集微小部件的处理边界：当物体包含数十个以上密集微小按钮或内部复杂机械联动时，二维到三维投影遮挡与点云采样稀疏度仍会引发局部错分。

相关工作与启发

• vs Particulate: Particulate 是同团队前期提出的无条件前向三维铰接估计模型，无法接受用户自定义控制且仅在数千个小规模资产上训练；Instruct-Particulate 引入运动学指令引导，彻底解决了多粒度数据混合时的表示冲突，使训练规模扩展近百倍并在 Lightwheel 基准上取得代际提升（Mesh 模式下 mIoU 从 0.576 提升至 0.724）。
• vs URDF-Anything+: URDF-Anything+ 采用自回归生成范式解析运动学结构，推理延迟高且在微小活动部件（如烤箱旋钮、咖啡机按键）上召回率偏低；本文采用前向并行注意力网络配合超参数化拟合，小部件召回率与几何精度均显著占优。
• vs PartField / P3SAM: 这类方法专注于原生三维语义/实例分割，缺乏运动学物理拓扑概念，无法区分几何解耦与刚体铰接边界；Instruct-Particulate 将语义分割与关节动力学约束深度耦合，产出的资产可直接导出为 URDF。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次提出运动学指令引导的前向三维铰接预测范式，打通跨粒度数据扩展路径。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 种基线对比、3 种输入模式、完整的数据与条件模态消融，以及真实图像生成验证。
• 写作质量: ⭐⭐⭐⭐⭐ 动机阐述逻辑严密，数学符号形式化清晰，架构设计与工程细节详实完备。
• 价值: ⭐⭐⭐⭐⭐ 为具身智能环境生成、物理仿真资产构建与多模态三维交互提供了高质量开源基础组件。

相关论文

• [NeurIPS 2025] EA3D: Online Open-World 3D Object Extraction from Streaming Videos
• [NeurIPS 2026] H2G: Hierarchy-Aware Hyperbolic Grouping for 3D Scenes
• [NeurIPS 2026] DIGS: Distribution-Informed Gaussian Splatting for Training-Free Open-Vocabulary 3D Segmentation
• [NeurIPS 2026] CAIRN: Cross-Room 3D Scene Understanding with Topology-Aware Large Multimodal Models
• [CVPR 2026] Artiverse: A Diverse and Physically Grounded Dataset for Articulated Objects