PWM-ArtGen: Part World Model for Articulated Object Generation¶

会议: ECCV 2026
论文: ECCV 2026
代码: https://github.com/Wentap123/PWM-ArtGen
领域: 3D生成与编辑
关键词: 铰接物体生成 / 视觉动力学 / 运动学参数 / 部件世界模型 / 协同训练

一句话总结¶

提出首个面向单图铰接物体生成的部件世界模型 PWM-ArtGen，通过解耦时间步联合扩散建模动作后视觉动态与运动学参数，结合视觉动力学正则化与 19.7k 逼真无标注数据协同训练，实现了逼真且物理自洽的 3D 铰接物体零样本生成。

研究背景与动机¶

铰接物体（如带抽屉的柜子、冰箱、微波炉、剪刀等）在日常物理环境中无处不在，是构建高保真交互式虚拟场景、机器人具身智能以及数字孪生系统的基础物理资产。然而，传统依赖人工专家建模的流程极其昂贵耗时，从单张静态图像自动生成具备真实运动学结构的 3D 铰接物体面临严峻挑战。现有方案通常存在两个显著瓶颈：一方面，以 SINGAPO 为代表的单图参数回归方法直接从静止图像推断运动关节轴线和范围，由于单张静态图完全缺乏物体运动过程中的动态交互线索，面对外观纹理复杂或几何遮挡的非刚性部件时极易出现严重的歧义性和退化；另一方面，基于多视点或视频生成的两阶段管线先合成物体运动视频再做逆向参数估计，极易因级联误差导致重构几何产生严重形变或拓扑断裂。

更为关键的阻碍在于训练数据的匮乏与领域差距。现存的铰接物体数据集如 PartNet-Mobility（PM）主要基于合成 CAD 模型，其光照、材质与背景严重缺乏真实感，直接训练的模型很难泛化到真实物理场景；而高保真真实数据集（如 ACD）数据量极其有限，人工标注真实世界三维运动学参数（旋转轴坐标、移动方向等）的成本又极其高昂。由于缺乏海量带运动学标注的真实图像，如何有效利用无需人工标注的大规模视觉图像来增强模型的物理运动学理解，成为突破单图铰接生成的关键瓶颈。

面对这一挑战，作者敏锐地发现：物体的运动后视觉动态与底层物理运动学参数之间存在天然的双向互补关系——观测到的视觉运动位移直接为关节类型和运动轴提供了刚性物理约束，而运动学参数则从底层机制上决定了局部外观的流形形变。核心 idea：将单图铰接物体生成建模为部件级世界模型（PWM-ArtGen），通过解耦扩散步长联合建模动作驱动的视觉动态演化与运动学参数分布，引入视觉动力学正则化（VDR）对齐语义表征，并基于由图像编辑增强构建的 19.7k 逼真无标注部件级数据集（PM-R）进行联合训练（Co-Training），从而突破单图动态线索缺失并跨越合成到真实的泛化鸿沟。

方法详解¶

整体框架¶

PWM-ArtGen 将单张静态图像端到端转换为具备交互能力的 3D 铰接物体网格与物理运动学结构。输入为单张静态观察图像 $o$，系统首先调用部件掩码生成模块（基于 SAM 与 GPT-4o）提取候选部件掩码集合与装配连接图；随后，将每个部件的局部结构引导与静态图像传入部件世界模型，通过联合扩散去噪过程同步推断该部件执行交互动作后的视觉动态表征 $o'$ 以及运动学属性 $a$；最后，借助所有部件共享的全局基座边界框进行统一空间对齐装配，并通过 CAD 部件库检索完成几何细化与碰撞规整。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入单张静态图像 o"] --> B["部件掩码与拓扑抽取<br/>SAM 分割与 GPT-4o 连接图"]
    B --> C["层次化部件结构表征<br/>裁剪图像与标准化 2D 边界框"]
    C --> D["联合扩散与解耦时间步机制<br/>DiT 联合预测动态视觉与运动参数"]
    D --> E["视觉动力学正则化 VDR<br/>DINOv2 特征流形对齐与语义约束"]
    D -.->|注入无标注 PM-R 数据| F["合成-真实交织协同训练<br/>加权轮询采样与无动作噪声填补"]
    E --> G["全局基座对齐装配与部件检索<br/>共享 base bbox 消除部件数量限制"]
    F --> G
    G --> H["输出 3D 铰接物体与运动学模型"]

关键设计¶

1. 联合扩散与解耦时间步机制：实现动力学与参数的双向耦合与无标注数据接入 针对静态单图难以确定运动轴、而两阶段级联生成又会导致误差累积的痛点，模型设计了一个统一的扩散 Transformer（DiT）骨干网络，显式建模后验条件联合分布 $p(o', a \mid o, p^{\text{ref}})$。为了能够无缝利用海量缺失运动学参数标注的纯视觉图像，模型引入了解耦独立扩散时间步机制：为动作分支 $a$ 与视觉动态分支 $o'$ 分别分配独立的加噪时间步 $t_a \sim \mathcal{U}(0, T)$ 和 $t_{o'} \sim \mathcal{U}(0, T)$。在视觉分支中，动作后的动态图像 $o'$ 经由冻结的 SDXL VAE 编码为潜空间特征并切分为 $N$ 个视觉 Patch 标记；在运动学分支中，属性向量经由可学习 MLP 映射为 20 个参数标记，两者拼接后输入多层自注意力块。通过解耦时间步，网络在训练阶段允许 $t_a=T$（纯高斯噪声占位），从而在无需任何运动学真值监督的前提下，利用海量视觉交互图像共同优化视觉分支与共享交互特征，赋予网络强劲的视觉动态物理先验。

2. 层次化部件级结构表征：以共享基座消除部件数量硬性限制 传统铰接生成方法通常在整个物体级别预定义固定上限的部件槽位，导致结构复杂或部件众多的物体无法灵活扩展。PWM-ArtGen 转向部件级（Part-Level）建模粒度，将每个目标部件的结构引导参数化为三元组 $p^{\text{ref}} = \{o^{\text{part}}, \text{2Dbbox}^{\text{part}}, \text{2Dbbox}^{\text{base}}\}$。全局静态图 $o$ 和局部裁剪图 $o^{\text{part}}$ 分别通过预训练 DINOv2 提取全局语义特征 $f_o$ 与局部特征 $f_{o^{\text{part}}}$；同时，局部部件边界框与基座边界框均经过原图分辨率归一化后拼接成引导嵌入 $f^{\text{ref}}$，并通过自适应层归一化（AdaLN）注入到每个 Transformer 块中。更关键的是，运动学属性向量扩展为 $a = \{t, r, l, d, b, b_{\text{base}}\}$，涵盖关节类型 $t$（旋转或平移）、运动范围 $r$、关节轴空间位置 $l \in \mathbb{R}^3$、方向向量 $d \in \mathbb{R}^3$、部件三维边界框 $b \in \mathbb{R}^6$ 以及全局基座三维边界框 $b_{\text{base}} \in \mathbb{R}^6$。由于同一物体下所有部件的运动参数中均包含对同一个共享基座 $b_{\text{base}}$ 的相对估计，后续装配环节可以直接以基座为锚点完成全局几何对齐，从根本上摆脱了预设最大部件数量的架构约束。

3. 视觉动力学正则化（VDR）：借助预训练语义流形约束动作演化真实性 扩散模型在生成图像 Patch 时，极易产生局部高频伪影或不符合物理语义的漂移，进而干扰运动学分支的参数推断。受到自监督特征对齐方法 REPA 的启发，作者提出了视觉动力学正则化（VDR）。在训练去噪过程中，网络产生中间联合隐藏层状态 $h_{t_{o'}}$，提取前 $l$ 个 Transformer 层的视觉 Patch 隐藏状态，强制其与冻结的 DINOv2 编码器在真实动作后图像 $o'$ 上提取的对应 Patch 语义特征 $y_{o'}^{[n]}$ 进行余弦相似度对齐： $$ \mathcal{L}{\text{VDR}}(\theta) = -\mathbb{E} \right) \right] $$ 该正则项将去噪轨迹约束在预训练视觉大模型的干净数据语义流形附近，显著增强了对输入噪声的鲁棒性，促使视觉分支不仅学习低级纹理渲染，更能显式捕捉动作驱动下的局部结构一致性与刚性部件边界。}, t_{o'}, t_a} \left[ \frac{1}{N} \sum_{n=1}^{N} \operatorname{sim}\left( y_{o'}^{[n]}, h_{t_{o'}}^{[n]

4. 合成-真实交织协同训练（Co-Training on PM-R）：跨越 Sim-to-Real 鸿沟 针对 PartNet-Mobility 合成数据缺乏真实质感的问题，作者构建了包含 19.7k 对图像的高保真无标注数据集 PartNet-Mobility-Reality（PM-R）。通过构建结构化 Prompt 提示词库并驱动冻结的图像编辑模型（Qwen-Image-Edit-2509），将 PM 的合成渲染图转化为具有真实物理材质、逼真复杂光影与自然背景的高清配对样本。在协同训练阶段，为了防止合成与逼真样本在批次分布上失衡，设计了按样本量比例交织的加权轮询采样器（Length-Proportional Interleaving Sampler）。该采样器兼容分布式数据并行（DDP），在每个 Epoch 对两类数据独立洗牌后按固定比例无重复划分到各工作节点，确保每个训练 Iteration 均维持均衡的域混合比，有效将视觉先验迁移至运动学推断中。

损失函数 / 训练策略¶

PWM-ArtGen 的整体联合训练目标由协同训练扩散去噪损失与视觉动力学正则化损失加权构成： $$ \mathcal{L} = \mathcal{L}{\epsilon_a, \epsilon}} + \lambda \mathcal{L{\text{VDR}} $$ 其中联合去噪损失 $\mathcal{L}_{\epsilon_a, \epsilon_{o'}}$ 分别在全标注成对数据集 $\mathcal{D}_{\text{paired}}$（PartNet-Mobility）和无动作标注数据集 $\mathcal{D}_{\text{free}}$（PM-R）上计算： $$ \begin{aligned} \mathcal{L}}}(\theta) = & \mathbb{E{\substack{(o, p^{\text{ref}}, a, o') \sim \mathcal{D}|^2 \right] \ & + \gamma \mathbb{E}}} \ t_a, t_{o'} \sim \mathcal{U}(0, T), \epsilon_a, \epsilon_{o'} \sim \mathcal{N}(0, 1)}} \left[ w_a |\epsilon_a^\theta - \epsilon_a|^2 + w_{o'} |\epsilon_{o'}^\theta - \epsilon_{o'{\substack{(o, p^{\text{ref}}, \emptyset, o') \sim \mathcal{D}|^2 \right] \end{aligned} $$ 在实现细节上，设置权重超参数 }} \ t_a = T, t_{o'} \sim \mathcal{U}(0, T), \epsilon_a, \epsilon_{o'} \sim \mathcal{N}(0, 1)}} \left[ w_a |\epsilon_a^\theta - \epsilon_a|^2 + w_{o'} |\epsilon_{o'}^\theta - \epsilon_{o'$w_a = w_{o'} = 1.0$，无动作数据平衡权重 $\gamma = 1.0$。扩散骨干网络由 12 层 Transformer 组成，隐层维度 768，12 个注意力头，Patch 大小为 $2 \times 2$。模型在 4 块 NVIDIA RTX 4090 GPU 上使用 AdamW 优化器（学习率 $1 \times 10^{-4}$，权重衰减 $1 \times 10^{-6}$）训练 200k 步，全局批大小为 128。为了在初期快速建立跨模态语义对齐，VDR 正则项仅在训练的前 80k 步启用，权重设为 $\lambda = 0.5$；推理阶段采用 10 步 DDIM 快速采样。

实验关键数据¶

主实验¶

论文在极具挑战性的真实感基准 ACD 测试集（135 个物体、455 个部件，910 个测试样本，零样本泛化评测）和 PartNet-Mobility（PM）测试集（77 个未见物体、155 个部件，310 个样本）上进行了全方位评测，涵盖静止状态（RS）与铰接运动状态（AS）下的重构质量与运动学拓扑。

在真实感强、领域分布差异大的 ACD 测试集 上的定量重构对比（主表 1 核心数据）：

方法	RS-dgIoU ↓	AS-dgIoU ↓	RS-dcDist ↓	AS-dcDist ↓	RS-dCD ↓	AS-dCD ↓	AOR ↓	Acc% ↑
URDFormer-GTbbox	1.1986	1.2012	0.2292	0.2931	0.4343	0.4965	0.1209	48.53
NAP-ICA-GTgraph	1.0585	1.0631	0.1987	0.2810	0.1376	0.2417	0.0193	36.67
SINGAPO-GTgraph	0.9729	0.9767	0.1589	0.1968	0.1177	0.1752	0.0112	100.00
Ours-GTgraph	0.5693	0.5790	0.0687	0.1144	0.0569	0.0813	0.0031	100.00
URDFormer (无GT)	1.2288	1.2309	0.2914	0.4285	0.7198	0.8995	0.2840	4.48
NAP-ICA (无GT)	1.0233	1.0286	0.1691	0.2331	0.1110	0.1887	0.0133	16.67
SINGAPO (无GT)	0.9775	0.9810	0.1574	0.2016	0.1100	0.1744	0.0103	39.34
Articulate-Anything	0.7574	0.7649	0.1938	0.2684	0.1826	0.2861	0.0039	40.00
Ours (无GT)	0.6822	0.6914	0.1480	0.1876	0.1033	0.1385	0.0906	39.34

在视觉动态生成效率与质量对比（PartNet-Mobility 测试集，主表 3 数据）：

方法	PSNR ↑	SSIM ↑	LPIPS ↓	参数量	推理时间
DragAPart	24.803	0.943	0.079	1.43 B	6.9 s
Puppet-Master	24.440	0.941	0.084	1.68 B	11.6 s
Ours	24.328	0.906	0.093	0.38 B	0.7 s

消融实验¶

论文在 ACD 测试集上对图像分支（IB）、视觉动力学正则化（VDR）以及基于 PM-R 的协同训练策略（Co-T）进行了详尽消融（主表 4 数据，均在给定 GT 图拓扑下评测）：

配置 (IB / VDR / Co-T)	RS-dgIoU ↓	AS-dgIoU ↓	RS-dcDist ↓	AS-dcDist ↓	RS-dCD ↓	AS-dCD ↓	AOR ↓
仅动作分支 (无图像分支)	0.6567	0.6684	0.0801	0.1877	0.0796	0.1520	0.0252
✓ IB (加入图像联合扩散)	0.5948	0.6045	0.0739	0.1202	0.0681	0.0915	0.0033
✓ IB + ✓ VDR	0.5885	0.5986	0.0699	0.1172	0.0587	0.0840	0.0038
✓ IB + ✓ Co-T	0.5786	0.5878	0.0696	0.1174	0.0619	0.0854	0.0020
✓ IB + ✓ VDR + ✓ Co-T (完整模型)	0.5693	0.5790	0.0687	0.1144	0.0569	0.0813	0.0031

关键发现¶

视觉动力学联合建模带来决定性性能飞跃：消融实验显示，一旦剥离图像分支（IB）退化为纯参数回归扩散，静止态 dgIoU 从 0.5948 恶化至 0.6567，铰接态距离误差 AS-dcDist 从 0.1202 剧增至 0.1877（恶化超过 56%）。这强力证明了显式建模视觉外观流形变化能为运动轴预测提供至关重要的几何变形约束。
真实感协同训练（Co-T）显著增强 Sim-to-Real 泛化：引入 PM-R 逼真无标注数据后，ACD 上的网格倒角距离 RS-dCD 由 0.0681 降至 0.0569，铰接态 AS-dCD 由 0.0915 降至 0.0813，证实无标注图像编辑数据能够有效弥合合成 CAD 与真实物体间的纹理及光照鸿沟。
极佳的计算与推理效率：在视觉动态生成上，PWM-ArtGen 参数量仅 0.38B（约为 DragAPart 的 1/4），推理时间仅 0.7 秒（DragAPart 为 6.9 秒，Puppet-Master 为 11.6 秒，提速近 10-16 倍），在大幅压缩模型体积的同时维持了高度逼真的动态演变。
无 GT 掩码时的瓶颈定位：在缺少 GT 掩码的设置下，模型在 PM 上的部分局部指标（如 dcDist）略微受挫，论文指出这主要是由于预训练分割器（SAM/GPT-4o）在低保真 CAD 渲染图上边缘欠佳所致，而在高质量的 ACD 真实数据上该现象被明显抑制。

亮点与洞察¶

世界模型与铰接几何的深度融合：打破了过去将世界模型局限在视频生成或离散控制策略的范式，巧妙将其改造为部件级物理动力学先验生成器，以生成模型解决了几何参数难以直接估计的难题。
解耦时间步机制盘活无标注资源：通过为动作分支和图像分支设置独立的时间步，并在无动作数据中固定 $t_a=T$，优雅地统一了全监督与无监督训练流，使得海量未标注现实图像可直接转化为运动学预测的先验养分。
高效轻量的端到端设计：利用紧凑的 12 层 DiT 架构与 DINOv2 局部语义锚定，不仅在零样本基准上全面击败了依赖数十亿参数视频底模的重型管线，更实现了不到 1 秒的超快交互式推理。

局限与展望¶

依赖前置部件分割质量：整个系统强依赖第一阶段 SAM 与 GPT-4o 提取的部件掩码和拓扑关系。若初始阶段漏检微小部件或给出错误的连接拓扑，将不可逆地影响后续部件参数的求解精度与装配对齐。
复杂关节与柔性形变受限：当前模型主要专注于刚性单自由度的旋转关节（Revolute）与平移抽屉关节（Prismatic），尚未涵盖螺旋关节、多自由度万向铰链或布料/绳索等半刚性/柔性物体的复合动力学。
改进方向：未来可探索将部件掩码提取、层次化运动树生成与扩散去噪过程完全融合为一体化的端到端单阶段架构，并接入具备更高物理仿真精度的 3D 动力学先验引擎。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出将部件世界模型应用于单图 3D 铰接物体生成，解耦时间步协同训练与 VDR 机制设计极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 ACD 零样本与 PartNet-Mobility 双重基准、动力学图像生成指标、模块消融以及碰撞分析，实验链条极为扎实。
写作质量: ⭐⭐⭐⭐⭐ 论文动机清晰明确，数学形式化表达严谨规范，图表编排直观精美。
价值: ⭐⭐⭐⭐⭐ 为具身智能与交互式 3D 数字资产的低成本规模化构建提供了极具推广价值的崭新技术路径。