URDF-Anything+: End-to-End Generation for Simulation-Ready Articulated Assets¶

会议: NeurIPS 2026
arXiv: 2603.14010
OpenReview: https://openreview.net/forum?id=kuegPlpgT1
代码: https://urdf-anything-plus.github.io/
领域: 机器人/具身智能
关键词: 关节物体建模, URDF生成, 自回归扩散模型, 具身数字孪生, Real-Follow-Sim

一句话总结¶

提出端到端自回归扩散框架 URDF-Anything+，直接从单张 RGB 图像联合生成包含刚体几何与运动关节参数的可直接仿真 URDF 资产，并通过 Real-Follow-Sim 范式实现仿真强化策略零样本迁移到真实机械臂。

研究背景与动机¶

在机器人操作、物理仿真与具身交互虚拟环境中，高精度且具备完整运动学关系的关节物体（如柜子、抽屉、笔记本、水龙头等）模型是策略训练和物理交互评测的基石。然而，传统构建具备物理交互能力的统一机器人描述格式（URDF）或 XML 资产高度依赖人工建模与精密装配，成本极其高昂。如果直接从单张 2D 视觉观测推断三维关节物体，模型必须同时克服双重高度耦合且充满歧义的难点：既要将物体解析分解为独立的刚体部件网格，又要从单视角缺失/遮挡严重的观测中精确恢复任意相连部件之间的运动学关节参数（包括旋转轴线、关节原点、运动类型以及角度极限范围）。

面对几何分解与运动学推理的紧耦合难题，现有方法大多退化为复杂的多阶段级联流水线。一类方法依赖预设部件资产库进行几何检索再对齐拟合关节（如 URDFormer、Articulate-Anything），其几何表达能力被严格限制在资产库的有限覆盖范围内，无法泛化到库外长尾几何；另一类方法依赖通用视觉语言模型（VLM）先做部件二维分割，再分别进行几何隐式重建和代码生成关节预测（如 PhysX-Anything、Real2Code）。这种多阶段割裂的流程不仅由于外部 API 调用和长思维链导致推理极其缓慢（单部件往往耗时数百秒），而且极易发生级联误差累积，引发轴线偏移或关节干涉，使得生成的模型无法直接投入物理引擎仿真。

针对上述瓶颈，本文的核心切入点在于将关节物体的生成过程重新审视为具有天然物理层级和顺序依赖的自回归组合过程，通过在连续隐空间中将部件几何与关节参数绑定于统一的共享特征流中联合去噪生成。核心 idea：构建端到端自回归潜在扩散框架 URDF-Anything+，以单图视觉特征和全局三维几何为条件，在统一隐空间中步进式联合预测部件几何与运动学参数，并通过终止 token 动态决定部件拓扑，直接输出可直接投入物理仿真引擎的 URDF 数字孪生资产。

方法详解¶

整体框架¶

URDF-Anything+ 的整体输入为单张 RGB 图像 $I$（以及可选的物体级粗糙 3D 先验几何 $\mathcal{X}_{\text{whole}}$，由现成单图三维重建模型 TripoSG 生成），目标是端到端输出包含 $K$ 个刚体部件网格 $\{\mathcal{X}^{(k)}\}_{k=1}^K$ 与对应运动学关节参数 $\{\mathcal{J}^{(k)}\}_{k=1}^K$ 的完整 URDF 描述。整体流程首先通过预训练的视觉主干（DINOv3）和 3D VAE 提取全局条件上下文，随后以空间规范化排序引导的自回归方式逐个部件迭代生成。在每个步进迭代中，Diffusion Transformer (DiT) 在隐空间进行去噪采样得到当前部件的共享潜在表征 $\bm{z}^{(k)}_{\text{shared}}$；该表征一方面输入 3D 几何解码头还原部件 SDF 网格，另一方面直接通过多路轻量 MLP 解码头输出关节原点、旋转轴向量、运动类型及极限；最后利用终止判断机制结束自回归并将所有部件装配为可执行 URDF 模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单张 RGB 图像 I<br/>+ 粗糙全局 3D 网格"] --> B["全局特征提取<br/>DINOv3 视觉嵌入 + TripoSG 3D VAE 编码"]
    B --> C["自回归步进扩散<br/>基于 DiT 的共享潜在表征去噪"]
    C --> D["几何与关节多头并行解码<br/>SDF 网格提取 + 轴向遮罩 MLP 解码"]
    D --> E["动态终止与拓扑检测<br/>EoT 零向量距离 + 几何冗余度裁决"]
    E -->|未结束| F["上下文状态回写与再编码<br/>累积点云重采样后更新 z_pre"]
    F --> C
    E -->|终止触发| G["装配输出可仿真 URDF 资产<br/>物理引擎导入与 Real-Follow-Sim 部署"]

关键设计¶

1. 共享潜在表征引导的几何与关节联合去噪：化解几何分解与运动学参数脱节 针对传统方法将部件网格生成与关节属性估计割裂在不同阶段、导致轴心位置与网格几何物理脱离的痛点，URDF-Anything+ 构建了由 Diffusion Transformer (DiT) 驱动的统一共享潜在空间。在第 $k$ 步自回归中，模型接收前序已生成部件聚合的几何上下文 $\bm{z}^{[1:k-1]}_{\text{pre}}$ 和全局视觉条件 $(f_I, \bm{z}_{\text{whole}})$，从高斯白噪声出发通过反向扩散过程迭代预测流速度场，解码出聚合了当前部件完整空间边界与拓扑环境的共享隐向量 $\bm{z}^{(k)}_{\text{shared}}$。几何解码头 $h_{\text{3D}}$ 将该隐向量投影后输入预训练 TripoSG 连续有符号距离场（SDF）解码器，结合 Marching Cubes 提取几何网格 $\mathcal{X}^{(k)}$；同时，四个轻量级多层感知机（MLP）头直接从相同的 $\bm{z}^{(k)}_{\text{shared}}$ 中回归关节原点 $\mathbf{o}^{(k)}$、旋转轴方向 $\mathbf{a}^{(k)}$、运动类型类别概率 $\tau^{(k)}$ 以及关节活动极限 $[\ell_{\text{low}}^{(k)}, \ell_{\text{up}}^{(k)}]$。这种共享隐空间设计强制运动学参数感知当前生成的部件曲面形态与邻接支撑关系，保证了关节物理轴线与几何铰链位置的高度自洽。

2. 轴向遮罩运动学损失与空间自洽自回归排序：消除物理自由度冗余与序列歧义 在训练端到端关节回归时，直接计算关节原点的欧氏距离损失极易引入有害梯度噪声：对于典型的转动关节（如柜门铰链或水龙头手柄），其旋转轴通常沿某一规范轴线分布（如 $(0,0,1)$），此时关节原点沿其自身旋转轴方向的任意平移都不会改变该关节在三维空间中诱发的运动学几何变换。为此，本文设计了轴向遮罩机制（Axis-Aware Masking），在计算关节原点的 $\ell_1$ 损失时，沿预测的转动轴向量投影并显式剔除原点在轴线方向上的冗余分量，仅对垂直于旋转轴且具备物理刚性约束的两个空间自由度施加精准惩罚。此外，为打破自回归生成中不同拓扑部件预测顺序不确定所导致的分布坍塌，论文采用确定性空间字典序排序：固定首先生成物体不动底座（Base/Frame），其余可动部件根据其对应关节原点的 $(x,y,z)$ 空间坐标自底向上（Z）、从左至右（X）、由前至后（Y）进行规范化排序，使自回归因式分解概率分布具有稳定的物理拓扑语义。

3. 基于零向量距离与空间重叠度的双重动态终止机制：保证部件拓扑完整且无重叠冗余 为了支持未知部件数量的任意关节物体生成，URDF-Anything+ 在隐空间中隐式引入了端序列标记（End-of-Token, EoT）。在训练微调阶段，当物体所有部件生成完毕时，目标隐特征被定义为与几何潜在空间维度相同的全零向量。在推理阶段，每完成一个部件的潜在表征采样，系统首先计算当前预测潜在向量与该零向量之间的欧氏距离；一旦该距离低于预定阈值，立即触发序列终止。为进一步杜绝自回归过程中偶发的退化死循环或部件伪重叠生成，系统在几何解码后引入了空间几何冗余度校验：计算当前解码网格与前序生成部件的体积交并比与形状重叠相似度，若检测到高于容忍阈值的冗余部件，立即截断生成。该双重机制确保输出的 URDF 拓扑干净、无幻觉重复部件且结构完整。

损失函数 / 训练策略¶

模型采取分阶段渐进式优化策略以稳定高维扩散与多模态属性学习。 1. 第一阶段（预训练，500 Epochs）：在 16 块 NVIDIA A800 GPU 上进行，仅启用图像条件与部件几何监督，完全屏蔽 EoT 终止信号与 URDF 关节回归头，专注利用潜在扩散损失 $\mathcal{L}_{\text{diff}}$ 学习高质量 3D 部件组合几何隐空间： $$\mathcal{L}_{\text{diff}} = \mathbb{E}_{y, \bm{z}_0, t, \epsilon} \left\| \hat{\bm{v}}_\theta(t, \bm{z}_t \mid y) - \bm{v}(t, \bm{z}_0, \epsilon) \right\|^2$$ 2. 第二阶段（关节微调，100 Epochs）：在预训练模型基础上解冻关节预测多头并引入终止监督，使用 AdamW 优化器（学习率 $1\times 10^{-5}$），整体微调损失函数为： $$\mathcal{L} = \mathcal{L}_{\text{diff}} + 0.1 \cdot \mathcal{L}_{\text{EOT}} + 0.01 \cdot \mathcal{L}_{\text{joint}}$$ 其中 $\mathcal{L}_{\text{joint}}$ 包含分类交叉熵损失（针对关节类型 $\tau$）以及经轴向遮罩过滤后的 $\ell_1$ 连续属性回归损失（针对轴向 $\mathbf{a}$、极限 $\ell_{\text{low}}, \ell_{\text{up}}$ 和原点 $\mathbf{o}$）。

实验关键数据¶

主实验¶

在 PartNet、PartNet-Mobility 和 PhysX-3D 清理基准上，将 URDF-Anything+ 与当前代表性基准（包括检索式方法 URDFormer、SINGAPO、大模型两阶段驱动的 Articulate-Anything 以及单图物理资产生成 PhysX-Anything）在部件及整机几何重构精度、转动关节参数误差和单部件推理耗时上进行了系统评测。

方法	部件 IoU ↑	部件 F-Score ↑	部件 CD ↓	整机 IoU ↑	整机 CD ↓	轴线误差 (rad) ↓	原点误差 (m) ↓	极限误差 (rad) ↓	单部件耗时 (s) ↓
URDFormer	0.202	0.389	0.354	0.243	0.286	1.071±0.497	0.504±0.331	0.882±0.679	41.88
SINGAPO	0.382	0.434	0.165	0.462	0.132	0.670±0.472	0.404±0.297	0.817±0.525	52.30
Articulate-Anything	0.563	0.452	0.064	0.627	0.053	0.230±0.505	0.267±0.357	1.108±0.676	380.57
PhysX-Anything	0.784	0.697	0.076	0.813	0.068	0.191±0.337	0.103±0.192	0.532±0.423	578.38
URDF-Anything+ (Ours)	0.879	0.721	0.033	0.930	0.009	0.129±0.404	0.062±0.096	0.225±0.440	34.70

消融实验¶

论文在几何最复杂的复杂水龙头（Faucet）以及多铰链铰接结构典型的冰箱（Refrigerator）类别上，分别评估了多模态条件引导与自回归排序策略对生成质量的影响：

评估目标	消融配置	部件 IoU ↑	部件 CD ↓	整机 IoU ↑	整机 CD ↓	轴线误差 (rad) ↓	原点误差 (m) ↓	极限误差 (rad) ↓
输入模态 (Faucet)	仅单张图像 (Image Only)	0.627	0.106	0.682	0.098	0.349	0.197	0.540
	图像 + 3D 几何引导 (Ours)	0.823	0.028	0.841	0.009	0.182	0.091	0.281
排序策略 (Refrigerator)	随机乱序排列 (Random Order)	0.630	0.145	0.710	0.072	0.203	0.168	0.442
	关节 XYZ 坐标有序 (Ours)	0.805	0.096	0.816	0.034	0.120	0.102	0.323

关键发现¶

端到端生成大幅压制级联延迟：相比于依赖 VLM 交互和分步管线的 PhysX-Anything（578.38s/part）与 Articulate-Anything（380.57s/part），URDF-Anything+ 单部件生成耗时压缩至 34.70s，实现了超 10 倍到 16 倍的端到端吞吐加速。
空间一致排序是自回归收敛的前提：在多连杆物体生成中，采用基于关节原点空间顺序的确定性排列，相较于随机排列使部件 IoU 显著提升近 17.5%，关节旋转轴角度误差从 0.203 rad 显著下降至 0.120 rad，证明了物理时空顺序对因式分解概率建模的关键作用。
Real-Follow-Sim 零样本闭环成功：在真实 Franka 机械臂关闭笔记本电脑盖与关闭抽屉两项交互操作评测中，基于 URDF-Anything+ 构建数字孪生并在 Isaac Sim 中纯仿真训练的 Diffusion Policy 实现了 100% 与 90% 的真机操作成功率，超越了依赖真实采集演示训练的 Baseline（85% 与 75%）。

亮点与洞察¶

共享隐表征的单前向流设计：巧妙规避了传统多阶段方法中“先分割点云、再提取网格、最后调库拟合关节”的脆弱管线，通过在隐空间去噪中融合几何与关节约束，同时保障了拓扑可动性与物理可仿真性。
轴向投影遮罩损失（Axis-Aware Masking）：针对机械转动关节沿轴向平移在物理运动学上等价的特性，主动在反向传播中滤除轴向坐标的梯度惩罚，避免了模型在无物理意义的自由度上产生虚假震荡。
Real-Follow-Sim 具身交互新范式：不同于传统 Sim-to-Real 耗费大量精力通过域随机化对抗真机差距，该范式通过在线视觉重建秒级建立真实物体的 URDF 数字孪生，将仿真器动态对齐真实世界，为具身智能大规模泛化提供了极具潜力的落地路径。

局限与展望¶

训练资产类别与多样性受限：目前训练数据高度依赖 PartNet-Mobility 等开源学术基准，对异形、复杂多连杆机构或软体/链条等非常规交互资产的覆盖仍有欠缺，在极端未见类别上可能面临泛化瓶颈。
缺乏动力学与高阶物理属性感知：当前模型专注于运动学（Kinematics）层面的连杆几何与转动副参数推断，尚未涉及质量分布（Inertia）、接触摩擦系数（Friction）或恢复系数等动力学参数预测，在涉及高动态碰撞仿真时仍需人工预设。
对单图初始 3D 重建质量存在外部依赖：尽管消融显示纯图像输入可行，但高精度几何输出仍受益于 TripoSG 提供的粗糙全局网格先验，初始网格的大幅伪影可能传导至自回归部件分解阶段。

评分¶

新颖性: ⭐⭐⭐⭐⭐（首次将自回归潜在扩散成功扩展至可直接仿真 URDF 刚体与运动学联合端到端生成）
实验充分度: ⭐⭐⭐⭐⭐（涵盖几何重建、关节运动学精度、消融分析以及真机机械臂闭环操作策略验证）
写作质量: ⭐⭐⭐⭐⭐（问题陈述清晰，数学形式化严谨，架构与实验展示详实规范）
价值: ⭐⭐⭐⭐⭐（为具身智能仿真数据规模化生成与数字孪生实时构建提供了里程碑式的开源参考方案）