JODA: Composable Joint Dynamics for Articulated Objects¶

会议: NeurIPS 2026
arXiv: 2605.09954
OpenReview: https://openreview.net/forum?id=y49DW1RjHQ
领域: 机器人
关键词: 关节动力学, 可微物理仿真, 视觉语言模型, 铰接物体, 物理先验

一句话总结¶

本文提出面向铰接物体的关节动力学合成框架 JODA，通过将保守力、干摩擦和阻尼建模为沿关节自由度的一维分段三次 Hermite 插值场，并结合多模态 VLM 进行语义图元推理与可微物理优化，实现了高保真且可交互编辑的关节级力学表现。

研究背景与动机¶

铰接物体（如冰箱门、微波炉、打火机按键、带缓冲阻尼的橱柜）是机器人具身智能、仿真环境以及交互式三维场景中的核心物理实体。近年来基于三维视觉与多模态大模型的资产生成流水线取得了长足进步，能够自动化重建物体的精细网格几何和运动学骨架（包括关节类型、旋转/平动轴向、活动范围与刚体层级结构）。然而，真实的机械交互体验远不仅取决于几何拓扑与运动学硬约束：笔记本电脑屏幕阻尼转轴可悬停在任意倾角、微波炉按压门在闭合瞬间伴有弹性卡扣的能量势垒阻挡、冰箱密封条在小角度范围内具备自动回吸闭合效应，而打火机按键则在按压与释放时产生突变的机械回弹跃迁。

现有物理仿真环境（如 SAPIEN、BEHAVIOR-1K、ManiSkill）在加载这些铰接资产时，大多只能退化使用极其粗糙的动力学近似——通常仅提供全局常数摩擦、常数线性阻尼，或者在整段行程上强加均匀的目标位置 PD 弹簧控制器。这种简化彻底抹去了铰接物体内部微观机构所诱发的非线性、局部依赖性动力学响应，导致机器人在仿真中训练的交互策略在遇到真实阻抗特性时严重失效，构成了显著的 sim-to-real 物理鸿沟。另一方面，直接在仿真引擎中从底层复现微小的弹簧、滚珠导轨或磁扣网格不仅计算开销剧烈，而且往往受限于资产网格精度，手工调参更是难以扩展到海量资产库。

针对这一困境，本文的核心洞见在于：无需从几何底层复原遮挡复杂的内部微观零件，而是将各类机械交互效应统一抽象为沿关节自由度（DOF）分布的等效关节级动力学场。同时，多模态大模型（VLM）已隐式蕴含丰富的常识物理直觉，关键在于建立可解释、可组合、且能无缝桥接物理仿真的结构化表示空间。核心 idea：将关节动力学建模为由保守力、干摩擦与阻尼构成的三通道连续场，利用 PCHIP 样条与工程图元库解耦语义选择与数值缩放，借助 VLM 启发式生成并结合可微物理模拟实现端到端优化与交互式微调。

方法详解¶

整体框架¶

JODA 的输入为已包含几何与运动学信息的铰接资产（URDF 或 MuJoCo XML）及其在目标关节多个状态下的视觉渲染图像，输出为可直接驱动物理引擎的关节级三通道内部动力学模型。系统由四大阶段有机串联：首先从仿真模型中提取惯性、行程与重力等上下文并结合多状态图像；随后由 VLM 预测结构化物理图元假设（包含图元类型、作用区间与定性强度）；编译器将语义建议映射为物理缩放的一维分段曲线场；最后通过闭环诊断可视化及可微物理仿真完成微调。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入资产与视觉观测<br/>运动学参数 + 多状态渲染"] --> B["三通道关节动力学场<br/>保守力 / 干摩擦 / 阻尼连续表示"]
    B --> C["可组合效应图元库<br/>工程机构提炼的无量纲行为原型"]
    C --> D["VLM 语义图元推理<br/>解耦语义选择与数值尺度"]
    D --> E["半确定性动力学编译<br/>惯性/重力自适应物理缩放与PCHIP拟合"]
    E --> F["多模态诊断反馈与迭代<br/>闭环平衡剖面检查与自修正"]
    F --> G["可微仿真与交互式优化<br/>真实轨迹梯度反传对齐"]

关键设计¶

1. 三通道关节动力学场：以紧凑连续场统一微观力学行为 传统仿真难以表达卡扣、磁吸或双稳态等局部非线性交互，若为每个机构单独实现接触对将面临极高的数值不稳定性。JODA 将关节广义坐标 $q \in [q_{\min}, q_{\max}]$ 线性归一化到 $s = (q - q_{\min}) / (q_{\max} - q_{\min}) \in [0, 1]$，并在该自由度上构建三个解耦的局部空间场： $$F_{\text{cons}}(s), \quad F_{\text{fric,max}}(s), \quad C_{\text{damp}}(s)$$ 其中保守力通道 $F_{\text{cons}}(s)$ 承担位能梯度相关的广义力（如磁吸、弹簧复位、突跳势垒），干摩擦通道 $F_{\text{fric,max}}(s)$ 定义局部最大静/动摩擦阈值，阻尼通道 $C_{\text{damp}}(s)$ 则与关节运动角速度/线速度相乘产生耗散阻力 $-C_{\text{damp}}(s)\dot{q}$。为了保证动力学场的局部平滑性与严格的物理单调性防畸变，各个分量采用保形分段三次 Hermite 插值（PCHIP）。任一局部组件仅在预设区间 $[a_j, b_j]$ 内起效，超出区间严格归零，从而使调节任一局部效果不会引起全自由度曲线的全局震荡，且天然兼容现代可微物理求解器的梯度传播。

2. 可组合效应图元库：机理无关的宏观行为语义抽象 若让神经网络直接回归连续力学曲线，往往会因缺乏物理约束而预测出能量不守恒或非物理剧烈震荡的曲线。JODA 从工业五金铰链与阻尼支撑件标准库（如 Southco、Sugatsune 目录）中归纳出一套可组合的效应图元词汇表，包括常数摩擦铰链、常数阻尼、常数方向保守力、端点磁吸复位、弹簧复位、内部定位卡槽（detent）、双稳态机构（bistable）以及带弹簧载荷的按压卡扣等。每个图元仅定义无量纲归一化坐标 $u \in [0, 1]$ 下的原型曲线几何拓扑。复杂宏观体验可由基础图元叠加合成：例如日常生活中广泛使用的“任意角自由悬停”（free-stop）手感，在 JODA 中直接由全局强常数摩擦与线性阻尼图元相叠加产生，极大降低了表征复杂度并保证了动力学生成的工程合理性。

3. VLM 语义图元推理与半确定性编译：解耦认知直觉与物理量纲 多模态大语言模型（如 Gemini、GPT-4V）对日常器械的动作具备定性物理常识，但直接要求其输出带有物理单位的数值参数会导致严重的量纲漂移。JODA 明确划分职责边界：VLM 接收多视点关节展开图与图元描述，以结构化 JSON 格式输出定性提案，仅指定图元名称、作用比例区间 $[s_{\text{start}}, s_{\text{end}}]$ 以及各通道的定性强度等级（如 weak、medium、strong、dominant）。随后，半确定性编译器依据物理模型元数据自动估计基准物理量级：保守力与摩擦力的基准尺度取自由度上的等效重力分量与惯性动能尺度的最大值，阻尼尺度则由参考运行速度换算得出。编译器在预设强度区间内结合确定性哈希种子进行无偏映射与物理反归一化，既消除了 VLM 输出绝对数值的认知负担，又避免了模式坍塌并保证了多次运行的一致可复现性。

4. 闭环诊断反馈与可微仿真优化：兼顾定性校准与高精度轨迹对齐 在初始动力学场编译完成后，系统自动生成平衡剖面诊断图并反馈给 VLM 进行自闭环评审——将保守力曲线与重力诱发平衡线、摩擦耐受带同屏呈现。若发现重力环境下开门助力无法克服静摩擦，VLM 可启动第二轮对话微调作用区间与修正系数。当面对更高精度的 sim-to-real 需求时，JODA 将编译后的 PCHIP 曲线参数无缝接入基于 JAX 实现的 MuJoCo XLA（MJX）可微物理引擎中。用户可直接导入现实中采集的关节时间序列轨迹 $q_{\text{real}}(t)$，以轨迹均方误差（MSE）作为损失函数： $$\mathcal{L} = \frac{1}{T}\sum_{t=1}^T \| q_{\text{sim}}(t) - q_{\text{real}}(t) \|^2$$ 通过反向传播直接优化 PCHIP 控制点坐标与阻尼系数，免去了繁琐的人工反复试错调参。

损失函数 / 训练策略¶

在可微微调阶段，系统将 MJX 前向物理积分轨迹与真实传感器观测对齐。优化变量为各激活图元控制点的值向量 $y_{j,k}$ 及阻尼系数。使用 Adam 优化器以低学习率执行梯度迭代；由于 MJX 实现了端到端向量化自动微分，通常在 10 次迭代以内即可使轨迹损失下降超过一个数量级，迅速收敛至真实力学响应。

实验关键数据¶

主实验¶

论文在 PartNet-Mobility 与 Lightwheel Sim-Ready 真实资产库上评估，并与真实物理实验及经典文献实测数据进行系统量化对比。针对准静态开门力曲线，论文对比了经典文献 Jain et al. (2010) 在真实冰箱门与橱柜门上实测的开门力轨迹（统一在 $0^\circ \sim 60^\circ$ 范围内归一化评估均方根误差 RMSE）。同时对比了单步物理仿真计算耗时，验证其在交互环境中的实时性。

评估对象 / 实验维度	评测指标	本文 (JODA)	线性弹簧基线 (Spring Baseline)	常数摩擦阻尼基线 (Constant Baseline)
真实冰箱门开门力拟合 (Jain et al.)	归一化开门力 RMSE $\downarrow$	0.121	0.240	0.412
真实橱柜门开门力拟合 (Jain et al.)	归一化开门力 RMSE $\downarrow$	0.180	0.386	0.455
打火机按键突跳回弹动力学	速度跃迁区间捕获	完全匹配真实双跃迁	无法产生速度突变	无法产生速度突变
微波炉门自锁碰撞响应	门锁闭合能量势垒	需二次推力方可锁死	轻触即均匀吸合 (不真实)	恒速慢速减速停止
MuJoCo 物理单步仿真耗时	单步时间开销 ($dt=0.005s$)	0.062 ms (1.37× 开销)	0.045 ms (1.00× 原生)	0.045 ms (1.00× 原生)

消融实验¶

论文设计了两组核心消融：其一为移除图元模板库，直接要求 VLM 回归连续数值控制点；其二为移除闭环诊断反馈，直接使用首轮生成的动力学场。

配置与测试场景	评估场景 / 指标	实验现象与数值表现	结论与机制分析
JODA 完整模型	带重力洗碗机门 (满足规格轮数)	平均 2.2 轮迭代达成力学平衡	诊断反馈有效修正远端过大助力
无图元库消融 (No-template)	冰箱磁吸 / 旋钮 / 开关	磁吸力衰减区间过宽，力矩过小无法吸附	纯数值输出缺失物理归纳偏置，易发生尺度崩溃
无闭环诊断反馈 (Round 1)	洗碗机门开闭动力学	首轮磁吸力无法克服静摩擦，且远端早闭阻碍全开	重力与摩擦耦合严重时，单轮推断极易出现死锁
可微物理优化 (MJX + Adam)	真实橱柜重力释放轨迹 MSE $\downarrow$	从 $4.10 \times 10^{-2}$ 降至 $1.56 \times 10^{-3}$	9 轮迭代轨迹误差下降 96.2%，完美贴合实测

关键发现¶

图元模板库是稳定性基石：去除图元模板直接让大模型输出控制点时，VLM 频繁给出数量级错误的微小力，导致开关或电位器旋钮停滞在非平衡态；引入工程原型后成功率大幅跃升至 100%。
诊断闭环对重力补偿至关重要：在带自重的大开度门体（如洗碗机、下翻烤箱门）中，第一轮推断常误判静摩擦与力矩配比，闭环诊断图能够在 2~3 轮内稳定引导模型将远端辅助推力下调至合理阈值。
计算性价比极高：相比原生 MuJoCo，三通道 PCHIP 的解析计算仅增加 37% 的单步仿真耗时（0.062 ms/步），且单次 VLM 推断仅需约 25.5K 输入 tokens 与 4.7K 输出 tokens，兼备高表现力与实时轻量特性。

亮点与洞察¶

物理语义与数值计算的优雅解耦：将 VLM 的角色限定在定性物理常识感知（“这里应该有一个磁吸卡扣，强度为中等”），而将数值标定完全托付给基于刚体质量与重力的编译器，成功规避了神经网络在三维物理量纲上的认知短板。
首创铰接动力学闭环反馈机制：创新性地设计了包含等效重力平衡线与摩擦耐受带的动力学诊断图（Diagnostic Profile），使纯文本/多模态模型能够“看懂”动力系统的不动点与稳定区间，开创了物理参数自修正的交互先例。
仿真与可微优化的无缝融合：采用 JAX/MJX 原生兼容的 PCHIP 参数化，既能在标准物理引擎中实时推演，又原生保留了面向轨迹观测的梯度反传通道，为真实世界机器人数据对齐建立了极佳的范式。

局限与展望¶

单自由度假设的覆盖边界：当前体系严格假设动力学效应局限在单一独立的一维关节自由度上，尚不支持万向节、球面副等高维运动空间，亦未建模多个联动关节之间的机械齿轮耦合与交叉动力学阻抗。
接触与摩擦模型的简化：采用了一维干摩擦阈值模型，未纳入微观滞后效应（hysteresis）、速度相关的非线性动摩擦衰减（如 Stribeck 效应）以及黏弹性阻尼变化。
未来演进方向：拓展多模态交互感知的评价指标，将触觉反馈（haptics）与机械手操作真实力控序列纳入闭环评测，并支持更高维度的复合机构动力学表征。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统提出面向铰接物体的关节动力学连续场表征，并在该领域打通多模态大模型推断与可微仿真的闭环。
实验充分度: ⭐⭐⭐⭐☆ 包含从定性按键跳变到定量真实门体开门力对比，消融与可微拟合兼具，若能补充多自由度耦合实验将更完整。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，动力学图元设计与编译器架构论述严密，图表信息传递效率极高。
价值: ⭐⭐⭐⭐⭐ 为具身智能仿真资产库与交互式数字孪生填补了缺失已久的动力学真实感基石。

评估对象 / 实验维度	评测指标	本文 (JODA)	线性弹簧基线 (Spring Baseline)	常数摩擦阻尼基线 (Constant Baseline)
真实冰箱门开门力拟合 (Jain et al.)	归一化开门力 RMSE \(\downarrow\)	0.121	0.240	0.412
真实橱柜门开门力拟合 (Jain et al.)	归一化开门力 RMSE \(\downarrow\)	0.180	0.386	0.455
打火机按键突跳回弹动力学	速度跃迁区间捕获	完全匹配真实双跃迁	无法产生速度突变	无法产生速度突变
微波炉门自锁碰撞响应	门锁闭合能量势垒	需二次推力方可锁死	轻触即均匀吸合 (不真实)	恒速慢速减速停止
MuJoCo 物理单步仿真耗时	单步时间开销 (\(dt=0.005s\))	0.062 ms (1.37× 开销)	0.045 ms (1.00× 原生)	0.045 ms (1.00× 原生)