跳转至

Articulation in Motion: Prior-Free Part Mobility Analysis for Articulated Objects

会议: ICLR 2026
arXiv: 2603.02910
项目主页: AiM 领域: 其他
关键词: articulated objects, Gaussian splatting, part segmentation, joint estimation, sequential RANSAC, prior-free, interaction video

一句话总结

提出AiM（Articulation in Motion）框架，从交互视频和初始状态扫描中无需部件数量先验地重建铰接物体——通过双高斯表征（静态GS + 可变形GS）实现动静解耦，结合顺序RANSAC进行无先验部件分割和关节估计，辅以SDMD模块处理新暴露的静态区域，在复杂6部件物体（Storage）上以79.34% mean IoU大幅超越需先验的ArtGS（52.23%）。

研究背景与动机

铰接物体理解的核心需求：机器人操作、AR/VR和具身智能都需要理解铰接物体（如抽屉柜、门、笔记本电脑）的部件结构和运动关节参数。

现有方法的先验依赖：DTA和ArtGS等方法需要预先指定部件数量，这在真实场景中通常未知，且一旦指定错误会导致严重的分割失败。

动静解耦的挑战：交互过程中，部分部件运动而其余静止，但运动部件的移动会暴露出之前被遮挡的静态区域，传统方法难以处理这种新暴露区域。

单一表征的局限：纯静态或纯动态的3D高斯表征无法同时处理铰接物体中固定和运动部件的混合特性。

关节类型的多样性：铰接物体包含旋转关节（revolute）和平移关节（prismatic）等多种关节类型，需要统一的无先验估计方法。

视频输入的实用性：相比需要多视角静态扫描的方法，从单段交互视频中恢复铰接信息更加实用和自然。

方法详解

整体框架

AiM接收一段人与铰接物体交互的视频和物体初始（静止）状态的3D扫描作为输入，输出部件分割、关节参数和完整的铰接物体重建。流程分为三个阶段：双高斯动静解耦 → 顺序RANSAC部件发现 → 关节参数估计。

关键设计

  1. 双高斯表征（Dual-Gaussian Representation）

    • 功能：维护两套3D高斯：静态高斯（Static GS）表征不变的背景和静止部件，可变形高斯（Deformable GS）表征运动部件
    • 核心思路：通过像素级渲染损失的梯度信号自动将高斯分配到静态或动态集合，静态GS固定不变，动态GS学习逐帧变形场
    • 设计动机：显式的动静分离避免了运动部件"污染"静态几何，也使后续部件分割可以专注于动态高斯

  2. 顺序RANSAC部件分割（Sequential RANSAC）

    • 功能：无需预设部件数量，通过迭代RANSAC从动态高斯的运动轨迹中自动发现部件
    • 核心思路：对所有动态高斯的变形轨迹做刚体运动拟合，最大共识集对应一个部件；剥离该部件后在剩余高斯上迭代，直到残差低于阈值
    • 设计动机：RANSAC天然适配"未知数量的刚体运动混合"的设定，顺序进行保证了由大到小的部件发现顺序

  3. SDMD模块（Static Dynamic Merging with Discovery）

    • 功能：处理运动部件移动后新暴露出来的静态区域（如抽屉拉开后露出的柜体内壁）
    • 核心思路：检测渲染图与真实图之间的差异区域，在差异处初始化新的静态高斯并与原有静态GS合并
    • 设计动机：传统方法无法处理"观测一开始不可见但后来出现"的静态几何，SDMD填补了这一关键环节

实验关键数据

主实验

方法 部件先验 Mean IoU (%) Revolute JE (°) Prismatic JE (mm)
DTA 需要 71.45 8.32 12.7
ArtGS 需要 76.99 5.61 8.9
AiM (ours) 不需要 80.21 4.23 7.1

消融实验

组件 Mean IoU (%) 说明
Full AiM 80.21 完整方法
去掉SDMD 74.85 新暴露区域被错误分配
单一GS (无动静解耦) 68.32 运动部件影响静态重建
K-means替代RANSAC 72.56 需预设K且对噪声敏感
真值部件数给ArtGS 76.99 即使给正确先验仍不如AiM

关键发现

  1. 无先验优于有先验：AiM无需部件数量先验却以80.21% mean IoU超越需要先验的ArtGS（76.99%），说明自适应发现比固定假设更鲁棒。
  2. 复杂物体优势巨大：6部件Storage物体上，AiM（79.34%）vs ArtGS（52.23%），差距高达27%，ArtGS在部件数较多时急剧退化。
  3. SDMD不可或缺：去掉SDMD导致5.36%的IoU下降，证明新暴露区域处理的重要性。
  4. 动静解耦是基础：单一GS方案比完整方法低近12%，双高斯设计是成功的基石。

亮点与洞察

  1. 彻底去除先验：首次实现无需部件数量先验的铰接物体部件分割和关节估计，更符合真实应用需求。
  2. 双高斯解耦设计巧妙：将动静分离嵌入3DGS表征中，兼顾了重建质量和下游分析的便利性。
  3. SDMD的实用创新：解决了被遮挡静态区域逐步暴露的问题，这是铰接物体理解中容易被忽视但至关重要的细节。
  4. 顺序RANSAC的自然适配：巧妙利用RANSAC的迭代剥离特性实现自适应部件数量发现。
  5. 在复杂物体上的压倒性优势：6部件场景的27%提升展示了方法的可扩展性。

局限与展望

  1. 单次交互假设：当前要求视频中包含所有部件的运动，如果某部件在视频中未被操作则无法被发现。
  2. 刚体运动假设：顺序RANSAC假设每个部件做刚体运动，对柔性铰链或弹性变形无法处理。
  3. 计算成本：双高斯表征和顺序RANSAC的组合计算开销较大，难以实时运行。
  4. 视频质量依赖：运动模糊或遮挡严重的低质量视频可能导致动态高斯估计不准确。

相关工作与启发

  • 铰接物体重建：DTA (Liu et al., 2024), ArtGS (Huang et al., 2024) 的基于高斯溅射的方法
  • 3D Gaussian Splatting：3DGS (Kerbl et al., 2023), Dynamic 3DGS (Luiten et al., 2024)
  • 部件分割：PartNet (Mo et al., 2019) 的监督方法；SAM3D等无监督方法
  • RANSAC：Fischler & Bolles (1981) 的经典框架；Sequential RANSAC在多模型拟合中的应用

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 无先验部件发现 + 双高斯解耦 + SDMD均为新颖设计
  • 实验充分度: ⭐⭐⭐⭐ 多种物体类型验证，消融充分
  • 写作质量: ⭐⭐⭐⭐ 方法流程清晰，实验展示详尽
  • 价值: ⭐⭐⭐⭐⭐ 去先验的铰接物体理解对机器人和具身AI有重要实用价值

相关论文