RigidFormer: Learning Rigid Dynamics using Transformers¶

会议: NeurIPS 2026
arXiv: 2605.09196
OpenReview: https://openreview.net/forum?id=QWRZoUcNGH
论文: https://arxiv.org/abs/2605.09196
领域: 其他
关键词: 刚体动力学, 物理仿真, 无网格点云, Transformer, 旋转位置编码

一句话总结¶

针对传统基于网格和顶点消息传递的刚体物理仿真计算冗余与拓扑依赖痛点，RigidFormer 提出一种物体级无网格 Transformer 仿真器，结合锚点旋转位置编码（ARoPE）、锚点-顶点池化（AVP）与可微 Kabsch 刚体投影，在仅需点云输入下实现高保真度、跨步长可控的超实时（23.9 FPS）多刚体接触动力学建模。

研究背景与动机¶

多刚体动力学仿真广泛存在于机器人操作、图形动画和具身智能交互中。传统的数值物理引擎（如 PyBullet、MuJoCo、Isaac Gym 等）依赖精细的网格拓扑、准确的物理参数和调优的接触求解器；但在现实感知场景中，环境往往只能以不完整、无拓扑的点云形式呈现，接触参数亦难以精确标定。近年来，基于图神经网络的神经动力学模拟器（如 MeshGraphNets、FIGNet、HopNet）取得了显著进展，但绝大多数最先进方法强依赖于网格连通性（Faces/Edges），并在顶点级别进行密集的局部消息传递。这种基于顶点的离散交互机制不仅计算复杂度随点数激增（$O(N_V^2)$），而且违背了刚体受力时作为一个整体响应的物理直觉，导致推理速度缓慢（通常仅 0.2~5.7 FPS），在长时间滚转（rollout）中易产生严重的自回归形变累积。

为了摆脱网格依赖并突破顶点级消息传递的计算瓶颈，研究者面临的核心矛盾在于：刚体运动本质上仅具有 6 个自由度的低维流形约束，并不需要在表面网格上逐边“扩散”冲量；然而，接触碰撞又极度依赖局部精细几何与表面相对位置，如果简单粗暴地将每个物体抽象为单一质心或粗糙包围盒，模型又会丧失接触判定所必需的几何信息。此外，在基于点云的无序多物体场景中，自注意力机制还面临着物体排列置换等变性与三维几何空间延展表达难以兼顾的结构性难题。

本文的切入角度是：将交互推理提升至物体级，同时通过少量关键几何锚点与可微刚体流形投影来解耦交互计算与刚体状态推进。核心 idea：将多刚体交互提升到物体级 Token 自注意力，利用锚点旋转位置编码（ARoPE）注入几何延展与相对空间关系，结合锚点-顶点池化（AVP）在 $O((MN_a)^2)$ 低维度下完成锚点动力学推进，并通过可微 Kabsch 对齐显式投影回刚体流形，配合时间步长 FiLM 调制实现高效、抗自回归漂移的无网格刚体仿真。

方法详解¶

整体框架¶

RigidFormer 输入连续两个物理时刻的物体点云状态 $\mathbf{x}_{t-1}, \mathbf{x}_t$、局部接触位移、离散速度与物理属性，预测下一时刻的状态 $\mathbf{x}_{t+1}$。整个仿真流程主要分为四个阶段：首先，通过分层 PointNet 编码器将每个物体的点云压缩为单个物体级 Token，将注意力交互的序列长度从数千个顶点大幅收缩为物体数量 $M$；其次，在物体级 Transformer 解码器中通过带有门控机制的自注意力和时间步长 FiLM 调制捕捉跨物体的宏观碰撞与动力学交互；接着，利用稀疏的最远点采样（FPS）锚点作为查询，结合锚点-顶点池化（AVP）捕获的局部表面接触特征，在多尺度特征下预测各锚点的加速度；最后，通过 Verlet 积分更新候选锚点位置，并通过可微 Kabsch 刚体投影求解最优 $SE(3)$ 变换，将严格刚性的位姿变换广播回所有全分辨率点云。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：两帧点云状态与物理参数 + 步长 FiLM 编码"] --> Enc["分层 PointNet 编码器<br/>提取多尺度几何生成物体 Token"]
    Enc --> KD1["物体级交互建模与时间步长调制<br/>物体级自注意力与门控衰减，融合 FiLM 时间编码"]
    KD1 --> KD2["锚点旋转位置编码 ARoPE<br/>对 FPS 锚点编码并均值池化，赋予注意力 3D 几何感知"]
    KD2 --> KD3["锚点状态推进与锚点-顶点池化 AVP<br/>各向同性核汇聚接触邻域特征，跨尺度注意力预测加速度"]
    KD3 --> Verlet["Verlet 积分计算候选锚点坐标"]
    Verlet --> KD4["可微 Kabsch 刚体流形投影<br/>通过 SVD 求解最优 SE(3) 刚体变换并广播到全点集"]
    KD4 --> Out["输出：下一时刻全分辨率点云状态"]

关键设计¶

1. 物体级交互建模与时间步长调制：收缩序列开销并自适应时间积分尺度 现有基于图网络的物理模拟器通常在数千个顶点上构建边或面图网络，计算复杂度高达 $O(N_V^2)$。针对刚体受力时作为刚性整体响应的本质特性，RigidFormer 将每个物体 $i$ 的 $N_v^{(i)}$ 个点通过共享的分层 PointNet 编码为单个维度为 $D=768$ 的物体 Token $\mathbf{o}_t^{(i)}$。输入的点特征包含了最近邻物体/地表距离向量 $\mathbf{d}_t^{(i)}$、速度代理 $\mathbf{v}_t^{(i)} = \mathbf{x}_t^{(i)} - \mathbf{x}_{t-1}^{(i)}$、相对于初始帧的位移偏置 $\mathbf{r}_t^{(i)}$ 以及质量、摩擦因数和恢复系数 $\boldsymbol{\phi}^{(i)} = [m, \mu, \epsilon]$。在 4 层 Transformer 解码器中引入 16 个全局可学习寄存器 Token（Register Tokens），并在自注意力输出后引入通道级 Sigmoid 门控机制 $\mathbf{y} = \sigma(\mathbf{G}(\mathbf{Q})) \odot \text{Attn}(\mathbf{Q}, \mathbf{K}, \mathbf{V})$，用于自主衰减弱相关交互噪声。同时，为了支持跨不同时间步长 $\Delta t$ 灵活仿真，解码器每层采用 FiLM 调制： $$ \hat{\mathbf{Z}}t^{(\ell)} = \boldsymbol{\gamma}\ell(\mathbf{c}) \odot \tilde{\mathbf{Z}}t^{(\ell)} + \boldsymbol{\beta}\ell(\mathbf{c}) $$ 其中条件向量 $\mathbf{c} = (s, s^2) \in \mathbb{R}^2$ 中 $s \propto \Delta t$ 对应一阶时间缩放，$s^2$ 镜像了 Verlet 积分中的 $\Delta t^2$ 因子，使单个模型无需重新训练即可适配多种时间离散粒度。

2. 锚点旋转位置编码 ARoPE：兼顾空间延展感知与物体置换等变性 在多物体动力学建模中，物体序列没有任何固有排列顺序，网络必须对物体 Token 满足置换等变性（Permutation Equivariance）；但接触交互又强烈依赖于物体在世界坐标系下的绝对尺寸、朝向与空间延展。若仅使用质心坐标进行位置编码，会丢失形状延展信息导致碰撞判断失准；若将所有顶点坐标均编码进去，又会引起极高的计算开销并破坏泛化性。为此，RigidFormer 提出了锚点旋转位置编码（ARoPE）。对于每个物体的 $N_a=4$ 个 FPS 采样锚点 $\{\mathbf{x}_k^{(i)}\}_{k=1}^{N_a}$，先通过共享的 3D 旋转映射 $\psi_\omega(\cdot)$ 生成各轴多频相位的 96 维描述符，随后在锚点维度进行均值池化聚合： $$ \text{ARoPE}({\mathbf{x}k^{(i)}}) = \frac{1}{N_a} \sum}}^{N_a} \bigoplus_{j=1}^3 \left[{\omega_l x_{k,j}^{(i){l=1}^{d_c/2}; {\omega_l x\right] $$ 该聚合描述符作为 RoPE 旋转角作用于注意力中的查询与键向量 }^{(i)}}_{l=1}^{d_c/2$\mathbf{q}, \mathbf{k}$。由于均值池化算子的对称性，ARoPE 对物体内部锚点的排列顺序具备严格的不变性，且在全局上保持了无序列位置嵌入的物体置换等变性，成功将物体的中心位置与空间延展精准注入到跨物体注意力和锚点交互中。

3. 锚点状态推进与锚点-顶点池化 AVP：兼顾接触局部几何与 $O((MN_a)^2)$ 低复杂度更新 刚体运动虽仅有 6-DoF，但接触碰撞的瞬态响应强烈取决于碰撞点邻域的精细表面几何。直接回归位姿参数易受 $SO(3)$ 参数化不连续性影响，而全顶点密集更新又计算代价过高。RigidFormer 仅选取 $N_a=4$ 个锚点作为动力学推进载体。为了让锚点具备碰撞表面的微观几何感知，设计了锚点-顶点池化（AVP）模块，以各向同性高斯距离核在锚点周围自适应加权汇聚顶点特征： $$ \mathbf{u}t^{(i,k)} = \frac{\sum}^{N_v^{(i)}} w_t^{(i,k,v)} \mathbf{ft^{(i,v)}}{\sum\right) $$ AVP 的归一化距离权重天然对顶点顺序置换和刚体刚性变换保持不变。池化后的 256 维局部几何特征与锚点查询拼接后，在多尺度（解码器第 0、1、2、4 层）跨物体键值对上执行交叉注意力，预测锚点加速度 }^{N_v^{(i)}} w_t^{(i,k,v)}}, \quad w_t^{(i,k,v)} = \exp\left(-\frac{|\mathbf{x}_t^{(i,v)} - \mathbf{q}_t^{(i,k)}|}{\sigma$\mathbf{a}_t^{(i,k)}$。随后，利用 Verlet 积分推进候选锚点位置：$\hat{\mathbf{q}}_{t+1}^{(i,k)} = \mathbf{a}_t^{(i,k)} \Delta t^2 + 2\mathbf{q}_t^{(i,k)} - \mathbf{q}_{t-1}^{(i,k)}$。

4. 可微 Kabsch 刚体流形投影：通过显式几何对齐消除自回归形变漂移 神经网络直接预测的候选锚点位置不可避免地包含微小形变误差，在长时自回归滚转中，这种微小误差会迅速累积并导致刚体发生拉伸或塌缩。RigidFormer 在状态更新的最后一步显式引入可微 Kabsch 算法，将初始参考锚点 $\mathbf{q}_{\text{ref}}^{(i,k)}$ 对齐至预测的候选锚点 $\hat{\mathbf{q}}_{t+1}^{(i,k)}$。通过中心化协方差矩阵的奇异值分解（SVD），闭式解析求解出最优旋转矩阵 $\mathbf{R}^{(i)} \in SO(3)$ 与平移向量 $\mathbf{t}^{(i)}$： $$ \mathbf{H} = \sum_{k} (\mathbf{q}{\text{ref}}^{(i,k)} - \bar{\mathbf{q}}}}^{(i)}) (\hat{\mathbf{q}{t+1}^{(i,k)} - \bar{\hat{\mathbf{q}}}^{(i)})^\top, \quad \mathbf{U}, \mathbf{\Sigma}, \mathbf{V}^\top = \operatorname{SVD}(\mathbf{H}) $$ $$ \mathbf{R}^{(i)} = \mathbf{V} \operatorname{diag}(1, 1, \det(\mathbf{V}\mathbf{U}^\top)) \mathbf{U}^\top, \quad \mathbf{t}^{(i)} = \bar{\hat{\mathbf{q}}}^{(i)} - \mathbf{R}^{(i)} \bar{\mathbf{q}} $$ 工程实现上采用 RoMa 库保障奇异值退化处的稳定求导。随后，将刚体变换广播到物体全分辨率点集 }}^{(i)$\mathbf{x}_{t+1}^{(i,v)} = \mathbf{R}^{(i)} \mathbf{x}_{\text{ref}}^{(i,v)} + \mathbf{t}^{(i)}$。这一投影在数学上严格保证了物体内部所有点对距离与参考几何恒等，彻底消除了由于自回归累积引起的几何失真。

损失函数 / 训练策略¶

训练目标由刚体投影前后的位置损失与加速度损失组合而成，全部采用 Smooth L1 损失并在锚点处监督： $$ \mathcal{L} = \lambda_{\text{pos}} \left(\mathcal{L}{\text{pos}}^{\text{raw}} + \mathcal{L}}}^{\text{rigid}}\right) + \lambda_{\text{acc}} \left(\mathcal{L{\text{acc}}^{\text{raw}} + \mathcal{L}\right) $$ 实验中设置 }}^{\text{rigid}$\lambda_{\text{pos}} = 10, \lambda_{\text{acc}} = 1$。其中真实加速度目标基于 Verlet 离散差分算子计算 $\mathbf{a}_t^{\text{gt}} = (\mathbf{q}_{t+1}^{\text{gt}} - 2\mathbf{q}_t^{\text{gt}} + \mathbf{q}_{t-1}^{\text{gt}}) / \Delta t^2$。模型使用 AdamW 优化器（$\beta_1=0.9, \beta_2=0.999$, 权重衰减 0.01）在 NVIDIA A100 GPU 上训练 300 个 epoch，基准学习率为 $10^{-4}$，配合 10 个 epoch 的线性热身和余弦退火至 $10^{-6}$，梯度裁剪范数阈值为 1.0。训练期间对场景随机沿重力轴进行 Z 轴旋转增强（以 $5^\circ$ 为步长离散采样）及物体顺序置换增强，进一步提升鲁棒性。

实验关键数据¶

主实验¶

在标准多物体仿真基准 MOVi-A、MOVi-B 与 MOVi-Sphere 上，以 50、75、100 帧的长程自回归物理预测对比评估各模拟器。指标采用中心质心位置均方根误差（Position RMSE, 单位 m）和四元数测地线距离朝向误差（Orientation RMSE, 单位度 $^\circ$）。

模型	输入类型	MOVi-A (50 / 75 / 100 帧)	MOVi-B (50 / 75 / 100 帧)	MOVi-Sphere (50 / 75 / 100 帧)
MGN	网格	0.705 / N/A / N/A	0.538 / N/A / N/A	N/A / N/A / N/A
FIGNet	网格	0.132 / 0.285 / 0.492 (Pos) 7.10 / 14.62 / 23.30 (Ori)	0.141 / 0.300 / 0.516 (Pos) 7.39 / 15.16 / 24.96 (Ori)	N/A / N/A / N/A
HCMT	网格	0.239 / 0.538 / 0.951 (Pos) 5.70 / 11.82 / 18.40 (Ori)	0.237 / 0.527 / 0.932 (Pos) 4.72 / 9.80 / 17.43 (Ori)	0.243 / 0.541 / 0.956 (Pos) 4.19 / 8.21 / 13.81 (Ori)
VPD	点云	0.235 / 0.489 / 0.827 (Pos) 5.10 / 11.66 / 20.37 (Ori)	0.275 / 0.581 / 0.987 (Pos) 4.65 / 9.70 / 16.99 (Ori)	0.244 / 0.510 / 0.855 (Pos) 4.47 / 9.50 / 17.65 (Ori)
HopNet	网格	0.054 / 0.115 / 0.196 (Pos) 5.64 / 11.84 / 18.83 (Ori)	0.047 / 0.101 / 0.176 (Pos) 4.91 / 10.35 / 17.91 (Ori)	0.034 / 0.073 / 0.124 (Pos) 4.05 / 8.21 / 13.68 (Ori)
RigidFormer (Ours, $\Delta t=1$)	点云	0.049 / 0.103 / 0.177 (Pos) 5.06 / 10.90 / 18.32 (Ori)	0.050 / 0.095 / 0.161 (Pos) 3.97 / 8.51 / 15.33 (Ori)	0.026 / 0.057 / 0.099 (Pos) 3.00 / 6.48 / 11.19 (Ori)
RigidFormer (Ours, $\Delta t=10$)	点云	0.018 / 0.068 / 0.118 (Pos) 1.47 / 6.98 / 11.93 (Ori)	0.029 / 0.069 / 0.115 (Pos) 1.51 / 5.89 / 10.85 (Ori)	0.014 / 0.045 / 0.076 (Pos) 1.09 / 4.30 / 7.47 (Ori)

消融实验¶

在复杂物体集合 MOVi-B 上，针对位置编码选择、门控注意力与可微刚体投影开展系统性消融。下表汇总了各关键模块在 $\Delta t=1$ 步长下的自回归预测表现：

配置 / 变体	50 帧 Pos (m)	75 帧 Pos (m)	100 帧 Pos (m)	50 帧 Ori ($^\circ$)	75 帧 Ori ($^\circ$)	100 帧 Ori ($^\circ$)	说明
完整模型 (ARoPE + Gated + Diff Kabsch)	0.050	0.095	0.161	3.97	8.51	15.33	本文默认方案
w/o Gated Attention（去除门控机制）	0.077	0.153	0.259	4.70	9.98	17.12	100帧平移误差增加 60.9%
w/o Differentiable Kabsch（去除可微刚体投影）	0.052	0.098	0.169	4.08	8.79	15.79	缺乏刚体流形约束梯度
PE: Sinusoidal（正弦绝对位置编码）	0.051	0.100	0.172	4.10	8.68	15.30	忽略 3D 几何与延展
PE: Learned（可学习绝对位置编码）	0.054	0.103	0.176	4.24	9.01	15.94	破坏物体排列置换等变性
PE: OBB（定向包围盒编码）	0.060	0.114	0.189	4.38	9.44	16.83	粗粒度几何表征不足
PE: PCA（主成分分析位置编码）	0.380	0.867	1.548	7.02	15.11	25.79	符号与轴向歧义严重退化
PE: SE(3)（相对 SE(3) 编码）	0.052	0.099	0.167	4.25	9.21	16.36	缺少稀疏锚点细节几何

关键发现¶

无网格全面超越网格基线：在相同 $\Delta t=1$ 设置下，仅以点云为输入的 RigidFormer 在 MOVi-B 的 100 帧预测上将 HopNet 的位移/朝向误差从 $0.176\,\text{m}/17.91^\circ$ 进一步削减至 $0.161\,\text{m}/15.33^\circ$；若开启大步长（$\Delta t=10$），累积自回归步数减少，误差进一步骤降至 $0.115\,\text{m}/10.85^\circ$。
门控注意力与刚体投影至关重要：消融表明，缺少 Sigmoid 门控注意力会导致 100 帧位置误差从 0.161 m 恶化至 0.259 m，证明了抑制弱相关远端交互对于长时滚转稳定性的决定性作用；可微刚体流形投影不仅确保几何刚性，其通畅的梯度流也显著抑制了位移漂移。
超高运行效率与大场景可扩展性：在 RTX 5080 上，RigidFormer 达到 23.9 FPS，相比 FIGNet（3.0 FPS）提速 8 倍，相比 HopNet（0.2 FPS）提速 101 倍；在包含 216 个方块的 WreckingBall 碰撞场景中稳定保持 20 FPS，并能自然扩展至方向控制的人形机器人（ASE Humanoid）与 Unitree G1 关节体仿真。

亮点与洞察¶

物体级 Token 与稀疏锚点的双层解耦：将全场景交互放在粗粒度的物体级 Token 处理，而将局部细粒度接触与几何动力学委托给仅 $N_a=4$ 个几何锚点，巧妙化解了“高分辨率接触保真度”与“交互计算平方复杂度”之间的两难困境。
严谨的对称性设计保证泛化能力：ARoPE 通过均值池化消除了对锚点索引顺序的依赖，同时利用纯距离权重的 AVP 消除了对点云顶点索引顺序的依赖，模型全局满足物体置换等变性，使无序点云输入具备极强几何通用性。
显式流形投影兜底自回归稳定性：不依赖网络自身学会完美的刚体保形，而是在前向传递的最后通过解析解 SVD 强制对齐到刚体流形，兼顾了深度学习的强大动态拟合能力与经典力学的严格几何守恒律。

局限与展望¶

依赖物体分割标签：当前方法依赖点云的物体所属实例分割标签（Object Labels），若感知前端出现严重实例欠分割或过分割，物体 Token 构建与质心定位将受到干扰。
重度遮挡与极稀疏观测下的挑战：尽管模型在 25% 随机遮挡下展现出良好鲁棒性，但当极端遮挡导致物体可见点过少且丧失基本几何外形时，锚点难以准确刻画几何延展，可能导致碰撞穿透。
拓展混合刚柔体仿真：目前仅针对纯刚体系统，未来可将锚点动力学与局部形变场结合，探索刚体、布料、流体并存的复杂物理世界建模。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将物体级 Transformer 与稀疏几何锚点、ARoPE 及闭式可微刚体投影精妙结合]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 MOVi 3 大基准、跨数据集迁移、跨分辨率泛化、超 200 物体碰撞及关节体扩展]
写作质量: ⭐⭐⭐⭐⭐ [形式化推导完备，实验对比与消融剖析极其透彻]
价值: ⭐⭐⭐⭐⭐ [为机器人视觉感知到物理引擎仿真提供了高效、无网格的高保真接口]