World Motion Models: Flexible Sequence Modeling of SE(3) Trajectories¶

会议: NeurIPS 2026
arXiv: 2610.01742
OpenReview: https://openreview.net/forum?id=nTTIRxpVbW
论文: https://arxiv.org/abs/2610.01742
代码: https://jiahuilei.com/projects/wmm
领域: 机器人/具身智能
关键词: 动态世界模型, SE(3)位姿轨迹, 流匹配, 灵活序列建模, 具身智能策略

一句话总结¶

提出了世界运动模型（World Motion Models, WMMs），将动态三维物理世界统一建模为稀疏刚体 $\mathrm{SE}(3)$ 位姿轨迹序列，通过逐 Token 异步噪声流匹配与解耦上下文机制，以单个通用网络无缝支持未来预测、机器人策略、可微前向模拟规划与跨具身重定向等任意边缘推断任务。

研究背景与动机¶

三维物理世界本质上是一个动态的四维时空，物理交互与具身感知完全根植于实体的运动之中：机器人末端或关节的转动产生接触力，驱动被动物体位移，而环境中的其他智能体也在持续动态演化。为了使智能系统具备空间智能与物理推理能力，学术界长期探索能够推演“何物在何时处于何地”的生成式四维世界模型。然而，现有运动生成与世界模型工作陷入了严重的割裂：一方面，大部分模型受限于特定实体类别的先验参数化结构（如人体 SMPL、人手 MANO 或特定机械臂 URDF），彼此表征不通用；另一方面，视频生成类世界模型将三维动态与外观纹理、光照、视角变化深度耦合在二维像素空间，缺乏底层几何可解释性，而点轨迹或稠密三维流表征则抛弃了驱动刚体运动、关节约束与物理接触不可或缺的旋转信息。

这一现状的核心矛盾在于：真实的物理运动呈现低秩特性，复杂场景的稠密形变往往由少数骨架或局部刚体运动驱动；但在建模方法上，传统自回归动力学模型或固定扩散模型严格预设了因果时序与单向输入输出划分，既无法灵活应对机器人控制中“已知目标倒推动作”的非因果逆向动力学，也无法兼顾中间插值补全、多实体交互以及超出因果滑动窗口的长期目标引导。不同任务往往被迫开发专用的网络架构与训练流程，无法共享对四维物理动态的通用先验。

本文的切入角度是打破结构化骨架与因果时序的刚性束缚，寻找一种兼顾物理刚性与任意时空拓扑的统一基元。核心 idea：将动态场景中所有运动实体统一抽象为稀疏的刚体 $\mathrm{SE}(3)$ 位姿轨迹集合，并在 Transformer 架构上引入逐 Token 独立噪声标量的流匹配框架与解耦上下文 Token，使单个网络通过切换观测/目标掩码即可实现任意子集到任意子集的联合与边缘概率推断。

方法详解¶

整体框架¶

世界运动模型将连续物理世界离散化为 $M$ 个实体的位姿轨迹集合。每个实体在任意时间步的状态被编码为一个 9 维刚体位姿 Token 并附加静态语义与几何特征。网络采用因子化时空 Transformer 架构，训练阶段为每个 Token 独立采样无序噪声等级，学习由噪声状态指向真实位姿的向量场；推理阶段只需根据下游任务需求指定观测 Token（保持真实无噪）与待预测 Token（加注全噪），通过神经微分方程（ODE）数值积分一次性生成目标轨迹。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["动态多实体场景输入<br/>机械臂 / 物体 / 人体 / 相机"] --> B["统一稀疏 SE(3) 轨迹物理表征<br/>9D 刚体位姿折叠 + 语义几何特征 F"]
    B --> C["解耦上下文 Token 机制<br/>非因果目标帧 / 跨具身示范锚点前缀"]
    C --> D["逐 Token 异步噪声流匹配<br/>独立噪声标量 λ 加注 + AdaLN 条件调制"]
    D --> E["寄存器辅助的时空因子化注意力<br/>全时空 + 轴向因子化 + 拓宽寄存器分支"]
    E --> F["下游任意边缘条件推断<br/>策略动作 / MPC 模拟 / 逆动力学 / 轨迹补全"]

关键设计¶

1. 统一稀疏 SE(3) 轨迹物理表征：以 9D 刚体位姿折叠消除异构实体壁垒

为了克服传统方法在点云流（无旋转）与骨架参数（不通用）之间的权衡，WMM 将场景中所有人、手、物体、机器人关节乃至相机视点统一抽象为一组刚体局部坐标系轨迹。每个实体 $i$ 在时刻 $l$ 的核心单元为连续位姿 Token $T_i^{(l)} \in \mathrm{SE}(3)$，并搭配整个轨迹共享的特征向量 $F_i = [f_i^{\text{sem}}; f_i^{\text{geo}}]$。其中语义部分 $f_i^{\text{sem}}$ 可为视频提词的 DINO 视觉特征或类别可学习嵌入，几何部分 $f_i^{\text{geo}}$ 由局部点云经轻量 PointNet 提取。为了使扩散与流匹配过程的信号在数值上天然服从标准正态分布，作者没有直接拼接平移向量与四元数，而是构建了一种 3 点折叠的 9 维等价表达： $$T_i^{(l)} \equiv \big(\mathbf{x}, \; \mathbf{x} + \delta \mathbf{r}_1, \; \mathbf{x} + \delta \mathbf{r}_2\big) \in \mathbb{R}^9$$ 式中 $\mathbf{x} \in \mathbb{R}^3$ 为平移位置，$\mathbf{r}_1, \mathbf{r}_2$ 为三维旋转矩阵的前两列（连续 6D 旋转表征），$\delta = 0.2$ 为经验缩放常数。该设计巧妙地将无界平移与单位正交旋转基向量折叠进同一个量纲为米的空间尺度，避免了旋转与平移在扩散加噪中的尺度失衡，使得无论人体骨骼、机械臂末端还是环境物体都能以完全同质的数据张量进入模型。

2. 逐 Token 异步噪声流匹配：统一任意边缘条件与多任务推理

针对标准世界模型仅支持前向自回归因果预测的局限，WMM 将序列建模拓展为任意边缘条件推断 $P(\mathcal{T}_{\text{unk}} \mid \mathcal{T}_{\text{obs}}, \mathcal{F}, \mathcal{A})$。模型借鉴非同步扩散思想，为输入轨迹张量中的每一个时空 Token $(i, l)$ 独立且均匀地采样噪声等级标量 $\lambda_{i,l} \sim \mathcal{U}[0, 1]$ 与高斯噪声 $\epsilon_{i,l} \sim \mathcal{N}(0, I_9)$，沿线性路径构造带噪输入： $$T_i^{(l)}\big|_{\lambda_{i,l}} = (1 - \lambda_{i,l}) T_i^{(l)} + \lambda_{i,l} \epsilon_{i,l}$$ 神经网络 $\mathcal{M}_\theta$ 的学习目标是预测指向噪声目标的流场速度 $v_{i,l}^\star = \epsilon_{i,l} - T_i^{(l)}$。由于训练过程中所有 Token 的噪声等级完全解耦且随机组合，模型隐式学习了任意时空子集被观测时对其补集的全条件反向概率。在推理阶段，只需通过掩码将已知 Token 设为 $\lambda = 0$（或对含噪观测设 $\lambda = 0.05$ 进行鲁棒微调纠偏），将待求目标设为 $\lambda = 1$，即可通过单一网络权重同时充当自回归前向预测器、端到端决策策略、动作条件动力学模拟器以及关键帧运动规划器。

3. 解耦上下文 Token 机制：非因果条件注入与跨具身零样本对齐

许多高级物理推理任务依赖于物理时间线之外的先验信息，例如模型预测控制中指定任意远期终态、或跨具身重定向中给定一组人-机器人姿态对应模板。WMM 在每个实体轨迹的时序前缀引入了一组虚拟上下文 Token： $$\tau_i = \big([\tilde{T}_i^{(a)}, \tilde{T}_i^{(b)}, \ldots \mid T_i^{(l)}, T_i^{(m)}, \ldots]; \; F_i\big)$$ 这些上下文 Token 拥有独立于物理时间步的解耦时序位置编码，在底层与真实轨迹 Token 共享同一套流匹配计算图。在语言引导的任务中，上下文 Token 可以直接生成未来全局目标状态；在人体到人形机器人姿态重定向中，示范帧作为 in-context 提示使模型感知不同形态关节的对应拓扑，无需专门设计运动学重定向约束。

4. 寄存器辅助的时空因子化注意力：支撑万级 Token 的高效可扩展架构

长程物理交互中实体数量与时间步的乘积极其庞大（例如 30 帧、400 条轨迹即达 12,000 个 Token），直接进行全连接自注意力计算在显存与计算量上难以承受。为此，WMM 在 $M \times N$ 的时空二维网格周围填充了三组可学习的高维寄存器（Registers），并构建了 5 种因子化注意力模块：全局跨 Token 自注意力 $a$、纯时间轴自注意力 $t$、纯实体轴自注意力 $p$，以及运行在宽通道寄存器上的时间轴与实体轴紧凑注意力 $s$ 与 $q$（典型配置为对称的 tpsqspt 结构）。此外，网络对每个 Token 的噪声标量 $\lambda_{i,l}$ 进行正弦编码，结合实体特征 $F_i$ 与全局文本池化特征，通过逐块宽 MLP 映射为 AdaLN 的缩放与平移参数，高效实现了细粒度局部噪声水平的动态自适应调制。

损失函数 / 训练策略¶

模型通过均方误差损失端到端监督速度向量场预测： $$\mathcal{L}(\theta) = \mathbb{E}_{\mathcal{T}, \Lambda, \epsilon} \sum_{i,l} \big\| \mathcal{M}_\theta(\mathcal{T}_\Lambda, \mathcal{F}, \mathcal{A}, \Lambda)_{i,l} - v_{i,l}^\star \big\|_2^2$$ 在面对现实视频跟踪中常见的遮挡、视野丢失等缺失观测时，作者将无效时间步的 Token 固定为纯噪声 $\lambda_{i,l} = 1$，且仅对存在真实标注的有效 Token 计算损失。网络采用 AdamW 优化器，基础学习率设为 $5 \times 10^{-5}$，权重衰减因子 $1 \times 10^{-3}$，在 30 万步处进行学习率衰减。

实验关键数据¶

主实验¶

WMM 在具身策略学习、长程三维轨迹生成、人-物交互合成以及人形机器人运动重定向等 6 类代表性任务中进行了全面评测。在桌面推块基准 Language Table（8 个木块、200 步探索域、50 次 rollout）中，WMM 显著刷新了策略成功率；在 SMPL 人体驱动 Unitree G1 双足人形机器人的动力学仿真重定向任务中，WMM 在保证极高推理吞吐量的同时实现了最优跟踪精度与物理仿真稳定度。

任务 / 数据集	核心指标	本文 WMM	之前 SOTA 方法	相对/绝对表现
Language Table (宏平均)	任务平均成功率 (Avg ↑)	87.2%	80.0% (LCB) / 76.8% (ActionVLA)	+7.2% / +10.4%
Language Table (B2B 任务)	策略成功率 (B2B ↑)	90.0% (MPC: 100%)	90.0% (LCB) / 76.0% (ActionVLA)	平齐，MPC 下达 100%
Language Table (B2RL 任务)	策略成功率 (B2RL ↑)	90.0%	73.0% (LCB) / 70.0% (ActionVLA)	+17.0%
TraceGen DROID (P=128)	轨迹均方误差 (MSE ×100 ↓)	0.151	0.206 (TraceGen)	误差降低 26.7%
TraceGen EpicKitchen (P=128)	轨迹终点误差 (Endp. ×100 ↓)	0.556	0.791 (TraceGen)	误差降低 29.7%
G1 人形重定向 (30 FPS 洁净)	仿真序列成功率 (SR-seq ↑)	0.8690	0.8255 (PHUMA) / 0.7945 (GMR)	成功率领先，且推理达 86.97 FPS
G1 人形重定向 (3 FPS 补全)	仿真序列成功率 (SR-seq ↑)	0.8525	0.8095 (GMR) / 0.6535 (PHUMA)	极度稀疏输入下大幅领先
G1 人形重定向 (噪声 $\sigma=0.1$)	仿真序列成功率 (SR-seq ↑)	0.8530	0.8060 (PHUMA) / 0.7160 (GMR)	鲁棒去噪抗扰能力突出

消融实验¶

消融实验系统验证了关键架构与表征组件的有效性。在 Language Table 的 B2B 任务中检验了逐 Token 噪声与 AdaLN 调制；在 TraceGen 的 EpicKitchen 验证集中分析了时空因子化注意力与寄存器设计的贡献；在 G1 重定向中验证了 9D 表征中旋转尺度因子 $\delta$ 的敏感性。

评估配置	关键指标取值	降级分析与说明
Language Table B2B 基准
完整模型 (Full WMM)	成功率 0.860	完整模型展现优异控制性能
移除 AdaLN 调制 (no AdaLN)	成功率 0.800	仅通过输入端线性拼接条件，下降 6.0%
移除逐 Token 噪声 (no per-tk)	成功率 0.000	全局同步扩散时间步在策略模式下完全崩溃，无法应对连续闭环控制
TraceGen EpicKitchen 密集轨迹
完整结构 (`tpsqspt`)	MAE 2.167 / MSE 0.329 / Endp 0.580	最优性能与显存效率折中
移除寄存器加速 (`tpaaapt`)	MAE 2.356 / MSE 0.344 / Endp 0.602	显存压力增大，训练批次受限致精度轻微下滑
坍缩为普通 DiT (`aaaaaaa`)	MAE 32.05 / MSE 16.97 / Endp 17.64	丧失显式时空轴向归纳偏置，误差暴增近 15 倍
旋转归一化尺度 $\delta$ 消融
$\delta = 0.2$ (本文设定)	G1 SR-seq 0.8690 / 全局误差 0.5938	保证扩散初验方差稳定均衡
$\delta = 0.6$	G1 SR-seq 0.8645 / 全局误差 0.6440	精度开始微弱发散
$\delta = 1.0$	G1 SR-seq 0.8030 / 全局误差 0.7709	旋转尺度权重过大，跟踪成功率显著跌落 6.6%

关键发现¶

逐 Token 异步噪声机制是多任务泛化的命脉：在桌面操控任务中，若退化为常规的全局同步时间步扩散并采用引导截断，策略成功率直接暴跌为 0，证明端到端决策必须依赖精准的局部条件匹配。
时空轴向因子化注意力提供至关重要的归纳偏置：在密集轨迹生成中，若将因子化注意力降级为标准 DiT 全局自注意力，MAE 误差急剧膨胀 15 倍，表明显式分离物理实体的空间关联与运动演变的时序连贯性是处理高维轨迹的关键。
几何特征与物理闭环密不可分：在特征消融中，若剔除 PointNet 提取的局部几何点云特征 $F_{\text{geo}}$，Language Table 的平均成功率直接由 87.2% 坠落至 19.6%，表明单纯的类别语义无法替代精准的三维局部形状对齐。

亮点与洞察¶

刚体 SE(3) 作为具身物理动态通用“通用语”：相比视频像素生成对真实动态的模糊投射，WMM 将刚体位姿作为跨人、机械臂、物体与相机的最小完备物理基元，既保证了稀疏高效，又完整保留了接触与运动学所需的 6 维自由度。
掩码即任务（Masking is Tasking）：无需为预测模型、强化学习策略、动作生成器分别设计架构，任何下游具身控制问题均等价为流匹配网络在特定时空坐标上的局部边际条件积分采样。
完全可微世界模型催生混合 MPC：WMM 的连续流场全链路可微，使其不仅能充当策略采样器，还可在推理阶段作为动力学模拟器运行内层梯度下降，将目标残差直接反向传播至候选动作，实现端到端物理寻优。

局限与展望¶

当前模型仍按基准独立训练：目前针对不同应用场景分别训练了专用权重，尚未在万亿级多源异构轨迹库上完成单一跨域大模型的统一预训练。
依赖前序三维几何与状态估计：当前管线假定输入为已提取或跟踪好的三维点云与位姿，未来需探索直接以单目 RGB 视频为输入并联合隐式估计位姿的端到端框架。
线性形变支持不足：现有模型严格基于刚体假设，暂未支持缩放、剪切等广义仿射变形物体的连续演化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出以稀疏 SE(3) 轨迹统一异构物理世界的生成式语言，将多任务推断优雅统一为掩码流匹配积分。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖机器人桌面操作、高维密集未来预测、人-物交互合成、仿真人形姿态重定向等 6 大场景，对比基准详实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨自洽，方法论与公式推导干净洗练，时空复杂度分析与消融实验极为扎实。
价值: ⭐⭐⭐⭐⭐ 为具身智能与三维世界模型领域提供了一种超越视频像素和纯三维点云的高效、统一且完全可微的新范式。