MolmoMotion: Forecasting Point Trajectories in 3D with Language Instruction¶

会议: NeurIPS 2026
arXiv: 2606.18558
代码: https://github.com/allenai/molmo-motion
领域: 机器人
关键词: 3D点轨迹预测, 语言引导运动预测, 具身智能规划, 视频生成控制, 世界坐标系轨迹

一句话总结¶

提出了以语言指令为条件预测物体表面3D点世界坐标轨迹的MolmoMotion框架，结合包含116万视频的自动标注数据集与基准，显著超越现有预测基线并成功迁移至机器人操作与可控视频生成。

研究背景与动机¶

运动预测是视觉智能的核心基石：智能体必须预先判断场景中物体的运动趋势，才能做出合理的物理交互规划或生成符合客观规律的动态场景。然而，现有运动表征在泛化性与实用性上存在显著瓶颈。像素级视频预测虽然视觉细节丰富，但计算开销巨大且难以直接提取出精确的几何交互量；参数化 3D 模型（如人体 SMPL 或机械手模型）严重受限于特定类别与特定形态（embodiment），无法处理开放世界中形态各异的刚体与形变物体；而 2D 图像平面点轨迹则将物体实际运动与相机的自我运动（ego-motion）纠缠在一起，在视角剧烈变动时难以保持物理一致性，难以直接迁移到下游机器人控制中。

构建通用运动预测模型的核心矛盾在于：下游物理交互任务迫切需要视角稳定、跨实体无偏且免受类别绑定的紧凑物理量，但互联网上具备高质量 3D 运动真值标注的数据集规模极度匮乏，传统实验室采集的多视角 3D 动捕数据又局限于极其狭窄的室内分布。此外，未来的运动往往具有高度不确定性与多模态分支，单靠视觉历史难以确定智能体的主观交互意图。

本文的切入角度是：以物体附着的 3D 点在第一帧相机锚定的世界坐标系中的位移作为跨实体通用的物理表征，利用自然语言指令消除未来状态歧义，并通过可扩展的自动化单目 4D 重建与滤波管线挖掘互联网无约束视频中的海量物理先验。核心 idea：将动作驱动的动态推理形式化为「语言目标制导的 3D 点轨迹预测」任务，统一构建包含 116 万视频片段的大规模轨迹数据集 MolmoMotion-1M 与评测基准 PointMotionBench，提出兼顾确定性时序平滑性（自回归）与多模态不确定性（流匹配）的通用预测架构 MolmoMotion。

方法详解¶

整体框架¶

MolmoMotion 的任务设定为：在参考时间戳 \(t_0\)，给定用户指定的物体表面 2D 查询点及其通过深度反投影抬升的初始 3D 位置、历史 RGB 观测帧序列以及描述未来意图的自然语言指令，模型预测所有查询点在未来 \(T\) 步内的 3D 世界坐标轨迹。为确保预测不受后续相机运动干扰，所有坐标均统一表达在以 \(t_0\) 时刻相机坐标系为基准的世界坐标系中。整体流程首先通过 Molmo2 视觉语言主干提取多模态特征，并通过双线性采样提取 2D 查询点的视觉局部特征；在轨迹生成阶段，模型提供自回归序列建模（MolmoMotion-AR）与流匹配连续生成（MolmoMotion-FM）两种互补分支。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入历史观测帧 + 语言指令 + 初始3D查询点"] --> B["多模态表征融合与查询点局部采样<br/>Molmo2 提取特征并双线性采样 2D 点特征"]
    B --> C["锚点相对参数化<br/>以首个查询点为基准计算毫米级相对偏移"]
    C --> D{"解码预测分支选择"}
    D -->|离散时序生成| E["自回归坐标序列解码<br/>按时间戳贪婪自回归生成文本化坐标"]
    D -->|连续轨迹分布建模| F["双轴 RoPE 流匹配轨迹扩散<br/>DiT 跨注意力结合 LM 隐藏状态，10 步欧拉积分"]
    E --> G["输出：未来世界坐标系 3D 点轨迹"]
    F --> G

关键设计¶

1. 自动化大规模 3D 点轨迹标注管线：解决无约束视频中 3D 监督匮乏与深度漂移难题 由于互联网视频缺乏真实 3D 轨迹真值，人工标注代价极高，论文设计了一套分阶段鲁棒抽取管线。针对自然语言指令，首先借助 LLM 提取动词短语与操作对象实体名词，并结合具有动作感知提示词的 MolmoPoint 定位参考帧 \(t_0\) 中的物体中心点，随后送入 SAM 3 分割出实例掩码并通过 K-means 聚类中心采样 \(N=100\) 个查询点。在时序演化阶段，利用 AllTracker 提取密集 2D 跟踪轨迹，并通过 ViPE 单目视频位姿引擎恢复绝对公制深度与相机外参，将 2D 轨迹反投影抬升至世界坐标系。针对单目深度抖动与跟踪漂移，管线引入基于绝对中位差（MAD）的不一致性度量：通过选取全时段可见且低速的锚点轨迹集合 \(\mathcal{A}\)，计算各点相对锚点的距离方差并赋予置信度权重 \(w_{t,n}\)，并沿视线射线方向采用多步长加速度惩罚优化深度标量：

\[\min_{\{\lambda_{t}^{n}\}} \sum_{t,n} w_{t,n}^2 \|\mathbf{c}_t + \lambda_t^n \mathbf{r}_t^n - \tilde{\mathbf{p}}_t^n\|_2^2 + \beta \sum_{n} \sum_{\Delta \in \{1,3,5\}} \sum_{t} \|\mathbf{p}_{t+\Delta}^n - 2\mathbf{p}_t^n + \mathbf{p}_{t-\Delta}^n\|_2^2\]

式中 \(\mathbf{c}_t\) 表示相机光心，\(\mathbf{r}_t^n\) 为穿过 2D 轨迹像素的归一化视线射线，\(\Delta \in \{1,3,5\}\) 的多步长二阶差分约束能够有效消除长达 5 至 10 帧的缓慢深度漂移，从而生成包含 1.16M 动态片段的高质量数据集 MolmoMotion-1M。

2. 锚点相对坐标参数化：消除全局场景平移敏感性并稳定序列预测 在 3D 轨迹的坐标表达上，直接回归全局世界坐标会导致模型过度拟合特定相机视距与绝对场景位置。MolmoMotion 引入锚点相对坐标系，将第一时刻的第一个查询点设为基准锚点 \(\mathbf{p}_{\mathrm{anc}} = \mathbf{p}_{t_0}^1\)，并将所有查询点在各个时间步的坐标均转换为相对位移向量 \(\bm{\delta}_t^n = \mathbf{p}_t^n - \mathbf{p}_{\mathrm{anc}}\)。对于自回归模型，位移向量被量化至毫米级离散网格 \(\bar{\bm{\delta}}_t^n = \mathrm{round}(1000 \bm{\delta}_t^n)\)，并序列化为带有时间戳与点 ID 的紧凑文本元组；对于流匹配模型，位移向量直接保留为连续公制张量。这一设计将物理运动模式从绝对空间定位中解耦出来，使得小尺度桌面操作与大尺度室外移动能共享一致的局部动力学几何先验。

3. 自回归与流匹配双轨轨迹生成机制：结合因果时序平滑与多模态不确定性分布 为适应不同下游场景的需求，论文构建了两种互补的预测头。自回归分支（MolmoMotion-AR）复用 Molmo2 的自回归语言模型头，严格按时间步顺序生成离散坐标 token，历史生成的坐标点直接作为后续时间步的显式因果条件，这种自回归机制为确定性时序轨迹施加了强烈的连贯性归纳偏置，显著抑制了运动轨迹的高频抖动。流匹配分支（MolmoMotion-FM）则引入包含 36 层的 DiT 轨迹专家网络，每个模块在 \((N, H+T, 3)\) 维度的轨迹张量上执行自注意力，并利用在点索引维度与时间帧维度同时施加的多模态旋转位置编码（Multimodal RoPE）精确区分不同空间点与不同时刻。DiT 的交叉注意力层深度融合 Molmo2 每一层对应的多模态上下文隐藏状态 \(\mathcal{C}\)，并在训练时以流匹配目标驱动高斯噪声向真实连续轨迹向量场拟合：

\[\mathcal{L}_{\mathrm{FM}} = \mathbb{E}_{\tau, \epsilon} \left[ \| v_\phi(\bm{\delta}_\tau, \tau, \{\bm{\delta}_{t_0}^n\}_{n=1}^N, \mathcal{C}) - (\bm{\delta}_{t_0+1:t_0+T} - \epsilon) \|_2^2 \right]\]

推理时仅需 10 步欧拉积分即可快速采样出连续且平滑的 3D 物理轨迹分布，为包含多种潜在分叉动作的开放任务提供了多样化预测能力。

损失函数 / 训练策略¶

模型基于 Molmo2-4B（SigLIP2 ViT + Qwen3-4B）初始化并在 16 张 H100 GPU 上采用 FSDP2 全分片进行端到端微调。训练采用两阶段递进策略：第一阶段在视频片段中随机选取起始时间点 \(t_0\)，采样 \(N=8\) 个物体查询点，并在历史帧长 \(H=3\) 下监督预测未来 \(T=8\) 步（15 fps，共 64 个 3D 点目标），优化 40K 步；第二阶段继续微调 10K 步并将预测视界拓展至 \(T=32\) 步（约 2.1 秒），同时训练支持 \(H=3\)（多帧历史）与 \(H=1\)（单帧启动）两个变体。优化器使用 AdamW，学习率在前 1K 步线性预热后余弦衰减，梯度裁剪阈值设为 1.0。自回归损失仅计算未来轨迹 token 的交叉熵，提示词部分完全掩码；流匹配损失仅在未来轨迹步长上计算均方误差，保持输入历史干净无噪声。

实验关键数据¶

主实验¶

在涵盖 111 个物体类别与 61 类动作的 PointMotionBench 权威测试集上，以米为单位评估平均位移误差（ADE）、最终位移误差（FDE）以及在不同公制阈值下的平均召回率（PWT，涵盖 0.01m 至 0.20m 容限）。

范式 / 模型	输入帧数 \(H\)	文本指令	HOT3D (ADE↓ / FDE↓ / PWT↑)	WorldTrack (ADE↓ / FDE↓ / PWT↑)	DAVIS (ADE↓ / FDE↓ / PWT↑)
非参数化基线 Static	1	✗	0.180 / 0.316 / 0.293	0.167 / 0.317 / 0.390	2.281 / 4.360 / 0.085
非参数化基线 Extrapolate	3	✗	0.159 / 0.309 / 0.351	0.184 / 0.432 / 0.436	2.683 / 5.741 / 0.104
像素级 Wan2.2-5B	1	✓	0.200 / 0.308 / 0.253	0.852 / 1.046 / 0.090	3.074 / 5.192 / 0.051
像素级 Cosmos Predict	5	✓	0.225 / 0.294 / 0.199	0.831 / 0.988 / 0.072	4.191 / 6.368 / 0.033
参数化 3D ObjectForesight	3	✗	0.129 / 0.192 / 0.353	– / – / –	– / – / –
参数化 3D EgoScaler	1	✓	0.170 / 0.179 / 0.218	– / – / –	– / – / –
参数化 3D Robot4DGen	3	✗	0.212 / 0.271 / 0.112	0.548 / 0.704 / 0.121	2.120 / 3.382 / 0.081
2D 轨迹 Track2Act	1	✗	0.294 / 0.413 / 0.202	1.230 / 1.567 / 0.053	4.853 / 8.110 / 0.018
MolmoMotion-FM (Ours)	1	✓	0.183 / 0.311 / 0.286	0.165 / 0.305 / 0.401	1.380 / 2.205 / 0.165
MolmoMotion-FM (Ours)	3	✓	0.135 / 0.255 / 0.382	0.158 / 0.295 / 0.438	1.480 / 2.520 / 0.130
MolmoMotion-AR (Ours)	1	✓	0.157 / 0.290 / 0.303	0.148 / 0.269 / 0.424	1.146 / 1.843 / 0.199
MolmoMotion-AR (Ours)	3	✓	0.109 / 0.217 / 0.444	0.143 / 0.261 / 0.445	1.227 / 2.108 / 0.153

消融实验¶

在 PointMotionBench 上系统测试核心机制对预测性能的影响（基准模型为 MolmoMotion-AR, \(H=3\)）。

配置变体	HOT3D (ADE↓ / FDE↓ / PWT↑)	WorldTrack (ADE↓ / FDE↓ / PWT↑)	DAVIS (ADE↓ / FDE↓ / PWT↑)	说明
完整模型 (AR, \(H=3\))	0.109 / 0.217 / 0.444	0.143 / 0.261 / 0.445	1.227 / 2.108 / 0.153	基准配置
移除 2D 点局部采样特征	0.118 / 0.231 / 0.421	0.155 / 0.282 / 0.418	1.310 / 2.252 / 0.143	缺乏点级视觉上下文，各子集均有轻微掉点
采用绝对坐标（移除锚点相对参数化）	0.165 / 0.330 / 0.276	0.220 / 0.401 / 0.288	1.940 / 3.275 / 0.082	误差激增约 50%，证明相对坐标对几何泛化至关重要
移除语言指令（替换为固定 token）	0.158 / 0.318 / 0.291	0.215 / 0.392 / 0.305	1.890 / 3.182 / 0.092	丧失动作意图制导，无法分辨多模态目标动作
增加查询点密度至 \(N=16\)	0.106 / 0.212 / 0.452	0.140 / 0.255 / 0.451	1.198 / 2.061 / 0.158	稠密采样带来微弱收益，但计算序列长度与显存成本翻倍

关键发现¶

坐标参数化是几何学习的核心生命线：移除锚点相对坐标参数化导致所有测试集上的 ADE/FDE 误差激增约 50%，这是全模型最关键的设计；相对坐标有效消除了绝对深度与相机视角的干扰，赋予模型尺度的不变性。
自回归生成在确定性几何指标上表现更优：MolmoMotion-AR 依靠逐 token、逐时间戳的因果调节，天然强制实施了时间维度的连续平滑约束，在 ADE 与 PWT 上全面领先于流匹配变体，而流匹配更适用于存在分支不确定性的生成式采样。
底层物理运动先验优于像素生成幻觉：纯像素生成模型（Wan2.2、Cosmos）生成的视频即便在视觉上平滑合理，但在反投影为 3D 点轨迹后指标大幅落后，甚至不及简单的线性外推（Extrapolate）基线，表明视觉逼真度并不等同于物理几何一致性。
跨形态具身与视频生成迁移显著：在 MolmoSpaces 机械臂抓取放置闭环测试中，以 MolmoMotion 初始化的策略最终成功率从 Molmo2 的 56.0% 提升至 76.3%（在未见场景和未见物体上泛化优势尤为突出）；在指导 DaS 视频生成时，VBench 动态平滑度达到 0.990，显著优于 Wan-14B 与原生 CogVideoX-5B。

亮点与洞察¶

创新性地将 3D 世界坐标系下的稀疏点轨迹作为跨具身物理表征，绕过了特定机器人实体结构或特定类别三维网格（CAD）的限制，使互联网海量非结构化人类视频能够直接转化为通用具身动作先验。
提出了一套完整的无约束视频 4D 伪标签提炼与滤波管线，利用多步长二阶差分加速度惩罚精准解决了单目深度估计中长达数帧的平缓漂移与抖动问题，验证了大规模伪数据驱动 3D 动力学学习的可行性。
证明了 3D 轨迹可以作为生成式视频大模型的精确控制接口，为解决视频扩散模型中普遍存在的物体形变失真、运动违反物理常识等顽疾提供了全新的几何先验注入范式。

局限与展望¶

受限于 Molmo2 自回归上下文窗口长度，目前第二阶段预训练每个样本仅能支持 8 个查询点，这种稀疏点集在表达精细物体几何拓扑、非刚体复杂褶皱与流体运动时存在粒度瓶颈。
现阶段真实机器人闭环实验仅在仿真环境（MolmoSpaces）及离线数据集（DROID）上完成轨迹拟合与评测，尚未部署到实体物理机器人上开展长程端到端闭环操作验证。
模型严重依赖单目几何抬升（ViPE）的初始深度质量，在极端遮挡、反光或无纹理区域，反投影误差仍会对轨迹生成的绝对物理尺度产生负面影响。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立语言引导的通用 3D 点轨迹预测任务范式，并打通无约束视频的端到端 4D 伪标注。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 742 个高保真基准视频评测、详尽消融实验以及机器人控制与视频生成两大下游落地验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，问题陈述清晰，数学公式与实现细节完备。
价值: ⭐⭐⭐⭐⭐ 为通用具身大模型与物理世界视频生成提供了极具潜力的跨模态统一运动表征基座。