Point Tracking Improves World Action Models

会议: NeurIPS 2026
arXiv: 2605.23856
OpenReview: https://openreview.net/forum?id=sVFAjZ4nrj
领域: 机器人/具身智能
关键词: 具身智能、世界动作模型、点追踪、扩散模型、机器人操作

一句话总结

本文提出联合像素与轨迹的世界动作模型 JOPAT，在扩散 Transformer 中联合去噪视觉潜变量、带可见性的 2D 点追踪轨迹与机器人动作，以显式对应点运动作为感知与控制的统一未来状态接口，在 LIBERO 40 项任务上取得 97.8% 成功率新 SOTA。

研究背景与动机

开放环境下的机器人操作要求策略能够跨物体、场景和视角进行泛化，同时在部分可观测、自遮挡以及长程时间依赖下保持高可靠性。近来视觉-语言-动作（VLA）模型展示出强大的语义理解能力，但主要依赖静态图文数据预训练，严重缺乏对物理环境交互动态的认知。为此，将视频先验转化为机器人控制的世界动作模型（World Action Models, WAMs）成为前沿研究范式，试图通过预测未来观察来驱动机器人动作生成。

然而，现有世界动作模型普遍将未来状态实例化在像素空间、潜在图像空间或视觉 token 空间中。这种以像素为主导的状态接口将关键的运动动态与光照、纹理、背景杂乱等无关混淆因素深度纠缠；动作执行所依赖的关键信息——到底哪个物体的哪个部位发生了位移、向何处移动、交互点是否因遮挡或移出视野而丢失证据，只能从外观 token 中隐式推断，极易受到视觉分布偏移和干扰物的影响。因此，仅靠像素级的大规模无动作视频预训练往往无法有效转化为下游操作成功率的提升。

面对未来状态接口设计这一核心问题，本文指出，无动作视频要真正赋能控制，必须通过一种既能保留视觉语义又能显式暴露可控对应关系的未来状态抽象。核心 idea：将带可见性标记的 2D 点轨迹与视觉潜变量、机器人动作融合进统一的扩散 Transformer 中联合去噪，以显式运动对应点作为感知与控制的桥梁。

方法详解

整体框架

JOPAT 接收当前观测窗口（连续两帧 RGB 图像 \(o_{t-1:t}\)），由观测编码器提取全局条件特征，并通过自适应层归一化（AdaLN）注入到扩散 Transformer（DiT）中。模型并不将动作生成与视觉预测拆分成串行流水线或使用隔离的动作头，而是将加噪动作 token、未来视觉潜变量 token、点轨迹 token 以及可学习寄存器 token 拼接为一个统一序列共同去噪。在推理采样过程中，动作序列生成直接与隐式采样的像素潜变量及对应点轨迹通过全注意力交互，使预测动作受控于显式运动约束。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["当前观测窗口 ot-1:t<br/>双帧 RGB 输入"] --> B["滑动窗口轨迹构建<br/>网格查询点锚定与追踪"]
    B --> C["轨迹-视频转换与 3D Patchify<br/>重排为时空网格并卷积编码"]
    A --> D["观测编码器 Ec<br/>生成全局条件特征 ct"]
    C --> E["统一像素-轨迹-动作联合去噪<br/>共享 DiT 块与全双向自注意力"]
    D -->|AdaLN 条件注入与时步 τ| E
    E --> F["多分支解码与可见性预测<br/>动作噪声 / 潜变量噪声 / 轨迹噪声 / 可见性 logits"]
    F --> G["后退时域动作块执行<br/>提取并执行首个动作前缀并重规划"]

关键设计

1. 滑动窗口轨迹构建：以当前观测为基准解耦场景运动与外观 为了捕获长程交互动态并避免累积漂移，JOPAT 采用滑动窗口策略，以当前输入窗口的最后一帧 \(o_t\) 作为基准参考帧。在 \(o_t\) 上均匀采样 \(N = 25 \times 25 = 625\) 个网格查询点，调用通用离架点追踪器沿预测窗口 \(t+1:t+H_p\)（实现中设轨迹步长 \(H_p = 19\)）跟踪其 2D 坐标与可见性状态，得到真实轨迹坐标矩阵 \(\mathbf{P}^{(t)} \in \mathbb{R}^{H_p \times N \times 2}\) 与二值可见性标签 \(\mathbf{V}^{(t)} \in \{0,1\}^{H_p \times N}\)。这种局部坐标锚定使轨迹直接反映当前动作触发引起的相对位移与接触运动，消除了绝对坐标漂移对策略的干扰。

2. 轨迹-视频紧凑表征与 3D Patchify 编码：保持局部几何时空连续性 离散无序的点集直接进入 Transformer 会破坏图像平面的空间拓扑。JOPAT 将 \(N\) 维点坐标重排回二维空间网格，形成具有通道维度为 2 的时空伪视频张量 \(\mathbf{G}^p \in \mathbb{R}^{2 \times H_p \times H_g \times W_g}\)（其中 \(H_g = W_g = 25\)）。随后通过时空 patch 大小为 \((2, 5, 5)\) 的 3D 卷积编码器进行 Patchify 处理，将其投影为紧凑的轨迹潜变量序列 \(\mathbf{z}^p \in \mathbb{R}^{L_p \times d}\)。这一结构保留了相邻点运动的局部空间连贯性与沿时间的动力学平滑性，使 Transformer 能够以低维 token 形式处理密集对应流。

3. 统一像素-轨迹-动作联合去噪：让动作在显式几何运动引导下生成 传统的辅助任务结构让未来预测只充当梯度反传的辅助损失，推理时直接丢弃。JOPAT 构造了联合去噪序列 \(\mathbf{Z} = [\tilde{\mathbf{z}}^a_{t:t+K-1}, \tilde{\mathbf{z}}^o_{t+H:t+H+1}, \tilde{\mathbf{z}}^p_{t:t+H_p-1}, \mathbf{r}]\)，其中包含动作块噪声、未来 \(H=16\) 步的 2 帧视觉潜变量噪声、轨迹坐标噪声以及 8 个寄存器 token。12 层 DiT 通过双向全自注意力让三者在去噪的所有步数中充分交互。解码端配置独立预测头：动作头恢复控制增量，潜变量头重建未来视觉特征，轨迹头输出坐标噪声，以及独立的可见性头输出可见性 logits。

4. 独立可见性监督：显式建模部分可观测与缺失证据约束 在机械臂操作中，抓取工具与抓手常遮挡目标物体，或物体在搬运中短暂离开画面。若强迫模型对不可见点拟合虚假坐标，会导致严重幻觉与动作发散。JOPAT 将可见性预测从轨迹输入端解耦，仅在输出端设置独立 MLP 预测头，输入预测的去噪轨迹特征 \(\hat{\mathbf{z}}^p\)，输出对应点的可见性概率 \(\hat{\mathbf{V}}^{(t)}\)。这一机制让模型显式认知交互点的存在与否，防止将遮挡盲区误判为静止或剧烈跳变。

损失函数 / 训练策略

对于每个模态 \(m \in \{a, o, p\}\)（动作、视觉潜变量、轨迹坐标），模型在每个模态上独立采样扩散时间步 \(\tau_m\)，采用高斯扩散加噪目标，通过均方误差监督噪声预测：

\[\mathcal{L}_m = \left\|\hat{\boldsymbol{\epsilon}}^m - \boldsymbol{\epsilon}^m\right\|_2^2\]

轨迹可见性头通过二值交叉熵（BCE）独立监督：

\[\mathcal{L}_{\mathrm{vis}} = \frac{1}{H_p N} \sum_{\tau=0}^{H_p-1} \sum_{i=1}^N \mathrm{BCE}(\hat{\mathbf{V}}_{t+\tau,i}, \mathbf{V}_{t+\tau,i})\]

在具备动作标注的示范数据集 \(\mathcal{D}\) 上，总损失联合优化动作、潜变量、轨迹与可见性：

\[\mathcal{L}_{\mathcal{D}} = \mathcal{L}_a + \lambda_o \mathcal{L}_o + \lambda_p \mathcal{L}_p + \lambda_{\mathrm{vis}} \mathcal{L}_{\mathrm{vis}}\]

而在无动作海量视频 \(\mathcal{V}\) 上，直接屏蔽动作分支，以自监督方式预训练视觉与轨迹表征：

\[\mathcal{L}_{\mathcal{V}} = \lambda_o \mathcal{L}_o + \lambda_p \mathcal{L}_p + \lambda_{\mathrm{vis}} \mathcal{L}_{\mathrm{vis}}\]

在推理阶段，给定观测条件采用 DDIM 调度器进行 10 步去噪采样，仅取出动作块 \(\hat{a}_{t:t+K-1}\) 中的首个动作前缀执行，并在后退时域框架下循环重规划。

实验关键数据

主实验

在 LIBERO 标准基准的四个测试套件（Spatial、Object、Goal、Long，各 10 项任务，每任务 50 条示范）上评估，JOPAT 相比主流基线模型展现出卓越的泛化能力与长程一致性：

方法	Spatial (SR %)	Object (SR %)	Goal (SR %)	Long (SR %)	Average (SR %)
Diffusion Policy	78.3	92.5	68.3	50.5	72.4
Octo fine-tuned	78.9	85.7	84.6	51.1	75.1
OpenVLA	84.7	88.4	79.2	53.7	76.5
\(\pi_0\) fine-tuned	96.8	98.8	95.8	85.2	94.2
OpenVLA-OFT	97.6	98.4	97.9	94.5	97.1
CogVLA	98.6	98.8	96.6	95.4	97.4
UWM (纯像素 WAM)	82.3	92.2	86.8	77.6	84.7
JOPAT (本文)	97.2	98.9	98.4	96.4	97.8

在真实世界 LeRobot SO-101 机械臂平台的 4 项物理操作任务上：

方法	Cook-Soup	Insert-Peg	Push-Tomato	Pick-Grocery	平均成功率 (Avg.)
ACT	40%	0%	70%	50%	40.0%
UWM	10%	0%	80%	40%	32.5%
JOPAT (本文)	60%	10%	100%	60%	57.5%

消融实验

在 LIBERO-Long 套件上针对模态组合进行的消融测试（所有变体均在 DROID 无动作视频上预训练并采用相同微调策略）：

配置	平均成功率 (SR %)	说明
Joint (完整模型)	96.4%	视觉潜变量 + 轨迹 + 可见性 + 动作联合去噪
Latent-only (仅潜变量)	77.4%	去除点轨迹预测，性能大幅下降 19.0%
Track-only (仅轨迹)	26.2%	去除视觉潜变量，缺乏语义锚定导致暴跌 70.2%

在 LeRobot 真实机器人任务上对可见性预测头的消融：

配置	Cook-Soup	Insert-Peg	Push-Tomato	Pick-Grocery	平均成功率 (Avg.)
w/o visibility	40%	0%	90%	60%	47.5%
w/ visibility (完整)	60%	10%	100%	60%	57.5%

无动作视频预训练对数据效率的影响（LIBERO-Long 套件）：

预训练方案	10 条示范 (SR %)	25 条示范 (SR %)	50 条示范 (SR %)
从头训练 (w/o PT)	11.9%	31.6%	66.1%
DROID 预训练 (机器人域)	64.2%	82.7%	96.4%
OpenVid-1M 预训练 (通用域)	48.5%	84.6%	95.1%

关键发现

• 双模态互补性不可替代：Track-only 因缺失视觉上下文和物体 Affordance 语义，平均成功率仅为 26.2%；而 Latent-only 尽管保留了外观，却因缺乏明确的接触与几何位移约束而在长程任务上掉点 19.0%。两者联合去噪形成了语义指引与运动追踪的紧密协同。
• 可见性是缓解自遮挡漂移的关键：去除可见性头后，真实机器人复杂长程任务 Cook-Soup 成功率由 60% 跌落至 40%。可见性监督作为缺失证据的显式约束，防止了不可见对应点强制拟合带来的运动幻觉。
• 通用视频预训练大幅突破低数据瓶颈：在仅有 10 条少样本示范场景下，无动作预训练将成功率从 11.9% 直接拉升至 64.2%（DROID）和 48.5%（通用 OpenVid-1M）；随着示范量增加至 50 条，通用视频与具身视频预训练收益差距迅速收窄（95.1% vs 96.4%），证实了点追踪能有效跨域提取物理运动先验。
• 分布外与干扰物鲁棒性突出：在引入未见干扰物和位移扰动的 LIBERO-Long OOD 测试中，JOPAT 平均成功率达到 66%（显著领先 Diffusion Policy 的 32%、UWM 的 34% 和 \(\pi_{0.5}\) 的 53%），特别在涉及持续交互的 Mug-Mug 和 Book-Candy 任务上优势最为显著。

亮点与洞察

• 将运动对应点升级为控制接口：改变了以往将视频扩散模型单纯当作像素渲染器或独立策略输入的范式，创造性地将带可见性的 2D 点轨迹作为世界模型预测未来的核心表征。
• Track-as-Video 架构设计：将稀疏点集按二维网格重组为伪视频张量，利用成熟的 3D 卷积 Patchify 技术实现与 DiT 序列的高效融合，兼顾了局部几何拓扑与 Transformer 计算友好性。
• 跨域无动作视频先验的高效迁移：证明了通用人类/自然视频虽然动作空间各异，但其底层包含的刚体运动、物体接触与遮挡动力学能够通过点追踪无损提取，为降低真机示教采集成本提供了清晰的技术路线。

局限与展望

• 粗粒度网格采样限制精细操纵：当前采用 \(25 \times 25\) 的固定均匀采样网格，对毫米级高精度接触（如 Insert-Peg 轴孔装配）难以提供足够的亚厘米级几何形变信息。
• 受限于预训练点追踪器的性能上限：依赖离架追踪器（如 CoTracker）生成伪真值，若追踪器在强反光、透明物体或剧烈形变时跟丢，模型无法学习到正确的动力学演化。
• 推断时延与静态机位限制：单步生成需要进行 10 步多模态 DiT 去噪，难以适配 >20Hz 的超高频动态闭环控制；同时当前模型假设静态相机视角，移动机器人平台引起的自我运动（ego-motion）会极大增加点追踪的建模复杂度。

相关工作与启发

• vs UWM (Unified World Models)：UWM 仅在潜空间去噪像素与动作，交互运动容易被纹理和光照所淹没；JOPAT 引入带可见性的显式点轨迹，在长程和接触密集任务上大幅超越 UWM。
• vs 纯 VLA 模型 (\(\pi_0\), OpenVLA)：VLA 侧重静态多模态大模型的语义泛化，缺乏物理动力学理解；JOPAT 通过无动作视频预训练显式建立物理运动先验，在少样本示范下具有明显更高的数据效率。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 巧妙提出联合像素与轨迹的世界动作模型，将点追踪运动流作为预测与控制的核心接口。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 LIBERO 全套仿真、OOD 扰动压测、实体双臂/单臂真机部署、模态消融及跨域视频预训练分析。
• 写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，架构逻辑严密，图文对照极具启发性。
• 价值: ⭐⭐⭐⭐⭐ 为解决视频生成与机器人控制之间的语义与动态鸿沟提供了关键设计范式。

相关论文

• [NeurIPS 2026] Fast-WAM: Do World Action Models Need Test-Time Future Imagination?
• [NeurIPS 2026] Learning Visual Feature-Based World Models via Residual Latent Action
• [NeurIPS 2026] MolmoMotion: Forecasting Point Trajectories in 3D with Language Instruction
• [ICLR 2026] World-In-World: World Models in a Closed-Loop World
• [ECCV 2026] CoMaTrack: Competitive Multi-Agent Game-Theoretic Tracking with Vision-Language-Action Models