Action Images: End-to-End Policy Learning via Multiview Video Generation¶
会议: NeurIPS 2026
arXiv: 2604.06168
论文: https://arxiv.org/abs/2604.06168
代码: https://ActionImages.github.io
领域: 机器人
关键词: 世界动作模型, 多视角视频生成, 像素锚定动作, 零样本策略, 机器人具身控制
一句话总结¶
将机器人 7-DoF 控制动作转化为多视角像素级高斯热图动作图像，统一视频预测与策略控制于 Wan 2.2 视频生成底座，无需独立控制头即可实现端到端零样本机器人操作。
研究背景与动机¶
世界动作模型（World Action Models, WAMs）近年来在预测环境未来观测方面取得了显著进展，借助大规模预训练视频生成模型的物理先验与动态推理能力，展现出模拟机器人交互环境的巨大潜力。然而，视频预测能力的泛化并不能直接等价于机器人策略的泛化：一个模型能够合成极其逼真、物理合理的未来视频帧，却常常在面对未见环境或物体时无法推导出该执行何种控制指令。这种在“视频预测泛化”与“策略控制泛化”之间存在的鸿沟，构成了当前机器人世界模型向通用具身智能演进的核心瓶颈。
造成该鸿沟的根本原因在于控制动作的表示形式尚未被视频生成模型原生泛化。目前的主流范式通常分化为两条路径：其一是在视频底座之上额外挂载独立的策略头或动作解码模块，试图从视频隐特征中解码低维控制向量；其二是将视频扩散模型改造为输出非像素锚定的连续动作表征（如一维动作 token 或隐编码）。在这两种路径下，模型的物理世界预测知识与动作决策之间始终隔着一道特化控制接口，不仅限制了跨视点与跨本体的迁移能力，还极大地架空了预训练视频模型积累的密集空间几何先验。
本文的切入角度是打破动作与视频在模态上的不对称性，将机器人动作直接投影为可在多视角空间中追踪的连续视觉轨迹。核心 idea：将 7-DoF 机械臂动作显式几何投影并栅格化为像素锚定的多视角“动作图像”（Action Images），使机器人观测视频与动作视频在统一视频潜空间中联合建模与去噪生成，从而使纯视频扩散底座自身无需额外策略模块即可作为零样本执行策略。
方法详解¶
整体框架¶
Action Images 将端到端机器人策略学习严格重构为多视角条件视频生成任务。系统输入包含任务语言文本指令、初始时刻多视角 RGB 观测图像以及可选的相机位姿序列；模型联合输出未来的多视角环境观测视频以及与之时间对齐的多视角动作图像视频。最后，通过几何光线投射与跨视角特征关联，从预测出的动作热图中完全解析恢复出连续 7-DoF 控制动作。
方法的完整流水线包含三个核心步骤：首先将连续机械臂动作转为具有三维语义特征的多视角动作热图视频；随后将观测与动作视频在 3D-VAE 隐空间拼接，通过统一的扩散流匹配（Flow Matching）与多样化掩码（Masking）策略共同训练视频底座 Wan 2.2；最后在推理阶段生成动作图像并通过几何解码器无损解算回 7-DoF 动作向量执行开环控制。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入: 语言指令 + 初始多视角图像"] --> B["7-DoF 动作空间化投影与动作图像渲染"]
B --> C["多视角观测与动作潜变量拼接与掩码流匹配"]
C --> D["Wan 2.2 视频底座联合去噪生成"]
D --> E["跨视角光线投射与几何动作解码"]
E --> F["输出: 可直接执行的连续 7-DoF 机械臂动作"]关键设计¶
1. 7-DoF 动作的语义 3D 锚点与多视角高斯热图渲染：消除控制模态与视觉模态的表征壁垒 传统策略模型将动作表示为 7 维向量 \(\mathbf{a}_t = [\mathbf{p}_t, \boldsymbol{\theta}_t, g_t] \in \mathbb{R}^7\)，包含末端执行器 3D 位置 \(\mathbf{p}_t\)、旋转姿态 \(\boldsymbol{\theta}_t\) 和夹爪开合度 \(g_t\)。为了让动作能够被预训练 2D/3D 视频主干直接理解，本文将末端执行器位姿转换为三个语义 3D 点：末端位置点 \(\mathbf{q}_t^{\text{pos}} = \mathbf{p}_t\)，以及分别沿夹爪平面方向和法向延展固定距离 \(\ell\) 的法向点与上方向点： $\(\mathbf{q}_t^{\text{up}} = \mathbf{p}_t + \ell \mathbf{R}(\boldsymbol{\theta}_t) \mathbf{e}_x, \qquad \mathbf{q}_t^{\text{normal}} = \mathbf{p}_t + \ell \mathbf{R}(\boldsymbol{\theta}_t) (-\mathbf{e}_z)\)$ 其中 \(\mathbf{R}(\boldsymbol{\theta}_t) \in SO(3)\) 为由姿态四元数或旋转向量转换的旋转矩阵。随后，借助相机外参和内参投影矩阵 \(\pi_t^{(v)}\) 将这 3 个 3D 锚点投影至视角 \(v\) 的像平面得到 2D 坐标。为了兼容标准 RGB 图像格式，模型将投影坐标栅格化为三通道高斯热图 \(\mathbf{A}_t^{(v)} \in \mathbb{R}^{H \times W \times 3}\)：R 通道承载位置点的高斯响应，G 通道承载法向点的高斯响应，B 通道则兼顾上方向点与夹爪状态。具体而言，B 通道在响应值高于 0.25 时保留高斯分布，而在低于 0.25 的低响应背景区域注入经缩放的二值夹爪开合值 \(0.25 \cdot g_t\)。该设计不仅保证了动作与视频在空间尺度和时间维度上的 1:1 对齐，而且将抽象数值控制转化成了类似于点追踪与手势可视化的视觉感知问题。
2. 隐空间序列拼接与多任务掩码流匹配：单模型兼容联合生成、条件生成与动作标注 为了使单个预训练视频扩散模型能够统一处理观测与动作，每个视角 \(v\) 的 RGB 观测片段 \(\mathbf{V}_{1:T}^{(v)}\) 与动作图像序列 \(\mathbf{A}_{1:T}^{(v)}\) 均通过 3D-VAE 编码为隐变量，并在时序维度上拼接为统一序列 \(\mathbf{X}_v = [\mathbf{V}_{1:T}^{(v)}, \mathbf{A}_{1:T}^{(v)}] \in \mathbb{R}^{(2T) \times h \times w \times c}\)。在模型训练过程中，本文引入了灵活的多任务掩码机制： - 动作与视频联合生成：掩码掉除首帧观测外的所有视频与动作 token，直接基于文本指令与相机先验生成未来视频和对应控制； - 动作条件下的视频预测：保留动作序列可见，掩码掉未来视频 token，模拟传统基于动作预测环境动态的世界模型； - 视频至动作标注（逆动力学）：保留观测视频可见，掩码掉动作图像 token，训练模型充当密集的动作重构标注器； - 纯视频前向生成：针对缺乏精准动作标签或相机标定的网络级视频，仅对视频 token 计算流匹配损失。 这种统一的训练目标极大增强了模型在动作流和视频流之间的互见解耦与协同推理，消除了对特化策略头的依赖。
3. 几何光线投射与跨视角一致性动作解码：从预测热图无损解算高精度连续轨迹 在生成完整的动作图像视频后，必须将其无损恢复为机器人控制层可执行的物理动作。由于单一视角下存在固有的深度模糊，直接回归 3D 坐标极易产生空间漂移。本文设计了一种免训练的多视角几何解算算法：首先从主视角高斯热图 \(\mathbf{H}_t^{(1)}\) 中通过空间加权质心提取精准的 2D 锚点 \(\hat{\mathbf{u}}_t^{(1)}\)；随后自该主视角相机光心引出一条穿过 \(\hat{\mathbf{u}}_t^{(1)}\) 的视线光线，在近平面与远平面之间沿光线密集采样 \(K\) 个三维候选点 \(\{\mathbf{x}_{t,k}\}_{k=1}^K\)；将这些候选点投影至侧面相机视角 \(v=2\)，并选取在侧视角热图 \(\mathbf{H}_t^{(2)}\) 响应峰值最大的候选作为最优重构点： $\(\hat{\mathbf{x}}_t = \arg\max_{\mathbf{x}_{t,k}} \mathbf{H}_t^{(2)}\left(\pi_t^{(2)}(\mathbf{x}_{t,k})\right)\)$ 对三个语义点依次执行该操作得到 \(\hat{\mathbf{q}}_t^{\text{pos}}, \hat{\mathbf{q}}_t^{\text{up}}, \hat{\mathbf{q}}_t^{\text{normal}}\)，随后计算正交基向量重构出末端朝向矩阵与姿态角 \(\hat{\boldsymbol{\theta}}_t\)；同时在 B 通道低响应区域平均池化解码出连续夹爪值 \(\hat{g}_t\)。该过程纯粹基于几何多视角立体重建原理，信息损失仅受限于光线离散采样步长与图像分辨率，从结构上保证了动作预测的物理自洽。
损失函数 / 训练策略¶
模型基于 Wan 2.2（Wan2.1-I2V-14B-480P / 5B）架构微调，采用流匹配（Flow Matching）目标。定义真实隐变量数据速度为 \(\mathbf{v} = \boldsymbol{\epsilon} - \mathbf{X}\)，在多样化二值掩码矩阵 \(\mathbf{M}\) 的加权下优化加权均方误差： $\(\mathcal{L} = \mathbb{E}_{\mathbf{X}, \boldsymbol{\epsilon}, t} \left[ \left\| \mathbf{M} \odot \left( \mathbf{v} - \mathbf{v}_\theta(\mathbf{X}_t, \mathcal{T}, \mathbf{cam}) \right) \right\|_2^2 \right]\)$ 其中 \(\mathcal{T}\) 为语言文本条件嵌入，\(\mathbf{cam}\) 采用 Plücker 相机光线嵌入经轻量级卷积网络后注入 3D 注意力层。训练混合数据集涵盖 RLBench（50%）、DROID（30%）以及 BridgeV2（20%），在 32 块 A100 GPU 上采用 DeepSpeed ZeRO、bfloat16 及序列并行加速，学习率为 \(5 \times 10^{-7}\)，共训练 100,000 步。
实验关键数据¶
主实验¶
评估设置涵盖 RLBench 仿真基准与基于真实 xArm 机械臂的单次开环（one-trial open-loop）零样本迁移评测。真实环境中物体、桌面场景和机械臂均未在训练集中出现。
| 模型 | RLBench pick cup | RLBench reach target | RLBench close drawer | RLBench close laptop | Real Place Cup | Real Pick Toy | Real Pick Tissue | Real Close Drawer | Real Close Box |
|---|---|---|---|---|---|---|---|---|---|
| MV-Policy | 0% | 0% | 0% | 0% | 0% | 0% | 0% | 0% | 0% |
| \(\pi_{0.5}\) | 0% | 5% | 35% | 20% | 5% | 0% | 0% | 0% | 0% |
| MolmoAct | 20% | 5% | 10% | 0% | 10% | 5% | 5% | 5% | 0% |
| TesserAct | 0% | 0% | 0% | 0% | 0% | 0% | 0% | 0% | 0% |
| Cosmos-Policy | 0% | 5% | 20% | 0% | 0% | 0% | 0% | 0% | 0% |
| Ours | 30% | 60% | 50% | 15% | 40% | 20% | 15% | 45% | 10% |
消融实验¶
表 3 评估了域内 RLBench 任务上的动作解码方式（几何解码 vs. 挂载显式动作头），表 4 评估了联合生成模式下的视频保真度与 2D/3D 动作轨迹误差。
| 模型配置 | RLBench 域内平均成功率 (%) | 视频 PSNR ↑ | 视频 SSIM (%) ↑ | 视频 FVD ↓ | 2D 轨迹误差 ↓ | 3D 轨迹误差 (\(\times 10^3\)) ↓ |
|---|---|---|---|---|---|---|
| Cosmos-Policy | 20.0 | 18.29 | 53.41 | 192.58 | 2.11 | 19.4 |
| TesserAct | 20.6 | 20.83 | 59.20 | 154.38 | 1.84 | 19.0 |
| TesserAct-RGB | - | 20.31 | 60.19 | 147.83 | 1.55 | 14.2 |
| Ours (纯几何解码) | 20.6 | 23.48 | 78.62 | 143.74 | 1.61 | 12.2 |
| Ours (附加动作头微调) | 36.7 | - | - | - | - | - |
此外，在动作条件视频生成任务中，本文方法取得 PSNR 31.35 dB、FVD 115.02，显著优于 Tora（PSNR 19.76 dB、FVD 187.41）；在逆向动作标注任务中，轨迹误差低至 5.785，平均 Jaccard 达到 46.71%，大幅领先通用点追踪模型 CoTracker3（轨迹误差 12.91、平均 Jaccard 31.20%）。
关键发现¶
- 像素级动作表示显著拉齐了策略与视频模型的表征范式：在完全未见环境、未见物体和未见机械臂的真机零样本测试中，传统 1D 动作扩散或 VLA 模型几乎彻底失效（0%~10%），而 Action Images 依然能达到 15%~45% 的成功率。
- 3D 几何解码消除了深度歧义：多视角光线投射使得 3D 轨迹误差由现有世界模型的 19.0+ 降至 12.2，同时无需针对动作进行专有的 token 化离散量化损失。
- 生成质量与动作控制相辅相成：动作像素化不仅未降低画面合成质量，反而为模型提供了明确的空间结构引导，使视频合成 PSNR 提高至 23.48 dB（对比基线提升超过 2.6 dB）。
亮点与洞察¶
- 将控制动作重构为多视角视觉生成模态：巧妙避开了策略模型与视频生成底座之间的接口不匹配问题，让视频基座模型的预训练几何知识无缝释放到控制任务中。
- 无需专有策略头的零样本泛化能力：展示了强大的跨机械臂、跨视角零样本迁移潜力，甚至能够泛化至未标注动作的纯视频数据集（如 BridgeV2）和人体视频交互序列。
- 纯几何闭环的动作解码器设计：利用主视角 2D 热图中心点引出光线并在辅助视角下进行一致性得分匹配，以解析式计算完全规避了连续姿态参数在神经网络回归中的空间发散风险。
局限与展望¶
- 单次开环执行机制的容错限制：当前实验主要采用一次前向推理的单次开环评测，无法根据环境突发的外部扰动进行动态在线重规划；未来需引入少步数扩散蒸馏以支持高频闭环执行。
- 多视角标定与同步依赖：几何光线投射解码依赖较为可靠的多视角相机内外参矩阵；在真实世界无标定或动态手持相机场景中，需额外引入鲁棒的在线位姿估计模块。
- 长时序复杂复合任务的累计误差：41 帧的时间窗口限制了单次动作生成的操作跨度，面对数十步的多阶段任务仍需与分层任务规划（High-level Planner）结合。
相关工作与启发¶
- vs Cosmos-Policy / TesserAct：Cosmos-Policy 等使用视频潜在特征外接策略模块或输出非像素化动作向量，无法充分利用底层密集卷积与注意力空间先验；Action Images 将动作栅格化为像素图像，实现了底座即策略的端到端原生统一。
- vs \(\pi_{0.5}\) / OpenVLA：传统 VLA 采用自回归离散 token 预测动作，严重依赖海量具身动作对齐数据；本文借助预训练视频生成大模型的物理动态先验，显著增强了强分布偏移下的零样本泛化能力。
- vs CoTracker3 / TAPIR：通用点追踪算法缺乏对机械臂刚体运动学和 3D 位姿的先验约束；本文通过双视角几何匹配将跟踪提升至 7-DoF 刚体坐标解算，大幅提升了动作标注精度。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出将 7-DoF 机械臂动作全量编码为多视角像素热图图像，彻底消除了策略头与视频生成模型的模态鸿沟。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖了真实机械臂零样本测试、RLBench 仿真、视频-动作联合生成、动作条件生成及动作标注等全套任务。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学符号体系完备，方法与几何解码推导极其清晰直观。
- 价值: ⭐⭐⭐⭐⭐ 为具身世界模型指明了一条不依赖外挂动作头的新范式，对机器人领域基础模型的构建极具启发性。