Masked Visual Actions for Unified World Modeling¶

会议: NeurIPS 2026
arXiv: 2607.19343
OpenReview: https://openreview.net/forum?id=VHMcZoypoo
代码: https://masked-visual-actions.github.io
领域: 机器人
关键词: 掩码视觉动作, 世界模型, 机器人具身操纵, 逆向动力学, 视频生成控制接口

一句话总结¶

本文提出将动作表示为像素空间中实体局部可见时空轨迹的掩码视觉动作（Masked Visual Actions），仅用 15 小时真实与仿真数据微调视频生成模型，即以统一模型零样本兼容前向环境动态推演与逆向动作提取。

研究背景与动机¶

视频生成大模型在海量真实世界互联网观察数据中吸收了关于物理运动、几何连续性、物体接触响应及形变持久性的丰富物理先验，是构建通用机器人世界模型的理想基石。然而，绝大多数视频基座模型本质上仍是“被动观察者”而非“具身交互者”。现有将控制信号注入视频生成模型的方式，主要依赖文本描述、轨迹流、物理力、末端关键点或低维电机控制量。这些控制接口在物理表征上往往过于稀疏，或高度依赖于特定机器人本体的关节自由度与运动学配置，不仅割裂了视频生成模型在预训练时建立的稠密像素时空关联，也阻碍了跨机体形态的泛化能力。

这种割裂的核心矛盾在于：低维电机动作空间（如 7-DoF 或 12-DoF 关节与末端位姿）与预训练视频模型的稠密视觉表征空间存在固有的模态失配，而将控制显式绑定到特定机体又使得传统前向动力学模型与逆向动作恢复模型被割裂为完全独立的系统架构。机器人学传统的正向推演（给定动作预测环境交互结果）与逆向推断（给定物体期望运动反求智能体动作）在现有方案中往往需要分别设计不同的网络分支或专用头，无法让预训练视频模型中蕴含的交互双向先验自然流通。

本文的切入角度是：直接在预训练视频模型原生的高维像素空间中重构动作表征，将交互过程中不同实体（智能体本体或操作物体）的时空轨迹视为整体联合分布的子集条件。核心 idea：将动作统一建模为像素空间中实体的局部可见时空轨迹（Masked Visual Actions），揭开机器人轨迹即充当前向动力学世界模型预测场景动态，揭开物体期望运动则零样本转化为逆向动力学模型合成对应的机器人操纵轨迹。

方法详解¶

整体框架¶

该方法的核心思想是将物理交互场景视为主体（智能体/机器人）与客体（环境中的物体）在时空连续体上的联合分布建模。给定参考初始帧与动作掩码视频，通过统一的条件生成架构推断未见区域的动态响应。整体流程包括掩码动作构建（分割抽取与 URDF 运动学渲染）、时空通道拼接输入、视频骨干网络条件去噪生成，以及下游闭环控制或评测应用。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["初始参考帧与任务动作指令"] --> B["双模态掩码视觉动作构建<br/>SAM分割实体掩码 / URDF渲染动作轨迹"]
    B --> C["时空对齐多通道潜在拼接<br/>视频VAE编码 + 灰度背景补全"]
    C --> D["Wan-Fun-Control 14B扩散主干<br/>LoRA微调注入实体交互动力学先验"]
    D -->|前向推演：揭示机器人轨迹| E["场景与物体被动物理交互响应视频<br/>用于策略评估 / Best-of-N 规划"]
    D -->|逆向推断：揭示目标物体运动| F["合成机器人操纵动作视频<br/>Transformer 逆动力学模型提取执行动作"]

关键设计¶

1. 双模态掩码视觉动作构建：兼顾通用时空补全与任意测试轨迹注入

针对传统控制信号难以兼顾跨本体通用性与精确可控性的痛点，本文联合设计了“基于视频分割（Segmentation-based）”与“基于运动学渲染（Rendering-based）”两套互补的掩码生成管线。分割管线采用通用视觉分割模型（SAM 3），直接在无相机标定、未知机型结构的 DROID 真实视频中提取机器人手臂的前景时空掩码 \(M \odot V\)。该机制迫使扩散模型学会从掩码前景与上下文建立联合分布补全能力。然而，在测试阶段用户无法预知未发生交互的真实视频分割掩码，且真实分割易因遮挡发生信息泄漏。因此，渲染管线引入基于相机外参和机器人 URDF 模型的显式几何渲染：结合高精度手眼标定与运动学前向解算，将机器人末端与连杆几何网格半透明投影到图像平面，并将末端夹爪渲染为高对比度的鲜艳红色。这使得用户在推理阶段能够以任意给定的机器人规划轨迹直接驱动视频模型。

2. 像素对齐的时空通道拼接微调：极低数据成本激活预训练交互先验

以往条件控制常采用 Cross-Attention 或额外的 ControlNet 辅助分支，但低维向量映射到高维潜在空间往往破坏了预训练视频骨干对几何位置与物理接触的敏感度。由于掩码视觉动作与目标视频在时空网格上天然完全对齐，本文直接利用 Wan-Fun-Control 2.2 14B 自带的 3D 视频变分自编码器（VAE）将掩码动作帧编码至隐空间，并将缺失预测区域以固定灰色填充，随后在通道维度（Channel Dimension）与加噪隐变量直接拼接输入。为最大程度保留预训练模型在海量视频中学到的通用物理先验并防止灾难性遗忘，模型无需全参数更新，仅在注意力层引入 rank=256 的 LoRA 适配器。整个系统在仅 15 小时的混合交互数据（含 1,000 条 DROID 真实演示与 4,000 条 RoboCasa 仿真轨迹，且显式保留了失败与脱手案例以学习反事实动态）上训练 10,000 步，即完成了从被动生成器到物理世界交互模拟器的转换。

3. 前向与逆向物理建模的零样本双向统一：同一先验下的条件角色互换

传统机器人学习框架通常必须为前向仿真与逆向控制分别设计不同拓扑的网络模型。在本文建立的时空实体联合概率视角下，场景由多个实体集合 \(\{e_1, e_2, \ldots, e_n\}\) 构成，视频模型捕获其联合概率分布：

\[p(V) = p(e_1, e_2, \dots, e_n)\]

根据条件概率分解，选择不同的实体子集 \(\mathcal{S}\) 进行条件揭示，即可实现完全不同的控制模式。当前向推演设定条件集合为主动机体（Active Entities）\(\mathcal{S} = \mathcal{A}\) 时，模型求解被动客体（Passive Entities）\(\mathcal{P}\) 的物理演化条件概率：

\[p\bigl(\{e_i\}_{i \in \mathcal{P}} \mid \{e_j\}_{j \in \mathcal{A}}, I_0\bigr)\]

而当逆向控制设定条件集合为被动客体 \(\mathcal{S} = \mathcal{P}\)（即用户指定或画出物体的期望移动路径）时，模型直接求解主动机体应采取的动作视频：

\[p\bigl(\{e_i\}_{i \in \mathcal{A}} \mid \{e_j\}_{j \in \mathcal{P}}, I_0\bigr)\]

令人惊讶的是，即使训练期间模型仅见过掩码为主动机器人机体的训练样本，在推理时直接揭示被动物体轨迹，模型依然能够凭借预训练视频中对称的接触因果先验，零样本泛化为逆向模型，生成精确对齐物体轨迹的机器人抓取与运送运动。

一个完整示例¶

在 RoboCasa 仿真环境的 CoffeeServeMug 任务中，逆向动作规划流程如下：用户在初始场景图像 \(I_0\) 中圈定咖啡机托盘上的马克杯，并指定其向右侧桌面平移滑动的掩码轨迹 \(\mathcal{S}_{mug}\)（被动客体掩码输入）。模型接收到杯子的位移轨迹后，条件推断出机器人双指夹爪向前探出、合拢咬合杯柄、协同运送至目标点并松开夹爪的连贯交互视频 \(V_{pred}\)。随后，下游轻量级 Transformer 逆动力学模型（IDM）逐帧读取 \(V_{pred}\) 并解算出机器人的 12-DoF 关节执行控制信号（含末端位移、旋转及夹爪开合状态），成功将该复杂交互任务转化为机器人物理执行轨迹。

损失函数 / 训练策略¶

微调阶段采用基于流匹配/扩散去噪的标准均方误差损失（MSE Loss）。给定初始参考帧 \(I_0\)、空间掩码 \(M \in \{0, 1\}^{T \times H \times W}\) 与真实视频 \(V\) 的对齐掩码先验 \(M \odot V\)：

\[\mathcal{L}_{\text{diff}}(\theta) = \mathbb{E}_{V, M, \epsilon, t} \left[ \left\| \epsilon - \epsilon_\theta(V_t; t, M \odot V, I_0) \right\|^2 \right]\]

优化器选用 AdamW，在 8 张 NVIDIA H200 GPU 上采用批大小 4 进行分布式并行训练，共计迭代 10,000 步（约 4 天），学习率保持平稳微调以维持预训练视频动态的生成质量。

实验关键数据¶

主实验¶

主实验在 DROID 域内测试集以及具有完全未见双臂双足形态的 BEHAVIOR-1K 基准上，评估了模型在条件动作视频重建与视觉逼真度上的表现。对比基线包括通用无动作条件图生视频 Wan2.2-I2V、基于关键点轨迹导引的 Wan-Move，以及直接条件化机器人低维绝对动作的 SOTA 方法 Ctrl-World。

数据集	指标	本文 (Ours)	Ctrl-World	Wan-Move	Wan2.2-I2V
DROID (见过的机体形态)	PSNR ↑ SSIM ↑ LPIPS ↓	23.74 ± 0.24 0.887 ± 0.004 0.095 ± 0.004	18.15 ± 0.16 0.708 ± 0.008 0.362 ± 0.006	12.96 ± 0.37 0.558 ± 0.017 0.534 ± 0.023	12.42 ± 0.34 0.548 ± 0.017 0.521 ± 0.023
BEHAVIOR-1K (未见的双臂机体)	PSNR ↑ SSIM ↑ LPIPS ↓	22.90 ± 0.52 0.842 ± 0.007 0.123 ± 0.007	18.39 ± 0.54 0.836 ± 0.008 0.196 ± 0.011	13.17 ± 0.30 0.528 ± 0.015 0.454 ± 0.016	10.22 ± 0.38 0.457 ± 0.023 0.602 ± 0.024

在下游机器人任务应用中，模型表现出卓越的控制闭环与决策性能： 1. 策略评估（Policy Evaluation）：在 RoboCasa 多任务下对比前向推演评估与物理仿真环境真值，策略成功率展现出高达 \(r = 0.982\) 的极强线性相关性；在 4 项真实世界任务（装橙子、叠积木、放毛巾、关抽屉）各 20 组演示中，视频推演与物理执行过程展现出极度贴合的逐阶段进度分布。 2. 基于模型的规划（Model-Based Planning）：在扩散策略候选动作中利用视频世界模型前向推演并结合 Gemini 3.1 Pro 作为视觉物理评委挑选最佳序列（Best-of-N），任务成功率随测试时计算量扩展（\(N=1\) 至 \(N=10\)）呈现显著的单调单向提升。 3. 逆向建模与动作提取（Action Extraction）：在 RoboCasa 的 CoffeeServeMug 精细操作中，本文无需任何该任务视频微调，零样本逆向推演配合 IDM 取得了 90% 的任务成功率，大幅超越基线 Diffusion Policy（65%）、ACT（55%）以及 SmolVLA（50%）。

消融实验¶

论文系统消融了动作条件信号的视觉呈现形式，对比了稠密掩码视觉动作与末端位姿可视化（EEF Visualization）、机器人连杆骨架可视化（Skeleton Visualization）在分布外与跨本体场景下的鲁棒性。

条件信号表征形式	DROID 域内测试 (PSNR ↑ / LPIPS ↓)	真实物理场景未见末端夹爪 (PSNR ↑ / LPIPS ↓)	BEHAVIOR-1K 双臂未见机体 (PSNR ↑ / LPIPS ↓)
末端位姿可视化 (EEF Vis.)	22.64 / 0.107	20.32 / 0.183	19.23 / 0.171
连杆骨架可视化 (Skeleton Vis.)	22.74 / 0.106	21.02 / 0.169	19.58 / 0.162
掩码视觉动作 (Masked Visual Actions, 本文)	23.74 / 0.095	22.79 / 0.148	22.90 / 0.123

关键发现¶

稠密掩码是跨本体泛化的根本保障：在训练分布内（DROID），骨架和末端点位等稀疏引导信号与掩码动作表现相差不大；但一旦推广到未见末端工具（真实 3D 打印夹爪）或全新双臂机器人（R1-Pro），稀疏引导会诱导模型产生“幻觉”——错误地生成训练集中的老机械臂或发生严重的几何扭曲；而掩码动作仅需输入新机体的 URDF 空间投影，即可平滑泛化。
世界模型的正向进度偏差（Positive Progress Bias）：实验发现，在推演长期失败轨迹或边界接触时，视频模型由于受到自然视频物理平滑先验的影响，有轻微倾向于“帮机器人完成动作”的假成功偏差，因此必须在 VLM 审计阶段强化对“幽灵接触（Ghost contact）”与“惯性滑行（Post-disengagement coasting）”的严格惩罚。

亮点与洞察¶

动作即掩码实体（Action as Masked Visual Entity）：彻底摆脱了低维控制信号的本体绑定束缚，将复杂的连续控制与运动学约束转化为预训练生成模型最擅长解决的时空图像补全问题。
正逆建模的一体两面性（Duality of World Modeling via Conditioning）：无需额外训练逆向动力学头，仅通过简单切换时空掩码的揭示对象（揭示机体推演环境 vs 揭示物体反求动作），便激活了视频模型内部对称的物理接触因果双向先验。
高质量物理评测链条（Physics-Grounded VLM Judge）：针对视频生成中常见的“凭空穿模”、“意念移物”等虚假成功幻觉，设计了首创严格因果惩罚（强制先判断物理因果机制、再给出二值成功与真实感评分）的自动化 VLM 质检协议，为世界模型辅助测试时规划（Test-time Scaling）树立了实用标准。

局限与展望¶

物理因果理解与统计相关性偏见：模型学到的依然是像素级别实体交互的时空统计相关性而非严格的牛顿物理因果约束，在极端力反馈或高精接触场景下仍偶发违背物理定律的形变与滑动。
推理延迟与实时控制限制：基于 14B 稠密视频扩散主干的生成需要数秒至数十秒，目前仅能作为开环规划器、轨迹重排序验证器或离线策略评估器，尚无法直接作为高频（如 50Hz）闭环底层控制器。
未来方向：探索高压缩率因果时空潜在架构以实现自回归实时流式物理推演，并将触觉、力觉等多模态接触先验统一编码进掩码视觉动作体系。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙重构了动作在视频模型中的表征形式，将正逆动力学世界模型以掩码实体的条件推断完全统一。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 DROID 真实世界、RoboCasa 仿真及 BEHAVIOR 跨机体泛化，并在规划、评估和逆向控制三大机器人场景完整闭环。
写作质量: ⭐⭐⭐⭐⭐ 论述清晰严密，从概率图模型视角形式化了条件揭示机制，实验协议与评价基准极其规范。
价值: ⭐⭐⭐⭐⭐ 为通用机器人具身世界模型指明了基于原生视觉动作的全新演进方向，极具启发性与落地应用价值。