SwiftWA: An Efficient Action-Centered World-Action Model¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://gigaai-research.github.io/GigaWorld-Policy/
领域: 视频生成
关键词: 世界-动作模型, 视频生成, 具身智能, 流匹配, 因果注意力

一句话总结¶

针对传统世界-动作模型在机器人推理时联合生成未来视频导致延迟过高与误差累积的瓶颈，提出以动作为中心的世界-动作模型架构，通过块因果注意力将未来视频作为训练期辅助动力学监督，使推理期可直接跳过视频生成、纯动作解码，实现 9 倍推理加速与更高的实机成功率。

研究背景与动机¶

基于视觉-语言-动作（VLA）模型和视频生成世界模型（World Models）的机器人具身控制近年来发展迅猛。然而，单纯依赖模仿学习的传统 VLA 模型面临严重的“监督稀疏性”难题：高维丰富的视觉和语言上下文往往仅对应低维且缺乏多样性的动作标签，导致策略极易走视觉捷径并退化为少数动作模式原型。为了打破这一困局，近期涌现的 World–Action Models（WAM，如 Motus、Cosmos-Policy）尝试引入预训练视频生成骨干，利用动作条件化的未来视频生成为策略提供时空密集监督与真实世界物理先验。

然而，现存的 WAM 方案陷入了两难困境。一方面，双向注意力或联合预测架构强制要求机器人在实时控制闭环中通过迭代扩散采样完整生成高分辨率未来视频帧，带来了极高的计算延迟（单步推理动辄数秒），根本无法满足高频动态控制的要求；另一方面，显式依赖预测视频进行动作逆动力学解码会直接继承视觉伪影和长程发散误差，使得控制性能反而受制于视觉幻觉。

面对动作监督稀疏与在线视频推演延迟过大这一核心矛盾，直接剥离视频生成往往又会丢失宝贵的物理演进先验。本文的切入角度是重新解构视频与动作在注意力流向中的依赖拓扑：未来视觉演化应作为动作表征的结构化正则项与辅助推理信号，而非在线执行的前置依赖。本文的核心 idea 是构建以动作为中心的因果世界-动作模型，训练阶段利用因果注意力掩码让动作块预测先于未来视频，以未来视觉动力学作为密集正则信号；推理阶段则完全关闭或可选运行未来视频生成，仅单向解码动作块，实现无损且极低延迟的闭环控制。

方法详解¶

整体框架¶

SwiftWA（论文中核心架构命名为 GigaWorld-Policy）基于 5B 参数规模的扩散 Transformer（Wan 2.2 5B DiT）骨干搭建，将多视角观察、机器人本体感知状态、动作块序列以及未来观察帧统一映射为序列化 Token。系统在训练期间构建联合流匹配（Flow Matching）目标：给定当前状态与观察，先预测未来动作块，并在该动作块条件约束下预测稀疏未来视觉演化；在推理部署时，模型则仅激活轻量动作解码分支，绕过耗时的未来视频扩散采样。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角图像 + 本体状态 + 文本指令"] --> B["多视角拼接与统一Token化<br/>3视角水平拼接经VAE/线性层投影"]
    B --> C["块因果注意力序列建模<br/>强制动作独立于未来视频帧"]
    C --> D["动作流匹配预测<br/>基于当前观测直接去噪生成动作块"]
    D -->|训练期辅助正则| E["稀疏动作条件化未来动力学预测<br/>以步长Δ预测未来视觉潜码速度场"]
    D -->|推理期低延迟执行| F["动作块输出与闭环控制<br/>无需视频推演即刻执行"]

关键设计¶

1. 多视角拼接与统一Token化：跨视角一致性保障与特征融合 针对多相机机械臂控制中视角分散、注意力难以跨视角对齐的问题，模型将左、前、右三个机载视角水平拼接为单张复合图像 $o_t^{\text{comp}} = \text{Compose}(o_t^{\text{left}}, o_t^{\text{front}}, o_t^{\text{right}})$，输入预训练 VAE 编码器提取当前潜码视觉 Token $T_o$；未来稀疏观测帧 $\{o_{t+k\Delta}^{\text{comp}}\}_{k=1}^K$ 同样利用该 VAE 提取为未来视觉 Token $T_f$。机器人本体感知状态 $s_t$ 与动作块 $a_t$ 分别经轻量线性投影层映射为状态 Token $T_s$ 与动作 Token $T_a$，文本指令 $l$ 则由预训练语言模型编码后通过交叉注意力机制注入。所有模态 Token 统一进入单一共享堆叠的 Transformer 块，在每层共享 Q、K、V 投影矩阵，并分别针对视觉网格应用 2D 空间位置编码、对状态与动作应用 1D 时序位置编码，既保留了视频基座大模型的计算图，又实现了跨模态深层物理耦合。

2. 块因果自注意力机制：杜绝未来信息穿越并解耦在线推理 传统 WAM 采用双向注意力导致动作生成强依赖未来帧的同步采样，本方法在统一模态序列 $T_t = [T_o; T_s; T_a; T_f]$ 上引入结构化的块因果注意力掩码（Blockwise Causal Mask）。注意力流向被严格单向约束为： - 观察 Token $T_o$ 与状态 Token $T_s$ 允许双向自注意力交互，但禁止前瞻动作 $T_a$ 或未来视频 $T_f$； - 动作 Token $T_a$ 仅被允许单向关注当前环境上下文 $\{T_s, T_o\}$，严禁关注未来视频 Token $T_f$； - 未来视频 Token $T_f$ 则被允许全面关注 $\{T_s, T_o, T_a\}$，显式建立基于执行动作的未来前向动力学演进模型。这种非对称因果掩码在物理上构成了“当前状态与动作决定未来演化”的因果图，杜绝了未来视觉幻觉反向污染动作流，从而在数学上保证了在测试阶段可以直接剔除 $T_f$，使纯动作解码在无未来视频输入时依然处于自洽的无偏分布中。

3. 渐进式具身通用预训练体系：两阶段物理常识与本体先验注入 视频生成基座直接微调到机器人往往存在严重的本体与视角分布偏移。为此，论文构建了约 10,000 小时的多层次预训练管线：首先基于预训练的大规模通用网络视频模型 Wan 2.2 5B 初始化基础生成与物理时空先验；随后进入具身数据预训练阶段，混合大规模第一人称人类抓取操作视频（Ego4D 3,500小时、EgoDex 800小时等）与多源真实机械臂操作轨迹（Open X-Embodiment 3,500小时、Agibot 2,500小时、DROID 350小时、RoboMind 300小时等）。该阶段让模型充分适应机械臂末端执行器、手眼协调、遮挡与刚体碰撞的视觉时序演变规律，为下游策略提供了强健的具身动力学表征。

4. 稀疏动作条件化未来动力学辅助正则：降低冗余并增强学习效率 连续时序视频帧之间具有极高的空间冗余度与像素级噪声，密集逐帧预测不仅成倍增加训练开销，还会迫使模型将容量浪费在高频静态背景的重构上。为此，模型在动作块视野跨度 $p=48$ 步内，采用固定时间步长 $\Delta=12$ 仅对稀疏的 $K = \lfloor p/\Delta \rfloor = 4$ 帧未来观察进行动力学建模。这一设计既抓住了物体位移与状态转换的关键拐点，又极大减轻了反向传播的梯度压力。

损失函数 / 训练策略¶

系统采用流匹配（Flow Matching）框架统一多模态生成。对于连续变量 $x$（动作块 $a$ 或未来视频潜码 $z_f$），采样流时间 $s \sim \mathcal{U}(0, 1)$ 及高斯噪声 $\epsilon \sim \mathcal{N}(0, I)$，构造线性插值变量 $x^{(s)} = (1 - s)\epsilon + sx$，其目标速度场为 $\dot{x}^{(s)} = x - \epsilon$。

模型分别学习动作速度场与动作条件化的未来视频速度场： $$\mathcal{L}_{\text{video}} = \mathbb{E}_{s, \epsilon} \left\| v_\Theta(z_f^{(s)}, s \mid T_s, T_o, T_a, T_l) - \dot{z}_f^{(s)} \right\|^2$$ $$\mathcal{L}_{\text{action}} = \mathbb{E}_{s, \epsilon} \left\| v_\Theta(a^{(s)}, s \mid T_s, T_o, T_l) - \dot{a}^{(s)} \right\|^2$$

在预训练阶段仅优化视频流匹配目标 $\mathcal{L}_{\text{video}}$；在下游目标机器人后训练（Post-training）阶段，联合优化加权损失函数： $$\mathcal{L}_{\text{all}} = \lambda_{\text{action}} \mathcal{L}_{\text{action}} + \lambda_{\text{video}} \mathcal{L}_{\text{video}}$$ 实验中设置超参数权重 $\lambda_{\text{action}} = 5$ 与 $\lambda_{\text{video}} = 1$，突出动作精细控制的主导地位，同时维持未来动力学一致性正则约束。

推理时，策略仅将上下文 $w_t = (T_l, T_s, T_o)$ 传入网络，从标准高斯噪声采样初始动作变量，沿学到的速度场常微分方程（ODE）数值积分 1 步到 $s=1$，直接逆变换输出连续动作块 $\hat{a}_{t:t+p-1}$，无需实例化任何未来视频 Token；若需可视化调试，可随时复用 KV Cache 解码未来视频。

实验关键数据¶

主实验¶

在 NVIDIA A100 GPU 上评估单步推理时延，并在真实世界 AgileX PiPER 6-DoF 机械臂及 RoboTwin 2.0 仿真环境下评估多任务平均成功率（SR）。

方法	模型类型	推理时延 (ms)	仿真 SR (RoboTwin 2.0)	真实世界 SR (4项实机任务)
π0.5	Vision–Language–Action	225	0.43 (Clean) / 0.44 (Rand.)	0.69
GigaBrain-0	Vision–Language–Action	452	–	0.68
Cosmos-Policy	World–Action Model	1413	–	0.58
Motus	World–Action Model	3231	0.89 (Clean) / 0.87 (Rand.)	0.76
Ours (SwiftWA)	Action-Centered WAM	360	0.87 (Clean) / 0.85 (Rand.)	0.83

在实机 4 项细分任务评测（每任务 20 次试验）中，各模型表现如下：

方法	桌面整理 (Clean Desk)	扫二维码 (Scan QR Code)	清理垃圾 (Sweep Trash)	叠碗 (Stack Bowls)	平均成功率 (Average)
π0.5	0.75	0.55	0.65	0.80	0.69
GigaBrain-0	0.70	0.65	0.60	0.75	0.68
Motus	0.80	0.75	0.70	0.80	0.76
Cosmos-Policy	0.65	0.50	0.45	0.70	0.58
Ours (SwiftWA)	0.90	0.75	0.75	0.90	0.83

消融实验¶

未来预测步长 $\Delta$ 与预测帧数 $K$ 对实机成功率的影响：

配置	采样步长 $\Delta$	预测帧数 $K$	实机任务成功率 (SR)	说明
No pred. (无未来动力学)	–	0	0.60	退化为纯当前观测动作解码，掉点 23%
$\Delta = 48$ (极稀疏)	48	1	0.76	监督信号偏弱
$\Delta = 24$	24	2	0.80	适度动力学正则
$\Delta = 12$ (完整模型)	12	4	0.83	最优平衡点：动力学表征充分且无冗余
$\Delta = 8$	8	6	0.78	建模难度开始增加
$\Delta = 4$ (超密集)	4	12	0.76	过多帧引入冗余和多模态拟合难度

因果注意力掩码设计消融与视频生成质量评估：

配置	注意力掩码类型	实机成功率 (SR)	视频重建 PSNR ↑	视频重建 SSIM ↑	说明
全局自注意力 (Self-Attn)	双向全连通	0.81	27.87	0.892	动作与未来强耦合，推理必须同步生成视频
Ours (因果掩码)	块因果单向掩码	0.83	28.41	0.901	保证视频生成可选化，同时带来更高保真度动力学建模

预训练阶段组成对策略成功率的贡献：

配置	通用视频基座初始化	具身多源数据预训练	实机成功率 (SR)	说明
从头训练 (Scratch)	✗	✗	0.45	缺乏物理先验
仅通用视频初始化	✓	✗	0.57	缺少机器人本体与第一人称交互分布
仅具身数据预训练	✗	✓	0.73	拥有具身先验，但泛化生成能力偏弱
完整模型 (Ours)	✓	✓	0.83	二者结合获得最高性能与物理一致性

关键发现¶

推理延迟对闭环控制至关重要：尽管 Motus 在离线/仿真 benchmark 上成功率略高（0.89 vs 0.87），但在真实物理机械臂上其成功率比 SwiftWA 低 7%（0.76 vs 0.83）。这是因为 Motus 耗时 3231ms 联合采样视频，极高的控制延迟导致无法应对物理接触中的微小滑动与即时纠偏，而 SwiftWA 耗时仅 360ms（9 倍提速），高频闭环纠错能力显著增强。
未来视觉动力学监督有效缓解动作过拟合：对比 $K=0$（不进行未来视频预测）与 $K=4$（$\Delta=12$），实机成功率从 0.60 飙升至 0.83（绝对提升 23%）。这证明利用未来视频的流匹配损失能有效约束中间特征表征，迫使动作潜在特征包含对物理世界连续演化的理解，避免了退化到固定动作快捷方式。
数据效率实现数量级跃升：在样本效率实验中，SwiftWA 仅使用 10% 的真实机器人示教轨迹数据，就达到了先进 VLA 基线 π0.5 在 100% 全量数据训练下的任务成功率。

亮点与洞察¶

训练期作为正则，推理期作为旁路：巧妙地将未来视频生成作为 Transformer 训练期的非对称辅助动力学监督项，推理期直接切除，成功化解了世界模型“重在常识先验，困在在线采样开销”的长期结构性矛盾。
严谨的块因果拓扑消除表征泄漏：通过非对称因果 Mask 强制动作只依赖过去与当前，而未来帧依赖动作与环境，既符合物理世界的真实因果律，又在数学上保障了动作边缘分布与未来视频分支剥离时的无缝兼容性。
泛化性强的迁移范式：将 5B 规模现代开源视频 DiT（Wan 2.2）转化为具身策略模型的 curriculum 范式具有高度可复用性，不仅适用于单臂、双臂操作，还能平滑迁移至四足或人形机器人的高频控制。

局限与展望¶

作者承认的局限：模型依赖 5B 参数的基础扩散 Transformer，相较于纯轻量 MLP 动作头其单步 360ms 的延迟在极高频（如 50Hz 以上的力控接触场景）中仍显不足；目前验证的实机任务以准静态桌面操作为主。
自主发现的局限：复合图像的水平拼接（Compose）方式破坏了局部相机的自然宽高比与视锥连续性，在存在剧烈相机运动或广角畸变的场景下可能削弱 3D 几何一致性推理能力。
具体改进思路：探索结合一致性蒸馏（Consistency Distillation）或一步流匹配解码，将动作去噪采样步数压缩到 1-2 步；在骨干中引入显式 3D 空间位置与几何编码替代单纯的 2D 像素拼接。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出动作中心化、推理期可选视频生成的统一因果 DiT 世界-动作模型，架构构思精巧。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 50 个任务的仿真基准、4 项真实机械臂任务、OOD 泛化评估、样本效率曲线及详尽的模块消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文拓扑清晰，问题陈述与实验论证高度闭环自洽。
价值: ⭐⭐⭐⭐⭐ 为大参数视频生成模型赋能实时低延迟机器人控制提供了极具实用价值的落地范式。