Reinforcing VLAs in Task-Agnostic World Models¶
会议: NeurIPS 2026
arXiv: 2605.12334
OpenReview: https://openreview.net/forum?id=HhIHL25t1u
领域: 多模态VLM
关键词: 具身智能, 视觉-语言-动作模型, 世界模型, 强化学习, 零样本奖励
一句话总结¶
提出了 RAW-Dream 范式，将世界模型与奖励机制从具体下游任务中彻底解耦，利用无任务偏置的泛化物理先验世界模型生成自回归想象轨迹，并由通用 VLM 提供零样本成功奖励与双噪声验证机制，在无需下游交互数据的前提下高效后训练 VLA 策略。
研究背景与动机¶
基于模仿学习的视觉-语言-动作（VLA）模型在机器人操作中取得了显著进展，但其泛化能力受限于离线演示数据的覆盖范围，面对未知物体、复杂场景布局或新指令时极易失效。通过强化学习（RL）进行试错探索是提升策略适应能力的天然途径，然而在物理机器人上进行长时间在线交互成本极高且伴随硬件损耗风险。近期兴起的世界模型强化学习（WM-based RL）将以动作为条件的视频扩散世界模型视作虚拟仿真器，让 VLA 策略完全在生成的视频“梦境”中进行策略更新，显著减少了物理交互需求。
然而，现有世界模型强化学习方法存在一个致命瓶颈：世界模型和奖励函数严重依赖下游目标任务数据进行微调。构建世界模型通常需要预先收集数千条目标任务的探索轨迹，同时训练特定任务的成功判别器或依赖专家参考轨迹。这种强绑定彻底违背了构建“通用物理模拟器”的初衷——一旦引入新任务，整个世界模型和奖励判别器就必须推倒重来，使其退化为代价昂贵的单次数据增强工具，从结构上剥夺了模型零样本或极少样本快速适应新任务的能力。
该困境的切入契机在于机器人工作空间的物理动力学本质上是独立于任务语义的：无论下游指令是将碗推开还是放入碗柜，碗与机械臂碰撞滑动的动力学响应规律完全一致。因此，世界模型与奖励机制应当彻底与特定下游任务语义解耦。本文的核心 idea 是通过构建无任务偏置的通用世界模型捕捉可迁移物理先验，配合开箱即用的通用多模态大模型（VLM）判定任务成败，并在组相对策略优化（GRPO）中引入双噪声验证机制剔除扩散幻觉，实现完全脱离下游交互数据的 VLA 纯想象强化学习后训练。
方法详解¶
整体框架¶
RAW-Dream 包含两个核心支柱：一是基于大规模非结构化交互数据（如机器人自由 play data 或带噪声的探索轨迹）预训练的动作条件视频世界模型，用于提供通用的物理演化仿真；二是基于冻结的基础 VLM（Qwen3-VL）构建的零样本奖励判别器，用于根据任务文本指令与生成的 rollout 视频直接给出二值成功标签。在面对未知下游任务时，VLA 策略仅需通过极少量的专家演示（如 1-shot 或 3-shot）完成语义对齐微调（SFT），随后完全在冻结的世界模型中通过 GRPO 进行试错强化学习。
为了解决长程自回归生成中由下游域陌生性引起的物理幻觉和虚假成功奖励欺骗（reward hacking），RAW-Dream 设计了双噪声验证（Dual-Noise Verification, DNV）过滤机制，要求判别为成功的轨迹在不同扩散噪声重放中保持语义一致性。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["初始观测图像 + 任务语言指令"] --> B["极少样本语义对齐<br/>VLA策略输出动作块"]
B --> C["物理先验世界模型生成<br/>首帧锚定与自回归隐空间展开"]
C --> D["零样本 VLM 结果判别<br/>根据视频与指令输出成败标签"]
D -->|初判成功轨迹| E["双噪声一致性验证<br/>重采样扩散噪声二次生成重放"]
E -->|通过一致性校验| F["过滤后可信集合上的 GRPO 更新"]
E -.->|奖励不一致/幻觉| G["优势置零 / 剔除批次"]关键设计¶
1. 无任务偏置物理先验与首帧渐进噪声退火：解决跨域动态失真与首帧鬼影 为消除下游目标任务的数据依赖，世界模型基于广覆盖的自由探索数据（play data）进行预训练，迫使模型学习接触几何、刚体运动等通用物理动力学。世界模型以 Wan 2.1-T2V-1.3B Diffusion Transformer 为主干，在 3D VAE 隐空间中运行，通过自适应层归一化（AdaLN）将投影后的动作块注入各 DiT 模块，并施加严格的因果时序注意力掩码。在长程自回归推演时，由于缺乏下游环境熟悉度，直接固定首帧条件极易导致“首帧鬼影”（First-Frame Ghosting）现象——模型过度依赖可靠的首帧，将初始物体布局强行贴附在后续自回归视频块中。为此，在推理阶段引入渐进锚定噪声机制：随着自回归步数 \(s\) 的增加，向首帧锚定状态逐步注入线性增强的扩散噪声，动态衰减首帧影响，促使模型依据近期上下文维持长程物理连贯性。
2. 零样本 VLM 语义奖励：摆脱任务特定分类器与参考轨迹 在目标任务无预先交互数据的约束下，训练监督分类器会因专家样本极度稀疏而严重过拟合。RAW-Dream 采用完全冻结的通用多模态大模型（Qwen3-VL），直接接收任务指令文本及世界模型生成的视频片段。提示词摒弃了繁琐冗长的思维链限制，采用极简的客观判定模版，仅输出成败的 JSON 结果。通过对多次请求进行多数表决（5 次采样中 \(\ge 4\) 次判定成功即为正奖励），利用基础 VLM 广泛的常识推理能力提供稳定泛化的零样本二值反馈 \(R_i \in \{0, 1\}\)。
3. 双噪声验证机制（Dual-Noise Verification, DNV）：防御扩散幻觉与虚假奖励欺骗 在泛化世界模型中推演未见任务时，累积的扩散采样不确定性容易产生虚假视频，欺骗 VLM 产生假阳性奖励。针对该问题，RAW-Dream 在 GRPO 循环中引入双噪声验证。对于初次被 VLM 判定为成功的想象轨迹 \(\tau_i\)，冻结其由策略生成的动作序列 \(\{a_{i,t}\}\)，在世界模型中独立重采样每步的初始高斯扩散噪声重新生成视频。若 Qwen3-VL 在重放视频上将其判定为失败，说明原成功依赖于特定随机噪声下的物理幻觉或视觉伪影，属于不可信轨迹。DNV 并不是在低层像素层面比较视频差异，而是通过高层语义一致性进行二值校验。在实现层面，被标记为不可信的轨迹其奖励被替换为组内其余可靠轨迹的均值，使其在组优势计算中优势归零 \(\hat{A}_i = 0\)；若同一组中超过两条轨迹出现幻觉，则直接丢弃整个采样组以维持训练稳定。
损失函数 / 训练策略¶
世界模型采用统一整流流匹配（Rectified Flow Matching）目标，预测连续速度场 \(v^* = \epsilon - z^0\)： $$ \mathcal{L}{\text{WM}} = \mathbb{E}) - v^* \rVert^2 \right] $$ 其中 } \left[ \lVert v_\theta(z^\tau, \tau, a, z_{ctx\(z^\tau = \tau \epsilon + (1 - \tau) z^0\)。VLA 策略采用 OpenVLA-OFT 架构并保留动作分类分布输出，使用 GRPO 算法在过滤出的可靠轨迹子集 \(\mathcal{R}\)（大小为 \(G_\mathcal{R}\)）上最大化裁剪目标函数： $$ \mathcal{J}(\theta) = \mathbb{E}{s_0 \sim \mathcal{D}, {\tau_i} \sim \pi}}}} \left[ \frac{1}{G_\mathcal{R}} \sum_{i \in \mathcal{R}} \frac{1}{T_i} \sum_{t=1}^{T_i} \min \left( r_{i,t}(\theta) \hat{Ai, \operatorname{clip}(r_i \right) \right] $$ 其中策略重要性权重比为 }(\theta), 1-\epsilon_{\text{low}}, 1+\epsilon_{\text{high}}) \hat{A\(r_{i,t}(\theta) = \frac{\pi_\theta(a_{i,t} \mid s_{i,t})}{\pi_{\theta_{\text{old}}}(a_{i,t} \mid s_{i,t})}\)，归一化优势计算为 \(\hat{A}_i = \frac{R_i - \operatorname{mean}(\{R_j\}_{j \in \mathcal{R}})}{\operatorname{std}(\{R_j\}_{j \in \mathcal{R}})}\)。
实验关键数据¶
主实验¶
在 LIBERO 仿真基准（包含 Spatial、Object、Goal、Long 四个测试集）上，世界模型仅在 LIBERO-90 上进行预训练，四个测试集在世界模型构建过程中完全未见。策略先通过 1-shot SFT 进行语义初始化，再进行想象 RL。
| 类别 | 方法 | 目标域轨迹预算 | Spatial | Object | Goal | Long | 平均成功率 (%) |
|---|---|---|---|---|---|---|---|
| 无 RL | LIBERO-90 零样本 | 0 | 3.4 | 0.0 | 4.2 | 7.0 | 3.7 |
| 无 RL | 1-shot SFT | 10 | 54.6 | 46.4 | 52.2 | 20.2 | 43.4 |
| 真实仿真器在线 RL | Online RL (Short) | 522 | 58.4 | 60.2 | 55.2 | 17.6 | 47.9 |
| 真实仿真器在线 RL | Online RL (Long) | 2570 | 68.8 | 78.8 | 65.2 | 22.4 | 58.8 |
| 世界模型纯想象 RL | Zero-Shot WM (RAW-Dream) | 10 | 65.8 | 47.2 | 60.2 | 35.8 | 52.3 (+8.9) |
| 世界模型纯想象 RL | Co-Train WM (RAW-Dream) | 10 | 73.2 | 60.2 | 58.4 | 36.6 | 57.1 (+13.7) |
| 世界模型纯想象 RL | ID-FT WM (RAW-Dream 上界) | 510 | 82.0 | 79.8 | 63.4 | 38.6 | 66.0 (+22.6) |
| 世界模型纯想象 RL | WoVR WM (从零训练5B模型) | 2510 | 81.6 | 71.6 | 66.4 | 24.0 | 60.9 (+17.5) |
在真实世界 AgileX Piper 7-DoF 机械臂上，世界模型在 Open X-Embodiment 及 4 小时无标注遥控自由玩耍（play data）上预训练，并在 4 个全新布局的接触丰富型任务上进行 3-shot SFT 后的纯想象强化学习评测（每任务 30 次试验）：
| 真实机器人评测方法 | 目标域轨迹预算 | Stack block | Place pot | Put spoon | Place cup | 平均成功率 (%) |
|---|---|---|---|---|---|---|
| 3-shot SFT 基线 | 12 条演示 | 40.0 (12/30) | 73.3 (22/30) | 36.7 (11/30) | 50.0 (15/30) | 50.0 |
| RAW-Dream (RL from 3-shot SFT) | 12 条演示 | 50.0 (15/30) | 90.0 (27/30) | 66.7 (20/30) | 80.0 (24/30) | 71.7 (+21.7) |
消融实验¶
在不同世界模型条件下对奖励模型与双噪声验证（DNV）进行系统消融分析（1-shot RM 为在 10 条 SFT 演示上微调的 VideoMAE 分类器；Robometer 为在 RBM-1M 上微调的专家级预训练机器人奖励模型）：
| 世界模型条件 | 奖励与验证机制配置 | Spatial | Object | Goal | Long | 平均成功率 (%) |
|---|---|---|---|---|---|---|
| Zero-Shot WM | Qwen3-VL, w/ DNV (完整方法) | 65.8 | 47.2 | 60.2 | 35.8 | 52.3 |
| Zero-Shot WM | Qwen3-VL, w/o DNV | 64.0 | 46.0 | 56.8 | 30.8 | 49.4 |
| Zero-Shot WM | 1-shot RM, w/o DNV | 50.6 | 23.2 | 37.2 | 15.6 | 31.7 |
| Zero-Shot WM | Robometer (Oracle), w/o DNV | 68.4 | 50.0 | 61.8 | 22.0 | 50.6 |
| Co-Train WM | Qwen3-VL, w/ DNV (完整方法) | 73.2 | 60.2 | 58.4 | 36.6 | 57.1 |
| Co-Train WM | Qwen3-VL, w/o DNV | 72.4 | 56.4 | 58.2 | 30.8 | 54.5 |
| Co-Train WM | 1-shot RM, w/o DNV | 49.4 | 45.8 | 44.0 | 20.8 | 40.0 |
| Co-Train WM | Robometer (Oracle), w/o DNV | 73.0 | 64.8 | 53.2 | 21.8 | 53.2 |
关键发现¶
- 零样本通用 VLM 显著超越少样本微调判别器：在稀疏数据（10 条演示）下微调的 1-shot RM 会严重过拟合于专家演示的视觉外观，在面对世界模型生成的不完美动态时误判率极高，导致 RL 性能比 SFT 基线还倒退 11.7%；而 Qwen3-VL 凭借广泛的视觉常识展现出卓越的零样本泛化能力，甚至略优于在海量机器人数据上微调的 Robometer。
- DNV 在长程任务上贡献最大：在自回归推演步数最长的 LIBERO-Long 任务上，去噪过程的不确定性累积最显著，启用 DNV 后在 Zero-Shot WM 和 Co-Train WM 下分别获得了 +5.0% 和 +5.8% 的绝对提升，有效遏制了策略对虚假成败信号的利用。
- 物理先验显著提升数据效率：在 ID-FT 设定下，仅向预训练世界模型注入 500 条目标域轨迹，其 RL 效果（66.0%）大幅超越了消耗 2500 条目标域真实轨迹从头训练的 WoVR（60.9%），证明了可迁移物理先验对样本利用率的质变级支撑。
亮点与洞察¶
- 物理动力学与任务语义解耦的范式革新：传统世界模型强化学习将仿真器与下游任务深度绑定，RAW-Dream 证明基于非结构化 play data 建立的物理先验足以支持全新任务的虚拟试错，将仿真器变为“一次构建、通用复用”的基础设施。
- 语义级双噪声验证化解扩散模型幻觉：通过检验相同动作在不同初始噪声下的二值语义判别一致性，跳过了低层视觉像素指标的失真陷阱，巧妙地在无环境奖励监督下构建起内生置信度保护。
- 极少演示下的冷启动与闭环自演进：仅需 3 条专家轨迹对齐动作语义，后续优化全在隐空间梦境中闭环发生，为物理机器人策略的低成本持续进化提供了极具扩展性的路径。
局限与展望¶
- 严重分布外物体视觉冲击带来的保真度衰退：当测试场景引入全新视觉外观的物体时（如 LIBERO-Object，FVD 骤升至 233），零样本世界模型的预测质量显著下滑，导致纯想象 RL 的提升受限（仅 +0.8%），仍需极少样本的联合微调（Co-Train）进行视觉域补齐。
- VLM 复杂目标理解缺陷制约策略上限：在语义目标多变的任务（如 LIBERO-Goal）中，离线评估显示 Qwen3-VL 的 F1 值偏低（35.0%），奖励信号本身的噪声直接压低了强化学习能够达到的性能天花板。
- 未来改进可探索在世界模型隐空间引入几何/深度自监督表征，并研究面向机器人操作的轻量化 VLM 奖励对齐校准技术。
相关工作与启发¶
- vs WoVR / WMPO: 现有世界模型强化学习方法为每个下游任务独立训练专用视频扩散模型和判别器，需要海量目标域数据（如 2500 条轨迹）；RAW-Dream 完全冻结基于 play data 训练的世界模型与通用 VLM，在零目标域探索下达成更优的适应能力。
- vs Robometer / 专用奖励模型: 专用机器人判别器训练依赖昂贵的密集标注与配对演示，在少样本下极易过拟合；RAW-Dream 验证了开箱即用的基础通用 VLM 配合极简提示词即具备足够的任务成功判别鲁棒性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出世界模型与奖励机制双双无下游任务偏置的纯想象 VLA 强化学习范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖仿真四套完整评测集、跨保真度对比、系统消融以及物理双臂真实机器人评估。
- 写作质量: ⭐⭐⭐⭐⭐ 叙述逻辑严密，图文对照自洽，问题切中领域长期痛点。
- 价值: ⭐⭐⭐⭐⭐ 为具身智能基础模型脱离昂贵真实交互进行自演进提供了极高数据效率的技术路线。