Persistent Robot World Models: Stabilizing Multi-Step Rollouts via Reinforcement Learning¶

会议: ECCV2026
论文: ECCV 原文
领域: 机器人/具身智能
关键词: 世界模型、自回归滚动、暴露偏差、多视角奖励、对比去噪

一句话总结¶

PersistWorld 从模型自己生成且逐渐失真的历史中分叉多条未来视频，用多视角视觉奖励驱动对比去噪后训练，在 DROID 的 14 步滚动评测中将复现 Ctrl-World 的外部视角 LPIPS 从 0.081 降至 0.070，并获得约 80% 的盲测偏好。

研究背景与动机¶

动作条件世界模型接收机器人动作序列，预测这些动作会让场景怎样变化。Ctrl-World 等方法已能从真实历史生成可信的短视频，但作为模拟器使用时，必须把刚生成的视频重新作为下一轮输入。一个碗的轮廓稍有变形，便会成为下一轮模型认定的场景事实；反复滚动后，物体可能失去身份，机械臂也会偏离给定轨迹。这不是单帧清晰度问题，而是错误不断写回上下文的问题。

常规 teacher forcing 始终给模型干净的真实历史，再监督它预测真实未来。增加这种训练并没有直接教会模型如何面对自己的错误，因此训练与部署的上下文分布仍然不同。让模型在自生成历史上回归真实未来，可以缩小输入分布差距，却没有直接利用“同一失真状态下，哪些生成选择更好”的信息。另一方面，对完整扩散采样链做强化学习会遇到似然计算或反向传播成本问题，不能简单照搬语言模型的 token 级策略优化。

本文把历史缓冲区视为可固定的共享条件：先滚动到某个深度，再让多个独立候选从完全相同的状态出发，比较谁更接近真实视频。这样既能接触部署时的错误分布，也能得到有意义的组内优劣信号。核心 idea：用随机深度的自生成历史构造可比较的未来分支，再把多视角视觉奖励转成正负对比去噪更新，使世界模型学会在已有误差下继续保持场景结构。

方法详解¶

整体框架¶

PersistWorld 后训练的是 Ctrl-World 世界模型，而不是机器人动作策略。基础模型采用 Stable Video Diffusion（SVD）骨干，每次读取最近 6 帧的潜变量、对应末端执行器姿态，以及未来 5 步的 7 维末端姿态目标，同时生成两个外部相机和一个腕部相机的 5 帧未来。预测结果重新编码并写回历史，形成下一次生成的条件。

训练按“共享历史分叉 → 多视角组内奖励 → 正负对比去噪”运行。真实视频只用于初始化与奖励比较；分叉之后，每个候选自己的预测负责推进自己的历史。部署时则只需沿给定动作生成下一段并更新历史，不需要访问真实未来，也不需要执行候选打分流程。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["初始观测与动作"] --> B["共享历史分叉"]
    B --> C["多视角组内奖励"]
    G["真实未来帧<br/>仅训练时使用"] -.-> C
    C --> D["正负对比去噪"]
    D -.->|更新参数| E["部署：预测下一段<br/>并写回历史"]
    A --> E
    E -->|继续给定动作| E

关键设计¶

1. 共享历史分叉：让候选比较发生在同一个错误状态上

训练从一个真实观测开始，将其编码后的潜变量复制到历史缓冲区。模型先自回归生成若干段前缀，每段都把自己的输出写回缓冲区；前缀长度从 0 到 9 段均匀抽样。随后冻结这个共享状态，独立采样 16 条候选延续。每条候选包含若干个连续生成块，使用自己的缓冲区副本，因此候选内部仍会发生误差累积，候选之间却不会互相污染历史。随机前缀长度是明确给出的设置；候选延续长度在方法中记作 F，主文没有给出唯一默认值，不宜把两者混为一谈。

这里重要的不只是“多采几个视频”。如果候选起点不同，分数差可能来自历史本身更容易，而非模型做出了更好的预测。共享缓冲区消除了这种条件差异；随机分叉深度则避免只学会处理轻微误差。前缀为 0 时几乎是干净上下文，前缀较长时已包含明显漂移，训练因而覆盖从早期到晚期的不同错误状态。真实动作序列仍作为条件，模型被要求改善对这些动作后果的预测，而不是通过选择更容易的动作获取奖励。

2. 多视角组内奖励：比较局部结构、感知外观和整体漂移

每个候选片段都与同一时刻的真实未来比较。先在片段的 5 帧上对指标求时间平均，再对三个相机等权平均，避免把长轨迹压成一个难以归因的终局奖励。LPIPS 衡量深层特征中的感知差异，越低越好；SSIM 衡量局部亮度、对比度和结构相似性；PSNR 反映像素误差对应的信噪比，后两者越高越好。奖励把负 LPIPS、正 SSIM 和按 1/32 缩放的 PSNR 相加，使三项处于较接近的尺度。这是全帧视觉奖励，物体与机械臂掩码只用于后续评测，并不是额外训练监督。

早期片段通常比晚期片段更接近真实视频，因此不能直接拿绝对奖励决定更新力度。作者在同一组 16 个候选内减去均值、除以标准差与稳定项之和，得到相对优势，再截断到 [-1, 1] 并线性映射到 [0, 1]。映射后接近 1 的候选更偏向正分支，接近 0 的更偏向负分支；组内平均附近约为 0.5，而不是一律作为失败样本。这样模型学习的是“从当前状态出发，哪条未来更好”，不会因为已经滚动得很远、所有候选绝对分数都低，就失去区分方向。

3. 正负对比去噪：把偏好写入前向加噪后的训练目标

DiffusionNFT 的对比更新原本面向速度预测式 flow matching，而 Ctrl-World 的 EDM 参数化直接预测干净样本。本文利用网络输出到干净数据预测之间的仿射关系，将正负分支构造迁移到这一参数化。一个冻结的指数移动平均（EMA）模型充当参考，当前模型与参考预测之差给出更新方向：正分支沿这个方向移动，负分支沿相反方向移动，组内奖励控制分别拟合两条分支的权重。作者称相关策略改进保证可按该变换迁移；这不等于对真实机器人物理稳定性给出了保证。

训练目标不是直接对采样过程求导，也不是把真实未来潜变量当作每个候选的回归目标。模型先生成干净候选，再对候选前向加噪；当前模型和冻结参考对同一加噪输入做预测，损失根据奖励决定强化还是排斥这个生成样本。下面仅用笔记自定符号概括这一机制，不将缓存中排版损坏的公式复原为作者原式：以 d 表示当前预测相对参考的变化，c 表示混合系数，y 表示生成的干净候选。

\[ d = \hat{y}_{\theta}-\hat{y}_{\mathrm{ref}},\qquad \hat{y}_{+}=\hat{y}_{\mathrm{ref}}+c d,\qquad \hat{y}_{-}=\hat{y}_{\mathrm{ref}}-c d. \]

\[ \mathcal{L}=\mathbb{E}\left[r\lVert\hat{y}_{+}-y\rVert_2^2+(1-r)\lVert\hat{y}_{-}-y\rVert_2^2\right]. \]

高奖励样本使正分支更接近该候选，低奖励样本则主要要求反方向的分支接近该候选，从而把当前模型推离低质量生成。参考预测与候选在更新时作为固定量；不必保存整个逆向去噪链的梯度，也不要求奖励可微。这使多种采样器和视觉指标可以复用，但训练仍需实际生成候选，节省的是反向传播开销，不是取消滚动采样成本。

一个完整示例¶

以机器人移动碗的三相机序列为说明，设本次抽到 4 段前缀，并用只延续 1 段的候选示意。初始图像填满 6 帧历史后，模型先生成 4 组、每组 5 帧的前缀，共推进 20 帧。即使碗边缘此时已有轻微变形，也不替换成真实观测；16 个候选都从这个相同缓冲区出发，按接下来的动作生成第 21 至 25 帧。

若某条候选保留了碗的形状与机械臂位置，另一条把碗变成模糊纹理，多指标奖励就会比较它们相对真实未来的差异。组内归一化后，前者更偏正分支更新，后者更偏负分支更新；更新的是世界模型的可训练参数。这个例子解释数据流，不是论文报告的具体单次实验，也不将 1 段延续视为论文默认超参数。

损失函数 / 训练策略¶

作者只训练 UNet 中 rank=64、alpha=64 的 LoRA 适配器和动作编码器，其余 UNet 参数与 VAE 冻结。训练使用 Muon，学习率 1e-4，批量大小 64，运行 6,000 步；每组生成 16 个候选，但更新时选取奖励最高的 5 个和最低的 5 个，共 10 个样本。只选两端是在有限更新预算内强化可区分的质量差异，不代表中间 6 个候选没有参与生成。

报告资源为 8 张 NVIDIA H200、训练 2 天，主要成本是自回归滚动生成。需要区分三层计算：前缀负责构造训练状态，候选负责产生奖励差异，加噪后的去噪预测负责参数更新。前两层的生成不通过完整采样链反向传播，最终梯度只进入第三层的可训练参数。主文未完整列出候选长度、混合系数等全部复现细节；本缓存也未包含文中引用的附录 A 至 E，因此不补造其消融数值或证明步骤。

实验关键数据¶

主实验¶

下表摘自原文表 1，使用 DROID、Franka Emika Panda 机器人和 Ctrl-World 的留出验证划分，按预录制动作滚动 14 段、每段 5 帧，对整个预测序列取平均。外部视角与腕部视角分开统计；SSIM、PSNR 越高越好，LPIPS 越低越好，PSNR 单位为 dB。“引用”行沿用 Ctrl-World 论文结果，“复现”行是本文实验，不能混用来计算提升。

视角	模型与来源	SSIM	PSNR	LPIPS
外部	WPE，引用	0.77	20.33	0.131
外部	IRASim，引用	0.77	21.36	0.117
外部	Ctrl-World，引用	0.83	23.56	0.091
外部	Ctrl-World，复现	0.84	23.02	0.081
外部	PersistWorld	0.86	24.42	0.070
腕部	Ctrl-World，复现	0.62	17.80	0.310
腕部	PersistWorld	0.67	19.39	0.277

相对复现基线，外部与腕部 PSNR 分别提高 1.40 dB 和 1.59 dB。作者报告外部 LPIPS 降低 14.0%、腕部 SSIM 提高 9.1%，但表中舍入值算得约 13.6% 和 8.1%；两种口径不能伪装成完全一致。原文同时写 70 帧、5 Hz 和约 11 秒，按前两项计算约为 14 秒，此处保留矛盾，不自行修改源数据。

消融实验¶

为区分“见过失真历史”与“使用对比奖励”的作用，作者构造 Self-Forcing 风格基线：同样输入自身滚动历史，但监督回归真实潜变量。它不是依赖大型双向教师的完整 Self-Forcing 复现。以下来自第 4 节，评测长度为 10 次交互，与上表 14 步设置不同，数值不能直接跨表比较。

视角	后训练方式	SSIM	PSNR	LPIPS
外部	自生成历史 + 真实潜变量回归	0.868	25.35	0.119
外部	PersistWorld 对比奖励	0.872	25.52	0.116
腕部	自生成历史 + 真实潜变量回归	0.710	20.17	0.338
腕部	PersistWorld 对比奖励	0.721	20.40	0.338

差异方向支持对比目标的作用，但腕部 LPIPS 持平，其他收益也较小；这项对照不能证明所有提升都来自强化学习目标。更细的奖励组合与超参数消融被指向附录，未包含在所给缓存中。

关键发现¶

原文表 2 的 14 步掩码评测显示，外部视角物体区域 LPIPS 为 0.025 → 0.021，腕部物体 SSIM 为 0.73 → 0.76；机械臂区域 PSNR 分别为外部 17.62 → 19.25、腕部 25.50 → 27.24。改善不只发生在静态背景，但掩码图像质量仍不是直接的物理误差测量。
盲测提供真实视频作参照，在 PersistWorld 与基线之间比较现实感和时间一致性，结果为 174 次胜出、43 次落败，约 80%。约 98% 的验证样本配对胜率属于另一个自动指标分析，不是 98% 的机器人任务成功率。
跨本体实验先在 Bridge 与 RT-1 上微调 SVD 100k 步，再做本文后训练；LPIPS 分别为 0.1061 → 0.0957、0.1683 → 0.1305，因此这是适配后迁移，不是零样本泛化。
小规模真机策略改进实验以每个世界模型的 50 条滚动微调 pi0，在 4 个位置拾取任务、每块 5 次试验下，平均任务进度为基础 0.350、Ctrl-World 0.558、PersistWorld 0.667。这是任务进度分数，不应改称二元成功率。

亮点与洞察¶

将共享历史作为“提示条件”，使组相对优化可以进入持续变化的视频生成环境。可复用的关键是固定比较起点，而不是简单增加候选数量。
后训练把误差分布本身纳入训练数据。随机前缀让模型不仅优化干净开局，也学习在已经偏离真实轨迹的状态下继续预测。
视觉奖励不需要额外人类标注，正负对比更新也不要求奖励可微。这种便利依赖有时间对齐的真实轨迹，不能理解成可在任意未知动作下无监督打分。

局限与展望¶

作者明确指出，16 候选生成提高了后训练开销；视觉奖励也没有显式强制物理或几何约束。未来可加入接触、几何一致性或任务相关信号，但本文未证明这些扩展的效果。
本笔记的判断：预录制轨迹上的视觉拟合，尚不足以保证模型能正确模拟任意新策略造成的分布外接触。腕部和前景指标更有针对性，却仍无法排除外观合理而动力学错误的情况。
本笔记的判断：真机策略改进规模有限，人类比较的 217 次选择也不等于 217 个独立任务或受试者。需要更多任务、重复训练和明确的不确定性统计来判断稳定性。
原文时间换算、舍入百分比与缺失附录限制了精确复核。本文展示的是较慢的误差累积，而非无限时域不退化或全局物理一致性。

评分¶

新颖性: 4/5。共享历史分组和参数化适配具体且有针对性，但继承了已有对比扩散后训练范式。
实验充分度: 4/5。覆盖全帧、前景、人类偏好、跨本体与小规模真机验证，完整消融和不确定性仍需附录支持。
写作质量: 4/5。问题与训练协议清楚，时长及舍入数值口径存在需澄清之处。
价值: 4/5。为机器人视频模拟器的部署分布后训练提供可复用方案，物理可靠性与计算效率仍是门槛。