Hallucination in World Models is Predictable and Preventable¶
会议: NeurIPS 2026
arXiv: 2606.27326
OpenReview: https://openreview.net/forum?id=4KT2peVuUl
论文: https://nicklashansen.com/mmbench2
领域: 幻觉检测
关键词: 世界模型、幻觉检测、数据覆盖、好奇心驱动探索、视觉强化学习
一句话总结¶
本文揭示生成式世界模型的幻觉本质上是状态-动作空间的数据覆盖缺失问题,将其解耦为感知幻觉、动作边缘化与场景发散三种模式,提出了三种免标注且经场景动态性归一化的运行时幻觉预测器(与推演误差相关性达 \(\rho \approx 0.80\)),并通过任务级均匀采样与基于幻觉预测器的好奇心在线数据采集,仅用 50 条轨迹即可将 350M 参数的 Dreamer 4 世界模型高效适配至未见任务。
研究背景与动机¶
现代生成式世界模型(如 Dreamer 4、Genie 3、Oasis 等)能够在多样化的环境中生成视觉逼真且受动作控制的未来视频序列,但它们在自回归推演(rollout)过程中频繁出现“幻觉”:生成的画面在视觉上依然流畅自然,却在物理动力学或场景结构上悄然偏离真实环境(如未见迷宫被强行重建为训练集见过的布局、智能体完全忽略用户输入的控制动作、或是 Pong 游戏中已经出界的球凭空瞬移回场内)。在纯粹的视频生成中,这类失真或许只是视觉瑕疵;但在基于模型的强化学习(MBRL)与规划(如 MuZero、TD-MPC2)中,幻觉轨迹会被直接输入下游规划器与控制策略,悄无声息的推演幻觉会直接转化为错误的控制决策。
长期以来,社区普遍将世界模型的幻觉归咎于模型容量不足或架构缺陷,试图单纯依靠扩大模型参数量和堆砌算力来缓解。然而,现有研究既缺乏对自回归推演中“何时发生幻觉、在哪个模块发生幻觉”的机理剖析,也缺乏一个同时具备训练语料完全可控、行为高度多样化(涵盖专家、随机、噪声与人类交互)以及支持在线交互采样的评测基准。传统不确定性估计方法(如深度集成 Deep Ensembles 或辅助检测网络)不仅引入额外的训练开销,也无法区分错误究竟源于视觉编码器、动作条件化机制还是多步动力学累积。
本文跳出“盲目扩增模型规模”的思维定式,从数据中心的视角切入,指出世界模型在分词器(Tokenizer)、动作条件化与多步推演三个阶段的失败具有共同的底层诱因——训练数据在状态-动作空间中的覆盖盲区(coverage gaps)。既然幻觉集中爆发于低覆盖区域,它就既能通过模型内部的运行时信号被实时预测,也能通过针对性地修补数据分布来预防。核心 idea:将生成式世界模型的幻觉按流水线阶段解耦为感知幻觉、动作边缘化与场景发散三类,利用无需任何额外标注的三种场景动态性归一化内部信号(分词器往返残差、流匹配步间不稳定性、跨种子去噪方差)在运行时精准捕获幻觉,进而通过预训练阶段的任务级覆盖感知重采样与微调阶段以幻觉预测器为好奇心奖励的在线目标数据采集,形成“检测-重平衡-主动探索”的幻觉消除闭环。
方法详解¶
整体框架¶
本文围绕“构建可控基准 → 训练基础世界模型 → 阶段化诊断与检测幻觉 → 离线/在线双重缓解幻觉”构建完整框架。首先,作者构建了包含 210 个连续控制任务、427 小时多源行为视频的 MMBench2 数据集,并在其上训练了一个 350M 参数的类 Dreamer 4 两阶段动作条件世界模型(包含冻结的掩码自编码视觉分词器与基于 Shortcut 流匹配的块因果 Transformer 动力学模型)。在此基础上,系统对编码-推演-解码全流程进行解剖,提炼出三种免训练的动态性归一化幻觉预测指标,最后分别在预训练中期(Mid-training)实施跨任务均匀采样,并在下游未见任务上以预测器作为好奇心奖励指导交叉熵方法(CEM)规划采集高价值轨迹。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入:210 个连续控制任务<br/>224×224 RGB 视频流与 16 维动作"] --> B["多任务世界模型基准 MMBench2 与两阶段世界模型架构<br/>MAE 视觉分词器 + 块因果 Shortcut 流匹配动力学"]
B --> C["三阶段幻觉解耦表征<br/>感知幻觉 (H=0) / 动作边缘化 / 场景发散"]
C --> D["动态性归一化的无监督幻觉预测器<br/>往返残差 u_r^norm / 流不稳定性 u_f^norm / 跨种子方差 u_s^norm"]
D -->|离线重平衡 + 在线 CEM 规划探索| E["覆盖感知采样与幻觉引导的目标数据采集<br/>任务级均匀采样 + 最大化 u_r^norm 收集 50 条轨迹"]
E --> F["输出:低幻觉世界模型推演<br/>与闭环 CEM-MPC 下游控制"]
关键设计¶
1. 多任务世界模型基准 MMBench2 与两阶段世界模型架构:构建可控的分布覆盖实验床
现有视频与强化学习数据集要么仅有专家演示导致状态覆盖极其狭窄(如原始 MMBench),要么缺乏真实动作标签与可交互的在线仿真器(如大规模互联网视频语料),无法用于严格检验数据覆盖与幻觉的因果关系。为此,本文构建了 MMBench2,涵盖 DMControl、Meta-World、ManiSkill3、OGBench、Continuous Atari 等 10 个领域的 210 个连续控制任务(200 个用于预训练,10 个完全保留作为未见迁移任务),共收集 65,600 条轨迹(15 fps 下共 23M 帧 \(224 \times 224\) RGB 图像,合 427 小时)。为充分暴露状态-动作空间的不同区域,数据采集融合了 7 种行为策略:随机策略、全零动作(No-op)、单任务专家策略 \(\pi^\star\)、经五种反事实变换(缩放、丢弃、符号翻转、置零、重复)扰动的专家动作、叠加高斯/OU 结构化噪声的策略、好奇心驱动策略以及通过网页键盘界面收集的 1,400 条真实人类游玩轨迹。所有任务的连续动作向量统一零填充至 16 维并附带有效维度掩码。
在模型架构上,本文复现并改进了 350M 参数的 Dreamer 4 架构,分为两个顺序阶段:第一阶段是视觉分词器(Tokenizer,编码器与解码器各 50M 参数),将 \(224 \times 224\) 图像按步长 14 切分为 256 个 patch token,拼接 64 个可学习潜查询(latent queries),通过内部模态感知掩码(modality-aware mask)与 \(\tanh\) 激活瓶颈层输出每帧潜编码 \(z \in [-1, 1]^{64 \times 64}\);分词器在帧内空间包打包因子 \(k=2\) 下压缩为 \((32, 128)\) 的空间潜 token 送入第二阶段。第二阶段是 250M 参数的块因果 Transformer 动力学模型,每步时间序列的输入布局为 [ACTION x 1, SHORTCUT x 1, SPATIAL x 32, REGISTER x 4, AGENT x 4],其中智能体 token 由任务的冻结 CLIP-ViT/B 文本嵌入初始化,用于挂载多步奖励预测头与连续高斯行为克隆(BC)策略头(突破了原版 Dreamer 4 仅支持离散动作的限制)。
2. 三阶段幻觉解耦表征:定位编码重建、动作条件化与多步推演的失效边界
生成式世界模型通过串联“编码器提取潜变量 → 动力学模型预测下一帧潜变量 → 解码器渲染像素图像”三个阶段来想象未来,早期阶段的微小失真会被后续自回归步骤不断放大。如果不区分幻觉发生的具体源头,笼统的正则化或扩参往往事倍功半。本文将世界模型幻觉精准拆解为与三个阶段一一对应的失效模式:第一类是发生在视觉分词器阶段的感知幻觉(Perceptual Hallucination),即在尚未执行任何动力学推演(推演步长 \(H=0\))时,编码器-解码器对就已经将分布外(OOD)的场景结构强行投影到潜空间词表中最接近的训练集样本上(例如把新迷宫的墙壁重构为已见迷宫的形状);第二类是发生在单步条件转移阶段的动作边缘化幻觉(Action-Marginalized Hallucination),即动力学模型对输入的控制动作不敏感,退化为无条件视频生成器,论文通过在测试时随机打乱批次内的动作序列并计算单步教师强制(teacher-forced)流匹配 MSE 与正常动作流 MSE 的比值(Action-shuffle ratio)来量化,当该比值 \(\le 1.1\) 时即判定动作被忽略;第三类是发生在长程自回归阶段的场景发散幻觉(Scene-Diverging Hallucination),不仅包含常规累积误差,更特指在低覆盖区域预测出违背物理规律的突变事件,论文将其定义为多步推演相对于“简单重复最后一帧”基线的峰值信噪比增益 \(\Delta\text{PSNR} \le 0\text{ dB}\)。
3. 动态性归一化的无监督幻觉预测器:零标注实时捕获三大阶段不确定性
为了在推理运行时无需真实未来帧或人工标注即可实时预警上述三类幻觉,本文从模型自身的内部表征与采样动力学出发,设计了三个机理互补的预测指标。针对感知幻觉,提出分词器往返残差(Tokenizer round-trip residual) \(u_r\):将动力学模型预测的下一帧潜变量 \(\hat{z}\) 先解码为像素图像再重新编码回潜空间,计算其往返重构距离;若 \(\hat{z}\) 偏离了分词器熟悉的流形(如捏造了不存在的物体或扭曲结构),重编码后就会产生巨大偏差。针对动作边缘化与条件欠拟合,提出流不稳定性(Flow instability) \(u_f\):在 Shortcut 流匹配的 \(K=8\) 步欧拉积分去噪过程中,计算后半程连续子步之间预测干净目标 \(\hat{x}_1\) 的变化幅度;条件信号强的状态能迅速收敛到稳定的 \(\hat{x}_1\),而在低覆盖区动力学头会在子步间剧烈震荡。针对多步场景发散,提出跨种子方差(Inter-seed variance) \(u_s\):在固定历史上下文和当前动作下,使用 \(N\) 个独立随机噪声种子分别执行去噪采样,计算预测潜变量的跨种子方差以度量认知不确定性。
然而,直接使用原始指标 \(u \in \{u_r, u_f, u_s\}\) 会受到场景自身剧烈运动的严重干扰——高动态场景天然伴随着更大的潜变量跳变和重构残差。为剥离场景固有运动的影响,本文引入场景动态性(Scene motion)\(m\),即潜表征在相邻时间步之间的均方根(RMS)变化量(离线评估时取任务级均值,在线探索时取滑动估计),并对三项指标进行动态性归一化:
归一化后的 \(u_r^{\mathrm{norm}}\)、\(u_f^{\mathrm{norm}}\) 与 \(u_s^{\mathrm{norm}}\) 精准衡量了“相对于当前画面运动剧烈程度,模型额外产生了多少不确定性”,从而实现了跨不同物理速度与视觉风格任务的统一幻觉检测。
4. 覆盖感知采样与幻觉引导的目标数据采集:从训练重加权到在线主动探索闭环消除盲区
既然三类幻觉均源于状态-动作空间的覆盖缺口,本文从“存量数据重分配”与“增量数据主动采集”两个维度设计干预方案。在预训练数据分布上,MMBench2 中不同任务的轨迹长度差异极大(如 Atari 长达 1,000 步而 ManiSkill3 操作任务仅 25 步),导致前 20 个长程任务占据了全部 20M 训练帧的 26%,而后 20 个短程任务仅占 0.7%。默认的“按帧均匀采样”会使短程任务长期处于低覆盖状态。为此,本文提出覆盖感知训练(Coverage-aware training),在预训练后的中期训练(Mid-training)阶段将采样策略切换为“按任务均匀采样(Uniform-task sampling)”,在不增加任何新数据或算力成本的前提下,同时拉平分词器与动力学模型在长尾任务上的覆盖盲区(实验证明采样重平衡显著优于损失重加权)。
当面对完全未见的下游任务或现有数据集完全未覆盖的状态区域时,仅靠重采样无济于事。此时,本文将幻觉预测器 \(u_r^{\mathrm{norm}}\) 直接转化为在线主动探索的内在好奇心奖励(Curiosity reward),提出目标数据采集(Targeted data collection):在与真实环境闭环交互时(规划视野 \(H=32\),每 \(K=16\) 步重规划一次),利用当前世界模型和交叉熵方法(CEM,种群大小 32、迭代 3 轮、以 BC 先验热启动)在想象空间中推演多条候选动作序列,评估每条轨迹的预测幻觉强度 \(u_r^{\mathrm{norm}}\),并挑出最容易诱发模型幻觉的最高分轨迹在真实环境中执行。这样采集回来的 50 条轨迹天然精准填补了模型最薄弱的状态转移盲区,再用于微调分词器与动力学模型即可迅速消除未见环境中的幻觉。
损失函数 / 训练策略¶
训练全流程分为四个阶段:首先在 200 个预训练任务上无奖励预训练视觉分词器(300k 步,批大小 96)与动力学模型(180k 步,批大小 512,序列长度 \(T=24\));随后进行各 30k 步的覆盖感知中期训练;接着挂载奖励头与 BC 策略头训练 30k 步;最后在 10 个已见 + 10 个未见任务上用目标采集的数据对分词器(50k 步)和动力学模型(30k 步)进行微调。视觉分词器采用掩码自编码(MAE)目标,每帧以 \(\mathcal{U}(0, 0.9)\) 比例随机掩码图像块,仅在掩码位置计算像素 MSE 与权重为 0.2 的 LPIPS 感知损失。动力学模型采用 Shortcut 流匹配目标(离散噪声水平 \(k_{\max}=64\),步长 \(d = 1/2^{\text{step}}\)),批次中 \(75\%\) 的样本使用最细步长的经验单步速度回归损失,\(25\%\) 的样本(\(\rho_{\text{self}}=0.25\))采用自一致性引导(在 no_grad 下运行两个更粗的半步并以其平均速度作为当前步的停止梯度目标),同时对历史上下文施加 \(\tau_{\text{ctx}}=0.1\) 的噪声腐蚀以增强多步推演鲁棒性。奖励预测头通过注意力池化读取智能体 token,在 \([-10, 10]\) 的 \(\operatorname{symlog}\) 空间上对 255 个离散桶优化 \(L=8\) 步的多步 two-hot 交叉熵损失;BC 策略头优化 16 维填充动作的 MSE 损失。为消除不同损失项的量纲敏感性,所有损失分量在加权求和前均除以各自的滑动均方根(Running RMS)。优化器统一使用 AdamW(学习率 \(1 \times 10^{-4}\),权重衰减 \(1 \times 10^{-2}\))。
实验关键数据¶
主实验¶
主实验首先在 200 个预训练任务的保留测试集上验证三种动态性归一化幻觉预测器对“动作被忽略(Action ignored,动作打乱比 \(\le 1.1\))”与“场景发散(Scene divergent,推演 \(\Delta\text{PSNR} \le 0\text{ dB}\))”两类幻觉事件的检测能力(表 1,对应原文表 7);随后在 10 个完全未见的迁移任务上,对比不同目标数据采集策略(每种策略仅收集 50 条轨迹)微调后的世界模型推演质量与闭环 CEM-MPC 下游控制性能(表 2,对应原文表 2)。
表 1:200 个预训练任务测试集上的幻觉事件检测准确率(AUROC \(\uparrow\))
| 预测指标 / 基线方法 | 动作边缘化检测 (Action ignored) \(\uparrow\) | 场景发散检测 (Scene divergent) \(\uparrow\) | 是否需要额外训练或标注 |
|---|---|---|---|
| 帧数基线 \(n_{\text{frames}}\) | 0.596 | 0.534 | 否 |
| 原始流不稳定性 \(u_f\) (未归一化) | 0.752 | 0.854 | 否 |
| 全局潜空间 \(k\)NN 距离 | 0.814 | 0.731 | 需存储训练集特征库 |
| 潜空间场景动态性 \(m\) | 0.803 | 0.927 | 否 |
| 分词器往返残差 \(u_r^{\mathrm{norm}}\) (本文) | 0.887 | 0.919 | 否 |
| 流不稳定性 \(u_f^{\mathrm{norm}}\) (本文) | 0.868 | 0.939 | 否 |
| 跨种子去噪方差 \(u_s^{\mathrm{norm}}\) (本文) | 0.873 | 0.934 | 否 |
表 2:10 个未见任务(Unseen tasks)上不同目标数据采集策略(各 50 条轨迹)的微调效果对比
| 数据采集策略 / 模型变体 | 分词器微调 | 动力学微调 | 重建 PSNR (dB) \(\uparrow\) | 推演 \(\Delta\)PSNR (dB) \(\uparrow\) | 动作打乱比 \(\uparrow\) | 幻觉指标 \(u_r^{\mathrm{norm}} \downarrow\) | 下游控制得分 (MPC) \(\uparrow\) |
|---|---|---|---|---|---|---|---|
| 随机策略直接控制 (Random policy) | — | — | — | — | — | — | 0.118 |
| 基础预训练模型 (Base, 零样本) | 否 | 否 | 17.37 | -12.44 | 1.12 | 3.860 | — |
| 覆盖感知模型 (Coverage-aware, 零样本) | 否 | 否 | 17.21 | -12.52 | 1.29 | 3.769 | 0.276 |
| 全零动作采集 (No-op actions) | 是 | 是 | 34.74 | +0.66 | 1.55 | 1.486 | 0.163 |
| 随机动作采集 (Random policy) | 是 | 是 | 35.81 | +2.66 | 2.00 | 1.201 | 0.228 |
| 好奇心驱动采集 (\(u_r^{\mathrm{norm}}\), 本文) | 是 | 是 | 36.05 | +3.00 | 2.00 | 1.144 | 0.325 |
| 专家策略采集 (Expert policy, 特权上界) | 是 | 是 | 35.86 | +2.84 | 2.04 | 1.131 | 0.362 |
| 人类游玩采集 (Human play, 特权上界) | 是 | 是 | 37.11 | +3.89 | 2.42 | 1.002 | 0.362 |
| 全部数据混合 (All combined) | 是 | 是 | 37.91 | +4.02 | 2.34 | 0.975 | 0.390 |
消融实验¶
消融实验从两个核心维度展开:一是检验预训练中期阶段“覆盖感知重采样(按任务均匀采样)”分别作用于视觉分词器(Tok ft)、动力学模型(Dyn ft)以及两者同时微调(Both,各 30k 步)时相对基础模型的增益(表 3,对应原文表 1);二是对比本文训练的领域内分词器与 4 种在大规模互联网数据上预训练的开源现成分词器(Off-the-shelf tokenizers)在已见与未见任务上的重建性能差异(表 4,对应原文表 3)。
表 3:覆盖感知训练(Coverage-aware training)在不同模块上的消融结果(200 个任务平均值)
| 配置 | 重建 PSNR (dB) \(\uparrow\) | 动作打乱比 \(\uparrow\) | 推演 \(\Delta\)PSNR (dB) \(\uparrow\) | \(u_r^{\mathrm{norm}} \downarrow\) | \(u_f^{\mathrm{norm}} \downarrow\) | \(u_s^{\mathrm{norm}} \downarrow\) | 说明 |
|---|---|---|---|---|---|---|---|
| 仅分词器重采样 (Tok ft) | +0.46 | +0.02 | +0.42 | -0.07 | -0.03 | -0.06 | 显著改善编码重建,但无法解决动作忽略 |
| 仅动力学重采样 (Dyn ft) | -0.01 | +0.27 | +0.68 | -0.16 | -0.06 | -0.13 | 大幅提升动作敏感度与多步推演质量 |
| 双阶段同时重采样 (Both) | +0.44 | +0.29 | +0.88 | -0.20 | -0.07 | -0.14 | 完整方案,三项幻觉指标同步大幅下降 |
表 4:领域内训练分词器与开源现成分词器在已见(Seen)与未见(Unseen)任务上的对比
| 分词器模型 | 参数量 | 每帧潜维度 | 已见 PSNR \(\uparrow\) | 未见 PSNR \(\uparrow\) | 已见-未见差距 \(\Delta_{S-U}\) | 已见 LPIPS \(\downarrow\) | 未见 LPIPS \(\downarrow\) |
|---|---|---|---|---|---|---|---|
| SD-VAE-MSE | 84M | 3136 | 33.32 | 32.39 | +0.93 | 0.031 | 0.030 |
| Cosmos-CV8x8x8 (1.0) | 106M | 2048 | 32.80 | 32.72 | +0.08 | 0.050 | 0.042 |
| Wan 2.1 VAE | 127M | 4096 | 36.45 | 36.62 | -0.17 | 0.010 | 0.010 |
| DC-AE-f32c32 | 323M | 2048 | 31.49 | 32.15 | -0.66 | 0.035 | 0.031 |
| 本文分词器 (Base) | 102M | 4096 | 38.29 | 17.34 | +20.95 | 0.011 | 0.389 |
| 本文分词器 (Coverage-aware) | 102M | 4096 | 38.93 | 17.12 | +21.81 | 0.008 | 0.348 |
| 本文分词器 (Post-FT 微调后) | 102M | 4096 | 39.66 | 38.04 | +1.62 | 0.007 | 0.010 |
关键发现¶
- 三种机理独立的内部信号高度收敛且强相关:在 200 个任务的 9,000 条测试序列上,\(u_r^{\mathrm{norm}}\)、\(u_f^{\mathrm{norm}}\) 和 \(u_s^{\mathrm{norm}}\) 与实际开环推演质量 \(\Delta\text{PSNR}\) 的 Spearman 秩相关系数均达到 \(\rho \approx -0.80\);去掉场景动态性归一化 \(m\) 后(如原始 \(u_f\)),动作忽略检测 AUROC 从 0.868 暴跌至 0.752,证明剥离场景固有运动速度是跨任务幻觉检测成败的关键。
- 未见任务迁移必须同时微调视觉分词器:在表 2 中,若在未见任务上冻结分词器、仅用随机或 No-op 数据微调动力学模型,重建 PSNR 始终停留在 \(\sim 17.2\text{ dB}\),推演 \(\Delta\text{PSNR}\) 为 \(-11.29\text{ dB}\)(严重发散),原因在于感知幻觉在 \(H=0\) 时就已经把未见场景结构破坏了;一旦放开分词器微调,仅靠 50 条好奇心轨迹就能将未见任务重建 PSNR 从 17.34 dB 拉升至 38.04 dB(表 4),反超最强的通用视频分词器 Wan 2.1 VAE(36.62 dB)。
- 无特权先验的好奇心探索逼近人类与专家上界:在未见任务上,仅靠随机策略收集数据微调后 MPC 控制得分为 0.228(甚至低于零样本迁移的 0.276,因为随机策略在复杂状态空间中原地打转导致覆盖极窄);而最大化 \(u_r^{\mathrm{norm}}\) 的好奇心探索完全不依赖任务奖励或人类先验,仅用 50 条轨迹即可取得 0.325 的归一化控制得分,达到特权专家策略与人类游玩数据(均为 0.362)约 \(90\%\) 的水平,且在离线推演增益 \(\Delta\text{PSNR}\) 上(+3.00 dB)优于专家策略(+2.84 dB)。
- 奖励头联合反向传播对世界模型动力学保真度几乎无影响:原文表 11 的额外消融表明,将奖励预测头的梯度回传至动力学主干训练 30k 步后,重建 PSNR(35.68 vs. 35.67 dB)与推演 \(\Delta\text{PSNR}\)(3.14 vs. 3.01 dB)无显著变化,说明动力学幻觉的治理核心在于状态-动作转移覆盖而非奖励监督信号。
亮点与洞察¶
- “一次解码-重编码往返”即可精准定位感知流形脱轨:分词器往返残差 \(u_r = \|\hat{z} - \mathrm{Encode}(\mathrm{Decode}(\hat{z}))\|\) 的设计极其精巧——它无需真实未来帧对比,仅利用冻结分词器自身的自洽性来检验动力学预测的潜变量 \(\hat{z}\) 是否落在了合法的解码流形上。这一零成本自检算子可以直接迁移到任何基于潜空间扩散或自回归的生成模型(如图像/视频生成、3D 场景生成)中,作为推理时拒绝采样或触发重规划的门控信号。
- 把“幻觉缺陷”反转为“主动学习指南针”的认知跃迁:本文最令人印象深刻的“啊哈”时刻在于证明了“检测幻觉的运行时信号本身就是消除幻觉的最佳采集目标”。不需要训练额外的集成分支(如 Plan2Explore 中的多模型分歧)或状态计数网络(如 RND),直接利用单模型内部的 \(u_r^{\mathrm{norm}}\) 配合 CEM 规划,就能驱动智能体主动走向世界模型的“认知盲区”,用极少量的 50 条真实交互轨迹实现 350M 大模型的快速领域自适应。
- 动态性归一化(Dynamism Normalization)解决跨任务不确定性不可比难题:在多任务世界模型中,Atari 射击游戏与机械臂慢速推块的帧间变化量相差数个数量级,直接用潜空间残差或方差做阈值必然偏向高动态任务。除以任务级或滑动窗口的潜空间步间 RMS 变化率 \(m\) 是一个简单却通用的去混杂技巧,非常值得迁移到多任务离线强化学习(如 MOPO、MOReL 的不确定性惩罚项)和多域视频质量评估中。
局限与展望¶
- 模型规模与纯仿真环境的边界:本文实验固定在 350M 参数规模与 210 个仿真控制任务(\(224 \times 224\) 固定分辨率)上展开。作者承认,当模型扩展到十亿(Billion)参数级、或者面对存在严重传感器噪声、运动模糊、光照变化及非平稳背景的真实物理机器人(Real-world robotics)视频时,潜空间动态性 \(m\) 可能会被背景噪声污染,上述预测器的信噪比是否依然稳健尚待验证。
- 在线探索与下游控制评估分布之间的张力:好奇心驱动采集致力于铺满整个状态-动作空间的低覆盖角落(在推演 \(\Delta\text{PSNR}\) 上超越专家数据),但下游闭环 MPC 控制本质上是目标导向的,往往只需要在通往高奖励的狭窄轨迹管状区域内保持高精度。如何在好奇心探索中柔和地融入任务语义先验(例如将 CLIP 指令相关性与 \(u_r^{\mathrm{norm}}\) 相乘),避免在完全无关的死角浪费交互预算,是极具价值的改进方向。
- 跨种子方差 \(u_s^{\mathrm{norm}}\) 的推理计算开销:虽然 \(u_r^{\mathrm{norm}}\)(仅需一次解码-重编码)和 \(u_f^{\mathrm{norm}}\)(直接读取单次去噪子步中间量)几乎不增加额外耗时,但计算 \(u_s^{\mathrm{norm}}\) 需要并行运行 \(N\) 条独立去噪轨迹;在实时高频控制场景下,优先使用 \(u_f^{\mathrm{norm}}\)(无需解码即可在潜空间单次去噪中算出)作为运行时安全护栏会更加高效。
相关工作与启发¶
- vs Dreamer 4 (Hafner et al., 2025):Dreamer 4 提出了结合掩码自编码分词器与块因果 Shortcut 流匹配 Transformer 的可扩展世界模型架构,但主要在半监督设置和离散动作空间下验证策略训练;本文复现并扩展了该架构(引入连续高斯 BC 头与全量真值动作/奖励训练),更重要的是首次系统剖析了该架构在三阶段的幻觉失效机理并给出了数据侧修复方案。
- vs Plan2Explore (Sekar et al., 2020) / Deep Ensembles (Lakshminarayanan et al., 2017):传统主动探索与离线 MBRL 方法依赖训练多个动力学模型组成的集成网络(Ensemble),通过模型间预测分歧来度量认知不确定性,在百亿/数亿参数大模型时代显存与算力开销难以承受;本文完全免去了辅助网络和集成训练,直接从单一预训练世界模型的编码往返、流匹配去噪轨迹和随机种子中提取不确定性信号,实现了大模型友好的零训练成本不确定性估计。
- vs MMBench (Hansen et al., 2026) / V-D4RL (Lu et al., 2023):原始 MMBench 仅包含 200 个任务的 4k 条纯专家演示轨迹(1.8M 帧),缺乏行为多样性,极易诱发世界模型在偏离专家轨迹时产生严重幻觉;MMBench2 将规模扩充逾 16 倍至 65.6k 条轨迹(23M 帧、210 个任务),融合了人类游玩、反事实扰动与好奇心探索等 7 类行为,同时保留了在线仿真环境与真值动作/奖励,填补了多任务视觉世界模型可控训练与在线诊断基准的空白。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 将世界模型幻觉精准解耦到编码、动作条件化与多步推演三个阶段,并提出免训练、经动态性归一化的内部预测算子(尤其是分词器往返残差与流匹配步间不稳定性),视角新颖且切中要害。
- 实验充分度: ⭐⭐⭐⭐⭐ 构建了 427 小时、210 个任务的 MMBench2 大规模基准,覆盖检测相关性、重采样消融、50 条轨迹在线主动采集微调、开源 VAE 横向对比与闭环 MPC 控制,证据链极其完整扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑脉络清晰,从现象分类、指标定义、归一化去混杂到两阶段干预环环相扣,图表信息密度高且直观。
- 价值: ⭐⭐⭐⭐⭐ 开源了完整数据集、350M 预训练权重与交互界面,所提出的零成本幻觉检测指标与主动数据采集配方对具身智能世界模型及可控视频生成具有直接的工程指导意义。