Learning Visual Feature-Based World Models via Residual Latent Action¶

会议: NeurIPS 2026
arXiv: 2605.07079
代码: https://github.com/mlzxy/rla-wm
领域: 机器人
关键词: 视觉世界模型, 残差隐动作, 流匹配, 机器人操作, 视觉强化学习

一句话总结¶

针对传统特征级世界模型在复杂3D交互中易模糊或崩溃、而特征生成建模维度过高的问题，本文提出基于DINO残差学习紧凑的残差隐动作（RLA）并用流匹配预测RLA，构建出高精度且超轻量的世界模型RLA-WM，并成功支撑无动作视频模仿与纯模型内视觉强化学习。

研究背景与动机¶

世界模型通过预测环境未来演变，为机器人策略学习、长期规划与物理推理提供了极具吸引力的基础底座。当前主流范式大多依赖视频扩散生成模型，在像素级对齐的VAE隐空间中合成未来视频轨迹。然而，这类像素级视频生成模型不仅存在显著的高计算开销与推理延迟，在物理交互中还极易产生幻觉与物理不一致，难以直接高效地支持高频闭环控制与强化学习交互。

为了规避像素级生成的繁重负担与幻觉问题，以DINO-WM和V-JEPA为代表的特征级世界模型尝试直接在自监督视觉特征空间（如DINO patch tokens）中预测未来状态。这类特征天然蕴含丰富的物体语义与空间几何线索，极大地抑制了无关视觉纹理的幻觉。但现有特征级方法普遍采用前向直接回归策略，面对多模态物理交互和复杂的3D接触动力学时，回归到均值（regression-to-the-mean）的缺陷会导致预测特征严重模糊甚至发生表征崩溃。若退回在特征空间套用扩散或流匹配等生成模型，又会撞上极高的维度诅咒——一张512×512图像的DINOv3-Large tokens维度高达约100万，比Stable Diffusion VAE隐空间大了近两个数量级，直接生成非但训练极难收敛，更彻底抹平了特征级模型在效率上的核心优势。

面对视觉特征高维表征与真实物理状态转移低维流形之间的结构矛盾，本文的核心切入点在于：世界模型不必直接生成庞大的绝对未来特征，而应聚焦于捕捉两帧之间相对的动力学演化。核心 idea：从相邻帧的DINO特征残差中自监督学习极低维度的残差隐动作（RLA），利用轻量流匹配在紧凑的RLA空间预测动力学，再经单次前向解码精确重建未来DINO特征，实现轻快且抗崩溃的特征级世界模型。

方法详解¶

整体框架¶

RLA世界模型（RLA-WM）旨在给定当前时刻观察对应的DINO tokens $s_t$ 与动作块 $a_{t:t+h}$ 时，准确预测未来时刻的特征 $s_{t+h}$。整个系统分为两个核心阶段：首先在离线视频上自监督训练一个基于自注意力架构的残差隐动作自编码器（RLA Autoencoder），建立从残差 $s_{t+h}-s_t$ 压缩到隐向量 $z$ 并联合 $s_t$ 单步恢复 $s_{t+h}$ 的紧凑映射；随后构建动力学网络，先利用自注意力模块融合当前状态 $s_t$ 与动作序列嵌入生成条件，再通过流匹配（Flow Matching）在低维 $z$ 空间生成未来残差隐动作，最后送入解码器单次前向输出未来特征 $\hat{s}_{t+h}$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：当前特征 $s_t$ 与动作块 $a_{t:t+h}$"] --> B["条件编码器<br/>拼接可学习查询与自注意力融合"]
    B --> C["残差隐动作生成：流匹配<br/>在紧凑隐空间求解ODE变换噪声"]
    C --> D["单步前向解码：自注意力重构<br/>联合当前状态 $s_t$ 重建未来特征 $\hat{s}_{t+h}$"]
    D --> E["下游策略应用<br/>极简WAM无动作模仿 / 纯模型内视觉RL"]

关键设计¶

1. 残差隐动作编码：在相对特征流形上提炼动力学瓶颈 针对高维特征直接回归产生模糊均值、以及全空间生成面临百万级维度诅咒的难题，本文将建模重心从绝对状态转移到相对位移。受薛定谔桥流匹配速度场与物理模拟中网格相对位移建模的启发，残差隐动作自编码器将特征残差 $s_{t+h} - s_t$ 作为输入，经由12层自注意力编码器 $f_{\text{enc}}$ 处理，由32个可学习Query抽取并投影至极紧凑的隐空间，得到残差隐动作 $z \in \mathbb{R}^{32 \times 64}$（总维度仅2048）。解码器 $f_{\text{dec}}$ 同样由12层自注意力模块构成，仅以 $z$ 与当前状态 $s_t$ 为输入，采用L1与MSE重构损失联合监督： $$\mathcal{L}_{\text{AE}} = \|f_{\text{dec}}(z, s_t) - s_{t+h}\|_1 + \|f_{\text{dec}}(z, s_t) - s_{t+h}\|_2^2$$ 这一设计具有三大关键特质：一是预测充分性，与以往隐动作仅能充当扩散生成的弱条件标签不同，RLA解码器仅需单次前向推理即可高质量复原未来特征；二是泛化性强，在少量甚至任务无关的自由互动视频上训练，即可泛化至未见过的机械臂构型与物体操作；三是内在的时间拓扑序，对规范化后的隐向量 $\bar{z}$ 与高斯噪声 $\epsilon$ 做线性插值解码，中间结果自然逼近真实的物理中间过渡帧序列。

2. 紧凑流匹配动力学预测：避开高维特征生成的轻量化生成 在得到离散连续动力学流形的RLA表征后，世界模型将未来预测解耦为条件引导下的隐动作生成与确定性解码。模型首先通过MLP将机器人动作序列 $a_{t:t+h}$ 投影并填充至最大时域，与当前DINO特征 $s_t$ 和32个Query tokens拼接，送入8层自注意力条件网络提炼上下文条件。在流匹配阶段，条件上下文与加噪隐动作 $z_\tau = \tau z + (1 - \tau)\epsilon$（其中 $\epsilon \sim \mathcal{N}(0, I), \tau \in [0, 1]$）拼接，总Token量仅64个。流网络直接以线性速度场为目标进行监督训练： $$\mathcal{L}_{\text{FM}} = \|\hat{v}(z_\tau, \tau, \text{Cond}) - (z - \epsilon)\|_2^2$$ 由于整套流匹配完全局限在低维RLA空间内部迭代，推断期只需通过欧拉法在低维空间进行30步ODE积分求解，避免了在巨量图像Patch或Token序列上反复迭代自注意力，使单次推理计算量仅为3.5T FLOPs，大幅超越视频扩散模型动辄1.1P FLOPs的算力消耗，同时彻底避免了长期自回归中的多模态发散与均值坍缩。

3. 下游策略使能：极简世界动作模型与纯模型内视觉强化学习 为了将RLA-WM的动力学建模能力真正转化为机器人的决策效能，本文针对机器人具身学习的真实痛点提出两套应用范式： - 无动作视频模仿学习（极简WAM）：传统的世界动作模型往往将动作预测与沉重的视频生成底座深度耦合，难以部署。本文仅在标准BC-ResNet架构后外挂一个独立的线性分类/回归头，直接利用预训练的RLA编码器提供辅助目标监督残差动作 $\hat{z}$。面对仅有5%带动作标签、95%全为无动作视频的真实数据场景，通过掩码动作损失并共享表征训练，在完全不增加在线推理耗时的前提下使策略兼具前向预测意识。 - 纯世界模型内视觉强化学习（WMRL）：在离线视频预训练的BC策略基础上挂载LoRA适配层与残差动作头，将RL交互完全搬移到RLA-WM内部展开。为彻底摆脱对仿真器接口与人工奖励工程的依赖，提出视频对齐奖励（Video Aligned Reward, VAR）： $$r_t = - \|\hat{s}_t - s_t\|_1$$ 由于模型内部推演与参考离线轨迹在时间轴上对齐，直接以预测特征 $\hat{s}_t$ 与参考轨迹对应时刻特征 $s_t$ 的负L1距离作为密集奖励，使用PPO直接端到端优化策略。由于无需环境交互交互成本，模型甚至能从执行失败的离线杂乱轨迹中提取环境动力学转移，使策略越过BC的天花板。

损失函数 / 训练策略¶

RLA自编码器使用AdamW优化器，学习率为 $10^{-4}$，批大小128，训练100k步；在ManiSkill上采样帧间距 $h \in [1, 100]$，在IWS真实双臂数据集上采样 $h \in [1, 200]$，针对动态物体交互加入90%的运动聚焦采样先验。RLA-WM动力学网络同样采用学习率 $10^{-4}$，批大小64，训练100k步，动作时域上限设为15。下游WMRL阶段设置残差动作边界上限 $b=0.1$ 弧度以防策略越界利用模型局部误差，PPO折扣因子 $\gamma=0.9$，GAE参数 $\lambda=0.95$。

实验关键数据¶

主实验¶

实验在ManiSkill多臂模拟基准与IWS真实双臂ALOHA操作数据集上全面评测多步自回归未来预测能力。在ManiSkill上自回归推演30步（动作块大小10），在IWS上推演60步（动作块大小15），对比像素级与特征级顶尖世界模型。

模型	ManiSkill LPIPS ↓	ManiSkill SSIM ↑	ManiSkill DINO L1 ↓	IWS LPIPS ↓	IWS SSIM ↑	IWS DINO L1 ↓	推理 FLOPs ↓
DINO-WM (直接回归)	0.156	0.865	0.078	0.223	0.825	0.058	2.1T
RAE (特征扩散)	0.324	0.717	0.143	0.550	0.625	0.159	14.3T
FM-WM (全特征流匹配)	0.127	0.890	0.063	0.360	0.741	0.119	14.3T
Vid2World (1.1B视频扩散)	0.199	0.705	0.084	0.388	0.710	0.139	1.1P
RLA-WM (本文)	0.071	0.931	0.030	0.196	0.847	0.053	3.5T

在无动作视频模仿任务中，各隐动作表征在95%无动作视频标注场景下的策略成功率（%）如下表：

方法	PushT	Roll Ball	Pull Cube	Pull Tool	Poke Cube	平均排名 ↓	平均成功率 (%) ↑
BC-ResNet 基线	3.6	42.0	33.6	7.6	49.2	3.8	27.2
DINO CLS (Flare范式)	7.6	39.6	40.4	4.4	44.8	4.0	27.4
UniVLA (时空VQ-VAE)	6.0	37.6	42.8	7.2	50.0	3.8	28.7
AdaWorld (像素VAE隐动作)	9.2	38.4	48.4	10.8	61.6	2.2	33.7
RLA (本文)	15.2	43.8	43.6	12.0	63.6	1.2	35.6

消融实验¶

针对隐表征的时间拓扑特性、WMRL残差动作界限及额外失败数据进行严密消融分析：

配置 / 实验	评测场景	核心指标	说明
像素线性混合 (Pixel Blend)	隐空间时序拓扑插值 ($h=15$)	Spearman 0.87 / 帧误差 3.13	简单画面淡入淡出，无法捕捉非线性物理变化
DINO 特征直接混合 (DINO Blend)	隐空间时序拓扑插值 ($h=15$)	Spearman 0.93 / 帧误差 2.51	高维特征直接内插，缺乏自然动作过渡连贯性
RLA 隐空间插值 (Ours)	隐空间时序拓扑插值 ($h=15$)	Spearman 0.97 / 帧误差 1.88	显著展现时间流拓扑，插值精准对应实际中间帧
残差动作界限 $b=0$	WMRL PushT 任务	成功率 18.0%	退化为纯BC基线水平
残差动作界限 $b=0.05$	WMRL PushT 任务	成功率 22.8% ± 1.8	适度界限约束策略，防止利用世界模型误差
残差动作界限 $b=0.1$	WMRL PushT 任务	成功率 22.0% ± 1.4	平衡探索幅度与模型保真度，全实验默认选用
残差动作界限 $b=0.25$	WMRL PushT 任务	成功率 14.0% ± 3.7	范围过宽导致策略过度漂移并陷入模型幻觉漏洞
无界限 (Unbounded)	WMRL PushT 任务	成功率 22.7% ± 2.3	虽然均值尚可，但方差显著放大，鲁棒性变差
BC-ResNet + 8k 失败轨迹	失败数据利用分析	成功率由 15.1% 降至 13.6%	模仿学习被迫拟合失败样本，性能严重劣化
WMRL + 8k 失败轨迹 (Ours)	失败数据利用分析	成功率由 20.5% 升至 22.5%	失败样本充实动力学流形，使模型强化学习大幅受益

关键发现¶

大算力视频扩散不等于真实动力学：Vid2World等视频扩散模型虽然依靠百亿预训练生成出纹理极为锐利的画面，但在长时域物理交互中产生显著物理幻觉与几何漂移，导致DINO特征L1误差高达0.139（为本文模型的2.6倍），且算力开销超过RLA-WM数百倍。
特征残差压缩是解锁非坍塌预测的关键：全特征维度的流匹配（FM-WM）与直接回归（DINO-WM）在长序列预测中均受困于多模态平滑与维度过高，而RLA将维度精准压缩至2048维后，使流匹配能够快速捕捉动作驱动的相对演化，彻底解决了预测特征崩溃与模糊的问题。
纯世界模型内强化学习突破行为克隆上限：在不消耗任何真实物理与仿真环境步数的条件下，WMRL依靠VAR内在奖励，在750个独立测试种子的大样本评测下，使得最佳检查点平均超越BC达4.6个百分点；且更短的求解步数证明其并未僵化模仿演示节奏，而是真正学到了更优策略。

亮点与洞察¶

将高维动力学解耦为相对残差隐动作与单步自回归解码：巧妙避开直接对百万维高维特征建模的算力陷阱，利用DINO特征残差天然近似薛定谔桥速度场的特性，将生成空间压缩两个数量级，兼得生成模型的抗均值坍缩与特征级的高效紧凑。
无动作视频使能的即插即用极简WAM：仅需在现有BC网络后增加一个轻量线性预测头，便能无痛吃进95%以上的无动作公开视频数据，在完全不拖慢推理延迟的前提下提升表征泛化能力，不仅在常规任务表现优异，更直接零样本拓展至真实SO-101机械臂将叠杯成功率从15%倍增至40%。
从失败数据中淘金的纯闭环强化学习：颠覆了传统离线模仿学习对失败轨迹弃如敝履的现状，由于失败轨迹蕴含极为真实的物理接触与反向转移信息，能显著强化RLA-WM在偏离演示时的动力学鲁棒性，从而让纯模型内部的PPO策略训练获得逆势增长。

局限与展望¶

大幅度非任务背景运动的表征干扰：目前RLA直接由帧对间的特征差分压缩而来，在双足人形机器人或手眼相机（Eye-in-Hand）发生剧烈自运动时，背景光流可能挤占有限的隐动作表征容量。未来探索将DINO特征先投影至3D点云或高斯空间再构建视点不变的3D RLA是重要突破口。
单帧对难以处理严重遮挡与长程历史依赖：当前RLA编码仅输入当前帧与未来帧对，当发生物体完全被机械臂或环境遮挡后重新出现的复杂物理情境时，模型只能依赖隐空间隐式记忆而非时空因果推断。将RLA扩展为多帧滑动窗口或引入时空记忆机制将是自然的技术迭代。
依赖参考对齐视频的奖励函数机制：目前WMRL依靠与参考演示视频时间同步的VAR奖励，面对未知全新目标时难以泛化。未来构建具备内在不确定性感知、无需配对参考视频的保守世界模型（Conservative World Model）将是通往通用具身智能的关键一步。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出基于DINO残差的低维隐动作表征与流匹配预测架构，架构设计极具洞察力与优雅度。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖仿真多臂、真实ALOHA多任务、真实机械臂实机、无动作学习以及大规模750种子纯模型内强化学习评测，论证极度扎实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑线索清晰严密，理论机理透彻，动静态对比和消融实验详实完整。
价值: ⭐⭐⭐⭐⭐ 为轻量高效、抗幻觉的机器人具身世界模型指明了崭新技术路径，工程与学术启发价值巨大。

配置 / 实验	评测场景	核心指标	说明
像素线性混合 (Pixel Blend)	隐空间时序拓扑插值 (\(h=15\))	Spearman 0.87 / 帧误差 3.13	简单画面淡入淡出，无法捕捉非线性物理变化
DINO 特征直接混合 (DINO Blend)	隐空间时序拓扑插值 (\(h=15\))	Spearman 0.93 / 帧误差 2.51	高维特征直接内插，缺乏自然动作过渡连贯性
RLA 隐空间插值 (Ours)	隐空间时序拓扑插值 (\(h=15\))	Spearman 0.97 / 帧误差 1.88	显著展现时间流拓扑，插值精准对应实际中间帧
残差动作界限 \(b=0\)	WMRL PushT 任务	成功率 18.0%	退化为纯BC基线水平
残差动作界限 \(b=0.05\)	WMRL PushT 任务	成功率 22.8% ± 1.8	适度界限约束策略，防止利用世界模型误差
残差动作界限 \(b=0.1\)	WMRL PushT 任务	成功率 22.0% ± 1.4	平衡探索幅度与模型保真度，全实验默认选用
残差动作界限 \(b=0.25\)	WMRL PushT 任务	成功率 14.0% ± 3.7	范围过宽导致策略过度漂移并陷入模型幻觉漏洞
无界限 (Unbounded)	WMRL PushT 任务	成功率 22.7% ± 2.3	虽然均值尚可，但方差显著放大，鲁棒性变差
BC-ResNet + 8k 失败轨迹	失败数据利用分析	成功率由 15.1% 降至 13.6%	模仿学习被迫拟合失败样本，性能严重劣化
WMRL + 8k 失败轨迹 (Ours)	失败数据利用分析	成功率由 20.5% 升至 22.5%	失败样本充实动力学流形，使模型强化学习大幅受益