VLA-JEPA: Enhancing Vision-Language-Action Model with Latent World Model¶

会议: ECCV2026
论文: ECCV 原文
作者: Jingwen Sun, Wenyao Zhang, Zekun Qi, Shaojie Ren, Zezhi Liu, Hanxin Zhu, Guangzhong Sun, Xin Jin, Zhibo Chen
代码: https://github.com/ginwind/VLA-JEPA
领域: 机器人/具身智能
关键词: 视觉语言动作模型、潜在动作、潜在世界模型、联合嵌入预测、人类视频预训练

一句话总结¶

VLA-JEPA 让只看到初始图像与指令的视觉语言模型产生潜在动作，通过预测未来的 V-JEPA2 状态表示学习操作语义，再用流匹配生成机器人动作；正文表 1、表 3 的 LIBERO 和 LIBERO-Plus 成功率分别为 97.2% 和 78.1%。

研究背景与动机¶

机器人动作轨迹昂贵，人类操作视频却很多，因此一种常见路线是先从相邻视频帧提取“潜在动作”，再让视觉语言动作模型（VLA）学会预测这些表示，最后映射为机器人控制量。问题是，相邻画面的变化并不等于可执行的操作：摄像机转动、桌布纹理和背景物体都可能比手与目标的交互更显著。若训练目标围绕像素重建或画面差异展开，模型可能擅长描述“图像变了什么”，却不懂“执行什么操作会改变状态”。

本文进一步质疑潜在动作提取时同时输入当前帧和未来帧的做法。提取器可能把未来画面压缩进潜变量，以很低的预测损失完成任务，却没有学到从当前条件出发推断状态转移的能力。作者将其称为信息泄漏；这是对训练捷径的机制假说，并非仅凭下游成功率就能完全证实的因果结论。

VLA-JEPA 的切入点是改变未来信息进入训练的通道，而不是再设计一种离散动作码本。未来帧提供潜在状态监督，动作表示来自当前视觉与语言条件，世界模型负责检验这些表示能否支持时间上的预测。核心 idea：让潜在动作通过“解释未来状态转移”学习操作相关信息，而不是通过“编码已经看见的未来画面”获得低训练损失。

方法详解¶

整体框架¶

输入是初始时刻的多视角 RGB 图像和语言指令，最终输出是一段连续机器人动作。图 2 的训练过程先用人类视频学习状态预测，再在机器人数据上联合学习状态预测与动作生成；实验预训练数据还包括带动作标签的 DROID，并非整个预训练阶段都只有无动作视频。

模型先构造世界状态与潜在动作，通过时间因果世界模型预测下一状态；机器人训练时，潜在动作还参与条件动作解码。这里的世界模型主要提供学习约束，部署采用动作头直接生成动作，不是先生成目标图像再做能量最小化规划。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["初始多视角图像<br/>语言指令"] --> State["世界状态与潜在动作"]
    State --> World["时间因果世界模型"]
    Target["视频编码状态<br/>训练监督与历史"] --> World
    State --> Action["条件动作解码"]
    World --> Align["下一潜在状态<br/>对齐损失"]
    Action --> Output["连续动作轨迹<br/>机器人动作监督"]

关键设计¶

1. 世界状态与潜在动作：分别表示环境和预期转移

世界状态由 V-JEPA2 视频编码器提供，同一时刻不同视角的表示通过拼接聚合。这里的“统一世界状态”是多视角特征表示，不是显式三维地图，也不是已辨识出的物理状态变量。采用视频预训练编码器的目的，是把监督从颜色、纹理等像素细节转向更抽象的时序信息；但这种表示是否完全排除无关变化，仍需实验检验。

另一条分支使用 Qwen3-VL，论文的同骨干基线明确采用 Qwen3-VL-2B。VLM 接收初始图像、指令以及可学习的 <latent_i> 查询，每个查询对应一个时间步的状态转移，并重复 \(K\) 次以调节表示容量。所有潜在动作都根据初始条件产生，不把后续真实图像追加给 VLM，因此它必须利用视觉语言先验推断可能发生的操作，而不能直接复制未来。

这也说明潜在动作不是机器人末端位姿：人类视频没有机器人的控制标签，得到的是可帮助预测状态变化的条件表示。机器人坐标系中的动作幅度和控制对应关系，要由下一阶段的带标签数据学习；不能将观察人类视频等同于直接获得机器人动力学。

2. 时间因果世界模型：允许历史监督，但阻断向未来偷看

自回归 Transformer 世界模型接收世界状态序列和潜在动作。每个时间步内部，状态 token 与潜在动作 token 可以双向充分注意；跨时间步则施加因果掩码，只允许访问当前及过去的信息。因而预测某一步的未来状态时，可以利用此前的状态，但不能访问该预测位置之后的状态。

训练采用 teacher forcing：世界模型使用编码得到的真实历史状态，而不是所有历史都依赖自己的滚动预测。必须区分两条边界：VLM 的潜在动作分支始终只看初始图像；世界模型则会看到相对于初始时刻更晚、但相对于当前预测位置属于历史的真实状态。把“无泄漏”概括成整个训练过程任何模块都不接收后续帧，会误读第 3.2 节。

世界模型用 JEPA 对齐损失比较预测状态和 V-JEPA2 编码的目标状态，从而联合更新世界模型与 VLM。缓存中式 (4) 的距离符号提取不完整，因此这里不擅自将其写成均方误差或余弦损失。正文也没有充分交代编码器冻结、停止梯度或教师更新的实现细节，不能从 JEPA 名称推定具体配置。

3. 条件动作解码：让视频学到的转移表示进入控制分布

在潜在动作查询后追加 <action> 查询，VLM 的因果注意力让它聚合图像、指令和前面的潜在动作，得到动作头的条件表示 \(z_a\)。这不是先将每个潜在 token 硬解码成一个离散控制指令，而是把整段转移语义作为连续轨迹生成的条件，因此可以承接不同视频域的表示。

动作头采用条件流匹配。训练时将真实动作轨迹和高斯噪声进行线性插值，预测从噪声朝真实轨迹移动的速度；推理时则在条件表示不变的情况下积分速度场，从噪声生成动作序列。以下是依据式 (6)、(7) 旁的文字还原的标准表达，缓存的公式排版有缺损，原始排版应以 PDF 为准：

\[ a_t=(1-t)\epsilon+t\,a_{0:H},\qquad \epsilon\sim\mathcal{N}(0,I),\quad t\in[0,1]. \]

\[ \mathcal{L}_{\mathrm{FM}}=\mathbb{E}_{a_{0:H},\epsilon,t}\left[\left\|v_\theta(a_t,t\mid z_a)-(a_{0:H}-\epsilon)\right\|_2^2\right]. \]

其中 \(t\) 是流匹配的插值时间，不是视频帧编号；\(H\) 是动作预测范围，\(a_{0:H}\) 沿用论文的轨迹记号。缓存无法可靠读出插值时间的采样分布，也未给出部署积分步数，因此不补写这些超参数。机器人监督使潜在表示与真实控制任务发生联系，而状态预测目标继续约束其时序语义。

一个完整示例¶

以“抓起桌上的物体并放到指定位置”为示意，初始多视角图像先确定物体与夹爪的可见状态，语言指令确定目标。潜在动作查询在没有看到真实后续画面的条件下表示预期转移，世界模型再用训练视频中的历史状态预测下一潜在状态，并与目标编码对齐。

在人类视频上，到这一步就有可用的学习信号，无需知道机器人的末端坐标；在机器人演示上，追加的动作查询还条件化流匹配动作头，学习实际轨迹。部署时只有当前输入和指令，动作头直接生成轨迹。此例解释模块如何协作，不是论文另报的一项成功试验。

损失函数 / 训练策略¶

无动作标签的人类视频使用世界模型对齐目标；带动作标签的机器人数据使用式 (8) 的联合目标。按正文含义整理为：

\[ \mathcal{L}_{\mathrm{robot}}=\mathcal{L}_{\mathrm{FM}}+\beta\mathcal{L}_{\mathrm{WM}}. \]

\(\beta\) 控制状态预测项权重，缓存正文没有其具体值，也没有 \(K\)、学习率、批量大小或训练步数的完整配置。所谓“两阶段”是预训练与下游微调，不代表微调时仅更新一个动作头：方法部分明确描述两个目标的端到端联合优化。

预训练使用 Something-Something-V2 人类手物交互视频和 DROID 机器人数据，随后针对仿真或真实环境微调。论文列出 LIBERO、BridgeV2 和自采真实数据，并报告所有实验使用 8 张 NVIDIA A100 GPU；补充材料未包含在当前缓存中，无法核实更细的训练预算。

实验关键数据¶

主实验¶

下表保留原文表 1 至表 3 的汇总成功率，单位为 %，不是统一任务集合上的同一指标。LIBERO 每任务评估 50 个 episode，每套件 500 个；LIBERO-Plus 汇总七类扰动，SimplerEnv 使用 visual matching 设置。

方法	LIBERO 平均，表 1	LIBERO-Plus 总计，表 3	Google Robot 平均，表 2	WidowX 平均，表 2
UniVLA	95.2	42.9	未报告	42.7
OpenVLA-OFT	97.1	69.6	未报告	41.8
QwenVLA	96.0	69.6	未报告	未报告
VLA-JEPA	97.2	78.1	65.2	57.3
VLA-JEPA，无人类视频	96.1	62.9	78.4	57.3

LIBERO 的 97.2% 比 OpenVLA-OFT 高 0.1 个百分点，比 QwenVLA 高 1.2 个百分点；LIBERO-10 为 95.8%。更明显的增益在 LIBERO-Plus：比 OpenVLA-OFT 的 69.6% 高 8.5 个百分点，但这不代表每类扰动都胜出。

真实实验使用 Franka Research 3 和 Robotiq 2F-85，采集 100 条演示，涵盖 3 个抓取放置任务，并测试分布内、未见任务及物体布局变化。正文称本方法在分布内与布局变化下最好、未见任务下第二；图 4a 的柱状数值没有被可靠提取，因此不据此编造各设置的成功率。

消融实验¶

下表来自原文表 1、表 3，成功率单位为 %。QwenVLA 系列控制骨干，但纯 QwenVLA 只用机器人数据，因此完整模型与它的差值不能全部归因于 JEPA 损失。

配置	LIBERO 平均	LIBERO-Plus 总计	监督或数据差异
QwenVLA	96.0	69.6	机器人动作监督
QwenVLA + ViT	96.4	72.6	预测连续未来视觉表示
QwenVLA + VQGAN	93.7	50.5	预测离散未来 token
QwenVLA + LAM	95.9	未报告	预测潜在动作模型编码
VLA-JEPA，无人类视频	96.1	62.9	去掉人类视频预训练
VLA-JEPA	97.2	78.1	完整设置

原文表 4 另做直接在 LIBERO 微调的预测范围实验，其他超参数保持一致，预设动作范围为 8。下列 \(T\) 是未来视频预测范围，不应在缺少采样间隔时换算成秒；此实验不是上表完整预训练配置。

视频预测范围 \(T\)	LIBERO 平均成功率 (%)	LIBERO-10 成功率 (%)
4	94.8	89.0
8	96.1	94.0
16	95.5	92.2

关键发现¶

人类视频主要帮助扰动鲁棒性：LIBERO-Plus 从 62.9% 到 78.1%，增加 15.2 个百分点；LIBERO 仅从 96.1% 到 97.2%。Google Robot 则从 78.4% 降至 65.2%，说明这种数据并非普遍提升控制表现。
图 1 写 LIBERO-Plus 为 79.5%，与表 3 的 78.1% 不一致，本笔记采用表 3。按表 3 可逐项确认本方法在 Robot、Language、Background、Layout 四类领先；Light 的 QwenVLA 为 96.8%，高于本方法 95.6%，不沿用正文“七类中五类最好”的说法。
WidowX 的 57.3% 与使用仿真内成功示范的 LAPA 相同，但数据条件不同，不能据此认定同等泛化能力。各表的 Avg/Total 按原文报告，不强行用显示出来的子项做等权重重算。

亮点与洞察¶

将未来信息放在监督侧，同时明确潜在动作的输入边界，比仅缩小潜变量容量更直接地约束捷径。关键不只是用更强编码器，而是让表示必须在看不到答案时支持预测。
将视频学习目标保留到机器人微调阶段，避免预训练动作表示与最终控制目标完全脱节。流匹配负责连续轨迹，潜在预测负责时序约束，两者承担不同职责。
人类视频的价值更像是增强已有技能在视觉扰动下的稳定性，而不是替代动作标注。这个区分有助于决定数据预算：真实控制对应关系仍需高质量机器人演示。

局限与展望¶

作者承认人类视频缺少可执行轨迹信息，不能直接教会机器人动作动力学；真实部署中，未见任务泛化也弱于 \(\pi_{0.5}\)，只是轨迹更稳定、较少触碰安全边界。这不构成形式化安全保证。
本笔记的审慎判断：注意力图和下游对照支持“更关注操作”的解释，却不能单独证明潜在动作已恢复真实可控因素。需要数据量、目标编码器和未来信息通路的更严格独立消融。
图表数值和文字结论存在上述不一致，且没有足够的方差、置信区间与真实实验逐设置数值支撑细微优劣。LIBERO 的 0.1 个百分点优势不应被扩大为显著领先。
当前缓存的公式提取缺损，训练细节被放到未附的补充材料。复现前应核对原始损失、教师更新规则、视频采样间隔、数据混合比例和动作积分设置，而不是把未报告项当成标准默认值。

评分¶

新颖性: 4/5。将受限输入的潜在动作、JEPA 状态监督和控制训练连接起来，设计明确，但各基本组件已有先例。
实验充分度: 3/5。覆盖三类仿真评估与真实机器人，但数据混杂、数值不一致和统计信息不足限制结论强度。
写作质量: 3/5。整体动机清楚，但“无泄漏”的模块边界和若干结果表述需要读者自行厘清。
价值: 4/5。为人类视频如何帮助 VLA 提供具体训练接口，也给出“鲁棒性提升不等于控制普遍提升”的有用证据。