ThinkJEPA: Empowering Latent World Models with Large Vision–Language Reasoning Models¶

会议: NeurIPS 2026
arXiv: 2603.22281
OpenReview: https://openreview.net/forum?id=gBPgg0KWK7
代码: https://github.com/Hai-chao-Zhang/ThinkJEPA
领域: VLM 推理
关键词: 潜空间世界模型, 视觉语言模型, 具身轨迹预测, 双时间感知, 表征注入

一句话总结¶

ThinkJEPA 通过解耦设计将高频密集观察的 V-JEPA 潜空间动力学分支与均匀大跨度采样的 Qwen3-VL 思考者分支结合，利用分层金字塔模块聚合 VLM 多层推理表征并通过 FiLM 逐层调制预测器，突破了纯视觉潜空间预测缺乏语义常识与长程上下文的瓶颈，在具身轨迹预测、长程递归递推及物理场景预测中全面超越现有单分支基线。

研究背景与动机¶

潜空间世界模型（如 V-JEPA2、DINO-WM）旨在在紧凑的表征空间内学习环境的前向预测抽象，从而避免生成高昂且冗余的像素级画面或显式三维几何。然而，现有基于自监督遮蔽预测构建的 JEPA 类模型面临两个本质局限：其一，由于单次前向推理的计算开销，密集帧采样通常局限于极窄的时间窗口内，导致预测器极易过拟合局部运动与低级物理外推，缺失支撑稳健预测的长程语义与事件级因果；其二，纯视觉自监督特征对开词表概念和组合常识的理解极度匮乏，模型虽然善于捕捉几何与纹理运动，却不理解实体属性与功能关系，在开域环境或多步任务中泛化能力脆弱。

将具备广博世界知识与高层推理能力的多模态大模型（VLM）引入动态预测看似自然，但直接将 VLM 作为端到端密集物理预测器面临三重难以克服的结构性瓶颈：计算驱动的稀疏采样（二次注意力复杂度迫使其仅能接收稀疏均匀采样的几帧，丢失了高频接触与交互细节）、语言输出瓶颈（深层 Transformer 将精细连续物理交互压缩为离散文本 token，导致语言规划连贯但物理执行不可行）、以及数据领域失配（在特定机器人操作小数据集上端到端微调极易导致通用语义遗忘）。

因此，潜空间世界模型亟需一种将“小脑级密集动力学推演”与“大脑级长程语义思考”有机解耦又深度融合的新架构。核心 idea：将 VLM 定位为只读的外部语义指导者（Thinker），通过双时间感知通路分别向密集 JEPA 分支和均匀 VLM 分支供给观察帧，并利用分层金字塔结构抽取 VLM 跨深度的视觉与思维链隐状态，以逐层特征线性调制（FiLM）无侵入地注入 JEPA 潜空间预测器，兼顾高频动力学保真度与长程语义常识。

方法详解¶

整体框架¶

ThinkJEPA 的核心思想是实现感知尺度与模型职能的精确解耦。系统输入为包含 $N$ 帧的原始视频序列 $v$，整个流程分为三个协同阶段：双时间尺度采样与特征编码、VLM 思考者分层金字塔表征提取、以及基于特征线性调制的潜空间未来预测与下游解码。

首先，针对相同观测输入并行构建两条通路：密集采样通路截取局部时间窗以维持运动连续性，输入 V-JEPA-L 提取密集潜状态 patch tokens；稀疏均匀采样通路跨越整个观测时段，输入预训练的大规模视觉语言推理模型 Qwen3-VL（Thinking）。接着，金字塔表征提取模块自底向上汇聚 VLM 的视觉 Token 及其语言主干多层内部隐藏状态，消除文本生成瓶颈并保留多粒度推理线索。最后，该引导表征通过轻量 MLP 映射为缩放与平移系数，对 V-JEPA 预测器的各 Transformer 块进行层级调制，输出预测的未来潜状态，并支持长程多步递归递推。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入观测视频片段 v"] --> B1["密集采样通路<br/>保持局部高频时间连续性"]
    A --> B2["均匀稀疏采样通路<br/>覆盖完整大时空感知野"]
    B1 --> C1["V-JEPA 视觉骨干编码<br/>提取历史潜状态 patch tokens"]
    B2 --> C2["Qwen3-VL 思考者分支<br/>多模态大模型思维链推理"]
    C2 --> D["分层金字塔表征提取<br/>融合视觉 Token 与多层隐藏状态"]
    C1 --> E["逐层特征线性调制注入<br/>FiLM 参数化调节预测器各层"]
    D --> E
    E --> F["预测未来潜状态序列"]
    F --> G["长程递归递推与任务头回归<br/>3D手部轨迹 / 机器人动作 / 场景接触"]

关键设计¶

1. 双时间感知通路采样：解耦高频局部动力学与全局长程语义 传统方法往往陷入采样密度的两难困境：提高采样率会导致时间感知野急剧萎缩，而拉大帧间距则会导致高频接触状态丢失。本文针对这一矛盾提出显式分离的双通路采样机制： - 对于 VLM 思考者分支，构建均匀采样序列 $v_u = \{I_{s_i}\}_{i=1}^{N_u}$，帧索引满足 $s_i = \lfloor 1 + (i-1)\frac{N-1}{N_u-1} \rfloor$。该通路仅输入 $N_u$ 帧稀疏关键帧（实验中为 8 个关键 clip），在极低二次注意力计算开销下覆盖全视频视野，赋能大模型全局任务理解与意图推断。 - 对于 JEPA 潜空间分支，构建密集局部序列 $v_d = \{I_t\}_{t=t_0}^{t_0 + N_d - 1}$，连续提取连续帧（如 32 帧），由 V-JEPA-L 视觉编码器提取局部网格 patch tokens $F^{\text{past}} \in \mathbb{R}^{B \times T_p \times P \times D}$，为预测微观手指移动和物体形变保留完备的高频动力学基质。

2. 分层金字塔表征提取：聚合多层思考信号突破语言输出瓶颈 直接利用 VLM 的最终层输出作为条件通常效果不佳，因为语言模型顶层深度绑定于离散词表概率预测，高维连续空间中的几何敏感性与物体定位信息已遭受严重压缩。本文设计了分层金字塔特征抽取机制，跨越模型深度同时捕获底层感知与高层认知： - 抽取端综合了 ViT 视觉分词器的视觉 Token（保持空间细粒度细节）与语言模型精选中间层隐状态（$\mathcal{L} = \{0, 4, 8, 12, 16, 20, 24, 27\}$）。 - 浅层隐状态保留细粒度物体边界与空间坐标，深层隐状态承载复杂因果推理与意图语义。将这组多层张量在通道维度降维并做自适应池化聚合，形成致密语义指导特征 $\phi(v_u)$，使潜空间预测器得以吸收 VLM 渐进式的推理轨迹而非单薄的终端文本先验。

3. 逐层特征线性调制注入：轻量无缝引导潜空间预测与长程递归 为了将语义指导注入 V-JEPA 预测器而不破坏其原生的自监督潜动力学空间，本文采用逐层特征线性调制（FiLM）机制。相比重度的交叉注意力或全局自适应归一化（AdaLN），FiLM 直接对预测器内部潜表征进行通道级仿射变换，计算开销极低且调控直接： $$ \mathrm{FiLM}(z; \gamma_\ell, \beta_\ell) = \gamma_\ell \odot z + \beta_\ell $$ 其中，调制参数 $(\gamma_\ell, \beta_\ell)$ 由共享的语义指导特征 $\phi(v_u)$ 经由轻量 MLP 适配器针对第 $\ell$ 个预测器 Transformer 块分别解算。在长程自回归推演（Recursive Rollout）中，系统仅需在初始时刻运行一次 VLM 思考者并缓存其金字塔表征，随后的多步潜状态推演以迭代方式更新历史潜状态 $F^{\text{past}}_{k+1} \leftarrow \hat{F}^{\text{fut}}_k$，语义指导在整个长程推演过程中持续提供全局锚定，有效遏制了自回归误差累积与发散。

损失函数 / 训练策略¶

在训练阶段，V-JEPA 视觉骨干与 Qwen3-VL 思考者均处于冻结状态，仅训练轻量级的金字塔适配器、V-JEPA 预测器内部调制参数以及下游任务回归头。 - 潜状态预测损失：在潜空间中监督预测潜变量 $\hat{F}^{\text{fut}}$ 与目标真实潜变量 $F^{\text{fut}}$ 之间的 Smooth L1 损失与余弦相似度损失。 - 下游轨迹回归损失：针对具体任务（如 EgoDex 3D 手部姿态回归），利用注意力池化与时间卷积头将预测潜空间解码为 $32 \times 52 \times 3$ 的三维关节坐标，采用标准均方误差（MSE）联合端到端优化。

实验关键数据¶

主实验¶

在 EgoDex（双手灵巧抓握与操作轨迹）、EgoExo4D（第一与第三人称多视角熟练动作）两大具身基准以及 BAIR 机械臂推移、Physion 物理接触预测上进行了系统评测。

数据集	模型	ADE↓ (m)	FDE↓ (m)	关节精度 Acc↑ (0.05m)	潜空间特征距离 FD↓	潜空间 SmoothL1↓	余弦距离 CD↓
EgoDex	Qwen3-VL Thinking (仅VLM)	0.142	0.144	0.084	99.538	1.656	0.615
	V-JEPA Predictor (仅JEPA)	0.071	0.066	0.471	74.223	1.252	0.317
	ThinkJEPA (本文)	0.061	0.056	0.596	74.032	1.248	0.315
EgoExo4D	Qwen3-VL Thinking (仅VLM)	0.661	0.690	0.038	104.548	1.756	0.690
	V-JEPA Predictor (仅JEPA)	0.659	0.636	0.074	89.244	1.520	0.469
	ThinkJEPA (本文)	0.622	0.597	0.171	79.654	1.364	0.359

在机械臂推移（BAIR Robot Pushing，3步自回归潜空间推演）与无动作物理场景接触预测（Physion）上： - BAIR Robot Pushing (FD/SL1/CD)：Persistence 基线为 86.385 / 1.511 / 0.430；DINO-WM 为 71.720 / 1.176 / 0.323；V-JEPA Predictor 为 68.711 / 1.117 / 0.301；ThinkJEPA 达到 67.049 / 1.086 / 0.285，全面优于所有对比方案。 - Physion (接触预测 Acc / ROC-AUC)：DINO-WM 为 0.648 / 0.705；V-JEPA Predictor 为 0.741 / 0.821；ThinkJEPA 提升至 0.754 / 0.828。

消融实验¶

在 EgoDex 验证集上对 VLM 表征来源、时间采样策略以及思考者模块进行细致消融：

配置	ADE↓ (m)	FDE↓ (m)	Acc↑ (0.05m)	潜空间 FD↓	说明
ThinkJEPA (完整模型)	0.061	0.056	0.596	74.747	双通路 + 金字塔全层聚合
w/o Thinker (No-Th / 纯JEPA)	0.071	0.066	0.471	74.223	移除VLM引导，Acc大幅下降12.5%
Encoder-only (仅编码器Token)	0.143	0.145	0.086	102.910	缺乏自回归思考状态
AR-only (仅自回归Token)	0.142	0.144	0.086	102.910	缺乏输入端视觉定位细节
Encoder + V-JEPA predictor	0.128	0.129	0.100	78.869	单一输入侧融合导致表征失配
AR + V-JEPA predictor	0.128	0.130	0.098	78.514	单一生成侧融合缺乏视觉对齐
No-dual-temporal (无双通路统一采样)	0.128	0.130	0.099	78.862	破坏时空分辨率平衡
Last-layer only (仅VLM顶层隐状态)	0.128	0.130	0.099	78.858	顶层语言瓶颈严重损失空间信息
Mid-layer only (仅中间层隐状态)	0.128	0.131	0.098	78.517	缺失深层语义规划信息

关键发现¶

双模态表征互补性：仅输入 Encoder Token 或仅输入 AR Token 与 JEPA 结合，性能均远弱于同时聚合两者。这表明输入端视觉定位（空间基础）与生成端隐状态（因果推理）协同作用，才能形成有效的物理世界向导。
打破单一顶层特征桎梏：仅依赖 VLM 顶层特征会导致 ADE 恶化至 0.128m，而分层金字塔抽取将 ADE 大幅降低至 0.061m，证实了大模型中间层具备远高于顶层的连续空间动力学敏感度。
长程递归抗衰减能力：在长达 32 步的自回归推演中，纯 V-JEPA 的 ADE 从 4 步的 0.121m 恶化至 0.142m（FDE 达到 0.153m），而 ThinkJEPA 保持更优的平滑轨迹演进，在 32 步时 ADE 仅为 0.111m，FDE 仅为 0.136m，有效遏制了自回归发散。

亮点与洞察¶

大脑与小脑的解耦式架构：将 VLM 作为只读语义引导的“大脑”（Cortex），将 JEPA 潜空间预测器作为负责高频低级运动演化的“小脑”（Cerebellum），规避了让大模型直接预测高维物理状态的低效与发散风险。
特征调制的工程优雅性：无需修改 V-JEPA 核心架构或引入沉重的双向交叉注意力，通过离线预计算 VLM 隐状态配合在线轻量 FiLM 模块，在几乎不增加推理延迟的前提下带来巨大性能增益。
多任务一致性泛化：不仅在灵巧手操作上显著降低了轨迹末端误差，同时无缝泛化至机器人推移与纯视觉物理常识推理（Physion），证明了语义引导对通用物理动态建模的普遍价值。

局限与展望¶

单向开环引导限制：目前系统架构为 VLM 到 JEPA 的单向语义前馈，缺少反向的物理动力学反馈闭环；当微观物理交互出现意外阻碍时，VLM 无法根据潜空间碰撞动态即时修正高层规划。
预计算缓存依赖：实验中 VLM 思考者特征依赖离线 Cache，在长视频流式实时推演或动态交互控制场景下，持续调用大模型思考者将带来额外的算力与显存开销。
闭环控制落地：当前验证侧重于轨迹预测与被动物理场景评估，尚未直接部署在闭环强化学习或真实机器人具身控制策略中进行在线验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出大模型语义指导与 JEPA 潜空间动力学结合的双时间通路架构，突破传统 VLM 物理预测瓶颈。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 EgoDex、EgoExo4D、BAIR推移、Physion四大场景，包含主实验、基准对比、消融分析与长程递推。
理论深度: ⭐⭐⭐⭐☆ 深入剖析了语言输出瓶颈与数据分布失配的成因，分层金字塔与 FiLM 的设计逻辑严谨自洽。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰，论点推进层次分明，图表丰富详实。
价值: ⭐⭐⭐⭐⭐ 为具身智能中“高层语义推理”与“底层连续物理动力学”的融合开辟了极具可扩展性的新范式。