Lifting Ego World Models for Planning and Control¶

会议: ECCV 2026
论文: ECCV 官方页面
代码: https://alexn.wang/lwm
领域: 机器人/具身智能
关键词: 具身世界模型 / 动作空间提升 / 路径点规划 / 第一人称视角 / 交叉熵方法 (CEM)

一句话总结¶

针对类人具身智能体高维关节动作导致世界模型控制与规划难的问题，本文提出通过轻量策略将当前观测中的稀疏 2D 骨骼末端路径点升阶映射为低维动作空间，使冻结世界模型的 CEM 规划误差降低 3.8 倍且显著降低计算代价。

研究背景与动机¶

世界模型（World Models）通过在当前观测和动作条件下自回归预测未来环境演化，为具身智能体的物理常识学习与预演规划提供了坚实基石。随着研究逐步从简化的网格环境、二维导航拓展至高度逼真的类人具身（Human-like Embodiment）复杂场景，控制动作空间的维度与复杂度呈现爆炸式增长。以全身运动捕获（如 XSens 模型）为例，控制单个手臂伸展或抓取需要肩、肘、腕等多个关节在连续旋转空间（如每步 48 维）中高度协调联动，导致基于采样的传统规划算法（如交叉熵方法 CEM）面临严重的维度灾难，搜索空间随着序列长度与动作维数指数级膨胀，收敛极其缓慢甚至退化。

面对高维控制难题，先前具身导航与操作模型多尝试使用目标图像（Goal Observation）作为条件引导。然而在第一人称（Egocentric）视角下，智能体自身的躯干与肢体绝大部分时间处于视野之外，目标图像本身无法提供足够的末端位姿与全身关节线索；加之目标图像本身处于高维像素空间，直接利用它来检索或驱动采样规划在计算上不可行。直接在低维连续关节空间使用启发式搜索不仅极易产生违反生理约束的畸变动作，更难以引导智能体完成复合的长程交互任务。

受人类视觉运动控制神经机制（大脑后顶叶皮层将视空目标表征传递给运动皮层解析为具体肌腱动作）的启发，本文提出一种提升抽象层级（Lifting）的设计思路：与其直接在未经约束的高维关节动作空间盲目搜索，不如将规划空间收敛到智能体第一人称当前画面上易于标注与搜索的低维视觉目标。核心 idea：训练一个轻量级扩散策略将当前帧中投影的稀疏 2D 骨骼末端路径点（Waypoints）转换为低级全身关节位移序列，并将其与冻结的世界模型级联构成提升世界模型（Lifted World Model），使 CEM 规划直接在仅 8 维的视觉路径点空间中高效迭代。

方法详解¶

整体框架¶

提升世界模型（Lifted World Model, LWM）的核心思想是在保持底层高保真低级世界模型（PEVA）完全冻结的前提下，通过引入一个轻量级的目标条件扩散策略网络 $\pi_\theta$，在高级抽象动作空间与底层高维物理控制之间建立桥梁。整个系统包含三个层级： 1. 高级动作空间表达：在当前第一人称观测画面中定义稀疏的 2D 目标路径点集合 $a^\text{HL}$，分别指定骨骼末端关节在当前视角的期望到达位置； 2. 动作升阶策略网络：策略网络 $\pi_\theta$ 以历史观测帧、自身位姿序列以及高级目标路径点为条件，一次性去噪生成一段包含 $T$ 个时间步的低级全身关节角增量序列 $a^\text{LL}_{t:t+T-1}$； 3. 低级自回归推演与规划：底层世界模型 $f_\phi$ 接收该连续关节动作序列，逐步推演生成未来预测帧 $o_{t+1:t+T}$，供上层交叉熵算法（CEM）评估感知相似度成本并更新路径点分布。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["当前视点观测与位姿<br/>o_t, p_t"] --> B["2D 末端关节路径点<br/>骨盆/头部/双手 8维高级动作"]
    B --> C["高层次条件策略网络<br/>轻量级动作扩散模型"]
    C --> D["低级关节动作序列<br/>T 步 48维运动位移"]
    D --> E["底层冻结世界模型<br/>自回归前向推演未来观测"]
    E --> F["交叉熵方法规划<br/>在 2D 路径点空间迭代搜索"]

关键设计¶

1. 2D 末端路径点动作空间：消除高维搜索爆炸 在类人具身骨骼结构中，全身关节动作通常表现为骨盆位移以及各关节欧拉角在局部坐标系中的增量，具有极强的运动耦合性与冗余度。为了实现直观且可搜索的目标表征，本文并没有引入复杂的 3D 目标坐标或高维稠密轨迹，而是仅提取 XSens 骨骼树中的四个关键末端关节（Leaf Joints）：骨盆（Pelvis）、头部（Head）、左手（Left Hand）以及右手（Right Hand）。在训练阶段，利用前向运动学（Forward Kinematics）结合相机内参外参矩阵 $P$，将未来目标位姿 $p_g$ 的 3D 关节坐标投影到当前第一人称图像 $o_t$ 上，形成仅由 4 个 2D 点坐标构成的 8 维高级动作： $$a^\text{HL} = \{w_\text{pelvis}, w_\text{head}, w_\text{left\_hand}, w_\text{right\_hand}\} \in [0, 1]^8$$ 将 3D 目标升阶并投影到 2D 像素视平面，不仅消除了对外部绝对深度传感的强依赖，而且充分利用了当前 RGB 画面的透视与场景几何上下文；相比于单步 48 维、多步数百维的原始关节空间，8 维空间极大地压缩了规划搜索复杂度。

2. 随机路径点掩码机制：支持稀疏与反事实意图 在真实的具身规划场景中，用户或任务规划器往往仅关心局部行为（例如仅需骨盆路径点实现移动导航，或仅需双手路径点执行台面物品抓取），且在大幅度转身或弯腰时部分肢体关节会移出视场之外。为了让策略网络具备推断未指定关节自然姿态的能力，本文在训练目标扩散策略时引入了随机路径点掩码（Waypoint Masking）策略：在 50% 的训练样本中保留完整的路径点信息，而在另外 50% 的样本中，对每个关节路径点以 0.5 的概率进行独立掩码；当所有路径点均被掩码时，模型退化为纯无条件动作生成分布 $p(a^\text{LL}_{t:t+T-1}|o_t, p_t)$。这种训练方式迫使去噪网络学习人类自然的肢体协调协同机制（Coordinated Whole-body Motion），在推理时即便只给定单个头部点，模型也能自发规划出合理的转身步态和躯干平衡。

3. 提升世界模型上的交叉熵规划：以低维搜索驱动高维仿真 在利用世界模型预演轨迹时，传统的 CEM 算法直接在低级关节参数化分布中采样候选动作，由于自由度过高且动作分布非凸，优化容易在局部最小值停滞，甚至生成极其怪异的撕裂姿态。而在提升世界模型中，CEM 算法的先验分布 $p_\text{HL}(\cdot)$ 完全建立在 2D 路径点空间上：在每一轮迭代中，算法仅需在图像平面的有限区域内采样 $N$ 组候选路径点，送入策略 $\pi_\theta$ 生成合乎运动学生理约束的关节动作序列，再由底层世界模型 $f_\phi$ 推演出未来预测帧 $\hat{o}_g$。通过计算预测帧与目标图像 $o_g$ 之间的感知相似度成本 $C(\hat{o}_g, o_g)$，挑选出代价最小的 $M$ 个精英样本拟合高斯分布并更新均值与方差。该架构使得长程规划解耦为“高级意图搜索”与“低级生理运动合成”两层，兼顾了搜索效率与物理合理性。

损失函数 / 训练策略¶

底层世界模型 PEVA 保持参数完全冻结。策略网络 $\pi_\theta$ 采用基于 DINOv3 视觉特征编码器的 Diffusion Policy 架构进行参数学习。网络以条件扩散去噪为目标，在加噪的动作序列 $\epsilon \sim \mathcal{N}(0, I)$ 上最小化均方误差损失： $$\mathcal{L}(\theta) = \mathbb{E}_{k, \epsilon, a^\text{LL}, o_t, p_t, a^\text{HL}}\left[ \|\epsilon - \epsilon_\theta(a^{\text{LL}, k}, k, \text{Encoder}(o_t, a^\text{HL}), p_t)\|^2 \right]$$ 其中 $k$ 为扩散时间步。训练过程中高级路径点直接绘制在观测图像 $o_t$ 对应的像素位置（赋予不同末端关节固定的颜色通道标示），结合 DINOv3 特征与空间池化，使得网络能够精确提取路径点与当前环境交互表面之间的几何相对关系。

实验关键数据¶

主实验¶

在由真实日常交互构成的 Nymeria 数据集 128 个混合导航与交互规划测试任务上，对比了 CEM 直接在低级关节动作空间搜索（PEVA CEM）、各种前向策略基线以及在提升高级路径点空间搜索（Lifted CEM）的效果。评估指标为最终到达位姿与真实目标位姿之间的平均关节误差（Mean Joint Error, MJE，单位为米），分别统计末端关节（Leaf）、躯干中间关节（Int.）及全身所有关节（All）。

方法	末端关节 MJE (m) ↓	中间关节 MJE (m) ↓	全身关节 MJE (m) ↓	说明
初始姿态间距 (Initial Distance)	0.724	0.697	0.704	初始位姿与目标位姿差距
1-NN 复制基线 (Copy Baseline)	0.696	0.663	0.672	最近邻动作匹配
无条件策略 (Uncond. Policy)	0.677	0.641	0.650	仅基于历史帧盲猜
扩散策略 (Diffusion Policy)	0.605	0.578	0.585	传统目标图像条件策略
分层扩散策略 (HDP)	0.540	0.502	0.512	分层运动学规划基线
PEVA CEM (低级关节直接搜索)	0.637	0.608	0.616	6 轮迭代 / 64 样本
Lifted CEM (3D 路径点)	0.453	0.407	0.420	引入深度信息的路径点规划
Lifted CEM (2D 路径点，本文)	0.411	0.359	0.374	较初始间距减小 33cm，较 PEVA 提升 3.8×

消融实验¶

在 Nymeria 验证集上对策略网络的架构改进与路径点条件设置进行了细致消融。对比了无目标条件（Unconditioned）与目标条件（Goal-Conditioned）下的 MJE 指标。

模型配置	无条件 Leaf MJE (m) ↓	无条件 All MJE (m) ↓	条件 Leaf MJE (m) ↓	条件 All MJE (m) ↓	关键改动说明
初始姿态间距	0.445	0.426	0.445	0.426	起点位姿参考基准
随机权重初始	0.749	0.718	0.735	0.703	未经训练网络输出
基础策略 (Base Policy)	0.427	0.405	0.414	0.392	基于 NoMaD 扩散架构
+ 骨干架构优化	0.406	0.384	0.388	0.367	引入 DINOv3 与池化
+ 姿态上下文历史	0.359	0.337	0.343	0.323	注入过去自身关节状态
+ 路径点条件引导	0.353	0.331	0.262	0.243	显著拉开条件生成差距
+ 路径点掩码 (最终模型)	0.437	0.415	0.243	0.226	大幅提升目标条件对齐能力
3D 路径点 (+深度)	0.360	0.338	0.243	0.226	增加深度未带来明显增益
3D 路径点 + 掩码	0.415	0.398	0.223	0.208	搜索时因维度升高反而落后

关键发现¶

直接低级关节搜索极易失效：PEVA CEM 在 6 轮 CEM 迭代中，全身 MJE 仅从 0.704m 降低至 0.616m（优化幅度仅 8.8cm），甚至在迭代超过 1 步后出现发散和撕裂；而 Lifted CEM 将 MJE 压低至 0.374m（优化幅度达 33.0cm），净提升幅度达到传统直接搜索的 3.8 倍。
2D 路径点优于 3D 路径点搜索：虽然带深度信息的 3D 路径点在单步策略拟合上有极其微弱的提升，但在 CEM 搜索优化中，由于参数维度由 8 维扩增至 12 维且连续深度值分布极难精准采样，3D Lifted CEM 的最终规划误差（0.420m）反而明显逊于 2D 纯图像视平面路径点（0.374m）。
未见场景的强泛化能力：在完全排除地点 6、19 和 34 的数据上单独训练策略后，进行跨场景迁移评估，Lifted CEM 在留存测试环境中的全关节 MJE 仍达到 0.362m，远优于 PEVA CEM 的 0.553m，表明该轻量级运动升阶先验具有优异的几何与物理泛化性。

亮点与洞察¶

将视觉视空目标与低层物理驱动解耦：论文敏锐地指出了第一人称具身控制中“无法看到自身身体”导致目标图像失灵的本质，巧妙利用当前画面上的 2D 投影点作为桥梁，既符合人类“看哪里走哪里、指哪里抓哪里”的直觉认知，又规避了关节角度的高维非线性搜索。
即插即用的无侵入式提升架构：该方法不需要重新训练或微调参数庞大的高保真世界模型，只需单独训练一个轻量级的动作映射策略即可完成系统的“抽象层级提升”，展现了极高的工程复用价值。
场景上下文敏感的运动重定向：在相同的双手 2D 路径点引导下，面对灶台场景策略能自动合成向前抬臂抓锅的操作姿态，而面对开阔走廊则合成自然下垂伴随前进的步态，表明策略学会了将离散路径点与背景语义空间几何有机结合。

局限与展望¶

规划视距受制于固定策略长度：当前策略网络输出的动作序列长度固定（$T=8$ 步），在应对极其长程的导航任务时，需要依赖多阶段外循环启发式拼接，尚未实现自适应多尺度时间粒度的分层推演。
遮挡与视野边界下的鲁棒性边界：虽然引入了掩码机制，但若目标位姿的所有关键末端均大幅度落入视场背后，2D 视平面投影将退化或产生歧义，后续可探索结合环视全景或拓扑记忆图的高级空间动作表征。
高自由度灵巧手指微操未完全建模：当前末端路径点仅定义到手腕与手掌中心层级，对于涉及独立多指节协调的精细灵巧接触操作，仍需进一步设计局部几何接触引导。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出通过 2D 骨骼末端路径点升阶解耦高维动作空间，将第一人称世界模型转化为高效可规划系统的思路极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖无条件/有条件、可见/不可见消融、3D 对比、算力预算收敛曲线以及未见环境泛化评测，逻辑严密。
写作质量: ⭐⭐⭐⭐⭐ 动机清晰直击第一人称具身痛点，方法表述精炼数学推导规范，图表信息传递极其直观。
价值: ⭐⭐⭐⭐⭐ 为类人高自由度具身智能体基于世界模型进行无碰撞导航与全身协同交互规划提供了极具实用价值的范式参考。