EmbodiedWorld-200K: Toward Embodied World Agents via Embodied-Planning Dataset and Interactive World Models¶

会议: NeurIPS 2026
arXiv: 2610.25959
项目页: https://xiaokunfeng.github.io/EmbodiedWorld-200K/
领域: 机器人
关键词: 具身世界智能体, 具身导航规划, 视频世界模型, 交互式强化学习, 直接偏好优化

一句话总结¶

针对具身智能体在开放世界泛化受限与交互环境构建昂贵的瓶颈，本文推出包含 20 万余条多层级标注轨迹的基准数据集 EmbodiedWorld-200K，并提出“离线监督预训练 + 视频世界模型代理交互式 DPO 后训练”的两阶段训练范式，显著提升智能体在分布外复杂场景下的导航规划能力。

研究背景与动机¶

多模态大语言模型（MLLMs）在静态图文语义理解与跨模态推理任务上取得了突破性进展，但其训练数据几乎完全来自被动观察的离线多媒体语料。由于缺乏在三维物理世界中主动执行动作并感知状态反馈的经验，这类模型学到的智能本质上是离身且被动的，在需要“感知-决策-执行”紧密闭环的具身交互任务中暴露出严重的规划断裂与物理幻觉问题。为了使智能体具备跨越异构环境的通用认知与执行能力，构建通用具身世界智能体（Embodied World Agents, EWAs）已成为通向通用人工智能的核心研究路径。

然而，现存具身智能体探索长期局限于单一仿真器或受限物理平台。例如，传统视觉-语言导航（VLN）基准大多局限于有限的室内扫描点位，机械臂操作数据集聚焦于固定构型机械臂在受控台面的抓取，而自动驾驶语料则完全受制于结构化道路交通语义；现有研究严重缺乏覆盖广阔开放三维场景、具备多层级语义标注的大规模基准数据集。更为关键的矛盾在于，开放环境 EWAs 的泛化策略必须通过人机闭环交互获得，而在物理现实或高成本商业游戏引擎中搭建高并发交互评测环境的代价极其高昂。针对这种数据与仿真平台的双重匮乏，视频生成世界模型的成熟提供了全新曙光，其原生具备依据输入动作预测下一帧多模态时空画面的动力学模拟潜能。

本文的研究切入点是：将开放世界智能体的通用动作空间收敛至普遍适用的相机位移与视角旋转，以超过 150 款三维开放世界游戏视频提炼出通用的具身导航规划任务底座，并将视频生成模型作为零成本环境模拟代理实现交互闭环。核心 idea：构建包含超 20 万条多层级具身规划轨迹的 EmbodiedWorld-200K 数据集，并通过“离线监督预训练注入通用世界先验 + 视频世界模型内代理交互式强化学习（DPO）后训练适配目标分布”的两阶段流水线，彻底打通开放世界具身智能体的低成本训练通路。

方法详解¶

整体框架¶

本文构建了完整的通用具身世界智能体学习体系。在数据侧，系统从 150 余款现代开放世界 3D 游戏原生视频中提取 6-DoF 相机位姿，通过导航连贯分段、动作幅度量化与层次化目标指令生成，构建出统一三元组表征 \((o_0, \ell, \mathbf{a}_{1:T})\)；在算法侧，基线模型采用原生文本 token 空间统一输出位移与旋转序列，结合两阶段训练机制实现闭环提升。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["开放世界游戏原始视频与位姿轨迹"] --> B["导航连贯分段与初态提取<br/>平滑位移角偏差判定与质量过滤"]
    B --> C["物理幅度标定与离散动作量化<br/>混合运动预算累加至固定单元"]
    C --> D["双轨意图指令生成与真实验证<br/>细粒度移动描述与目标导航指令"]
    D --> E["阶段 I：离线监督预训练<br/>注入通用开放世界导航规划先验"]
    E --> F["阶段 II：视频世界模型交互式强化学习<br/>LingBot 代理展开 + VQA 奖励 + DPO 优化"]
    F --> G["分布外场景高质量具身策略输出"]

关键设计¶

1. 导航连贯分段与初态提取：过滤无目标晃动以锁定纯净导航意图 原始游戏视频往往包含大量无规律视角漂移、菜单停留、过场动画或频繁折返，无法直接作为目标导向的具身规划轨迹。为此，系统利用 VIPE 算法从原始视频提取 6-DoF 相机位姿并进行滑动窗口平滑，持续追踪累积主运动方向。一旦瞬时运动偏离主方向超过阈值 \(\theta_{\text{cut}} = 90^\circ\) 且持续至少 \(F_{\text{cut}} = 3\) 帧，算法即触发截断点，将长视频切割为独立的导航连贯片段（Navigation-Coherent Segment, NCS）。进一步设定净位移与路径积分比值阈值 \(\rho_{\text{disp}} \ge 0.3\)、曲率方差 \(\sigma_\kappa^2 \le 1.5\) 以及最小帧长 \(L_{\text{min}} = 60\)，彻底剔除剧烈晃动与徘徊样本，并将每个存活片段的起始帧锚定为具身规划的初始视觉观测 \(o_0\)。

2. 物理幅度标定与离散动作量化：统一跨游戏的 W/A/S/D 动作空间 为了抹平 150 款不同游戏引擎底层物理参数与控制接口的鸿沟，本文构建了对齐的统一离散键鼠动作空间（包含平移与旋转两路）。核心难点在于为动作 token 赋予自洽的物理运动量：若标定单位过粗，规划序列过短丢失导航细节；标定单位过细，序列冗长显著加剧自回归学习负担。经过全库运动尺度分布统计，系统将基础平移单元与旋转单元分别锚定为 \(\Delta_{\text{trans}} = 0.05\)（位姿归一化单位）与 \(\Delta_{\text{rot}} = 5^\circ\)。在处理各连续视频段时，维护标量运动预算累加器：

\[m_{i} = \frac{\lVert\mathbf{p}_{i+1}-\mathbf{p}_{i}\rVert}{\Delta_{\text{trans}}} + \frac{\sqrt{\Delta\text{yaw}_{i}^{2}+\Delta\text{pitch}_{i}^{2}}}{\Delta_{\text{rot}}}\]

每当累加预算达到 \(1.0\) 时便封箱生成一个时间步单元，分别在平移和旋转坐标轴上提取主副轴位移。当副轴分量达到主轴一定比例时合成对角复合键（如 WD），并对幅值微弱或往复抖动区间执行静态置零（N）。最终将每条 NCS 转变为物理含义统一的双流等长离散动作序列 \(\mathbf{a}_{1:T}\)。

3. 双轨意图指令生成与真实验证：构建多层级目标监督信号 针对不同难度层级的具身规划任务，利用 Qwen3.5-27B 视觉语言大模型自动合成两种自然语言指令 \(\ell\)。第一轨为细粒度移动指令（Detailed Movement Instruction），显式融合运动方位词（如“向左前方穿过树林”），并在后处理中引入独立的一致性校验器剔除方向标签冲突样本。第二轨为高阶目标导航指令（High-Level Goal-Navigation Instruction），仅指定语义目的地（如“前往木门处”）而不泄露任何移动动作线索。为确保目标在视觉环境中真实可达，设计了四阶段闭环验证机制：从候选目标词中剥离方位副词、利用开集检测器在初始帧 \(o_0\) 验证唯一检测框、在 NCS 终止帧定位唯一样本框，并通过大模型进行实体跨时空一致性确认。最终以高阶指令优先、细粒度指令兜底的策略，完成高质量具身三元组语料构建。

4. 视频世界模型代理交互式强化学习：免真实环境的高效分布外策略校准 离线监督微调（Stage I）只能使基线模型掌握训练集内的先验知识。面对完全未见过的分布外场景（如独立游戏 GTA5），若想让智能体感知环境特定的动力学尺度并修正执行误差，传统方案必须侵入游戏底层引擎采集真实互动轨迹。本文创新性地引入视频生成世界模型 LingBot-World-Fast 作为环境代理。智能体首先接收场景初态 \(o_0\) 与动态生成的候选目标指令 \(\ell\)，使用随机采样（\(T=0.3\)）探索生成候选动作序列并在世界模型中展开渲染出多步视频帧；随后调用多模态 VQA 奖励评估机制，在初始帧锁定目标红框并在后续状态帧评估空间逼近度、视界面积增长与障碍物阻挡状态；最后利用成对偏好数据在 DPO 损失下进行策略后训练：

\[\mathcal{L}_{\text{DPO}}(\theta; \pi_{\text{ref}}) = -\mathbb{E}_{(x, y_w, y_l)}\left[\log \sigma\left(\beta \log \frac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)}\right)\right]\]

在零物理交互消耗的条件下，智能体自适应校准了对目标环境特定动态的规划精度。

损失函数 / 训练策略¶

阶段 I 预训练基于 Qwen3-VL-4B-Instruct，采用 LoRA 微调（\(r=32, \alpha=64\)），以自回归交叉熵损失对动作 JSON 序列进行监督学习。优化器为 AdamW，学习率 \(1\times 10^{-4}\)，配合余弦退火策略与 \(5\%\) 线性预热，在 8 卡 NVIDIA H20 上训练 2 个 epoch（有效批大小 256）。阶段 II 交互式强化学习利用世界模型采样轨迹对 SFT 模型进行 DPO 微调，设置 \(\beta=0.1\)，初始学习率 \(5\times 10^{-6}\)，有效批大小 64，在冻结参考模型下优化 2 个 epoch，使得策略在保持预训练语言理解能力的同时显著压低航向误差。

实验关键数据¶

主实验¶

在 EmbodiedWorld-200K 统一评测集上，对比具身导航专用策略、游戏通用基座模型以及零样本多模态前沿模型。评测指标涵盖按步 Token 匹配度（TM，\(\uparrow\)）、全局方向准确率（DirAcc，\(\uparrow\)）、归一化动态时间规整相似度（nDTW，\(\uparrow\)）与终点导航误差（NE，\(\downarrow\)）。

模型类别	评估模型	TM (%) \(\uparrow\)	DirAcc (%) \(\uparrow\)	nDTW (%) \(\uparrow\)	NE (单位) \(\downarrow\)
具身导航模型	Uni-NaVid	47.9	61.4	30.9	100.6
具身导航模型	StreamVLN	47.2	61.5	25.9	114.7
游戏基座模型	NitroGen (无文本输入)	45.6	39.8	49.0	97.2
开源通用 VLM	InternVL3-8B (Zero-Shot)	45.3	57.4	63.4	59.7
闭源商业 VLM	Gemini-3.5 (Zero-Shot)	52.8	72.4	60.0	54.7
基础主干	Qwen3-VL-4B (Base)	54.9	70.1	67.1	51.7
本文方法	Qwen3-VL-4B (+SFT, Ours)	62.0	72.0	83.6	35.6

消融实验¶

在分布外全新环境 GTA5 上验证阶段 II（世界模型内交互式 DPO 后训练）的有效性：

训练配置	TM (%) \(\uparrow\)	DirAcc (%) \(\uparrow\)	nDTW (%) \(\uparrow\)	NE (单位) \(\downarrow\)	说明
阶段 I 基线 (w/o DPO)	65.4	84.4	66.1	48.9	仅经过 EmbodiedWorld-200K 离线监督预训练
阶段 II 增强 (w/ DPO)	75.0	82.8	92.7	13.4	在 LingBot-World 代理中完成闭环交互式 DPO

阶段 I 训练集规模对预训练收益的敏感度消融（在 EmbodiedWorld-200K 验证集）：

预训练数据规模	TM (%) \(\uparrow\)	DirAcc (%) \(\uparrow\)	nDTW (%) \(\uparrow\)	NE (单位) \(\downarrow\)
Base (0% 数据)	54.9	70.1	67.1	51.7
+SFT (1/3 数据)	56.3	70.1	83.0	40.1
+SFT (2/3 数据)	59.7	71.8	84.4	36.7
+SFT (全量 3/3 数据)	62.0	72.0	83.6	35.6

关键发现¶

离线预训练确立全局规划轮廓：从数据规模消融可以看出，仅使用 \(1/3\) 的 EmbodiedWorld-200K 语料，轨迹级指标 nDTW 便从 67.1 跃升至 83.0，终点误差 NE 从 51.7 锐减至 40.1，表明大规模游戏具身数据能极高效率地将宏观时空导航结构注入多模态模型；而全量数据则持续提升步级精度（TM 稳步提升至 62.0）。
世界模型交互式强化学习使终点误差下降 72%：在未曾见过的 GTA5 环境中，引入世界模型作为交互代理进行 DPO 后，智能体的终点导航误差由 48.9 骤降至 13.4（下降达 \(72.6\%\)），nDTW 提升至 92.7，证明生成式世界模型能够作为极其保真的交互环境代理，使策略在免部署物理环境的情况下习得目标场景的动力学微调。

亮点与洞察¶

将视频生成世界模型化作具身强化学习训练场：传统强化学习过度受制于仿真器的高昂构建成本或真实机器人的磨损风险；本研究证实前沿交互式视频生成模型具备足够的时空动力学保真度，可作为低成本的交互环境代理进行闭环策略迭代。
纯文本 Token 空间表征跨游戏键鼠动作：避免引入复杂的外部连续控制头或专有动作量化网络，直接将 W/A/S/D 按键序列作为 JSON 文本建模，最大程度保留了预训练视觉语言大模型内在的多模态语义推理底座。
自适应 VQA 闭环奖励构建机制：利用大模型直接从初态挖掘潜在可达地标，并结合步骤演进通过双帧时空问答输出细粒度偏好分数，解决了长程具身任务中人工设计密集型奖励函数的顽疾。

局限与展望¶

动作粒度仍局限于宏观导航移动：当前动作空间仅涵盖 W/A/S/D 移动与视角旋转，未涵盖按键拾取、跳跃攀爬、复杂道具使用或精细物体抓取操控，限制了其向多步复杂交互式任务的迁移。
虚拟游戏引擎与物理真实世界的域差：尽管开放游戏环境提供了丰富多样的三维感知数据，但游戏渲染纹理、理想化碰撞与真实世界复杂的传感器噪声及非刚体交互仍存在鸿沟，后续仍需在实体机器人上进行物理微调验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次系统化探索基于视频世界模型交互代理的具身智能体闭环训练，范式前沿]
实验充分度: ⭐⭐⭐⭐⭐ [跨越 150 款游戏构建 20 万级基准，多基线对比与跨域 GTA5 交互消融极具说服力]
写作质量: ⭐⭐⭐⭐⭐ [任务建模严谨，方法推导清晰完整，附录给出了详尽的提示词与超参配置]
价值: ⭐⭐⭐⭐⭐ [为具身智能从受限物理环境迈向开放世界通用具身提供了极具启发性的数据与训练基建]