CrafterDojo: A Suite of Foundation Models for Building Open-Ended Embodied Agents in Crafter¶
会议: NeurIPS 2026
arXiv: 2508.13530
代码: https://github.com/frechele/CrafterDojo
领域: 机器人 / 具身智能
关键词: 具身智能、基础模型、Crafter、行为先验、指令跟随
一句话总结¶
CrafterDojo 针对 2D 开放世界基准 Crafter 缺乏基础模型与大规模数据的困境，提出了行为先验 C-VPT、视觉语言对齐 C-CLIP 与指令跟随 C-Steve-1 组成的基础模型套件，并配套高质量演示生成与自动化标注工具包，使具身智能体免受 Minecraft 沉重工程负担即可实现快速原型设计与层级长程规划。
研究背景与动机¶
构建能够自主习得技能、面向长程目标规划并适应开放世界环境的人类级具身智能体（Embodied Agents），是人工智能领域的长期核心挑战。由于开放世界任务具备极高复杂度、多样性以及对常识推理的依赖，单纯依靠从零开始的强化学习极不现实。近年来，以 Minecraft 为代表的开放世界模拟沙盒成为了具身智能研究的主流试验台。Minecraft 提供了丰富的任务空间与海量的人类游戏视频，基于此催生了 VPT（行为先验基座）、MineCLIP（视觉语言对齐）以及 Steve-1（文本条件指令跟随）等里程碑式基础模型，极大推动了以大语言模型为高层规划器、基础模型为低层执行器的层级具身智能体的发展。
然而，Minecraft 作为一款原本面向商业娱乐的 3D 游戏，用于学术研究时暴露出了严重的系统瓶颈：其仿真环境极其笨重、计算开销大、运行缓慢且频繁崩溃，代码深度封装也使得环境自定义与机制扩展极其困难。在学术界通常需要“先在轻量可控基准上快速验证想法、再向复杂环境扩展”的敏捷迭代范式下，Minecraft 过于沉重的工程开销阻碍了新型具身控制与规划思路的快速探索。为此，社区提出了 2D 顶视角纯 Python 实现的轻量化基准 Crafter。Crafter 完美保留了 Minecraft 的程序化世界生成、资源采集、工具制作、生存管理和战斗等核心挑战，运行速度极快且高度可扩展。但遗憾的是，Crafter 的研究长期停留在孤立狭窄的任务上，绝大多数工作仍局限在低效的端到端无先验强化学习，仅以解锁预设的 22 项成就为目标。
导致 Crafter 潜力未能充分释放的核心症结，正是该环境缺乏一套像 Minecraft 那样完备的基础模型生态。由于 Crafter 缺乏互联网规模的人类游戏轨迹和文本标注，无法直接套用现成模型。本文的研究切入点正是填补这一空白，提出一套完整的具身基础模型研发与数据生成全流程。核心 idea：通过专家策略强化学习生成与规则驱动的多模态标注，构建 CrafterPlay 与 CrafterCaption 大规模基准数据，进而训练行为基座 C-VPT、多模态对齐 C-CLIP 和指令跟随 C-Steve-1，解锁 Crafter 作为轻量、敏捷的开放世界通用具身智能研究新试验场。
方法详解¶
整体框架¶
CrafterDojo 的整体架构旨在将 Minecraft 成功的基础模型范式系统性复刻并改造到轻量级环境 Crafter 中。系统主要由两大自动化数据集生成工具包、三大核心基础模型，以及下游层级规划智能体构成。首先，专家行为生成器通过大规模强化学习训练专家策略，采集包含 20,000 条轨迹的 CrafterPlay 行为数据集；其次，字幕生成器基于 15 类环境交互状态机规则对视频片段自动打标，并引入大语言模型（LLM）进行重述扩增，形成包含 230 万对视频-文本片段的 CrafterCaption 数据集。在此数据底座上，CrafterDojo 分别训练了行为基座 C-VPT、视觉语言表征 C-CLIP，以及基于事件驱动重标记和 CVAE 目标映射的指令跟随智能体 C-Steve-1，最终支持分层控制器执行复杂的长程序列任务。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
subgraph DGen["自动数据生成工具包"]
direction TB
A1["专家行为生成器<br/>PPO-RNN 强化学习+生存惩罚"] --> D1["CrafterPlay 数据集<br/>20k 轨迹 / 1.8亿环境步"]
A2["规则字幕生成器与大模型重述<br/>15类状态规则 + LLM 语义改写"] --> D2["CrafterCaption 数据集<br/>230万段 6帧视频-文本对"]
end
D1 --> B1["专家演示合成与行为基座 C-VPT<br/>ResNet + TransformerXL 行为克隆"]
D2 --> B2["规则状态机标注与多模态表征 C-CLIP<br/>视频/文本双塔对比学习"]
B1 --> B3["事件驱动重标记与指令跟随 C-Steve-1<br/>策略头目标调制 + CVAE 文本先验映射"]
B2 --> B3
B3 --> C["分层规划与长程指令链协同<br/>PPO-Steve 规划器 / 启发式指令链串联"]关键设计¶
1. 专家演示合成与行为基座 C-VPT：克服数据匮乏与空操作陷阱 针对 Crafter 缺乏互联网真人视频的问题，本模块构建了专家行为生成器（Expert Behavior Generator）。首先在 Craftax-Classic 符号状态环境中利用 PPO-RNN 训练专家策略 10B 步。为了防止智能体在解锁全部 22 项成就后因缺乏进一步成就奖励而导致生存行为大幅退化，训练中特别引入了 -10 的生存惩罚项，促使策略即使在达成所有目标后依然保持顽强求生能力。基于此专家策略在像素环境下采集了包含 20,000 条完整轨迹、共计 1.8 亿时间步的 CrafterPlay 数据集。 在模型结构上，C-VPT 采用与 VPT 相同的 ResNet + TransformerXL + Policy Head 架构。与人类游戏视频中包含大量无动作标注、需借助逆动力学模型（IDM）打伪标签的 Minecraft VPT 不同，CrafterPlay 自带精准的地面真值动作标签，可直接通过行为克隆进行监督训练。同时，针对数据集中高达 60% 的空操作（noop，其中相当大部分为睡眠等待），若完全不过滤会导致模型严重惰性化，若全量剔除又会扼杀类似躲避箭矢的战术潜伏等待，作者设计了精细的过滤机制：仅滤除小于 20 步的短 noop 序列，将空操作比例压制至 4.6%，既显著提升了学习效率，又完整保留了环境交互中的高价值战术停顿。
2. 规则状态机标注与多模态表征 C-CLIP：低成本高质量的视觉语言对齐 在缺乏人类自然语言配音和文字解说的情况下，训练通用视觉语言模型极难收敛，而直接应用在自然域视频预训练的 CLIP4Clip 在 Crafter 像素环境中检索 Recall@1 仅有可怜的 1.7%。为此，团队设计了基于环境状态机的字幕生成器（Caption Generator）。该工具包监控智能体的 17 种动作与环境底层状态变化（如背包增减、地图方块变动、实体血量与交互），定义了涵盖成就（Achievement）、移动（Movement）、建造（Construct）、战斗（Combat）四大维度的 15 组精确规则。每当满足规则判定时，自动提取包含动作触发后一帧的 6 帧连续视频切片 \(o_{t-4:t+1}\)，并填入结构化字幕模板。 为解决模板化规则文本语言多样性不足的缺陷，引入基于大语言模型（o4-mini-high）的语义扩增策略（借鉴 LaCLIP 思路），为 61 个基础模板中的每一个生成 40 种独有且不引入虚构物品的句式变体，拓展至 2,440 条丰富表达。针对类别样本倾斜问题进行均衡采样后，最终构建了 230 万视频-文本对的 CrafterCaption 数据集。在此数据上训练的 C-CLIP 采用图像时序聚合与文本双塔对比学习架构，使视觉特征与自然语言描述建立起强健的对齐空间。
3. 事件驱动重标记与指令跟随 C-Steve-1：突破密集任务的时序解耦 在 Minecraft 中单项任务耗时较长，因此 Steve-1 所采用的打包后验重标记（Packed Hindsight Relabeling）可随机均匀采样未来目标。但在节奏极快的 2D Crafter 中，智能体常在数步之内连续完成多项互不相同的动作（例如仅用 3 步相继完成“放置工作台”、“制作木镐”、“制作木剑”）。如果机械地随机跨区间取样目标，会将毫无因果关联的多个子任务生硬捆绑到同一目标特征下，造成策略混淆。 为此，C-Steve-1 提出了事件驱动的后验重标记（Event-based Packed Hindsight Relabeling）：利用 CrafterCaption 的规则标签精确检测语义事件边界，将相同事件标签的连续帧聚合为统一事件切片，仅在单一事件切片内部进行目标采样。在网络结构上，C-Steve-1 修正了原版 Steve-1 在 ResNet 之后注入目标的低效做法，改为在 TransformerXL 输出之后、Policy Head 之前通过仿射变换注入目标嵌入 \(\tilde{x}'_{1:t} = \tilde{x}_{1:t} + W_\theta z_{1:t} + b_\theta\)，并通过 LoRA 参数高效微调保持 C-VPT 的底层行为先验。同时，针对推理期用户输入为自然语言、而策略底层调制依赖 C-CLIP 视频嵌入的不对称性，专门训练了一个两层 MLP 结构的条件变分自编码器（CVAE），学习将文本语义嵌入映射到视觉目标潜空间，并在采样动作时通过无分类器引导（Classifier-Free Guidance, CFG）强化指令执行遵循度。
一个完整示例¶
以复杂长程任务 T4（“获取煤炭 \(\rightarrow\) 制作木镐 \(\rightarrow\) 获取石头”）在层级架构中的协同流转为例： 1. 高层任务规划：上层调度器（PPO 规划器或启发式规则链）感知智能体当前背包与环境状态，检测到背包无木镐且前方需挖掘石头，决定当前子目标为“craft wood pickaxe”（制作木镐）。 2. 文本-视觉目标翻译：输入的文本指令传入 C-CLIP 文本编码器获得特征向量 \(z_{\text{t}}\)。该向量输入离线预训练的 CVAE 先验模型，由潜在生成器解码为预期的 C-CLIP 视觉目标嵌入 \(z_{\text{goal}}\)。 3. 低层动作调制与引导：当前游戏画面的像素观测流过 C-Steve-1 的 ResNet 与 TransformerXL，提取历史状态上下文 \(\tilde{x}_{1:t}\)。通过线性投影将 \(z_{\text{goal}}\) 叠加至上下文隐向量，并在策略头上应用比例为 \(\lambda=1.5\) 的分类器自由引导计算组合 logits： $\(\text{logits} = (1+\lambda)\pi_\theta(a_t \mid o_{1:t}, z_{\text{goal}}) - \lambda\pi_\theta(a_t \mid o_{1:t})\)$ 4. 子任务闭环完成：C-Steve-1 自主调用 C-VPT 习得的底层行为原语（走位靠近工作台并执行交互），成功合成木镐。高层检测到背包状态更新后，立即无缝下发下一条指令“obtain stone”（获取石头），完成整条长程任务链路。
损失函数 / 训练策略¶
CrafterDojo 的各个组件针对性地采用了三套核心训练目标与优化策略： 1. C-VPT 行为克隆损失：在 CrafterPlay 数据集上，直接最大化专家动作的似然对数： $\(\mathcal{L}_{\text{cvpt}} = \mathbb{E}_{(o_{1:t}, a_t) \sim \mathcal{D}_{\text{play}}} \left[ -\log \pi_\theta(a_t \mid o_{1:t}) \right]\)$ 使用 AdamW 优化器，配置余弦学习率衰减与 10M 步预热。针对 Tiny（3.2M）、Base（15.9M）和 Large（64.3M）三种规格，学习率分别设为 \(5\times 10^{-4}\) 和 \(1\times 10^{-4}\)。 2. C-CLIP 对比学习损失：在大小为 \(B\) 的批次内，针对视频片段 \(\mathbf{o}_b\) 及其 LLM 扩增后的随机释义文本 \(c'_b\)，计算对称对比 InfoNCE 损失： $\(\mathcal{L}_{\text{cclip}} = -\sum_{b=1}^{B} \log \frac{\exp(\text{sim}(E_V(\mathbf{o}_b), E_T(c'_b)))}{\sum_{k=1}^{B} \exp(\text{sim}(E_V(\mathbf{o}_k), E_T(c'_k)))}\)$ 采用 0.65 的层级学习率衰减（Layerwise LR Decay）和 0.5 的预训练层学习率乘子，优化 2 个 epoch。 3. C-Steve-1 目标条件策略与 CVAE 先验损失： - 指令跟随策略在事件重标记数据 \(\mathcal{D}_{\text{play}}^{\text{relabel}}\) 上微调： $\(\mathcal{L}_{\text{csteve1}} = \mathbb{E}_{(o_{1:t}, a_t, z_{1:t}) \sim \mathcal{D}_{\text{play}}^{\text{relabel}}} \left[ -\log \pi_\theta(a_t \mid o_{1:t}, z_{1:t}) \right]\)$ 采用 LoRA 针对 TransformerXL 进行轻量更新（可训练参数仅占基线 PPO-RNN 的 3%）。 - CVAE 目标先验模型在 120k 视频-文本嵌入对上拟合，联合最小化 KL 散度与负重构对数似然： $\(\mathcal{L}_{\text{prior}} = \mathbb{E}_{(z_{\text{v}}, z_{\text{t}}) \sim \mathcal{D}_{\text{prior}}} \left[ \mathrm{KL}(q_\phi(z_{\text{v}} \mid z_{\text{t}}) \parallel p(z_{\text{v}})) - \mathbb{E}_{c \sim q_\phi(z_{\text{v}} \mid z_{\text{t}})} [\log p_\phi(z_{\text{v}} \mid c, z_{\text{t}})] \right]\)$
实验关键数据¶
主实验¶
为了全面验证 CrafterDojo 的行为表征与视觉语言对齐能力，作者进行了基准成就得分和跨模态检索的双重对比。在表 1 中，C-VPT 与人类基准及以往最强强化学习/世界模型基准进行了全面对比。
| 方法 | Crafter 得分 (%) | 累计回报 Return (%) | 说明 / 设定 |
|---|---|---|---|
| Human Expert (人类专家) | \(50.5 \pm 6.8\) | \(65.0 \pm 10.5\) | 像素级观测输入 |
| \(\Delta\)-IRIS (世界模型基线) | \(9.3\) | \(35.0 \pm 3.2\) | 既往基于世界模型的无先验 RL |
| Dedieu et al. (2025) (前 SOTA) | \(31.8 \pm 1.4\) | \(69.7 \pm 1.2\) | 改进 Transformer 世界模型的强化学习 |
| Expert Policy (CrafterPlay 源策略) | 97.5 | \(98.4 \pm 0.04\) | 状态观测输入，10B 环境步训练上限 |
| C-VPT (tiny, 3.2M) | \(52.9 \pm 4.0\) | \(66.8 \pm 0.1\) | 纯像素输入，超越人类专家表现 |
| C-VPT (base, 15.9M) | \(61.0 \pm 3.0\) | \(\mathbf{71.8 \pm 0.1}\) | 比前 SOTA 得分高出近一倍 |
| C-VPT (large, 64.3M) | \(\mathbf{61.4 \pm 4.7}\) | \(71.3 \pm 0.1\) | 达到最高成就综合得分 |
在表 2 中，作者在 CrafterCaption 1,000 条保留测试片段上评估了视觉-语言检索能力，直接对比了在通用自然视频上预训练的 CLIP4Clip。
| 模型 | R@1 (%) | R@5 (%) | R@10 (%) | 平均排名 (MeanR) |
|---|---|---|---|---|
| CLIP4Clip (通用域 WebVid 预训练) | 1.7% | 9.0% | 19.0% | 29.6 |
| C-CLIP (CrafterCaption 训练) | 89.8% | 96.1% | 90.6% | 1.4 |
在表 3 中，针对需要复杂时序推理的四项长程稀疏奖励任务（T1: 种植并等待成熟食用；T2: 放置植物后放置工作台；T3: 制作木镐后采集树苗；T4: 采集煤炭后制作木镐再采集石头），评估了 C-Steve-1 单指令与指令链（Instruction Chaining）的成功率表现。
| 评估任务 | 单一整体指令 (Single Instruction) | 启发式指令链 (Instruction Chaining) | 相对提升 |
|---|---|---|---|
| T1: 吃植物 (Eat plant, 含300步成熟等待) | 66% | 81% | +15% |
| T2: 放置植物 \(\rightarrow\) 放置工作台 | 62% | 96% | +34% |
| T3: 制作木镐 \(\rightarrow\) 采集树苗 | 64% | 90% | +26% |
| T4: 采集煤炭 \(\rightarrow\) 制作木镐 \(\rightarrow\) 采集石头 | 33% | 80% | +47% |
消融实验¶
表 4 评估了目标条件注入方式对 C-Steve-1 指令遵循性能的影响。对比了原版 Steve-1 的 TransformerXL 条件（TrXL Cond）与在策略头上直接进行仿射变换的条件（Head Cond），同时考察了全量微调与 LoRA 微调的差异。
| 任务 | TrXL Cond (全量) | TrXL Cond (LoRA) | Head Cond (全量) | Head Cond (LoRA) |
|---|---|---|---|---|
| 采集树苗 (Collect Sapling) | 80% | 98% | 70% | 97% |
| 收集饮水 (Collect Drink) | 99% | 85% | 91% | 84% |
| 制作木镐 (Make Wood Pickaxe) | 71% | 81% | 95% | 97% |
| 制作木剑 (Make Wood Sword) | 74% | 93% | 64% | 99% |
| 制作石镐 (Make Stone Pickaxe) | 4% | 7% | 91% | 98% |
| 制作石剑 (Make Stone Sword) | 56% | 70% | 95% | 89% |
| 平均成功率 (Average) | 64.0% | 72.3% | 84.3% | 94.0% |
关键发现¶
- 模型结构调制点的决定性影响：将条件目标从特征主干注入后移到 Policy Head（Head Cond），配合 LoRA 微调后，平均任务成功率从 TrXL Cond 的 72.3% 暴增至 94.0%。尤其在高级工具制作（制作石镐）上，传统方式几近瘫痪（仅 7%），而 Head Cond 达到了惊人的 98%，证明在保留主干时间序列动态的同时在输出端直接偏置动作分布是指令遵循的更优范式。
- 事件驱动重标记是解决快节奏动作的关键：在消融实验中，传统的无事件标记随着目标采样距离增加，成功率在制作木镐等精细操作上出现断崖式暴跌；而基于语义边界切分的事件重标记算法不仅保持了近 100% 的极高胜率，且对目标时间跨度展现出超强的鲁棒性。
- 空操作过滤的微妙平衡：未进行 noop 过滤的 C-VPT 模型得分骤降 38%（从 61.4 跌至 38.1）。但粗暴完全剔除全部 noop 会彻底摧毁策略潜伏等待、规避远程怪物攻击的智慧行为，因此仅过滤 20 步以下短无操作是保留战术涌现行为的胜负手。
- 分类器自由引导（CFG）的权衡边界：当引导尺度 \(\lambda\) 从 0 上升至 1.5 时，动作针对性持续增强；但当 \(\lambda > 2.0\) 时，在“采集饮水”等高度依赖全局探索的任务上性能明显恶化，说明过度依赖静态指令会无情抑制预训练基座自带的探索本能。
亮点与洞察¶
- 研究闭环的工程升维：巧妙利用 Craftax 高速符号环境在 10 小时单卡上完成 10B 步强化学习得到极高质量专家策略，绕开了“鸡生蛋还是蛋生鸡”的人类数据缺失死结，为缺乏大规模人类数据的专业仿真基准构建基础模型提供了通用可复制的范式。
- 状态机与大语言模型协同标注：将低层确定性规则状态机（保证时空判定 100% 精确）与高层生成式 LLM（保证自然语言表述多变性）无缝拼接，以极其经济的成本攻克了 230 万对视频-文本多模态数据集的构建难题。
- Minecraft 具身算法向轻量基准的降维赋能：完整验证了 VPT、CLIP、Steve-1 系列算法在 2D 像素网格世界的可迁移性与强健生命力，证明无需耗费几十张高端 GPU 运行笨拙的 Minecraft，亦能在几分钟内验证长程具身智能体与层级规划的核心假说。
局限与展望¶
- 动作空间依然依赖离散原语：Crafter 的 17 个离散动作用于模拟 Minecraft 的高层决策尚可，但无法模拟真实机器人连续运动控制与细粒度灵巧手操作的连续动力学。
- 专家策略的探索覆盖受限于强化学习目标：CrafterPlay 虽然覆盖了全部 22 项成就并涌现了部分筑墙躲避箭矢等行为，但本质上仍由求生与成就奖励驱动，对于更加发散的非目标驱动开放式探索（如艺术建造）多样性依然不足。
- 未来方向：可进一步将 CrafterDojo 与具备视觉多模态能力的大模型（MLLM / VLM）在线交互结合，探索在 Crafter 上的自主代码生成（如类似 Voyager 的技能库迭代）与开箱即用的常识归纳。
相关工作与启发¶
- vs VPT (Baker et al., 2022)：VPT 依赖从 YouTube 上爬取的数万小时未标记视频，且必须额外训练庞大且误差累加的逆动力学模型（IDM）打伪标签；CrafterDojo 的 C-VPT 借助合成专家环境直接获取地面真值动作，在避免标注噪声的同时以轻量千倍的模型规模达到了超人类的成就水准。
- vs MineCLIP (Fan et al., 2022) & Steve-1 (Lifshitz et al., 2023)：MineCLIP 与 Steve-1 专为复杂 3D 的 Minecraft 打造，依赖庞大的 YouTube 游戏视频解说转录；CrafterDojo 证明了在 2D 研究级环境下，通过规则抽取结合 LLM 释义即可搭建极高保真度（R@1 达 89.8%）的视觉语言对齐桥梁，同时改进的 Head Cond 架构大幅优化了原版 Steve-1 的指令微调效率。
- vs End-to-End RL in Crafter (Hafner et al., 2023; Micheli et al., 2024)：以往世界模型或无模型 RL（如 DreamerV3、IRIS）在面对跨阶段稀疏奖励时探索极其困难；CrafterDojo 表明引入预训练行为基座与指令跟随能力后，配合极轻量的分层规划即可在长程时序任务上实现胜率的跨越式跃升。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ [首次为 2D 轻量开放世界基准 Crafter 打造全套具身基础模型与数据生成体系，打通了快速原型验证生态。]
- 实验充分度: ⭐⭐⭐⭐⭐ [涵盖行为先验、多模态检索、单步指令、多步长程规划的全链路详尽评测与充分消融。]
- 写作质量: ⭐⭐⭐⭐⭐ [结构紧凑，逻辑严密，对为何选择 Crafter 以及每项模型改造的工程机理阐述得十分通透。]
- 价值: ⭐⭐⭐⭐⭐ [为具身智能研究社区提供了一个摆脱 Minecraft 沉重负担的高效敏捷试验田，代码开源且复现成本极低。]