MineEvolve: Self-Evolution with Accumulated Knowledge for Long-Horizon Embodied Minecraft Agents¶

会议: NeurIPS 2026
arXiv: 2603.13131
OpenReview: https://openreview.net/forum?id=7Szr25wtMg
代码: https://github.com/xzw-ustc/MC-MineEvolve
领域: 机器人
关键词: 具身智能, Minecraft智能体, 自我演化, 行为知识库, 局部计划修复

一句话总结¶

MineEvolve 提出了一种无需更新大模型权重的具身自演化框架，通过监控器将交互执行压缩为类型化反馈，自动诱导可复用技能与故障补救措施，并在长程依赖任务中实现前缀冻结的局部计划修复。

研究背景与动机¶

在开放世界三维沙盒环境（如 Minecraft）中构建具身智能体，不仅要求智能体能够基于静态目标分解出高层规划，更要求其具备在与复杂环境动态交互中持续自我演化的能力。像制作红石元件、冶炼铁器乃至合成钻石装备等长程任务，依赖着错综复杂的前置依赖链条，往往涵盖资源采集、工作台制作、矿石搜寻、熔炉冶炼与长距离导航等多阶段复合操作。然而，当前主流基于大语言模型或多模态大模型的规划智能体在面对此类任务时，频频崩溃于细粒度的底层执行故障——例如关键工具缺失、路径被地形阻挡、GUI 交互状态异常或遗漏前置条件。

现有具身智能体的自改进范式大多面临核心矛盾：一类方法仅维护原始交互轨迹或静态成功案例检索，在遇到环境扰动或未见错误时无法提供针对性的修复指导；另一类方法依赖大模型生成非结构化的自由文本反思（Free-form Reflection），由于缺乏可验证的执行字段、精确的状态触发条件与可执行的修复动作，容易沦为空泛的“再试一次”或“更加小心”，不仅无法纠正错误甚至导致错误在下游长程子目标中恶性级联。

为了克服这些局限，研究者迫切需要一种机制，能够将底层的细粒度执行信号升华为结构化、可操作的行为知识，使失败不再作为被动记录而是转化为主动重规划的驱动力。核心 idea：构建一套闭环的外置行为知识自演化系统，通过监控器将子目标执行轨迹解构为类型化状态与停滞反馈，由诱导器双轨提炼出正向技能与逆向补救措施，经由严格准入管理后，驱动自适应器在保留有效历史前缀的同时精准修补下游失败计划。

方法详解¶

整体框架¶

MineEvolve 将具身智能体的自我演化建模为外置行为知识系统的持续积累与动态调用，全流程完全不改变大模型底座或底层控制器的模型参数。系统输入为全局任务目标 $g$ 与当前多模态状态 $s_t$，语言模型规划器 $\pi_\theta$ 首先检索相关知识生成初始高层子目标序列 $\mathbf{z}_{1:N}$，并由底层控制器执行。

整个闭环架构由四个紧密串联的核心模块构成： 1. 类型化执行监控与停滞检测（Monitor）：解析底层执行轨迹，提取环境差分、背包差分与任务特定进度，实时标记失败类型与低进展死循环停滞； 2. 双轨行为知识诱导机制（Inducer）：从连续可验证的成功轨迹片段中抽取正向“技能”（Skills），从反复失败或死循环片段中提炼逆向“补救措施”（Remedies）； 3. 严格准入过滤与预算约束检索（Curator）：对候选知识进行模式完备性、状态可匹配性、底层可执行性、特异性与冲突性校验，并在严格 Prompt Token 预算下检索相关条目； 4. 前缀冻结与局部修补重规划（Adaptor）：在检测到重复失败或停滞时，冻结已成功执行的计划前缀，结合临时生成的局部补救条目，仅对剩余未完成的子目标序列进行定向修复。

整体架构与执行流程如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务目标与环境状态<br/>(Goal g, State s)"] --> B["Curator: 知识库检索<br/>技能与补救措施"]
    B --> C["高层规划器<br/>生成初始子目标序列 z_1:N"]
    C --> D["底层执行器 (STEVE-1)<br/>执行当前子目标 z_i"]
    D --> E["类型化执行监控与停滞检测<br/>提取差分并计算进度与停滞"]
    E --> F["双轨行为知识诱导机制<br/>成功→技能 / 失败→补救措施"]
    F --> G["严格准入过滤与预算约束检索<br/>校验冲突并更新知识库 K"]
    E -->|检测到重复失败或停滞| H["前缀冻结与局部修补重规划<br/>冻结 z_1:i，仅修复下游后缀"]
    H --> D
    G -.->|注入活跃补救与知识| H

关键设计¶

1. 类型化执行监控与停滞检测：将执行动态解构为结构化反馈

以往方法将底层交互粗暴地二元化为“成功/失败”或记录整段冗长文字描述，丢失了状态演化的核心事实。Monitor 模块将第 $i$ 个子目标 $z_i$ 的执行过程细粒度解析为标准七元组类型化反馈： $$e_i = (z_i, y_i, \Delta s_i, \Delta v_i, f_i, p_i, \ell_i)$$ 其中 $y_i \in \{0, 1\}$ 表示子目标是否达成，$\Delta s_i$ 与 $\Delta v_i$ 分别表示执行前后的环境实体状态差分与背包物品数量差分，$f_i$ 为诊断出的底层失败类别。为了精准捕捉诸如“在目标方块前反复徘徊却未采集”、“GUI 界面空转无产出”等假死循环，Monitor 引入综合了坐标方差、背包变化以及任务特定进度（如合成进度、熔炼时间）的归一化进展指标 $p_i$： $$p_i = \lambda_x \frac{\operatorname{Var}(x_{i,1:T})}{\epsilon_x + \operatorname{Var}(x_{i,1:T})} + \lambda_v \frac{\|\Delta v_i\|_1}{\epsilon_v + \|\Delta v_i\|_1} + \lambda_g p_i^{\mathrm{goal}}$$ 当任务未完成且进展低于阈值时，停滞指示符触发激活： $$\ell_i = \mathbb{I}[p_i < \epsilon_p \land y_i = 0]$$ 该设计使智能体无须等待整场任务超时，就能即时识别出无效探索与卡死状态。

2. 双轨行为知识诱导机制：从成功中萃取技能，从挫败中沉淀补救

Inducer 将类型化反馈映射为统一结构的外置行为知识条目 $k = (\mathrm{type}, c, u, \phi, \rho, E)$，其中 $\mathrm{type} \in \{\mathrm{skill}, \mathrm{remedy}\}$，$c$ 为触发上下文，$u$ 为知识核心内容，$\phi$ 为前置适用或验证条件，$\rho$ 为置信度，而 $E$ 则是支撑该知识的反馈轨迹片段集合。对于正向技能，Inducer 在识别到连续子目标达成且达成最终物品产出时，提炼出可迁移的执行动作序列与验证条件（例如“收集原木 $\to$ 合成木板 $\to$ 合成木棍”）；对于逆向补救措施，Inducer 采用滑动窗口错误率与停滞综合触发条件： $$\frac{1}{h}\sum_{j=i-h+1}^{i}\mathbb{I}[y_j=0] \ge \eta_{\mathrm{fail}} \quad \text{or} \quad \ell_i = 1$$ 这一过滤策略既消除了偶发单次执行波动的噪点干扰，又确保了反复暴露的缺陷（如缺少工作台无法合成 3×3 物品、缺少熔炉无法炼铁）能被明确沉淀为“触发场景-风险模式-修正操作”三位一体的补救条目。

3. 严格准入过滤与预算约束检索：防范知识库幻觉与上下文膨胀

直接将所有大模型生成的反思写入记忆容易造成知识库被泛化废话或冲突条目污染。Curator 模块设立了严格的形式化准入函数 $\mathrm{Accept}(k, \mathcal{K})$： $$\mathrm{Accept}(k,\mathcal{K})=\mathbb{I}\left[V_{\mathrm{schema}}(k)\land V_{\mathrm{match}}(k)\land V_{\mathrm{exec}}(k)\land V_{\mathrm{spec}}(k)\land\neg C_{\mathrm{conflict}}(k,\mathcal{K})\right]$$ 其中 $V_{\mathrm{schema}}$ 校验字段完备性，$V_{\mathrm{match}}$ 确认触发条件与环境状态字段可比对，$V_{\mathrm{exec}}$ 确保建议动作必须属于底层执行器的原子动作空间，$V_{\mathrm{spec}}$ 坚决剔除诸如“注意周围环境”等空泛描述，而 $C_{\mathrm{conflict}}$ 拦截与库内现有高置信度知识矛盾的条目。在检索阶段，Curator 在设定的上下文 Prompt Token 预算 $B$ 下求解相关度加权最大化： $$\mathcal{K}^R_i = \arg\max_{\mathcal{S}\subseteq\mathcal{K}} \sum_{k\in\mathcal{S}} r(c_i, k), \quad \text{s.t.} \quad \sum_{k\in\mathcal{S}}\mathrm{tokens}(k) \le B$$ 从而确保注入规划器的正向技能 $\mathcal{S}^R_i$ 与逆向补救措施 $\mathcal{M}^R_i$ 始终高度贴合当前情境，杜绝长上下文导致的推理延迟和幻觉。

4. 前缀冻结与局部修补重规划：保留有效资产的靶向计划更新

传统的重规划机制在发生单步故障时往往推倒重来，重新生成从初始到最终的完整计划，不仅浪费计算开销，还极易丢失智能体在前半段历经波折才积累的资源与位置优势。Adaptor 采取“前缀冻结”哲学，在第 $i$ 步子目标检测到失败或停滞时，将已被验证成功的子目标前缀 $\mathbf{z}_{1:i}$ 锁定，提取包含库检索补救与当步诱导临时补救的活跃集合 $\mathcal{A}_i = \mathcal{M}^R_i \cup \{k_{\mathrm{temp}}^{\mathrm{remedy}}\}$，调用规划器重构未完成的后缀： $$\mathbf{z}'_{i+1:N} \leftarrow \pi_\theta(g, s_i, \mathbf{z}_{1:i}, \mathcal{S}^R_i, \mathcal{A}_i)$$ 更新后的计划拼接为 $\mathbf{z}'_{1:N} = [\mathbf{z}_{1:i}; \mathbf{z}'_{i+1:N}]$。例如当智能体在合成铁镐卡壳时，Adaptor 不会重置伐木与挖矿的前置成果，而是精准插入“寻找并放置工作台”作为下游补救子目标，实现长程规划的高效容错。

损失函数 / 训练策略¶

MineEvolve 本质上是一种无需参数梯度更新（Training-Free / Non-parametric Evolution）的持续自演化架构。 - 参数冻结：规划器核心（如 Qwen3.5-Plus、GPT-5.5）与底层执行策略（如预训练的 STEVE-1 模型）在全生命周期中均保持权重完全冻结，规避了强化学习微调带来的灾难性遗忘与高昂计算资源消耗。 - 显存与硬件部署：系统在配备 8 张 NVIDIA A40 GPU 的工作站集群上并行驱动 Minecraft 仿真环境并批处理 STEVE-1 的视觉与键鼠动作推理；高层规划与反思诱导则采用严格的结构化 JSON 提示词协议，通过 API 进行推理交互。 - 运行时预算控制：在评测中严格对齐基线，限定每次决策的 Prompt Token 检索预算（$B \approx 1200$ tokens）与单回合大模型最大调用次数预算（Evaluation-time LLM-call budget 控制在约 8 次左右），以此保证性能增益完全源自知识诱导与精准修复机制本身，而非推理阶段算力堆砌。

实验关键数据¶

主实验¶

基于 Minecraft MCU 科技树评测套件中的 70 项长程挑战任务展开评测，任务横跨简单组（木、石、金，共 28 题）与困难组（铁、红石、钻石、护甲，共 42 题）。在保持底层执行策略（STEVE-1）一致且严格控制评估协议的条件下，MineEvolve 与 DEPS、JARVIS-1、Optimus-1 以及原生基于 GOAP 的 Optimus-2 展开全面对比。

规划器底座	方法	简单任务加权平均 (Easy Avg. %)	困难任务加权平均 (Hard Avg. %)	全局加权成功率 (Overall SR %)
Qwen3.5-Plus	DEPS	58.65	9.66	29.25
	JARVIS-1	71.04	23.62	42.59
	Optimus-1	73.66	29.93	47.42
	Optimus-2 (GOAP)	74.50	33.25	49.75
	MineEvolve (本文)	75.61	37.13	52.52
GPT-5.5	DEPS	61.34	11.92	31.69
	JARVIS-1	72.41	25.07	44.01
	Optimus-1	75.29	31.35	48.92
	Optimus-2 (GOAP)	75.60	35.70	51.66
	MineEvolve (本文)	76.98	40.23	54.93
Gemini-3-Flash	DEPS	59.07	10.06	29.66
	JARVIS-1	70.62	22.98	42.04
	Optimus-1	73.26	29.04	46.73
	Optimus-2 (GOAP)	74.86	34.19	50.45
	MineEvolve (本文)	75.47	36.42	52.04

消融实验¶

为了剖析不同反馈源的颗粒度对行为补救知识有效性的具体影响，论文在 Qwen3.5-Plus 规划器下固定底层控制器、知识库容量与检索预算，对比了三种不同反馈形式在困难任务组上的表现：

补救知识输入源 (Source of Remedies)	铁器组 (Iron %)	红石组 (Redstone %)	钻石组 (Diamond %)	护甲组 (Armor %)	困难组平均 (Hard Avg. %)
仅二元反馈 (Binary Feedback)	42.36	24.72	10.28	18.36	27.06
轨迹级自然语言反思 (Trajectory Reflection)	46.88	26.79	11.94	20.36	29.98
类型化执行反馈 (MineEvolve Typed Feedback)	55.83	31.24	17.06	27.63	37.13

在模块消融中，单独移除 Curator 过滤或 Adaptor 局部修复均导致明显掉点；其中“仅补救措施（Remedies Only）”的成功率显著超越“仅技能重用（Skills Only）”，印证了在长依赖深层决策中针对偶发故障的纠偏知识比单纯记忆成功套路更为关键。

关键发现¶

困难组任务增益最为显著：MineEvolve 在 Iron、Redstone、Diamond 与 Armor 等高依赖长程任务组中相比 Optimus-1 分别取得了约 +9.8%、+3.0%、+5.6% 和 +8.5% 的大幅提升，表明细粒度补救措施能精准切除深层前置依赖缺失导致的错误传播链。
经验规模持续正向演化：在知识积累曲线测试中，冻结不同交互回合数（0 到 400 episodes）的知识库进行测试发现，MineEvolve 的困难组成功率从无知识冷启动的 25.13% 稳步跃升至 35.02%，显著超越静态知识库（28.22%）与自由文本反思（29.56%），验证了结构化知识的可沉淀与跨任务复用性。
运行时开销可控：即便在累积 400 回合交互（包含 143 条技能和 191 条补救措施）后，平均单步检索耗时仅为 0.25 秒，单回合大模型调用次数保持在 8.31 次平稳区间，没有引起推理上下文爆炸。

亮点与洞察¶

从自由文本反思迈向类型化可执行操作：摒弃了以往大模型反思中缺乏实证支撑的空泛语段，将执行信号解构为环境差分、背包差分与进展检测，赋予了反思明确的可触发条件与底层执行映射。
前缀冻结的局部精准切除重规划：打破了“一步出错全盘重来”的旧有思维，最大化保留了已获得的物质与空间资产，以最低的规划重置成本化解了局部死锁。
课程化跨阶梯知识迁移启示：钻石任务的课程化实验表明，在基础木石阶段预训练的采矿与合成补救经验能无缝向高级钻石装备阶段正向迁移，奠定了具身大模型自演化的普适路线。

局限与展望¶

环境专用感知信号的依赖：目前 Monitor 模块依赖 Minecraft 专有的结构化状态输入（如精准背包差分、GUI 状态与坐标方差），在纯依赖无标定视觉流的真实世界机器人具身场景中难以直接复刻。
底层原子动作容错上限瓶颈：由于未对底层 STEVE-1 策略进行微调，当底层控制器本身物理操控彻底失效（如极端复杂地形跳跃跌落岩浆）时，高层规划修复也回天乏力。
未来方向：探索基于多模态大模型的通用视觉状态差分估计器，并将外置行为知识与底层低级技能微调（如 RL / LoRA）形成深浅结合的双层演化回路。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出将执行反馈解构为技能与补救措施的外置自演化架构，前缀冻结局部修复机制极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 70 项 MCU 科技树任务、横跨 5 大主流大模型规划器、具备细致的消融对比与知识累积动态分析。
写作质量: ⭐⭐⭐⭐⭐ 形式化数学定义严谨，算法伪代码与提示词设计详尽，图表信息量极其丰富。
价值: ⭐⭐⭐⭐⭐ 为长程复杂开放世界具身智能体的自改进与容错规划提供了高复用性的无梯度演化范式。