MineEvolve: Self-Evolution with Accumulated Knowledge for Long-Horizon Embodied Tasks¶

会议: NeurIPS 2026
arXiv: 2603.13131
代码: https://github.com/xzw-ustc/MC-MineEvolve
领域: 机器人
关键词: 具身智能, 长程规划, 知识自演化, 经验记忆, 局部故障修复

一句话总结¶

MineEvolve 提出了一种无需更新大模型参数的具身自演化框架，通过监测器提取类型化执行反馈，将成功轨迹归纳为可复用技能、将失败停滞归纳为局部修复补策，并在精选器与适配器协同下实现长程任务的受控局部重规划，显著突破了复杂工具链任务的完成瓶颈。

研究背景与动机¶

具身智能体在开放世界交互环境（如 Minecraft）中执行长程复杂任务时，通常面临极为深厚的前置依赖链条。从基础木材采集、石质工具制作，到铁矿冶炼、红石机构搭建乃至钻石装备获取，任何一步细微的物理执行偏差——如工具缺失、地形阻挡、图形界面操作异常或探索停顿——都会导致整条任务链溃败。现有多模态大语言模型（MLLM）规划器虽然具备强大的目标分解与语义推理能力，但在面对交互物理环境带来的不确定性与执行扰动时，往往难以将历史交互经验有效转化为未来的行动指引。

现有具身智能体利用经验的方式主要存在两大瓶颈：一类方法依赖静态经验检索或原始轨迹回放，仅能被动匹配相似案例，无法从失败中提炼出具体该“如何修改当前动作”的操作指导；另一类方法依赖无约束的自由文本反思（Free-form Reflection），生成的自然语言反思缺乏显式的触发条件、量化验证规则和可执行的修复步骤，容易沦为“下次更小心”或“重新尝试”等宽泛且无效的空洞提示，导致智能体陷入低效的重复尝试或灾难性重规划。

针对长程依赖环境下规划与反馈解耦的核心痛点，本文提出将底层多模态交互信号提升为高层可执行的行为知识。与其每次遭遇挫折便丢弃整条规划从头生成，不如精准保留已完成的有效前缀，仅对未完成部分进行靶向修复。核心 idea：构建知识驱动的具身自演化闭环 MineEvolve，利用类型化执行反馈将成功经验抽象为带验证规则的技能（Skills），将失败与停滞抽象为带触发模式的补策（Remedies），并在上下文预算约束下实现对未完成计划的局部修复与跨任务持续知识积累。

方法详解¶

整体框架¶

MineEvolve 并不微调规划器语言模型的权重，而是围绕外部结构化行为知识库构建持续演化闭环。系统整体包含四个紧密衔接的处理阶段：首先，Monitor（监测器）跟踪子目标执行轨迹，输出包含状态变化、物品栏增量、失败类型、综合进度与停滞标记的类型化执行反馈；其次，Inducer（归纳器）从连续成功的子目标序列中提炼出可复用技能，从频繁失败或停滞的窗口中归纳出带修复动作的补策；随后，Curator（精选器）对候选知识执行严格的完整性检验、匹配性校验、可执行性校验、特异性过滤与冲突排查，并在固定 token 预算内根据规划上下文检索高相关知识；最后，Adaptor（适配器）冻结已成功执行的计划前缀，结合检索到的技能与当前激活的补策集合，仅对未完成的子目标计划进行局部重规划。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境交互与子目标执行轨迹<br/>低层策略执行动作并返回观测"] --> B["1. 监测器类型化反馈提取<br/>状态差分/物品增量/进度评估/停滞判定"]
    B --> C["2. 归纳器双向知识生成<br/>成功链提炼技能 / 失败停滞归纳补策"]
    C --> D["3. 精选器知识校验与预算检索<br/>五维规则过滤冲突 + 提示预算约束相关检索"]
    D --> E["4. 适配器前缀冻结与局部修复<br/>保留有效前缀 + 结合补策重构未完成子目标"]
    E --> F["更新后可执行计划<br/>驱动底层执行器继续闭环交互"]

关键设计¶

1. 监测器类型化反馈提取：解耦多维状态变化与停滞判定 针对自由文本反馈缺乏结构化约束的问题，监测器将第 $i$ 个子目标 $z_i$ 的执行过程压缩为规范的七元组类型化反馈： $$e_i = (z_i, y_i, \Delta s_i, \Delta v_i, f_i, p_i, \ell_i)$$ 其中 $y_i \in \{0, 1\}$ 表示子目标是否达成，$\Delta s_i$ 和 $\Delta v_i$ 分别刻画环境状态与背包物品的实际变化量，$f_i$ 诊断具体失败类型（如导航受阻、GUI异常、前置物品缺失等）。为了精准捕获缺乏有效进展的盲目移动或无效界面操作，算法设计了融合坐标方差、背包增量与任务特定进度的归一化进度函数： $$p_i = \lambda_x \frac{\operatorname{Var}(x_{i, 1:T})}{\epsilon_x + \operatorname{Var}(x_{i, 1:T})} + \lambda_v \frac{\|\Delta v_i\|_1}{\epsilon_v + \|\Delta v_i\|_1} + \lambda_g p_i^{\mathrm{goal}}$$ 当综合进度低于设定阈值且子目标未完成时，停滞指示变量置位 $\ell_i = \mathbb{I}[p_i < \epsilon_p \land y_i = 0]$。这种形式化表达排除了无意义的主观推测，使底层的真实物理状态直接成为上层知识演化的客观依据。

2. 归纳器双向知识生成：构建技能与补策的统一表征 归纳器根据执行反馈的成功与失败属性，分别生成两类互补的行为知识。技能与补策均统一表示为六元组结构 $k = (\mathrm{type}, c, u, \phi, \rho, E)$，其中 $c$ 为触发上下文，$u$ 为核心操作内容，$\phi$ 为适用性或验证规则，$\rho$ 为置信度分值，$E$ 为提供证据支持的历史执行反馈集合。对于技能（$\mathrm{type} = \mathrm{skill}$），$u$ 记录连续验证成功的子目标动作链、前置依赖及预期状态变化，用于正面指导后续同类任务的快速复用。对于补策（$\mathrm{type} = \mathrm{remedy}$），$u$ 则编码具体的风险模式与矫正修复动作。补策的生成受滑动窗口失败率与停滞信号的双重触发： $$\frac{1}{h} \sum_{j=i-h+1}^{i} \mathbb{I}[y_j = 0] \ge \eta_{\mathrm{fail}} \quad \text{or} \quad \ell_i = 1$$ 这一机制既滤除了偶然性的单次探索扰动，又能对反复发生的瓶颈与陷入死循环的停滞行为进行快速捕获并对症下药。

3. 精选器知识校验与预算检索：防范记忆污染与上下文爆炸 为了防止模糊、矛盾或不可执行的冗余文本污染外部知识库，精选器在接纳新候选知识 $k$ 进入知识库 $\mathcal{K}$ 前执行严格的五维过滤准则： $$\mathrm{Accept}(k, \mathcal{K}) = \mathbb{I}\left[V_{\mathrm{schema}}(k) \land V_{\mathrm{match}}(k) \land V_{\mathrm{exec}}(k) \land V_{\mathrm{spec}}(k) \land \neg C_{\mathrm{conflict}}(k, \mathcal{K})\right]$$ 该规则依次核验模式完整性、上下文状态可匹配性、底层执行器动作可执行性、建议具体特异性（剔除“请仔细检查”等宽泛套话），并拦截与现有高置信度知识冲突的条目。在规划推理阶段，精选器根据当前目标、背包状态与最近失败类型计算相关性，并在设定的 token 预算上限 $B$ 内求解最优子集检索： $$\mathcal{K}^R_i = \arg\max_{\mathcal{S} \subseteq \mathcal{K}} \sum_{k \in \mathcal{S}} r(c_i, k), \quad \text{s.t.} \quad \sum_{k \in \mathcal{S}} \mathrm{tokens}(k) \le B$$ 从而在保证高价值知识注入的同时，避免大模型规划上下文发生无节制膨胀。

4. 适配器前缀冻结与局部修复：兼顾历史成果与动态容错 当检测到任务遭遇多轮失败或陷入停滞需要重规划时，适配器避免了传统方案中直接全量推翻重来的弊端。系统将原始规划 $\mathbf{z}_{1:N}$ 中已顺利达成或依然有效的前缀子序列 $\mathbf{z}_{1:i}$ 予以冻结保护，仅对未完成的后缀序列进行靶向重构： $$\mathbf{z}'_{1:N} = \left[\mathbf{z}_{1:i}, \; \mathrm{Repair}(g, s_i, \mathbf{z}_{1:i}, \mathcal{K}^R_i, \mathcal{A}_i)\right]$$ 其中激活补策集合 $\mathcal{A}_i = \mathcal{M}^R_i \cup \{k_{\mathrm{temp}}^{\mathrm{remedy}}\}$ 融合了知识库检索的历史补策与针对当前故障即时生成的临时补策。大模型规划器在此强约束指导下，主动向前插入必要的前置条件动作（如合成并放置工作台、清理障碍泥土方块或切换备用开采路径），有效遏制了局部错误的雪崩式扩散。

一个完整示例¶

以智能体在野外收集原木并合成木镐的复合任务为例： 1. 执行与停滞诊断：智能体生成子目标“靠近目标橡木”，但在行进至地形边界时因被 2 格高的泥土方块阻挡而无法前进。智能体连续 3 次尝试移动，坐标方差极小且背包原木数量保持为 0。监测器计算得出综合进度分 $p_i < \epsilon_p$，触发停滞标记 $\ell_i = 1$，同时诊断失败类型为导航地形受阻。 2. 补策归纳与准入：归纳器依据停滞反馈立即构建候选补策 $k_{\mathrm{temp}}^{\mathrm{remedy}}$，设定触发条件为“目标前方存在高于1格的阻挡方块且坐标无位移”，修复动作为“先破坏阻挡方块或跳跃搭桥绕行”。精选器校验其动作属于底层动作原语且描述具体，允许进入激活补策集。 3. 前缀冻结与局部重规划：适配器保留此前已完成的空手探索前缀，在未执行的“靠近原木”前插入修复子目标“破坏阻挡泥土”。智能体执行破坏后通道打开，顺利伐木并收集到 3 块原木。 4. 制作失败与二阶修复：随后智能体在背包小界面中尝试直接合成木镐，因缺少 3x3 制作网格而合成失败。监测器记录 GUI 错误与物品未产生变化，归纳出“未放置工作台即尝试高阶工具制作”补策。适配器再次局部修复，插入“制作并放置工作台”前置动作。任务最终顺利达成，且两条有效路径分别被精选器提炼为标准化技能与补策永久写入外部知识库。

实验关键数据¶

主实验¶

评估在包含 7 个科技树层级共 70 项长程任务的 Minecraft MCU 基准上展开。智能体在完全清空背包的真实生存模式下运行，基于第一人称视角与结构化感知状态采取动作。对比方法包括 DEPS、JARVIS-1、Optimus-1 以及采用 GOAP 规划的 Optimus-2。除 Optimus-2 外，其余方法均统一采用 STEVE-1 作为底层控制执行器，并严格对齐了观察动作接口、检索预算与大模型调用次数。

规划器骨干	方法	简易任务平均 (Easy Avg. %)	困难任务平均 (Hard Avg. %)	全局加权成功率 (Overall %)
Qwen3.5-Plus	DEPS	58.65	9.66	29.25
Qwen3.5-Plus	JARVIS-1	71.04	23.62	42.59
Qwen3.5-Plus	Optimus-1	73.66	29.93	47.42
Qwen3.5-Plus	Optimus-2 (GOAP)	74.50	33.25	49.75
Qwen3.5-Plus	MineEvolve (本文)	75.61	37.13	52.52
GPT-5.5	DEPS	61.34	11.92	31.69
GPT-5.5	JARVIS-1	72.41	25.07	44.01
GPT-5.5	Optimus-1	75.29	31.35	48.92
GPT-5.5	Optimus-2 (GOAP)	75.60	35.70	51.66
GPT-5.5	MineEvolve (本文)	76.98	40.23	54.93

注：简易任务加权平均涵盖 Wooden(11)、Stone(10)、Gold(7) 共 28 项任务；困难任务加权平均涵盖 Iron(16)、Redstone(6)、Diamond(7)、Armor(13) 共 42 项依赖深层任务；全局成功率为 70 项任务的整体加权均值。

消融实验¶

基于 Qwen3.5-Plus 骨干与 STEVE-1 执行器，在四个高依赖困难任务组（铁质、红石、钻石、护甲）上检验各核心组件的贡献及反馈粒度的敏感度：

反馈与知识构建来源	铁质任务 (Iron %)	红石任务 (Redstone %)	钻石任务 (Diamond %)	护甲任务 (Armor %)	困难组平均 (Hard Avg. %)
二值信号反馈 (Binary Feedback)	42.36	24.72	10.28	18.36	27.06
轨迹级自由文本反思 (Trajectory Reflection)	46.88	26.79	11.94	20.36	29.98
仅复用成功技能 (Skills Only)	48.12	27.50	12.86	22.15	31.25
仅复用失败补策 (Remedies Only)	52.34	29.80	15.43	25.10	34.62
去除精选器过滤 (w/o Curator)	50.15	28.12	14.20	23.40	33.10
去除局部修复机制 (w/o Adaptor)	47.90	27.10	12.50	21.80	31.05
完整类型化反馈与系统 (MineEvolve)	55.83	31.24	17.06	27.63	37.13

关键发现¶

困难任务增益极其显著：在深层依赖的钻石（Diamond）与护甲（Armor）任务组上，MineEvolve 相比最强基线展现出成倍的提升。在 GPT-5.5 骨干下，困难组成功率达到 40.23%，相较 Optimus-1（31.35%）和 Optimus-2（35.70%）均取得显著优势，表明长程任务的决胜关键在于对局部失败的容错与纠偏。
补策价值超越单纯技能复用：消融表明，仅依赖失败补策（Remedies Only, 34.62%）的表现明显优于仅复用成功技能（Skills Only, 31.25%）。这证实了在复杂开放世界中，懂得“如何从错误与障碍中复原”比单纯记住“顺境时如何成功”对长程任务鲁棒性具有更为决定性的影响。
类型化反馈是自演化的基石：将类型化反馈降级为二值成功率或文本反思，困难组平均表现分别滑落 10.07 与 7.15 个百分点。纯自然语言反思因缺乏与环境交互状态的精准对齐，难以生成包含前置约束与量化校验的有效动作。
知识演化呈现可持续增长：在 0 到 400 轮交互的知识积累实验中，MineEvolve 的困难组平均成功率从 25.13% 持续单调攀升至 35.02%，且精选器的预算控制将单轮平均检索 token 稳定在 1200 左右，检索延迟低于 0.25 秒，验证了该框架在避免上下文爆炸前提下的长效进化能力。

亮点与洞察¶

从无序记忆到类型化因果知识的跃迁：以往智能体常将完整的长轨迹或模糊的文本总结堆砌进提示词，MineEvolve 首次将执行反馈明确拆解为状态差分、物品增量、故障归因与停滞诊断，将物理交互因果转化为机器可精准匹配的显式约束。
前缀保护与局部嫁接的优雅纠错设计：在长程任务中推翻已有成果重新规划往往代价惨重。适配器通过冻结有效前缀、仅将补策嫁接于未完成子任务的做法，极大减少了大模型反复重规划引入的幻觉与方差。
轻量解耦的免训练持续演化路径：不修改大语言模型参数，完全通过外部精选知识库与提示工程实现智能体性能跨轮次单调递增，为资源受限场景下部署终身学习具身智能体提供了极佳的工程范式。

局限与展望¶

强依赖领域特定的环境状态接口：当前类型化反馈的构建深度依赖 Minecraft 提供的结构化状态（如物品栏精准清单、方块坐标与界面 GUI 状态）；若迁移至非结构化或高度缺乏真值状态的真实物理机器人环境，如何从纯 RGB 视频流中无监督抽象出高可信的类型化执行信号仍是开放挑战。
底层执行策略能力上限的制约：MineEvolve 聚焦于高层子目标的重构与调度，当底层控制器（如 STEVE-1）在连续运动控制或精细操作（如高难度怪物搏斗、极限跳跃跑酷）上发生不可逆的物理失败时，高层知识无法完全弥补底层动作能力的欠缺。
跨领域知识迁移机制有待拓展：现有技能与补策主要针对特定物块与配方层级构建，缺乏更深层次的本体抽象与类比推理能力，难以直接零样本迁移到不同动力学规律或物品体系的异构开放世界中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (将具身自演化系统性解耦为类型化反馈、双轨知识归纳、精选过滤与前缀冻结局部修复，构思精巧严密)
实验充分度: ⭐⭐⭐⭐⭐ (在涵盖 70 项任务的 MCU 基准上跨多款主流大模型开展充分评测，包含深度的知识积累分析与消融实验)
写作质量: ⭐⭐⭐⭐⭐ (算法数学形式化清晰，附录伪代码完备，图表表现力强)
价值: ⭐⭐⭐⭐⭐ (为开放世界具身智能体克服长程复杂依赖瓶颈、实现终身经验沉淀提供了切实可行的解决路线)