MetaN: Recursive Self-Improvement through Emergent Depth¶

会议: NeurIPS 2026
arXiv: 2608.24735
代码: https://github.com/minnesotanlp/meta-n
领域: LLM Agent
关键词: 递归自改进、元推理、涌现深度、演化归档搜索、跨任务迁移

一句话总结¶

本文提出 MetaN 递归自改进框架，通过固定单一通用元算子 \(\Omega\) 并将其反复作用于累积的执行轨迹与代码产物上，打破了传统自修改智能体因保持驱动器冻结导致的元深度瓶颈，使分层策略随收敛自发涌现并显著超越既有自改进基线。

研究背景与动机¶

让大语言模型智能体具备自我改进能力是通往通用人工智能的关键一步，但在当前主流方法中，面对复杂算法设计、终端控制和数学发现任务的失败，主导范式依然局限于单层反射机制（如 Self-Refine 与 Reflexion 的“生成-评估-诊断-修复”循环）。这些智能体本质上只是在优化单次任务的具体答案，而从未改进产生这些答案的底层认知过程与算法策略。

为了突破单层反思的局限，近期研究尝试引入显式的元层机制，形成了两大主要范例：一类是以 FunSearch、AlphaEvolve 为代表的手工单层元系统，依赖外部固定的演化循环搜索候选程序，其元算子本身永不进化，实现元深度严格受限于 1；另一类是以 Gödel Agent、Darwin Gödel Machine 为代表的自指智能体，允许模型重写自身源码，但为了防止自身崩溃，必须强制冻结核心动作 API、父代选择或外层评估驱动器。这种内在矛盾迫使可修改表面仅为系统的严格子集，导致实际可达到的元深度被硬性封顶在 2 到 2.5 左右。

本文切入的角度是：系统要想超越自身，并不需要不断重写修改自身的改进器代码，而是应当把元算子本身冻结为不可破坏的不动点，让递归直接作用于它的输入空间。核心 idea：固定单一通用元算子 \(\Omega\)，使其递归吞吐底层求解器栈累积的执行轨迹与代码本身，自底向上生长出多层预处理上下文与可复用代码库，实现以收敛为终止条件且角色自发分工的高阶元递归。

方法详解¶

整体框架¶

MetaN 将元递归解耦为固定不变的元算子 \(\Omega\) 与无侵入式的外层包装器 \(M_d\)。整个求解系统从底层的基求解器 \(S_1\) 起步，在构建阶段由 \(\Omega\) 递归自底向上生成包含前置引导与辅助函数库的各层代码 \(C_d\)；在执行阶段，任务输入自顶向下逐层精炼策略上下文，最终与累积代码库联合送入基求解器执行。

方法的整体运作流程如下：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["任务输入集合 T"] --> S1["底层基求解器 S1<br/>单次提示或多轮交互求解"]
    S1 --> Traces["执行轨迹收集与分析<br/>包含 stdout/stderr/得分/报错"]
    Traces --> O2["跨任务失败模式提炼<br/>Ω 生成首层通用启发式与辅助库 C2"]
    O2 --> Stack["递归元算子输入累积<br/>Ω 综合阅读下游轨迹与历史代码栈"]
    Stack --> Od["策略上下文与函数库生成<br/>输出前置引导上下文与专用代码库 Cd"]
    Od --> Wrap["无侵入式包装器组合 Md<br/>构建嵌套求解器 Sd = Md ∘ ... ∘ S1"]
    Wrap --> Archive["演化归档搜索与继承<br/>候选链权重采样、跨链启迪与合并"]
    Archive --> Out["优化完成的多层递归求解器"]

关键设计¶

1. 跨任务失败模式提炼：打破单任务局部反思局限

传统自修正智能体在遇到依赖缺失或超时崩溃时，往往陷入单任务局部的无效重试。MetaN 在首个元层（深度 2）设计了全任务视角的执行轨迹归纳机制。元算子 \(\Omega\) 一次性审阅全任务集的执行记录，识别多任务间共享的系统性缺陷（如特定第三方库缺失、死循环超时、输出索引格式不符等）。在构建阶段，\(\Omega\) 自动提炼出高层环境规约与通用战术原语，如约束模型禁用不可用包并给出纯原生算法实现建议，同时注入基础算法库（如局部搜索、模拟退火）。这种机制使得低层生成的战术代码能够在多任务间广泛复用与迁移。

2. 递归元算子输入累积：以输入阶数增长实现不动点元推理

为了彻底摆脱自指智能体修改自身驱动器所带来的系统性脆弱，MetaN 保持元算子 \(\Omega\) 的提示词模板与系统角色在所有深度、所有基准任务上严格冻结不变。其元深度的演化完全来源于输入空间的严格单调递增：在深度 \(d \ge 3\) 时，\(\Omega\) 的输入不仅包含 \(d-1\) 层的下游执行轨迹，还显式包含生成这些轨迹的历史代码栈 \([C_2, \dots, C_{d-1}]\)：

\[\Omega: \left(\{\tau_i^{(d-1)}\}_{i=1}^N, [C_2, \dots, C_{d-1}], \mathcal{T}, d\right) \longmapsto C_d\]

由于高层能够同时看到“发生了什么后果”以及“导致该后果的代码逻辑”，\(\Omega\) 获得了诊断因果归因的高阶元推理能力。例如当第 3 层添加的激进策略导致性能回退时，第 4 层的 \(\Omega\) 能够精准定位到是前置上下文过度约束而非函数库本身缺陷，从而实施精准的策略回滚（Rollback），在保留有效工具函数的同时恢复更高弹性的分析逻辑。

3. 策略上下文与函数库生成：自顶向下约束与自底向上工具解耦

在每个深度 \(d\) 上，\(\Omega\) 输出的层级代码被解耦为双重表征 \(C_d = (f_{\text{pre}}^{(d)}, \mathcal{L}^{(d)})\)。前置处理函数 \(f_{\text{pre}}^{(d)}\) 负责生成任务级策略上下文字符串 \(\text{ctx}_d\)，在执行时沿着栈顶向内单向传递给下层 \(f_{\text{pre}}^{(d-1)}\) 进行级联精炼，构建了策略空间乘法级覆盖 \(\prod_{d=2}^n k_d\) 的高阶引导能力；辅助函数库 \(\mathcal{L}^{(d)}\) 则存储可执行的纯 Python 工具代码。在底层执行时，所有历史层级的代码库自动取并集 \(\bigcup_{k=2}^d \mathcal{L}^{(k)}\) 并通过名字覆盖机制注入到最终求解脚本的头部，既保障了底层调用的语法确定性，又赋予高层修改工具语义的能力。

4. 无侵入式包装器组合：保证执行沙箱与状态隔离的纯净嵌套

为了杜绝代码自我修改导致的脚手架破坏和环境污染，MetaN 采用函数组合包装器 \(M_d\) 构建嵌套求解器 \(S_d = M_d(C_d, S_{d-1}) = M_d \circ \cdots \circ M_2 \circ S_1\)。包装器不篡改底层求解器的内部参数与任务对象，所有动态注入的代码在执行前均经过两阶段安全检验：首先进行基于 AST 的静态语法分析与危险模块（如 os、subprocess、sys）拦截，随后在独立命名空间中进行冒烟测试以验证函数可调用性。若注入函数抛出异常，则静默丢弃并发出警告，确保沙箱执行的高健壮性。

5. 演化归档搜索与继承：平抑贪心脆弱性并实现单调递增增益

线性逐层加深对单次 \(\Omega\) 调用的随机性高度敏感，单次低质代码注入可能直接终结整条链路。MetaN 引入演化归档 \(\mathcal{A}\)，维护全局候选链集合。在每次演化迭代中，系统依据包含探索奖励的适应度权重采样父代链：

\[w(c) \propto \bar{S}(c) + \frac{\alpha}{1 + \text{children}(c)}\]

采样父代生成子代时动态轮换采样温度，并在父代落后于归档最佳的任务上追加跨候选者竞争轨迹作为启迪信息。此外，针对高层可能引发的个别任务回退，系统提供基于单任务聚焦的归档合并机制，在继承其他任务历史冻结最优轨迹的前提下逐项击破困难任务，在理论与工程上严格保证各任务最佳得分轨迹的单调不减。

实验关键数据¶

主实验¶

MetaN 在 Gemma 4 31B-IT 与 GPT-5.2 两大骨干模型上，横跨组合优化、数学发现、符号回归、终端控制及抽象推理等 8 个基准测试家族进行了全面评测，展现出全面领先既有自改进系统的性能优势。

基准任务族	评测指标	骨干模型	MetaN (归档最佳)	MetaN (最佳单链)	OpenEvolve	Gödel Agent	相对 SOTA 增益
CO-Bench (36 组合优化)	归一化得分	Gemma 4 31B	0.851 ± 0.014	0.782 ± 0.016	0.814 ± 0.022	0.451 ± 0.023	+0.037
CO-Bench (36 组合优化)	归一化得分	GPT-5.2	0.870 ± 0.011	0.806 ± 0.017	0.702 ± 0.025	0.527 ± 0.033	+0.168
AlphaEvolve Math (数学发现)	任务得分	Gemma 4 31B	0.869 ± 0.045	未单独汇报	0.802 ± 0.052	0.581 ± 0.061	+0.067
AlphaEvolve Math (数学发现)	任务得分	GPT-5.2	0.917 ± 0.016	0.820 ± 0.024	0.726 ± 0.046	0.674 ± 0.068	+0.191
Symbolic Regression (4 领域)	综合得分	Gemma 4 31B	5.22 ± 0.38	4.68 ± 0.45	未运行基线	未运行基线	内部提点 +2.09
Symbolic Regression (4 领域)	综合得分	GPT-5.2	5.03 ± 0.20	未单独汇报	3.70 ± 0.13	2.45 ± 1.63	+1.33
LawBench (罪名预测)	宏 F1	Gemma 4 31B	0.815 ± 0.013	0.796 ± 0.046	0.745 ± 0.034	0.775 ± 0.023	+0.040
ARC-AGI-2 (抽象推理)	Pass@2	GPT-5.2	0.331 ± 0.010	0.123 (单种子)	0.003 ± 0.001	0.054 ± 0.006	分类级超越 (+0.277)

消融实验¶

针对组件对系统表现的贡献，在 CO-Bench 与 AlphaEvolve Math 上对核心模块展开逐项消融验证。

条件配置	移除组件	评测环境	验证得分	相对完整版变化 \(\Delta\)	贡献机理解读
MetaN 完整版	无（基准）	Gemma 4, CO-Bench	0.845	-	完整递归、多层上下文与代码库注入
移除代码库注入	\(\mathcal{L}^{(d)}\) 工具函数库	Gemma 4, CO-Bench	0.825	-0.020	丧失跨任务算法原语（约占递归增益 15%）
移除外层上下文	跨层传递的 \(\text{ctx}_d\)	Gemma 4, CO-Bench	0.751	-0.094	破坏高阶策略条件约束（约占递归增益 72%）
移除递归层级	仅保留深度 1 单层元结构	Gemma 4, CO-Bench	0.714	-0.131	退化为扁平元搜索，完全失去涌现深度增益
MetaN 完整版	无（基准）	GPT-5.2, CO-Bench	0.886	-	强基座模型下的完整多层递归系统
移除递归层级	仅保留深度 1 单层元结构	GPT-5.2, CO-Bench	0.806	-0.080	强基座下递归架构依然带来显著增益
MetaN 完整版	无（基准）	GPT-5.2, AE Math	0.917	-	复杂数学发现任务下的完整多层架构
移除递归层级	仅保留深度 1 单层元结构	GPT-5.2, AE Math	0.759	-0.158	探索空间极其开阔时递归架构提供决定性优势

关键发现¶

上下文条件级联是递归收益的核心主干：组件消融实验表明，在从单层跃迁至多层递归带来的总增益中，层间传递的高阶文本上下文 \(\text{ctx}_d\) 占据了约 72% 的贡献，而可调用代码库的复用占据约 15%，其余 13% 来自演化归档机制。这印证了自顶向下的高阶策略框架约束比单纯的局部工具共享更为关键。
角色自发分工随深度自然涌现：通过对 596 个 \(\Omega\) 输出代码块的独立大模型标注分析，在没有任何提示词显式指定的条件下，系统在深度 2 表现为输出通用战术原语（如局部搜索、格式校验）；在深度 3 激进化为特定任务家族的深度定制库与分支路由；在深度 4 及更深层，回滚（Rollback）与修正策略占据约半数比例，自发承担起“战略审计与剪枝”的高阶角色。
抗记忆抽象推理的质性突破：在旨在完全抵制经验记忆的 ARC-AGI-2 榜单上，单次对象级迭代的所有基准均接近零分（OpenEvolve 为 0.003，Gödel Agent 为 0.054），而 MetaN 凭借元层对几何变换原语的高阶抽象与归档组合，达到了 0.331 的得分，实现了分类层级的突破。

亮点与洞察¶

不动点元递归消除自毁陷阱：以往自修改智能体为了防止自我覆写崩溃，不得不在系统内留出无法修改的“死角”，MetaN 反其道而行之，将算子固化为不变的不动点，让其在自身累积的输出上进行自反性高阶推理，优雅规避了稳定性与元深度不可兼得的经典困境。
以多任务失败谱系激活因果诊断：单任务反思往往难以区分偶然语法报错与内在算法缺陷，MetaN 通过全任务集中采样并将失败痕迹比例调优至 3:1，使元算子天然具备跨实例归纳系统性环境约束和算法共性的高阶视野。
多层嵌套包装解耦控制与执行：采用无侵入式的外层函数包装链，结合 AST 静态校验与沙箱冒烟测试，将高层策略注入转化为确定性的输入输出变换，为复杂智能体系统的自底向上生长提供了极高工程可靠性范式。

局限与展望¶

同质模型设定留有未解空间：论文为了严格证明递归架构本身带来的增益，在基求解器与各层元算子上均采用完全相同的模型基座。在实际应用场景中，由超强大模型充当高阶元算子、驱动轻量小模型求解器的异构层级部署仍有待进一步验证。
深层路由冲突诱发局部任务回退：尽管演化归档与合并守卫机制能够在整体得分轨迹上规避回退，但深度 3 上激进的任务细分路由在单链演化中仍存在 41% 的局部任务退化现象，说明策略上下文的传递表示（自由文本）仍需探索更具结构化或类型约束的形式化协议。
饱和任务上的潜在过度约束：在高度预先优化的计算内核任务（如 AlgoTune 中的特定 FFT 任务）中，元层传递的额外策略背景有时会限制底层生成代码的低级优化空间，如何建立高阶算子的自适应静默机制仍是未来重要方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出通过固定元算子并递增输入上下文来突破自修改智能体的元深度瓶颈，设计极具洞察力。
实验充分度: ⭐⭐⭐⭐⭐ 横跨 8 大异构基准家族、2 大主力基座模型，消融实验精细且包含 596 个生成样本的双模型独立语义标注。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰准确，理论逻辑、动机链路与实证分析高度自洽，可视化图表信息密度极高。
价值: ⭐⭐⭐⭐⭐ 为大模型系统的自主递归自改进开辟了全新范式，彻底摆脱了代码自毁与单层反射的长期局限。