Hyperagents¶

会议: NeurIPS 2026
arXiv: 2603.19461
代码: https://github.com/facebookresearch/Hyperagents
领域: LLM Agent
关键词: 自我改进智能体, 元认知自我修改, 开放式演化, 达尔文哥德尔机, 跨领域迁移

一句话总结¶

提出 Hyperagents 框架及其具体实现 DGM-Hyperagents (DGM-H)，通过将任务智能体与元智能体统一整合为单一可自编辑的自指程序，消除了传统自演进系统依赖于手工设计元机制和领域任务对齐的局限，实现了跨领域、跨任务的开放式元认知自我改进。

研究背景与动机¶

构建能够脱离人工干预、自主改进自身学习与问题解决能力的自演化 AI 系统，是迈向自主加速科学发现的关键。然而，现有的递归自我改进架构几乎都依赖一个固定的、人工设计的元智能体（meta-agent）来对基础任务智能体进行调优。这种分层范式存在根本性的结构缺陷：基础系统的改进空间完全受制于元智能体的预设逻辑；而若引入更高阶的元元系统，又会不可避免地陷入无限递推的逻辑困境。

达尔文哥德尔机（Darwin Gödel Machine, DGM）初步展示了代码领域的开放式自我改进潜力，其通过维护一个不断积累成功代码变体的归档库（archive）来提供持续进化的踏脚石。然而，DGM 的自我改进能力严重依赖一个不可编辑的手工诊断与指令生成机制。更关键的是，DGM 能够实现“改进自身的改进能力”，是因为在代码生成这一特殊任务中，评估任务和自我修改任务天然具有高度同构性——代码能力的提升直接外溢为写代码修改自身的能力。但在代码之外的广泛领域（如学术审稿、机器人控制、数学评分等），任务本身的执行技能与高阶的失败诊断、代码重构技能毫无对齐可言，DGM 这类系统便会迅速失效。

为打破自演进机制对特定任务同构性的假设，系统必须具备自指性（self-referentiality），即能够将自身的自我改进机制也纳入被修改的搜索空间中。核心 idea：将执行任务的“任务智能体”与负责代码修改的“元智能体”合并封装为单一可编辑的图灵完备程序（Hyperagent），通过元认知自我修改（metacognitive self-modification）让改进机制自身持续进化，并在开放式档案库中实现跨领域的复利式演进。

方法详解¶

整体框架¶

Hyperagents 架构将传统自改进流程中的外挂元优化器内化为智能体自身的代码组件。系统由两核心层次构成：一是包含开放式演化循环的外层环境，二是可完全自我重写的内层超智能体（Hyperagent）。

在初始状态下，系统启动自一个极简的基础 Hyperagent，其底层由冻结的基础模型驱动并配备基础 Shell/文件编辑工具，内含最初步的任务执行逻辑与通用的代码重构元逻辑。在运行过程中，系统通过档案库维护所有已生成的候选智能体，在每一轮迭代中交替执行“元认知自我修改”与“多阶段任务评估”。被选中的父辈超智能体会直接读写自身的源码仓库与历史评估数据，不仅重构解决外部任务的逻辑，还自主修改下一次用于自我诊断、反思规划与工具调用的元程序本身。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["初始智能体与历史档案库<br/>归档代码与多任务评估得分"] --> B["动态自适应父代选择<br/>综合前沿性能与编译新颖性加权"]
    B --> C["元认知自我修改机制<br/>超智能体自重写自身及元逻辑代码"]
    C --> D["沙箱环境编译与有效性验证"]
    D -->|有效变体| E["多阶段分层任务评估<br/>小规模初筛 + 全量多领域测试"]
    E --> F["扩充积累至归档库<br/>作为后续进化的踏脚石"]

关键设计¶

1. 任务与元逻辑合一的自指程序表示：实现元认知层级的自由修改

传统自演化方法将任务策略 $A$ 与优化器 $M$ 严格隔离，使 $M$ 成为不可触碰的超参数盲区。Hyperagents 将二者写在同一个代码仓库内，定义 $a = \langle A_{\text{task}}, M_{\text{meta}} \rangle$。元智能体 $M_{\text{meta}}$ 被赋予直接读取整个代码库以及历史评估日志的权限，并由通用的编辑工具对任意代码行进行改写： $$a' \leftarrow a.M_{\text{meta}}(a, \mathcal{A})$$ 因为基于图灵完备的编程语言（Python），这种自修改不受固定模式约束。元智能体不仅可以为任务执行体添加具体的启发式规则、少样本提示或思维链结构，更能够重写自身如何反思、如何诊断错误日志以及如何决定下一次修改方向的元认知过程。这彻底消除了对“任务技能与修改技能必须同构”的领域依赖。

2. 动态自适应父代选择算法：平衡前沿开发与探索新颖性

为了在无限的代码修改空间中避免陷入局部最优或代码退化，DGM-H 采用了一种自适应的种群档案库采样机制。在每一轮迭代 $t$ 中，档案库记为 $\mathcal{A}^t = \{a_0, \dots, a_t\}$，对应的任务评估得分为 $\alpha_i$。机制首先基于当前得分最高的 $m$ 个智能体（实验中 $m=3$）计算动态性能前沿中值： $$\alpha_{mid} = \frac{1}{m}\sum_{j\in\mathcal{T}^t} \alpha_j$$ 然后通过 Sigmoid 映射得到性能开发权重 $s_i$，并引入基于成功编译子代数量 $n_i$ 的新颖性惩罚因子 $h_i$： $$s_i = \frac{1}{1 + \exp(-\lambda(\alpha_i - \alpha_{mid}))}, \quad h_i = \frac{1}{1 + n_i}, \quad w_i = s_i \cdot h_i$$ 其中 $\lambda=10$。该采样概率分布 $p_i \propto w_i$ 动态跟踪当前性能最前沿的优秀智能体，同时抑制已被过度分支的节点，确保那些虽然当前绝对分数稍低但具备独特探索价值的中间变体能够持续充当下一步突破的踏脚石。

3. 多阶段任务分流评估与跨领域联合驱动：低算力消耗下的通用泛化保证

为支撑海量变体的长周期演化而不被评估开销压垮，DGM-H 引入了两阶段分层评估协议。在每个评估领域中，候选智能体首先在一个极小的数据子集（如 10 篇论文或 3 次模拟控制）上进行初筛；唯有取得非零或达到门槛性能的智能体，才会被释放到包含 50-100 个全量任务的验证/测试集上，大幅削减无谓推理预算。在联合优化多个截然不同的领域（如论文审稿与机器狗行走）时，父代选择基于所有领域的综合平均表现，强迫超智能体不能通过过拟合单个领域的特定提示词获胜，而是倒逼其自主进化出领域无关的通用高阶能力（如结构化决策框架、跨代持久化记忆与自动化自省调试器）。

一个完整示例¶

在一个跨领域演化的真实轨迹中，初代 Hyperagent 在学术审稿任务上因输出格式未对齐而得 0 分，在机器人强化学习奖励生成上因调用非法环境属性频频崩溃（得 0.060）。

经过多轮迭代后，其元智能体首先自主在工具调用层编写了通用鲁棒的 JSON 提取与容错重试模块，解决了输出解析问题；接着在审稿模块中自发摒弃了无用的“扮演严厉评审者”的提示词态度引导，构建了“一阶段找硬伤、二阶段按门槛判定”的双阶段清单检查流；而在机器人控制模块中，元智能体自主扫描物理仿真环境文档，提取出合法的 12 维状态量字典并制定了严禁调用未定义扭矩变量的硬性约束。

更关键的是在元层级上，超智能体自主建立了一个名为 PerformanceTracker 的跨代性能追踪模块和名为 memory.json 的持久化反思日志，记录诸如“Gen55 过于严苛导致召回率低，Gen64 平衡但准确率下滑，下一代需融合二者逻辑”的高阶因果推断。当把该进化后的超智能体直接迁移到完全未见过的国际数学奥林匹克（IMO）竞赛解答批改任务时，其元智能体迅速调用其积累的评分细则校准与中间档位判别机制，一举将零样本数学批改提升至高水平。

实验关键数据¶

主实验¶

论文在 Polyglot 代码基准、学术论文审稿（Paper Review）、机器人四足行走与跳高奖励函数设计（Robotics Reward Design）、以及 IMO 数学竞赛评分（IMO-GradingBench）四个跨度极大的领域进行了全面评估。

数据集 / 领域	评测指标	初始智能体 (Initial)	原始 DGM	DGM-custom	DGM-H (本文)	领域专用开源基线
Polyglot (Code, 165测试集)	Pass@1	0.084	0.307 (CI: -)	-	0.267 (CI: 0.231–0.280)	-
Paper Review (100测试集)	决策准确率 (Acc)	0.000	0.000 (CI: 0.000–0.510)	0.590 (CI: 0.570–0.650)	0.710 (CI: 0.590–0.750)	0.630 (AI-Scientist-v2)
Robotics Reward (Genesis)	泛化跳高任务得分	0.060	0.000 (CI: 0.000–0.090)	0.348 (CI: 0.305–0.385)	0.372 (CI: 0.355–0.436)	0.348 (直接优化高度默认奖励)
IMO-Grading (全量Bench)	离散评分准确率	0.000	-	-	0.601 (MAE: 0.175)	0.561 (ProofAutoGrader)

消融实验与跨领域迁移能力¶

通过剥离关键机制以验证其必要性，并使用 imp@50 指标（固定元智能体进行 50 代分支优化的测试集性能净增益）衡量超智能体在全新领域（IMO 数学评分）上“提升其改进能力”的迁移能力。

配置 / 机制对比	审稿测试 Acc	机器人测试得分	IMO 数学迁移能力 (imp@50)	说明
DGM-H 完整模型	0.710	0.372	0.630 (CI: 0.540–0.630)	全组件齐备，具备通用自我演进能力
w/o 自我改进元智能体 (固定初始元机制)	0.000 (CI: 0.000–0.130)	0.213 (CI: 0.180–0.348)	0.000 (CI: 0.000–0.130)	元逻辑固化，无法产生适应性演化规则
w/o 开放式探索 (无档案库，贪心单链替换)	0.000 (CI: 0.000–0.560)	0.116 (CI: 0.000–0.348)	-	极易陷入死胡同与早期局部最优
DGM-custom 迁移智能体	-	-	0.000 (CI: 0.000–0.010)	人工定制指令机制无法跨领域迁移
初始元智能体 (零样本迁移)	-	-	0.000 (CI: 0.000–0.000)	初始未进化元逻辑完全缺乏生成能力

关键发现¶

元认知改进是跳出领域同构陷阱的核心动力：去掉自我改进元智能体后，系统在非代码任务上的进化停滞（审稿 Acc 跌至 0.000，机器人得分暴跌至 0.213），表明在非代码任务中，固定元智能体根本无法自发生成适用于新场景的改写指令。
开放式踏脚石避免过早收敛：去除档案库的单链演化在审稿和机器人任务中均告失败。定性分析显示，最终最佳智能体往往源自中间多代性能出现下滑、但结构发生积极突变的“垫脚石”变体。
元能力具备真正的跨领域通用性与复利性：在审稿与机器人任务中进化出来的超智能体，其积累的持久化记忆与自动诊断机制能够零样本迁移至 IMO 数学评分，取得高达 0.630 的 imp@50 增益；而在其基础上进一步演化 200 代，将原有的 ProofAutoGrader SOTA 准确率从 0.561 推升至 0.601。

亮点与洞察¶

将元机制完全代码化、去神圣化：彻底打破了以往 Meta-Learning 预设不可动机制的教条，把指令生成、自省诊断甚至反思日志都写成可自修改的 Python 代码，赋予智能体真正的图灵完备自创能力。
自发涌现经典软件工程与元学习构架：在无人为提示的情况下，智能体自发进化出了多项前沿工程范式：包含均线动量跟踪的性能监控器（PerformanceTracker）、带时间戳的跨代持久化反思记忆（memory.json）、模板工厂类（PromptTemplate）以及根据剩余步数调节激进程度的“算力自感知调度逻辑”。
破解极端标签塌缩与假象收敛：智能体自主识别出大模型评审时的“严重偏见”（如 99% 的接收率塌缩），并通过在元指令中插入对抗性的分布校验与错误回溯机制，独立实现了类似于人类认知反思的自我纠偏回路。

局限与展望¶

外层演化回路与任务分布仍未闭环：当前系统仍运行在人工设定的固定任务测试集上，且最外层的父代选择与评估准则仍主要由人工固定（虽然附录初步尝试了让智能体修改选择策略，但尚未显著超越精心调优的基线）。
奖励入侵与指标博弈风险（Goodhart's Law）：随着智能体修改权限的放大，系统极有可能通过钻评估脚本漏洞或生成迎合特定判别器的输出实现分数欺骗，未来需要引入自适应演化出的对抗红队或动态基准来抵御作弊。
高昂的算力开销与安全沙箱约束：百轮演化需耗费数千万至近亿 Token，且必须在严格隔离、切断外部网络访问的严密沙箱中运行，如何在确保防逃逸安全性的同时拓展其自修改边界仍需审慎探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 概念极具启发性，首次真正落地了代码与非代码场景下可完全自重写的开放式超智能体架构。
实验充分度: ⭐⭐⭐⭐⭐ 跨越代码、审稿、强化学习机器人与高难度数学四大领域，主实验、消融、跨任务迁移与复利验证严丝合缝。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，形式化定义精炼，附录提供了极其详尽的代码 Diff 与定性分析证据链。
价值: ⭐⭐⭐⭐⭐ 为通用人工智能（AGI）在脱离人类监督环境下的自指递归自我改进（Recursive Self-Improvement）开辟了极具前景的现实技术路径。