MAGE: Multi-Agent Self-Evolution with Co-Evolutionary Knowledge Graphs¶

会议: NeurIPS 2026
arXiv: 2605.10064
代码: https://github.com/RuiyiYang01/mage-alg
领域: LLM Agent
关键词: 多智能体自演化、协同演化知识图谱、双通道经验记忆、冻结基座模型、多臂赌博机路由

一句话总结¶

MAGE 提出将大语言模型智能体的跨轮次自演化知识外化为包含能力、任务、经验与环境四个子图的协同演化知识图谱（EvoKG），通过融合强教师撰写的纠错记忆与冻结弱执行模型自采集的成功推理轨迹，并配合双多臂赌博机动态优化检索与路由策略，在不更新 8B 执行模型参数且测试时零教师调用的前提下，在 9 个推理与交互基准上显著超越现有冻结基座提示方法（在 RealMath 与 STBench 上分别提升 31.6 和 20.8 个百分点）。

研究背景与动机¶

自演化大语言模型智能体（Self-Evolving LLM Agents）旨在部署后通过持续的交互、评估与反馈实现自我能力提升。现有系统大多采用“探索/出题—轨迹更新”的双角色循环，但在“跨轮次应当保留什么经验、以何种结构承载这些经验”这一核心上游问题上仍存在明显局限。目前主流方案主要依赖三类载体：以 Reflexion、Exif 为代表的自然语言反馈虽然易于生成，但在面对系统性错误或弱模型时极易退化为空泛的通用建议；以 EvolveR、MemRL、A-Mem 为代表的扁平情节记忆库仅按向量相似度检索轨迹或抽象原则，缺乏表达技能前置依赖、任务类型覆盖度以及区分成功与失败轨迹职能的显式拓扑结构；而以 Agent0、Ragen、Agentic-KGR 为代表的隐式强化学习或微调方案则要求持续更新学生模型权重，不仅学习的课程难以审查，也无法直接支持推理时权重完全冻结的弱基座模型。

这一局面引出了核心矛盾：当部署环境只允许使用权重冻结的轻量级开源模型（如 8B 模型），且推理阶段不能调用昂贵的闭源教师模型时，智能体如何在不修改模型参数的前提下，稳定地积累、组织并复用跨轮次经验，同时避免扁平记忆库的检索污染、课程遗漏与能力灾难性遗忘？因此，本文的目标是将自演化的学习载体从模型参数或自由文本反馈迁移到显式、可审查的结构化图状态中，让冻结基座模型仅靠外部图结构的协同演化即可实现跨迭代的持续进步。

本文的切入角度是：冻结弱模型自身的正确推理轨迹天然符合其自身的生成分布，适合作为同题型的正向推理模板复用；而强教师针对评估错误编写的纠错解析则能补齐弱模型在复杂组合与边界条件上的认知盲区，二者应当在图结构中按任务类型与技能节点显式解耦并协同索引。核心 idea：将智能体的持久自演化状态构建为四子图协同演化知识图谱（EvoKG），以只增不减（Append-Only）的方式同时沉淀强教师编写的失败纠错记忆与冻结学习者自采集的成功推理轨迹，并在同一单题奖励流驱动下协同更新知识图谱、任务级检索赌博机与技能级路由赌博机，从而赋予冻结基座模型理论有界的跨轮次自演化能力。

方法详解¶

整体框架¶

MAGE 将训练期的图写入（由闭源强模型组成的指导层 \(\mathcal{L}_{\mathrm{G}}\) 负责）与推理期的图消费（由开源 8B 冻结模型组成的执行层 \(\mathcal{L}_{\mathrm{E}}\) 负责）彻底解耦。在每一轮演化迭代中，系统围绕四子图协同演化知识图谱（EvoKG）展开：首先由六智能体演化循环评估冻结学习者在当前图状态下的表现，将答对题目的推理链收集为成功记忆，利用非对称掌握度棘轮更新技能掌握度，并通过时效加权轮询课程挑选亟需改进的任务类型交由指导层编写失败纠错记忆与抽象原则；随后在推理阶段，学习者根据题目任务类型与上下文长度，从双通道记忆索引中按格式条件化配比检索成功示范与失败纠错，并在检索赌博机与路由赌博机的协同控制下驱动冻结基座模型输出最终答案。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入任务与演化问题池"] --> B["四子图协同演化知识图谱（EvoKG）<br/>能力/任务/经验/环境子图与只增不减核心"]
    B --> C["双层六智能体演化循环与双通道记忆索引<br/>自采集成功轨迹 + 强教师写入失败纠错"]
    C --> D["时效加权轮询课程与非对称掌握度棘轮<br/>有界覆盖重选与防遗忘掌握度更新"]
    D -->|准确率回退超阈值则回滚可变槽位| B
    D --> E["格式条件化的任务过滤检索与双赌博机协同路由<br/>长短上下文配比注入与冻结基座推理"]
    E --> F["冻结 8B 模型输出答案 / 交互动作"]

关键设计¶

1. 四子图协同演化知识图谱（EvoKG）：以只增不减的受保护经验核心保证信息单调性

为了解决扁平记忆库无法表达技能依赖与任务归属、且随意修剪容易丢失关键历史证据的问题，MAGE 将外部状态建模为有向多图 \(\mathcal{K}=(G_{\mathrm{cap}}, G_{\mathrm{task}}, G_{\mathrm{exp}}, G_{\mathrm{env}})\)。其中能力子图 \(G_{\mathrm{cap}}\) 存储技能节点（含掌握度 \(m\in[0,1]\)、提示模板、策略与原则）及前置依赖边（prerequisite_of）和组合边（composes_into），并保持有向无环（DAG）拓扑；任务子图 \(G_{\mathrm{task}}\) 存储评估任务类型及跨图解析边 \(\textsc{skill\_for\_task}: G_{\mathrm{cap}}\to G_{\mathrm{task}}\)；环境子图 \(G_{\mathrm{env}}\) 记录交互实体、关系与观测上下文；经验子图 \(G_{\mathrm{exp}}\) 则按 outcome 字段划分为五类节点：指导层提炼的抽象原则（principles）、指导层撰写的失败纠错记忆（failure memories）、执行层自采集的成功记忆（success memories）、参数化检索配方（retrieval recipes）以及探索轨迹的抽象模式（abstracted patterns）。

管理员（Curator）在维护 \(G_{\mathrm{exp}}\) 时严格执行一项只增不减不变式（Append-Only Invariant）：低置信度修剪例程（prune_low_confidence）仅允许清理置信度低于阈值的抽象模式节点，而对原则、失败纠错记忆和成功记忆三类受保护节点终身豁免删除。即便某项技能后续掌握度提升，或可变工作槽位（掌握度数值、提示模板、策略）被覆盖回滚，已提交的三类受保护经验节点也永久保留。定理 1（EvoKG 信息单调性）利用互信息链式法则证明了在该不变式下，图状态对答案随机变量 \(Y\) 的互信息满足单调不减关系：

\[I(Y;\mathcal{K}_{k+1}) = I(Y;\mathcal{K}_{k}) + I(Y;\Delta_{k}\mid\mathcal{K}_{k}) \geq I(Y;\mathcal{K}_{k})\]

这一设计从结构上避免了“技能掌握后删掉旧错题本导致后续同题型复发遗忘”的退化陷阱。

2. 双层六智能体演化循环与双通道记忆索引：融合弱模型自生成功模板与强模型纠错信号

单纯依赖强教师编写的反馈往往与弱执行模型的生成习惯存在分布偏差，而单纯依赖弱模型自博弈又难以突破复杂推理瓶颈。MAGE 将 6 个角色智能体分配到两个严格隔离的层级：指导层 \(\mathcal{L}_{\mathrm{G}}\)（如 Claude Sonnet/Opus 4.6）包含 SkillDiscovery（第 0 阶段本体归纳，以及演化阶段的原则、动态工具与失败记忆编写）、Navigator（基于图前沿与 LLM 精炼的两阶段课程规划）、Critic（按任务类型进行 LLM-as-Judge 结构化评分）和 Curator（掌握度更新与不变式维护），仅在训练演化期写入图谱；执行层 \(\mathcal{L}_{\mathrm{E}}\)（如冻结的 Qwen3-8B 或 Llama-3.1-8B-Instruct）包含 Explorer（序列环境轨迹生成）和 Learner（仅推理消费图谱），在推理期完全独立运行。

围绕经验子图 \(G_{\mathrm{exp}}\)，系统构建了两个共享检索逻辑但载荷互补的并行向量索引。在每轮评估（EVALUATE）阶段，凡是冻结 Learner 独立答对的题目，系统都会将其原题、截断至字符上限的原始思维链（CoT）、正确答案，以及多步问题显式拆解出的 \((\text{skill\_name}, \text{step\_output})\) 元组序列收集为成功记忆节点写入成功索引，使第 \(N\) 轮的自生正确推理直接转化为第 \(N+1\) 轮的同分布少样本示范；而在演化（EVOLVE）阶段，针对 Learner 答错的题目，SkillDiscovery 会生成包含具体逐步重算过程（kind=specific）或抽象题型解题套路（kind=type_strategy）的失败纠错记忆写入失败索引，并轮转执行原则提取、动态工具编写、提示词精炼与技能拆分四类图演化操作。

3. 时效加权轮询课程与非对称掌握度棘轮：兼顾全题型覆盖界与抗遗忘稳定性

在包含数十种任务类型的复杂基准（如含 27 类任务的 STBench）中，如果仅按错误次数挑选演化目标，指导层的有限预算会被少数高错误率难任务长期垄断，导致其余任务类型陷入“饥饿”；同时，单轮评估的采样噪声容易引发技能掌握度剧烈震荡。为此，MAGE 在课程选择与掌握度更新上引入了两项无需调用 LLM 的程序化机制。首先，EVOLVE 阶段采用时效加权轮询评分（Recency-Weighted Round-Robin Score）从已观测任务类型中选取前 \(M\) 个目标（默认 \(M=3, \lambda=0.3\)）：

\[s(t) = n_{\text{fail}}(t) + \lambda\bigl(k - k_{\text{last}}(t)\bigr), \qquad \lambda > 0\]

其中 \(n_{\text{fail}}(t)\) 为任务类型 \(t\) 的累计失败数，\(k_{\text{last}}(t)\) 为其上次被选中的迭代轮次。定理 2 证明了在该评分规则下，任意已观测任务类型 \(t\) 在距离上次被选中至多 \(\lceil n_{\max}/\lambda + N/M \rceil\) 轮内必然被重新选中（\(N\) 为已观测任务类型总数，\(n_{\max}\) 为最大失败数），从理论上消除了课程盲区。

其次，Curator 使用快升慢降的非对称指数移动平均（Asymmetric Mastery Ratchet）更新每个技能的掌握度 \(m_k\)（默认上升率 \(\alpha=0.6\)，衰减率 \(\gamma=0.1\)，掌握度阈值 \(\theta=0.5\)）：

\[m_{k} = \begin{cases} \alpha\,e_{k} + (1-\alpha)\,m_{k-1}, & e_{k} \geq m_{k-1}, \\ m_{k-1} - \gamma\,(m_{k-1} - e_{k}), & e_{k} < m_{k-1}, \end{cases} \qquad \alpha > \gamma \in (0,1)\]

其中 \(e_k\in[0,1]\) 为当前轮次 Critic 测得的成功率。定理 3 证明了对于任意时间窗口 \(j\)，当前掌握度满足下界 \(m_k \geq (1-\gamma)^j \max_{k'\leq k-j} m_{k'}\)，即单步偶发失误不会冲毁历史峰值，保证了拓扑前沿（Navigator 选取前置技能已掌握但自身掌握度低于 \(\theta\) 的技能集合）的演进稳定性。

4. 格式条件化的任务过滤检索与双赌博机协同路由：在理论误差界内最大化冻结模型推理收益

推理阶段，给定属于任务类型 \(t\)、上下文为 \(c\) 的问题 \(q\)，如果直接在全图范围内做无差别向量检索，不同题型的记忆会相互污染候选池。因此，Learner 严格限定在匹配当前任务类型 \(t\) 的受保护经验子集内进行余弦相似度 Top-\(K\) 检索（默认 \(K=3\)），并引入基于上下文长度（阈值 500 字符）的格式条件化分配规则 \(\kappa(q,c,m)\)：对于短上下文问题（如数学推理），分配“2 条成功记忆 + 1 条失败纠错”（或短文本扩展配置下的 2 成功 + 2 失败），优先提供正向计算模板；对于自带丰富背景文档的长上下文问题（如多跳问答），则分配“1 条成功记忆 + 2 条失败纠错”，重在约束信息抽取与属性比对中的常见陷阱。检索到的记忆按“成功示范在前、失败纠错在后”拼接到提示词中：

\[\rho_{k}(\cdot\mid q,t,c) = \textsc{TopK}\Bigl(\textsc{embed}(q),\;\bigl\{\,m\in{G_{\mathrm{exp}}}_{k}\;:\;m.\text{task\_type}=t\wedge\kappa(q,c,m)\,\bigr\}\Bigr)\]

在此基础上，定理 4（任务过滤检索支撑定理）证明了当只增不减记忆增长（定理 1）、有界课程覆盖（定理 2）与任务类型过滤三者同时成立时，第 \(k+1\) 轮在任务类型 \(t\) 上的期望准确率满足 \(A_{k+1}(t) \geq A_k(t) - \varepsilon_K\)（其中 \(\varepsilon_K\) 为嵌入检索相对理想 Oracle Top-\(K\) 选择器的总变差误差），去掉任一假设都会导致单调支撑集崩溃。此外，系统还维护了一个任务级检索策略赌博机（Search Bandit，每个动作分支预热拉取 20 次）和一个技能级推理策略路由赌博机（Routing Bandit），二者采用 Thompson Sampling 并与图谱更新共享同一个单题正确率奖励流 \(r_t\)；在 v20 级联检索（Cascade Retrieval）扩展中，还可按需注入前置技能级联原则、最近 \(K=3\) 步成功动作配方（Action Recipes）、目标分解技能格（Planning DAG）与课程感知检索。

一个完整示例¶

以 GSM8K 测试集中的一道三步比例求和题为例（任务类型 gsm8k_3step，对应技能 sequential_state_tracking）：“Tom 的弹珠是 Sue 的 3 倍，Sue 的弹珠是 Anne 的一半。如果 Anne 有 24 颗弹珠，他们一共有多少颗？”在演化至第 9 轮（Sonnet 指导 Llama-3.1-8B）时，冻结的 Learner 不调用任何教师模型，而是直接查询已构建的 EvoKG： 1. 任务过滤与双通道检索：系统锁定 task_type=gsm8k_3step，从经验子图 \(G_{\mathrm{exp}}\) 中按余弦相似度检索出 2 条成功示范与 2 条失败纠错。 2. 注入自采集成功示范（正向脚手架）：第 1 条成功记忆来自学习者在第 5 轮自己答对的打字速度均值题（展示“初始值 47 \(\to\) 加增量得 52 \(\to\) 再加增量得 57 \(\to\) 求三者均值 52”的四步状态追踪格式）；第 2 条来自第 3 轮答对的换尿布次数分配题。它们向冻结的 8B 模型展示了其自身熟悉的分步算术展开格式。 3. 注入教师失败纠错（负向防坑与模式抽象）：第 1 条失败纠错（kind=specific）给出了学习者此前答错的一道“头盔 20 个、机器人减半、足球翻倍求总数”的完整四步重算过程（\(10+20+40=70\)）；第 2 条失败纠错（kind=type_strategy，最低相似度阈值 0.55）显式点出题型 [Question type: multi_ratio_total_count] 的核心指令：“以已知锚点数量为基准，按比例依次求出其余各项数量，最后必须将所有数量相加，切勿在算出单个数量后提前停止”。 4. 合成推理与跨轮次错题恢复：冻结学习者结合上述检索包，一步步算出 Anne=24、Sue=12、Tom=36 并求和得出 72。在 GSM8K 的连续 10 轮演化追踪（表 17）中，这种双通道记忆包使成功记忆库从第 0 轮的 87 条增长至第 9 轮的 952 条，累计将 78 道此前答错的题目在重访测试中翻转为正确（单轮错题重访恢复率稳定在 15.6%–43.8% 之间）。

损失函数 / 训练策略¶

MAGE 全程不进行任何梯度反传或模型权重微调，所有跨轮次学习信号均通过图结构写入与赌博机后验更新完成。演化阶段每轮在 200 道题目的演化池上进行评估（推理基准运行 20 轮，Crafter 运行 10 轮，训练采样温度 0.3，评估采样温度 0.0）。为了防止指导层某次不良的提示词改写或策略更新破坏已有能力，算法第 6 步设置了差分守卫（Delta-Guard）：每轮演化结束后对图谱做快照，若更新后的准确率相比上一轮下降超过 \(\delta=0.03\)（灾难性回滚阈值为 \(0.05\)），系统立即将掌握度、提示模板与策略等可变工作槽位回滚至上一轮快照，但保留本轮新追加的受保护记忆与原则节点。每个技能最多保留 12 条原则，全图技能节点上限为 30 个，记忆刷新间隔为 5 轮。

实验关键数据¶

主实验¶

主实验在 9 个基准上展开：首先在 5 个核心推理基准上以冻结 Qwen3-8B 为执行基座对比 5 种提示工程基线（表 1）；随后在数学、金融（FinQA）与医学（MedQA-USMLE）领域扩展基准上验证冻结 Llama-3.1-8B-Instruct 的表现（表 2），并在开放世界生存游戏 Crafter 与网页购物导航 WebShop 两个序列决策环境上评测交互性能（表 3）。

表 1：五个核心推理基准主实验结果（冻结基座：Qwen3-8B，200 题留出测试集，Claude Sonnet 4.6 语义评测准确率 %）

数据集	0-shot CoT	8-shot CoT	SC (\(N=10\))	ReAct	Reflexion	MAGE (Sonnet)	MAGE (Opus)	相比最强基线提升 (\(\Delta\))
GSM8K	64.5	82.5	72.0	80.1	63.0	\(88.2 \pm 2.9\)	\(90.4 \pm 3.8\)	+7.9
HotpotQA	84.5	78.5	80.5	70.5	78.5	\(88.5 \pm 2.0\)	\(91.5 \pm 1.8\)	+7.0
WebQA	55.0	42.0	46.5	35.5	34.5	\(59.6 \pm 3.4\)	\(62.7 \pm 1.8\)	+7.7
STBench	35.5	12.0	20.0	31.8	37.0	\(54.8 \pm 2.1\)	\(57.8 \pm 2.9\)	+20.8
RealMath	53.5	32.5	33.5	43.5	34.5	\(85.1 \pm 6.7\)	\(82.8 \pm 3.5\)	+31.6

表 2：领域扩展（FinQA/MedQA，冻结 Llama-3.1-8B，原生 Exact-Match %）与序列交互环境（Crafter/WebShop）结果

基准 / 环境	执行层基座与评测指标	独立基座 / 文献基线	MAGE (Sonnet 教师)	MAGE (Opus 教师)	关键对比说明
GSM8K	Llama-3.1-8B (Judge %)	64.5 (0-shot) / 84.5 (8-shot)	\(92.5 \pm 4.3\)	\(92.0 \pm 3.2\)	超越 8-shot 基线 +8.0 个百分点
FinQA	Llama-3.1-8B (数值 EM %)	58.0 (0-shot) / 60.87 (Fino1 SFT)	\(67.5 \pm 1.7\)	\(69.0 \pm 1.5\)	零权重更新超越 SFT 模型 Fino1 (+8.13%)
MedQA-USMLE	Llama-3.1-8B (选项 EM %)	64.5 (0-shot) / 74.0 (Medprompt)	\(74.6 \pm 2.3\)	\(79.8 \pm 1.9\)	无需离线千题预生成即超越 Medprompt (+5.8%)
Crafter	Llama-3.1-8B (BALROG 峰值 %)	\(25.5 \pm 3.2\) (Standalone)	\(33.5 \pm 2.3\)	\(37.9 \pm 3.5\)	Haiku 教师亦达 \(34.8 \pm 1.7\)，解锁 4–5 项成就
WebShop	Qwen3-8B (任务得分 / 严格成功率 %)	88.9 / 82.3 (RetroAgent RL)	\(90.2 \pm 2.3\) / \(84.0 \pm 1.8\)	\(89.7 \pm 1.6\) / \(82.0 \pm 1.0\)	超越上下文版 (87.6/78.9%) 与 RL 训练版 RetroAgent

消融实验¶

论文针对核心的“自采集成功记忆（Success-Memory Harvest）”进行了专项消融（表 5），并对训练/推理阶段的强教师调用开销（表 4）以及 v20 级联检索组件 A–D（表 15）进行了定量拆解。

表 3：自采集成功记忆消融实验、级联检索增益与教师调用开销统计

实验维度 / 数据集	完整 MAGE	移除成功记忆 (No-success)	成功记忆净增益 (\(\Delta\))	级联检索 (Base \(\to\) Cascade A–D)	训练期教师调用占比
GSM8K	\(88.2 \pm 2.9\)	\(80.4 \pm 12.7\)	+7.8	\(92.0 \to \mathbf{94.5}\) (+2.5)	4.1%–7.5% (均值 229 次)
RealMath	\(85.1 \pm 6.7\)	\(73.6 \pm 9.3\)	+11.5	\(60.5 \to \mathbf{63.5}\) (+3.0)	7.0%–14.0% (均值 355 次)
STBench	\(54.8 \pm 2.1\)	\(48.2 \pm 4.0\)	+6.6	\(51.5 \to 45.5\) (-6.0)	10.2%–14.0% (均值 385 次)
HotpotQA	\(88.5 \pm 2.0\)	\(84.3 \pm 2.1\)	+4.2	\(89.5 \to \mathbf{92.5}\) (+3.0)	3.0%–4.6% (均值 212 次)
WebQA	\(59.6 \pm 3.4\)	\(54.8 \pm 1.9\)	+4.8	\(57.0 \to 50.5\) (-6.5)	11.9%–14.7% (均值 480 次)
五项推理基准平均 / 汇总	75.2	68.3	+7.0	WebShop: \(81.1/69.5 \to \mathbf{90.2/84.0}\)	全训练汇总 2.12%（审计口径 1.91%），测试期 0.00%

关键发现¶

自采集成功记忆与教师纠错记忆高度互补，且能显著降低结果方差：在 5 个推理基准上移除成功记忆会导致平均准确率下降 7.0 个百分点，其中对推理模板依赖最强的 RealMath（-11.5%）和 GSM8K（-7.8%，且标准差从 2.9 暴增至 12.7）掉点最为剧烈，证明冻结弱模型自己跑通的推理轨迹是极佳的防崩溃脚手架。
在 8B 冻结规模下，复杂提示基线常出现负优化，而图引导演化稳定正增益：在 RealMath、WebQA 和 STBench 上，8-shot CoT、ReAct 和 Reflexion 的表现甚至普遍低于简单的 0-shot CoT（例如 RealMath 上 0-shot 为 53.5%，而 Reflexion 仅为 34.5%），说明静态示例或无结构自反思会干扰 8B 模型；MAGE 则通过任务类型精准过滤检索实现了 +7.0% 至 +31.6% 的全面跃升。
训练期仅需约 2% 的强教师调用，推理期实现零教师成本与更优的延时-准确率前沿：在全部 52 次训练运行中，指导层调用（7,122 次）仅占总调用（343,394 次）的 2.12%（在 36 次 v20/v21 httpx 审计中占 1.91%），其余全部由本地 vLLM 承载；部署测试时指导层调用为 0%，单题推理耗时 5.66s–28.33s（双索引检索耗时不足 50ms），比 Self-Consistency（\(N=10\)）快 1.8–9.3 倍且全线准确率更高（HotpotQA 上每秒准确率效率达 7.7%/s，远超 Reflexion 的 4.3%/s 和 SC10 的 1.7%/s）。
级联检索（Cascade A–D）的表现取决于任务的表层动作结构稳定性：在动作参数高度规范的 WebShop 上，注入最近 \(K=3\) 步动作配方与前置级联原则使严格成功率从 69.5% 大幅跃升至 84.0%（+14.5%）；但在标准答案格式刁钻的 WebQA（-6.5%）和 STBench（-6.0%）上反而因上下文膨胀引发轻微退化，在随机地图种子变化的 Crafter 上也几乎无增益（+0.3%）。

亮点与洞察¶

“只增不减受保护记忆 + 可变工作槽位差分回滚”的双轨状态设计：很多自演化系统在修剪低效记忆或改写系统提示词时会不小心删掉原本有用的知识，引发拆东墙补西墙的震荡。MAGE 巧妙地将图状态切分为“永不删除的受保护经验节点（原则/成功/失败）”和“支持 \(\delta=0.03\) 阈值快照回滚的可变槽位（掌握度/提示模板/策略）”，既保证了经验库的信息单调增长，又赋予了提示词与策略试错的安全网。
最让人“啊哈”的洞察——弱模型自己的正确 CoT 是比强教师示范更契合的推理脚手架：传统蒸馏或反思方法总是试图让弱学生模仿强教师的高深长篇推理，但表 5 和附录 R 揭示，把冻结 8B 模型自己在前几轮侥幸或刚学会答对的 \((\text{skill\_name}, \text{step\_output})\) 轨迹存下来供后续同题型检索复用，能直接带来 +7.0% 的平均提升——因为弱模型最容易读懂和复刻自己生成分布内的思维链结构。
高可迁移的“两阶段图构建—零教师部署”与轮询防饥饿算子：将闭源大模型完全限制在离线演化期的图谱写入端（仅消耗约 2% 调用量），而在部署期冻结图谱与赌博机、纯靠本地 8B 模型 + 50ms 向量检索运行，这一范式可直接迁移到企业私有化部署场景；同时，仅用一行公式 \(n_{\text{fail}}(t)+\lambda(k-k_{\text{last}}(t))\) 实现的时效加权轮询选择器（在 STBench 上 19 轮内将任务类型覆盖度从 0/27 推升至 24/27），可直接复用于任何多任务主动学习或合成数据采样管线。

局限与展望¶

对高度随机环境与底层基座动作格式遵循能力的依赖：作者在论文与附录 K/L 中坦承，当任务瓶颈在于视觉空间规划与随机环境动力学（如 Crafter 随机生成地图种子导致文本动作配方失效），或者当底层冻结基座本身无法输出可解析的动作格式（如 Llama-3.1-8B-Instruct 在 WebShop 上不论搭配 Sonnet、Opus 还是 Haiku 教师，严格成功率均为 0%）时，仅靠外部知识图谱记忆无法挽救基座模型的指令格式崩溃。
语义评判器与精确匹配指标之间的评价张力及单轮长链路延时：从附录 H（表 9）可以看到，在 HotpotQA 上 MAGE 的回答更加详尽，因此在 Claude 语义评判下以 89.5% 领先 8-shot CoT（78.5%），但在严格词面精确匹配（EM）上（42.5%）反而低于输出简短的 8-shot CoT（55.5%）；此外，在需要串联 5–13 个子技能的复杂任务（如 STBench）上，MAGE 的单题推理耗时达 28.33s（是 Vanilla CoT 6.43s 的 4.4 倍）。
未来改进方向：一是引入轻量级的输出格式校验器或语法受限解码（Constrained Decoding），解决弱基座在 WebShop 等交互环境中的动作解析失败问题及 EM 指标偏低问题；二是根据问题难度动态截断子技能调用链长度，在简单问题上跳过冗余子技能遍历以压缩推理延时。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 将多智能体自演化的跨轮次状态显式外化为四子图协同演化知识图谱（EvoKG），结合成功/失败双通道记忆与三项理论有界性质（信息单调性、覆盖界、掌握度棘轮），设计极具原创性。
实验充分度: ⭐⭐⭐⭐⭐ 横跨 9 个异构基准（数学、多跳/开放域问答、时空分析、金融、医学、Crafter、WebShop）、3 种教师模型与 2 种冻结 8B 基座，并附带详尽的多随机种子方差、调用成本审计、延时分析与真实检索包追踪。
写作质量: ⭐⭐⭐⭐⭐ 形式化定义、四条核心定理证明与系统工程实现环环相扣，附录极为扎实，对负结果（如 Llama 在 WebShop 上失效、级联检索在 WebQA/STBench 上退化）的披露客观坦诚。
价值: ⭐⭐⭐⭐⭐ 为“训练期少量闭源强教师建图 + 部署期零教师调用、纯本地冻结小模型高效推理”提供了可直接落地的工程范式与开源实现。