跳转至

OptiMAS: Automatically Optimize Multi-Agent System

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 智能体
关键词: 多智能体系统演化、自主智能体优化器、文本梯度、双轨记忆机制、自适应重采样

一句话总结

针对传统离散搜索在多智能体系统(MAS)演化中面临的搜索不稳定性与支系经验割裂难题,OptiMAS 提出了首个基于统一 ReAct 基础设施与文本梯度的数据驱动连续优化范式,通过双轨记忆与自适应重采样在四大异质基准上实现了显著超越离散演化与手工 SOTA 的稳步自进化。

研究背景与动机

在大语言模型(LLM)赋能下,协作型多智能体系统(MAS)在复杂软件工程、跨网页长程调研和深度数学推理等前沿任务中展现出卓越的解决能力。然而,工业界当前落地的 MAS 架构绝大多数依然高度依赖人工手写与反复调试——工程师必须耗费大量精力针对特定场景定制 Prompt、编排拓扑流程并硬编码工具路由。这种开发流程不仅人力成本高昂,且一旦任务分布发生微移,系统便难以敏捷泛化。为了解放人力,学术界探索了以 ADAS、AFlow 为代表的自动化 MAS 架构搜索与演化方法,但这类系统在实践中尚未能匹敌精雕细琢的人工系统。

现有基于搜索的 MAS 演化机制面临两个难以调和的深层结构性矛盾。一方面,优化自由度的扩展与演化过程的稳定性存在内在权衡(Trade-off):限制在静态 Prompt 或预设角色库中的搜索难以发掘创新的协作形态;而一旦像 Gödel Agent 或 DGM 那样允许 LLM 无约束地自修改底层代码,极易因代码语法报错或依赖破坏陷入不收敛甚至退化。另一方面,现存演化框架普遍采用离散的“分支-评估-淘汰”(Branch-and-Discard)搜索范式,在每一代生成若干候选拓扑并在全集上评测,随后丢弃落选分支。这种离散分支搜索导致智能体在历史迭代中积累的宝贵失败教训与协同模式被割裂在孤立的支系内部,无法跨世代有效复用和复利积累。

面对这两大瓶颈,本文将传统机器学习中连续梯度下降的核心思想迁移至多智能体系统演化,提出了基于统一基础设施的数据驱动连续优化范式。本文的核心思想是:不再把多智能体演化视为离散的随机拓扑采样,而是让通用的 Agentic 优化器通过检查历史交互轨迹与真实输出工件推导“文本梯度”(Textual Gradient),在保证系统图拓扑有向无环(DAG)的前提下实现端到端的连续结构微调与技能演化。核心 idea:构建对称统一的 ReAct 基础设施与指派-交付协议,将多智能体演化重塑为由交互轨迹与任务反馈作为损失信号的数据驱动连续优化,借助短期执行计划与假设驱动长期记忆实现经验的跨步累积与单调递增优化。

方法详解

整体框架

OptiMAS 将多智能体演化抽象为类似于深度神经网络训练的端到端数据驱动流程,任务查询集被严格划分为训练集 \(X_{train}\)、验证集 \(X_{val}\) 和最终留出测试集 \(X_{test}\)。在每一个演化步 \(t\),系统采用自适应采样从 \(X_{train}\) 中构建包含历史失败样本的批次 \(B_t\);当前演化中的多智能体系统 \(\mathcal{E}_{t-1}\) 在批次上执行前向推理,在工作空间 \(W_{train}\) 中生成包含所有思考链、工具调用、代码中间产物和反思日志的完整百万级 Token 轨迹;随后,通用优化器 OptiMAS 扮演反向传播引擎,深入审计工作空间以提取失败根因,生成结构化的文本梯度并对智能体 Prompt、技能库、组织拓扑及工具权限进行就地演化,同时利用不可见的验证集标量准确率作为抗过拟合正则信号。

整个系统由统一的底层 ReAct 协议、梯度反传回路、双轨记忆引擎以及多层上下文熔断机制有机串联,其端到端执行与演化流程如下所示:

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["任务查询集划分<br/>X_train / X_val / X_test"] --> D1["统一ReAct基础设施与指派交付<br/>原子ReAct循环与动态DAG工具指派"]
    D1 --> D2["文本梯度与自适应采样优化<br/>失败重试抽样与工作区轨迹反向传播"]
    D2 --> D3["双轨记忆与假设驱动演化<br/>计划短期记忆与假设生命周期账本"]
    D3 --> D4["三层上下文生命周期管理<br/>警告-工具屏蔽-语义压缩三级熔断"]
    D4 --> Out["输出收敛最优多智能体系统 E*<br/>冻结拓扑与提示词用于测试集推理"]

关键设计

1. 统一ReAct基础设施与指派交付:突破静态编排僵局 -> 原式ReAct原子与主动委派 -> 兼顾超大优化空间与执行确定性

现有工作流搜索方法要么将智能体限制为单次调用的浅层节点,要么直接变异 Python 执行代码而引发大规模运行时崩溃。OptiMAS 确立了对称共享的 ReAct 原语作为每个智能体的最小原子单元:每个智能体 \(A\) 独立维持状态轨迹 \(S_i = (P_A, \tau_1, a_1, o_1, \dots, \tau_i, a_i, o_i)\),在环境观测与思考中自主演进。为了实现灵活协作,OptiMAS 摒弃了静态图编排,引入主动“指派-交付”(Assign-Deliver)机制:父智能体将子任务分配给子智能体被显式建模为一次工具调用(Tool Invocation),子智能体执行完毕后将结构化结果作为观测返回给父上下文。优化空间涵盖智能体集合 \(\mathcal{A}\)、编排图 \(G(\mathcal{A})\)、以及各智能体的模型骨干 \(M_A\)、系统提示词 \(P_A\)、技能库 \(K_A\) 和工具包 \(T_A \subseteq \mathcal{T}\)。整个系统唯一施加的强约束是 \(G(\mathcal{A})\) 必须为有向无环图(DAG),从而在数学上严格保证了执行步骤的确定性终止,避免了无限递归死锁,以配置驱动代替无约束代码变异,兼顾了广阔的搜索空间与极高的鲁棒性。

2. 文本梯度与自适应采样优化:离散评估效率低下且易遗忘 -> 批次工作区深度反查与动态优先级抽样 -> 避免搜索孤岛并实现单调递增提升

传统的蒙特卡洛树搜索或遗传算法在全数据集上评估候选 MAS,不仅算力开销不可承受,而且无法对具体失败路径进行因果归因。OptiMAS 引入了模拟深度学习的批次前向-反向优化机制。在每一步演化中,系统不从零随机挑选样本,而是通过自适应采样策略优先重访前一步失败的难题:将批次大小 \(n\)(默认 10)的固定比例 \(\phi = 0.5\) 分配给上一轮错误集合 \(F_{prev}\),其余名额分配给未解决的常规样本。优化器通过检查工作空间 \(W_{train}\) 中留下的真实交互轨迹,像计算梯度一样提取“文本梯度”(Textual Gradient \(\nabla_{text}\)),定位到底是提示词规则缺失、技能不匹配还是拓扑分工失当。更关键的是,优化器仅能读取验证集 \(X_{val}\) 上的标量准确率指标及其变化差值 \(\Delta R_{val}\),严禁触碰验证集的执行轨迹细节,以此作为泛化信号,从根本上防止针对训练用例的过拟合调整。

3. 双轨记忆与假设驱动演化:长演化周期灾难性遗忘与幻觉漂移 -> 短期结构化计划与科学假设闭环账本 -> 保证演化决策的可追溯性与复利沉淀

面对多智能体优化中数百万 Token 的超长交互轨迹,LLM 极易出现记忆衰减与决策漂移。OptiMAS 提出了互补的双轨记忆机制:短期记忆采用“计划驱动”(Plan-oriented),在进入单步优化反传前建立结构化行动指南,管理 waiting、executing、completed、dropped 四种状态;所有放弃的任务必须提供强论据记录在案,并在终止前经由 finalize_optimization 进行可编程完整性审查。长期记忆则采用“假设驱动”(Hypothesis-driven),在跨步持久化账本中跟踪可证伪的科学假设。每个假设包含观察现象、根因推断、修改动作、预期结果及证据链五个字段,经历严谨的生命周期状态流转:

\[\text{PROPOSE} \xrightarrow{\text{应用改动}} \text{ENACT} \xrightarrow{\text{轨迹证据确认}} \text{VALIDATE}\]

若修改后未产生正向收益或发生逻辑退化,则触发 \(\text{ENACT} \rightarrow \text{REFUTE}\) 实施精准回滚;若场景不足则转入 \(\text{SUSPEND}\) 或 \(\text{DORMANT}\)。该机制彻底阻断了传统搜索中“重复犯同一错误”或“误将噪声当改进”的痛点,确保系统沿着严密的科学验证逻辑向前复合演进。

4. 三层上下文生命周期管理:超长推理轨迹导致显存溢出与状态截断 -> 渐进式三级容量安全包络 -> 实现百万Token级任务的优雅降级与信息保真

在代码工程或深度网页检索等复杂场景下,长时程 ReAct 循环会使上下文极速膨胀,暴力截断会直接丢失核心环境状态。基于 Model Context Protocol (MCP) 架构,OptiMAS 建立了一套严密的三层容量安全包络(Capacity Envelope)机制,依据当前历史 Token 大小 \(S(H_t)\) 动态触发: - 软限制(Tier 3: \(S > C_{soft}\)):注入非阻断式的建议警告,建议智能体主动调用 phase_done_and_summarize 阶段切换工具提炼进度; - 硬限制(Tier 2: \(S > C_{hard}\)):动态遮蔽文件编辑、代码运行等重型工具,仅暴露退出与阶段总结工具,强制模型压缩或交付输出; - 强制压缩(Tier 1: \(S > C_{force}\)):触发基于 LLM 的三段式语义压缩,保留系统提示词(Preamble)与最新一轮交互(Last Round),将密集工具中间段(Compressible Segment \(C\))结构化提炼为包含任务理解、已完成动作、关键决策、错误避坑及核心引用的高密度总结;若 LLM 压缩偶发失败,则平滑回退至保留最近 \(0.7 \times C_{hard}\) 的尾部截断(Tail-drop)。这一设计使智能体能够在远超原始模型窗口的超长时序中稳健运行。

搜索与演化优化策略

OptiMAS 彻底重塑了传统自动化智能体设计的演化空间。传统搜索范式将拓扑探索视为在离散状态空间上的图变异或离散树搜索,而 OptiMAS 通过以下策略构建收敛性保证: 1. 自适应优先级权重调整机制:为训练集中的每个样本维护动态权重 \(p_i\)。在每个 epoch 中,若样本求解正确,其抽样权重衰减为 \(p_i \leftarrow \max(p_{min}, p_i \cdot \alpha)\),其中衰减因子 \(\alpha = 0.6\);若求解失败,则惩罚性放大权重 \(p_i \leftarrow \min(p_{max}, p_i \cdot \beta)\),提升因子 \(\beta = 1.2\)。上下界分别被钳制在 \(p_{min}=0.2\) 和 \(p_{max}=2.0\),使得持续成功的样本与持续失败样本的最大抽样概率差锁定在 10 倍以内,避免分布退化与饱和。同时,每经过 \(\tau = 2\) 个周期执行一次全局均匀重置 \(p_i \leftarrow \frac{1}{|X_{train}|}\)。 2. 假设驱动的回滚与晋升机制:禁止仅凭单次标量指标增长就晋升架构,必须从执行轨迹中提取出与预期一致的决定性因果证据。一旦发现演化出的新子智能体或新 Prompt 产生幻觉负作用,长期账本立即指示优化器根据历史配置实施差分回滚,保证优化目标在参数和行为空间上具备经验上的拟单调性。

实验关键数据

主实验

论文在覆盖四大异质场景的基准集上进行了系统评测:WorkBench(职场工具操作与规划,690 题)、GAIA-text(多模态/文件复杂推理,103 题)、BrowseComp(长程复杂网页探索与事实核验,100 题子集)、SWE-Bench-Verified(真实 GitHub 软件工程 issue 修复,100 题子集)。测试涵盖了不同规模和访问权限的三种骨干 LLM:GPT-5-Nano、Qwen-3.6-35B-A3B 以及 Gemini-3-Flash。下表全面对比了单智能体初始基线 \(E_0\)、代表性手工 MAS 以及前沿自动化搜索/演化方法:

基准数据集 骨干模型 初始基线 Single \(E_0\) 手工 SOTA (SWE-Agent / Tongyi-DR) 演化基线 (ADAS / DGM) 本文 OptiMAS 相对 \(E_0\) 提升
WorkBench (%) GPT-5-Nano 18.6 15.0 (Debate) 41.6 (ADAS) 64.0 +45.4%
Qwen-3.6-35B 65.6 57.4 (SMoA) 56.4 (EvoAgent) 84.5 +18.9%
Gemini-3-Flash 71.7 66.3 (SMoA) 67.5 (EvoAgent) 92.93 +21.23%
GAIA-text (%) GPT-5-Nano 49.5 62.9 (Tongyi-DR) 41.9 (EvoAgent) 56.9 +7.4%
Qwen-3.6-35B 73.1 80.7 (Tongyi-DR) 46.8 (EvoAgent) 81.2 +8.1%
Gemini-3-Flash 80.7 75.8 (Tongyi-DR) 62.9 (EvoAgent) 87.1 +6.4%
BrowseComp (%) GPT-5-Nano 8.3 10.0 (Tongyi-DR) 3.3 (ADAS/Evo) 11.1 +2.8%
Qwen-3.6-35B 33.9 38.3 (Tongyi-DR) 8.3 (ADAS) 43.8 +9.9%
Gemini-3-Flash 52.2 48.3 (Tongyi-DR) 23.3 (EvoAgent) 58.3 +6.1%
SWE-Bench (%) GPT-5-Nano 29.4 16.7 (SWE-Agent) 18.3 (ADAS) 41.7 +12.3%
Qwen-3.6-35B 61.1 67.2 (SWE-Agent) 25.0 (DGM) 68.9 +7.8%
Gemini-3-Flash 72.8 75.0 (SWE-Agent) 55.0 (DGM) 77.2 +4.4%

(注:表中加粗数值为各列最优;Tongyi-DR 与 SWE-Agent 为领域专属手工顶尖系统;DGM 在部分长程基准上因环境或代码执行限制不可运行标注为 -)

消融实验

论文在 WorkBench 和 SWE-Bench-Verified 上针对核心框架组件进行了细致的剥离实验,以验证各模块在维持演化动力与泛化性中的具体贡献:

消融配置 WorkBench (GPT5) WorkBench (Qwen3.6) SWE-Bench (GPT5) SWE-Bench (Qwen3.6) 核心发现与机制说明
初始单智能体 \(E_0\) (基线) 18.6 65.6 29.4 61.1 极简系统,未引入任何协同与技能演化
OptiMAS 完整模型 (\(n=10\)) 64.0 (+45.4) 84.5 (+18.9) 41.7 (+12.3) 68.9 (+7.8) 包含自适应采样、双轨记忆与验证监督
缩小批次规模 (\(n=4\)) 55.0 (+36.4) 81.1 (+15.5) 24.4 (-5.0) 62.8 (+1.7) 弱骨干在小批次中正样本匮乏,致使反传信号枯竭
移除验证集监控指标 58.2 (+39.6) 82.8 (+17.2) 28.9 (-0.5) 64.4 (+3.3) 缺乏泛化校准导致轻度过拟合,测试集发生回退
移除假设驱动长期记忆 53.9 (+35.3) 71.4 (+5.8) 22.2 (-7.2) 53.3 (-7.8) 性能剧烈退化至劣于基线,演化退化为无序试错
移除自适应重采样机制 60.3 (+41.7) 75.1 (+9.5) 24.4 (-5.0) 60.6 (-0.5) 丧失对历史失败案例的靶向重验,演化无法深层纠错

关键发现

  • 假设驱动长期记忆是稳定进化的生命线:在消融实验中,去掉长期记忆会导致 SWE-Bench 上的表现直接跌穿初始基线 \(E_0\)(GPT5 下降 -7.2%,Qwen3.6 下降 -7.8%)。这表明如果缺少持久化的假设账本与验证准则,优化器在长时程多轮次迭代中极易出现误删有效技能或盲目重复已证伪修改的现象。
  • 演化收益与模型自身基础能力呈现逆相关:在 GPT-5-Nano 这种轻量级模型上,OptiMAS 带来的相对性能增益最为巨大(WorkBench 暴涨 +45.4%,SWE-Bench 提升 +12.3%);而在超强模型 Gemini-3-Flash 上增益收敛至 +4.4% ~ +21.23%。这表明通过自进化出的角色专门化、流程门控及精细技能,能够极大程度补偿基础模型在长程推理上的认知缺陷。
  • 任务无关通用优化器完胜领域专用手工系统:OptiMAS 在完全未针对特定任务做任何硬编码适配的前提下,在 GAIA(81.2% vs 80.7%)和 BrowseComp(43.8% vs 38.3%)上全面击败了深度微调强化学习的专有系统 Tongyi-DeepResearch,在 SWE-Bench 上超越了经典的 SWE-Agent(68.9% vs 67.2%),证明了其强大的交叉领域迁移力。

亮点与洞察

  • 多智能体演化的范式跃迁:将原本离散、充满随机试错的树搜索或代码遗传算法,重新表述为以交互轨迹工件为损失载体的连续“文本梯度下降”,实现了演化过程的平滑单调提升与经验复利。
  • 严格的可证伪科学实验闭环:在长期记忆中引入类似于科研实验日志的假设生命周期(PROPOSE \(\rightarrow\) ENACT \(\rightarrow\) VALIDATE / REFUTE),必须凭借轨迹级因果证据而非偶发标量精度晋升状态,彻底杜绝了虚假优化与幻觉改动。
  • 工业级实用的 MCP 解耦架构:客户端与工具服务端基于 Model Context Protocol 完全解耦,配合三级渐进式上下文生命周期管理,单步支持深度消化 140 万至 320 万 Token 的海量轨迹工件,使端到端多智能体演化真正具备了工业落地可行性。

局限与展望

  • 对骨干 LLM 的基础遵循能力存在硬性门槛:虽然演化可以补偿推理,但系统依赖于智能体自主执行工具调用、层级委派与上下文压缩。若基础骨干模型过弱(如极小型端侧模型),可能连基本的 ReAct 循环与 JSON Schema 协议都无法稳定维持。未来需探索轻量化模型上的渐进式脚手架机制。
  • 计算资源与 Token 开销依然显著:每优化步需处理 1.4M 至 3.2M Token 的复杂工作区工件,虽然相比全局离散评估显著高效,但在无强大算力支撑的中小团队中进行多轮长期演化仍有较高的 API 成本门槛。
  • 优化空间仍有进一步拓宽潜力:当前工具集合主要基于预设宏库组合以保证执行安全性,未来若能将沙箱隔离内的安全工具自主合成与动态提示词模板自创纳入一等优化目标,将进一步释放自动化演化的上限。

相关工作与启发

  • vs ADAS / AFlow: ADAS 和 AFlow 采用离散的树搜索与代码级图生成,候选分支彼此割裂,未被选中的分支教训直接丢弃;OptiMAS 采用数据驱动的连续文本梯度反向传播,借助假设记忆账本在单一主干上复利沉淀经验。
  • vs Darwin Gödel Machine (DGM) / Gödel Agent: DGM 依赖 LLM 完全自修改整个智能体 Python 代码库,极易陷入无法编译或非预期的严重崩溃;OptiMAS 采用基于配置驱动的统一 ReAct 原语与预设工具库组合,在 DAG 拓扑约束下实现了兼具广阔搜索空间与严格确定性终止的平衡。
  • vs SWE-Agent / Tongyi-DeepResearch: 后者针对特定领域(代码修复或深度网页检索)进行了昂贵的人工 Prompt 工程或强化学习微调,泛化迁移困难;OptiMAS 采用统一的通用优化器配置,在无人工干预的情况下跨四大任务自动演化出匹敌甚至超越领域专家的系统拓扑与协作技能。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将多智能体演化系统化重构为数据驱动的连续文本梯度优化,并提出假设生命周期闭环记忆,构思极为巧妙。
  • 实验充分度: ⭐⭐⭐⭐⭐ 在四大工业级严苛基准上横跨三代异质规模骨干模型全面评测,消融实验与演化轨迹动态分析极其详实。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念形式化严谨清晰,系统架构与附录实现细节完备,图表质量上乘。
  • 价值: ⭐⭐⭐⭐⭐ 为自动化构建可落地、自演进的生产级复杂多智能体系统提供了坚实的工程基石与方法学范式。