跳转至

COOP2: Defining, Observing, and Repairing Cooperation in LLM Multi-Agent Systems

会议: NeurIPS 2026
arXiv: 2603.00349
代码: https://happyeureka.github.io/coop2
领域: LLM Agent
关键词: 大语言模型多智能体系统, 协作评测, 认知-原语双层解耦, 约束驱动协作, 自适应修复通信

一句话总结

本文提出了 COOP2 评测与修复框架,通过认知-原语双层接口将高层符号规划对齐至底层环境执行,形式化定义了空间、时间、参与度与依赖四类可验证协作约束,并基于约束预测构建了针对性修复通信机制 COOP2-Repair。

研究背景与动机

随着大语言模型智能体被广泛应用于长程复杂规划、软件工程协同以及多体具身操作等开放任务,单一智能体已难以独立覆盖多样化能力与持续环境交互的需求。然而在多智能体系统(LLM-MAS)中,简单地堆叠智能体数量并不能保证系统性能的提升。智能体间的有效协作高度依赖于不同个体如何随时间动态协调动作以满足任务结构中的演化约束。现有主流多智能体框架往往通过人工预设硬编码工作流或启发式奖励来强加合作,这极大限制了智能体在开放、自适应环境中的泛化协作能力。

更为关键的矛盾在于 LLM-MAS 独特的两层异构特性:智能体的规划、符号通信与反思发生在异步的高层认知空间,而任务的实质性推进则依赖于底层物理或离散环境中的具体动作序列执行。以往的多智能体评估基准大多将协作简化为最终任务成功率等粗粒度结果指标(如通过单元测试、代码补丁采纳率或问答准确率),导致评测处于“协作黑盒”状态——系统可能仅凭单体能力碰巧完成任务,也可能在部分协作有效的情况下因某一关键协作步骤破裂而彻底失败,无法揭示协作过程何时、何处以及为何中断。

针对上述认知-执行解耦与过程评估缺失的核心矛盾,本文提出了将协作形式化为一级研究对象的系统性方案。核心 idea:构建认知-原语双层解耦接口对齐异步思考与同步环境时钟,以空间、时间、参与度、依赖四类形式化约束守卫任务推进过程,并基于未决规划的约束失效预测自适应开启定向通信修复通道(COOP2-Repair)。

方法详解

整体框架

COOP2 将 LLM-MAS 的交互抽象为高层认知层(Cognitive Layer \(\mathsf{C}\))与底层原语层(Primitive Layer \(\mathsf{P}\))的相互映射体系。在认知层中,智能体利用 LLM 进行符号推理、工具调用生成候选动作序列、发起结构化消息广播或处理中断;在原语层中,联合动作驱动环境状态演化并推进任务生命周期。两层之间通过接地桥梁(Grounding Bridge)实现异步认知时钟 \(\hat{\mathbb{T}}\) 到离散环境时钟 \(\mathbb{T}\) 的对齐。任务状态的转移被形式化定义为受四类协作约束守卫的演化过程,而 COOP2-Repair 模块在智能体动作落盘执行前预先对群体规划进行可行性检验并介入纠偏。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["多智能体系统环境状态与任务目标"] --> A["认知-原语解耦与接地桥梁<br/>对齐异步认知时钟与同步执行时钟"]
    A --> B["多智能体环境交互循环<br/>推理、等待、执行与中断四阶段流转"]
    B --> C["形式化协作约束守卫<br/>时空/能力/依赖约束可验证评估"]
    C --> D["COOP2-Repair 约束失效预测与定向修复<br/>未决规划可行性诊断与按需开辟通道"]
    D --> Out["底层环境动作执行与可解释协作过程追踪"]

关键设计

1. 认知-原语解耦与接地桥梁:对齐异步符号决策与底层物理执行

由于智能体进行大模型推理和多轮会话耗费的计算时间长短不一,且一个高层符号工具调用往往对应着不可预知步数的低级动作序列(如自动寻路可能因障碍物花费多步甚至中途受阻),直接混淆思考时钟与环境时钟会导致时序失真。COOP2 引入接地映射函数 \(\kappa(\hat{t}) = \max\{t \in \mathbb{T}: t \preceq \hat{t}\}\),把认知时刻 \(\hat{t}\) 投影到最新已完成的环境步 \(t\)。在每个环境离散区间 \(\mathcal{I}_t = [\hat{t}_t, \hat{t}_{t+1})\) 内,符号工具调用 \(\hat{a}_i(\theta_i)\) 被随机执行分布 \(\Gamma\) 展开为底层原语动作序列 \(\{a_{i,\tau}\}_{\tau=t:t'}\)。当且仅当系统中全体活跃智能体均持有处于激活态(Active)的有效规划时,系统才由认知层切换至原语层进行同步环境演化 \(\mathsf{C} \rightarrow \mathsf{P}\);一旦某智能体规划执行完毕、由于外部状态变迁导致前提失效,或者在认知区间内接收到其他智能体的通信消息,系统立刻触发逆向转移 \(\mathsf{P} \rightarrow \mathsf{C}\),将对应智能体拉回认知层重新决策。

2. 多智能体环境交互循环:形式化建模思考、等待、执行与中断

为了精准量化智能体协同中因等待或冲突造成的隐性决策损耗,COOP2 建立了多智能体环境交互循环(MAEIL)。每名智能体在认知时间 \(\hat{t}\) 的内部状态包含交互阶段 \(\hat{\mathcal{Q}}_{i,\hat{t}} \in \{\mathsf{R}, \mathsf{W}, \mathsf{X}, \mathsf{I}\}\) 与当前规划 \(\hat{\pi}_{i,\hat{t}}\)。四阶段的流转机制严密闭环:在推理阶段 \(\mathsf{R}\),智能体根据观测思考并生成包含任务规约与动作序列的规划;若率先完成规划但队友仍在思考,智能体转入等待阶段 \(\mathsf{W}\);当全员就绪后,智能体进入执行阶段 \(\mathsf{X}\) 驱动环境;在任何阶段(包括执行途中或等待中),若接收到其他智能体发送的结构化消息,智能体将被强制置于中断阶段 \(\mathsf{I}\),立即评估该消息并自主做出恢复旧规划(Resume)或丢弃并重规划(Replan)的选择。MAEIL 清晰剥离了真正用于推进任务的动作时间与因为多体同步、通信冲突带来的决策等待及中断开销。

3. 形式化协作约束守卫:将协作转化为可验证的过程信号

传统评估无法识别智能体是否真正协作,COOP2 将每个活跃协作任务 \(g \in \mathcal{G}_t\) 定义为受一组协作约束集合 \(\mathcal{C}_g\) 守卫的状态机,任务的实质性推进必须满足这组先验约束。框架将现实协同需求泛化为四类核心约束指标: - 时间约束 \(C_{\Delta t}\):要求多智能体在严格同步或指定时间窗口内执行特定动作(如两人合力抬起箱子或同时对同一矿石执行采集操作)。 - 空间与拓扑约束 \(C_{\Delta\ell}\):要求智能体必须处于目标对象的特定邻域范围或保持相对空间编队(如推箱时分别贴靠物体的左右两侧)。 - 参与度与能力约束 \(C_n\):要求协同小组人数满足法定阈值 \(p(g)\),且每个参与者的能力状态满足任务要求(例如拥有对应层级的镐具、或合并具备足够长文本处理上下文)。 - 依赖约束 \(C_d\):规定必须满足前置因果序列(如科技树前置物料或特定合成台放置)。

单次尝试事件 \(e_g\) 对约束 \(c\) 的违反赤字定义为 \(v_c(e_g) = 1 - \min\{s_c(e_g), 1\}\),并在任务尝试全集中计算平均违反率 \(\mathrm{Viol}_c\),使得评测能精确定位团队是“卡在找不到前置工具(依赖失败)”还是“卡在站位错位(空间失败)”。

4. COOP2-Repair 约束失效预测与定向修复:执行前干预消除协同隐患

在发现多智能体经常在做出执行后才察觉协同矛盾(如大家同时去抢同一块资源,或由于缺乏工具无效挥击)的问题后,COOP2-Repair 提出了执行前介入的轻量级先验纠偏机制。在每个环境步 \(t\) 开始前,当所有智能体提交了步对齐规划 \(\hat{\pi}_{i,t}\) 后,算法根据规划中的任务意图聚类出目标智能体群 \(\mathcal{I}_{g,t} = \{i \in I: \hat{\rho}_{\hat{\pi}_{i,t}} = g\}\)。随后,预测器基于群体联合能力与计划动作序列,预估各约束的达成概率 \(\hat{p}_{g,t}^c\)。一旦检测到预测失效约束集 \(\widehat{\mathcal{C}}_{g,t}^- = \{c \in \mathcal{C}_g: \hat{p}_{g,t}^c < \tau_c\}\) 非空,系统立即暂缓向底层原语下发动作,并为该任务开辟临时修复通信通道 \(\mathcal{R}_{g,t} = \mathcal{I}_{g,t}\),同时向通道注入结构化上下文 \(\mathrm{ctx}_{g,t} = (g, \mathcal{I}_{g,t}, \widehat{\mathcal{C}}_{g,t}^-)\)。组内智能体根据明确的失效根因重新协商对齐;若需额外人手,组内智能体可主动向组外成员发送协同请求将其拉入 \(\mathcal{R}_{g,t}\) 并触发其中断重排。完成修复后任务进入冷却期,避免引发通信死循环。

一个完整示例

以 MA-Crafter 中开采煤矿(Coal)为例:煤矿任务规约要求 2 名智能体参与协同,且每位智能体必须持有木镐(Wood Pickaxe)并在相邻 1 步之内同时执行 collect 动作。 1. 规划提交:智能体 A 和智能体 B 分别生成规划,打算开采同一坐标处的煤矿资源,将意图设置为任务 \(g_{\mathrm{coal}}\)。 2. 约束失效预警:COOP2-Repair 模块检索智能体背包能力,发现智能体 A 已拥有木镐,但智能体 B 仍处于空手状态,因此判定能力约束不满足,预测依赖约束违规 \(\widehat{\mathcal{C}}_{g_{\mathrm{coal}},t}^- = \{C_n\}\)。 3. 修复通道开辟:COOP2-Repair 拦截底层原语动作下发,向智能体 A 和 B 注入修复上下文 (coal#42, [agent_A, agent_B], ['capability_pickaxe_missing'])。 4. 自适应重规划:智能体 A 识别到工具瓶颈,在修复通道中向 B 发起通信,并在新规划中插入 share('agent_B', 'wood_pickaxe', 1) 动作;智能体 B 接收木镐后更新意图。此时群体联合状态满足能力约束,随后两机同步贴近矿石同时发起采集,成功避免了因徒手采集失败而浪费环境步数。

实验关键数据

主实验

论文在 MA-Crafter 环境中,针对 3 种通信结构(Individual 独立规划、Centralized 中心化分配、Chain 链式讨论)、2 种团队规模(3 智能体、6 智能体)以及 3 类代表性模型(GPT-5.4、GPT-5.4-mini、Llama-4-Scout-17B-16E)进行了完整评测。

团队与模型配置 通信结构 累计得分 (Score ↑) 环境步数 (Steps) 步均得分 (Score/Step ↑) 消息总数 (Msg.) 空间违规率 (Spat. Viol. ↓) 依赖违规率 (Dep. Viol. ↓)
3-agent GPT-5.4 Individual 809.0 ± 405.8 99.8 ± 10.0 8.22 ± 4.25 0.0 ± 0.0 0.43 ± 0.06 0.24 ± 0.09
3-agent GPT-5.4 Centralized 266.8 ± 174.1 68.2 ± 3.9 3.96 ± 2.67 36.8 ± 7.0 0.36 ± 0.08 0.11 ± 0.07
3-agent GPT-5.4 Chain 181.6 ± 84.5 54.2 ± 3.9 3.37 ± 1.58 26.8 ± 1.3 0.37 ± 0.05 0.07 ± 0.06
3-agent GPT-5.4-mini Individual 146.8 ± 141.6 117.4 ± 13.0 1.26 ± 1.29 0.0 ± 0.0 0.10 ± 0.07 0.23 ± 0.23
3-agent GPT-5.4-mini Centralized 39.4 ± 24.3 88.4 ± 12.1 0.45 ± 0.30 88.4 ± 6.9 0.12 ± 0.08 0.57 ± 0.17
3-agent GPT-5.4-mini Chain 29.4 ± 5.7 61.8 ± 11.9 0.49 ± 0.10 57.4 ± 3.0 0.05 ± 0.05 0.44 ± 0.26
6-agent GPT-5.4 Individual 691.4 ± 303.5 68.4 ± 3.7 9.92 ± 3.99 0.0 ± 0.0 0.47 ± 0.04 0.17 ± 0.08
6-agent GPT-5.4 Centralized 230.4 ± 167.0 46.0 ± 3.0 4.83 ± 3.33 58.0 ± 6.9 0.43 ± 0.06 0.06 ± 0.07
6-agent GPT-5.4-mini Centralized 141.8 ± 89.2 63.4 ± 8.3 2.18 ± 1.31 127.4 ± 38.2 0.13 ± 0.05 0.25 ± 0.12
6-agent Llama-Scout Centralized 50.8 ± 6.5 49.6 ± 4.3 1.03 ± 0.18 115.2 ± 52.8 0.18 ± 0.12 0.16 ± 0.12

消融实验

在 CUBE 推箱子协作环境中,对 3 智能体与 6 智能体配置下不同通信结构的影响进行了系统对比(CUBE 强调重箱子的空间对齐与法定推挤力量 quorum)。

配置与模型 结构拓扑 任务得分 (Score ↑) 完成步数 (Steps) 步均效率 (Score/Step) 消息数 (Msg.) 空间违规 (Spat. Viol. ↓) 时间违规 (Temp. Viol. ↓)
3-agent GPT-5.4-mini Individual 3.0 116.0 0.03 0.0 0.20 0.26
3-agent GPT-5.4-mini Centralized 3.0 80.0 0.04 54.0 0.27 0.30
3-agent GPT-5.4-mini Chain 1.0 54.0 0.02 48.0 0.17 0.23
6-agent GPT-5.4 Centralized 6.0 59.0 0.10 55.0 0.41 0.55
6-agent GPT-5.4 Chain 1.0 23.0 0.04 35.0 0.31 0.33
6-agent GPT-5.4-mini Centralized 0.0 75.0 0.00 126.0 0.10 0.64
6-agent GPT-5.4-mini Chain 3.0 39.0 0.08 66.0 0.14 0.22

关键发现

  • 大模型性能差距呈数量级体现:强模型(GPT-5.4)不仅在分数上显著压制中小模型(3 智能体得分 809.0 vs 146.8 vs 30.4),更重要的是强模型能主动沿着“木材 \(\rightarrow\) 石材 \(\rightarrow\) 煤炭 \(\rightarrow\) 铁矿”的技术依赖树推进高级工具制造;而较小模型即便完成较多环境步数,也大多原地打转、陷入低价值浅层资源采集。
  • “通信不等于协作”的负收益反思:在认知时钟与物理时钟并行的约束下,通信带来了巨大的时间与中断开销。对于具备极强独立规划能力的 GPT-5.4,中心化(Centralized)通信使其得分从 809.0 骤降至 266.8(下降约 67%),因为频繁的中断和等待极大地剥夺了物理动作执行机会;但对于弱模型(如 6 智能体 GPT-5.4-mini),中心化协调有效遏制了无序抢夺与盲目探索,使分数由 86.8 提升至 141.8。
  • 团队扩张的扩展性陷阱:单纯将队伍规模从 3 扩展至 6 个智能体并不必然带来增益。GPT-5.4 在独立模式下的得分反而由 809.0 衰退至 691.4(-15%),核心原因在于多智能体并发引起的拥堵冲突与重复采集使得未协同状态下的动作有效率大幅摊薄。

亮点与洞察

  • 解耦认知与原语两层时钟:巧妙将符号规划与离散执行拆解为异步时钟映射系统,揭示了 LLM 思考耗时与物理推进之间的权衡,填补了多智能体研究长期忽略思考等待成本的空白。
  • 约束驱动的过程级可解释诊断:将抽象的“协作能力”细化落地为时间、空间、参与度与依赖四项可直接在底层校验的算子,使开发者可以像单步调试代码一样定位多智能体配合断裂的微观环节。
  • 自适应前置修复通道:提出的 COOP2-Repair 改变了“执行失败后再反思”的滞后模式,在动作落盘前进行轻量级约束预判并定向召集相关个体重新协商,显著降低了多机无效试错成本。

局限与展望

  • 作者指出的局限:当前的 COOP2-Repair 模块依赖于轻量级启发式规则和统计阈值来进行约束破坏预测,尚未将预测器端到端参数化为通用可泛化的自监督或强化学习模型。
  • 延伸思考与局限:实验环境主要集中在离散网格世界(MA-Crafter 与 CUBE),在更复杂的连续动作空间或长程开放世界真实场景中,环境动作的不确定性更大,对约束违规的确定性预测与因果归因难度将成倍提升。
  • 改进方向:探索在更大规模异构智能体编队中,结合动态通信拓扑学习与世界模型模拟,实现基于潜在轨迹模拟的高精度约束预测与自主角色涌现。

相关工作与启发

  • vs MetaGPT / AutoGen: 既有工作依赖硬编码 Prompt 角色或预定静态工作流来诱导协作,缺乏对协作本质的形式化定义;COOP2 提出了可跨任务环境通用的显式协作约束守卫与微观过程追踪。
  • vs MultiAgentBench / EmbodiedBench: 现有基准仅以最终胜负率或通过率打分,是黑盒化评测;COOP2 则将高层语言交互与底层环境状态演化绑定,提供了详尽的过程级协作追踪诊断。
  • vs 经典分布式约束满足 (DCSP): 经典方法依赖已知全状态转移与精确求解器;COOP2 将约束机制嵌入具备概率认知与开放语义的 LLM 智能体架构中,有效统一了符号约束逻辑与神经推理。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次建立认知-原语解耦的协作过程追踪范式,提出显式协作约束分类。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2 个环境、3 类模型、3 种拓扑结构及 3/6 团队规模,提供了过程级热力图与微观通信案例。
  • 写作质量: ⭐⭐⭐⭐⭐ 形式化数学定义清晰完备,系统架构与时钟对齐模型逻辑严密。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型多智能体系统的微观协同评测与执行前故障诊断提供了极具启发性的标准基准工具。