When Do Multi-Agent Systems Help? An Information Bottleneck Perspective¶
会议: NeurIPS 2026
arXiv: 2607.16133
代码: https://github.com/divelab/MAS-SAS
领域: LLM Agent
关键词: 多智能体系统, 单智能体系统, 信息瓶颈, 局部上下文隔离, 中继通信
一句话总结¶
本文从信息瓶颈理论视角统一建模单智能体系统（SAS）与多智能体系统（MAS），证明无限通信带宽下二者等价，揭示出 MAS 的核心增益取决于「消除上游无关冗余上下文」与「有界中继造成任务相关信息损失」之间的权衡，并被模型能力参数调节。
研究背景与动机¶
基于大语言模型的多智能体系统（MAS）在复杂规划、软件工程、科学探索等领域展现出强大潜力，常被认为能够借助角色专业化与分工协作突破单智能体系统（SAS）的性能天花板。然而，近期诸多实证研究发现 MAS 相较于 SAS 的优势并不稳固，甚至出现争议：在部分多跳推理或全局规划任务中，单智能体配合充足的思考 token 预算反而超越多智能体；且随着基座模型能力（如参数量和上下文建模水平）提升，MAS 带来的边际增益迅速收缩甚至逆转。
这种性能波动的核心症结在于：现有研究多停留在现象层面的实证对比，缺乏从机理上解释「多智能体架构何时有效、何时劣化」的结构性理论工具。以往工作往往将多智能体的增益笼统归因于提示词工程、子任务分解或增加计算量，却忽略了信息流在不同系统拓扑中的本质组织方式。单智能体将所有历史执行轨迹堆积在单一全局上下文中，而多智能体则将上下文隔离开来，仅通过有界的中继消息（relays）传递中间结果。
本文的切入视角是跳出智能体数量的表象，将系统架构差异转化为通信中继的信息压缩问题。在无限带宽下多智能体通过完整转发历史可精确模拟单智能体，因此多智能体的实质效果完全源于「有界中继的压缩效应」——它既能过滤上游噪声以减轻下游上下文负担，也存在丢弃关键先验的风险。核心 idea：将多智能体中的有界中继建模为信息瓶颈（Information Bottleneck）权衡过程，推导出由下游模型能力参数 \(\beta\) 控制的阶段增益判据 \(G_i^{\mathrm{MAS}} = H(M_i \mid m_i) - \beta \Delta_i(m_i)\)，证明多智能体仅在上游上下文冗余消除收益超越能力加权的信息损失时才能带来实质提升。
方法详解¶
整体框架¶
本文构建了一个基于部分可观测序贯决策过程（POMDP）的统一形式化智能体抽象，并在同等规划分解下对比三种原型系统：标准单智能体（SAS，单一共享上下文累积全部轨迹）、上下文流单智能体（SAS-contextflow，共享全局上下文但显式按子任务阶段分步执行）、以及多智能体系统（MAS，各个工作智能体拥有独立的局部上下文，仅通过有界压缩中继消息 \(m_i\) 串联）。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["任务实例 X 与初始观测 o0"] --> B["规划分解与形式化智能体抽象"]
B --> C["有界中继信息瓶颈目标构建"]
C --> D["阶段 MAS 增益分解与模型能力调节"]
D --> E["任务中继复杂度 regimes 判定与执行"]关键设计¶
1. 规划分解与形式化智能体抽象：严格解耦子任务结构与上下文通信
现有对比常把「子任务分解带来的规划红利」与「多智能体多上下文架构」混为一谈。本文将智能体抽象为五元组 \(\mathsf{Agent} \triangleq \langle \mathcal{T}, \mathcal{M}, \pi_T, \pi_A, \mathrm{Agg} \rangle\)，其中上下文 \(M_t\) 随思维、动作与观测历史递推累积。规划器将任务 \(X\) 划分为子任务序列 \(X_1, \dots, X_n\)。为了隔离规划结构的影响，本文特设 SAS-contextflow：它与 MAS 采用完全相同的子任务划分与角色分配，但保持全局上下文全可见；MAS 则为每个 Worker \(i\) 配备隔离上下文 \(M_i\)，仅接收上一阶段压缩中继 \(m_{i-1} = \mathrm{Agg}_{i-1}(M_{i-1})\)。在无限通信带宽（\(B_{\mathrm{sys}} \to \infty\)）且传递完整上下文（\(m_i = M_i\)）时，MAS 能够精确复现 SAS 轨迹；因此有界中继的消息压缩是决定 MAS 相对优劣的唯一根本变量。
2. 有界中继信息瓶颈目标构建：刻画压缩率与下游相关性折角
在多阶段 Worker 串行链路上，上游 Worker \(i\) 的完整上下文为 \(M_i\)，压缩中继为 \(m_i\)，下游 Worker \(i+1\) 的目标为 \(Y_{i+1}\)（基于局部子任务 \(X_{i+1}\)）。由于 \(m_i\) 是从 \(M_i\) 压缩得到，系统满足条件马尔可夫链 \(m_i \leftrightarrow M_i \leftrightarrow Y_{i+1} \mid X_{i+1}\)。在此基础上，本文引入信息瓶颈（Information Bottleneck）泛函，将中继设计转化为优化目标： $$ \min_{p(m_i \mid M_i)} I(M_i; m_i) - \beta I(m_i; Y_{i+1} \mid X_{i+1}) $$ 第一项 \(I(M_i; m_i)\) 代表中继对上游历史的记忆保留程度，第二项 \(I(m_i; Y_{i+1} \mid X_{i+1})\) 衡量传递给下游决策的相关有效信息。无压缩的 SAS 相当于极限情况 \(m_i = M_i\)，其目标值退化为 \(\mathcal{L}_i^{\mathrm{SAS}}(\beta) = H(M_i) - \beta I(M_i; Y_{i+1} \mid X_{i+1})\)。
3. 阶段 MAS 增益分解与模型能力调节：导出正负收益判定边界
为衡量多智能体相对于单智能体基线的理论优势，定义局部阶段增益 \(G_i^{\mathrm{MAS}} \triangleq \mathcal{L}_i^{\mathrm{SAS}} - \mathcal{L}_i^{\mathrm{MAS}}\)。定义中继信息损失 \(\Delta_i(m_i) \triangleq I(M_i; Y_{i+1} \mid X_{i+1}) - I(m_i; Y_{i+1} \mid X_{i+1}) \ge 0\)。通过严格推导，阶段 MAS 净增益可清晰分解为两个竞争项： $$ G_i^{\mathrm{MAS}} = H(M_i \mid m_i) - \beta \Delta_i(m_i) $$ 其中 \(H(M_i \mid m_i)\) 为上游冗余无用上下文的消除量（消噪红利），\(\beta \Delta_i(m_i)\) 为中继压缩导致下游必要信息丢失的惩罚项。参数 \(\beta\) 被赋予了深刻的物理内涵：它对应下游 LLM 的基座能力。弱小模型受长文本无关噪声干扰严重，能从激进压缩中获益（较小的有效 \(\beta\)）；而强大模型自身具备在长文本冗余噪声中精准检索有效信息的能力，对上下文压制需求低，但对中继信息丢失极其敏感（较大的有效 \(\beta\)），导致损失惩罚急剧放大。
4. 任务中继复杂度 regimes 判定与执行：界定局部充分性与长程依赖
并非所有任务都能在局部中继下保持无损传递。本文定义局部充分中继的最小描述长度为阶段中继复杂度 \(\delta_i \triangleq \min_{m_i} L(m_i) \text{ s.t. } \Delta_i(m_i) = 0\)。根据全局平均复杂度 \(\delta\) 将任务划分为三类机制区域： - 低复杂度充分中继（\(\delta \approx 0\)）：如 ALFWorld（仅需物体位置和状态即可满足下游执行）和 WideSearch（子查询高度独立并行），中继能够以极短文本实现 \(\Delta_i \approx 0\)，消除上下文噪音占主导，\(G_i^{\mathrm{MAS}} > 0\)； - 高复杂度有损中继（\(\delta > 0\) 或 \(\delta \gg 0\)）：如 WorkBench（需要向下游传递具体邮件、时间戳、对象 ID 等细粒度执行快照）和 TravelPlanner 硬约束规划（需要全局跨天预算和住宿前后一致性）。中继压缩极易丢弃长程依赖信息，使得 \(\Delta_i > 0\) 且随模型能力 \(\beta\) 放大，导致 MAS 收益迅速归零甚至变成严重负向劣势。
实验关键数据¶
主实验¶
论文在五个代表性 Agent 基准（ALFWorld、WebShop、WorkBench、WideSearch、TravelPlanner）以及三种不同能力基座模型（弱：Qwen2.5-7B-Instruct、中：GPT-4o-mini、强：Qwen3.5-27B-AWQ-4bit）下进行了 18 组严格受控评测。所有原型在完全相同的最大步数预算下对比。
| 任务 / 基准 | 复杂度机制 \(\delta\) | 模型 | SAS | SAS-contextflow | MAS | MAS 相对 SAS-contextflow 增益 |
|---|---|---|---|---|---|---|
| ALFWorld (SR) | \(\delta \approx 0\) | Qwen2.5-7B GPT-4o-mini Qwen3.5-27B |
0.366 0.507 0.903 |
0.172 0.373 0.888 |
0.545 0.552 0.895 |
+0.194 +0.157 +0.023 |
| WideSearch (Item F1) | \(\delta \approx 0\) | Qwen2.5-7B GPT-4o-mini Qwen3.5-27B |
0.208 0.387 0.630 |
0.244 0.465 0.628 |
0.322 0.528 0.656 |
+0.079 +0.063 +0.028 |
| TravelPlanner-CS (Pass) | \(\delta \approx 0\) | Qwen2.5-7B GPT-4o-mini Qwen3.5-27B |
0.006 0.128 0.150 |
0.006 0.044 0.167 |
0.017 0.228 0.194 |
+0.011 +0.183 +0.028 |
| WebShop (SR) | \(\delta > 0\) | Qwen2.5-7B GPT-4o-mini Qwen3.5-27B |
0.173 0.353 0.447 |
0.143 0.217 0.453 |
0.223 0.303 0.450 |
+0.080 +0.086 -0.003 |
| WorkBench (SR) | \(\delta \gg 0\) | Qwen2.5-7B GPT-4o-mini Qwen3.5-27B |
0.205 0.490 0.639 |
0.176 0.514 0.619 |
0.171 0.428 0.605 |
-0.005 -0.086 -0.014 |
| TravelPlanner-HC (Pass) | \(\delta > 0\) | Qwen2.5-7B GPT-4o-mini Qwen3.5-27B |
0.000 0.056 0.433 |
0.000 0.011 0.489 |
0.017 0.172 0.256 |
+0.017 +0.161 -0.233 |
消融实验¶
1. 规划结构单因素消融（SAS vs. SAS-Plan）：检验单纯任务分解是否足以带来增益 引入 SAS-Plan 原型：接收与 MAS 完全相同的子任务规划分解提示，但在单一共享上下文内累积执行全部历史（即无中继隔离，中继压缩量 \(H(M_i \mid m_i)=0, \Delta_i=0\)）。
| 任务 / 指标 | Qwen2.5-7B (SAS / SAS-Plan / 差距) | GPT-4o-mini (SAS / SAS-Plan /差距) | Qwen3.5-27B (SAS / SAS-Plan / 差距) |
|---|---|---|---|
| ALFWorld (SR) | 0.366 / 0.298 / -0.068 | 0.507 / 0.448 / -0.059 | 0.903 / 0.709 / -0.194 |
| WebShop (SR) | 0.173 / 0.123 / -0.050 | 0.353 / 0.270 / -0.083 | 0.447 / 0.466 / +0.019 |
| WebShop (Reward) | 0.557 / 0.526 / -0.031 | 0.666 / 0.492 / -0.174 | 0.725 / 0.752 / +0.027 |
| TravelPlanner (CS Macro) | 0.006 / 0.011 / +0.005 | 0.128 / 0.094 / -0.034 | 0.150 / 0.167 / +0.017 |
| TravelPlanner (HC Macro) | 0.000 / 0.000 / 0.000 | 0.056 / 0.022 / -0.034 | 0.433 / 0.361 / -0.072 |
2. 中继充分性人为破坏消融：因果验证中继信息损失 \(\Delta_i\) 对性能的直接惩罚 在保持 MAS 分解架构完全不变的前提下，人为剔除中继中的下游必需信息（ALFWorld 移除位置和物体状态；WebShop 仅保留商品名而丢弃价格、规格和浏览路径）。
| 任务 / 评估指标 | Qwen2.5-7B (充分 / 不充分 / 差距) | GPT-4o-mini (充分 / 不充分 / 差距) | Qwen3.5-27B (充分 / 不充分 / 差距) |
|---|---|---|---|
| ALFWorld (SR) | 0.545 / 0.530 / -0.015 | 0.552 / 0.537 / -0.015 | 0.895 / 0.843 / -0.052 |
| WebShop (SR) | 0.223 / 0.215 / -0.008 | 0.303 / 0.225 / -0.078 | 0.450 / 0.440 / -0.010 |
关键发现¶
- 在低中继复杂度任务（\(\delta \approx 0\)）中，MAS 对弱、中模型带来显著的性能跃升（如 ALFWorld 上 Qwen2.5-7B 提升 +0.194，GPT-4o-mini 提升 +0.157）；但随着模型增强至 Qwen3.5-27B，该增益急剧收敛至 +0.023，与理论预测完全吻合。
- 在高中继复杂度任务（\(\delta > 0, \delta \gg 0\)）中，随着模型能力提升，MAS 的相对表现由微弱领先迅速恶化为严重负增益。典型如 TravelPlanner-HC，弱模型上 MAS 尚能依靠局部规划带来微小改善（+0.017），而在 Qwen3.5-27B 上 MAS 相比 SAS-contextflow 大幅暴跌 -0.233，表明强模型处理全局共享上下文的能力远超有损中继。
- SAS-Plan 消融证明，单纯引入子任务规划分解提示并不能提升性能，反而因增加冗长指令让单智能体在共享上下文中表现普遍下降；MAS 的增益完全来自上下文物理隔离与中继消噪。
亮点与洞察¶
- 论文跳出了「多智能体是否更强」的经验性争论，首次用信息论中的信息瓶颈严格刻画了智能体间消息传递的压缩双刃剑效应，理论优雅且物理图景清晰。
- 提出了模型能力等效参数 \(\beta\) 的概念，直观解释了为什么同一个多智能体工作流会「在小模型上立竿见影、在顶尖大模型上反而拖后腿」的业界普遍困惑。
- 启发多智能体系统工程设计应从盲目增加智能体角色，转向重点优化中继通信接口——评估任务的 \(\delta\) 属性，在必要时设计双向回溯或全局黑板机制以消除长程依赖信息损失。
局限与展望¶
- 论文当前将模型能力 \(\beta\) 和任务中继复杂度 \(\delta\) 作为定性分析参数，尚未给出基于文本或注意力的直接数值估算器。
- 实验拓扑主要集中在串行链式与分层 Worker 结构，尚未推广至复杂的动态拓扑、多轮辩论或图状通信网络。
- 未来的重要方向是联合训练可自适应调节压缩率的参数化中继编码器，使系统能根据基座模型能力动态决定保留多少上下文细节。
相关工作与启发¶
- vs SAS 扩展法则 (AI agents that matter / Kapoor et al.): 现有研究指出同等计算预算下单智能体表现优异，但停留在实证观察；本文则通过 \(H(M_i \mid m_i)\) 与 \(\Delta_i(m_i)\) 竞争给出了严密的机制性解释。
- vs 多智能体拓扑与涌现 (AgentVerse / ChatDev): 以往工作主要探索基于角色的协作框架工程，本文为通信链路的拓扑优化提供了明确的信息论准则。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从信息瓶颈与有界中继等价性视角系统解释 MAS 相对于 SAS 的增益边界。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大基准、3 档模型尺度、共 18 组严格受控实验与深入消融案例。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，数学符号与系统机制对应紧密，叙事逻辑严谨。
- 价值: ⭐⭐⭐⭐⭐ 为多智能体系统的适用场景选择与自适应通信接口设计提供了重要理论指导。