跳转至

Streaming Communication in Multi-Agent Reasoning

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM Agent
关键词: 多智能体推理, 流式通信, 流水线并行, 步骤级扩展定律, 推理加速

一句话总结

提出步骤级流式通信框架 STREAMMA,将多智能体协作的传递粒度从完整回复下沉到单步推理,利用长思维链中前序步骤高可靠、后序步骤易退化的位置异质性,在实现高达 26.9× 流水线加速的同时显著抑制错误级联,在数学、科学与代码基准上平均提升 7.3 个百分点。

研究背景与动机

基于大语言模型(LLM)的多智能体系统已成为解决复杂逻辑推理、程序合成与科学探索的主流范式。在现存框架中,多个智能体通常被组织为有向无环图(DAG)的节点,上游智能体向后继智能体传递中间思路或验证反馈。然而,现有的多智能体协作机制几乎无一例外建立在“全量生成后传输”(Generate-then-Transfer)的串行通信假设之上:下游智能体必须保持完全空闲,直到前序节点阻塞式地生成完毕全部长文本回复,才触发一次性上下文转发。这种设计不仅迫使端到端执行延迟随管线深度线性累加,抹杀了不同节点间的并行空间,更在底层默认了一条直觉——“提供越完整的上下文,下游决策越优质”。

然而,长链思维的内部质量结构在现实中并不均匀。近期对过程监督与模型不确定性的深入研究揭示,多步推理的正确率与 token/步骤所处位置高度相关:上游智能体在前序步骤通常保持高度清醒与严谨,而随着思维链变长,幻觉、算术漂移与错误累积会使后序步骤的可靠性显著退化。在传统的全量串行模式下,下游智能体被迫通读包含这些错误尾部的整段回复,极易被上游后期的推理偏差带偏,引发灾难性的错误级联(Error Cascading)。相反,若在每一步推理产出的瞬间即刻流式推送给下游,下游智能体便能第一时间基于最可靠的高质量前缀展开独立思考;当上游带有缺陷的后序步骤最终送达时,下游已经构建出属于自己的稳健思维主线,这些后期错误的影响便被天然稀释。

本文正是抓住“时效优先于全量”这一反直觉特性,旨在重塑多智能体通信的基础架构。核心 idea:将多智能体通信单元从完整回复下沉至推理步骤(reasoning step),在生成单步后即时流式推向后继节点并建立流水线并发;利用长思维链中前序步骤高可靠、后序步骤易退化的位置异质性,使下游智能体及早依托优质前缀展开独立推理,在稀释累积误差的同时实现计算重叠与大幅延迟加速。

方法详解

整体框架

STREAMMA 针对任意有向无环图(DAG)结构 \(G=(V, E)\) 构建了步骤级的流式流水线执行体系。在初始化阶段,系统将输入问题 \(Q\) 广播至图中所有入度为 0 的源智能体队列。各节点智能体在后台完全并发运行,每个智能体通过显式提示词约束在生成完每个推理步骤后输出特定分隔标记(如 END_STEP)。一旦检测到单步完成,该步骤即刻被分发并压入其所有后继节点的先进先出(FIFO)输入队列,无需等待整条回复生成完毕。下游智能体监听到新步骤后立即追加到自身上下文并唤醒推理,各节点上下文随推理步骤推进自然形成共享前缀,为现代服务引擎的高效 KV-cache 复用提供了天然支撑。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["输入任务查询 Q<br/>广播至图源节点"] --> StepStream["步骤级流式转发与流水线执行<br/>单步产出即推 / 消除下游空转等待"]
    StepStream --> PrefixDilution["前缀抗噪与推理稀释机制<br/>依托可靠前缀起跑 / 稀释后序劣质步骤"]
    PrefixDilution --> ScalingServing["步骤级扩展与缓存加速<br/>扩展单智能体步数 S / KV-cache复用节约成本"]
    ScalingServing --> Output["输出最终答案<br/>兼顾高准确率与低延迟"]

关键设计

1. 步骤级即时流式转发与流水线执行:打破全量生成传输的阻塞瓶颈 针对传统串行模式下后继节点必须等待前序节点完全生成完毕导致的严重空转等待,STREAMMA 将信息交换的基本单位精细化到“推理步骤”(reasoning step)。上游智能体在流式解码过程中,每产生一个语义闭环的推理步骤(以显式 END_STEP 为界),便立即非阻塞地推送给后继智能体的 FIFO 队列。下游智能体接收到单步输入后并发介入计算,从而在时间轴上实现紧密的流水线重叠:当下游智能体正在审视或深化第 \(s\) 步时,上游智能体已经在并行生成第 \(s+1\) 步。对于由 \(A\) 个智能体组成的串行链(每个智能体生成 \(S\) 个步骤),在首步串行穿透后,后续各步仅受限于瓶颈节点的执行时间,使得端到端理论加速比上限表示为:

\[\text{Speedup} = \frac{A(S + r_{po})r_{vdp} + S}{(S + A - 1)(1 + \alpha r_{vdp} + \beta r_{vdc})}\]

其中 \(r_{vdp} = v_d / v_p\) 与 \(r_{vdc} = v_d / v_c\) 分别表示解码与预填充、解码与缓存读取的速度比,\(r_{po} = \bar{P}/\bar{O}\) 为系统提示词与单步输出长度之比,\(\alpha, \beta\) 分别对应每输出 token 对应的未缓存与已缓存上下文 token 数。当推理服务满足缓存读取和预填充速度远大于解码速度(\(v_c \gg v_p \gg v_d\),即 \(r_{vdp} \to 0, r_{vdc} \to 0\))的典型 Serving 条件时,该式可渐近收敛至经典流水线加速上限:

\[\text{Speedup} \le \frac{AS}{S + A - 1}\]

该设计彻底解除了传统多智能体系统在延迟上随智能体数量和链深度线性爆炸的锁链,使深度协作成为低时延系统可接受的选择。

2. 前缀抗噪与推理稀释机制:利用步骤质量不对称性抑制错误扩散 针对复杂多步推理中后期步骤容易因注意力分散或算术漂移而退化、进而在全量串行传输下带偏下游的痛点,该设计从信息接收时序上建立了抗噪屏障。设上游步骤 \(j \in \{1, \dots, S\}\) 具备正确概率 \(p_j\);若步骤正确,给下游带来 \(\delta > 0\) 的收益增量,若步骤错误,则引入 \(\varepsilon > 0\) 的负面损耗。由此定义单步期望增益 \(\mu_j = p_j\delta - (1-p_j)\varepsilon\),其非负临界阈值为 \(p^* = \frac{\varepsilon}{\delta + \varepsilon}\)。下游平均单步期望正确率 \(s\text{Corr}\) 由所有可见步骤的累计增益决定。基于均匀均值 \(\bar{p}\)、头部加权均值 \(p_{\text{head}}\) 与尾部加权均值 \(p_{\text{tail}}\),作者在理论上给出了三者严格的偏序定理(Theorem 1)。

在实际长思维链中,最普遍呈现的是前强后弱态(Case I:\(p_{\text{head}} > p^*\) 且 \(p_{\text{tail}} < p^*\))。在全量串行模式(Serial)下,下游被迫全盘接收包含劣质尾部的上下文;而流式模式(Stream)让下游优先接收 \(p_j > p^*\) 的前缀步骤并立即独立启动思考。当后期 \(p_j < p^*\) 的劣质步骤姗姗来迟时,下游智能体自身的推理轨迹早已成型,后序错误在较长自身生成路径下被天然稀释,形成如下优势序: - 当上游平均质量尚可(\(\bar{p} > p^*\))时,呈现 \(s\text{Corr}_{\text{stream}} > s\text{Corr}_{\text{serial}} > s\text{Corr}_{\text{single}}\); - 当上游整体被尾部严重拉垮(\(\bar{p} < p^*\))时,呈现 \(s\text{Corr}_{\text{stream}} > s\text{Corr}_{\text{single}} > s\text{Corr}_{\text{serial}}\)。

这从数学上阐明了为何在许多困难任务中,流式通信不仅不因信息“不完整”而掉点,反而因为“时序过滤”而显著超越串行全量基线。

3. 步骤级扩展定律与KV-cache复用:开辟正交于智能体数量的效能扩展新轴 针对以往多智能体扩展仅局限于智能体数量 \(A\)、且开源/闭源模型自主决策步骤数(\(S=\text{auto}\))普遍偏向粗粒度的局限,本文提出了“步骤级扩展定律”(Step-Level Scaling Law)。在固定智能体数量 \(A\) 时,显式引导模型细化推理粒度、增加单智能体步骤数 \(S\),不仅可以大幅提升推理成功率,还能同步推高并行流水线的重叠率,逼近 \(\frac{AS}{S+A-1}\) 的理论加速上限。

为确保频繁的单步交互不会导致 API 调用成本失控,STREAMMA 在多轮交互中构建了天然的上下文共享前缀,全面激活现代引擎(如 vLLM、SGLang)的 Prefix Caching 特性。STREAMMA 与 Serial 的成本比率遵循如下严格解析形式:

\[\frac{\text{Cost}_{\text{stream}}}{\text{Cost}_{\text{serial}}} = \rho \cdot \frac{r_{cpd}(\alpha + r_{ccp}\beta) + 1}{r_{cpd}(1 + r_{po}/S) + 1}\]

其中 \(\rho\) 为总输出 token 比,\(r_{cpd} = c_p/c_d\) 为预填充与解码单价之比,\(r_{ccp} = c_c/c_p\) 为缓存命中读取与预填充单价之比。在当代解码价格占主导(\(c_d \gg c_p \gg c_c\))且开启前缀缓存的运行环境下,以 Claude Opus 4.6 实测定价(\(c_p=\$5, c_d=\$25, c_c=\$0.50\) / MTok)计算,在 \(A=4, S=4\) 条件下成本比仅为 \(0.925\rho\)。当生成长度相当(\(\rho \approx 1\))时,Stream 相比 Serial 反而节省了约 7.5% 的总费用,真正实现了“更低延时、更高准确率、更少账单”。

一个完整示例

在研究生级科学评测 GPQA-Diamond #98 中,任务要求根据红外光谱(FTIR:3000 cm\(^{-1}\) 宽峰,1700 cm\(^{-1}\) 强峰,确认羧酸)及 \(^1\text{H}\) NMR 裂分特征(一个峰为双重三重四重峰 DTQ,另一个为双重三重三重峰 DTT)从 4 个异构体(A、B、C、D)中推导正确分子。

  • 串行执行流程:智能体 1 生成了 8 步推理。在第 1–2 步正确指认羧酸并确定需考察两组次甲基邻氢特征后,智能体 1 在第 4 步犯下致命主观臆断:武断认为乙基取代基不易给出清晰甲基四重峰,一次性粗暴排除了正确选项 B(其实 B 的左侧次甲基直接连接链端甲基,理论裂分完美吻合 DTQ),并在第 7 步为了强行拼凑选项 D 而虚构了不存在的非物理超长程耦合。智能体 2 在串行全量接收到这篇长文后,虽然指责了长程耦合词汇,却全盘继承了智能体 1 对 B 的先验排除,最终给出了错误答案 D。
  • STREAMMA 流式执行流程:智能体 1 刚产出第 1–2 步,智能体 2 便即刻开始处理。智能体 2 依托极其干净的前两步物理约束,迅速在第 3 步开始自主建立对 4 个候选项的邻氢计数校验表。当智能体 1 后续带有偏见的第 4 步和虚构耦合的第 7 步送达时,智能体 2 的自主验证逻辑已经确立,不仅轻松识别出智能体 1 的错误,还独立证明了选项 B 的左右次甲基分别满足 DTQ 与 DTT 的邻氢几何,成功锁定正确答案 B。

实验关键数据

主实验

在涵盖竞赛级数学(AIME 2025/2026、HMMT 2026)、前沿科学(GPQA-Diamond、HLE)和复杂代码任务(LiveCodeBench 系列:生成 LCB-G、执行 LCB-E、测试预测 LCB-T)的 8 大基准上,作者在 Claude Opus 4.6-High(开启 thinking)、GPT-5.4-None 与 GLM-5.2-None 三大基座模型上测试了 Chain、Tree、Graph 三种拓扑结构。所有数值均为 3 次运行均值(AIME 与 HMMT 为 8 次均值),STREAMMA 与基线对比结果如下表所示:

模型 拓扑结构 方法 AIME25 AIME26 HMMT26 GPQA-D HLE LCB-G LCB-E LCB-T 平均准确率 (%)
Claude Opus 4.6 – Single 67.50 60.00 48.11 83.67 18.60 90.25 77.94 84.31 66.30
Claude Opus 4.6 Chain Serial 80.42 72.08 63.26 85.86 23.90 91.33 78.64 92.38 73.48
Claude Opus 4.6 Chain STREAMMA 92.50 89.58 85.61 87.37 26.97 91.50 84.41 95.63 81.70 (+8.22)
Claude Opus 4.6 Tree Serial 86.25 86.25 75.00 85.18 24.82 91.92 88.45 97.59 79.43
Claude Opus 4.6 Tree STREAMMA 93.34 87.92 82.20 85.86 25.07 94.00 94.57 99.55 82.81 (+3.38)
Claude Opus 4.6 Graph Serial 77.92 71.67 61.75 85.69 22.17 90.08 75.78 98.27 72.92
Claude Opus 4.6 Graph STREAMMA 95.83 87.92 82.58 86.53 27.68 92.17 95.27 98.72 83.34 (+10.42)
GPT-5.4 – Single 55.83 71.25 40.53 77.95 12.08 91.08 92.48 96.68 67.24
GPT-5.4 Chain Serial 60.00 70.42 54.55 75.08 14.66 90.08 97.43 99.02 70.16
GPT-5.4 Chain STREAMMA 61.25 72.50 59.10 80.30 14.94 91.17 99.30 99.47 72.25 (+2.09)
GPT-5.4 Tree Serial 59.17 75.83 56.07 76.77 14.83 88.33 93.81 99.25 70.51
GPT-5.4 Tree STREAMMA 62.08 75.83 58.34 78.12 15.74 89.50 94.78 99.17 71.70 (+1.19)
GPT-5.4 Graph Serial 60.00 74.17 52.65 78.45 14.04 92.25 99.51 98.80 71.23
GPT-5.4 Graph STREAMMA 62.50 75.42 56.44 79.63 16.13 93.08 99.79 99.32 72.79 (+1.56)
GLM-5.2 – Single 40.42 44.17 32.19 69.02 7.83 80.08 70.77 78.05 52.82
GLM-5.2 Chain Serial 61.25 65.84 57.20 77.61 12.13 85.92 76.34 97.36 66.71
GLM-5.2 Chain STREAMMA 75.42 78.75 67.05 79.63 15.18 89.67 75.71 97.66 72.38 (+5.67)
GLM-5.2 Tree Serial 61.25 64.17 48.11 76.94 12.31 87.75 83.09 96.15 66.22
GLM-5.2 Tree STREAMMA 76.25 80.83 65.16 79.13 16.17 88.92 84.13 96.61 73.40 (+7.18)
GLM-5.2 Graph Serial 52.92 61.67 50.76 77.27 11.94 85.67 74.53 96.00 63.85
GLM-5.2 Graph STREAMMA 73.75 84.17 65.16 77.94 15.12 89.25 77.87 97.29 72.57 (+8.72)

消融与关键分析

1. 步骤级扩展定律(Step-Level Scaling Law)分析
在 HMMT 2026 上使用 GPT-5.4-None,对智能体数量 \(A \in \{2, 4, 8, 16, 32, 64\}\) 与单智能体推理步数 \(S \in \{2, 4, 8, 16, 32, 64, \text{auto}\}\) 进行二维扫参(4 次独立运行均值):

智能体数 \(A\) \(S=2\) 准确率(%) \(S=4\) 准确率(%) \(S=8\) 准确率(%) \(S=16\) 准确率(%) \(S=32\) 准确率(%) \(S=64\) 准确率(%) \(S=\text{auto}\) 准确率(%) 实测加速比 (\(S=64\)) 理论上限加速比
\(A=2\) 51.5 49.2 57.6 59.1 61.4 63.6 58.3 1.95× 1.97×
\(A=4\) 59.9 62.1 61.4 64.4 62.9 62.1 62.9 3.82× 3.82×
\(A=8\) 62.9 62.9 68.2 68.9 65.2 68.9 62.9 7.15× 7.21×
\(A=16\) 62.9 64.4 66.7 74.3 69.7 75.0 66.7 13.5× 13.0×
\(A=32\) 65.9 67.4 68.2 72.0 73.5 69.7 67.4 21.4× 21.6×
\(A=64\) 68.9 66.7 67.4 68.2 72.0 73.5 68.2 26.9× 32.3×
边缘均值 62.0 62.1 64.9 67.8 67.4 68.8 64.4 – –

2. 受控步骤扰动实验(验证 Theorem 1)
在 \(S=4\) 步的双智能体链中,人工构造正确(clean)与扰动错误(perturbed)步骤并以 4-bit 模式注入智能体 1,观测智能体 2 的最终判定准确率(100 次运行均值):

扰动模式类型 模式序列 (Step 1-4) 归属定理区间 Serial 准确率 (%) Stream 准确率 (%) 增益差距 (pp)
尾部受损 (Tail-perturbed) clean-clean-clean-pert Case I.a 67.0 91.0 +24.0
尾部受损 (Tail-perturbed) clean-clean-pert-pert Case I.a 63.0 82.0 +19.0
尾部受损 (Tail-perturbed) clean-pert-pert-pert Case I.b 76.0 81.0 +5.0
头部受损 (Head-perturbed) pert-clean-clean-clean Case II.b 97.0 63.0 -34.0
头部受损 (Head-perturbed) pert-pert-clean-clean Case II.b 100.0 64.0 -36.0
头部受损 (Head-perturbed) pert-pert-pert-clean Case III.b 98.0 65.0 -33.0

关键发现

  • 收益反比于串行基线强度:STREAMMA 对 Serial 的相对提升与 Serial 原有表现呈显著负相关。在基线较为挣扎的 HMMT 2026 上(Claude 串行基线 61.75%–75.00%),提升高达 +7.20 至 +22.35 pp;而在接近能力天花板的 LCB-T 任务上(GPT-5.4 串行已达 ~99%),提升则收敛在 0.6 pp 以内。
  • 严格验证了前后位置不对称性:受控扰动实验严格证实了 Theorem 1 的预测:当错误集中于尾部时,流式通信凭借前缀抗噪取得高达 +24.0 pp 的压倒性优势;而当首步被故意污染时,流式过早接纳毒化前缀反倒落后串行 -36.0 pp。
  • 智能体数与推理步数双轴正交可叠加:固定 \(A=64\) 时,将步数从 LLM 默认粗粒度的 \(S=\text{auto}\) 拓展至 \(S=64\),准确率从 68.2% 进一步跃升至 73.5%,同时产生 26.9× 的实际端到端加速(达到理论上限 32.3× 的 83%)。
  • 帕累托前沿完全压制:在多副本多数投票对比中,Stream×4(成本 $2.75,准确率 90.9%)在准确率上超越了调用 4 倍副本数的 Serial×16(成本 $5.46,准确率 89.4%),成本直接削减一半。

亮点与洞察

  • 将通信时间从系统负担转化为抗噪工具:传统观念认为串行通信的等待只是纯粹的开销,而本文指出“等待本身破坏了时序优势”——即时传递前序正确步骤能够引导下游智能体脱离对劣质尾部的无脑依赖,这种“时间换抗噪”的发现极具启发性。
  • 首个闭式效能-时延-成本多目标分析框架:文章不仅停留在工程 trick,而是推导了涵盖三方偏序关系(Theorem 1)、流水线加速比(Theorem 2)和服务成本比(Theorem 3)的完整闭式数学理论,将多智能体通信研究推向了形式化分析深度。
  • 开辟步骤级扩展这一正交新维度:指明了大模型在无外界强制约束下倾向于产生粗粒度步骤的惰性(\(S=\text{auto}\) 表现受限),证明了通过提示词强行解锁大步骤数不仅能提升思维密度,更能直接赋能系统级流水线并行。

局限与展望

  • 依赖任务的可拆解性:流式通信的前提是任务具备多步骤推理特性(如数学证明、多步骤分析或代码编写);对于单步直接输出分类标签或单 token 回答的原子型任务,无法拆分出中间步骤进行流水线传递。
  • 对首步严重受损场景的抗性较弱:若上游智能体从第 1 步就陷入致命幻觉,下游过早接收毒化前缀可能会陷入错误思维定势,正如受控扰动实验中 Case II/III 阶段所示;未来可探索动态回滚与流式置信度门控机制。
  • 异构多模型通信的步骤粒度自适应:当前实验主要针对同质模型或同规格划分,未来可拓展至不同体量模型(如端侧小模型流式喂养云端大模型)间的动态弹性切分。

相关工作与启发

  • vs. 通信拓扑优化工作(如 GPTSwarm, AFlow):既有工作侧重于搜索最佳的智能体 DAG 边连接与交互路由,但边上流动的内容始终是全量文本;STREAMMA 专注于边的通信微观时序与粒度,与宏观拓扑正交且可完美叠加。
  • vs. 骨架思考(Skeleton-of-Thought)与投机智能体执行:SoT 与投机执行主要在单智能体或特定粗粒度动作上实现时间压缩,将其视为纯粹的加速技术;STREAMMA 证明步骤级流式通信在多智能体中具有强大的“提高推理质量”的涌现效益。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 颠覆了“全量信息必定优于部分信息”的传统直觉,开辟了多智能体步骤级通信与双轴扩展新视角。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 8 大主流基准、3 种前沿大模型、3 种拓扑结构,辅以严格的闭式定理证明和精细的手工扰动反思分析。
  • 写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨,从动机、数学建模、形式化推导到实证和案例层层递进。
  • 价值: ⭐⭐⭐⭐⭐ 为解决推理大模型高昂端到端延迟与多智能体错误累积两大痛点提供了兼具理论与实用的统一解法。