Recursive Multi-Agent Systems¶
会议: NeurIPS 2026
arXiv: 2604.25917
OpenReview: https://openreview.net/forum?id=ML0KFwGcPG
代码: https://recursivemas.github.io
领域: LLM Agent
关键词: 多智能体系统, 递归计算, 隐空间协作, 潜思维生成, 跨智能体迁移
一句话总结¶
将多智能体协作形式化为隐空间递归计算流，通过轻量级残差投影视模块 RecursiveLink 连接异构智能体并进行内外双循环协同优化，摆脱文本中介的高延迟与梯度消失瓶颈。
研究背景与动机¶
大语言模型在面对长程复杂推理任务时，单一模型受限于参数容量与探索视野，往往容易陷入短视生成与局部最优。将具备不同专长和角色的异构模型组织为多智能体系统（MAS），通过顺序分解流水线或混合专家协作互补优势，已成为拓展系统智能容量的重要范式。然而，多智能体系统如何随交互过程动态演进并实现整体系统的联合优化，始终缺乏兼顾效率与学习稳定性的通用解法。
现有多智能体演进方案主要停留在文本层级的间接优化，例如基于自然语言反思的 prompt 上下文调整，但智能体自身计算能力并未提升；若直接对系统内各智能体实施端到端参数微调，全参数更新开销巨大，且文本中介机制要求每个智能体必须等待上游完成完整自回归文本解码才能交接，带来了极高的推理延迟。更根本的理论困境在于，文本 SFT 在跨轮次递归反向传播时，离散 token 采样的 softmax 饱和性会导致梯度范数指数级萎缩，诱发严重梯度消失，阻碍了多轮协作下的全局信用分配。
受单模型递归语言模型（RLM）在连续表征空间复用计算层深化推理的启发，本文提出不再孤立优化单个组件，而是将整个多智能体系统抽象为统一的系统级隐空间递归计算图。核心 idea：将多智能体协作形式化为统一的隐空间递归计算流，利用轻量级残差投影模块 RecursiveLink 实现智能体内部潜思维生成与异构模型间跨维度潜状态传递，并通过内外双循环训练实现系统级闭环端到端端梯度协同优化。
方法详解¶
整体框架¶
RecursiveMAS 将整个多智能体系统内的每个异构智能体抽象为递归语言模型（RLM）中的一个计算层。系统在中间递归轮次中全程保持在连续表征空间进行交互与演进，省去所有中间文本的显式自回归解码与重编码开销，直到预设的最大递归轮次结束，才由最后一个智能体将最终隐状态投影到词表解码为自然语言文本。
整个系统的运行流程包括两层核心连结机制：智能体内部的潜思维生成（Latent Thoughts Generation）以及跨异构智能体之间的潜状态迁移（Cross-Agent Latent State Transfer）。在前向推理时，首个智能体以问题与任务指令为输入，在隐空间自回归展开 \(m\) 步潜思维；随后经由跨维度投影输入下一个异构智能体；各智能体依次链式处理后，尾部智能体的隐状态被循环反馈回首个智能体，形成多轮次隐空间递归增强，最终解码输出。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入问题与指令"] --> S1["智能体内部潜思维生成<br/>内在残差投影自回归展开"]
S1 --> S2["跨异构智能体状态迁移<br/>维度对齐投影桥接特征"]
S2 --> S3["系统级闭环递归流<br/>尾智能体隐状态反馈至首节点"]
S3 -->|未达递归轮次 r < n| S1
S3 -->|达到最终轮次 r = n| Out["最终文本生成<br/>尾智能体解码预测"]关键设计¶
1. 智能体内部潜思维生成：摆脱显式自回归词表解码的内部状态推演 传统智能体在生成思考链（CoT）时需逐 token 经过词表投影矩阵与采样，推理时间与词表大小 \(|V|\) 强相关，计算复杂度达 \(\Theta(m |V| d_h)\)。为在单模型内连续展开语义推演，每个智能体配置轻量级内部连接模块 \(\mathcal{R}_{\text{in}}\)。给定上一时间步顶层隐藏状态 \(h_t\)，该模块直接通过带 GELU 激活的两层残差前馈网络将其映射回下一时间步的输入嵌入空间： $\(\mathcal{R}_{\text{in}}(h) = h + W_2\,\sigma(W_1 h)\)$ 其中 \(W_1 \in \mathbb{R}^{d_h \times d_h}, W_2 \in \mathbb{R}^{d_h \times d_h}\)。残差连接保证原始深层隐藏状态语义得以完整保留，网络仅需学习从深层到浅层嵌入的微小分布偏移。智能体连续运行 \(m\) 步，得到连续潜思维序列 \(H = [h_t, h_{t+1}, \dots, h_{t+m}]\)，单步映射计算量仅为 \(\Theta(m d_h^2)\)，彻底摆脱了昂贵的词表解码。
2. 跨异构智能体状态迁移：跨维度与跨语义空间的轻量残差对齐 在由不同模型家族（如 Qwen、Llama、Gemma、BioMistral）混合构建的系统中，各智能体的隐状态维度 \(d_i\) 与 \(d_j\) 往往不一致，无法直接拼接。外部连接模块 \(\mathcal{R}_{\text{out}}\) 在两层残差支路之外引入线性映射层 \(W_3 \in \mathbb{R}^{d_j \times d_i}\)，实现从源空间到目标空间的投影转换： $\(\mathcal{R}_{\text{out}}(h) = W_3 h + W_2\,\sigma(W_1 h)\)$ 下游智能体接收上一智能体传来的潜状态序列 \(\mathcal{R}_{\text{out}}(H_{\text{prev}})\) 并与自身上下文嵌入拼接，无需自然语言转录即可吸收前序智能体的深度推理线索。该设计将异构模型解耦并轻量化串联，仅需更新不足 0.31% 的外置参数即可支持跨家族协同。
3. 系统级闭环递归流：跨轮次全局梯度流与稳定传播 为使多智能体系统具备自省与多轮迭代推敲能力，最后一个智能体 \(A_N\) 生成的隐状态序列通过组合 RecursiveLink 反馈回首个智能体 \(A_1\) 的输入端，闭合协作回路。在反向传播过程中，系统跨越 \(r\) 轮递归展开完整的计算图。理论证明显示，文本中介系统在 token 熵 \(\le \epsilon \ll 1\) 的置信状态下，雅可比谱范数 \(\|\partial \mathcal{R}_{\text{text}}(h)/\partial h\|_2 \le O(\epsilon) \ll 1\)，梯度迅速衰减；而具备残差通路的 RecursiveLink 保持雅可比矩阵 \(\|J\|_2 \ge \Omega(1 - \sqrt{\frac{1}{d_h}\log\frac{1}{\delta}}) \approx 1\)，确保了误差信号能在跨智能体、跨轮次的递归轨迹中稳定回传，实现整体系统的协同进化。
损失函数 / 训练策略¶
训练过程分为解耦的“内循环暖机”与“外循环系统协同”两阶段，基础 LLM 骨干网络参数全程冻结，仅更新轻量 RecursiveLink：
-
模型级内循环预热（Inner-Loop Training）：使各智能体适应潜思维生成。将训练样本真实答案 \(y\) 经过各智能体自身输入嵌入层得到目标特征 \(\text{Emb}_{\theta_i}(y)\)，采用余弦相似度损失监督内部模块： $\(\mathcal{L}_{\text{in}} = 1 - \cos\left(\mathcal{R}_{\text{in}}(H), \text{Emb}_{\theta_i}(y)\right)\)$ 促使生成的隐状态分布快速对齐至模型输入嵌入空间。
-
系统级外循环协同（Outer-Loop Training）：系统沿闭环结构前向展开 \(n\) 轮递归计算，保留全局计算图。在第 \(n\) 轮最后一个智能体输出词表预测后，以真实标签 \(y\) 计算交叉熵损失并端到端反向传播： $\(\mathcal{L}_{\text{out}} = \text{CE}\left(\mathcal{S}^{(n)}(\mathcal{S}^{(n-1)}(\cdots \mathcal{S}^{(1)}(x))), y\right)\)$ 各外部模块 \(\mathcal{R}_{\text{out}}\) 共享联合损失梯度，从而学会在全局视角下协调潜表征信息流。
实验关键数据¶
主实验¶
论文在数学推理（MATH500、AIME2025、AIME2026）、科学/医学（GPQA-Diamond、MedQA）以及代码生成（LiveCodeBench、MBPP+）等 9 大基准上，针对轻量级配置（Sub-1.5B 智能体，Qwen3-1.7B + Llama3.2-1B + Qwen2.5-Math-1.5B）与放大配置（3B-4B 智能体，Gemma3-4B + Llama3.2-3B + Qwen3.5-4B）评测了 RecursiveMAS 随递归轮次 \(r=1, 2, 3\) 的性能、端到端推理时延及 token 开销表现。
主结果展示了不同递归轮次下，RecursiveMAS 与同构文本递归基线 Recursive-TextMAS 的综合对比：
| 递归轮次 | 方法 | MATH500 (轻/放) | AIME2025 (轻/放) | AIME2026 (轻/放) | GPQA-D (轻/放) | MedQA (轻/放) | 平均精度提升 | 推理加速比 | Token 减少量 |
|---|---|---|---|---|---|---|---|---|---|
| \(r=1\) | Recursive-TextMAS | 71.9 / 84.2 | 24.0 / 71.3 | 16.7 / 76.7 | 28.1 / 61.5 | 29.0 / 76.1 | 基准 | 基准 | 基准 |
| \(r=1\) | RecursiveMAS (本文) | 75.8 / 86.3 | 30.7 / 80.0 | 17.3 / 82.7 | 30.3 / 63.1 | 30.3 / 78.2 | +3.4% | 1.2× | -34.6% |
| \(r=2\) | Recursive-TextMAS | 72.5 / 84.4 | 23.3 / 70.7 | 10.0 / 77.3 | 28.7 / 59.1 | 28.3 / 76.1 | 基准 | 基准 | 基准 |
| \(r=2\) | RecursiveMAS (本文) | 76.6 / 87.1 | 33.3 / 86.0 | 18.7 / 84.0 | 32.3 / 64.6 | 31.2 / 78.3 | +6.0% | 1.9× | -65.5% |
| \(r=3\) | Recursive-TextMAS | 69.1 / 85.8 | 18.0 / 73.3 | 16.7 / 74.7 | 28.7 / 58.6 | 28.5 / 77.1 | 基准 | 基准 | 基准 |
| \(r=3\) | RecursiveMAS (本文) | 77.8 / 88.2 | 34.0 / 86.7 | 20.0 / 86.0 | 32.6 / 66.2 | 31.7 / 79.3 | +7.2% | 2.4× | -75.6% |
在 \(r=3\) 轮次下与单智能体微调及外部主流多智能体框架横向对比：
| 方法 | MATH500 | AIME2025 | AIME2026 | GPQA-Diamond | LiveCodeBench | MedQA |
|---|---|---|---|---|---|---|
| Single Agent (w/ LoRA) | 83.1 | 70.0 | 73.3 | 62.0 | 37.4 | 76.1 |
| Single Agent (w/ Full-SFT) | 83.2 | 73.3 | 76.7 | 62.8 | 38.6 | 77.0 |
| Mixture-of-Agents (MoA) | 79.8 | 60.0 | 63.3 | 47.6 | 27.0 | 57.5 |
| TextGrad | 84.9 | 73.3 | 76.7 | 62.5 | 39.8 | 77.2 |
| LoopLM | 84.6 | 66.7 | 63.3 | 48.1 | 24.9 | 56.4 |
| Recursive-TextMAS | 85.8 | 73.3 | 73.3 | 61.6 | 38.7 | 77.0 |
| RecursiveMAS (本文) | 88.0 | 86.7 | 86.7 | 66.2 | 42.9 | 79.3 |
消融实验¶
消融实验聚焦于 RecursiveLink 架构设计（残差连接与网络深度）、潜思维展开步数 \(m\) 以及训练代价对比。
| 模块设计 / 变体 | MATH500 | GPQA-Diamond | LiveCodeBench | 说明 |
|---|---|---|---|---|
| 单层无残差 (1-Layer) | 84.4 | 63.2 | 40.1 | 线性映射无法兼顾复杂跨域语义对齐与梯度保持 |
| 单层带残差 (Res+1-Layer) | 86.7 | 65.3 | 41.4 | 引入恒等残差大幅稳定了前向表征与反向梯度 |
| 双层无残差 (2-Layer) | 85.6 | 64.5 | 40.5 | 增加非线性容量但缺乏恒等通道，性能逊于单层残差 |
| 双层带残差 (Res+2-Layer, 本文) | 88.0 | 66.2 | 42.9 | 非线性拟合分布差量与残差保真结合，表现最优 |
在训练成本方面，RecursiveMAS 仅需 13.12M 可训练参数（占比 0.31%），峰值显存 15.29GB，估算训练成本 4.27 美元，显著低于单模型 LoRA（15.92M 参数，21.67GB 显存，6.64 美元）与全量 SFT（4.21B 参数，41.40GB 显存，9.67 美元），同时在平均准确率上取得 74.9%（对比 LoRA 的 66.9% 和 Full-SFT 的 68.6%）。
关键发现¶
- 递归深度的复合扩展效应：随着递归轮次从 \(r=1\) 增加到 \(r=3\)，Recursive-TextMAS 容易在长程文本交互中遭遇误差累积与信息稀释（AIME 等任务在多轮后甚至掉点），而 RecursiveMAS 保持稳定的单调上升收益（AIME2025 从 80.0% 提升至 86.7%），且推理加速比从 1.2× 攀升至 2.4×，Token 节省幅度高达 75.6%。
- 潜思维步长饱和阈值：将跨智能体潜思维步长从 \(m=0\) 逐步提升时，性能在初期快速增长，并在 \(m=80\) 左右达到平稳饱和（MATH500 从 83.3% 提升至 86.8%），证明多智能体协作仅需适度长度的紧凑隐空间推演即可传递充足高阶语义。
- 架构范式普适性：RecursiveMAS 不仅适用于顺序规划流水线，在专家混合（Mixture）、蒸馏（Distillation，小模型提速 1.5× 且提点 8.0%）和工具审议（Deliberation，结合 Python 与 Tavily 检索工具提点 4.8%）等多元拓扑结构下均能实现稳健增益。
亮点与洞察¶
- 多智能体系统的“隐空间编译”：将多智能体协作由离散松散的文本对话交互重构为紧凑连续的计算图循环，在保留不同模型角色专长分工的同时，消除了中间解码时延与离散化信息瓶颈。
- 恒等残差破解递归梯度消失：在跨轮次反向传播中，基于 GELU 和恒等映射设计的 RecursiveLink 使得雅可比矩阵谱范数有下界保护，从理论与工程上攻克了多智能体端到端协同微调难以收敛的痛点。
- 极低算力开销的系统级调优范式：仅需微调两个轻量线性投影层（0.31% 参数），便撬动了异构模型集群的闭环自适应，为资源受限环境下部署复杂 Agent 流水线提供了低成本适配路径。
局限与展望¶
- 白盒隐藏状态访问限制：RecursiveMAS 依赖获取各模型顶层隐藏状态和输入嵌入层，目前仅适用于开源或私有化部署的白盒权重模型，无法直接接入闭源商用 API（如 OpenAI、Claude 等）。
- 静态拓扑与固定步长设定：当前实验中每个智能体的潜思维步长 \(m\) 与系统递归轮次 \(r\) 均为人工预设的超参数，未来可探索动态早停机制（Early-Exit）与根据问题难度自适应调节的递归步长。
- 多模态与外部环境状态扩展：目前主要在代码、数学与文本检索工具场景验证，未来可将隐空间递归机制扩展到具身智能控制、多模态视频推理等连续感知动作回路中。
相关工作与启发¶
- vs TextGrad / Sirius 等文本反馈系统: 文本反馈系统依赖自然语言反思修正 prompt，优化粒度粗且单步延迟大；RecursiveMAS 通过端到端隐表征传递直接在模型特征层建立连续梯度流，协同效率与表达密度显著更高。
- vs Mixture-of-Agents (MoA): MoA 为纯前馈多层架构且依赖层级间的全量文本重写，计算复杂度随层数线性激增；RecursiveMAS 采用递归闭环复用权重并全程在隐空间交互，参数利用率与推理吞吐优势突出。
- vs LoopLM 等单模型递归架构: LoopLM 仅在单模型单一隐空间内探索权重复用；RecursiveMAS 首次将递归机制拓宽至由多异构模型构建的多智能体协作系统，解决了跨模型维度与语义空间不一致的对齐挑战。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将单模型递归语言模型范式升维到异构多智能体系统，构建了端到端隐空间递归协作闭环。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 9 大权威基准、4 种协作拓扑与 4 种主流模型家族，并包含严谨的理论证明与成本分析。
- 写作质量: ⭐⭐⭐⭐⭐ 框架动机清晰，数学推导与实验分析环环相扣，图表呈现详实直观。
- 价值: ⭐⭐⭐⭐⭐ 为解决多智能体高延迟与难以协同微调的系统瓶颈提供了极为优雅且实用的轻量解决方案。