EVOCHAMBER: Test-Time Co-evolution of Multi-Agent System at Individual, Team, and Population Scales¶

会议: NeurIPS 2026
arXiv: 2605.11136
OpenReview: https://openreview.net/forum?id=jNJFL5PPGJ
代码: https://github.com/Mercury7353/EvoChamber
领域: 大语言模型智能体
关键词: 多智能体系统、测试时演化、协同梦境、非对称知识迁移、涌现专业化

一句话总结¶

提出无需梯度更新的测试时多智能体协同演化框架 EvoChamber，通过个体经验归档、小队角色动态组建与结构选择、以及基于协同梦境（CoDream）的非对称知识蒸馏与生命周期管理，在多任务流中自发涌现稳定的生态位专家。

研究背景与动机¶

大语言模型多智能体系统（MAS）通过为多个模型实例分配角色与协作拓扑，在复杂推理、代码生成与多跳问答中展现出强大能力。当系统部署在持续变化的任务流中时，理想的智能体群体应当能够随经验积累而不断自我演化：早期的成功策略应能复利于后续问题，高频出现的任务类型应当能够自适应路由到最契合的智能体专家。

然而，多智能体测试时演化绝非单智能体演化在 $N$ 个个体上的简单并行复制。单智能体演化（如 Reflexion、ExpeL）只能改变单个个体的上下文与记忆状态；而在多智能体系统中，可演化状态空间发生了质的跃迁——它不仅涵盖个体经验，更包括智能体如何组合成队（谁与谁协作）、选用何种协作结构，以及更宏观的种群知识流转与动态名录演进。现有演化方法割裂了这一空间：要么将经验局限在个体内部导致跨智能体知识无法互通，在极低基础成功率任务上面临持续失败堆叠；要么通过全域广播进行对称式记忆共享（如 MemCollab），从而抹平了个体差异，摧毁了分工协作赖以存在的专业化特异性；而强化学习微调与离线结构搜索又需要梯度更新或冻结结构，无法在推理部署阶段持续适应异构任务流。

解决这一困境的关键在于：能否在不进行参数梯度微调的前提下，同时在个体、小队和种群三个层级激活在线演化，并在多智能体之间实现有向、非对称的知识回流。核心 idea：将多智能体测试时状态显式解耦为个体经验/能力、小队角色组配/拓扑决策以及种群非对称流转/生命周期三层空间，依托任务失败驱动的“协同梦境”（CoDream）五阶段反思与定向低分反哺，使同质初始化的智能体池在无监督环境下自发分化出互补的生态位专家。

方法详解¶

整体框架¶

EvoChamber 将持续任务流 $\mathcal{T}=(t_1, \ldots, t_T)$ 上的多智能体可演化状态分解为三层结构： $$\theta_t^{\text{MAS}} = \underbrace{\{(C_t^i, M_t^i)\}_{i\in\mathcal{P}_t}}_{\text{个体层}} \;\oplus\; \underbrace{(T_t, L_t)}_{\text{小队层（任务内）}} \;\oplus\; \underbrace{(\Sigma_t, \Omega_t, \mathcal{P}_t)}_{\text{种群层（任务间）}}$$ 对于每个新到达的任务 $t$，系统根据生态位标签 $z_t$ 从候选池 $\mathcal{P}_t$ 中按锚点（Anchor）、互补者（Complement）与探索者（Scout）三种功能角色组建三人小队 $T_t$；随后由担任领队的锚点智能体基于历史领导经验库自适应决策本任务的最佳协作结构 $L_t$（投票、辩论、生成-批判或任务分解）；任务执行后根据团队奖励更新个体生态位胜任力 $q_i(z)$ 与两两协同度 $\sigma_{ij}(z)$；当团队发生失败或严重分歧时，触发 CoDream 会话进行多阶段反思蒸馏，将提炼出的洞察非对称地单向注入对应生态位能力低于中位数的弱智能体；最后，生命周期算子周期性地执行克隆、合并、淘汰与重塑，调整种群池结构。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Task["任务输入 t (生态位 z_t)"] --> TeamSelection["生态位小队组配<br/>锚点 a_t + 互补 c_t + 探索 s_t"]
    TeamSelection --> StructureSelection["拓扑决策 LeadLearn<br/>检索经验库选取结构 L_t"]
    StructureSelection --> Execution["小队执行协作<br/>投票 / 辩论 / 生成-批判 / 分解"]
    Execution --> OutcomeEval{"执行结果评测<br/>团队奖励 r_t"}
    OutcomeEval -->|更新胜任力与协同度| OnlineUpdates["能力更新与指标维护<br/>q_i(z_t) EWMA & 协同度 σ_ij"]
    OutcomeEval -->|失败 r_t < θ 或分歧| CoDream["协同梦境 CoDream<br/>反思→对比→构想→辩论→结晶"]
    CoDream -->|非对称知识流转| SelectiveInjection["定向注入低于中位数个体<br/>经验库经验扩增 (非对称反哺)"]
    OnlineUpdates --> LifecycleCheck{"每隔 τ 任务周期"}
    SelectiveInjection --> LifecycleCheck
    LifecycleCheck -->|生命周期管理| LifecycleOps["种群算子演进<br/>Fork / Merge / Prune / Genesis"]
    LifecycleOps --> PoolState["演化智能体池 P_t"]
    PoolState -.->|提供演化个体| TeamSelection

关键设计¶

1. 三元角色生态位小队组配：兼顾性能利用、风格互补与探索防退化

如果每轮仅按照生态位胜任力 $q_i(z_t)$ 贪心选取前三名，将不可避免地导致“马太效应”：极少数早期偶然成功的智能体垄断所有任务机会，其余智能体永久饥饿，种群失去多样性。EvoChamber 将小队拆解为各司其职的三元角色： - 锚点智能体（Anchor）：该生态位当前胜任力最高的智能体 $a_t = \arg\max_{i\in\mathcal{P}} q_i(z_t)$，同时兼任小队领队； - 互补智能体（Complement）：从剩余智能体池中综合考量自身能力、与锚点的历史协同度以及技能风格相异度，其选择目标函数为： $$c_t = \arg\max_{i\in\mathcal{P}\setminus\{a_t\}} \Big[\lambda_q q_i(z_t) + \lambda_\sigma \sigma_{i, a_t}(z_t) + \lambda_\omega (1 - \omega_{i, a_t})\Big]$$ 其中风格重叠度 $\omega_{ij} = \cos(\vec{q}_i, \vec{q}_j)$ 衡量两智能体在所有生态位胜任力向量上的余弦相似度，惩罚冗余同质； - 探索智能体（Scout）：强制给予在当前生态位曝光不足或与已有成员差异极大的个体参与机会，其评分偏好利用不足度 $u_k(z_t) = 1 / (1 + n_k(z_t))$： $$s_t = \arg\max_{k\in\mathcal{P}\setminus\{a_t, c_t\}} \Big[\lambda_u u_k(z_t) + \lambda_d (1 - \bar{\omega}_{k, \{a_t, c_t\}})\Big]$$ 该机制保证了利用与探索的动态平衡，既让强专家主导求解，又持续激活边缘智能体。

2. 领导力在线学习 LeadLearn：数据驱动的协作拓扑动态自适应

不存在任何一种在所有问题域均恒优的多智能体通信拓扑（例如多数投票在正确率低于 50% 时会因一致性偏见扼杀极少数正确解，而任务分解在紧密耦合推理上开销过大）。领队通过 LeadLearn 模块在线决定结构 $L_t \in \{\text{voting}, \text{debate}, \text{generator-critic}, \text{decompose}\}$。整个智能体池维护一个全局共享的“领导经验库”，每条记录形如 (team_profile, task_profile, structure, outcome, reflection)。领队提取生态位标签与当前小队成员胜任力画像构成查询向量 $\xi_t$，从共享经验库中检索最相似的成功与失败拓扑先验，以此驱动 LLM 给出结构判定，并在任务结束后将包含自然语言因果反思的复盘记录存回经验库，实现组织形态元知识的跨代积累。

3. 协同梦境 CoDream 与非对称知识流转：解决分工保留与泛化学习的矛盾

现有集体记忆机制的核心缺陷在于“对称广播”——将一份共同经验无差别发给所有成员，导致专业化被稀释拉平。CoDream 仅在小队失败（奖励 $r_t < \theta=0.6$）或产生严重分歧时被触发，组织小队执行五阶段沉浸式反思： 1. Reflect（个体自省）：各成员私有分析自身推理路径中的对错； 2. Contrast（差分对照）：将失败成员与相对成功/部分正确的轨迹对齐，剥离出关键差异因果； 3. Imagine（假设构想）：将因果差分转化为假设性求解原则，并标注适用生态位； 4. Debate（交叉质询）：三人小队针对构想原则互相质疑挑错，剔除幻觉与脆弱策略； 5. Crystallize（洞察结晶）：将经受住辩论的策略沉淀为规范化洞察，区分为局部子任务经验与跨域元洞察两层。最核心的机制是定向非对称注入：结晶出的洞察绝不回传给产出它的强智能体，而是经由胜任力门控，仅定向注入到该生态位胜任力低于种群中位数的智能体记忆库中。强智能体持续作为“生产端”保留其独特的尖峰专业特质，弱智能体作为“消费端”快速补足认知盲区，在维持群体技能分化多样性的同时拉升种群能力下界。

4. 种群生命周期动态调整：在性能压力下重塑智能体池名录

固定规模与固定角色的池化系统在持续面临未知分布任务时会陷入停滞。EvoChamber 每隔 $\tau=10$ 个任务启动一次种群生命周期核查，通过四类可进化算子对名录 $\mathcal{P}_t$ 进行动态编辑： - Fork（克隆裂变）：当某智能体在特定子域滚动平均奖励排名前 10% 时，系统克隆该智能体并微调变异其系统提示词角色（Persona），使其更深耕该优势子域，继承完整记忆但分配新 ID； - Merge（冗余合并）：若两个体胜任力向量余弦相似度 $>0.95$ 且均积累超过 10 轮任务，则合并其记忆库并做 LLM 语义去重，释放池槽位； - Prune（衰减淘汰）：连续 10 轮以上得分低于种群均值 0.8 倍的顽固落后智能体被彻底移出池并释放存储； - Genesis（创世补位）：当种群总规模过小（$<15$）或新出现任务类型的最大智能体亲和度 $<0.4$ 时，以通用先验直接孵化空记忆的新智能体； - Specialize（专业化微调）：在不扩增池规模的前提下强化优异个体的专注倾向。

损失函数 / 训练策略¶

EvoChamber 属于完全无需参数微调的纯推理期/测试时演化系统，没有传统的梯度反向传播损失函数。其核心驱动机制依赖于标量反馈与非平稳滑动更新策略： 1. 胜任力更新机制：智能体 $i$ 在生态位 $z$ 上的胜任力 $q_i(z)$ 采用指数加权移动平均（EWMA）在线跟踪任务回报 $r_t \in [0, 1]$： $$q_i(z) \leftarrow (1-\alpha) q_i(z) + \alpha r_t$$ 默认参数设为 $\alpha = 0.3$，初始先验设为 $q_i(z) = 0.5$； 2. 两两协同度更新机制：协同度 $\sigma_{ij}(z)$ 同样以 $\beta$ 为权重的 EWMA 更新团队共现回报，在共同参与任务少于 5 次前置零以规避小样本高方差噪声； 3. 经验检索与注入策略：解题时，智能体从自身私有的生态位经验桶和跨域元洞察池中，按任务文本嵌入的余弦相似度检索 Top-$k$ 条高相关经验拼接至系统提示词；CoDream 结晶洞察注入时设置相似度去重阈值 0.85，防止冗余信息挤占上下文窗口。

实验关键数据¶

主实验¶

评估在三个具有代表性的异构任务流上展开：Hard Math Stream（262 道 MATH 4/5 级难题与 120 道 AIME 2022–2025 竞赛题，共 382 题）、Hard Code Stream（MBPP+ 与 CodeContests，共 422 题）以及 AFlow-Stream（涵盖 GSM8K、HotpotQA、MBPP、MATH、HumanEval、DROP 六大领域的 600 题长序列流）。

表 1：Qwen3-8B 模型在三大异构评测流上的综合性能对比

任务流 / 数据集	评测指标	单智能体基线 (SA)	自洽投票 (SC, k=5)	协作记忆 (MemCollab)	本文 (EvoChamber)	相对最佳基线提升
Hard Math Stream	准确率 (EM)	0.298	0.390	0.484	0.639	+32.0%
- MATH Level 4/5	准确率 (EM)	0.374	0.542	0.603	0.763	+26.5%
- AIME 2022-2025	平均准确率	0.133	0.117	0.225	0.366	+62.7%
Hard Code Stream	Pass@1	0.667	0.708	0.682	0.757	+6.9%
- CodeContests (高难)	Pass@1	0.068	0.198	0.084	0.352	+77.8% (5.2× vs SA)
- MBPP+	Pass@1	0.842	0.849	0.870	0.861	-1.0%
AFlow-Stream (六域综合)	综合得分 (F1/Acc)	0.819	0.656	0.832	0.871	+4.7%
- HotpotQA (多跳推理)	F1 / 准确率	0.791	0.778	0.847	0.895	+5.7%
- DROP (离散推理)	F1 / 准确率	0.800	0.690	0.840	0.860	+2.4%

在 GPT-4.1-mini 主干网络上，EvoChamber 在 Hard Math 上从基线 0.675 进一步提升至 0.796（超越 MemCollab 的 0.764），证明了演化机制在强弱不同模型上的通用性。

消融实验¶

消融实验在 600 道题的 AFlow-Stream 上进行，逐层剥离各个核心机制模块，验证其独立有效性。

表 2：AFlow-Stream 机制模块消融与数学流任务顺序鲁棒性检验

实验组别	具体配置	评测表现	相对完整版差异 ($\Delta$)	核心结论分析
机制消融 (AFlow)	EvoChamber 完整系统	0.871	—	三层演化机制协同作用达到峰值
	随机组队 (移除生态位动态选择)	0.847	-0.024	证明锚点-互补-探索角色搭配具备显著增益
	强制固定投票 (移除 LeadLearn)	0.841	-0.030	动态拓扑适配优于死板的多数投票通信
	完全移除 CoDream 协同梦境	0.763	-0.108	非对称反哺是性能提升的最关键驱动力
隔离验证 (30题数学)	SA 单智能体基线	0.633	—	无群体状态
	EvoChamber w/o CoDream	0.633	0.000	仅有池管理而无跨智能体知识流动则退化为单体
	EvoChamber 完整版	0.700	+0.067	独立验证 CoDream 激活了群体智慧流动
顺序扰动 (Hard Math)	默认固定任务流顺序	0.639	—	基础流表现
	随机打乱任务流 (Seed 42)	0.655	+0.016	排除课程学习顺序依赖，性能稳中有升
	随机打乱任务流 (Seed 123)	0.662	+0.023	证明增益源于演化状态沉淀而非先易后难

关键发现¶

高难任务收益最显著，打破投票“自洽性塌缩”：在 AIME 竞赛题上，当单智能体准确率低于 20% 时，多数投票（SC k=5）的正确率反向降至 0.067（理论计算三票及以上均正确的概率仅约 5.8%）；而 EvoChamber 通过锚点专家领衔与辩论/分解拓扑，达到了 0.366，彻底避免了投票压制稀有正确解的陷阱；
非对称流动是集体智慧的核心，无 CoDream 则退化：隔离实验表明，若仅有 20 个智能体的独立记忆更新与生命周期而缺乏 CoDream 跨智能体定向回流，在 30 题子序列上的得分（0.633）与单智能体毫无差别；一旦加入 CoDream，性能跃升至 0.700；在完整 AFlow-Stream 上移除 CoDream 更导致骤跌 10.8 个百分点；
种子无关的自发专业化涌现：所有智能体初始具有完全相同的提示词与空白经验。在 Hard Math 运行中，前 30 题内自发分化出 3 个高胜任力核心专家（贡献了 77% 的高价值洞察并在生命周期中被多次 Fork），且不同随机种子下虽然胜任特定生态位的智能体编号随机漂移，但“每个生态位分化出独立霸主专家”的专业化指标（$0.123 \pm 0.008$）与有效锚点数（$38 \pm 5$）表现出高度跨随机种子的确定性。

亮点与洞察¶

重新定义多智能体演化状态空间：明确指出了多智能体演化绝非单体记忆的 $N$ 倍复制，建立了涵盖“个体经验-小队协同拓扑-种群动态名录与定向流动”的完整数学形式，为非梯度智能体进化提供了系统范式。
CoDream 非对称反哺机制的精妙设计：打破了过去无差别全员广播的均贫富做法，只将强者的失败修正洞察定向灌输给能力低于中位数的落后个体，既避免了专业化特异性的抹杀，又极大地抬高了后进智能体的能力下限。
无需训练的测试时适应与跨难度技能迁移：在 MBPP+ 简单代码问题上提炼的边界约束与记忆化搜索策略，通过协同梦境成功回传并在高难 CodeContests 上实现 5 倍性能提升，展现出极强的知识迁移泛化潜力。

局限与展望¶

推理 Token 与时间开销偏高：EvoChamber 在执行过程中涉及三人小队交互、领队拓扑检索、CoDream 五阶段反思以及周期性生命周期 LLM 操作，整体推理开销约为单智能体的 3.6 倍，虽然低于 SC (k=5) 的 5 倍开销，但在对延迟敏感的实时响应场景中仍显昂贵。
信用分配（Credit Assignment）颗粒度较粗：目前团队任务回报作为标量被小队成员均摊分享，尚未实现细粒度量化各个智能体在多轮发言或代码调试过程中的微观贡献，未来可探索结合 Shapley 值或反事实推理的细粒度归因。
超参数目前依赖经验启发式设定：生命周期算子的触发间隔（$\tau=10$）与胜任力衰减率（$\alpha=0.3$）为固定值，长程部署时若能由元控制器根据任务流动态流速自适应调节将更为理想。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统形式化多智能体三层测试时演化状态，提出精妙的 CoDream 非对称知识流转机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖数学、代码与六域长流，跨 Qwen 与 GPT 双主干验证，包含深度消融、随机顺序检验与种群动力学生态分析。
写作质量: ⭐⭐⭐⭐⭐ 问题意识鲜明深刻，动机阐述层层递进，数学表达与实验逻辑自洽严密。
价值: ⭐⭐⭐⭐⭐ 为免微调的多智能体系统终身在线学习与自我进化树立了标杆，极具启发性与实用性。