跳转至

LatentMem: Customizing Latent Memory for Multi-Agent Systems

会议: EMNLP 2026
论文: https://aclanthology.org/2026.emnlp-main.457/
代码: https://github.com/KANABOON1/LatentMem
领域: 大模型智能体
关键词: 多智能体系统, 隐空间记忆, 策略优化, 经验回放, 角色感知定制

一句话总结

LatentMem 针对多智能体系统(MAS)中记忆同质化与长上下文信息过载的瓶颈,提出通过轻量经验库检索原始轨迹,并由记忆合成器结合智能体角色画像生成角色专属的定长连续隐向量记忆,并设计 LMPO 强化学习算法实现端到端端优化。

研究背景与动机

大语言模型驱动的多智能体系统(MAS)通过分工协作或竞争辩论,在复杂代码生成、知识问答以及具身规划等场景中展现出强大的群体智能。为了支持跨轮次或跨任务的持续适应与长程协调,现有系统通常引入记忆模块,从文本空间中保存与检索交互历史。近期的多智能体记忆架构尝试在多个粒度上记录经验,包括保留完整的原始多智能体交互轨迹、通过 LLM 蒸馏高层语义见解,或是构建可编排的程序化技能图谱。然而,这种依赖离散文本空间和手工规则的记忆机制,随着协作轮次与任务复杂度的提升,逐渐陷入难以调和的瓶颈。

现有 MAS 记忆架构的核心困境源于两个紧密耦合的系统性缺陷:其一是记忆同质化(Memory Homogenization)。现有系统往往采用“一刀切”的共享记忆池或统一广播机制,将相同的历史经验注入给功能异质的智能体(如规划者、代码生成者、测试审查者),这削弱了各角色的特定分工规范,并容易诱发相关性错误的级联放大。其二是信息过载(Information Overload)。多智能体本身的交互上下文已经极其冗长,若进一步检索多粒度的细粒度文本条目或长篇历史,会大幅消耗 LLM 的上下文窗口,不仅带来昂贵的推理延迟与 token 成本,还极易引发“注意力分散”或由于盲目模仿检索轨迹而违反当前任务约束的失败。

直接对智能体主干模型进行多智能体强化微调(如 MARTI)虽然能在一定程度上缓解依赖,但需要修改或微调整个基座模型,计算代价高昂且难以灵活适配不同的异构 MAS 框架。本文的切入视角是:系统应当保留原始经验的完整度,但规避离散自然语言的冗余与同质化传播,将记忆的定制过程下沉至连续表征空间。核心 idea:构建轻量化原始轨迹经验库,通过记忆合成器将检索到的历史经验与当前智能体角色画像在隐空间融合成紧凑、定长的隐向量记忆,并借助基于 GRPO 的隐空间记忆策略优化(LMPO)在冻结智能体主干的前提下实现端到端自适应优化。

方法详解

整体框架

LatentMem 由两个核心组件构成:记录多智能体历史交互的轻量化经验库(Experience Bank \(B\))以及生成定长角色表征的记忆合成器(Memory Composer \(C\))。在推理执行时,系统不改动底层多智能体框架的执行拓扑图 \(\mathcal{G}\) 与智能体骨干模型参数,而是将检索出的历史轨迹与特定角色的画像输入合成器,输出定长的连续隐状态序列并直接拼接到智能体的输入隐状态中。完成任务后,新生成的轨迹自动写回经验库实现持续自演进。在训练阶段,通过专为隐空间记忆设计的 LMPO 算法,任务层面的标量奖励直接穿透连续隐向量回传至记忆合成器。

整个执行与优化流程如下所示:

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Q["用户任务 Query q"] --> R["轻量经验库检索<br/>MiniLM 语义匹配 Top-K 原始轨迹"]
    R --> C["角色感知隐记忆合成<br/>Transformer 结合角色画像生成定长向量"]
    C --> I["隐空间前缀无缝注入<br/>拼接输入隐状态 (R^(L+L')xD) 驱动推理"]
    I --> E["多智能体协作执行与拓扑流转<br/>AutoGen / MacNet / CAMEL / DyLAN"]
    E -->|收集新轨迹| U["在线增量轨迹积累<br/>B <- B U {tau_new} 自演进闭环"]
    E -->|采样候选轨迹组| L["LMPO 端到端策略优化<br/>SAGA 梯度反传优化记忆合成器"]
    L -.->|更新参数 phi| C

关键设计

1. 轻量经验库与原始轨迹检索:避免先验偏见与信息失真

传统记忆系统往往花费大量 LLM 成本对轨迹进行繁琐的手工抽象、摘要压缩或技能图谱提取,这不仅引入了脆弱的人工启发式先验,还容易在压缩中丢失多智能体协作中微妙的纠错与博弈细节。遵循强化学习“苦涩的教训”(The Bitter Lesson),LatentMem 的经验库 \(B\) 采用纯粹记录原始交互轨迹的设计原则。每个轨迹 \(\tau = \{(\alpha_j, p_j, o_j)\}_{j=1}^H\) 完整记录了每一步活跃智能体的索引 \(\alpha_j\)、输入提示词 \(p_j\) 和生成输出 \(o_j\)。当接收到新任务查询 \(q\) 时,系统采用紧凑的文本嵌入模型(如 MiniLM-L6-v2)将查询与轨迹映射至嵌入空间,计算余弦相似度并检索最相似的 Top-\(K\) 条历史轨迹 \(T_q\)。经验库在推理完成时直接将新轨迹追加到存储集合中(\(B \leftarrow B \cup \{\tau_{\text{new}}\}\)),无需在存储侧进行任何破坏性的离散文本重写。

2. 角色感知隐记忆合成:破解记忆同质化与上下文膨胀

直接将多智能体长轨迹作为文本上下文喂给所有智能体,会导致上下文窗口急剧膨胀,且破坏了智能体各自的角色定位。LatentMem 设计了参数化为 \(\phi\) 的神经网络合成器 \(\sigma_\phi\)(通常由轻量化 Transformer 架构承载,并使用骨干模型权重初始化)。在智能体 \(a_{\alpha_j}\) 进行第 \(j\) 步推理决策时,合成器接收检索得到的原始交互轨迹 \(T_q\) 以及该智能体的角色画像定义 \(\gamma_{\alpha_j}\)(例如在代码任务中,战略智能体、编码智能体、测试智能体的职责描述各异):

\[m_j = \sigma_\phi(\gamma_{\alpha_j}, T_q) \in \mathbb{R}^{L' \times D}\]

其中 \(L'\) 为预设的极短定长隐记忆长度(默认仅设为 \(L'=8\) 个 token 向量),\(D\) 为基础模型的隐藏层维度。该设计将成千上万 token 的冗长轨迹提炼为极具语义密度的连续向量矩阵。由于条件中显式输入了角色画像 \(\gamma_{\alpha_j}\),不同智能体即便共享相同的检索轨迹 \(T_q\),得到的隐向量 \(m_j\) 也会在表征几何上产生明确分离,彻底消除了共享记忆池带来的同质化问题。

3. 隐空间前缀无缝注入:零侵入式无感接入现有 MAS

为了避免对现有 MAS 架构(如静态图拓扑的 MacNet 或动态中心化编排的 AutoGen)进行任何复杂的侵入式代码重构,LatentMem 在基础模型的隐状态层面实现记忆注入。当活跃智能体 \(a_{\alpha_j}\) 处理其输入提示词 \(p_j\) 时,首先通过词嵌入与前向网络将文本转化为输入隐状态序列 \(h_j = (h_j^{(1)}, \dots, h_j^{(L)}) \in \mathbb{R}^{L \times D}\)。系统直接在序列长度维度上将合成的隐记忆 \(m_j\) 与 \(h_j\) 进行拼接,构建维度为 \(\mathbb{R}^{(L + L') \times D}\) 的复合输入隐状态序列。被封装的复合策略可形式化为:

\[\tilde{\pi}_{\theta_{\alpha_j}}(p_j, m_j) = \pi_{\theta_{\alpha_j}}(\text{concat}(h_j, m_j))\]

这一过程完全发生在模型 forward 内部,对智能体应用层完全透明。更关键的是,连续隐记忆使得智能体自回归生成的输出分布关于合成器参数 \(\phi\) 严格处处可微,为下游端到端强化学习打通了梯度传播路径。

损失函数 / 训练策略

为了解决传统离散文本记忆必须依赖手工调优或 prompt engineering 的短板,本文提出隐空间记忆策略优化(Latent Memory Policy Optimization, LMPO)。LMPO 借鉴 GRPO 架构,直接利用任务最终的端到端结果奖励 \(R(\tau)\) 驱动记忆合成器参数 \(\phi\) 的优化,而完全冻结所有智能体基座模型参数 \(\theta\)。

对于输入查询 \(q\) 和检索轨迹 \(T_q\),系统采样生成包含 \(G\) 个候选轨迹的多智能体演练组 \(\{\hat{\tau}_i\}_{i=1}^G\)。每个轨迹根据任务评测计算奖励 \(R(\hat{\tau}_i)\),并在组内进行无偏归一化得到优势函数:

\[\hat{A}_i = \frac{R(\hat{\tau}_i) - \text{mean}(\{R(\hat{\tau}_i)\}_{i=1}^G)}{\text{std}(\{R(\hat{\tau}_i)\}_{i=1}^G) + \epsilon}\]

在多智能体交互中,轨迹长度通常跨越多个轮次与多个智能体。如果采用粗粒度的轨迹级目标函数,更长交互中的 token 贡献度会被过度稀释。因此,LMPO 在智能体自回归生成的 token 级别构建代理优化目标:

\[\mathcal{J}_{\text{LMPO}}(\phi) = \mathbb{E}_{q, \{\hat{\tau}_i\}_{i=1}^G} \left[ \frac{1}{|\{\hat{\tau}_i\}_{i=1}^G|} \sum_{i=1}^G \sum_{j=1}^{H_i} \sum_{t=1}^{T_{i,j}} \min \left( r_{i,j,t}(\phi)\hat{A}_i, \, \text{clip}(r_{i,j,t}(\phi), 1-\varepsilon, 1+\varepsilon)\hat{A}_i \right) \right]\]

其中重要性采样比率 \(r_{i,j,t}(\phi)\) 衡量当前合成器参数 \(\phi\) 相对于旧参数 \(\phi_{\text{old}}\) 对智能体生成概率的调节程度:

\[r_{i,j,t}(\phi) = \frac{\tilde{\pi}_\theta\left(o_{i,j}^{(t)} \mid p_{i,j}, o_{i,j}^{(<t)}, \sigma_\phi(\gamma_{\alpha_{i,j}}, T_q)\right)}{\tilde{\pi}_\theta\left(o_{i,j}^{(t)} \mid p_{i,j}, o_{i,j}^{(<t)}, \sigma_{\phi_{\text{old}}}(\gamma_{\alpha_{i,j}}, T_q)\right)}\]

为了解决多智能体联合反向传播时显存占用随智能体数量 \(N\) 线性暴增的问题,训练中采用了串行智能体梯度累积机制(Sequential Agent Gradient Accumulation, SAGA)。SAGA 将每个多智能体轨迹拆分为针对各智能体的批次,按时序逐个计算智能体步骤的梯度并予以累积,在数学优化等价的前提下将峰值显存复杂度由 \(\mathcal{O}(N)\) 骤降至 \(\mathcal{O}(1)\)。在 2 块 NVIDIA H200 GPU 上,仅需约 15 小时的一次性轻量训练即可完成 LoRA 微调(\(r=16, \alpha=32\))。

实验关键数据

主实验

评估涵盖 4 个领域的 6 个基准:包括领域内(In-Domain)的知识问答 TriviaQA、PopQA,代码合成 KodCode,复杂推理 StrategyQA;以及领域外(Out-of-Domain)的困难代码生成 BigCodeBench 和符号规划任务 PDDL。在 MAS 框架层面,AutoGen 和 MacNet 为训练见过的框架,而 CAMEL 和 DyLAN 为完全未见过的异构框架。基座模型采用 Qwen3-4B-Instruct-2507。

下表摘录了 4 种主流 MAS 框架下,无记忆基线、主流代表性记忆基线以及 LatentMem 的表现对比:

MAS 框架 记忆方法 TriviaQA KodCode StrategyQA PopQA BigCodeBench PDDL 平均性能 (Avg)
AutoGen (Held-in) No-memory 60.31 68.40 58.25 38.78 79.53 16.39 53.61
ChatDev 57.34 68.55 59.18 33.24 79.15 15.22 52.11 (-1.50)
MetaGPT 60.35 70.05 60.92 33.80 80.40 11.95 52.91 (-0.70)
Generative 59.65 70.90 62.66 40.37 81.14 13.94 54.78 (+1.17)
G-Memory 60.56 71.40 63.89 42.67 80.96 17.06 56.09 (+2.48)
OAgents 59.85 70.80 62.45 40.70 81.32 16.70 55.30 (+1.69)
LatentMem 76.51 (+16.20) 76.80 (+8.40) 65.48 (+7.23) 52.70 (+13.92) 81.49 (+1.96) 23.49 (+7.10) 62.75 (+9.14)
MacNet (Held-in) No-memory 53.77 70.40 56.44 24.89 78.15 20.73 50.73
G-Memory 62.43 72.50 62.20 43.88 80.44 21.82 57.21 (+6.48)
OAgents 60.63 71.30 61.79 41.90 78.86 22.83 56.22 (+5.49)
LatentMem 65.98 (+12.21) 78.90 (+8.50) 64.46 (+8.02) 44.14 (+19.25) 81.49 (+3.34) 25.13 (+4.40) 60.02 (+9.29)
CAMEL (Held-out) No-memory 56.96 70.70 58.04 32.38 79.14 22.10 53.22
G-Memory 59.20 70.40 60.12 38.04 79.28 24.56 55.27 (+2.05)
LatentMem 68.74 (+11.78) 77.75 (+7.05) 64.20 (+6.16) 47.23 (+14.85) 80.70 (+1.56) 28.12 (+6.02) 61.12 (+7.90)
DyLAN (Held-out) No-memory 53.87 69.25 57.44 24.89 79.81 23.81 51.51
G-Memory 61.23 71.35 63.76 42.28 80.35 17.94 56.15 (+4.64)
LatentMem 65.55 (+11.68) 78.80 (+9.55) 65.22 (+7.78) 44.25 (+19.36) 81.40 (+1.59) 29.08 (+5.27) 60.72 (+9.21)

此外,在以 Llama-3.1-8B-Instruct 为基座的更大模型扩展实验中,LatentMem 在 AutoGen 下将 KodCode 从 47.45% 显著推升至 65.90%(+18.45%),在 MacNet 下从 48.50% 提升至 65.50%(+17.00%),充分验证了框架在不同参数体量下的优异可扩展性。同时,对比直接对多智能体基座做端到端强化的 SOTA 方案 MARTI,LatentMem 在 AutoGen-TriviaQA 上高出 11.73%(76.51% vs 64.78%),在 MacNet-KodCode 上高出 5.80%(78.90% vs 73.10%)。

消融实验

为验证各模块设计贡献,论文在训练机制、结构组件以及记忆表征形式上进行了细致消融:

表 1:训练机制与记忆表征形式消融(基于 AutoGen,Qwen3-4B)

消融配置 / 机制变体 TriviaQA KodCode StrategyQA PopQA PDDL 说明
LatentMem (LMPO 完整) 76.51 76.80 65.48 52.70 23.49 默认强化学习端到端策略优化
LatentMem (SFT) 60.82 74.55 61.92 45.80 10.34 采用监督微调替代强化策略优化,PDDL大幅下滑
角色前缀微调 (Prefix-Tuning Control) - 70.15 - 42.78 - 仅学习静态角色前缀,无动态经验检索合成

表 2:核心组件与超参消融

配置维度 变体设置 关键表现与掉点规律
角色画像引导 (\(\gamma\)) 无角色引导 (w/o role) 强制所有智能体共享同一隐记忆向量,在 AutoGen 上 KodCode 下降 2.30%,在多角色的 MacNet 上 KodCode 剧烈下滑 6.45%
经验库持续更新 (\(B\)) 禁用经验积累 (w/o experience) 冻结经验库不进行增量写回,MacNet-KodCode 表现下降 3.60%,复杂规划任务 PDDL 掉点高达 7.63%
定长记忆长度 (\(L'\)) 长度从 2 变到 16 性能随长度增加而稳步提升,但在 \(L' \ge 8\) 后增益逐步边际递减,综合速度与显存开销固定选定 \(L'=8\)
检索轨迹数量 (\(K\)) 检索数量从 1 扩展至 5+ 文本记忆基线(如 G-Memory)在 \(K > 3\) 时因长文本过载导致 KodCode 从 72.95% 骤跌至 70.25%;LatentMem 依然单调提升

关键发现

  • 角色画像是多角色协同去同质化的核心锚点:去掉角色画像约束后,MacNet 的性能大幅受挫(KodCode -6.45%),t-SNE 聚类可视化直观显示,拥有角色定制的隐向量在不同 Agent 角色(如 User Proxy、Assistant、Critic)之间呈现出高度清晰的几何可分性,有效消除了错误级联。
  • LMPO 强化学习比 SFT 赋予更强泛化力:在训练分布内的任务上,SFT 相比 LMPO 已有明显差距(TriviaQA 60.82% vs 76.51%);而在未见过的规划任务 PDDL 上,SFT 甚至跌落至 10.34%,远落后于 LMPO 的 23.49%,表明基于任务成败奖励能够迫使合成器提炼出超越表面语言匹配的高阶可迁移决策线索。
  • 极低的计算开销与优异的抗冗余能力:在推理时,由于定长隐向量替代了数千 token 的文本检索拼接,LatentMem 的推理时间仅为主流复杂记忆系统(如 OAgents)的约 1/2 到 2/3(例如在 AutoGen+KodCode 上推理仅耗时 \(7.23 \times 10^3\) 秒,比 OAgents 的 \(1.36 \times 10^4\) 秒快 1.88 倍),且 token 消耗减半甚至低于无记忆系统(因减少了反复错误重试生成的轮次)。

亮点与洞察

  • 隐空间向量化替代离散文本注入:巧妙规避了传统 Prompt 级记忆系统中长上下文带来的注意力丢失、上下文稀释以及高昂推理延迟,用仅仅 8 个连续虚拟 token 完成了跨交互的历史经验传递。
  • 任务级反馈穿透式反向传播:将定长隐状态作为可微通信接口,通过 LMPO 让多智能体系统的最终成败奖励直接驱动记忆合成器的权重更新,而无需更新笨重的 LLM 基座,极具系统工程落地价值。
  • 对异构协作拓扑的即插即用泛化:合成器无需关心具体 MAS 是采用中心化广播还是边代理图结构,在完全未见过的 CAMEL 辩论系统和 DyLAN 动态网络中依然取得平均超 7.9% 的增益。

局限与展望

  • 模态局限于文本交互:当前所有评测与经验库仅支持纯文本的问答、代码与符号规划任务,尚未拓展至多模态智能体(如包含视觉输入或具身物理操作的 Agent)。
  • 依赖白盒模型隐状态接口:由于需要在第一层词嵌入后拼接连续隐状态向量,该方案依赖能够访问模型表征权重的开源或私有部署模型,无法直接应用于纯 API 调用的黑盒闭源商业模型。
  • 长程协同的理论性质仍需深挖:虽然 LMPO 在经验上取得了突出成效,但连续隐记忆在极长交互周期中的信息压缩极限与信噪比界限仍缺乏严密的理论证明。

相关工作与启发

  • vs G-Memory / OAgents: 传统 MAS 记忆架构试图构建日益复杂的“短期-长期”分层图谱或语义摘要树,但最终仍以文本形式填充上下文,不仅容易发生上下文过载,而且在 \(K>3\) 时检索噪声会导致性能退化;LatentMem 则使用连续向量吸收轨迹,随着 \(K\) 增大性能单调上升。
  • vs MemGen / SoftCoT: 既有隐空间推理工作集中在单智能体思维链压缩或自我进化,无法处理多智能体多角色之间的异质性分工与错综交织的协作轨迹;LatentMem 首次将角色画像显式注入合成器,实现了面向多智能体群体的角色定制隐记忆。
  • vs MARTI (多智能体微调): MARTI 尝试直接微调多智能体的基座 LLM 参数,参数开销巨大且易发生基础能力遗忘;LatentMem 冻结基座,仅以轻量 LoRA 微调一个通用的外挂记忆合成器,兼顾了高性能与部署灵活性。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将多智能体协作记忆从离散文本空间下沉到连续隐空间,结合角色画像与策略优化,思路极具创新性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 6 个主流基准、4 大主流 MAS 框架、2 种主流开源骨干模型,且包含翔实的泛化、消融、效率及 t-SNE 几何分析。
  • 写作质量: ⭐⭐⭐⭐⭐ 论文动机清晰、公式推导严谨自洽,案例分析与架构设计图逻辑严密。
  • 价值: ⭐⭐⭐⭐⭐ 为解决多智能体长上下文膨胀、角色同质化和低效手工 Prompt 记忆设计指明了崭新的技术路线。