Multi-Head Recurrent Memory Agents¶

会议: NeurIPS 2026
arXiv: 2607.01523
代码: https://github.com/
领域: LLM Agent
关键词: 循环记忆, 多头记忆机制, 长上下文推理, 记忆保持率, LLM智能体

一句话总结¶

针对循环记忆智能体在超长上下文中因单块文本覆盖导致的信息遗忘难题，本文提出无须训练的多头循环记忆架构（MHM），通过分头隔离与最久未更新调度（LRU）消除改写冲突，在百万 token 尺度下将记忆保持率由不足 30% 跃升至 73.96%。

研究背景与动机¶

大语言模型智能体在长文档综合分析、深度多步调研与长程多轮对话等真实任务中，普遍面临输入长度远超模型原生上下文窗口的严峻瓶颈。为了打破固定上下文长度与二次方注意力计算复杂度的双重物理限制，以 MemAgent 为代表的循环记忆（Recurrent Memory）范式应运而生：智能体将超长文本切分为有序分块，并在固定大小的记忆窗口内随文本逐步递推更新，仅凭借紧凑的最终记忆回答全局问题。这种模式无需修改底层模型权重，且理论上具备扩展至任意长上下文的潜力，但在实际落地中却暴露出致命的可靠性缺陷——端到端下游准确率随着输入长度的增长出现急剧的系统性退化。

为了厘清这一性能塌陷的内在根源，本文将智能体的端到端推理表现严谨解构为两项互补指标：记忆捕获率（Memory Capture Rate, MCR，即关键信息是否至少一次成功写入工作记忆）与记忆保持率（Memory Retention Rate, MRR，即已捕获的关键信息是否持续幸存并保留至最终记忆状态）。定量诊断揭示了一个反直觉的现象：在从 7K 到 896K token 的上下文扩展过程中，MCR 全程保持稳定，而 MRR 却呈现雪崩式下跌，在 896K 时骤降至 30% 以下，且 MRR 与最终问答准确率表现出高达 0.98 的强线性相关。这证实了长程退化的核心症结不在于模型的即时语义提取能力，而在于记忆保留机制的彻底失效。

造成记忆保持崩溃的根本原因在于架构层面的结构性缺陷：现有循环记忆方案均将工作记忆组织为单一的整体文本块（Monolithic Text Block），每一次读取新上下文分块并递推更新时，智能体都必须全量改写该文本块。位于序列前段第 $t$ 步捕获的关键证据，必须在后续长达 $(T-t)$ 次连续覆盖改写中侥幸不被抹除，这在极长序列下几乎是不可能成立的概率事件。核心 idea：将单一整体记忆解构为多个独立的相互隔离的记忆头，采用阶段式“先选择、后更新”策略使单步仅改写一个记忆头并架构性屏蔽其余记忆头，从物理结构上消除连续改写压力。

方法详解¶

整体框架¶

多头循环记忆（Multi-Head Recurrent Memory, MHM）由独立多头表征、阶段式选择器（Selection Stage）以及上下文感知更新器（Update Stage）三大核心逻辑组成。针对长上下文文档 $C$ 与输入查询 $q$，系统首先将文档均等划分为 $T$ 个上下文分块 $(c_1, c_2, \dots, c_T)$，并将记忆状态表示为 $H$ 个相互独立的文本头集合 $m_t = \{m_t^1, m_t^2, \dots, m_t^H\}$，每个头由独立的 XML 标签 <memory_h>...</memory_h> 严格界定。在处理每个文本块 $c_t$ 时，系统分为串行的两个阶段：首先由路由规则或判别准则在保持其余头冻结的前提下挑选出单个待更新头索引 $h^\star$；随后智能体在纵览全局已有记忆状态 $m_{t-1}$、当前块 $c_t$ 与查询 $q$ 的完整背景下，仅对选定的记忆头 $m_t^{h^\star}$ 执行重写。在所有 $T$ 步分块迭代完成之后，LLM 冻结最终记忆 $m_T$，生成最终解答。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长上下文分块流与全局查询<br/>c_t ∈ (c_1, ..., c_T) & Query q"] --> B["阶段式多头选择机制<br/>评估各头状态并输出更新索引 h*"]
    B --> C["上下文感知单头更新与物理屏蔽<br/>输入全部旧记忆并改写目标头 m_t^h*"]
    C --> D["自发冗余多头备份与渐进式特化<br/>高价值证据多头复写抵御长程风险"]
    D -->|遍历完成 t=T| E["终态多头聚合生成回答<br/>LLM 结合 m_T 与查询输出最终结论"]

关键设计¶

1. 阶段式多头选择机制：解耦路由决策与内容生成并消除单头改写瓶颈 针对单块记忆中每次写入都会无差别危及历史信息的物理缺陷，MHM 将总容量严格等分为 $H$ 个互相独立的记忆槽位。在第 $t$ 步，选择阶段根据预设的选择准则函数 $r_{\text{select}}$ 确定优先级最高的目标更新头索引 $h^\star$： $$h^\star = \arg\max_{h \in [H]} r_{\text{select}}(h \mid m_{t-1}, q, c_t)$$ 将选择与更新拆解为显式的两阶段（Stage-wise）设计，至关重要地消除了大模型在单次前向推理中同时承担“路由寻址”与“内容压缩摘要”的多目标干扰。作为一种极其轻量且零额外推理开销的具体实现，MHM-LRU 采用“最久未更新”（Least-Recently-Updated）原则，直接依据每个记忆头的最后活跃时间戳进行数值比较，挑选闲置时间最长的头进行更迭。在数学上，该机制天然保证了各头在时间轴上的均匀利用（Uniform Head Utilization），从结构上杜绝了单一记忆头承受不成比例的改写冲击，且无需引入额外的 LLM 路由推理步骤。

2. 上下文感知单头更新与物理屏蔽：全局信息视野下的局部安全重写 在确定待更新索引 $h^\star$ 后，更新阶段调用底层 LLM 对且仅对待定头执行生成，而其余未选中的所有 $(H-1)$ 个记忆头在系统层面被强行冻结，形成结构性的防抹除屏蔽： $$m_t^{h^\star} = f_\theta(m_{t-1}, h^\star, q, c_t), \qquad m_t^h = m_{t-1}^h \quad \forall h \neq h^\star$$ 该更新调用的关键在于：输入给 LLM 的上下文完整包含了上一轮的所有记忆头状态 $m_{t-1}$。模型并非闭门重写 $h^\star$，而是能够全局审视其他冻结头中已经留存的知识点，并据此比对当前文本块 $c_t$ 的新颖性。这既能精准将 $c_t$ 中的崭新信息增量凝练进目标头，又自发规避了与未选头之间的内容冲突与无效冗余，使得原本难以把控的模型自身“记忆保护”，转变为确定性的“架构级安全隔离”。

3. 自发冗余多头备份与渐进式特化：从动态分异到高可靠备份涌现 在多头协同的递推演进过程中，MHM 展现出独特的语义动力学特性。在序列处理初期，各个空白或新近写入的记忆头通过文本表示向量的平均余弦距离计算： $$\bar{d}_t = \frac{1}{H} \sum_{h=1}^H \left(1 - \cos\left(v_t^h, \bar{v}_t\right)\right)$$ 表现出高度的语义分异性（Semantic Diversity），各自分工吸收上下文不同维度的知识。而在面临长程多跳推理与关键证据段落时，模型在感知到全局状态的前提下，会自发在随后的更新轮次中把决定性的核心线索复制并扩散到多个轮换头中（Emergent Backup Behavior）。多头结构成功将单块记忆下的单点脆弱性转化为具备分布式容错能力的冗余备份网，即使后续个别头在遭遇局部噪声块时被改写，其他头中的冗余副本依然能平稳穿透上百轮迭代直达终点。

一个完整示例¶

以 BABILong-512K 评测集中的 QA4（两参数实体关系推理）样本为例，问题为：“What is the bathroom south of?”（真实答案：office）。包含核心事实事实块出现在整个长程输入的中段（步骤 70 至 95）。 1. 单头基线 MemAgent 的崩溃过程：在第 74 步读取到关于 bathroom 与 office 相对位置的关键句后，MemAgent 将其写入唯一的 4,096 token 记忆块中；然而在后续第 91 至 95 步处理完全无关的干扰段落时，模型受限于有限的注意力分布与持续压缩压力，在连续全量覆写中彻底遗漏并清除了这一事实，最终在第 95 步输出“There is not enough information to determine what is south of the bathroom.”，产生典型的保持率归零故障。 2. MHM-LRU 的多头穿透过程：系统配置 4 个容量各为 1,024 token 的记忆头（总容量等同于基线的 4,096 token）。在第 74 步，LRU 调度选中 Head 2，将关键事实“bathroom is south of office”吸纳入 Head 2。在接下来的迭代中，虽然 Head 3 和 Head 4 在轮转更新中分别吸收新背景，但 Head 2 处于物理冻结状态受到绝对保护；更重要的是，在随后的更新循环中，模型观察到全量记忆上下文，自发将该关键事实在 Head 1 与 Head 3 中进行了多重备份。至第 95 步最终推理时，所有 4 个头中有 3 个稳固保存了该事实，模型最终精准给出判定：“Therefore, the answer is the office.”。

实验关键数据¶

主实验¶

主实验在长程多跳推理基准 RULER-HQA 与长上下文综合基准 BABILong 上展开评测，统一采用 Qwen2.5-14B-Instruct 作为底座，总记忆容量严格对齐为 4,096 token（MemAgent 为单头 4,096，ReMem 为两头各 2,048，MHM-LRU 为四头各 1,024）。在极长上下文下，MHM-LRU 展现出远超传统方案的抗衰减韧性。

数据集	指标	上下文长度	本文 (MHM-LRU)	基线 (MemAgent)	提升幅度
RULER-HQA	保持率 MRR (%)	896K	73.96	< 30.00	+44.0+ pts
RULER-HQA	端到端准确率 Acc (%)	112K	50.26 ± 1.47	42.19 ± 0.64	+8.07 pts
RULER-HQA	端到端准确率 Acc (%)	448K	48.70 ± 2.88	33.33 ± 0.98	+15.37 pts
RULER-HQA	端到端准确率 Acc (%)	896K	49.74 ± 1.47	21.62 ± 0.98	+28.12 pts
BABILong	端到端准确率 Acc (%)	128K	48.70 ± 3.27	44.66 ± 1.64	+4.04 pts
BABILong	端到端准确率 Acc (%)	512K	46.35 ± 2.66	32.55 ± 1.61	+13.80 pts
BABILong	端到端准确率 Acc (%)	1M	41.41 ± 1.91	25.26 ± 0.97	+16.15 pts

消融实验¶

在 RULER-HQA 评测集上针对头数量 $H$、选择机制（并发 vs 阶段式）以及选择准则（LRU 规则 vs 相关性模型驱动）开展细致消融分析。

配置变体	核心设计差异	896K Acc (%)	896K MRR (%)	说明
MHM-LRU (H=4)	阶段式选择 + 确定性最久未更新调度 (Full Model)	49.74	73.96	保持率与端到端精度俱佳，性能在超长跨度极度平稳
MHM-Concur	并发生成（模型同时决定路由目标头与写入内容）	33.59	54.12	复合指令导致多任务干扰，MRR 暴跌 19.84 pts
MHM-Relevance	阶段式语义驱动（利用 LLM 评估各头相关度进行选择）	45.31	74.71	实时预测未来需求存在语义噪声，导致头饥饿与多样性受损
MHM-1 Head	单头退化变体（等价于 MemAgent 架构）	21.62	26.53	单块记忆持续覆写，896K 下信息保持率彻底溃败
MHM-2 Heads	双头阶段式 LRU 变体	~38.00	69.89	引入隔离即带来 MRR 的巨大跃升
MHM-8 Heads	八头阶段式 LRU 变体	~51.20	87.12	保持率进一步逼近 90%，呈现对数饱和趋势

关键发现¶

记忆头数量与保持率呈现对数饱和曲线：在 896K 极长测试中，头数由 1 增至 2 时，MRR 发生从 26.53% 飙升至 69.89% 的质变飞跃，增至 8 头时突破 87.12%，并在 16 头时趋于稳定。证明解耦与物理隔离是遏制信息遗忘的决定性结构支点。
阶段式规则优于模型驱动路由：让模型在更新阶段兼顾选择（MHM-Concur）或单列语义相关性打分（MHM-Relevance），其最终端到端表现均显著弱于无脑按时间轮转的 MHM-LRU。这是因为测试阶段模型无法预知下游查询对细节的依赖，模型驱动的路由极易使某些头过度更新、另一些头长期闲置；而 LRU 以无参数的结构性确定性保障了绝对均匀利用率。
更少 token 带来反常计算提速：由于每次单步只向单一局部头写入（最大 1,024 token），LLM 生成阶段受长度约束更加凝练，使得 MHM-LRU 在 7K–112K 长度下端到端耗时显著低于 MemAgent（112K 时单样本耗时 25.9 秒 vs 31.5 秒），并在显存与吞吐层面达到优于强化学习微调方案的帕累托前沿。

亮点与洞察¶

严谨的捕获-保持（Capture-Retention）退化因果诊断：通过量化 MCR 与 MRR，文章打破了过去笼统归咎于“模型上下文注意力分散”的思维惯性，确凿证明了循环记忆失效 98% 归因于连续覆盖导致的保持率塌陷。
架构级物理屏蔽替代不可靠的模型自律：传统设计寄希望于庞大参数模型“在改写时主动记住旧重点”，而 MHM 巧妙将这一软约束转化为“未选头物理只读”的硬约束，以最低系统成本获取了最高的记忆稳定性。
无监督涌现的信息多头冗余备份：实验证实智能体在多头视野下具备自发的冗余备份倾向，将局部脆弱点扩散为分布式协同存储，为构建无须重训的自演进长期智能体提供了极简且优雅的工程范本。

局限与展望¶

固定头数缺乏动态弹性：当前方法依赖先验设定的超参数 $H$（如 4 或 8），在面对短文本或极端异构任务时无法动态按需扩缩容，未来探索基于输入信息密度与注意力熵的弹性头分配是关键演进方向。
单轮查询驱动尚缺乏跨生命周期持久化：实验聚焦于单轮长上下文文档问答，多个头在任务结束后即被销毁，尚未与分层分类型的长效记忆（如情节记忆、知识图谱语义记忆、程序记忆）进行深度架构联动。
头容量静态均分限制灵活长文表达：各头预设等长容量配额，在某些需大段连续代码/论据转录的子任务中可能会出现局部单头容量溢出，需结合动态分片压缩机制加以改进。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出捕获-保持解构分析，以优雅轻量的多头物理屏蔽彻底攻克循环记忆覆写痛点。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 RULER-HQA 与 BABILong 百万 token 尺度，涵盖多模型尺度、消融与语义动力学微观分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密层层递进，诊断精准有力，动机与实验结论高度自洽。
价值: ⭐⭐⭐⭐⭐ 为无微调长上下文智能体提供了兼顾高可靠性、极低计算显存消耗的通用基础架构。