MemCoRe: Recovering Evidence from Progressively Compressed Factual Knowledge for Agent Memory¶

会议: NeurIPS 2026
arXiv: 2602.07885
领域: 模型压缩
关键词: 智能体记忆, 层次化压缩, 信息瓶颈, 门控记忆构建, 多通道检索

一句话总结¶

针对大语言模型智能体记忆在长程交互中面临的“过度保留掩埋证据与激进压缩丢失证据”的根本权衡困境，本文基于信息瓶颈理论提出 MemCoRe 框架，通过构建由结构化笔记、关键词与主题群组成的渐进压缩分层体系，结合门控融合与三通道迭代检索，实现了证据的高效压缩与精准恢复。

研究背景与动机¶

在大语言模型智能体与复杂环境的长期交互过程中，随着对话和感知历史的不断累积，智能体需要从海量事实知识中提炼、保留并检索关键证据以支持下游决策与推理。然而，随着交互序列持续增长，真正有用的目标证据在数量上迅速被海量背景观测所稀释。为了管理交互历史的膨胀，主流方法不再对完整历史进行全局暴力搜索，而是构建结构化的外部记忆表示并从中检索。记忆系统的组织结构与内容直接决定了下游检索能触达的证据边界，因此记忆的构建机制与检索效果是密不可分的核心统一体。

现有智能体记忆方案探索了多样化的表示策略，包括结构化笔记生成、联想链接机制以及启发式遗忘曲线。然而，作者对代表性系统 A-MEM 的诊断分析揭示了一个关键缺陷：即便记忆系统几乎完整保留了所有原始交互文本，在检索时仍有接近一半（约 46.2%）的真实证据无法进入候选列表，海量的冗余条目与近重复内容挤占了检索通道（前 20 项检索结果中近重复比例高达 28.2%）。更为严重的是，这种检索失效在开放域和多跳推理等跨颗粒度查询中表现尤为严峻。受控的证据稀释实验进一步证实，当目标证据在检索上下文中被无关干扰项稀释至 50% 甚至 10% 时，下游推理质量呈现出断崖式下跌，且降幅最大的正是检索召回率最低的复杂查询类型。

这表明记忆系统面临着无法回避的结构性矛盾：保留过多内容会因冗余信息堆叠而掩埋目标证据，过度压缩或直接遗忘又会永久损毁后续查询所需的潜在依据。核心 idea：将智能体记忆建模为信息瓶颈权衡下的层次化压缩系统，从微观笔记、中观关键词到宏观主题群渐进抽象，在消除冗余的同时保留各层级专属检索结构，并通过门控构建与跨层级协同检索实现目标证据的精准恢复。

方法详解¶

整体框架¶

MemCoRe 将智能体记忆组织为三层压缩分层体系（Compression Hierarchy），从底层到顶层依次为结构化笔记（Notes，保留原始细节与去噪上下文）、关键词图谱（Keywords，实体级符号压缩层）以及主题聚类（Topic Groups，宏观语义质心）。整个框架涵盖记忆构建（Memory Construction）与跨层级多通道记忆检索（Memory Retrieval）两大核心流程。

在输入新的连续交互流时，记忆构建模块首先通过语义摄入将原始观察转化为包含原始内容、去噪上下文、稠密嵌入与提取关键词的结构化笔记；随后通过基于嵌入相似度初筛与大模型语义判别的门控机制，将新笔记按冗余、互补或全新的语义关系分别执行合并（Merge）、关联（Link）或追加（Append）操作；最后在关键词共现图上周期性运行 Leiden 社区发现算法以更新主题聚类。在接收到查询时，系统将其分解为主题意图与核心实体，分别驱动主题通道、关键词通道以及基于联想边的邻居扩展通道，并通过倒数排名融合（RRF）与迭代证据细化机制逐步补全复杂多跳推理所需的完整证据链。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始交互流 x_t"] --> B["语义摄入与结构化"]
    B --> C["门控记忆构建<br/>Merge / Link / Append"]
    C --> D["层次化压缩体系<br/>笔记层 - 关键词图 - 主题群"]
    E["输入查询 Q"] --> F["查询分解<br/>主题意图 + 实体关键词"]
    D -.-> G["三通道协同检索<br/>主题引导 + 关键词匹配 + 邻居扩展"]
    F --> G
    G --> H["倒数排名融合 RRF"]
    H --> I{"充分性评估<br/>Iterative Refinement"}
    I -->|证据不足| J["子查询重检索"]
    J --> G
    I -->|证据充分 / 达最大轮次| K["最终证据池 E_pool 与下游推理"]

关键设计¶

1. 信息瓶颈指导下的层次化压缩结构：在紧凑表示与检索可达性之间建立理论均衡

传统记忆策略依赖经验性容量截断或无约束膨胀，导致上下文利用率失衡。本文将经典信息瓶颈原理引入交互流记忆建模，定义记忆状态 \(M_t\)、输入交互流 \(X_{1:t}\) 与联合目标 \((Q, T)\) 之间的优化拉格朗日目标函数：

\[\mathcal{L}(M_t) = I(X_{1:t}; M_t) - \beta I(M_t, Q; T)\]

其中第一项 \(I(X_{1:t}; M_t)\) 度量记忆对原始历史的保留量，值越低代表去除冗余后的压缩比越高；第二项 \(I(M_t, Q; T)\) 度量记忆状态与查询 \(Q\) 协同定位真实证据 \(T\) 的互信息，参数 \(\beta > 0\) 调节二者的权衡。

基于该目标，新观测 \(x_{t+1}\) 写入时引发的差分增量 \(\Delta \mathcal{L} = \Delta I_{\text{compress}} - \beta \Delta I_{\text{retrieve}}\) 指导了三层压缩体系的划分：底层笔记 \(n_t = (r_t, c_t, \mathbf{h}_t, \mathcal{K}_t)\) 分离了逐字原始记录 \(r_t\) 与去噪上下文 \(c_t\)（及其稠密嵌入 \(\mathbf{h}_t\)），确保底层细节不丢失的同时消除语法噪声；中间层关键词 \(\mathcal{K}_t\) 提取核心实体构成符号锚点，避免单纯依赖稠密向量带来的语义漂移；顶层主题群 \(\mathcal{T}\) 则通过聚类算法聚合高层语义。各层级逐级压缩冗余，同时保持该层级检索所需的特异性结构。

2. 语义驱动的门控记忆构建机制：消除存储冗余并显式建立关系图谱

为避免将每条输入盲目追加导致的记忆碎片化与冗余暴增，系统设计了动态门控机制 \(\mathcal{O}(n_t, n_i)\)。当新笔记 \(n_t\) 到达时，首先通过向量检索获取 top 候选集 \(\mathcal{N}_{\text{cand}}\)，并由 LLM 判定其与候选笔记的语义关系与连接强度 \(s(n_t, n_i) \in [0, 1]\)：

\[\mathcal{O}(n_t, n_i) = \begin{cases} \text{Merge}(n_i \leftarrow n_i \oplus n_t) & \text{if redundant } (s \ge \tau_m) \\ \text{Link}(n_i \leftrightarrow n_t) & \text{if complementary } (s \ge \tau_l) \\ \text{Append}(n_t) & \text{if novel}\end{cases}\]

若新内容与已有条目高度重复（\(s \ge 0.7\)），触发合并操作：保留两者的原始片段并由 LLM 重新合成紧凑的去噪摘要 \(c_i' = \mathcal{F}_{\text{merge}}(c_i, c_t)\)，更新嵌入向量并取关键词并集，使存储增量 \(\Delta I_{\text{compress}} \le 0\) 且检索项不受损。若新内容与现有条目互补（\(0.5 \le s < 0.7\)），触发关联操作：创建新节点并添加带权联想边 \(\mathcal{E}_{\text{Related}}\)（记录关系类型 Supports、Conflicts 或 Related_To），并在强连接时局部更新邻居上下文以实现隐式信息传递，从而在不合并实体的前提下强化多跳检索路径 \(\Delta I_{\text{retrieve}} > 0\)。若判定为全新信息，则作为独立新笔记追加（Append）以保证证据覆盖率。此外，在关键词共现图 \(\mathcal{G}_{\text{kw}}\) 上周期性应用 Leiden 社区发现算法，约束簇规模在 \([\delta_{\min}, \delta_{\max}]\) 之间，持续演化全局主题聚类。

3. 三通道协同检索与迭代证据细化：跨层级回溯与多跳渐进推理

单一向量相似度检索在面对抽象主题或复杂长链依赖时极易遗漏证据。MemCoRe 采用三通道协同检索（Tri-Pathway Retrieval）： 1. 主题通道（Topic Channel）：利用查询的主题描述嵌入 \(\mathbf{h}_{\text{topic}}\) 检索 top-\(K_{\text{topic}}\) 个主题群，召回属于这些主题的所有笔记，提供宽泛的全局语境兜底； 2. 关键词通道（Keyword Channel）：提取查询中的核心实体集合 \(\mathbf{H}_{\text{keys}}\)，通过余弦相似度匹配实体级关键词并取回关联笔记，提供精确的实体级点对点导航； 3. 邻居扩展通道（Neighbor Expansion Channel）：以主题与关键词通道召回的锚点集合 \(\mathcal{E}_{\text{anc}}\) 为起点，沿门控构建阶段建立的关联边 \(\mathcal{E}_{\text{Related}}\) 进行一跳邻居图遍历：

\[\mathcal{E}_{\text{expand}} = \{m \in \mathcal{N} \mid \exists n \in \mathcal{E}_{\text{anc}}, (n, m) \in \mathcal{E}_{\text{Related}}\}\]

关联边上的权重 \(s\) 调节得分传播，有效捕获与原始查询无表面词汇重叠但存在因果、冲突或支持逻辑的隐藏证据。前两通道的输出经由倒数排名融合（RRF）综合排序，并与扩展邻居集融合截断为预算为 \(K_{\text{final}}\) 的初步证据池。针对复杂推理任务，系统引入迭代证据细化协议（IER）：LLM 动态评估当前证据池对回答查询的充分性，若存在信息缺口则针对性生成细化子查询并再次触发三通道检索，最多迭代 \(I_{\max} = 3\) 轮，实现动态自适应的证据链拓展。

实验关键数据¶

主实验¶

评估在专门衡量长程对话与复杂事实合成的基准 LoCoMo 上展开，涵盖多跳推理（Multi-Hop）、时序推理（Temporal）、开放域推理（Open Domain）、单跳事实匹配（Single Hop）与对抗干扰识别（Adversarial）五大能力维度，全面对比了闭源模型（GPT-4o、GPT-4o-mini）与开源模型（Qwen3-8B、Qwen3-14B）作为骨干下的各项表现。

骨干模型	方法	Multi-Hop (F1)	Temporal (F1)	Open Domain (F1)	Single Hop (F1)	Adversarial (F1)	加权平均 F1 (%)	加权平均 BLEU-1 (%)
GPT-4o-mini	LoCoMo 基线	25.02	18.41	12.04	40.36	69.23	39.74	33.47
	MemGPT	26.65	25.52	9.15	41.04	43.29	35.45	30.16
	A-MEM	27.02	45.85	12.14	44.65	50.03	41.97	36.16
	Mem0	34.72	45.93	22.64	43.65	30.15	38.70	32.07
	LightMem	32.09	44.84	22.75	44.68	30.13	38.59	30.85
	MemCoRe (本文)	32.11	46.61	23.98	44.74	51.48	43.76	37.27
GPT-4o	LoCoMo 基线	28.00	9.09	16.47	61.56	52.61	44.12	38.70
	A-MEM	32.86	39.41	17.10	48.43	36.35	40.53	35.36
	Mem0	35.13	52.38	17.73	39.12	25.44	36.59	32.25
	LightMem	35.21	40.28	24.57	51.83	29.66	41.31	30.89
	MemCoRe (本文)	35.89	39.78	25.74	49.08	48.24	44.39	38.70
Qwen3-8B	LoCoMo 基线	25.09	32.82	14.47	20.18	46.77	28.62	24.22
	MemGPT	22.13	31.47	14.51	33.49	34.58	30.88	27.67
	A-MEM	24.30	34.50	13.10	38.10	31.00	32.76	27.58
	LightMem	27.19	34.40	15.21	40.21	35.22	35.09	27.19
	MemCoRe (本文)	28.24	38.39	15.43	42.09	43.79	38.62	34.51
Qwen3-14B	A-MEM	21.36	23.06	12.62	35.43	26.71	28.37	24.48
	LightMem	29.02	28.24	13.88	38.41	26.26	31.52	23.99
	MemCoRe (本文)	30.80	29.25	14.11	42.25	26.59	33.65	28.45

消融实验¶

在 Qwen3-8B 骨干上分别对构建阶段操作与检索通道进行系统性消融，分析各组件对最终生成 F1、BLEU-1、检索召回率（Recall）及命中率（Hit Rate）的独立贡献。

模块阶段	消融配置	F1 (%)	BLEU-1 (%)	Recall (%)	Hit Rate (%)	机制分析说明
完整模型	MemCoRe (完整版)	38.62	36.85	62.22	67.12	检索召回率相较 A-MEM 诊断期（53.8%）大幅提高
构建阶段	w/o Update (无门控更新)	27.97	27.10	42.11	48.20	退化为纯追加存储，冗余爆炸导致全类别急剧下跌 (-10.65 F1)
	w/o Denoise (去噪上下文)	36.07	34.68	57.42	62.55	仅用原始文本嵌入，存在语法与口语噪声干扰
	w/o Link (无关联边建立)	33.57	32.35	53.19	56.18	破坏关系结构，使多跳与对抗拒识推理遭受重创
	w/o Merge (无冗余合并)	34.79	33.62	54.85	59.42	重复信息侵占检索配额，验证了去除冗余的必要性
检索阶段	w/o Topic (无主题通道)	36.79	34.66	53.30	58.91	缺失高层语境导航，开放域查询定位能力下降
	w/o Keyword (无关键词通道)	32.69	33.94	51.28	54.26	实体级精确匹配丢失，单跳（Single-Hop）任务受损严重
	w/o Neighbor (无邻居扩展)	34.26	32.85	51.28	54.35	无法沿关联边挖掘隐式支持与冲突线索
	w/o IER (无迭代细化)	32.94	30.86	46.29	51.26	召回率出现最大滑坡（-15.93%），长链复杂查询难以收敛

关键发现¶

门控结构化构建是检索恢复力的绝对基石：完全去除门控更新（w/o Update）引发了体系最灾难性的崩塌（F1 暴跌 10.65 点，召回率骤降超 20%）。这从反向有力印证了信息瓶颈假说：缺乏结构化整合的高熵记忆不仅浪费存储，更会从源头上瘫痪下游检索的信噪比。
关联（Link）比单纯合并（Merge）具备更高的边际收益：去除关联边（33.57% F1）的负面冲击显著大于去除合并操作（34.79% F1）。实验表明关联边在 Adversarial 类别上起到了决定性的结构锚定作用，使模型能够区分看似相似但逻辑冲突的干扰项。
跨层级检索通道分工极其明确：关键词通道直接决定了占比最大的 Single-Hop 查询表现；主题通道对模糊与开放域查询形成兜底支撑；而迭代细化（IER）则是弥合复杂证据缺口的关键机制，其移除直接导致召回率从 62.22% 骤降至 46.29%。

亮点与洞察¶

信息瓶颈视角的理论自洽性：本文跳脱出工程启发式修补的局限，首次利用适配的 IB 目标函数 \(\mathcal{L}(M_t) = I(X_{1:t}; M_t) - \beta I(M_t, Q; T)\) 严谨刻画了智能体记忆“压缩率 vs 检索率”的本质矛盾，使合并、关联与追加等离散操作获得了清晰的互信息增量解释。
去噪双层记录与关键词图谱设计：在微观层创新性地将笔记解构为 verbatim 原始记录与 denoised 检索上下文，既保留了真实历史用于精确求证，又消除了自然语言噪音对向量检索的干扰；中观关键词图谱结合 Leiden 社区算法构建主题层，形成了从高维图结构到低维文本的平滑过渡。
多维度性能的均衡性与鲁棒性：与现有 baselines 在某单一任务表现畸形（如在 Adversarial 得高分但在 Temporal 几乎完全失效）形成鲜明反差，MemCoRe 在所有测试的推理类别中均保持了高度均衡的优异表现，彻底摆脱了“按下葫芦浮起瓢”的脆弱性。

局限与展望¶

构建阶段推理延迟与算力开销：作者坦承当前方案优先保证记忆质量，在每次新笔记写入时都需要调用 LLM 进行候选对语义评估与分类，对 API 依赖度高且增加了计算时延，难以直接支持高频超实时交互流。
信息瓶颈目标函数的端到端直接优化尚未实现：目前 IB 理论主要作为离散启发式操作的分析指导框架，文本空间下互信息的解析不可积性导致系统未能实现端到端连续梯度更新与动态 \(\beta\) 调节。
模态局限与未来演进：评测目前集中在纯文本对话基准，尚未涵盖包含视觉、具身操作轨迹及多模态输入的长程智能体场景。

评分¶

新颖性: ⭐⭐⭐⭐☆ [将信息瓶颈理论成功落地于智能体记忆的多层压缩与检索设计，理论与架构契合度高]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖4类不同规模主流骨干模型与7大经典基线，诊断实验与消融分析极其扎实全面]
写作质量: ⭐⭐⭐⭐⭐ [动机剖析深刻，问题定义形式化清晰，图表与论述逻辑一气呵成]
价值: ⭐⭐⭐⭐☆ [为长程对话智能体、个性化助理及终身学习记忆架构提供了极具实操性与启发性的框架标准]