MEME: Multi-entity & Evolving Memory Evaluation¶

会议: NeurIPS 2026
arXiv: 2605.12477
代码: https://github.com/seokwonjung-jay/meme-eval
领域: LLM Agent
关键词: 记忆评测基准, 依赖推理, 级联更新, 不确定性识别, 智能体记忆系统

一句话总结¶

论文提出了跨越实体范围（单实体 vs 多实体）与时间动态（静态 vs 演化）二维象限的记忆基准 MEME，设计了显式依赖链与因果规则，首次评测级联更新、缺省不确定性与删除后状态，揭示出主流记忆系统在依赖推理任务上面临系统性崩溃。

研究背景与动机¶

基于大语言模型（LLM）的智能体日益部署于多会话、长周期的持久环境中，必须在跨会话交互中准确存储、维护并推理动态信息。然而，现有的长上下文与记忆评测基准主要聚焦于独立实体的静态事实保留或孤立更新，例如 RULER 和 NoLiMa 侧重单轮上下文窗口内的直接匹配，而 LoCoMo、LongMemEval、MemBench 与 MemoryAgentBench 虽然引入了跨会话更新与属性追踪，但其更新对象依然是彼此解耦的孤立单实体。

这种评测设置与真实交互之间存在严峻割裂。在实际场景中，现实世界的知识高度互联且存在显式的因果依赖关系。例如当用户宣布更换居住城市时，智能体不仅需要更新居所位置，还必须级联意识到基于原地址推导出的通勤时长、就近医院或首选路线已然失效甚至需要触发后续级联变更；而若缺乏明确的新规则，智能体则应主动承认不确定性而非盲目沿用旧值。现有基准完全缺失对“上游事实改变后下游依赖事实如何变化（Cascade）”、“既有答案失效后如何识别不确定性（Absence）”以及“显式删除后彻底停止输出旧事实（Deletion）”的系统性度量，导致记忆架构在处理状态化、强耦合知识时留下巨大评测盲区。

针对这一核心痛点，本文将知识编辑中的连锁反应问题与多跳问答的实体跨度结合，形式化构建了双轴四象限评测空间。本文的核心 idea 是：基于带条件转移规则的有向无环图（DAG）构建具备可验证金标准的 MEME 基准，全面覆盖精准召回、聚合、追踪、删除、级联推断与缺省识别六大任务，系统诊断现有记忆范式在依赖推理上的崩溃根因。

方法详解¶

整体框架¶

MEME 围绕“实体作用域”（单实体 vs 多实体）与“时间动态性”（静态 vs 演化）两个正交维度，形式化定义了六类记忆操作任务，并通过带条件依赖规则的有向无环图（DAG）合成具备严格因果传播金标准的多会话对话流。整个评测流程涵盖知识图谱定义、拓扑任务指派、自然对话转述、抗冲突干扰填充组装，以及面向记忆系统的端到端执行与带防投机过滤的评估。

评测输入包含时间有序的会话序列，其中穿插了事实引入、条件依赖规则注入、更新与删除事件，以及经过严格语义冲突过滤的噪音会话。记忆系统在完成会话摄入后，面对评估问题输出最终答案。方法整体的数据流与评测流程如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["结构化输入<br/>领域知识图谱 DAG + 条件规则"] --> B["有向图拓扑任务指派与状态传播"]
    B --> C["分层对话转述与两级语义校验"]
    C --> D["抗冲突干扰组装与会话编排"]
    D --> E["多范式记忆系统摄入与检索执行"]
    E --> F["带防投机过滤的因果依赖评测"]

关键设计¶

1. 有向图拓扑任务指派与状态传播：以递归因果规则形式化定义依赖与缺省

为了构建严格客观、无歧义且可证明可解的评测金标准，MEME 在个人生活（Personal Life, 39 个实体、34 条依赖边）与软件项目（Software Project, 51 个实体、27 条依赖边）两大领域构建了有向无环图 $G=(V, E, \mathcal{P}, \Phi)$。其中每个节点代表一个具名实体，有向边表示依赖关系，$\mathcal{P}(v)$ 为互不重叠的人工虚构实体取值池以防预训练知识污染，$\Phi$ 为显式条件规则集合。当根节点发生状态改变时，下游节点的状态转移遵循严格的递归计算准则：

\[v^* = \begin{cases} \phi_v(v_i^*) & \text{若 } \phi_v \in \Phi \quad (\text{Cascade 级联推理}) \\ \bot & \text{若 } \phi_v \notin \Phi \quad (\text{Absence 缺省识别}) \end{cases}\]

在此机制下，Cascade 任务检验多跳链条 $r \to v_1 \to v_2$ 上的自动状态演化，要求模型得出 $v^* = \phi_{v_2}(\phi_{v_1}(r^*))$，而原文对话中绝不直接陈述最终取值；Absence 任务则在上游变化且缺乏适用规则时，判定金标准为 $\bot$（Uncertain），严格检验系统是否会错误回退并输出已过期的旧值。其余独立实体则被拓扑分配至精确召回（ER）、跨会话聚合（Agg）、多版本历史追踪（Tr）与显式删除（Del）任务中。

2. 分层对话转述与两级语义校验：平衡对话自然度与规则精确性

结构化事实若直接套用模板生成对话易导致模式僵化，而单纯依赖大模型自由发挥则极易丢失严格的事实绑定与因果逻辑。MEME 设计了混合转述机制：对于基础背景事实，首先通过大模型批量转换为第三人称客观描述，消除第一人称偏差；随后输入由 User LLM 与 Assistant LLM 构成的自对弈双智能体交互管道（基于 gpt-4o），生成真实自然的开放多轮会话。与之形成鲜明对比的是，对于承载因果逻辑的条件依赖规则（如“若健康状况变为高血压，则服药切换为 Thrynexol”）以及精确召回内容，系统强制使用逐字精确的直接模板嵌入，确保依赖语义与字符细节零歧变。转述完成后，执行两级校验流水线：第一层由大模型自动标注包含各金事实的具体轮次；第二层由独立的 Gemini 2.5 Flash 执行五点语义审计，剔除产生幻觉或推导漏洞的会话。

3. 抗冲突干扰组装与会话编排：构建无语义污染的万级长篇检索环境

为真实评测长周期交互中信息被海量无关对话淹没的检索与保持难度，MEME 将包含黄金事实的证据会话（Evidence Sessions, 每 episode 5 场）与干扰会话（Filler Sessions, 每 episode 15-20 场，共计约 32K token 长度）进行乱序交叉穿插。为防止公开语料中的闲聊内容与虚构金事实发生概念冲突或偶然矛盾，研究团队建立了四步过滤管线：首先基于领域事实模板穷举所有可能陈述；随后通过 BM25 与 text-embedding-3-small 稠密检索粗筛出最相似的候选干扰文本；进而利用 GPT-4o-mini 作为判别器，对直接矛盾（Type A Contradiction）、竞争性替代选项（Type B Alternative）与实体混淆（Type C Entity Confusion）进行全量识别与清洗；最后在组装阶段引入动态关键词黑名单作为兜底防护，保障背景噪声完全中性化。

4. 带防投机过滤的因果依赖评测：排除未摄入假阳性的双重状态验证

针对 Cascade、Absence 与 Deletion 这类涉及状态转移与生命周期的任务，单纯评估事件发生后的最终回答会引入大量虚假正确（例如一个从未成功存储某实体的失效系统，在提问时回答“不知道”，恰好与 Absence 的 Uncertain 命中）。MEME 引入了严格的“防投机过滤”（Trivial-pass Filtering）双阶段评分协议：系统必须在变更事件前的一阶段测试中准确回忆出前置历史状态，并在发生变更或删除事件后的二阶段测试中准确输出级联推导值、判定状态不确定或停止报告已删除事实，只有两阶段同时通过才判定该样本得分。评分统一采用 GPT-4o 作为裁判模型，与人工专家标注在 144 个样本上达到 98.6% 的一致率（Cohen's $\kappa = 0.965$）。

实验关键数据¶

主实验¶

主实验覆盖三类主流记忆范式的六种代表性系统：原始检索（BM25、text-embedding-3-small）、LLM 处理记忆（Mem0、Graphiti）与文件型智能体（MD-flat、Karpathy Wiki），所有系统在默认配置下统一使用 gpt-4.1-mini 作为内部处理模型与回答模型，并在 100 个受控长会话 episode 上进行评测。

架构范式	系统	精确召回 (ER)	聚合 (Agg)	追踪 (Tr)	删除 (Del)	级联 (Cas)	缺省 (Abs)	全局平均	摄入成本 ($/ep)	推理成本 ($/ep)
In-context (无记忆)	gpt-4.1-mini	1.00	0.27	0.69	0.45	0.03	0.04	0.36	-	$0.16
In-context (无记忆)	Sonnet 4.6	0.50	0.21	0.58	0.39	0.05	0.35	0.32	-	$1.50
原始检索	BM25	1.00	0.05	0.16	0.27	0.02	0.00	0.25	-	$0.04
原始检索	text-embedding-3-small	0.96	0.33	0.46	0.17	0.04	0.00	0.33	-	$0.03
LLM 处理记忆	Mem0	0.67	0.35	0.43	0.21	0.03	0.00	0.28	$0.10	$0.01
LLM 处理记忆	Graphiti	0.03	0.01	0.04	0.09	0.02	0.01	0.03	$0.55	$0.00
文件型智能体	MD-flat	0.94	0.45	0.77	0.25	0.06	0.05	0.42	$0.04	$0.01
文件型智能体	Karpathy Wiki	0.11	0.18	0.27	0.03	0.01	0.02	0.10	$1.17	$0.22
基准记忆系统平均	-	0.62	0.23	0.35	0.17	0.03	0.01	0.24	-	-

消融实验¶

论文探索了五种外部与内部干预策略以诊断依赖断裂位点：提升检索深度 top-$k$、替换更强回答模型、减少干扰噪声、DSPy SIMBA 提示词优化，以及替换记忆系统内部摄入的大模型。在 20 个 episode 子集上对三款具内部模型的系统进行内部模型消融（统一以 Sonnet 4 作为最终回答模型）：

记忆系统	内部摄入模型	级联 (Cas)	缺省 (Abs)	全局平均	摄入成本 ($/ep)	相对基准倍率
Mem0	gpt-4.1-mini	0.00	0.00	0.23	$0.10	$1.0\times$
Mem0	gpt-5	0.00	0.00	0.37	$0.34	$2.7\times$
Mem0	GLM-5.1	0.07	0.00	0.34	$0.12	$1.1\times$
Mem0	Claude Opus 4.7	0.03	0.00	0.33	$6.00	$42.0\times$
Graphiti	gpt-4.1-mini	0.03	0.00	0.02	$0.55	$1.0\times$
Graphiti	gpt-5	0.00	0.00	0.01	$1.66	$2.9\times$
Graphiti	GLM-5.1	0.03	0.00	0.03	$0.65	$1.2\times$
Graphiti	Claude Opus 4.7	0.00	0.04	0.02	$37.12	$65.2\times$
MD-flat	gpt-4.1-mini	0.00	0.07	0.45	$0.04	$1.0\times$
MD-flat	gpt-5	0.00	0.30	0.21	$0.23	$3.9\times$
MD-flat	GLM-5.1	0.13	0.11	0.42	$0.09	$1.8\times$
MD-flat	Claude Opus 4.7	0.32	0.59	0.55	$3.87	$70.1\times$

关键发现¶

依赖推理全面崩溃：在默认配置下，所有主流记忆系统在 Cascade 和 Absence 任务上均遭遇近乎归零的溃败（平均准确率分别仅为 3% 与 1%），即便利静态精准召回达到 90%+ 的系统亦无法幸免；多实体与时间演化双轴叠加使得复合场景的准确率跌入 2% 的绝对底线。
检索阶段信息阻断是核心瓶颈：链路追踪表明，绝大多数系统在摄入阶段均成功记录了条件规则与变更事件。然而在检索阶段，向量检索器往往因相似度偏差将变更事件排在变更前旧状态之后，而稀疏与图检索器则直接无法命中变更事件，导致回答模型被迫依据检索出的过时上下文输出旧值。
浅层干预完全失效：扩大检索深度（top-$k$ 从 5 增至 40）和去除全部 32K 填充干扰均未能挽救 Cascade（准确率持续 $\le 2\%$）；DSPy 自动提示词优化针对性注入因果防错指令依然收效甚微，表明该缺陷是架构性检索机理缺陷而非指令遵循不足。
闭合依赖缝隙的代价极其高昂：唯一显著突破依赖推理瓶颈的配置是 MD-flat 搭配前沿模型 Claude Opus 4.7 作为内部摄入引擎（Cascade 提升至 32%、Absence 提升至 59%）。其机制在于强推理模型在摄入阶段便主动解析显式因果条件并就地重写覆盖 markdown 存储，使普通检索直接命中最新陈述事实；然而该方案使单 episode 运行成本激增至基准的 70.1 倍，且由于激进重写导致精准召回与历史追踪能力显著退化，在现实大规模落地中不可行。

亮点与洞察¶

形式化开辟了记忆系统的因果依赖评估维度，精准抓住了现有以实体检索为中心的记忆架构在面对“知识连锁反应”时的天然盲区。
提出了带防投机过滤机制的双状态检验协议，有效清除了依靠猜测或系统缺陷碰巧猜对“不确定”状态的虚假繁荣。
揭示了长文本直接上下文输入与持久化外置记忆系统的经济效用权衡：In-context 模式在准确率上具备即时优势，而记忆架构在单次查询成本上呈数量级优势，但前提是必须解决依赖状态的自动传播。

局限与展望¶

知识图谱受限于人工设计先验：评测集当前仅覆盖 Personal Life 和 Software Project 两个人工手建的 DAG 图谱，依赖模式均为显式 if-then 句式，缺乏真实世界中隐含因果或复杂网状循环依赖的覆盖。
多轮会话基于合成生成：会话转述依赖 LLM 自对弈模拟，缺乏真人用户在长周期中展现出的语用模糊、跳跃提问与矛盾口误等复杂噪声。
架构演进方向：单纯依靠在查询端堆叠更强的推理模型无法弥补记忆层面的信息遗漏，未来的长程记忆系统亟需在维护阶段（Maintenance Stage）构建原生、低开销的知识因果传播图谱与依赖失效机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [填补了智能体记忆评测中因果依赖推理与失效缺省状态度量的空白]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖三大范式六大系统、五种干预消融与精细的每阶段 Token/美元成本核算]
写作质量: ⭐⭐⭐⭐⭐ [双轴四象限分类法条理清晰，实验诊断与因果链条追踪严密深入]
价值: ⭐⭐⭐⭐⭐ [为下一代能够处理状态化互联知识的智能体记忆系统架构设计提供了关键诊断工具]