HaluMem: Evaluating Hallucinations in Memory Systems of Agents¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 幻觉检测
关键词: 记忆系统、智能体幻觉、细粒度评测、操作级基准、长上下文交互
一句话总结¶
HaluMem 提出了首个针对大模型智能体记忆系统的操作级幻觉评测基准,将传统黑盒问答解耦为记忆抽取、记忆更新与记忆问答三大独立阶段,通过六阶段构建长达百万 token 的多轮动态交互轨迹,揭示了上游记忆抽取遗漏向上向下游级联放大的核心规律。
研究背景与动机¶
大语言模型与自主智能体在长程多轮交互中扮演着越来越重要的伴随式角色,但无状态的上下文窗口限制使其难以保留用户的个性化偏好、生活经历与动态状态演化。为了赋予智能体终身学习与持续适应能力,MemOS、Mem0、Zep、Supermemory 以及 Memobase 等外部记忆系统应运而生,通过在交互过程中持续抽取、更新并检索用户记忆片段来维持长程一致性。然而,记忆存储与维护机制极易产生记忆幻觉,表现为虚假捏造、事实错误、版本冲突与信息遗漏,直接导致智能体在后续交互中给出偏离事实的错误响应。
现有针对智能体记忆系统的评测工作(如 LoCoMo、LongMemEval、PrefEval、PersonaMem)普遍采用端到端问答的黑盒评测范式。评测流程将多轮会话整体注入记忆系统后,仅依赖最终下游问答的准确率与 F1 分数来推断记忆质量。这种黑盒式方案的核心矛盾在于缺乏对系统内部操作阶段的可追溯性:当智能体回答错误时,评估者无法判断幻觉究竟源于上游记忆抽取阶段的错误存储或噪声捏造、更新阶段对过时记忆的覆盖失效与版本冲突,还是问答阶段检索与生成的自身幻觉。这种归因盲区导致研究者难以针对性地排查与优化记忆架构中的具体漏洞。
为了打破端到端黑盒评估的局限,需要深入记忆系统的运行机制内部,对记忆全生命周期的每个原子操作建立精确可控的黄金标注与诊断体系。核心 idea:将智能体记忆系统从端到端黑盒解耦为记忆抽取、记忆更新与记忆问答三大独立操作阶段,通过构建多轮长程交互生命周期轨迹与操作级真实标注,精确定位幻觉产生的源头阶段及其在系统内部的累积与放大机制。
方法详解¶
整体框架¶
HaluMem 的核心流程围绕“操作级解耦”与“渐进式长程交互合成”展开。评测系统将用户的多轮人机交互会话按时间序依次输入被测记忆系统,系统需暴露出对话添加(Add Dialogue)、抽取记忆获取(Get Dialogue Memory)与记忆检索(Retrieve Memory)三大标准化接口。在每个会话处理完成后,评测系统针对当前会话包含的记忆点金标准,即时触发对应阶段的独立测评,并在全部会话结束后汇总全链路指标。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多轮长程交互输入<br/>会话序列 D_1, ..., D_S"] --> B["六阶段渐进式数据构建<br/>虚拟画像→人生骨架→事件流→会话与记忆点"]
B --> C["阶段级金标准生成<br/>抽取目标 G_ext + 更新对 G_upd + 细粒度 QA 集合"]
C --> D["操作级三阶段解耦评测<br/>记忆抽取 E → 记忆更新 U → 记忆问答 Q"]
D --> E["抗干扰与动态指标体系<br/>FMR抗性 + 抽取F1 + 更新遗漏/错误率 + 问答幻觉率"]
E --> F["定位幻觉根因与级联效应<br/>量化上游抽取遗漏向下游放大的传播路径"]
关键设计¶
1. 六阶段渐进式数据构建:从高层画像到百万 token 对抗会话
高质量的操作级基准要求交互数据既具备长达数年的时间跨度与复杂的动态状态演变,又拥有无争议的确定性事实标注。HaluMem 提出了自顶向下的六阶段构建管线。首先在阶段 1 基于 Persona Hub 采样种子,生成包含静态核心画像(基本人口统计学、MBTI、终极目标)、动态演变状态(职业、健康、社会关系)以及 6-8 项随机偏好的虚拟用户。阶段 2 构建人生骨架,规划用户围绕核心目标的生涯变迁轨迹与偏好变动时序。阶段 3 将骨架具象化为结构化事件流,细分为初始事件(Init Events)、生涯事件(Career Events)与日常事件(Daily Events)。
阶段 4 依据事件上下文生成会话摘要与原子记忆点,标注其类型(画像、事件、关系)、重要度权重与更新映射关系。阶段 5 将事件流转化为上下文密集、带对抗扰动的多轮真实对话。为了模拟真实交互中的信息污染,该阶段特意注入了“干扰记忆点”(Distractor Memories)——即由助手在对话中假想或提及、但用户并未确认甚至保持沉默的虚假细节,同时引入跨话题指代消解与时间矛盾。阶段 6 生成六大维度的评测问答对,每道题均关联可追溯的溯源证据链。最终构建出 HaluMem-Medium(20 位用户,30,073 轮对话,平均单用户 160k tokens 上下文,14,948 个记忆点,3,467 个问答对)与通过填充不相关真实问答(ELI5、数学推理等)扩展而成的 HaluMem-Long(53,516 轮对话,上下文扩展至 100 万 token 规模)。
2. 操作级三阶段解耦评测:独立诊断抽取、更新与生成的错误源头
针对记忆系统的交互循环,HaluMem 将评测显式划分为三个阶段:记忆抽取(Memory Extraction, \(E\))、记忆更新(Memory Updating, \(U\))与记忆问答(Memory QA, \(Q\))。在抽取阶段,系统需从当前会话提取新增记忆集合 \(\hat{M}_{ext}^s\),评测基准将其与黄金集合 \(G_{ext}^s\) 比对,考核系统能否准确抓取关键事实并抵御未确认的虚假干扰;在更新阶段,针对包含记忆修订的会话,评估系统能否将旧记忆替换或修正为新状态对 \((m_{old} \rightarrow m_{new})\),区分出是改错了、漏改了还是产生版本冲突;在问答阶段,系统调用检索接口获取相关记忆并由统一生成器回答用户提问。通过在操作层提供独立的金标准与调用隔离,成功将问答错误解耦为“抽取失误”、“更新失效”或“生成幻觉”。
3. 抗干扰与动态指标体系:多维量化记忆完整度与抗幻觉能力
为了全面刻画各阶段的表现,HaluMem 制定了专门的量化指标体系。在记忆抽取阶段,不仅定义了常规召回率,还引入依据记忆重要度加权的记忆召回率(Weighted Memory Recall),并设计虚假记忆抗性指标(False Memory Resistance, FMR)以评估系统对干扰信息的过滤能力:
其中 \(N_D\) 为注入的干扰记忆总数,\(N_{miss}\) 为系统成功识别并忽略的干扰项数。抽取综合表现则通过以召回率 \(R_{mem}\) 为召回项、目标记忆精确率 \(P_{tgt}\) 为精确项的调和平均 \(F1\) 衡量。在记忆更新阶段,分别计算更新准确率(Correct Rate, C)、更新幻觉率(Hallucination Rate, H)与更新遗漏率(Omission Rate, O):
在问答阶段同样输出准确率、幻觉率与遗漏率三项指标,使评测能够在同一标尺下直观反映系统在“防遗忘”与“防捏造”之间的权衡。
实验关键数据¶
主实验¶
评测选取了业界代表性的六种先进记忆系统:Mem0、带知识图谱扩展的 Mem0-Graph、偏好与轻量管理的 Memobase、操作系统级统筹的 MemOS、基于图的 Supermemory 以及 Zep(因 Zep 官方未提供按会话导出记忆的 API,抽取阶段指标不可用)。评测分别在 HaluMem-Medium 和 HaluMem-Long 两个子集上展开,统一使用 GPT-4o 辅助打分(并补充了 GPT-5.4-mini 的一致性交叉验证)。
| 数据集 | 记忆系统 | 抽取召回率 R↑ | 加权召回 W-R↑ | 目标精确率 P↑ | 抽取准确率 Acc↑ | 虚假记忆抗性 FMR↑ | 抽取 F1↑ | 更新准确率 C↑ | 更新幻觉率 H↓ | 更新遗漏率 O↓ | 问答准确率 C↑ | 问答幻觉率 H↓ | 问答遗漏率 O↓ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Medium | Mem0 | 42.91% | 65.03% | 86.26% | 60.86% | 56.80% | 57.31% | 25.50% | 0.45% | 74.02% | 53.02% | 19.17% | 27.81% |
| Medium | Mem0-Graph | 43.28% | 65.52% | 87.20% | 61.86% | 55.70% | 57.85% | 24.50% | 0.26% | 75.24% | 54.66% | 19.28% | 26.06% |
| Medium | Memobase | 14.55% | 25.88% | 92.24% | 32.29% | 80.78% | 25.13% | 5.20% | 0.55% | 94.25% | 35.33% | 29.97% | 34.71% |
| Medium | MemOS | 74.07% | 84.81% | 86.25% | 59.55% | 44.94% | 79.70% | 62.11% | 0.42% | 37.48% | 67.23% | 15.17% | 17.59% |
| Medium | Supermemory | 41.53% | 64.76% | 90.32% | 60.83% | 51.77% | 56.90% | 16.37% | 1.15% | 82.47% | 54.07% | 22.24% | 23.69% |
| Medium | Zep | - | - | - | - | - | - | 47.28% | 0.42% | 52.31% | 55.47% | 21.92% | 22.62% |
| Long | Mem0 | 3.23% | 11.89% | 88.01% | 46.01% | 87.65% | 6.22% | 1.45% | 0.03% | 98.51% | 28.11% | 17.29% | 54.60% |
| Long | Mem0-Graph | 2.24% | 10.76% | 87.32% | 41.26% | 88.36% | 4.36% | 1.47% | 0.04% | 98.40% | 32.44% | 21.82% | 45.74% |
| Long | Memobase | 6.18% | 14.68% | 88.56% | 25.61% | 85.39% | 11.55% | 4.10% | 0.36% | 95.38% | 33.60% | 29.46% | 36.96% |
| Long | MemOS | 81.90% | 89.56% | 82.32% | 43.77% | 28.85% | 82.11% | 65.25% | 0.29% | 34.47% | 64.44% | 16.61% | 18.95% |
| Long | Supermemory | 53.02% | 70.73% | 85.82% | 29.71% | 36.86% | 65.54% | 17.01% | 0.58% | 82.42% | 53.77% | 22.21% | 24.02% |
| Long | Zep | - | - | - | - | - | - | 37.35% | 0.48% | 62.14% | 50.19% | 22.51% | 27.30% |
细粒度分析:不同记忆类型准确率¶
论文进一步对事件记忆(Event)、画像记忆(Persona)与关系记忆(Relationship)三类记忆在抽取与更新中的准确率进行了细分测试(排除干扰项后的命中表现)。
| 数据集 | 记忆系统 | 事件记忆 (Event) | 画像记忆 (Persona) | 关系记忆 (Relationship) |
|---|---|---|---|---|
| Medium | Mem0 | 29.69% | 33.74% | 27.77% |
| Medium | Mem0-Graph | 30.02% | 33.71% | 26.60% |
| Medium | Memobase | 5.12% | 13.38% | 6.79% |
| Medium | MemOS | 63.41% | 59.77% | 62.40% |
| Medium | Supermemory | 28.66% | 32.11% | 20.67% |
| Medium | Zep* | 44.83% | 49.75% | 38.81% |
| Long | Mem0 | 0.92% | 3.01% | 2.18% |
| Long | Mem0-Graph | 1.10% | 2.00% | 1.59% |
| Long | Memobase | 4.09% | 5.32% | 4.21% |
| Long | MemOS | 70.92% | 68.35% | 71.68% |
| Long | Supermemory | 38.48% | 40.85% | 32.61% |
| Long | Zep* | 35.76% | 39.07% | 31.16% |
*注:Zep 的统计项仅包含记忆更新任务的数据。
关键发现¶
- 长上下文下的上游抽取崩塌:当上下文长度由中等规模拓展到百万 token(HaluMem-Long)时,Mem0 与 Memobase 等主流开源记忆系统遭遇了严重的抽取崩溃。Mem0 的抽取召回率从 42.91% 暴跌至 3.23%,F1 从 57.31% 降至 6.22%。这表明现有系统严重缺乏在超长历史中甄别有效记忆与过滤噪声对话的能力。
- 上游遗漏向下游更新的级联传播:在记忆更新任务中,除 MemOS 外的所有系统遗漏率均极高(Medium 下多数超过 74%,Long 下 Mem0 系列更是突破 98%)。核心原因在于“未抽取的记忆无法被更新”——上游的抽取遗漏直接封死了下游的更新可能,这种记忆缺失也虚假地将更新幻觉率压低至 2% 以下(因为系统根本没有触发更新操作)。
- 抽取召回与虚假抗性之间的固有权衡:保持激进抽取策略的系统(如 MemOS 抽取召回率超 74%)在虚假记忆抗性(FMR)上明显较弱(Medium 下仅 44.94%,Long 下降至 28.85%),极易将对话中助手单方面提及的虚假细节存入记忆库;反之,保守系统(如 Memobase)虽 FMR 超过 80%,但召回率过低导致后续任务完全瘫痪。
- 关系与动态事件的建模瓶颈:在三类记忆中,静态画像记忆(Persona)的提取表现普遍好于动态事件与复杂的人际关系记忆;在六类问答题型中,各系统在事实边界与记忆冲突处理上相对稳健,但在多跳时序推理(Multi-hop Inference)与动态偏好追踪(Dynamic Update)上准确率急剧下滑。
亮点与洞察¶
- 解耦黑盒问答的操作级评测范式:首次将智能体记忆系统从端到端下游问答拆分为抽取、更新与问答三大核心操作。这种设计直接将幻觉定位精度提升到了模块与阶段级别,为记忆系统的可信性归因提供了标准化标尺。
- 百万 token 级时序自洽合成管线:设计了六阶段自顶向下的虚拟人生轨迹生成策略,通过显式注入“未确认虚假陈述”与“动态偏好撤销”,既保证了长程生命周期的因果自洽,又具备对噪声污染的高难度测试能力。
- 揭示了“遗漏伪装成低幻觉”的系统性盲区:通过量化各阶段指标发现,记忆系统表面上极低的更新幻觉率本质上是由高昂的遗漏率掩盖的伪象,为未来记忆架构的设计敲响了“必须兼顾抗遗忘与抗捏造”的警钟。
局限与展望¶
- 受测系统生态受限于接口标准:评测目前涵盖了 Mem0、MemOS、Zep 等代表性系统,但受限于部分商业系统未提供按会话提取记忆的官方 API(如 Zep 需要底层抓取绕行),导致部分指标无法完全无缝对齐,亟需推动智能体记忆领域的标准化接口定义。
- 记忆类型维度仍需扩展:当前重点关注画像、事件与社会关系三大文本类记忆,尚未涵盖工具调用轨迹、执行经验与技能记忆(Skill Memory)等具身智能体关键维度。
- 未来方向:探索基于可验证因果图的受限记忆更新机制,将语义冲突检测前置于记忆写入阶段,从而在超长交互中兼顾高召回率与虚假记忆抗性。
相关工作与启发¶
- vs LoCoMo / LongMemEval: 早期长文本记忆评测主要采用黑盒端到端问答,仅测试最终生成答案是否正确,无法分辨是抽取漏了、更新错了还是检索生成幻觉;HaluMem 实现了首个操作级三阶段解耦,提供了阶段级真实标注。
- vs PersonaMem / PrefEval: 偏好与画像评测主要聚焦于用户静态属性与有限轮次的偏好追踪,缺乏时间跨度数年、带职业与健康动态演化的人生骨架支撑;HaluMem 通过六阶段管线合成了百万 token 级交互轨迹,并引入未确认干扰记忆点考核抗噪声鲁棒性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出智能体记忆系统的操作级幻觉评测基准,跳出了端到端黑盒局限。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 6 种主流记忆系统、两套长程交互规模、三种记忆类型与六种问答场景,并完成双模型复核。
- 写作质量: ⭐⭐⭐⭐⭐ 架构定义清晰严密,实验现象分析透彻,图表数据完备。
- 价值: ⭐⭐⭐⭐⭐ 为长生命周期智能体记忆系统的健壮性设计与可信治理提供了至关重要的诊断工具。