MedMemoryBench: Benchmarking Agent Memory in Personalized Healthcare¶

会议: NeurIPS 2026
arXiv: 2605.11814
代码: https://github.com/AQ-MedAI/MedMemoryBench
领域: 医疗 LLM
关键词: 智能体记忆, 个性化医疗, 慢性病管理, 记忆饱和, 评测基准

一句话总结¶

针对个性化医疗智能体在长时程多轮交互中的记忆挑战，构建了基于真实慢病病程轨迹与临床高危陷阱事件的基准 MedMemoryBench，并提出动态流式边建边评协议，首次系统揭示了记忆饱和导致推理崩溃的瓶颈。

研究背景与动机¶

随着大语言模型（LLM）驱动的医疗智能体从概念验证迈向大规模实际部署（如服务数千万活跃用户的健康管理智能体“蚂蚁阿福”），智能体记忆机制已不再是单纯改善对话流畅度的辅助模块，而是维护动态演化的患者画像、用药历史以及临床安全硬约束的核心基础设施。然而，当前主流的知识图谱增强记忆、专用记忆框架以及强化学习优化记忆等方案，几乎完全在通用日常对话或开放域问答基准（如 LoCoMo、PersonaMem）上进行评测。这些通用基准假设对话事实权重平等且上下文静态离线，根本无法满足高风险医疗健康场景对记忆系统极端严苛的专业要求。

真实医疗场景对记忆系统构成了四重本质挑战：首先是高安全敏感性的个性化要求，严重的药物过敏史或用药禁忌关乎生命安全，必须零容忍遗忘与错检，与通用闲聊事实具有完全不同的风险异质性；其次是长时程临床病程演进，慢性病管理跨越数月乃至数年，症状、化验指标与并发症随时间动态演变，要求记忆系统具备时间因果追踪与状态轨迹推演能力；再次是流式记忆集成，实际临床服务中记忆是逐轮增量累积且即时影响后续决策的，静态离线评测完全脱离实际；最后是高噪声记忆累积，患者高频就诊、重复描述、以及家属代问诊等混合交互会引入海量语义高度相似的冗余片段，极易造成检索空间被噪声淹没，导致性能随记忆增加反而急剧下降的“记忆饱和”（Memory Saturation）现象。

为了系统诊断现有记忆机制在应对上述挑战时的真实瓶颈，亟需建立首个贴合真实医疗交互特征的专业评测基准。核心 idea：基于真实脱敏慢病画像生成一年期因果病程事件图与高危陷阱事实，通过医患双智能体交互及双轨噪声模拟长程会话，提出按时间序每 10 轮触发检查点的流式边建边评协议，全方位评测记忆检索、状态更新、多跳因果推理及记忆饱和抗性。

方法详解¶

整体框架¶

MedMemoryBench 包含严密闭环的数据构建流程与动态流式评测协议。在数据构建侧，系统首先从真实脱敏医疗数据中提炼出 20 位涵盖 ICD-11 核心分类的慢性病患者基础画像；随后基于医学规律推演生成全长一年的临床诊断与治疗轨迹报告，并将其解构为具备时序与因果关联的病程事件图，同时在图谱初始阶段显式嵌入过敏史、用药禁忌等高危“陷阱事件”（Trap Events）。在此基础上，实例化患者与医生智能体进行长达约 100 次、每会话 6-10 轮的多轮医患对话模拟，每轮会话后实时提取结构化记忆摘要并回传给后续交互；同时通过噪声增强模块随机注入日常健康咨询与虚拟家属代问诊两类干扰会话，构建高效模式（Efficient）与混合模式（Mixed）。最后，通过多智能体协作生成并由 13 位执业医师严格审核筛选出约 2,000 个多维度评测问题。在评测协议侧，基准舍弃传统的离线静态评测，采用边建边评的流式检查点机制，按时序动态检验记忆的检索完整度、更新准确度与多跳推理韧性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：真实脱敏病例画像<br/>20类慢性病初始临床特征"] --> B["纵向病程演进与陷阱事件生成<br/>1年期病程轨迹因果图 + 禁忌症/过敏史高危陷阱注入"]
    B --> C["多智能体协作模拟与双轨噪声注入机制<br/>医患 Agent 长期多轮交互 + 健康咨询/家属代问诊噪声"]
    C --> D["动态流式评测协议与多跳临床推理验证<br/>每 10 次会话流式检查点 + 6类问题与持证医师校验"]
    D --> E["输出：智能体记忆评测基准与饱和度分析<br/>1,939个评测查询 + 13种主流记忆架构全方位诊断"]

关键设计¶

1. 纵向病程演进与陷阱事件生成：长时程因果建模与高危临床约束注入

针对通用基准缺乏临床深度、事件孤立且忽视生命安全约束的痛点，该设计旨在构建符合严谨病理生理学演变规律的长程就诊轨迹。流程首先从“蚂蚁阿福”脱敏病例中提取 20 个覆盖糖尿病、心血管疾病、慢性呼吸系统疾病等 10 大类（每类 2 个亚型）的典型慢性病患者画像，利用大模型辅助扩充家庭背景、生活习惯等外围属性。随后，生成涵盖误诊期、临床转折点、并发症演化及康复阶段的整年诊疗轨迹报告，并将其形式化为具备时间拓扑与因果依赖的定向事件图。最为核心的是在图谱起始阶段植入“陷阱事件”（Trap Events）：将既往病史、药物过敏史、严重禁忌症、经济条件限制及个体偏好等作为高优先级敏感事实嵌入（例如让接受胰岛素泵治疗的糖尿病患者携带磺胺类过敏史，在后续涉及磺脲类降糖药格列美脲时触发用药安全校验）。这些高危陷阱要求系统在长程记忆积累中必须零失误保留与精准召回，从而严格检验个性化医疗决策的安全性。

2. 多智能体协作模拟与双轨噪声注入机制：真实医患长轮次对话与记忆饱和压力模拟

为了在保证医学交互真实感的同时复现生产环境中持续涌入的冗余噪声，该设计采用患者-医生双智能体闭环交互与双轨噪声注入方案。患者智能体严格依托事件图推进当前病情诉求，医生智能体进行专业问诊、评估与处方指导。每场会话结束后，系统自动抽取包含会话主题、时间戳和核心临床事件的记忆摘要作为上下文沉淀，并注入后续会话中以维系医患交流的纵向一致性。为了深入探究“记忆饱和”现象，设计了两种交互模态：在纯净的高效模式（Efficient Mode）下，仅保留患者针对自身病情的真实问答序列；在混合模式（Mixed Mode）下，则在此基础上注入两类强干扰噪声——其一是覆盖 38 个常规主题（扩展统计达 98 个细分类目）的日常健康科普咨询（如感冒用药常识、流感预防），其二是为每位患者设定 2-4 位具备独立病史的虚拟家属，由患者作为代理人发起的代问诊对话。所有噪声会话均被标记，总轮次由 1.6 万轮扩增至约 4.2 万轮，逼真模拟了生产级医疗场景中语义相近信息的膨胀对检索空间的挤压与污染。

3. 动态流式评测协议与多跳临床推理验证：时间防泄露流式检查点与专家闭环校准

传统评测普遍在全部会话记忆构建完毕后执行离线单次问答，这完全割裂了记忆“边积累、边沉淀、边指导决策”的在线动态特性。为此，本文提出了动态边建边评协议（evaluate-while-constructing protocol）。对于包含 \(N\) 次会话的患者序列 \(\mathcal{S}^{(p)}=\{s_1, s_2, \ldots, s_N\}\)，系统以固定步长 \(\Delta=10\) 设立时间检查点 \(t \in \{k\Delta \mid k\Delta \le N\}\)，评测公式定义为：

\[\textsc{StreamEval}(p,\Delta)=\bigcup_{k=1}^{\lfloor N/\Delta\rfloor}\textsc{Evaluate}\left(\mathcal{M}_{k\Delta},\,\mathcal{Q}_{k\Delta}\right)\]

其中 \(\mathcal{M}_{k\Delta}\) 表示前 \(k\Delta\) 次会话累积的记忆状态，\(\mathcal{Q}_{k\Delta}\) 为当前检查点对应的评测集。为杜绝未来信息穿越（Future Information Leakage），设计实施了严格的时间防泄露约束：

\[\forall q\in\mathcal{Q}_{t},\quad\max\{\text{session\_id}(kp)\mid kp\in\text{src}(q)\}\leq t\]

评测集涵盖精准记忆抽取（实体精确匹配 EEM、时间定位精度 TLA）、时序冲突消解（状态更新准确度 SUA）以及医学知识推理（多项选择 MQ、推理生成 IG、多跳临床推导 MCD）三大能力带共 6 类题型。特别对于最严苛的多跳推导 MCD，引入由执业医师校准的 LLM 裁判，依据节点覆盖率（NCR）、因果关系正确性（CRC）与推理链完整性（CC）三重标准实行一票否决式的二元评分。由 13 位持证医师全流程把关轨迹真实性、纠正剂量与专业术语，并抽样验证人类专家与大模型裁判的一致性（达成率达 87.5%，Cohen's \(\kappa=0.72\)），确保了基准的临床专业权威性。

实验关键数据¶

主实验¶

主实验在 MedMemoryBench 上全面评测了涵盖非结构化、图结构、平铺抽取式及多分室架构等 4 大范式的 13 种主流记忆与检索基准（统一采用 GPT-5.1 作为骨干模型、Claude-Sonnet-4 作为裁判模型，检索候选数 \(k=5\)）。在高效模式（Eff.）与注入海量噪声的混合模式（Mix.）下的各项准确率如下表所示。

架构范式	方法	EEM (Eff/Mix)	TLA (Eff/Mix)	SUA (Eff/Mix)	MQ (Eff/Mix)	IG (Eff/Mix)	MCD (Eff/Mix)	平均准确率 (Eff/Mix)
非结构化基准	Long-Context	50.64 / 38.15	40.26 / 38.22	76.62 / 65.75	73.86 / 54.55	43.60 / 25.60	24.50 / 10.25	51.58 / 38.75
非结构化基准	BM25 RAG	36.70 / 35.50	12.70 / 10.50	45.50 / 43.00	73.30 / 60.80	21.16 / 18.00	18.85 / 5.38	34.70 / 28.86
非结构化基准	Embedding RAG	51.75 / 55.25	20.75 / 18.96	55.00 / 65.00	71.86 / 65.32	28.96 / 24.00	24.60 / 16.12	42.15 / 40.78
图结构记忆	GraphRAG	37.50 / 43.00	23.21 / 37.50	46.43 / 44.00	60.00 / 51.25	23.21 / 10.06	11.53 / 6.45	33.65 / 32.03
图结构记忆	HippoRAG-v2	43.50 / 40.00	18.70 / 23.00	31.00 / 38.00	69.08 / 57.58	25.44 / 10.00	14.25 / 5.20	33.69 / 28.96
图结构记忆	ReMem	32.50 / 30.00	18.00 / 18.50	56.00 / 62.00	57.79 / 55.78	23.80 / 21.00	15.50 / 9.37	33.93 / 32.78
平铺抽取式	Mem0	44.00 / 43.50	20.50 / 22.50	53.50 / 60.00	64.82 / 63.31	30.98 / 17.50	21.40 / 8.14	39.20 / 35.83
平铺抽取式	A-Mem	46.00 / 20.50	27.00 / 26.50	52.00 / 28.00	71.61 / 64.32	40.55 / 25.50	31.93 / 10.80	44.84 / 29.27
平铺抽取式	MemOS	58.50 / 49.00	43.00 / 40.50	66.00 / 58.00	71.10 / 67.83	35.11 / 26.25	15.23 / 4.30	48.16 / 40.98
平铺抽取式	MemRL	55.00 / 40.00	43.00 / 33.50	55.00 / 50.00	70.10 / 67.83	43.07 / 32.00	12.04 / 13.97	46.37 / 37.45
平铺抽取式	LightMem	49.25 / 24.00	35.75 / 23.50	58.00 / 37.00	67.10 / 59.29	18.60 / 14.00	13.25 / 6.07	40.33 / 27.31
多分室记忆	Letta	58.95 / 40.50	40.74 / 23.00	68.52 / 52.00	66.97 / 70.35	52.87 / 49.50	19.20 / 13.97	51.21 / 41.55
多分室记忆	MIRIX	49.75 / 42.25	25.25 / 10.78	44.50 / 46.00	73.37 / 54.75	31.49 / 22.33	16.37 / 8.10	40.12 / 30.70

消融与质量分析实验¶

为了深入探究模型在医疗决策中的可靠性与安全性边界，论文进一步评估了检索证据召回率（Recall R@k）、词元级答案吻合度（F1 score）、序列忠实度（ROUGE-L）以及关键的临床幻觉率（Hallucination Rate，即未命中或证据不足时非拒答且自信给出错误答案的比例）。

架构范式	方法	证据召回率 (R@k) ↑	词元级 F1 ↑	序列 ROUGE-L ↑	临床幻觉率 ↓	说明
非结构化	BM25 RAG	0.3563	0.2021	0.2149	0.7181	稀疏检索丢失深层语义，幻觉率居高
非结构化	Embedding RAG	0.5043	0.2167	0.2246	0.7288	稠密检索召回中等但生成对齐能力有限
图结构	GraphRAG	0.2281	0.2287	0.2332	0.7947	实体图构建无法很好适应用药时间更新
图结构	HippoRAG-v2	0.3561	0.2800	0.2862	0.9209	答案生成重合度高，但幻觉率高达 92.09%
图结构	ReMem	0.3641	0.1890	0.1907	0.5993	风格极其保守，幻觉率最低但生成召回偏弱
平铺抽取	Mem0	0.3401	0.1358	0.2072	0.6869	记忆切片过度碎片化，丢失关键上下文链
平铺抽取	A-Mem	0.2847	0.2265	0.2416	0.7719	结构化条目丰富，但噪声模式下性能骤降
平铺抽取	MemOS	0.5259	0.2616	0.2625	0.7974	中粒度条目平衡较好，召回率突破 50%
平铺抽取	MemRL	0.5451	0.2761	0.2717	0.8314	强化学习优化带来了最高的召回率 (0.5451)
平铺抽取	LightMem	0.3784	0.2771	0.2715	0.8050	轻量级维护，top-k 扩张易引起注意力稀释
多分室	Letta	0.2812	0.2624	0.2577	0.8001	核心工作记忆长驻系统提示词，综合表现最稳
多分室	MIRIX	0.4727	0.2053	0.2107	0.6775	融合五类记忆池，但单条粒度过粗削弱了精度

关键发现¶

适中记忆粒度表现最佳：在中等颗粒度抽取的方法（如 MemOS、A-Mem 与 Letta）整体表现突出；相比之下，Mem0 将记忆切碎为孤立微小事实破坏了临床上下文依赖，而 MIRIX 将过多对话揉入单一节点又导致检索精准度下降。现有通用图构建算法无法处理医疗高重叠、强时序更迭的属性更新。
检索阶段是核心性能瓶颈：所有方法在依赖多步推导的复杂推理题型（IG 与 MCD）上均大幅落后（MCD 得分普遍在 10%~30% 之间）。Letta 之所以取得领先，很大程度得益于其 Core Memory 机制将高危核心画像常驻于系统提示词中，绕过了脆弱的外挂检索环节。
记忆饱和严重破坏推理鲁棒性：进入混合模式（Mixed）后，所有基准无一例外发生性能滑坡（如 A-Mem 从 44.84% 骤降至 29.27%，LightMem 从 40.33% 降至 27.31%）。持续涌入的高相似冗余对话不仅在检索阶段引起候选混淆，更在记忆构建阶段误导了更新与冲突消解逻辑，证实“无有效过滤的长程记忆反而损害系统表现”。
证据召回与生成忠实度严重脱节：高召回率并不直接带来高 F1 或低幻觉。各基准幻觉率普遍处于 60%~92% 的极高区间，表明当前医疗智能体在记忆模糊或缺失时极度倾向于“强行自信回答”而非安全拒答，埋下严重的医疗安全隐患。

亮点与洞察¶

提出医疗智能体“记忆饱和”核心命题：揭示了随着长程多轮交互的积累，高度相似的医学陈述与家属代问诊噪声将吞噬检索空间并误导记忆整合，打破了“记忆越长越好”的直觉认知。
构建高保真临床因果轨迹与陷阱机制：将 20 类 ICD-11 慢性病拓展为 1 年期因果病程事件图，并注入过敏与禁忌症等高危陷阱事实，实现了对患者安全约束零遗忘能力的精准压力测试。
首创时间防泄露的流式边建边评协议：以固定步长设立流式检查点，严格限制评测问题的事实源不超过当前轮次，高度贴合生产环境中动态在线沉淀记忆的部署特征。

局限与展望¶

合成对话存在先验偏差：尽管引入了 13 位执业医师进行全流程双盲标注与多轮修正，底层交互主要由 LLM 模拟生成，可能仍带有模型自身先验，难以穷尽真实临床医患对话的多样性与复杂心理动态。
疾病谱覆盖仍有局限：受制于高昂的医学标注成本与时间周期，当前基准聚焦于 20 个具备典型长周期属性的慢病亚型，尚未覆盖突发急性病、重症监护及复杂罕见病谱系。
缺乏多模态医疗记忆支持：当前基准仅限于纯文本对话形式，尚未整合医学影像、心电图时序波形、可穿戴设备生理连续信号及化验单等关键的多模态医疗记忆载体。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次针对个性化医疗长程记忆提出全套基准，系统性定义并验证了“记忆饱和”现象。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大范式 13 种主流记忆模型，开展了双轨噪声对比、细粒度指标与医生一致性分析。
写作质量: ⭐⭐⭐⭐⭐ 框架设计清晰，数学形式化表达严谨，临床失败归因透彻深入。
价值: ⭐⭐⭐⭐⭐ 为推动慢病管理智能体从玩具走向生产级安全部署提供了极其关键的量化标尺。