DeltaMem: Towards Agentic Memory Management via Reinforcement Learning¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM Agent
关键词: 智能体记忆管理, 强化学习, 单智能体架构, 状态转移评估, 记忆演化合成
一句话总结¶
针对传统多智能体分阶段记忆系统存在的信息级联损耗与强化学习奖励稀疏瓶颈,DeltaMem 提出端到端单智能体 ReAct 记忆管理框架,结合受人类记忆演化启发的合成轨迹,通过基于记忆编辑距离的状态转移软奖励实现轨迹级策略优化。
研究背景与动机¶
构建具备长期个性化服务能力的大语言模型智能体,高度依赖于对跨会话用户交互记忆的精准沉淀、更新与检索。早期的 MemGPT 与 MemoryBank 等系统借鉴操作系统架构,通过原子化的增删改查(CRUD)操作在向量数据库上维护记忆存储。近期以 Mem0 为代表的生产级方案则引入多智能体架构,将记忆生命周期严格切分为记忆提取(Extraction)、记忆检索(Retrieval)以及记忆更新(Updating)三个独立串行步骤。然而,在面对真实的长程多会话交互时,对话上下文本身因分段切片而呈现严重的碎片化特性,多智能体各阶段之间依赖离散消息传递,本质上构成了一层有损信息压缩,极易丢失微妙的上下文依赖与时序因果,导致级联的信息衰减与跨场景泛化下降。
更为棘手的是,若试图通过机器学习进一步优化记忆管理系统,现有方法面临着严峻的数据匮乏与监督信号稀疏难题。由于缺乏在操作级别(Operation-level)精细标注的公开基准,诸如 Memory-R1 等前序尝试只能将下游问答任务的准确率作为强化学习(RL)的代理奖励信号。然而,问答模型本身的生成能力并不完全可靠,且特定问题在测试时往往仅能覆盖少量记忆切片,无法对当前会话中生成的全部记忆操作提供有效反馈;这种间接且极其稀疏的奖励信号极易引发训练不稳定甚至难以收敛。
面对信息级联损耗与奖励稀疏双重挑战,本文从两个维度进行了系统性重构:在系统架构上,摒弃脆弱的多阶段流水线,转而将记忆管理重塑为单智能体端到端决策任务,赋予智能体自主推断“检索什么”与“如何更新”的灵活性;在优化范式上,借鉴人类认知中记忆随时间持续塑造与重构的演化规律,构建包含精细操作标签的高保真合成轨迹,并将评估焦点从离散的单步操作匹配转移至全局记忆状态转移。核心 idea:将个性化记忆管理重塑为单智能体端到端决策过程,利用拟人化记忆演化合成闭环对话与操作轨迹,并通过基于语义最优传输与关键词保真度的记忆编辑距离构建状态转移软奖励,在 GRPO 框架下实现无下游依赖的轨迹级策略优化。
方法详解¶
整体框架¶
DeltaMem 的核心运行逻辑将长期记忆库维护定义为一个端到端的状态转移过程。系统将记忆库建模为一个由事实原子陈述、时间戳与唯一标识符构成的有限偏函数记忆状态 \(S_t: \mathcal{I} \rightharpoonup \mathcal{M}\)。当智能体接收到时间戳 \(t\) 处的全新对话会话 \(d_{t+1}\) 时,DeltaMem 不采用预先切分的独立子智能体流水线,而是基于 ReAct 范式自主交替执行推理与工具调用,主动生成检索查询、调用向量检索工具探查记忆库,最终输出统一的操作集合 \(O \subseteq \{\text{add}, \text{update}\}\),完成状态从 \(S_t\) 向 \(S_{t+1}\) 的确定性转移。
在训练阶段,为了克服真实长程交互数据缺乏操作级金标的瓶颈,DeltaMem 引入拟人化记忆演化合成管线生成兼具静态画像与动态更新的完整交互数据;随后,算法摒弃脆弱的离散操作符号对比,计算模型预测生成的更新记忆状态与目标真实状态之间的语义补集,并依托最优传输与词汇保真度量化记忆编辑代价(Memory-based Levenshtein Distance),将其转化为平衡的软 F1 奖励,驱动策略网络通过群体相对策略优化(GRPO)进行闭环微调。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入:对话会话与当前记忆状态"] --> B["端到端单智能体记忆管理<br/>ReAct自主交替推理与检索"]
B --> C["拟人化记忆演化数据合成<br/>画像丰富→事件演化→记忆生成→受约束对话"]
C --> D["记忆编辑距离与状态转移评估<br/>最优传输语义匹配+局部词汇保真度"]
D --> E["同源强化学习优化<br/>格式奖励+检索奖励+状态转移软F1+GRPO"]
关键设计¶
1. 端到端单智能体记忆管理:消除流水线级联损耗与冗余检索
传统多智能体系统在提取、检索与更新之间存在信息孤岛,且对每个提取出的原子事实都无差别地触发一次向量检索以判断去重或更新,导致在以稳定事实为主的真实场景下产生严重的检索冗余与性能下降。DeltaMem 将记忆管理重新建模为单智能体闭环推理决策,智能体根据当前会话自主推断关键实体与时序上下文,按需批量发起向量搜索工具调用 search_memory,并在统一的上下文窗口内结合检索反馈综合输出包含 ADD、UPDATE、NONE(保持原样)的结构化操作序列。这种端到端机制消除了离散子智能体传递中的语义截断,使模型能够在单步内联合决策多个相互依赖的记忆修改,大幅降低单条记忆检索调用频次。
2. 拟人化记忆演化数据合成:构建操作级因果连续监督轨迹 现有长期记忆数据集普遍缺乏细粒度的操作级真实标签,无法直接指导策略优化。DeltaMem 借鉴人类记忆在时间推移下的动态可塑性机制,提出了四阶段数据合成框架。首先在静态特征与动态事实约束下生成跨越 1 至 3 年的长程因果事件序列(包含工作、健康、人际与偏好等六大领域);核心阶段将记忆演化拆解为“事件内演化”(Intra-Event Evolving,针对职业/健康等维度触发扩展、调整、漂移或局部删除等状态差量)、“跨事件演化”(Inter-Event Evolving,模拟后续新事件对早期锚点记忆产生的情感转变、语义重构或自我信念修正,要求模型完整引用前序字符串并产生覆盖增量)以及“记忆填补”(Memory Filling,填补叙事空白并生成声明性事实与核心三元组关键词)。最后,合成管线施加“用户优先”信息流约束与显式事实分布计划表(Work Plan),迫使对话生成模型在预设轮次内平滑引入事实,生成具备精确时间戳映射的 7,500 条高质量长程多轮对话与对应确定性目标记忆状态。
3. 记忆编辑距离与状态转移评估:摆脱离散符号匹配与下游任务依赖 直接对比生成的离散操作与标注操作在面对同义表述或等价更新路径时极其脆弱,而依赖下游问答准确率又受制于严重的奖励稀疏。DeltaMem 将评测视角从“操作匹配”转向“状态转移代价”,计算预测状态 \(S_{\text{pred}}\) 与真实目标状态 \(S_{\text{target}}\) 之间的相对补集 \(\Delta_{\text{pred}} = S_{\text{pred}} \setminus S_{\text{target}}\)(多余预测集合)与 \(\Delta_{\text{target}} = S_{\text{target}} \setminus S_{\text{pred}}\)(遗漏目标集合)。针对自然语言中字面相异但语义等价的表述,方法将其转化为最优传输(Optimal Transport)匹配问题,构建语义相似度矩阵 \(\Phi\),在相似度阈值 \(\tau\) 约束下求解使替换有效性最大化的最优单射匹配 \(\gamma^*\): $\(\gamma^* = \arg\max_{\gamma \in \Gamma} \sum_{(i,j) \in \gamma} \Phi_{ij}\)$ 为避免向量空间临近性高估事实细节缺失的不完整表达,算法引入局部词汇保真度(Local Lexical Fidelity)评分 \(s_{ij}\),度量目标记忆 \(y_j\) 的核心关键词集合 \(K_j\) 在预测表述 \(x_i\) 中的实际覆盖率: $\(s_{ij} = \frac{\sum_{k \in K_j} \mathbb{I}(k \in x_i)}{|K_j| + \epsilon}\)$ 据此构建的双向记忆编辑距离自然推导出软精度(Soft Precision, \(P_{\text{soft}}\))与软召回(Soft Recall, \(R_{\text{soft}}\)),以调和平均数形式形成稠密的状态转移奖励 \(r_{\text{trans}} = \frac{2 P_{\text{soft}} R_{\text{soft}}}{P_{\text{soft}} + R_{\text{soft}} + \epsilon}\),有效惩罚保守欠生成与激进过生成。
4. 同源强化学习优化:多目标复合奖励与群体相对策略优化 为了引导策略网络在遵循结构化协议的同时最大化状态转移质量,DeltaMem 整合了针对 ReAct 语法遵循的格式奖励 \(r_{\text{format}}\)、针对更新与新增时是否精准回调既有记忆的检索奖励 \(r_{\text{retrieval}}\),以及核心的状态转移奖励 \(r_{\text{trans}}\),构成复合优化目标: $\(r = 0.1 \cdot r_{\text{format}} + 0.1 \cdot r_{\text{retrieval}} + 0.8 \cdot r_{\text{trans}}\)$ 策略训练采用免 Critic 网络的群体相对策略优化(GRPO),对每个输入的会话输入采样 \(G\) 条 Rollout 轨迹,计算组内优势函数归一化梯度更新,并施加 KL 散度约束防止偏离参考模型。该奖励模型仅依赖当前会话及其所引发的记忆状态转移,无需任何外部回答模型参与计算,彻底消除了下游任务延迟与回答质量噪声。
一个完整示例¶
以用户 Christopher Martinez 的交互会话为例:会话中用户提到“Christopher adjusts his wardrobe, swapping the navy-and-white ASU hoodie for a charcoal bomber jacket on cooler evenings”(Christopher 调整了衣橱,在凉爽的夜晚将海军蓝拼白色的 ASU 卫衣换成炭灰色飞行员夹克)。
- ReAct 自主推理与检索:DeltaMem 智能体首先在内部思考链中抽取实体与潜在变动事实,自主触发工具调用 search_memory,传入针对该用户衣橱、卫衣及运动酒吧等背景的查询列表。
- 记忆库反馈与状态对比:检索工具返回记忆库中已有事实(如条目 ID 0 为早期创建的联盟记录,条目 ID 1 包含旧有习惯)。
- 结构化操作输出:智能体综合对比新会话与检索结果,输出结构化操作集:对与当前会话无关的事实输出 NONE(保持原样,绑定对应 target_memory_id),对已过时信息执行针对性属性替换(如更新服装偏好),对全新事实输出 ADD(新增炭灰色夹克偏好)。
- 状态转移得分:执行操作后生成新的记忆状态并与合成标签对比,通过关键词保真度(覆盖 "charcoal", "bomber jacket" 等关键要素)与最优传输对齐计算 \(r_{\text{trans}}\),驱动策略参数向更精准的记忆管理轨迹迭代。
实验关键数据¶
主实验¶
论文在三个经典的长期记忆评测基准上进行了系统对比:包含 300 轮超长对话的长程记忆基准 LoCoMo、多会话持续个性化演化基准 PersonaMem,以及精细拆解幻觉阶段的操作级基准 HaluMem。所有基线方法在问答端统一使用 GPT-4o-mini 或 GPT-4o 作为基准问答模型。
表 1 汇总了在长程对话基准 LoCoMo 上的核心表现:
| 方法 | 单跳 (LJ) | 多跳 (LJ) | 开放域 (LJ) | 时序推理 (LJ) | 综合 BLEU-1 | 综合 F1 | 综合 LJ |
|---|---|---|---|---|---|---|---|
| A-Mem | 54.05 | 39.79 | 18.85 | 49.91 | 24.82 | 29.96 | 48.38 |
| Mem0 (Multi-Agent) | 60.88 | 52.84 | 40.62 | 59.50 | 33.79 | 42.55 | 57.86 |
| LangMem | 71.12 | 62.23 | 47.92 | 23.43 | 30.06 | 36.88 | 58.11 |
| Zep (商业系统) | 76.60 | 61.70 | 41.35 | 49.31 | 33.64 | 43.57 | 65.99 |
| LightMem | 72.06 | 53.90 | 44.79 | 69.16 | 34.17 | 44.81 | 66.43 |
| Memory-R1-7B (RL训练) | 67.81 | 49.61 | 20.71 | 69.16 | 26.06 | 33.64 | 62.34 |
| DeltaMem-4B (免训练) | 75.62 | 61.35 | 47.92 | 70.09 | 37.73 | 47.51 | 70.13 |
| DeltaMem-8B (免训练) | 77.41 | 61.70 | 46.88 | 69.78 | 36.63 | 47.27 | 71.04 |
| DeltaMem-4o-mini (免训练) | 80.38 | 58.87 | 47.92 | 73.21 | 39.81 | 50.32 | 72.92 |
| DeltaMem-4B-RL | 80.02 | 65.60 | 51.04 | 72.59 | 39.29 | 50.13 | 74.03 |
| DeltaMem-7B-RL | 78.95 | 62.77 | 44.79 | 71.03 | 38.86 | 49.81 | 72.21 |
| DeltaMem-8B-RL | 82.05 | 64.18 | 51.04 | 73.83 | 39.78 | 50.72 | 75.13 |
在 HaluMem 基准上,系统针对记忆提取、记忆更新以及最终问答阶段进行了细粒度评估(表 3):
| 方法 | 记忆提取准确率 (%) | 记忆更新正确率 (%) | 问答正确率 (%) |
|---|---|---|---|
| Zep | - | 47.28 | 55.47 |
| Mem0 | 57.31 | 25.50 | 53.02 |
| Mem0-Graph | 57.85 | 24.50 | 54.66 |
| Memobase | 25.13 | 5.20 | 35.33 |
| Supermemory | 56.90 | 16.37 | 54.07 |
| LightMem | 70.80 | 7.43 | 58.38 |
| DeltaMem-4B (免训练) | 65.06 | 25.40 | 60.14 |
| DeltaMem-8B (免训练) | 68.02 | 31.77 | 62.50 |
| DeltaMem-4o (免训练) | 73.13 | 35.11 | 60.89 |
| DeltaMem-4B-RL | 79.26 | 44.55 | 67.93 |
| DeltaMem-8B-RL | 80.32 | 48.81 | 68.62 |
消融实验¶
论文针对合成数据核心演化模块与语义相似度过滤阈值 \(\tau\) 开展了系统消融。
表 5 检验了数据合成中两类记忆演化机制对最终性能的影响(基于 DeltaMem-8B-RL):
| 配置 | LoCoMo B1 | LoCoMo F1 | LoCoMo LJ | PersonaMem 综合 | 偏好演化 (Pref-Evol) | 说明 |
|---|---|---|---|---|---|---|
| 完整模型 (DeltaMem-8B-RL) | 39.78 | 50.72 | 75.13 | 65.03 | 57.55 | 包含完整事件内与跨事件演化 |
| 移除跨事件演化 (w/o Inter-Event) | 39.65 | 50.48 | 73.83 | 61.46 | 54.68 | 缺乏长程锚点动态重构,PersonaMem大幅下降3.57分 |
| 移除事件内演化 (w/o Intra-Event) | 38.16 | 49.22 | 73.51 | 62.82 | 52.52 | 缺乏状态差量微调,偏好追踪下降5.03分 |
表 4 评估了最优传输匹配中相似度截断阈值 \(\tau\) 对 LoCoMo 性能的敏感度:
| 阈值 \(\tau\) | 0.00 | 0.50 | 0.60 | 0.70 | 0.75 (默认) | 0.80 | 0.90 |
|---|---|---|---|---|---|---|---|
| BLEU-1 | 38.40 | 37.12 | 38.35 | 39.24 | 39.87 | 39.74 | 38.32 |
| F1 | 48.92 | 47.93 | 48.75 | 50.37 | 50.72 | 50.78 | 48.75 |
关键发现¶
- 轻量单智能体全面超越复杂多智能体:即使在完全不经过强化学习训练的零样本设置下,DeltaMem-8B 在 LoCoMo 上即取得 71.04 的 LJ 得分,显著超越了由多个智能体流水线协同的生产级系统 Mem0(57.86)与商业系统 Zep(65.99)。这表明多智能体间的离散握手通信确实引入了不可逆的信息衰减瓶颈。
- 状态转移强化学习有效激发高难度推理与记忆更新:在经过 GRPO 训练后,DeltaMem-8B-RL 在 HaluMem 上的记忆更新正确率从免训练的 31.77% 激增至 48.81%,问答正确率跃升至 68.62%;在 PersonaMem 考验复杂泛化的“生成新点子(New-Ideas)”任务上,得分从 24.73 提升至 40.86(相对增益达 65%),同时在事实召回指标上保持超过 76 的极高严谨性。
- 根治向量数据库重度检索顽疾:检索调用频次分析显示,传统多智能体每条记忆必须触发一次检索(QPM=1.00),而经 RL 训练后的 DeltaMem 展现出高度自主的选择性检索能力,每条记忆仅需 0.13 次检索即可在 LoCoMo 上取得最优性能,兼顾了端到端推理效率与动态上下文精度。
亮点与洞察¶
- 将记忆管理收敛为端到端状态机:摒弃传统“提取-检索-更新”的刚性阶段切割,利用 ReAct 统一单智能体的思考、工具调用与记忆操作输出,从根源上消除了流水线级联的信息失真与无谓检索开销。
- 状态驱动的最优传输编辑距离奖励:巧妙利用自然语言记忆集合的相对补集与二分图最优传输匹配,配合关键词事实保真度,成功将不可导的自然语言记忆库更新状态映射为光滑平衡的软 F1 奖励,解决了传统 RL 严重依赖下游问答判别带来的极端稀疏与延迟反馈难题。
- 可复用的长程个性化拟人合成范式:结合固定特征与动态演化生成跨越数年的因果连续事件链,并严格施加“用户优先”与引用前序字符串的显式因果约束,为智能体交互领域提供了无需挖掘用户隐私日志即可生产细粒度操作级监督信号的方法论。
局限与展望¶
- 合成数据与真实用户表达的分布偏差:模型训练完全依赖基于大模型合成的用户对话与规范操作标签,合成数据在语法和逻辑上过于严密,面对真实人机交互中普遍存在的口语化模糊表述、含混意图、反复更改乃至情绪化矛盾时,策略的鲁棒性仍有待实际业务场景检验。
- 奖励函数对相似度阈值与嵌入模型的敏感性:基于记忆的编辑距离高度依赖嵌入模型的向量空间分布以及人为设定的相似度阈值 \(\tau=0.75\) 与关键词提取质量,不同领域专有词汇的向量漂移可能会干扰软匹配精度。
- 未来改进方向:可进一步探索结合半监督真实用户微调、引入结构化记忆图谱动态拓展,以及在多模态交互(图像、语音具身交互)中推广该端到端记忆管理框架。
相关工作与启发¶
- vs MemGPT / MemoryBank: 早期的虚拟内存式方案将记忆抽象为类似操作系统的外部持久化存储,依赖被动、原子式的规则 CRUD 操作,无法自适应地根据长期对话演化重构过往记忆的语义表征;DeltaMem 采用主动 ReAct 推理,动态决策何时检索、何时保留或重塑旧记忆。
- vs Mem0 / LightMem: 现代多智能体记忆框架将提取、检索、更新解耦给多个独立模块,不仅引入多阶段信息衰减,而且检索成本高昂;DeltaMem 将其收敛至单智能体端到端决策,在大幅削减 87% 检索调用的同时显著提升了长程时序追踪与事实准确度。
- vs Memory-R1: Memory-R1 尝试利用强化学习优化多智能体更新模块,但受限于下游问答答案模型的稀疏准确率奖励;DeltaMem 提出基于最优传输的状态转移距离软奖励,直接以记忆库自身状态演化质量为优化目标,训练更稳定收敛。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出端到端单智能体记忆管理架构,并开创性地设计基于最优传输与状态转移的软记忆编辑距离 RL 奖励。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 LoCoMo、PersonaMem、HaluMem 三大主流基准,包含多模型尺度、免训练与 RL 变体对比、细粒度阶段评测及全面的消融与时序稳定性分析。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨,方法建模与数学形式化表达清晰,实验图表详实且极具说服力。
- 价值: ⭐⭐⭐⭐⭐ 彻底打破多智能体记忆管理的固有思维定势,为大语言模型构建真正高效、自适应的终身个性化记忆系统提供了切实可行的理论与工程落地方案。