Auto-Dreamer: Learning Offline Memory Consolidation for Language Agents¶

会议: NeurIPS 2026
arXiv: 2605.20616
OpenReview: https://openreview.net/forum?id=SR1n2zkaBO
领域: LLM Agent
关键词: 语言智能体, 离线记忆整合, 区域重写, 强化学习, 逆事实效用奖励

一句话总结¶

受互补学习系统理论启发，Auto-Dreamer 将智能体快速单轮记忆写入与慢速离线区域重写解耦，利用带有逆事实效用奖励的 GRPO 训练整合策略，在显著压缩记忆库体积（最高缩减 12 倍）的同时显著提升下游多轮任务成功率。

研究背景与动机¶

语言智能体在面对流式连续任务时，长期记忆已不再仅仅是存储历史实体或用户偏好的检索缓存，更是将交互经验转化为可复用技能、环境常识以及优化后续决策先验的核心机制。现有的智能体记忆系统通常将经验获取与记忆整合耦合为一个单步在线更新过程，每次写入仅仅基于当前局部交互会话。这种局部视野导致系统无法在全局尺度上发现跨会话的复用模式、难以提炼通用的执行步骤，并且极其容易积累互相冲突的碎片、格式错误或冗余表述。同时，现有的强化学习记忆管理器大多只针对在线生成或决策检索进行优化，缺乏显式的下游任务效用目标，因而无法学会区分哪些记忆具备关键负载能力，哪些记忆属于无用的冗余开销。

这种机制缺陷的核心矛盾在于：记忆系统既需要对每一个新交互轨迹做到高可塑性、低延迟的快速写入，又需要跨会话的全局证据进行慢速重组与抽象，但传统基于条目的增删改查（CRUD）操作在默认语义下会让历史记忆持续存活，导致记忆库随任务流单调膨胀并带来严峻的检索竞争与上下文干扰。

受认知神经科学中互补学习系统（CLS）理论的启发，海马体负责快速编码单次情境经验，新大脑皮层则在慢时间尺度上渐进抽取跨情境的共享结构。核心 idea：将记忆机制显式解耦为“快速局部写入”与“慢速离线区域重写”的双时间尺度架构，将记忆整合建模为带轨迹溯源的区域重写操作，并在 GRPO 框架下引入逆事实掩码效用奖励，让模型自主学会跨会话抽象、去重与遗忘。

方法详解¶

整体框架¶

Auto-Dreamer 的整体运行架构严格保持下游任务执行智能体、检索器、局部写入器及记忆模式不变，只在离线阶段由学习得到的整合器对记忆库进行区域重写。在在线交互阶段，快速写入器在每个会话后以仅追加（append-only）的形式抽取类型化记忆（语义记忆与过程记忆），并保留指向原始交互轨迹的溯源指针（provenance links）。每隔固定会话周期 $k$，系统选定一个由近期写入与近期检索条目构成的工作区域，唤起整合器执行多步有界工具调用展开（tool-use rollout），检索记忆、查阅原始轨迹溯源证据，最终生成一个紧凑的全新替换集直接覆盖原区域。在训练阶段，模型基于离线轨迹库构建工作区域，通过 GRPO 强化学习，利用任务下游表现与逆事实效用奖励实现区域局部信用分配。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：多轮任务轨迹流 τ"] --> B["阶段 1：快速在线局部记忆写入<br/>Append-only 生成类型化条目与溯源指针"]
    B --> C["阶段 2：动态工作区域选取<br/>合并新近写入条目与近期被检索旧条目"]
    C --> D["阶段 3：多步工具交互与证据溯源<br/>调取 search / check / get_source_trace 查验原文"]
    D --> E["阶段 4：区域重写与语义替换<br/>全新替换集原子级覆盖原工作区域"]
    E --> F["阶段 5：GRPO 训练与逆事实效用奖励<br/>下游任务回报 + 随机掩码反事实信用惩罚冗余"]
    F --> G["输出：紧凑高泛化性的长期记忆库"]

关键设计¶

1. 双时间尺度解耦与类型化记忆库：保障高可塑性与全局抽象分工

传统智能体记忆往往试图在单次调用中同时完成抽取、去重与冲突消除，这使得单步延迟极高且极易损坏已有知识。Auto-Dreamer 明确划分了时间尺度：在线阶段的快速写入器完全本地化、免检索且仅追加，负责将单次轨迹 $\tau$ 中的关键经验快速提炼为具有短名称 $n$、正文 $s$ 及轨迹溯源链接的语义记忆（如环境实体属性、常见事实错误）或过程记忆（如可复用操作规程），从而最大程度维持记忆写入的高可塑性。慢速跨会话的模式泛化、矛盾调解与无用条目修剪则全部推迟到离线阶段，由专门的整合策略在宏观尺度上统筹处理。

2. 区域重写操作符：以覆盖语义将去重与遗忘化为默认机制

在传统的条目级 CRUD 框架中，旧记忆除非被显式调用删除指令，否则将默认永久驻留，这导致记忆库规模随着交互流单调递增并产生灾难性检索干扰。Auto-Dreamer 提出了区域重写机制（Region Rewriting），将整合过程定义为： $$\mathrm{Write}(\mathcal{B},\mathcal{R},\mathcal{T}_{\mathcal{R}})=(\mathcal{B}\setminus\mathcal{R})\cup C_{\theta}(\mathcal{R},\mathcal{T}_{\mathcal{R}})$$ 其中 $\mathcal{R}\subseteq\mathcal{B}$ 是选定的工作区域，$\mathcal{T}_{\mathcal{R}}$ 是其关联的原始轨迹，整合器 $C_\theta$ 将其视为只读证据并合成紧凑的替换集 $\mathcal{S}$。这种替换语义使得“紧凑性”成为操作符的内在结构属性：旧信息不会默认保留，只有被重新整合提炼进替换集的知识才能存活。因此，跨会话模式抽象、冗余剔除、冲突化解和基于省略的遗忘（omission-based forgetting）直接成为系统的默认行为。

3. 有界工具调用展开与溯源回查：以真实交互证据防止幻觉

为了保证跨会话抽象的真实性并解决局部记忆之间的语义冲突，整合器并不直接盲写总结，而是运行在有步数限制的工具调用循环中。整合器可按需调用 search_memory、check_memory 探查候选知识，并在遇到相互矛盾的条目或存疑指令时，调用 get_source_trace 回溯查阅原始交互会话轨迹。只有当高阶规律在多条轨迹中得到稳定佐证时，整合器才调用 synthesize 输出新条目并最终执行 terminate。实测显示，合成条目的溯源引用度分布普遍达到 5 条以上，证明其生成的是综合多方经验的深度抽象而非单纯的文本复制。

4. 基于局部银行的 GRPO 训练与逆事实效用奖励：精准定位承重记忆并惩罚冗余

直接在完整记忆库上训练整合器会带来极难解耦的全局信用分配难题。Auto-Dreamer 采用局部银行（Local Bank）策略，将训练阶段单次 rollout 生成的候选替换集 $\mathcal{S}_g$ 作为独立的局部记忆库 $\mathcal{B}_g^\star = \mathcal{S}_g$ 直接供下游智能体在评估任务集 $\mathcal{V}$ 上测试，从而让策略产出物与奖励反馈严格对齐。同时，设计了包含逆事实效用项的复合奖励： $$r_g = U_{\mathcal{V}}(\mathcal{S}_g) + \alpha\, r_{\mathrm{cf}}(\mathcal{S}_g; \mathcal{V})$$ 其中 $U_{\mathcal{V}}(\mathcal{S})$ 为下游任务平均回报，逆事实项 $r_{\mathrm{cf}}$ 定义为原替换集表现与对其随机掩码比例 $\rho$ 后的期望表现之差： $$r_{\mathrm{cf}}(\mathcal{S}_g; \mathcal{V}) = U_{\mathcal{V}}(\mathcal{S}_g) - \mathbb{E}_{\widetilde{\mathcal{S}}\sim q_{\rho}(\cdot\mid\mathcal{S}_g)}\left[U_{\mathcal{V}}(\widetilde{\mathcal{S}})\right]$$ 若替换集中包含不可替代的承重（load-bearing）记忆，掩码后性能将骤降，使得 $r_{\mathrm{cf}}$ 获得显著正奖励；若其中存在大量重复冗余记忆，掩码后其他副本仍能支持决策，则该项几乎为零；而若掩码掉误导性有害记忆反而提升了表现，该项将为负。该奖励引导 GRPO 策略在提升任务成功率的同时自发收敛到极小体积。

一个完整示例¶

以 ScienceWorld 环境中的 find-animal 任务为例，智能体需要在多个房间中寻找目标动物并放入指定容器。在初始阶段，智能体在厨房等出生点往往面对大量显眼的水果与容器干扰物： 1. 快速写入：前几次交互中，写入器为多次失败轨迹分别记录了局部教训，如“对香蕉执行 focus 导致失败”、“对苹果执行 focus 导致失败”以及“在厨房找动物失败”。 2. 工作区域与工具溯源：在周期 $k=10$ 时，整合器调取上述失败条目，并通过 get_source_trace 查阅原始轨迹，发现多次失败均是因为智能体在离开出生房间前误将显眼静态物品判定为目标。 3. 区域重写：整合器淘汰所有列举具体水果名称的低层碎片，提炼并合成两条高阶规则：一条是通用的过程规则 find-entity-general-procedure-synthesized（明确规定必须先传送至户外、对目标实体 focus 并拾取、最后传送至目标房间放入指定容器）；另一条是关键的否定性语义规则 avoid-wrong-focus（警告出生点的水果等物体为强干扰项，未识别出真正实体前严禁执行 focus）。 4. 决策检索：后续智能体在面对未知的新任务 find-animal::254 时，首步不再盲目对桌上的香蕉执行 focus on banana，而是依循高阶规则传送至户外成功捕获蟾蜍，仅用 5 步即达成任务。

训练策略与超参数¶

整合器策略 $C_\theta$ 基于 Qwen3-14B 初始化，完全仅在 ScienceWorld 离线轨迹数据上训练，未在 ALFWorld 或 WebArena 上做任何微调。强化学习算法采用 GRPO，优化器为 AdamW，学习率采用固定值 $1\times 10^{-6}$，KL 散度惩罚系数 $\beta=1\times 10^{-3}$。训练步数为 200 步，Prompt 批大小为 16，每个 Prompt 生成 8 个 rollout 候选组，逆事实项采样丢弃比例 $\rho=0.5$，逆事实项权重 $\alpha=0.5$，格式惩罚权重为 0.5。单轮最大生成 token 数为 2,048，模型整体支持上下文长度为 21,504。

实验关键数据¶

主实验¶

在流式持续部署评估（Continual-memory deployment）中，记忆库初始为空，随任务流动态增长与周期整合。下表对比了基线与 Auto-Dreamer 在三项环境中的宏平均成功率（SR, %）、记忆活跃 token 数（#Tok）以及累积成功曲线下面积（AUC）：

环境	评估指标	Auto-Dreamer (本文)	最强对比基线	基线名称	提升幅度
ScienceWorld	任务成功率 (SR, %)	41.1	34.1	UMEM	+7.0 pp
ScienceWorld	活跃记忆 Token 数 (#Tok)	6,947	80,918	UMEM	11.6× 压缩
ScienceWorld	累积性能 AUC	0.411	0.353	UMEM	+0.058
ALFWorld	任务成功率 (SR, %)	60.2	58.4	UMEM	+1.8 pp
ALFWorld	活跃记忆 Token 数 (#Tok)	10,954	62,947	UMEM	5.7× 压缩
ALFWorld	累积性能 AUC	0.585	0.566	Mem-$\alpha$	+0.019
WebArena	任务成功率 (SR, %)	52.3	52.0	LightMem / AWM	+0.3 pp
WebArena	活跃记忆 Token 数 (#Tok)	927	370,874	LightMem	400× 压缩
WebArena	累积性能 AUC	0.628	0.597	AWM	+0.031

在固定记忆库单次整合控制实验（Panel B 控制研究，消除流式累积动态影响）中，Auto-Dreamer 在 ALFWorld 上达到 72.7% 成功率（634 tokens），显著超越最强基线 ExpeL 的 70.1%（2,942 tokens）；在 ScienceWorld 上达到 44.3% 成功率（539 tokens），超越 Mem0 的 42.0%（1,609 tokens）。

消融实验¶

消融实验系统性评估了离线整合机制、GRPO 强化学习以及逆事实效用奖励的贡献：

配置	ScienceWorld SR (%)	ScienceWorld #Tok	ALFWorld SR (%)	ALFWorld #Tok	说明
Full Auto-Dreamer	41.1	6,947	60.2	10,954	完整模型（区域重写 + GRPO + 逆事实奖励）
Auto-Dreamer (Untrained)	31.4	5,700	59.2	6,900	具备区域重写与工具调用，但未经过 RL 训练
Writer-only (无离线整合)	29.6	61,679	48.0	50,735	仅保留快速在线写入，无离线整合阶段
w/o $r_{\mathrm{cf}}$ (无逆事实奖励)	训练曲线显示环境得分相近	记忆库随训练持续膨胀	类似趋势	类似趋势	去除逆事实惩罚后，模型缺乏剔除冗余的驱动力

在整合周期 $k$ 的敏感性分析中，ScienceWorld 在基准周期 $k=10$ 时取得最佳表现；过于频繁（$k=1$）会导致跨轨迹证据不足，而过于迟缓（$k=20$）则导致单次整合工作区域过大、超出工具调用的有效上下文。

关键发现¶

区域重写本身即是压缩利器：Untrained Auto-Dreamer 相比 Writer-only 立即实现了 6~11 倍的记忆库体积压缩，证明了“以合成新集直接替代原区域”的语义设计是诱导紧凑性与去除冗余的核心根源。
强化学习赋予了高阶抽象质量：在 ScienceWorld 上，GRPO 训练带来了 +9.7 pp 的显著胜率提升，训练过程教会了策略如何提取承重规则与关键否定教训。
逆事实效用奖励的作用：在训练动态对比中，缺乏 $r_{\mathrm{cf}}$ 的策略会导致记忆库随训练步数单调膨胀；加入 $r_{\mathrm{cf}}$ 后，记忆库呈现“先探索性增长、随后向承重核心收敛压缩”的健康形态。
零样本跨域与跨模型迁移能力：仅在 ScienceWorld 轨迹上训练的整合器，在零微调的情况下直接迁移至 ALFWorld 和 WebArena 均取得领先表现；且在 WebArena 上即使写入器更换为 Gemini-3.1-flash-lite-preview，整合器依然表现稳健。

亮点与洞察¶

将记忆修剪与遗忘转化为默认语法：不同于给记忆打上可信度权重或执行复杂的局部剪枝，区域重写将选定子集直接降级为只读证据，只有经整合器重新提炼的条目才能存活，从机制根源上杜绝了无界膨胀。
逆事实效用掩码解决自监督信用难题：通过对合成记忆进行随机丢弃评估，以边际性能落差作为记忆内在价值的度量，精巧地规避了人工标注记忆质量的难题。
否定性教训（Negative Lessons）的高阶价值：在案例对比中，成功经验总结往往只指导“在确认目标后该如何做”，而通过整合失败轨迹生成的否定规则能够阻止智能体在起始步踩中致命陷阱。

局限与展望¶

文本模态限制：当前实验完全基于纯文本交互环境（ALFWorld、ScienceWorld、WebArena 的 AXTree 描述），尚未适配包含视觉帧、连续具身位姿等多模态交互轨迹。
局部银行训练与持续部署的分布偏差：训练阶段采用独立的局部银行来评估单次重写的替换集，而实际部署中重写集需要并入持续增长的全局记忆库，未来可深入研究跨区域的长程层次结构维护。
局部细节的过度压缩（Over-compression）：在 ALFWorld 的 look_at_obj_in_light 等高度依赖特定空间位置细节的任务中，过于激进的高阶抽象会导致环境细节丢失，使训练后模型表现略逊于未训练版本。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将 CLS 理论落地为基于区域重写与逆事实 RL 奖励的双时间尺度语言智能体离线记忆整合架构。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖三大主流智能体基准，涵盖持续流式部署与受控对照实验，消融设计与定性案例极其详实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，问题定义数学化且动机阐述自然透彻。
价值: ⭐⭐⭐⭐⭐ 为解决长期自主智能体的记忆膨胀、检索干扰以及终身学习提供了极具启发性的范式。