跳转至

LifeMem: Enabling Lifelong Experience Reuse for LLM Agents via Memory Distillation

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/BITHLP/LifeMem
领域: LLM Agent
关键词: LLM Agent, 终身学习, 经验复用, 记忆蒸馏, 工作流聚类

一句话总结

LifeMem 针对跨异构环境终身学习中动作空间失配与灾难性遗忘痛点,提出基于工作流聚类与几何多样性约束的结构化技能蒸馏架构,在推理端结合环境对齐轨迹与环境不变量技能,在 10 个环境与 1.3 万个任务上显著抑制遗忘并大幅提升跨任务零样本迁移。

研究背景与动机

实现通用人工智能(AGI)要求自主智能体具备在开放生命周期中持续适应演进环境的能力,即跨环境终身学习(Lifelong Learning)。在理想设定下,基于大语言模型(LLM)的智能体应能跨越具身控制、工具调用、网络搜索与数据分析等多领域无缝积累交互经验,并复用过往经验加速新任务求解,而无需针对特定环境做孤立的模型重新微调。然而,在跨异构环境(Inter-Environment)的实际部署中,不同环境的状态定义、观测形式与动作空间存在天然的异构性与割裂性,这使得智能体在长期运行中既难以直接跨域复用原始经验,又面临严重的灾难性遗忘。

现有应对经验复用的方案主要分为内部记忆与外部记忆两大流派,但均在异构终身场景中遭遇严峻瓶颈。参数微调等内部记忆方法不仅计算成本极为昂贵,且极易因参数覆盖而丧失对早期环境的泛化可塑性;基于向量数据库的外部记忆方法虽通过检索历史轨迹支持上下文学习,却面临双重困境:一方面,纯轨迹检索方法(如 Synapse)直接依赖低层原始交互步骤,受限于跨环境动作空间失配,无法跨越语义差异迁移,且随着数据库体量膨胀,检索混杂度剧增,对早期任务产生灾难性遗忘(负向后向迁移);另一方面,通用经验抽象方法(如 ExpeL、AutoSkill)直接在未分区的扁平记忆池中提炼全局规则,导致无关任务轨迹引入严重的跨环境噪声,蒸馏出的技能粗糙泛化、缺乏表征力,最终反噬智能体的决策准确率。

这种失效的核心矛盾在于:跨任务经验复用既需要具体的环境对齐动作范例来提供底层格式落地,又需要高层抽象的通用决策逻辑来跨越异构环境壁垒;而在记忆持续沉淀的过程中,未经结构化隔离与自适应粒度控制的经验池必然发生表征混叠。本文的切入角度是改变无序积累模式,将记忆演化显式建模为以执行工作流为核心的层次化动态结构,先依据行为逻辑将异构轨迹聚类并施加方向统计学多样性约束细分,再在局部聚类内蒸馏纯净的高层技能。核心 idea:构建包含工作流聚类、方向统计学自适应细分与局部技能蒸馏的双层记忆架构,在推理时动态激活环境对齐轨迹与环境不变量技能协同引导智能体决策,彻底解耦底层动作落地与高层逻辑迁移。

方法详解

整体框架

LifeMem 将智能体的终身记忆构建为一个能够单次初始化、增量动态演化并在推理期双层协同激活的自适应系统。在系统的输入端,来自不同异构环境的交互轨迹流式输入;在记忆层,系统首先通过轻量级语言模型驱动的工作流聚类将具有相似底层行为逻辑的轨迹聚合为簇,并通过平均合矢量长度(MRL)监测聚类几何多样性,在簇膨胀时自适应分裂;随后,针对每个纯净的工作流簇进行高阶规则蒸馏,形成独立于具体环境细节的环境不变量技能库。

在推理阶段,当面对新任务目标时,系统执行双轨检索机制:一方面在记忆库中精准召回与当前环境对齐的 Top-\(k\) 历史成功轨迹,提供低层动作语法与调用格式的刚性范例;另一方面激活这些轨迹对应聚类所挂载的高层抽象技能,为智能体提供宏观策略与因果依赖指引。两类信息共同构筑为增强提示上下文喂入执行 LLM 产出最终动作。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["流式异构交互轨迹输入<br/>跨多环境任务序列"] --> B["工作流聚类<br/>按功能执行逻辑自适应分组"]
    B --> C["方向统计学自适应分裂<br/>容量阈值与 MRL 几何多样性约束"]
    C --> D["局部技能蒸馏<br/>工作流簇内提炼环境不变量规则"]
    D --> E["双轨记忆检索与推理激活<br/>环境对齐轨迹 + 不变量高层技能协同"]
    E --> F["动作生成与终身泛化<br/>正向跨域迁移与遗忘抑制"]

关键设计

1. 工作流聚类:解决异构环境下表面语义相似导致的跨域干扰,依据功能执行逻辑组织记忆

异构任务即便来自完全不同的领域(如电商退换货与具身家务中的检查确认),其底层往往共享相似的操作范式(如“状态核验 \(\to\) 条件分支判断 \(\to\) 终态执行”)。传统的向量相似度检索仅匹配文本表层语义,极易导致跨环境动作空间错配。LifeMem 在记忆初始化阶段使用小批量轨迹形成基准聚类 \(\mathcal{C} = \{c_1, \dots, c_M\}\)。当新的交互轨迹 \(\xi\) 到达时,系统首先检索其 Top-\(k\) 相关轨迹并锁定所属候选聚类集合 \(\mathcal{C}_\xi\);随后利用轻量级 LLM 进行功能性逻辑对齐判断:若 \(\xi\) 契合某一候选聚类 \(c \in \mathcal{C}_\xi\) 的内在执行逻辑,则将其增量并入该簇并更新簇描述 \(d_c\);若存在明显的逻辑割裂,则为 \(\xi\) 独立开辟新的工作流簇。这一机制确保了每个簇在语义多样的前提下保持严格的行为模式同构。

2. 方向统计学自适应分裂:解决经验累积导致的聚类异质化膨胀,动态自平衡聚类粒度

随着终身经验持续积累,单个工作流聚类内部可能沉淀出细微的行为分歧,若不加以控制会导致簇内特异性退化。直接按照单一数量硬切容易产生碎片化子簇,而完全不分裂又会导致大杂烩。LifeMem 引入方向统计学中的平均合矢量长度(Mean Resultant Length, MRL)作为几何多样性硬性约束。对于包含 \(n\) 条轨迹的聚类 \(c\),首先将其轨迹向量表征归一化为单位超球面上的向量 \(x_i\)(\(\|x_i\|=1\)),并计算方向集中度 \(R\):

\[R = \left\| \frac{1}{n} \sum_{i=1}^n x_i \right\|\]

\(R \in [0, 1]\) 精确量化了簇内样本的方向结构同质性:当 \(R \to 1\) 时表明轨迹间结构高度冗余(如反复执行相同模板),此时即便数量较大也无需分裂;当 \(R\) 较小且轨迹数量超过容量阈值 \(L\) 时,表明该簇在超球面上散布着截然不同的行为分支。因此,LifeMem 制定了双重触发准则:当且仅当 \(n > L\)(实验设 \(L=50\))且 \(R < \tau_{\text{mrl}}\)(实验设 \(\tau_{\text{mrl}}=0.95\))同时满足时,调用高级 LLM 将原簇溶解并重新离散化为 3 到 6 个粒度更精细的子聚类,从而在避免过度碎片化的同时自适应保持经验纯度。

3. 局部技能蒸馏:解决全局经验提炼的跨域噪声混入,提取环境不变量决策规则

针对整库扁平提取技能极易被无关动作空间噪声污染的问题,LifeMem 将抽象过程严格限制在各个同构的工作流簇内部。针对每个工作流聚类 \(c_i\),调用高阶语言模型 \(f(\cdot)\) 进行局部蒸馏:

\[s_i = f(c_i)\]

蒸馏提示要求模型提炼 3 到 5 条通用的、高层级的行为准则与思考方式(Way of Thought),明确禁止在规则中提及特定任务实例或具体的底层 API/动词参数。所生成的环境不变量技能 \(s_i\) 专注于跨环境通用的执行约束、逻辑因果链与错误恢复策略,从而与底层动作空间完全解耦。最终,系统构建出层次化联合记忆库 \(\mathcal{H} = \{(c_i, s_i) \mid c_i \in \mathcal{C}\}\)。

4. 双轨记忆检索与推理激活:解决具体动作格式落地与高层逻辑泛化的双重依赖

在面向新任务 \(T = \langle E, o_0, g \rangle\) 推理时,若仅给高层技能,智能体缺乏对当前环境合法动词、参数槽位的具象感知;若仅给轨迹,又易重蹈跨域遗忘与迁移阻断的覆辙。LifeMem 在推理期执行双轨并行激活:首先在当前环境 \(E\) 约束下检索 Top-\(k\) 条最相关的历史真实交互轨迹 \(\{\xi_0, \dots, \xi_{k-1}\}\) 作为行动基准;随后反查这批轨迹所归属的抽象工作流聚类 \(\mathcal{C}_\xi\),并激活对应的高层环境不变量技能集合 \(\mathcal{S}_\xi = \{s_i \mid c_i \in \mathcal{C}_\xi\}\)。两部分构筑为联合上下文 \(M_{\text{act}} = (\{\xi_j\}_{j=0}^{k-1}, \mathcal{S}_\xi)\),策略模型根据 \(a = P_\theta(g, M_{\text{act}}, o)\) 规划下一步动作,完美兼顾精准底层操作对齐与跨域高层策略引导。

损失函数 / 训练策略

LifeMem 作为基于外部记忆的外挂增强架构,主体执行模型与蒸馏模型均保持参数冻结,无需端到端梯度微调。向量检索底层采用 all-MiniLM-L6-v2 嵌入模型搭配 FAISS 向量索引,结构化关系与文本元数据由 SQLite3 数据库高效存储。

在增量分配判断阶段,选用轻量级高效模型 GPT-5-mini 执行轨迹聚类归属分配;在聚类溶解细分与高阶技能蒸馏阶段,调用能力更强的 GPT-4.1 执行深度逻辑解构。推理阶段设置生成温度为 0.3。为模拟真实的终身学习序列,基准评估任务流按相似场景粗粒度聚合(AlfWorld \(\to\) ScienceWorld \(\to\) APIBank \(\to\) \(\tau\)-bench \(\to\) HotpotQA \(\to\) Webshop \(\to\) LifelongAgentBench \(\to\) ToolQA \(\to\) MiniwoB++ \(\to\) Mind2web),并在各场景内部按由易到难推进,系统同时支持乱序流与基于 Mini-batch(size=5)的缓冲池稳定更新。

实验关键数据

实验覆盖具身交互(AlfWorld、ScienceWorld)、工具使用(APIBank、\(\tau\)-bench)、网络搜索(HotpotQA、Webshop)、数据分析(LifelongAgentBench、ToolQA)、网页浏览(MiniwoB++、Mind2web)共 5 大场景、10 个环境、超 13,000 个任务。对于缺乏训练集的 4 个环境,论文基于 GPT-4.1 在 ReAct 架构下构造了 2,310 条轨迹(经人工校验,90%+ 动作具备高合理性)。评估指标包含终身学习完成后的综合性能(Overall Performance, OP \(\uparrow\))与衡量遗忘程度的后向迁移分数(Backward Transfer, BwT \(\uparrow\))。

主实验:跨环境终身学习综合性能对比(节选 Table 2)

骨干模型 评估维度 / 任务类别 ReAct (无记忆) Synapse (轨迹检索) ExpeL (试错反思) AutoSkill (全局技能) LifeMem (本文)
GPT-4o-mini 综合平均性能 (OP \(\uparrow\)) 28.84 39.18 41.85 33.22 44.13 (相对+5.45%)
后向迁移得分 (BwT \(\uparrow\)) — -7.04 +3.10 -8.54 +5.66
具身交互 (Embodied) OP / BwT 10.62 / — 40.02 / -3.85 44.09 / +8.81 12.36 / -28.97 45.65 / +14.84
工具使用 (Tool) OP / BwT 35.18 / — 30.93 / -11.33 36.87 / -1.63 34.40 / +2.84 37.93 / +0.42
网络搜索 (Web Search) OP / BwT 32.50 / — 31.50 / -9.89 33.50 / +4.80 29.50 / -6.65 39.50 / +6.91
Deepseek-v3.2-exp 综合平均性能 (OP \(\uparrow\)) 41.14 46.38 43.85 40.62 48.02 (相对+3.54%)
后向迁移得分 (BwT \(\uparrow\)) — -0.60 -0.28 -9.09 +3.11
Qwen3-32b 综合平均性能 (OP \(\uparrow\)) 33.98 41.96 43.29 35.79 46.52 (相对+7.46%)
后向迁移得分 (BwT \(\uparrow\)) — -2.24 -1.17 -6.17 +6.68

消融实验与零样本跨任务迁移(Table 3 & Table 4 核心数据)

模型 / 实验配置 评估场景 / 指标项 实验配置表现 对比 baseline / 提升幅度
组件消融 (GPT-4o-mini) 无记忆基线 ReAct (GPT-4o-mini / GPT-4.1) 28.84 / 40.42 基准水平
仅环境对齐轨迹 (+trajs) 42.84 奠定具体交互动作语法基础
仅蒸馏高层技能 (+skills, GPT-4o-mini / 4.1 蒸馏) 36.16 / 37.61 提供宏观决策指导,无具体动作范例
完整架构 (+trajs+skills, GPT-4o-mini 蒸馏) 43.18 弱蒸馏模型仍显著超越强单模基线
完整架构 (+trajs+skills, GPT-4.1 蒸馏) 44.13 最优协同增益配置
零样本迁移 (FEVER 事实核验) ReAct / Synapse / ExpeL / AutoSkill 0.40 / 0.38 / 0.41 / 0.49 跨任务形式 (Wiki 环境同构)
(GPT-4o-mini 骨干) LifeMem (完整) / LifeMem (仅技能) 0.49 (+22.5%) / 0.47 (+17.5%) 克服动作空间检索负迁移
零样本迁移 (\(\tau\)-bench 航空) ReAct / Synapse / ExpeL / AutoSkill 0.32 / 0.26 / 0.26 / 0.34 未见航空领域 (零售环境迁移)
(GPT-4o-mini 骨干) LifeMem (完整) / LifeMem (仅技能) 0.38 (+18.8%) / 0.38 (+18.8%) 跨环境不变技能主导零样本推理

关键发现

  • 抗遗忘与正向累积能力出众:在基准对比中,纯检索方法 Synapse 出现显著的负后向迁移(GPT-4o-mini 下 BwT 为 -7.04),而 AutoSkill 更是出现严重的技能表征崩塌(BwT 为 -8.54);LifeMem 在三大开源与闭源骨干上均取得了显著的正后向迁移分数(+5.66、+3.11、+6.68),证明工作流隔离能有效消除经验记忆之间的干扰,使后续学到的任务能反哺早期能力。
  • 对轻量级基座赋能更为显著:参数规模相对较小或基础推理能力较弱的 GPT-4o-mini 从 28.84 飞跃至 44.13(+15.29 绝对增益),而强模型 Deepseek-v3.2-exp 的增益为 +6.88。LifeMem 使得 GPT-4o-mini 在外挂记忆后的性能(44.13)直接超越了未带记忆的 GPT-4.1(40.42),表明结构化经验抽取有效弥补了轻量模型的内在容量短板。
  • 单纯强化检索无法替代技能抽象:附录针对 Synapse 升级了高阶文本表征模型(text-embedding-ada-002,OP 仅从 39.18 微升至 40.55)并引入 BGE-reranker 重排序(OP 劣化至 37.29,因重排序模型按通用语义排序破坏了动作序列的逻辑因果);这从反面印证了无序记忆库在动作空间异构面前的本质缺陷,必须依赖分层工作流蒸馏。
  • 推理开销极低与高纯度验证:在上下文开销上,LifeMem 平均提示仅消耗 2.18k tokens(较 Synapse 的 1.88k 仅增量 ~300 tokens,而 AutoSkill 扁平拼接高达 4.68k tokens),单轮测试集推理开销增加不足 1 美元;人工抽检聚类工作流纯度高达 91%,聚类规模能自适应环境复杂度调节(WebShop 平均每簇 29 条,高复杂度的 \(\tau\)-bench 压缩至 12 条/簇)。

亮点与洞察

  • 精巧的方向统计学自适应分裂:引入平均合矢量长度(MRL)监测聚类在超球面上的方向集中度 \(R\),避免了单纯依靠数据量强行分裂或不分裂的盲目性,实现了工作流经验在粒度上的自组织平衡。
  • “环境对齐轨迹 + 不变量技能”解耦协同:精准识破了智能体在异构交互中的双重诉求——低层依靠严格同环境的历史交互轨迹保证动作语法(如 API 名称、括号与参数规范)不跑偏,高层依靠跨环境通用的工作流规则进行长程逻辑规划,实现 1+1 > 2 的效果。
  • 严谨的真实异构长程评测验证:不局限于单一玩具环境的重复演练,而是将 10 个动作空间完全不同的真实基准(涵盖具身、SQL交互、真实网页与航空API)串接为异构数据流,填补了 2,000 余条真实交互轨迹并开源,为智能体终身学习领域树立了高质量评估范式。

局限与展望

  • 依赖高阶 LLM 进行离线蒸馏:聚类分裂与技能蒸馏阶段需要调用 GPT-4.1 级高阶模型,在工业级数百万规模的高并发交互场景中,调用成本和端到端延迟可能成为工程落地的掣肘。
  • 缺乏动态记忆修剪与遗忘淘汰机制:当前框架主要关注聚类的自适应增加与分裂,未设计当记忆库达到物理上限时的过时经验清理、合并与退火机制,存在长期单调线性增长的隐患。
  • 跨环境泛化未来可结合小型端侧模型演进:后续研究可探索轻量级端侧专用小模型来承载工作流归纳与实时蒸馏,或引入图拓扑结构进行记忆关联演进。

相关工作与启发

  • vs. Synapse (Zheng et al., 2024):Synapse 仅将历史原始轨迹存入向量库进行样例检索;当跨越异构环境时动作空间失配导致检索出错误动词(如 FEVER 任务中召回 APIBank 的 ToolSearcher),造成动作格式崩溃。LifeMem 通过工作流聚类隔离经验,并在推理端提供同域轨迹 + 跨域技能,从根本上解决跨环境检索干扰。
  • vs. ExpeL (Zhao et al., 2024a) & AutoSkill (Yang et al., 2026):ExpeL 和 AutoSkill 尝试从成功或失败轨迹中全局提炼经验,但在未分区的混杂记忆池上进行抽象会导致跨域噪声严重,生成冗长而宽泛的伪规则(提示暴增至 4.68k tokens)。LifeMem 在自适应同构簇内局部蒸馏,保持了高纯度与极紧凑的 token 开销。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出面向跨异构环境智能体终身学习的双层工作流聚类与技能蒸馏框架,引入 MRL 约束设计巧妙。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 10 个真实环境、1.3 万任务、3 大模型骨干,包含完整的消融实验、零样本迁移、后向迁移分析及真实案例研究。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密,图文对照自洽,对指标与数学公式推导交代极为规范详尽。
  • 价值: ⭐⭐⭐⭐⭐ 对解决 LLM 智能体长期部署中的经验复用、动作漂移与灾难性遗忘提供了切实可行的工业级架构参考。