Retrieval-Augmented LLM Agents: Learning to Learn from Experience¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/naver/RAGents
领域: LLM Agent
关键词: LLM Agent, 经验检索增强, 情景记忆, 检索感知微调, 具身决策
一句话总结¶
提出了经验检索增强生成框架 EXPRAG 及其检索感知微调范式 EXPRAG-LoRA,将历史交互轨迹作为情景记忆注入提示词并联合微调模型,使开源 LLM 智能体在未见硬任务上的泛化成功率显著提升,并能直接从自身历史失败轨迹中实现上下文自改进。
研究背景与动机¶
大语言模型驱动的智能体在多步交互决策与复杂任务规划中展现出巨大潜力,但在面对训练集未涵盖的全新任务场景时,其泛化与鲁棒性依然严重不足。当前主流的智能体适应方案主要分为两类:一是参数化监督微调(SFT / LoRA),虽然能在分布内任务上拟合良好,但往往过度特化于特定目标与轨迹分布,面对具有分布偏移的新任务(如训练仅见“清洗物体”而测试要求“加热物体”)容易发生策略崩溃与复合误差;二是非参数化的免训练外部记忆检索,将历史经验作为提示词注入生成过程,但现有前沿记忆系统设计日趋繁复(包含复杂读写控制器、反思蒸馏与启发式遗忘),在开源模型上的表现却常常落后于扎实的监督基线,甚至难以稳定过滤不相关上下文。
这两种路线的割裂暴露出一个核心矛盾:单纯依赖参数更新容易导致智能体丧失动态适应能力,而单纯在推理阶段挂载外部经验又受制于模型“不会使用经验”的缺陷——未经检索适应训练的模型无法有效甄别长轨迹中的关键动作线索,容易陷入上下文退化与噪声干扰。现有文献也大多在高度相似的任务子类上进行同分布测试,掩盖了真实决策场景下跨任务组迁移的真实断崖。
本文的切入角度是打破检索增强仅作为推理时插件的局限,将经验检索与策略微调深度结合,系统探究智能体如何真正学会从情景记忆中提炼策略。核心 idea:将历史多轮交互轨迹作为固定只读的情景记忆库,不仅在推理期按任务相似度动态挂载 top-K 经验,更在 LoRA 微调阶段将检索记忆块直接嵌入训练上下文(EXPRAG-LoRA),促使策略模型学会辨识与吸收参考轨迹中的关键子目标,实现向未见任务与不完美经验的高效外推。
方法详解¶
整体框架¶
EXPRAG 系统围绕智能体与文本环境交互的全流程展开,主要包含三个阶段:离线经验库构建与编码、任务级情景经验检索、以及记忆条件下的动作自回归生成。离线阶段将历史探索收集的完整成功与失败交互轨迹序列化为标准的多轮对话格式,并通过文本嵌入模型构建密集向量索引。在推理时,系统根据当前任务目标或逐步交互上下文,通过最近邻搜索召回最相关的 top-K 轨迹并拼装成结构化记忆块,插入智能体的系统提示词中引导策略网络做出下一步行动决策。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["环境交互轨迹集<br/>成功与失败历史交互"] --> B["多轮对话序列化<br/>用户观察↔模型动作映射"]
B --> C["密集向量经验库构建<br/>Qwen3-Embedding 离线编码"]
D["当前任务描述与交互上下文"] --> E["任务相关经验检索<br/>Top-K 最近邻召回"]
C --> E
E --> F["格式化情景记忆块构建<br/>区分成功与失败经验标签"]
F --> G["检索感知微调与策略推理<br/>EXPRAG-LoRA 条件生成"]
D --> G
G --> H["执行环境动作并更新状态"]
关键设计¶
1. 交互轨迹的多轮对话序列化:打通记忆与模型原生交互结构的统一表征
传统强化学习或智能体记忆系统常将交互拆解为单步转移对 \((h_t, a_t)\) 进行独立编码与单步重算,这不仅割裂了多步决策的长期连贯性,还在训练与动态回放中造成严重的重复编码开销。本文采用模型原生聊天模板,将完整交互轨迹 \(\tau = (T, o_1, a_1, \dots, o_T)\) 映射为多轮对话 chat 格式,将环境返回的观察 \(o_t\) 设为用户轮次,将策略输出的动作 \(a_t\) 设为助手轮次。这种设计保证了训练阶段监督交叉熵损失能严格聚焦于助手动作 token,同时充分复用 KV Cache,大幅加快了多轮决策的训练吞吐。
2. 轻量且严格的经验索引与检索:消除动作空间泄漏与上下文干扰
在经验检索机制上,系统使用 Qwen3-Embedding-0.6B 将轨迹文本转化为稠密键向量 \(e_i = \phi(\tau_i)\)。针对不同环境需求,设计了静态检索与动态检索两种模式:静态检索在回合起始时刻 \(t=0\) 仅根据任务描述 \(T\) 进行一次检索,固定记忆块;动态检索在每一步依据局部历史 \(h_t\) 重新查询。为防止环境信息泄露,系统完全摒弃了现有工作中向智能体提供每步合法动作候选(valid actions)的作弊设定,仅在系统提示中提供全域通用动作语法模板,强制智能体完全依靠情景经验与自身理解进行决策生成:
3. 检索感知的联合微调范式(EXPRAG-LoRA):从单纯参数拟合转向学会使用经验
单纯在冻结模型上挂载检索记忆容易遭遇模型遵循能力不足的问题,而传统 LoRA 监督微调又会导致策略对训练任务过度拟合。EXPRAG-LoRA 在训练阶段即模拟推理态:将训练集任务作为经验库,在输入端同步拼接检索到的 top-K 轨迹记忆块 \(m_t = \mathrm{system}(\tau^1, \dots, \tau^K)\),要求模型在给定参考经验的前提下预测黄金动作。该训练目标使得参数不仅学习特定领域的环境动力学常识,更学会了将注意力分配到记忆块中的关键子目标分解与动作序列模式,从而在测试集面对完全陌生(未见硬任务)乃至质量参差不齐(包括自身失败尝试)的经验时,仍能稳健泛化。
损失函数 / 训练策略¶
训练采用 LoRA 参数高效微调,作用于注意力投影矩阵(q_proj, k_proj, v_proj, output_proj),设置 LoRA rank 为 8、\(\alpha\) 为 16、dropout 为 0.1。优化器采用 PagedAdamW8bit,学习率固定为 \(5 \times 10^{-5}\),搭配常数调度器并在 A100 GPU 上单卡训练。在训练集仅包含 Easy 任务的设定下,ALFWorld 训练 10 个 epoch,ScienceWorld 训练 30 个 epoch。实验特别发现:智能体的任务执行成功率往往在验证集 loss 触底并反弹之后仍在稳步提升,因此不能仅靠验证集 loss 早停,长周期微调对复杂长程决策的泛化极为关键。
实验关键数据¶
主实验¶
在分布外未见硬任务(OOD Hard Tasks)上,对比免检索微调(LoRA)、仅推理时检索(LoRA + EXPRAG)以及全流程检索感知微调(EXPRAG-LoRA)的成功率(%):
| 数据集与任务类型 | 指标 | EXPRAG (免训练) | LoRA (无检索) | LoRA + EXPRAG (推理检索) | EXPRAG-LoRA (本文) |
|---|---|---|---|---|---|
| ALFWorld (Ministral 3-8B) Easy (in-d) | 成功率(%) | 54.8 | 98.6 | 97.3 | 97.3 |
| ALFWorld (Ministral 3-8B) Hard (oo-d) | 成功率(%) | 47.5 | 34.4 | 67.2 | 88.5 |
| ScienceWorld (Ministral 3-8B) Easy (in-d) | 成功率(%) | 43.5 | 38.8 | 54.1 | 58.8 |
| ScienceWorld (Ministral 3-8B) Hard (oo-d) | 成功率(%) | 18.8 | 15.6 | 28.1 | 42.2 |
| ALFWorld (Qwen 2.5-7B) Hard (oo-d) | 成功率(%) | 70.5 | 21.3 | 70.5 | 90.2 |
| ScienceWorld (Qwen 2.5-7B) Hard (oo-d) | 成功率(%) | 6.2 | 7.8 | 23.4 | 29.7 |
| ALFWorld (Qwen 2.5-7B-1M) Hard (oo-d) | 成功率(%) | 54.1 | 23.0 | 68.9 | 91.8 |
| ScienceWorld (Qwen 2.5-7B-1M) Hard (oo-d) | 成功率(%) | 15.6 | 14.1 | 12.5 | 29.7 |
消融实验¶
经验质量鲁棒性及从自身失败中学习测试(基于 Ministral 3-8B 在 ALFWorld 和 ScienceWorld 未见硬任务上的成功率 %):
| 经验库配置 (Index Condition) | 经验特征与设定说明 | EXPRAG (免训练) | LoRA + EXPRAG | EXPRAG-LoRA (本文) |
|---|---|---|---|---|
| Matched Expert (基准) | 包含硬任务专家完整轨迹 (1805 / 1254 条) | 44.3 / 20.3 | 68.3 / 31.2 | 91.8 / 47.9 |
| Empty (无检索) | 不挂载任何外部检索经验 | 0.0 / 4.7 | 31.1 / 14.6 | 30.6 / 3.1 |
| Mismatched Expert | 仅挂载易任务专家经验(跨任务不匹配) | 8.7 / 15.6 | 29.5 / 12.5 | 41.5 / 9.4 |
| Low-Coverage Expert | 每类硬任务仅保留 5 条轨迹(极度稀疏) | 36.1 / 22.9 | 50.8 / 22.9 | 83.6 / 54.7 |
| Matched Strong-LLM | 由 Qwen2.5-70B 生成的带次优步骤轨迹 | 44.3 / 26.6 | 65.6 / 33.9 | 90.2 / 38.0 |
| Self-Experience | 仅挂载智能体自身首轮失败尝试轨迹 | 0.0 / 7.8 | 31.1 / 6.2 | 60.7 / 4.7 |
| Self-Exp + Matched Expert | 自身失败轨迹 + 专家经验联合挂载 | 34.4 / 17.2 | 67.2 / 21.9 | 93.4 / 29.7 |
关键发现¶
- 传统 LoRA 微调在未见硬任务上出现灾难性性能崩塌(ALFWorld Hard 上 Ministral 从 98.6% 骤降至 34.4%,Qwen 2.5-7B 从 86.3% 暴跌至 21.3%),表现甚至远不如未经微调的免训练检索基线(47.5% 和 70.5%)。这证实了单纯的行为克隆会导致模型过度特化于训练分布。
- EXPRAG-LoRA 在全部模型上展现出极其强劲的 OOD 泛化能力,在 ALFWorld Hard 上达到 88.5%~91.8% 的极高成功率,显著超越传统 LoRA 达 54~70 个百分点,并在配对 McNemar 检验中达到 \(p < 0.001\) 极显著水平。
- 模型具备在无测试期参数更新的情况下“从失败中学习”的自改进能力:在 ALFWorld Hard 上,首轮尝试成功率为 0%,但 EXPRAG-LoRA 能够将这批失败轨迹作为负例经验有效利用,第二轮尝试成功率直接跃升至 60.7%,显著优于 LoRA+EXPRAG 的 31.1%。
- 动态检索虽能实时感知最新状态,但在检索库不匹配时容易因频繁替换提示上下文引发策略震荡(context churn),且需要反复清空 KV Cache,综合权衡下静态检索(\(K=2\))在性能与效率上表现出更优的帕累托平衡。
亮点与洞察¶
- 破除复杂记忆神话:研究证明简单的只读情景轨迹检索不仅极具竞争力,且经检索感知微调后能击败包括 Reflexion、A-MEM、Memory Bank 等包含复杂读写和反思逻辑的前沿记忆系统。
- 训练与推理闭环的一致性原则:智能体不仅需要有经验可查,更需要在训练时被教导“如何从参考轨迹中提取有用策略”,消除了推理期额外挂载记忆带来的分布漂移。
- 极佳的不完美经验耐受性:即使经验库极度稀疏(每个任务仅 5 条)或包含教师模型生成的次优步骤,EXPRAG-LoRA 仍能保持超过 80%~90% 的成功率,验证了其在实际低资源部署中的实用价值。
局限与展望¶
- 实验基准主要基于受控的专家轨迹库与固定文本环境(ALFWorld 与 ScienceWorld),尚未覆盖长程动态演化的真实开放域环境(如复杂 Web 浏览与操作系统操作)。
- 自身失败经验的学习效果受环境探索多样性制约:在动作空间庞大、成功反馈稀疏的 ScienceWorld 中,自身失败轨迹未能稳定带来增益,说明盲目堆叠错误尝试并不能自发产生有效解法,未来仍需结合反思提示或多轮探索机制。
- 记忆机制为只读静态库,未引入长生命周期下的记忆合并、遗忘修剪与层级抽象机制。
相关工作与启发¶
- vs Reflexion / A-MEM: 后两者通过复杂的语言模型反思提炼自然语言总结或更新动态记忆图谱;本文采用更极简的只读完整交互轨迹检索,并首次系统论证了“在微调期融入检索经验”是释放记忆潜能的核心引擎。
- vs ETO / NAT: 前者利用探索中的正负样本进行离线强化或带负例的参数更新;本文在推理阶段保持参数完全冻结,通过上下文检索增强实现即时的经验泛化与试错自纠正,提供了正交的适应维度。
评分¶
- 新颖性: ⭐⭐⭐⭐ [打破了智能体记忆与微调割裂的现状,系统确立了检索感知微调范式]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 4 种开源主力底座、跨环境 OOD 严苛切分、广泛消融与严格假设检验]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑极为严密客观,全面指出了基线复现与评测泄漏的陷阱]
- 价值: ⭐⭐⭐⭐⭐ [为开源大模型轻量化智能体在复杂环境中的泛化落地提供了极高工程指导价值]