EvoMemBench: Benchmarking Agent Memory from a Self-Evolving Perspective¶

会议: NeurIPS 2026
arXiv: 2605.18421
代码: https://github.com/DSAIL-Memory/EvoMemBench
领域: LLM Agent
关键词: 大语言模型智能体, 自进化记忆, 基准评测, 工具调用, 长期记忆

一句话总结¶

提出了首个从自进化视角系统评测智能体记忆的开源基准 EvoMemBench，从记忆范畴（单回合内与跨回合）和记忆内容（知识型与执行型）两个正交维度解耦评测 15 种代表性记忆方法，系统揭示了现有记忆机制在记忆修正、长上下文竞争以及跨环境迁移中的关键瓶颈与适用边界。

研究背景与动机¶

大语言模型驱动的自主智能体在推理、规划与外部环境交互方面取得了显著进展，但其底层大语言模型本质上依然是无状态的（stateless）：它们依赖当前输入的上下文窗口进行推理，无法内生地在交互过程中维护或持久化更新动态内部状态。最常见的妥协方案是将历史交互、环境观察以及工具返回结果不断追加到 Prompt 中，但随着任务交互步数的增加，对话上下文长度会迅速膨胀，最终撞上有限的上下文窗口容量上限。因此，构建能够持续更新、有效组织并按需重用的外部记忆机制，已成为实现具备终身学习与自适应能力智能体的核心必由之路。

然而，如何系统性地评估智能体的记忆机制面临显著挑战。现有的记忆评测基准存在明显的片面性：文本驱动的基准（如 LoCoMo、LongMemEval、MemoryAgentBench）主要关注多会话对话或文档上下文中的知识检索与长距离理解，完全脱离了真实智能体与环境及工具交互的执行动作流；而新兴的智能体/终身学习基准（如 MemoryArena、StuLife、Evo-Memory、MemoryBench）虽然引入了交互环境，但大多未能将记忆范畴（单回合内实时更新 vs. 跨回合经验累积）与记忆内容属性（知识导向 vs. 执行导向）进行正交解耦，且部分相关基准未开源，导致各类代表性记忆方法缺乏公平、统一且可复现的横向对比体系。

针对上述空白，本文跳出单一维度的测试思路，提出了自进化记忆（self-evolving memory）的双轴评估视角。智能体记忆既需要在单回合内跟踪演进中的动态事实并维护局部执行状态，也需要在跨任务回合间提炼可复用的领域知识与通用执行经验。核心 idea：构建首个正交解耦记忆范畴（单回合 vs. 跨回合）与记忆内容（知识型 vs. 执行型）的双轴四象限开源基准 EvoMemBench，并在统一的评测协议下横跨 6 类任务系统对比 15 种代表性记忆系统与强长上下文基线，揭示记忆在何时有效、何时退化以及不同场景的最佳记忆形式。

方法详解¶

整体框架¶

EvoMemBench 将智能体自进化记忆的形式化问题建模为离散交互状态的演化过程。在回合 \(e\) 的第 \(t\) 步，智能体基于历史上下文 \(h_{t-1}^e\)、当前观察 \(o_t^e\) 以及显式记忆状态 \(m_t^e\) 采样动作 \(a_t^e \sim \pi(\cdot \mid h_{t-1}^e, o_t^e, m_t^e)\)，并在获得反馈 \(y_t^e\) 后通过更新函数更新记忆 \(m_{t+1}^e = \mathcal{U}(m_t^e, o_t^e, a_t^e, y_t^e)\)。基于记忆演化的范畴与内容，EvoMemBench 建立了包含 4 个核心设置的统一评测架构：单回合知识演化（InEp-Know）、单回合执行演化（InEp-Exec）、跨回合知识演化（CrossEp-Know）以及跨回合执行演化（拆分为工具调用 CrossEp-Tool、网络检索 CrossEp-Web 和具身环境 CrossEp-Emb 三个子集）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    subgraph S1["双轴形式化定义与四象限解耦"]
        direction TB
        A["智能体交互轨迹与环境反馈"] --> B["自进化双轴维度划分<br/>范畴: In-Episode vs. Cross-Episode<br/>内容: Knowledge vs. Execution"]
    end
    subgraph S2["六大基准任务数据集重构"]
        direction TB
        B --> C["知识演化任务<br/>InEp-Know: 事实检索与选择性遗忘<br/>CrossEp-Know: 跨任务上下文学习累积"]
        B --> D["执行演化任务<br/>InEp-Exec: 工具隐式依赖重构<br/>CrossEp-Tool/Web/Emb: 跨领域经验迁移"]
    end
    subgraph S3["多类别记忆系统基线接入"]
        direction TB
        E["15种代表性记忆机制<br/>检索增强/短期/通用长期/过程型/元进化"]
    end
    subgraph S4["标准化多维评估与瓶颈诊断"]
        direction TB
        C & D & E --> F["统一评估协议<br/>准确率/成功率/进度分/Token开销"]
    end

关键设计¶

1. 双轴正交四象限形式化：解耦演化范畴与记忆内容需求 传统基准往往混淆单回合内的状态跟踪与跨回合的长效经验学习。EvoMemBench 首次建立清晰的双轴形式化框架：在范畴轴上，单回合记忆（In-Episode）专注于局部任务级紧凑状态，必须在单次尝试中随信息增量与动作反馈在线更新并在回合结束时清空；而跨回合记忆（Cross-Episode）则是经验级紧凑状态，需要在连续任务序列间持续沉淀通用模式，同时避免上一任务特定的无关细节干扰下一任务。在内容轴上，知识型演化（Knowledge Evolution）旨在维护支撑推理的事实、规则与约束，核心挑战在于新旧知识冲突时的选择性遗忘与修正；执行型演化（Execution Evolution）则专注于动作序列进展、未完成子目标、工具调用范式与工作流规程的维护。二者组合形成了四个完全正交的评测象限。

2. 隐式依赖与动作拆解重构：强化执行状态跟踪难度 在现有的多轮工具调用数据（如 BFCL）中，用户指令通常显式包含参数、实体名称或上一步的输出结果，使得智能体无需依赖内部记忆状态，仅凭当前输入的表层模式匹配就能完成调用。针对这一评测假象，本文对数据进行了双重针对性重构：其一，设计提示词引导大模型将后序轮次中对前序实体的显式提及替换为自然语言的隐式指代（例如将明确的目录路径、股票代码或订单号替换为“刚才创建的目录”、“那支股票”、“刚才的预订”），迫使智能体必须从记忆或历史状态中回溯真实实体；其二，将原先一个 Turn 中包含多个依赖动作的复合调用，按原始依赖顺序拆分成具有语义前置关系的连续单步 Sub-turns。重构样例均经过人工严格校验，从机制上剥离了复杂单步规划的干扰，将评测焦点纯粹聚焦在跨轮次执行状态跟踪上。

3. 多粒度跨环境迁移评估：度量执行经验的跨域泛化边界 跨回合执行演化的核心在于经验的复用价值，而非同分布任务的简单记忆背诵。EvoMemBench 为跨回合执行构建了三套高异质性场景：BFCL-MultiTurn-Base 覆盖的文件系统、车辆控制、交易机器人和行程预订（CrossEp-Tool）；xbench 与 WebWalkerQA 组成的真实网页搜索与信息整合（CrossEp-Web）；以及 ALFWorld 包含的 6 类家庭室内交互任务（CrossEp-Emb）。更关键的是，评测框架显式引入了“跨环境迁移协议”：智能体在源子领域（如车辆控制）中通过交互积累记忆后被冻结，随后直接迁移到目标子领域（如行程预订）中测试零样本辅助执行效果。该设计有效量化了各类记忆模型究竟是习得了通用的决策程序（如状态检验、结果校验循环），还是仅仅过拟合了特定环境的 API 语法。

4. 全谱系记忆方法横向对齐：覆盖 5 大类 15 种机制与上下文控制 为了打破现有记忆工作各自为战的局面，EvoMemBench 在统一的底层大模型（DeepSeek-V3.2）和评估框架下接入了 15 种涵盖当前学术界与工业界的主流记忆机制，包括检索增强型（BM25、Qwen3-Emb-4B、GraphRAG）、短期记忆缓冲区（MemAgent、MemoBrain）、通用长期结构化记忆（Mem0、A-MEM、MemOS、MemoryOS）、过程型长效记忆（AWM、SkillWeaver、AgentKB、ACE、ReasoningBank）以及元进化记忆（MemEvolve）。同时，针对长上下文大模型对记忆系统的替代效应，基准引入不同上下文预算（16K、32K、64K、128K）严格控制实验变量，客观评估显式记忆机制在对抗无限窗口模型时的相对增益与固有成本。

实验关键数据¶

主实验¶

在单回合知识演化基准 InEp-Know（包含记忆保持与记忆修正两类测试）以及跨回合执行演化基准（涵盖工具调用、网络检索与具身环境）上的主实验结果如下所示：

方法类别	具体方法	InEp-Know 记忆保持 Avg. (Rank)	InEp-Know 记忆修正 Avg. (Rank)	InEp-Know 综合 Rank	CrossEp-Tool 成功率 (%)	CrossEp-Web 成功率 (%)	CrossEp-Emb 成功率 (%)	跨回合执行综合 Rank
长上下文无记忆基线	Gemini-3-Flash	88.05 (1.00)	77.00 (1.00)	1.00	69.5	74.2	56.4	7.8
长上下文无记忆基线	GPT-5-mini	75.23 (3.50)	50.50 (2.00)	3.00	54.0	71.9	43.8	12.7
长上下文无记忆基线	DeepSeek-V3.2	55.33 (6.75)	37.50 (3.00)	5.50	45.0	67.6	66.4	11.8
检索增强型记忆	BM25	66.78 (4.25)	30.50 (4.00)	4.17	64.0	72.4	72.5	6.9
检索增强型记忆	Qwen3-Emb-4B	45.23 (8.50)	17.00 (7.50)	8.17	65.5	71.6	74.5	5.7
检索增强型记忆	GraphRAG	39.55 (10.50)	11.00 (9.50)	10.17	61.5	71.5	72.8	6.9
通用长期记忆	Mem0	68.55 (4.50)	28.00 (4.50)	4.50	53.0	76.3	74.2	7.9
通用长期记忆	A-MEM	62.05 (4.25)	20.00 (6.00)	4.83	56.5	73.9	84.3	5.2
通用长期记忆	MemOS	59.93 (5.50)	19.00 (7.50)	6.17	49.0	74.6	73.0	8.4
通用长期记忆	MemoryOS	50.37 (7.50)	16.00 (9.50)	8.17	59.0	73.7	71.2	6.5
过程型长期记忆	AWM	-	-	-	54.5	74.2	75.9	7.2
过程型长期记忆	ReasoningBank	-	-	-	68.5	75.6	74.7	5.4
过程型长期记忆	ACE	-	-	-	43.0	71.2	69.6	8.2
过程型长期记忆	AgentKB	-	-	-	59.3	73.9	79.0	6.5
元进化记忆	MemEvolve	-	-	-	57.5	69.2	73.7	8.8

消融与上下文预算分析¶

在单回合执行任务 InEp-Exec（由多轮工具调用重构而成）中，不同上下文长度（16K、32K、64K、128K）对记忆系统带来的增益消融对比（统一采用 DeepSeek-V3.2 骨干）：

上下文预算 / 模型配置	Gorilla File Sys.	Vehicle Control	Trading Bots	Travel Booking	整体成功率 (%)	相比无记忆基线提升
16K 预算
DeepSeek-V3.2 (无记忆)	52.0	38.0	8.0	16.0	28.5	-
+ ReasoningBank (最佳过程型)	62.0	60.0	16.0	34.0	43.0	+14.5
+ A-MEM (最佳长期通用)	52.0	48.0	34.0	16.0	37.5	+9.0
+ BM25 (最佳检索型)	50.0	50.0	20.0	26.0	36.5	+8.0
+ MemoBrain (短期压缩型)	40.0	40.0	4.0	16.0	25.0	-3.5 (退化)
32K 预算
DeepSeek-V3.2 (无记忆)	46.0	40.0	40.0	16.0	35.5	-
+ ReasoningBank	52.0	52.0	44.0	50.0	49.5	+14.0
+ BM25	56.0	46.0	54.0	22.0	44.5	+9.0
64K 预算
DeepSeek-V3.2 (无记忆)	46.0	73.2	46.0	16.0	45.3	-
+ AWM (最佳过程型)	48.0	78.3	72.0	14.0	53.1	+7.8
+ GraphRAG	54.0	80.2	46.0	28.0	52.0	+6.7
128K 预算
DeepSeek-V3.2 (无记忆)	48.0	44.0	46.0	20.0	39.5	-
+ ReasoningBank	54.0	54.0	48.0	36.0	48.0	+8.5
+ MemoryOS	44.0	40.0	20.0	26.0	32.5	-7.0 (退化)

关键发现¶

记忆修正能力远落后于记忆保持：在 InEp-Know 中，所有外部记忆方法在记忆保持任务上均能取得可观效果，但在事实冲突或多跳推理更新场景（FactConsolidation Multi-Hop）下性能均发生断崖式下跌（准确率多在 10% 以下），表明当前记忆系统的核心症结不在于“存下”，而在于面对冲突证据时的动态识别、更新与旧记忆抑制能力严重匮乏。
记忆的收益与上下文受限程度呈强负相关：在 16K/32K 上下文受限且原始交互易被截断的设置下，记忆系统（如 ReasoningBank、A-MEM）提供了高达 +14.5% 的成功率增益；但当上下文扩展至 128K 时，记忆注入的边际效益剧烈收敛，部分方法甚至落后于无记忆基线（如 MemoryOS 下降 7.0%），说明低质量或未经精细对齐的记忆拼接会反向稀释 Prompt 有效注意力。
短期压缩机制极易丢失执行细粒度参数：在多轮工具调用场景中，基于固定 Buffer 或递归覆写压缩的短期记忆（如 MemAgent 和 MemoBrain）在 16K 和 32K 下甚至全面劣于直接截断无记忆基线，证明执行状态跟踪对精确的 API 参数、实体标识与局部中间变量具有刚性依赖，激进的信息有损压缩有害无利。
跨领域经验迁移依赖决策过程的同构性：在跨环境迁移测试中，工具使用环境（CrossEp-Tool）展现出高度稳定的正向经验迁移（因 API 交互具有通用状态检验与错误修正循环）；而在 ALFWorld（CrossEp-Emb）具身任务中，各子环境间物体操作逻辑与物理条件差异极大，导致跨环境记忆迁移频繁出现零增益乃至负迁移。

亮点与洞察¶

自进化视角下的双轴正交解耦范式：将单回合状态追踪与跨回合经验沉淀完全拆分，并对知识与执行内容分别制定评测准则，从根本上终结了过去文献中将“对话多轮记忆”与“智能体工具动作记忆”混为一谈的混乱评测现状。
隐式指代与多动作解构重构策略：通过提示词与严格校验，剥离原始数据中显式实体暴露所带来的假阳性捷径，真实测出了 LLM 智能体在脱离显式提示词指引下维持局部执行状态的底层瓶颈。
经验证伪了“通用全能记忆架构”的幻觉：实验首次在多领域多范式下系统证实，不存在适应所有场景的单一记忆结构；工具调用偏好实例检索，网络搜索依赖长期事实沉淀，而具身控制则必须依靠规程型工作流，为下一代复合智能体记忆架构设计指明了具体路径。

局限与展望¶

作者承认的局限：受评测算力与 API 接口成本限制，基准中的跨环境演化主要评测了固定领域的离线冻结迁移，未能完全覆盖数十个长生命周期回合下的终身在线持续自进化（Continual Online Self-Evolution）。
实验设计与环境局限：执行型任务集中在 BFCL、Web 与 ALFWorld，缺乏对复杂代码工程仓库或真实物理世界多模态机器人长程控制任务的深入评测。
未来改进思路：探索结合符号世界模型与神经自注意力机制的动态分层记忆架构，重点攻关多跳冲突证据下的主动记忆遗忘与精准覆写机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出正交解耦的智能体自进化记忆双轴评测体系，填补了工具型与执行型记忆评测的盲区。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 15 种记忆基线、3 种主流长上下文 LLM、6 种重构任务以及 4 种上下文长度，对比维度极为完备。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，问题定义数学形式化规范，实验图表详实且洞察深入。
价值: ⭐⭐⭐⭐⭐ 为大模型自主智能体记忆架构的研发提供了标准化的基准与深入的经验选型指南。