When Stored Evidence Stops Being Usable: Scale-Conditioned Evaluation of Agent Memory¶
会议: NeurIPS 2026
arXiv: 2605.07313
OpenReview: https://openreview.net/forum?id=LXvDQgan2w
领域: LLM Agent
关键词: 智能体记忆评测, 规模条件评测, 证据保全缩放, 检索交互负担, 故障模式分解
一句话总结¶
本文提出了一种基于证据保全缩放的智能体记忆规模条件评测协议，通过在固定任务关键证据的同时注入无关会话，结合预算依从可靠率（Pass@B）、长尾检索调用负担（P90R）、故障模式分解与可用规模边界四大轨迹级指标，揭示了智能体记忆可用性退化的根因差异。
研究背景与动机¶
大语言模型智能体通过接入外部记忆系统以支持跨会话的长周期交互与上下文回溯。然而，当前关于智能体记忆的评测体系主要聚焦于静态快照下的端到端问答准确率或检索召回质量。在实际持续部署场景中，智能体面对的真实历史会话与环境观察是随时间持续膨胀的。静态评测无法反映出当无关可访问历史规模激增时，智能体对既有已存证据的实际提取与利用能力何时开始失效，更无法厘清性能下降究竟是由于检索排序退化、过度交互导致预算耗尽，还是模型自身的上下文推理与答案综合错误。
这种评估缺失的核心矛盾在于：记忆规模扩张不仅是底层存储后端的数据量扩容，更深刻改变了智能体在推理端所面临的交互与控制负担。面对庞大的记忆历史，不同架构的记忆接口呈现出截然不同的行为模式——单次检索架构往往在有限预算内直接返回质量受损的证据导致错误回答，而多跳图遍历或迭代式接口则极易陷入漫长的“检索-验证”循环，从而迅速耗尽交互调用预算。如果仅仅用单一的端到端分数来宣称某种记忆系统具有“良好可扩展性”，势必掩盖不同智能体模型与记忆接口耦合时真实的系统脆弱性。
本文的切入角度是解耦存储容量与智能体推理端的交互负担，将记忆可扩展性定义为受智能体、接口形态、规模区间及交互预算共同约束的操作特性。核心 idea：在固定任务黄金证据的前提下系统性注入无关会话梯级，通过记录智能体与记忆接口的交互执行轨迹，构建包含预算依从可靠率、长尾调用分位数、耗尽与错误故障分解及可用规模断裂边界的完整评测诊断体系。
方法详解¶
整体框架¶
本文提出的评测协议针对基准测试中的每个查询 \(q\)，首先锁定人工标注的任务关键证据会话集合 \(E(q)\)，构建保持证据不变的记忆规模梯级 \(\mathcal{H}^{(s)}(q)\)，随后令搭载不同记忆接口 \(\mathcal{M}\) 的智能体 \(A\) 在预设的外部记忆调用预算 \(B\) 下执行交互回溯并生成答案，最后基于捕获的完整交互轨迹 \(\tau\) 进行多维度诊断评估。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入查询 q 与黄金证据 E(q)"] --> SC["证据保全规模梯级构建<br/>保持 E(q) 不变并注入无关会话"]
SC --> TR["智能体与记忆接口交互交互轨迹生成<br/>记录外部检索调用序列 τ=(o1,a1,...,oT,aT)"]
TR --> BD["预算依从可靠率评估<br/>计算成功率 Pass@B: C(τ)=1 且 R(τ)≤B"]
BD --> FD["长尾交互负担与故障分解<br/>统计 P90R 并解耦为 p_exh 与 p_wrong"]
FD --> SB["可用规模边界判定<br/>计算首个跌破可靠阈值的断裂规模 s*"]
SB --> Out["规模条件记忆评测报告与诊断建议"]关键设计¶
1. 证据保全规模梯级构建：剥离证据缺失干扰，纯化检索控制难度
传统长文本或多轮会话评测在增加上下文时常常同时改变或稀释了答案线索，导致难以判断失败是源于证据丢失还是检索干扰。本文严格遵循证据保全原则，对于查询 \(q\)，黄金答案为 \(y(q)\)，对应的关键证据会话集合为 \(E(q)\)。在构建规模条件历史族 \(\{\mathcal{H}^{(s)}(q)\}_{s \in \mathcal{S}}\) 时，要求对任意规模 \(s\) 均满足 \(E(q) \subseteq \mathcal{H}^{(s)}(q)\)，且集合 \(E(q)\) 跨所有 scale 保持严格恒定，新增的内容 \(\mathcal{H}^{(s)}(q) \setminus E(q)\) 仅为纯粹的无关干扰会话。实验中采用标准离散梯级 \(\mathcal{S}=\{s_0, s_1, s_2, s_3, s_4\}\)，分别对应注入 \(N_{\mathrm{irr}} \in \{0, 100, 200, 300, 400\}\) 个无关会话，平均单查询 token 规模从 \(s_0\) 的 4.2K 扩展到 \(s_4\) 的 1.03M。该机制保证了任务本质的可解性，将性能下滑的归因完全集中在智能体在海量历史中定位、筛选、验证和利用证据的交互控制负担上。
2. 预算依从可靠率与长尾交互负担量化：面向部署约束的轨迹诊断
在实际智能体部署中，连续调用外部检索 API 会带来显著的推理时延与计算开销，盲目追求无限轮次检索以提升命中率在工程上不可行。定义智能体发起的外部记忆 API 调用计数为 \(R(\tau) := \sum_{t=1}^T \mathbf{1}[a_t \in \mathcal{A}_{\mathrm{ext}}(\mathcal{M})]\)，并用 \(C(\tau) \in \{0, 1\}\) 表示最终答案的正确性（由 LLM-as-judge 依据黄金答案判定）。本文提出了预算依从可靠率指标 \(\mathrm{Pass@B}\)：
仅当智能体在至多 \(B\) 次记忆调用内给出正确答案时才记为成功（主实验基准预算设为 \(B_0=2\)）。为了进一步刻画在干扰会话激增时多轮“检索-验证”循环引起的计算负担激增，本文提出通过检索调用次数分布的第 90 分位数 \(\mathrm{P90R}(A, \mathcal{M}, s) := \inf \{ r \in \mathbb{N}_0 : P_{A, \mathcal{M}, s}(R(\tau) \leq r) \geq 0.9 \}\) 来追踪长尾交互负担。之所以关注第 90 分位数而非中位数，是因为规模扩张带来的控制退化最先在困难查询的长尾样本中爆发，此时中位数往往仍维持在较低水平。
3. 故障模式解耦与可用规模边界：精确定位记忆失效根因
\(\mathrm{Pass@B}\) 的下降可能来自两种截然不同的失败机制：一种是智能体耗尽了交互预算导致未能在限制内完成任务，另一种则是智能体虽然遵守了预算约束但给出了错误答案。本文显式将观测到的失败概率解耦为预算非依从率 \(p_{\mathrm{exh}}\) 与预算内错误率 \(p_{\mathrm{wrong}}\)：
这种分解直观展现了扁平接口（如 OpenClaw）、平面接口（如 Mem0、MemOS-Tree）与分层接口（如 HippoRAG、LiCoMemory）在规模化下的不同软肋。在此基础上，本文引入可用规模断裂边界 \(s_\alpha^*(A, \mathcal{M}; B)\)，即在预算 \(B\) 下，系统可靠率首次跌破预设可用阈值 \(\alpha\)（默认取 0.7）时所对应的无关会话注入数量 \(N_{\mathrm{irr}}(s_j)\)。若在全部梯级内均维持在阈值之上，则记为 \(s^* > 400\)。这一边界为工业界与学术界对比不同记忆架构提供了具备条件约束的紧凑量化标尺。
一个完整示例¶
以 LongMemEval 中包含 400 个注入无关会话的复杂多跳查询为例： 1. 输入与配置：查询需要根据用户两周前的就诊记录推荐药物，任务相关证据仅包含 1 个会话，但可访问历史被混入 400 个无关聊天会话（总计超过 100 万 token）。基准预算限制为 \(B_0 = 2\)。 2. LiCoMemory + Qwen3-8B 轨迹：Qwen3-8B 面对分层认知图谱（Cognigraph），第一轮检索返回了相关的疾病症状节点，但模型缺乏精细的终止控制，反复发起重述检索并试图遍历无关实体关系。在第 3 次调用记忆接口时，累计调用数 \(R(\tau) = 3 > 2\)，触发预算耗尽判定，即使其最终综合出正确答案，该轨迹依然被判定为非依从失败（计入 \(p_{\mathrm{exh}}\)）。 3. LiCoMemory + Qwen3-235B 轨迹：规模更大的 Qwen3-235B 在首轮精准检索到实体证据后，具备更强的上下文辨别与停止判断能力，直接利用检索结果完成验证并终止搜索，调用计数 \(R(\tau) = 1 \leq 2\)，答案正确，被判定为预算依从成功（计入 \(\mathrm{Pass@B_0}\)）。
实验关键数据¶
主实验¶
在 LongMemEval 基准（2,000 个查询，5 个规模梯级共 10,000 条轨迹/系统）上，对比不同智能体在分层记忆接口 HippoRAG 与 LiCoMemory 下的预算依从可靠率（\(B_0=2\)）、长尾负担及可用规模边界：
| 智能体模型 | 记忆系统 | Pass@B0 (s0, %) | Pass@B0 (s4, %) | 衰减幅度 (pp) | P90R (@s4) | 断裂边界 s*0.7 (无关会话数) |
|---|---|---|---|---|---|---|
| Qwen3-8B | HippoRAG | 78.2 ± 1.9 | 58.2 ± 2.3 | ↓ 20.0 | 1 | 100 |
| Qwen3-8B | LiCoMemory | 53.5 ± 2.2 | 52.2 ± 2.3 | ↓ 1.3 | 5 | 0 |
| Qwen3-32B | HippoRAG | 82.6 ± 1.7 | 63.5 ± 2.1 | ↓ 19.1 | 1 | 100 |
| Qwen3-32B | LiCoMemory | 78.6 ± 1.9 | 78.5 ± 1.9 | ↓ 0.1 | 4 | > 400 |
| Qwen3-235B | HippoRAG | 84.8 ± 1.6 | 68.8 ± 2.0 | ↓ 16.0 | 1 | 300 |
| Qwen3-235B | LiCoMemory | 81.4 ± 1.7 | 80.1 ± 1.7 | ↓ 1.3 | 2 | > 400 |
消融与故障模式分解实验¶
下表展示了在最大干扰规模 \(s_4\)（+400 个无关会话，基准预算 \(B_0=2\)）下，扁平（Flat）、平面（Planar）与分层（Hierarchical）三类记忆接口在不同模型驱动下的故障分解：
| 智能体模型 | 接口类别 | 具体记忆系统 | 预算超支率 p_exh (s0 / s4, %) | 预算内错误率 p_wrong (s0 / s4, %) | 主要故障根因 |
|---|---|---|---|---|---|
| Qwen3-8B | Flat | OpenClaw | 0.0 / 0.0 | 42.0 / 54.5 | 证据利用与综合错误 |
| Qwen3-8B | Flat | MemOS-text | 2.6 / 0.4 | 45.8 / 97.2 | 检索精度不足导致错答 |
| Qwen3-8B | Planar | Mem0 | 4.2 / 1.4 | 52.2 / 85.6 | 早停与检索排序退化 |
| Qwen3-8B | Planar | MemOS-Tree | 23.0 / 30.2 | 36.0 / 68.2 | 树遍历决策不稳定 |
| Qwen3-8B | Hierarchical | HippoRAG | 0.0 / 0.0 | 21.8 / 41.8 | 单次图传播候选受噪 |
| Qwen3-8B | Hierarchical | LiCoMemory | 37.2 / 38.6 | 9.3 / 9.2 | 模型控制弱导致调用超支 |
| Qwen3-32B | Flat | OpenClaw | 0.0 / 0.0 | 36.5 / 42.0 | 上下文噪声干扰 |
| Qwen3-32B | Planar | Mem0 | 46.0 / 83.6 | 16.4 / 9.4 | 严重陷入过度检索循环 |
| Qwen3-32B | Hierarchical | HippoRAG | 0.0 / 0.0 | 17.4 / 36.5 | 检索返回集竞争加剧 |
| Qwen3-32B | Hierarchical | LiCoMemory | 15.4 / 15.7 | 6.0 / 5.8 | 依从率高，少量多跳超限 |
| Qwen3-235B | Planar | Mem0 | 46.0 / 79.2 | 30.8 / 4.0 | 反复验证导致预算耗尽 |
| Qwen3-235B | Hierarchical | LiCoMemory | 1.9 / 2.0 | 16.8 / 17.9 | 极强终止控制与高准确率 |
关键发现¶
- 相同的可靠率降幅隐藏了截然不同的失效机制：HippoRAG 采用单次图检索，其 \(p_{\mathrm{exh}}\) 始终为 0，性能下降完全源于海量无关实体稀释了图传播激活值，导致预算内返回了噪声上下文（\(p_{\mathrm{wrong}}\) 显著上升）；相反，LiCoMemory 在小模型（Qwen3-8B）上错误率极低（\(p_{\mathrm{wrong}} \approx 9\%\)），但预算耗尽率高达 38.6%，表明模型被多跳检索机制拖垮。
- 模型规模对记忆控制能力的提升具有强接口特异性：在 LiCoMemory 上，从 8B 扩展到 235B 使得预算耗尽率从 38.6% 骤降至 2.0%，P90R 从 5 降至 2；然而在迭代式搜索接口 Mem0 上，增大模型反而导致 Qwen3-32B 和 235B 更倾向于发起持续验证，导致 \(p_{\mathrm{exh}}\) 飙升至约 80%，表明单靠模型增大无法解决所有接口的停止不稳定性。
- 基准测试特性影响退化幅度：在 LoCoMo 对话基准上，Qwen3-8B+HippoRAG 的端到端降幅仅为 2.1 pp（58.2% → 56.0%），退化幅度远小于 LongMemEval，但故障分解依然稳定有效。
亮点与洞察¶
- 将记忆可扩展性从存储属性重定义为轨迹交互属性：以往系统往往宣称支持“百万级记忆”，却忽视了智能体调用接口的认知与控制开销。本文通过 Pass@B 和 P90R 直观证明了“存得下”绝不等于“用得了”。
- 细粒度解耦耗尽与错答（\(p_{\mathrm{exh}}\) vs \(p_{\mathrm{wrong}}\)）：为记忆系统开发者提供了直接的归因罗盘——如果 \(p_{\mathrm{exh}}\) 高应优化智能体的停止准则或接口交互协议，如果 \(p_{\mathrm{wrong}}\) 高则应改进检索重排序或证据提炼。
- 统一的公平对比约束范式：在对比不同记忆架构时，严格对齐可访问历史集合、外部调用预算及模型可见的证据块数量（top-k=12），消除了由于暴露证据量差异导致的评测作弊。
局限与展望¶
- 评测协议采用事后预算裁剪而非在线强制终止：当前实验中智能体在完整运行后根据其记录的调用次数进行后验判定，尚未在智能体达到预算上限时直接截断并强迫其作答，后续可探索在线硬预算策略对智能体自适应推理的影响。
- 未覆盖记忆生命周期动态更新与冲突演变：实验中无关会话主要作为干扰背景注入，未涉及陈旧记忆淘汰、相互矛盾事实的记忆覆盖或恶意对抗性记忆注入等动态管理场景。
- 依赖 LLM-as-Judge 终点打分：尽管打分模型不接触轨迹内部检索细节以避免偏见，但判断依然受限于裁判模型本身的文本对齐能力。
相关工作与启发¶
- vs LongMemEval (Wu et al., 2024): LongMemEval 首次引入了保留关键会话并填充干扰会话的规模化测试，但仅汇报静态终端准确率；本文将其拓展为轨迹级评测协议，提出了包含调用预算限制、长尾分位数与故障模式分解的系统化诊断指标。
- vs MemOS (Li et al., 2025) / LightMem (Fang et al., 2025): 这类工作侧重于提出新型记忆操作系统或轻量级记忆架构；本文作为针对此类系统的独立审计透镜，揭示了不同接口在长尾调用与停止决策上的行为差异。
- vs MemoryArena (He et al., 2026): MemoryArena 评测多会话依赖的任务执行；本文聚焦于记忆容量规模化对单一查询检索与推理的条件影响，为长周期 Agent 评测提供了细粒度的交互成本基准。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次将智能体记忆评测从静态准确率拓展到规模条件约束与交互轨迹故障解耦。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 种模型规模、6 种代表性记忆接口、2 大基准共数万条轨迹的精细诊断。
- 写作质量: ⭐⭐⭐⭐⭐ 概念界定严谨自洽，公式与指标设计完备，实验图表信息密度极高。
- 价值: ⭐⭐⭐⭐⭐ 为智能体记忆架构的工业落地与学术评测树立了规范化的诊断标准。