Useful Memories Become Faulty When Continuously Updated by LLMs¶

会议: NeurIPS 2026
arXiv: 2605.12978
OpenReview: https://openreview.net/forum?id=vagovELSsT
论文: https://arxiv.org/abs/2605.12978
代码: https://github.com/DylanZhang1027/Faulty-Memory
领域: LLM 其他
关键词: 智能体记忆, 记忆固化, 持续学习, 破坏性重写, 情境记忆

一句话总结¶

本文系统揭示了基于大模型自更新的智能体文本记忆系统存在内在缺陷：在持续更新循环中，即使从完全正确的高质量轨迹进行抽象提炼，记忆效用也会呈现先升后降并最终劣于无记忆基线的非单调衰退，而保留原始情境轨迹作为基准证据并显式门控抽象能有效避免这种退化。

研究背景与动机¶

从过往交互经验中学习是构建自主智能体的核心追求。人类认知系统依赖互补学习机制（Complementary Learning Systems, CLS）：快速的情境记忆系统（Episodic Memory）完整保存具体经历的轨迹细节，而缓慢的固化过程（Memory Consolidation）则跨事件抽取可复用的抽象模式（Schema），用于未知场景的泛化与高效推理。受到这一理论启发，当前主流智能体记忆系统（如 CLIN、Agent Workflow Memory、Dynamic Cheatsheet、ACE）广泛采用“交互-提炼-更新”范式：智能体在解决环境任务后，调用大语言模型（LLM）将交互轨迹压缩为文本形式的技能经验或工作流，并在后续交互中不断重写、合并该记忆库。这种纯文本层面的自演进智能体不仅规避了昂贵的参数更新，还承诺了可持续积累的外部知识库。

然而，现有工作普遍建立在一个未经严格验证的理想化假设之上——即大模型的每次记忆提炼更新“至不济也是中性的”，随着见过的优质轨迹增多，记忆库只会越变越好。为了厘清记忆演进的真实动力学，必须在输入端完全排除“低质量甚至噪声轨迹诱导模型学偏”的干扰。当输入全部限定为完全正确的高质量专家轨迹、甚至是智能体自身此前在零记忆下 100% 成功解出的题目时，智能体能否通过持续记忆提炼实现知识的单调自演进？

实验结果令人警醒：当前大模型并不是可靠的记忆固化器。在 ALFWorld、ScienceWorld、WebShop、AppWorld 以及受控的 ARC-AGI Stream 环境中，持续更新的文本记忆普遍表现出“前期短暂上升、随后持续退化、最终跌破无记忆基线”的倒 U 型曲线；最极端的案例中，GPT-5.4 从自身此前 100% 解决的 ARC-AGI 标准答案中提炼记忆后，竟在相同题目上退化到 46% 的失败率。核心 idea：持续更新的文本记忆退化根源于大模型固化过程中的破坏性重写与不完全抽象，应当解耦情境证据与抽象图式，将原始轨迹作为一阶证据保存，并通过显式动作门控提炼时机而非盲目迭代重写。

方法详解¶

整体框架¶

本文构建了受控测试床 ARC-AGI Stream，系统拆解智能体记忆在持续更新流中的退化机制。ARC-AGI Stream 基于 ConceptARC 概念体系，定义了 6 类独立的选择规则（Family）与 7 种网格几何变换（Skill），具备明确的隐式任务分类学与确定性的基准答案。在该环境中，智能体维护两个相互解耦的存储区：保存原始问题-解法代码轨迹的情境缓冲区（Episodic Buffer），以及保存由自然语言提炼出的规则指南的抽象策略库（Abstract Store）。

在每个交互步骤中，智能体接收当前任务的输入输出示例，检索记忆辅助求解生成 Python 代码 solve。测试环境将求解结果与真实答案比对，判定通过后，智能体被赋予一组显式暴露的记忆元操作（Meta-actions），包括保留（Retain）、删除（Delete）以及提炼固化（Consolidate / Strategy extraction）。通过比对三种核心运行体制，研究人员得以隔离固化过程的行为： 1. 强制固化机制（Force）：模拟传统记忆框架，每一轮批次必须执行提炼，情境缓冲区不跨轮持久保留，所有知识必须被压缩进文本抽象； 2. 自主决策机制（Auto）：智能体可自由决定是将原始轨迹存入情境区，还是将其与已有策略合并压缩； 3. 纯情境管理机制（Episodic Management Only）：彻底禁用抽象提炼，仅允许对原始轨迹执行增删管理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入任务：IO示例 + 候选轨迹"] --> B["双路存储检索架构<br/>Episodic Buffer 与 Abstract Store"]
    B --> C["求解器执行<br/>调用工具并生成候选 solve 代码"]
    C --> D{"执行验证<br/>单元测试与环境反馈"}
    D -->|通过轨迹| E["受控记忆元动作仲裁<br/>Retain / Delete / Consolidate"]
    E -->|Force 体制| F["破坏性就地重写<br/>强制抽象导致规则漂移与覆盖"]
    E -->|Auto / Episodic 体制| G["解耦更新与证据保留<br/>原始轨迹作为一阶基准保留"]
    F --> H["下游任务求解退化"]
    G --> I["稳定抗遗忘泛化"]

关键设计¶

1. 记忆固化失真三阶段溯源：破坏性就地重写是退化的核心元凶 在流式提炼过程中，记忆效用下降可以归结为三个可分离因素：初次提炼的信息损失（Initial compression error）、历史错误记忆对新提炼的上下文污染（Cross-update conditioning），以及对已有条目的就地修改（Destructive rewriting）。通过在 ARC-AGI Stream 上进行细粒度消融，研究发现禁止“就地修改已有条目”、强制改为追加模式（Append-only）便能大幅缓解性能下滑（准确率从 43.2% 恢复至 50.0%）；如果进一步隐去历史抽象记忆库，避免旧的偏颇抽象误导新样本的提炼，准确率将跳升至 70.0%；而直接保留未提炼的原始轨迹，准确率高达 76.6%。这证明大模型记忆衰退不是因为任务分布漂移，而是因为大模型在重复重写文本记忆时不断平滑与剥离边界条件，发生了灾难性的破坏性重写。

2. 抽象过程的三大病理失效模式：错分类、过度泛化与狭隘过拟合 研究进一步剖析了大模型在记忆提炼中的三种具象错误机制： - 先验聚类错位（Misgrouping before abstraction）：大模型往往无法准确识别新经验所属的底层任务家族，将不相干的轨迹强行融合为一个策略条目。在 Force 体制下，模型跨家族混淆条目的误分类频率显著高于 Auto 体制； - 过度泛化与干扰（Interference via Overgeneralization）：随着抽象轮数增加，大模型逐渐抹去策略成立的严苛前提条件，将其简化为看似通用的空洞建议（例如将“针对特定颜色的包围盒处理”泛化为“定位边界并处理内部”），导致在邻近但边界不同的任务上产生致命干扰； - 狭隘过拟合（Overspecification / Overfitting）：当输入流较窄（连续多次接收同一类任务）时，提炼机制不仅没有抽象出深层算法，反而把具体实例的表面特征（如某个特定坐标、形状大小阈值）硬编码进策略库，使得策略在变体任务上全面失效。

3. 纯情境记忆（Episodic-Only）对照基线：未经提炼的原始轨迹更优 由于提炼伴随严重的信息有损性，本文提出了一个极为朴素但极具挑战性的对照基线：直接将原始经验（Raw Trajectories）作为少样本上下文传入求解器，不进行任何跨轨迹抽象。在 WebShop、ALFWorld 和 AppWorld 的全方位测试中，大模型管理的情境记忆（如保留前 16/32/64 条成功轨迹）在绝大多数设定下显著超越了精心设计的提炼型记忆算法（包括 ACE、AWM、Dynamic Cheatsheet 等）。在 ARC-AGI 上，仅允许保留/删除情境轨迹的“纯情境管理体制”在测试集上达到了与 Auto 模式持平的高准确率，且两者的最终性能是强制固化机制的两倍。

损失函数 / 训练策略¶

本研究聚焦无需更新模型权重（Parameter-Free）的上下文与长程记忆演化，因此不涉及梯度反向传播。所有记忆操作均由大模型元提示词驱动。智能体元动作空间定义为： $$a_t \in \{\text{Keep}, \text{Remove}(\text{indices}), \text{Strategy extraction}(\text{indices})\}$$ 在提取策略时，模型遵循结构化的 JSON 规范输出触发条件（when_to_use）、求解策略步骤（solve_strategy）以及源函数引用列表（from_functions），并在演化中通过显式链式指针（Lineage pointers）追踪各个策略的合并与演变轨迹。

实验关键数据¶

主实验¶

论文在 AppWorld、ALFWorld 以及受控 ARC-AGI Stream 环境下对多种前沿模型与记忆范式展开了全面评测。在 AppWorld（以任务目标完成度 TGC% 为指标）和 ALFWorld（以任务成功率 % 为指标）中，对比了无记忆基线、原始轨迹检索基线与四种主流固化记忆算法：

评测环境	测试模型基座	无记忆 (NoMem)	原始轨迹全保留 (All)	原始轨迹 (FS=32)	原始轨迹 (Incr. Keep)	ACE (GT)	AWM	Dynamic Cheatsheet
AppWorld (TGC%)	Qwen3.5-27B	66.0%	73.0%	65.0%	69.0%	76.0%	68.0%	68.0%
AppWorld (TGC%)	GPT-5-Mini	14.0%	23.0%	20.0%	15.0%	10.0%	19.0%	8.0%
AppWorld (TGC%)	GPT-5.4-Mini	52.0%	59.0%	58.0%	64.0%	57.0%	52.0%	52.0%
AppWorld (TGC%)	Claude-Haiku-4.5	68.0%	66.0%	69.0%	70.0%	60.0%	68.0%	64.0%
ALFWorld (Success%)	GPT-5.4-Mini	54.0%	90.0%	81.0%	85.0%	85.0%	65.0%	58.0%
ALFWorld (Success%)	GPT-5-Mini	52.0%	81.0%	77.0%	75.0%	56.0%	48.0%	50.0%
ALFWorld (Success%)	Claude-Haiku-4.5	79.0%	92.0%	77.0%	79.0%	83.0%	81.0%	81.0%

在 ARC-AGI Stream 上，研究人员对比了 frontier 模型在自主管理记忆与强制固化体制下的退化情况。以 OpenCode 搭载 GPT-5.4/5.5 等模型为例，即使模型具备最大的推理预算，所有基座在持续更新中均呈现“先达峰再下降”规律：

模型基座 (OpenCode)	无记忆准确率 (NoMem)	记忆演化峰值 (Peak)	持续更新第400步	峰值到第400步衰减幅度
GPT-5.5	78.0%	80.0%	68.0%	-12.0%
Claude Sonnet 5	40.0%	58.0%	48.0%	-10.0%
GLM 5.2	22.0%	44.0%	22.0%	-22.0%
DeepSeek V4 Pro	28.0%	40.0%	18.0%	-22.0%

消融实验¶

为了精确定位流式更新中到底哪一步操作造成了性能毁损，论文在 ARC-AGI Stream（GPT-5.4，批大小为1，强制更新400步）中对更新机制进行了逐步剥离消融：

流式更新变体配置	相对默认设置剥离的组件	最终求解准确率 (%)	相对默认提升幅度
默认固化机制 (Default consolidation)	无（保留就地重写与历史上下文）	43.2%	基准
追加写入模式 (Append-only, prior visible)	禁止就地重写（只增不改，可见历史）	50.0%	+6.8%
增删模式 (Add + delete, no in-place edit)	禁止就地重写（允许修剪废弃旧条目）	64.0%	+20.8%
独立追加模式 (Append-only, prior hidden)	禁止就地重写，且提炼时隐去旧记忆库	70.0%	+26.8%
原始轨迹对照组 (Raw trajectories)	彻底禁用文本抽象固化，仅保留原始交互	76.6%	+33.4%

关键发现¶

能力更强的大模型无法自动消除记忆衰退：GPT-5.5、Claude Sonnet 5、GLM 5.2 与 DeepSeek V4 Pro 虽然峰值准确率各异，但在经历 400 步记忆管理后均出现 10%～22% 的严重掉点，表明记忆自提炼失真属于认知架构级瓶颈，而非算力或单次推理能力不足；
破坏性就地重写是最具破坏性的步骤：相比初次压缩的信息损失，让大模型反复修改同一记忆条目会导致错误级联叠加；
任务异质批次显著加速记忆退化：在 ALFWorld 和 ScienceWorld 中，将不同子任务混合在同一批次中进行提炼，模型的记忆崩溃速度远快于同类任务单独提炼；
单条错误策略可瘫痪整个系统：在 WebShop 的“记忆切除手术（Memory Surgery）”实验中，仅从 8 条工作流中定位并剔除一条引发死循环的错误规则 W8，就让 GPT-5.4-mini 的成功率从 7/50 直接翻倍至 14/50。

亮点与洞察¶

颠覆了智能体记忆“越积累越智能”的固有认知：明确指出现有智能体文本记忆系统无法维持单调自演进，即使从全正确样本中抽象，大模型也会在反复重写中自我误导；
揭示了“情境记忆（Episodic）”优于“过度固化（Consolidated）”的客观事实：原始轨迹保留了完整的环境观察、操作逻辑与边界证据，直接用作少样本在上下文内泛化，效果全面碾压当前复杂的文本经验提炼框架；
与认知科学的互补学习系统（CLS）形成共鸣：证明了自主智能体必须在架构层面将快速学习的情境缓冲区与缓慢归纳的抽象知识库解耦，引入显式门控与版本控制，而非每步触发文本重写。

局限与展望¶

作者承认的局限：测试环境主要集中在离散动作空间的具身与代码推理基准（ALFWorld、ScienceWorld、ARC-AGI），未覆盖超长交互跨度的多智能体自由辩论或开放域网页交互；此外，完全保存情境经验会导致上下文长度线性增长，在极其漫长的交互周期中面临上下文窗口与推理成本瓶颈；
潜在改进方向：探索基于可验证执行（Execution-grounded）的记忆演进协议，仅在抽象规则能够无损覆盖原始情境样本时才允许落盘；设计双系统架构，让大模型只在触发重大学习信号时才在后台离线审校抽象，避免在线步步重写。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统证伪了“智能体文本记忆单调自演进”假设，揭示了倒U型记忆衰退机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 个真实智能体基准及自研受控流式环境，进行了详尽的机制消融与记忆手术分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密，将实验现象与认知科学理论深度结合，论据扎实有力。
价值: ⭐⭐⭐⭐⭐ 为未来可靠的终身学习智能体记忆架构（如双系统解耦、门控抽象）提供了坚实的理论与实证基础。