AutoMem: Automated Learning of Memory as a Cognitive Skill¶
会议: NeurIPS 2026
arXiv: 2607.01224
OpenReview: https://openreview.net/forum?id=gOtWoYZuUo
代码: https://github.com/autoLearnMem/AutoMem
领域: LLM Agent
关键词: 元记忆, 外部文件系统记忆, 脚手架优化, 记忆专长模型, 长程决策智能体
一句话总结¶
AutoMem 将记忆管理重新建模为智能体在文件系统上的自主认知技能，通过元大模型驱动的双层外循环分别迭代记忆脚手架结构与微调专用记忆模型，在不触碰底层世界动作权重的约束下使 32B 开源模型在长程复杂游戏任务中取得 2 至 4 倍的性能飞跃。
研究背景与动机¶
在大语言模型驱动的自主智能体研究中，处理跨越数千乃至数万步的长程决策任务一直是严峻挑战。人类在面对超出工作记忆容量的信息过载时，能够依赖元记忆（Metamemory）能力自我调控：主动决策什么值得记录、何时触发检索以及如何动态组织外部介质（笔记、索引与文件）。然而，现有 LLM 架构往往将记忆降级为固定的工程模块，例如依赖硬编码的向量数据库检索、滑动摘要窗口或启发式暂存板。这些系统通常预设了固化的存储与查询流程，剥夺了模型自主管理记忆的主动权，在复杂非平稳环境中容易出现检索失效、冗余堆叠与关键事实丢失。
要赋予智能体真正的自主元记忆技能，必须在两维轴线上共同演进：一是承载记忆操作的组织结构（包括提示词范式、文件命名模式、模式校验规则与动作词表）；二是模型在面临动作选择时调度记忆的内在参数熟练度。然而，这两条轴线在长程任务中极难通过人工启发式规则进行迭代。单次任务轨迹可能长达数万步，一个在第 50 步发生的细微记忆失误（例如记录了错误坐标或遗漏了关键物品），往往要到数百步之后才会诱发智能体的迷失或任务失败，长程归因的极度滞后使得人类人工复盘海量轨迹以调整记忆架构变得完全不可行。
针对上述两难困境，本文的核心洞见在于：强能力的大语言模型完全可以扮演元审阅者（Meta-LLM）的角色，像代码审查专家通读长程执行日志一样，自主诊断整条轨迹中的记忆病灶。核心 idea：将记忆管理抽象为与世界动作对等的文件系统操作，构建双层自动化外循环：先由元大模型通过整轨诊断迭代代码与提示词脚手架推高结构上限，再由元训练引擎联合筛选自我经验并对齐微调专用记忆模型突破参数熟练度瓶颈。
方法详解¶
整体框架¶
AutoMem 由内循环智能体（Inner-loop Agent）与两个解耦的自动化外循环（Outer Loops）组成。内循环智能体在单次任务推进中将操作系统底层的文件读写与检索能力（<|APPEND|>、<|READ|>、<|SEARCH|> 等）直接纳入统一的动作空间，并在单步中串行执行 LOG（决定刚刚发生的状态是否值得存入外部文件）与 PLAN（检索历史记录并决定执行何种游戏动作）两个阶段。
两个外循环则分别针对结构上限与参数熟练度进行分阶段优化。外循环 1（脚手架优化器）利用高阶元大模型审阅智能体的跨步全量轨迹日志，自动重构提示词约束与文件模式；外循环 2（记忆熟练度训练引擎）在收敛的最优脚手架上搜集海量内循环经验，由元大模型联合执行样本过滤、提示词裁剪与 LoRA 训练配置搜索，最终产出一个专注于记忆调度的专用记忆模型，并在部署时与冻结的动作模型协同推理。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["长程环境交互轨迹与文件系统日志"] --> B["外循环1：记忆脚手架轨迹级诊断与代码重构<br/>Meta-LLM 审查全轨日志并迭代 Schema 与 Prompt"]
B --> C["收敛的最优记忆脚手架 v_final"]
C --> D["外循环2：基于内循环自身经验的联合训练引擎<br/>Meta-LLM 联合筛选纯净记忆样本并配置 LoRA"]
D --> E["双模型解耦部署架构<br/>记忆专长模型驱动 LOG/PLAN + 冻结动作基模"]关键设计¶
1. 记忆即文件系统操作：统一步伐下的对等认知动作 针对传统智能体记忆机制僵化、无法适配异构非平稳环境的问题，AutoMem 将文件系统的基本操作直接提升为第一公民。在每个环境交互步中，智能体不依赖外置黑盒向量数据库，而是通过文本标记直接操作本地文件目录。在 LOG 阶段，智能体判断新近观测中的环境反馈是否具备长程保存价值，自主决定调用创建、写入或追加命令；在 PLAN 阶段，模型主动调用搜索命令从局部文件中拉取线索，并与当前视域信息综合后规划物理动作。这种设计将所有记忆抉择显式暴露为轨迹中的结构化行为，不仅提供了前所未有的决策透明度，更为后续元大模型实施轨迹归因提供了可观测的操作载体。
2. 外循环1：基于长程全轨诊断的记忆脚手架自动化重构
针对长程任务中记忆错误延迟显现、人类无法穷举调优的问题，外循环 1 引入 Claude Opus 作为代码级元审阅者。元大模型获取覆盖成千上万步的完整轨迹日志、中间生成的文件镜像以及当前的智能体脚手架源码，系统性诊断信息瓶颈。例如在 NetHack 迷宫环境中，元模型敏锐发现朴素追加模式导致地图文件快速膨胀至数万行重复坐标，使上下文迅速溢出，因此自动引入基于坐标键值去重的 <|UPSERT_MAP|> 结构化动作，并将物品栏与生存状态交由脚手架程序化同步维护。脚手架迭代采用硬性门控机制：每次生成的代码修订版必须在预设的固定种子评测集上取得严格高于基线的进展率提升才予保留，通常经历 2 至 5 轮迭代即可榨干代码与提示词层面的改进潜力。
3. 外循环2：数据筛选与训练超参联合优化的记忆专长模型微调 针对脚手架收敛后模型内在参数对记忆调度能力不足的剩余瓶颈，外循环 2 探索了无需人工标注的模型记忆熟练度演进路径。元训练引擎从固定脚手架下随机采样的海量未标记轨迹池中进行样本提纯，其核心在于坚持数据样本完全来源于智能体自身的实际生成，元模型仅充当严格的筛选器而非文本生成者。元大模型联合优化数据选择阈值、数据配比与 LoRA 微调超参数（如 Rank、学习率及批大小），并对训练样本实施确定性清洗：剔除仅包含世界动作提交的无关样本，并在复合样本中严格裁剪剥离游戏动作部分，确保监督损失完全聚焦于记忆操作推理。
4. 记忆与动作解耦的双模型协同推理部署 针对微调后模型容易发生任务动作格式崩溃或泛化策略遗忘的风险，AutoMem 构建了解耦推理架构。在测试推理阶段，系统维护单个连续的会话上下文，并运行两个模型实例：记忆专长模型（搭载 LoRA 微调权重）负责执行 LOG 阶段的所有文件写入/更新逻辑，以及 PLAN 阶段的初期记忆文件搜索与调用；随后系统触发轻量移交机制，将包含记忆上下文的会话交接给未被微调触碰的冻结动作基模型（Gameplay Base Model），由其最终做出环境交互动作。这种解耦设计既强化了先查后写的元记忆自律性，又完好保护了开源基座在复杂动作空间中的先验鲁棒性。
训练策略与超参数¶
在外循环 2 中，内循环基座模型统一为 Qwen2.5-32B-Instruct，训练使用 DeepSpeed ZeRO-3、bf16 精度、截断长度 \(16384\)、AdamW 优化器以及带有 \(5\%\) 预热步数的余弦退火学习率调度器。针对各环境异质性，元训练引擎搜索得到的最佳配置如下： - Crafter: 训练样本量 \(1597\) 条，LoRA \(r=256\), \(\alpha=512\), batch size \(=32\), lr \(=5\times 10^{-5}\), 训练 \(4\) 个 epoch（仅作用于注意力层）。 - MiniHack: 训练样本量 \(444\) 条，LoRA \(r=128\), \(\alpha=256\), batch size \(=16\), lr \(=5\times 10^{-5}\), 训练 \(3\) 个 epoch。 - NetHack: 训练样本量 \(800\) 条，LoRA \(r=256\), \(\alpha=512\), batch size \(=32\), lr \(=5\times 10^{-5}\), 训练 \(1\) 个 epoch。
实验关键数据¶
主实验¶
实验基于 BALROG 长程决策基准，在 Crafter（生存与合成，上限 22 个成就）、MiniHack（8 种导航/解谜变体任务）和 NetHack（长达 \(10^4 \sim 10^5\) 步的复杂地下城地牢）三项程序化生成的随机环境中展开，评测指标为任务进展率（Progression Rate, 范围 0–100%）。
| 模型 / 系统 | 上下文 / 记忆配置 | Crafter (%) | MiniHack (%) | NetHack (%) |
|---|---|---|---|---|
| Gemini-3-Pro | BALROG 官方前沿排行榜 | \(57.3 \pm 4.4\) | \(40.0 \pm 7.7\) | \(6.8 \pm 3.2\) |
| Gemini-3.1-Pro-Thinking | BALROG 官方前沿排行榜 | \(55.0 \pm 6.4\) | \(27.5 \pm 7.1\) | \(2.6 \pm 0.3\) |
| Claude-Opus-4.5 | BALROG 官方前沿排行榜 | \(49.5 \pm 3.1\) | \(27.5 \pm 7.1\) | \(2.0 \pm 0.5\) |
| DeepSeek-R1 (671B) | BALROG 官方前沿排行榜 | \(36.4 \pm 3.8\) | \(25.0 \pm 6.8\) | \(1.4 \pm 0.5\) |
| Qwen2.5-72B-Instruct | BALROG 官方前沿排行榜 | \(27.3 \pm 3.6\) | \(5.0 \pm 3.4\) | \(0.3 \pm 0.3\) |
| Qwen2.5-32B-Instruct | 滑动窗口 (16步) | \(19.55 \pm 3.46\) | \(2.50 \pm 2.47\) | \(0.00 \pm 0.00\) |
| Qwen2.5-32B-Instruct | 滑动窗口 + 思维链 (CoT) | \(17.27 \pm 2.71\) | \(10.00 \pm 4.74\) | \(0.00 \pm 0.00\) |
| Qwen2.5-32B-Instruct (AutoMem) | 基础文件系统记忆 v0 | \(25.00 \pm 5.50\) | \(7.50 \pm 4.16\) | \(0.42 \pm 0.37\) |
| Qwen2.5-32B-Instruct (AutoMem) | + 脚手架优化 (外循环 1) | \(47.27 \pm 2.05\) | \(27.50 \pm 7.06\) | \(1.57 \pm 0.35\) |
| Qwen2.5-32B-Instruct (AutoMem) | + 记忆专长微调 (外循环 2) | \(51.36 \pm 3.81\) | \(30.00 \pm 7.25\) | \(1.85 \pm 0.44\) |
消融实验与行为演进分析¶
论文系统探究了从初版脚手架（v0）演进至收敛版本对智能体实际动作行为与记忆操作行为的量化影响：
| 评测维度与环境 | 初始基线 (v0) | 终版脚手架 (Scaffold Opt.) | 改善幅度 / 变化趋势 |
|---|---|---|---|
| Crafter 无效动作比例 (卡死/震荡) | 高频震荡 | 显著改善 | 相对下降约 \(35\%\) |
| MiniHack 无效动作比例 (卡死/震荡) | 盲目走步 | 路径连贯 | 相对下降约 \(65\%\) |
| NetHack 无效动作比例 (卡死/震荡) | 重复碰壁 | 明确下潜 | 相对下降约 \(32\%\) |
| Crafter 冗余写操作比例 | 持续全量追加 | 精简写入 | 相对降低约 \(68\%\) |
| NetHack 冗余写操作比例 | 地图爆炸式增长 | <\|UPSERT_MAP\|> 去重 |
相对降低约 \(83\%\) |
| NetHack 单步记忆增长量 | 138 字符/步 | 6 字符/步 | 文本体积下降达 \(95\%\) |
| Crafter 空检索率 (SEARCH 未命中) | 频繁无效检索 | 精准命中 | 相对下降约 \(50\%\) |
此外，针对外循环 2 微调带来的行为自律性改变，LOG 阶段写前检索比（写入操作数 / 搜索操作数，数值越低代表写入前查验越严谨）的表现如下： - Crafter: 基础模型 \(0.84 \to\) 微调专长模型 \(0.39\)（下降 \(54\%\)）。 - MiniHack: 基础模型 \(2.89 \to\) 微调专长模型 \(0.82\)（下降 \(72\%\)）。 - NetHack: 基础模型 \(4.66 \to\) 微调专长模型 \(1.31\)（下降 \(72\%\)）。
关键发现¶
- 记忆管理杠杆率远超单纯模型缩放：仅改动代码/提示词脚手架而不动任何权重的 Qwen2.5-32B，在三项游戏任务中的成绩全面大幅碾压了 72B 尺寸的同一系列模型，甚至超过了 671B 的 DeepSeek-R1，证明在长程交互场景下记忆管理的高效性构成了比参数规模更大的效能乘数。
- 动作与记忆在同一空间的协同收益：优化记忆文件结构与去重规则，自发地将智能体处于卡死和无意义往复震荡（Oscillation）中的步数压缩了 \(32\% \sim 65\%\)，将省下的宝贵交互步数直接转化为探索与合成。
- 微调成功内化“先查后写”的认知自律：通过外循环 2 的专注监督信号，记忆专长模型在进行修改前调用搜索操作的比例显著激增（写前检索比下降 \(54\% \sim 72\%\)），彻底摆脱了基座模型盲目覆盖写入的坏习惯。
亮点与洞察¶
- 将元记忆确立为独立学习任务：突破了以往将记忆仅仅作为外挂 RAG 架构或固定内存的静态思路，将记忆存储、更新、索引当做一种可习得的认知动作，在概念与工程上具有高度先导性。
- 双层异构优化循环设计：外循环 1 以代码编辑为梯度推动结构革新，外循环 2 以自身经验样本配合 LoRA 微调为梯度突破参数瓶颈，两层循环交替衔接，机制设计极度优雅且互补。
- 解耦推理保护通用策略先验：将微调限制在记忆专长模型内，并在执行环境关键决策时将上下文无损移交给冻结的动作基模型，巧妙规避了垂直微调容易破坏智能体基础格式遵循与交互常识的行业痛点。
局限与展望¶
- 局限于剧集内偶发记忆（Episodic Memory）：当前文件系统在每个 episode 开始前均会被重置初始化，未能构建跨剧集、跨关卡保留经验与通关技巧的长程跨剧集记忆系统。
- 环境特定脚手架的可迁移性未知：由于 Crafter、MiniHack 与 NetHack 在游戏机制上差异巨大，论文对每个环境均独立运行了外循环搜索；通用的记忆脚手架以及能够零样本跨域迁移的统一记忆智能体仍有待探索。
- 对元审阅模型的先验能力高度依赖：外循环的诊断与迭代重构高度依赖顶级闭源模型（Claude Opus 4.6/4.7）的代码理解与轨迹分析深度，若元模型能力受限，脚手架优化可能陷入局部次优。
相关工作与启发¶
- vs MemGPT / A-MEM: MemGPT 采用类操作系统虚拟内存的分页逻辑，A-MEM 引入主动遗忘机制，但二者核心逻辑依然是由人工预先写死的确定性流转规则；AutoMem 让智能体直接调度文本文件操作，并通过元优化器自主生成并迭代这些规则。
- vs ADAS / AFlow / EvolveMem: ADAS 与 AFlow 偏向对整个智能体工作流代码的通用图结构搜索，EvolveMem 侧重问答级 RAG 参数自演进；AutoMem 专注于万步级别的长程交互动力学，基于真实长轨迹实施代码级诊断与记忆微调的协同演化。
- vs MeMo: MeMo 同样微调了独立的记忆模型，但其记忆模型被约束在静态文档问答与知识检索场景；AutoMem 训练的记忆专长模型在动态交互环境中具备高度自律的“先读后写”策略，直接赋能复杂具身控制。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [将元记忆形式化为自主文件系统操作，并创新提出代码重构与专长微调双外循环]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖三类极具挑战性的万步程序化长程基准，详尽报告了消融对比与行为模式变化]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑架构严丝合缝，动机到算法阐述清晰透彻，图表表现力与定性追踪极为扎实]
- 价值: ⭐⭐⭐⭐⭐ [为缩小开源模型与前沿闭源系统在长程任务上的差距指明了高杠杆的技术路径]