Learning to Continually Learn via Meta-Learning Agentic Memory Designs¶

会议: NeurIPS 2026
arXiv: 2602.07755
代码: https://github.com/zksha/alma.git
领域: LLM Agent
关键词: 连续学习, 智能体记忆, 元学习, 开放式探索, 序贯决策

一句话总结¶

本文提出 ALMA 框架，通过大模型元智能体（Meta Agent）在可执行代码空间中展开开放式探索，自动为智能体元学习并演化出针对特定领域的外部记忆架构与检索更新逻辑，显著超越了所有主流手工设计记忆系统。

研究背景与动机¶

基础模型（Foundation Models）在推理阶段固有的无状态性（statelessness），严重阻碍了大语言模型智能体系统的连续学习（Continual Learning）与长程适应能力。面对连续到来的复杂序贯交互任务，缺乏持久记忆机制的智能体每次都必须从空白状态重新试错，无法积累成功策略或吸取失败教训。为此，学术界通常为智能体引入外部记忆模块（如 Trajectory Retrieval、ReasoningBank、Dynamic Cheatsheet、G-Memory），旨在测试阶段通过显式存储、检索和复用历史轨迹经验来支撑持续演进。

然而，现存的智能体记忆系统几乎全部由人类专家纯手工构建。从底层的数据结构（向量库、图拓扑、扁平速查表），到交互阶段的提取粒度、启发式检索策略及动态更新规则，均被高度人工硬编码。由于不同现实领域对记忆的需求差异巨大——例如日常家庭交互任务需要精细的空间实体布局与物体属性，而符号推理或地牢探索游戏则依赖抽象的战略状态机和规则逆转逻辑——人类研究者不得不针对各个基准反复手工调试特定记忆方案。这种手工设计的范式不仅极其耗费人力，而且受限于人类认知直觉，难以针对非平稳和复杂的任务分布找到全局最优的记忆拓扑与信息流编排。

借鉴机器学习史上“通过学习替代手工设计组件”（如 NAS、Meta-RL、AutoML）的核心规律，本文旨在探索智能体系统能否通过“学会如何连续学习”（Learning to Continually Learn）来消除对人工记忆工程的依赖。核心 idea：将记忆设计空间定义为图灵完备的可执行 Python 代码，借助元智能体在包含丰富评测轨迹与历史表现的演化档案库上展开开放式探索，通过“采样-反思规划-代码实现-沙箱调试-双阶段评测”闭环，自主发现高度专业化的高效外部记忆架构。

方法详解¶

整体框架¶

ALMA 框架由元智能体（Meta Agent）、记忆设计演化档案库（Memory Design Archive $\mathcal{A}_l$）以及双阶段环境评测协议三大核心组件构成。系统并不从人类成熟记忆框架中进行贪婪微调，而是从空模板起点开始进行开创性的代码进化。

整个系统的工作流可以概括为四个自洽演化阶段：首先，从历史档案库中依据平衡性能与探索深度的概率采样出基座记忆设计（Base Designs）；其次，Meta Agent 深度审视所抽样记忆的源码结构、分层历史交互轨迹以及任务得分，构思出架构反思与改进计划；随后，Meta Agent 编写对应的完整可执行 Python 代码，并在轻量沙箱中执行带有最多 3 次自反思循环的容错调试；最后，通过严密的记忆收集阶段与部署评估阶段，计算该候选记忆设计的端到端成功率与消耗，将其反哺回档案库中支持后续迭代。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["初始化记忆演化档案库<br/>包含基础模板与空设计"] --> B["档案库多样性加权采样<br/>综合适应度与被抽样惩罚"]
    B --> C["元智能体反思规划与代码生成<br/>基于评测轨迹诊断瓶颈并设计新架构"]
    C --> D["沙箱环境试运行与自反思调试<br/>捕获运行时错误并最多重试3轮"]
    D --> E["双阶段记忆有效性评估<br/>无记忆收集期建库 + 静态/动态部署评测"]
    E --> F["结果与分层轨迹归档更新<br/>更新抽样计数并扩充候选记忆池"]
    F -->|未达终止代数| B
    F -->|收敛退出| G["输出针对目标领域的最优记忆设计"]

关键设计¶

1. 代码级记忆抽象空间与图灵完备搜索：消除手工结构的表达约束 传统自动化方法往往受限于固定参数空间或预设元操作池，而 ALMA 直接将搜索空间定义为 Python 可执行代码。为了在保证图灵完备性（Turing Completeness）的同时避免无约束代码搜索导致的严重语法涣散，ALMA 提出了极简的双层面向对象抽象协议 MemoStructure 与 Sub_memo_layer。每个具体的记忆层实现继承 Sub_memo_layer，负责封装其特有的数据库载体（如 Chroma 向量数据库、NetworkX 图结构或轻量级 JSON 状态机）以及底层的 update() 和 retrieve() 机制；顶层的 MemoStructure 则统一暴露 general_update(recorder) 与 general_retrieve(recorder) 两个入口，负责编排各子模块之间的数据流向与层级依赖。这种抽象允许 Meta Agent 自发组合并创造出包含“ASCII地图解析器”、“局部拓扑方向提取”、“语义相似度检索”、“动作振荡抑制”、“反思教训提炼”等高度专业化的复合流水线。

2. 适应度与探索惩罚平衡的档案库采样机制：防止探索陷入局部贪婪收敛 开放式探索的成败取决于能否保留具有潜力的“垫脚石”（Stepping Stones）。如果仅贪婪地基于当前成功率选择最优设计做局部扰动，系统极易陷入局部最优并丧失多样性。ALMA 在档案库 $\mathcal{A}_l$ 中记录每个记忆设计 $\mathcal{M}_i$ 的历史胜率 $f_{\mathcal{M}_i}$、分层评测轨迹 $\mathcal{S}_{\mathcal{M}_i}$ 以及累计被采样次数 $t_{\mathcal{M}_i}$。采样时，首先通过减去无记忆基线表现 $f_0$ 并施加 Sigmoid 映射得到归一化相对收益得分： $$\hat{f}_{\mathcal{M}_i} = \sigma\left(f_{\mathcal{M}_i} - f_0\right) = \frac{1}{1 + \exp\left(-\lambda (f_{\mathcal{M}_i} - f_0)\right)}$$ 随后引入对数访问衰减项构建综合适度得分 $J_i = \hat{f}_{\mathcal{M}_i} - \alpha \log(1 + t_{\mathcal{M}_i})$，并利用带有温度系数 $T$ 的平滑 Softmax 派生无放回采样概率 $p_i$： $$p_i = \frac{\exp\left(\left(J_i - \max_j J_j\right)/T\right)}{\sum_{k=1}^{|\mathcal{A}_l|} \exp\left(\left(J_k - \max_j J_j\right)/T\right)}$$ 该设计严格确保了即使初期得分平平但蕴含关键前置组件（如空间坐标归一化、属性校验）的记忆架构依然能以非零概率被选中深化演化，从而走出非平凡的跃迁路径。

3. “规划-实现-自反思调试”元智能体演化回路：保障代码语法与逻辑自洽 在选定基座设计 $\mathcal{M}_{\text{base}}$ 后，Meta Agent（采用 GPT-5）遵循“反思诊断 $\rightarrow$ 架构规划 $\rightarrow$ 代码实现 $\rightarrow$ 沙箱自愈”的串行工作流。首先，规划器（Planner）分析从历史评测中通过分层抽样提取的代表性成功与失败轨迹 $\mathcal{S}_{\mathcal{M}_{\text{base}}}$，定位诸如“重复碰撞墙壁”、“目标检索错配”或“上下文冗余超限”等行为退化根源，提出具体的架构演变计划。接着，实现器（Implementor）根据抽象接口补全完整的 Python 类定义，可调用预设的轻量大模型工具（如 GPT-4o-mini 或 text-embedding-3-small）。若在 5 个随机任务的小规模预演中抛出语法错误或未捕获异常，自反思调试器（Debugger）会获取错误堆栈信息重新编辑代码，最多支持 3 轮交互式自我修复。这种闭环确保了能够稳定进入全量评测的记忆代码具备 100% 的语法和接口稳健性。

4. 解耦式双阶段评估协议与稳健迁移验证：消除性能耦合偏见 为了在评估记忆设计本身时消除与智能体策略优劣的有害耦合，ALMA 设计了严格解耦的双阶段评估协议。在记忆收集阶段（Memory Collection Phase），固定的基础智能体在任务集 $\mathcal{G}_{\text{collection}}$ 上在完全无记忆介入的情况下进行环境交互，生成基准轨迹并计算真实环境反馈，随后通过被测记忆设计的 general_update 依次建库构建经验存储 $D_N$。这种设计确保了用于建库的轨迹数据对所有被测候选者完全公平独立，避免了因早期动作偶然成功导致的记忆质量泡沫。在部署评估阶段（Deployment Phase），智能体基于固定的 $D_N$ 通过 general_retrieve 抽取经验并在部署集 $\mathcal{G}_{\text{deployment}}$ 上测评最终胜率。为了进一步验证所学记忆设计的内在适应力与架构泛化性，ALMA 不仅测试在微型模型（GPT-5-nano）上的训练自洽性，还在零样本下直接将学得的记忆模块挂载到更强大的模型（GPT-5-mini）上进行跨模型迁移检验。

一个完整示例¶

以 MiniHack 复杂地牢导航任务中演化出的最优记忆架构为例，说明输入如何一步步被抽象与检索： 1. 环境输入感知：智能体在初始房间感知到底层 ASCII 字符地图、血量状态行及文本描述（如发现 You are a chaotic female human Monk，周围存在闭合门和隐蔽阶梯）。 2. 结构化特征提取：TaskSchemaLayer 介入，调用正则表达式与符号解析器，将原始长文本拆解为实体列表（['door', 'stairs_down']）、当前英雄坐标 (x=12, y=5)、以及当前 8 邻域阻挡签名（如 N:., E:stone, S:stone, W:.）。 3. BFS 最短路先验引导：内部轻量 BFS 模块在 5 格半径内快速搜寻最近通往阶梯（>）的安全可行路径，输出先验移动提示（如优先推荐 north）。 4. 经验库复合查询生成：系统将任务目标、角色阵营、8邻域地貌与危险标记拼装为紧凑签名 minihack:sha1_hash 与富语义查询串，在 Chroma 向量库中跨度检索 Top-12 相似历史案例。 5. 战术教训蒸馏与注入：Meta Agent 构建的微型过滤层迅速剥离无效噪声，提炼出 2 条高价值动作策略（如“优先避开陷阱字符 ^；在死胡同先执行 search 再转向”），最终格式化为不超过 200 字符的高密度前置 Prompt，注入行动策略模型指导决策。

实验关键数据¶

主实验¶

在涵盖 4 个不同类型序贯决策基准的测试中，ALMA 发现的记忆设计与 4 个最顶尖的人工设计记忆系统（Trajectory Retrieval、ReasoningBank、Dynamic Cheatsheet、G-Memory）进行了严格的对比。所有实验均报告 3 次独立运行的均值 $\pm$ 标准误（%）。

记忆设计方案	ALFWorld	TextWorld	Baba Is AI	MiniHack	全局平均胜率	相对无记忆提升
GPT-5-nano (测试基础)
No Memory (无记忆基线)	2.9 ± 0.8	5.4 ± 1.0	9.5 ± 2.4	6.7 ± 1.7	6.1%	+0.0%
Trajectory Retrieval	5.2 ± 1.9	2.7 ± 0.9	19.0 ± 6.3	7.5 ± 1.4	8.6%	+2.5%
ReasoningBank	5.2 ± 1.3	5.3 ± 0.8	9.5 ± 2.4	9.8 ± 1.7	7.5%	+1.4%
Dynamic Cheatsheet	5.7 ± 0.8	4.3 ± 1.0	9.5 ± 4.8	9.2 ± 0.8	7.2%	+1.1%
G-Memory	7.6 ± 0.5	2.1 ± 0.8	14.3 ± 4.1	6.8 ± 2.3	7.7%	+1.6%
ALMA (本文发现)	12.4 ± 0.5	6.2 ± 1.7	19.0 ± 2.4	11.7 ± 2.2	12.3%	+6.2%
GPT-5-mini (跨模型迁移)
No Memory (无记忆基线)	67.6 ± 1.0	60.5 ± 4.4	21.4 ± 0.0	15.0 ± 1.4	41.1%	+0.0%
Trajectory Retrieval	80.0 ± 1.4	67.0 ± 1.3	30.9 ± 2.4	16.7 ± 0.8	48.6%	+7.5%
ReasoningBank	67.1 ± 2.9	56.1 ± 3.4	21.4 ± 4.1	15.8 ± 3.0	40.1%	-1.0%
Dynamic Cheatsheet	78.6 ± 3.3	57.8 ± 7.9	38.0 ± 6.3	11.7 ± 3.3	46.5%	+5.4%
G-Memory	74.8 ± 0.5	68.8 ± 4.7	26.2 ± 6.3	14.2 ± 2.2	46.0%	+4.9%
ALMA (本文迁移)	87.1 ± 1.4	75.0 ± 2.3	33.3 ± 2.4	20.0 ± 2.9	53.9%	+12.8%

消融实验¶

为了验证 ALMA 引入的“档案库加权开放式探索”是否实质性优于传统的“贪婪优化（Greedy Search，每次仅选择当前胜率最高节点演化）”，在相同搜索预算（均为探索 43 个候选设计）下在 ALFWorld 上进行了严格消融对比：

探索搜索机制	GPT-5-nano 胜率 (%)	GPT-5-mini 迁移胜率 (%)	机制说明
贪婪搜索 (Greedy Search)	11.9 ± 0.5	77.1 ± 0.8	每轮仅选取档案中绝对胜率最高的单节点演进，极易早熟收敛
开放式探索 (ALMA, 完整机制)	12.4 ± 0.5	87.1 ± 1.4	平衡收益与访问频次，保留潜力垫脚石，在强模型上迁移增益高出 10.0%

关键发现¶

开放式探索是突破瓶颈的核心动力：在 Baba Is AI 等规则复杂的任务中，演化树记录表明诸如“实体坐标归一化”等中间特性在最初提出时并未立即带来显著的胜率跃升，在贪婪搜索中会被直接抛弃；但它们作为关键“垫脚石”，在后续代次与“规则切换策略库”结合时促成了最终性能的剧烈爆发。
卓越的跨模型正向迁移性：ALMA 在轻量模型 GPT-5-nano 上演化发现的记忆拓扑，迁移至 GPT-5-mini 时平均胜率提升达到惊人的 +12.8%（从 41.1% 跃升至 53.9%），绝对提升幅度远超基线的 +6.2%。这表明学到的记忆结构捕捉到了通用的任务与知识组织原则，越聪明的基座模型利用该记忆的效果越突出。
任务分布偏移（Distribution Shift）下的快速适应性：在 ALFWorld 上利用 valid_seen（70个任务）建库、直接在全新未见分布 valid_unseen 上以动态模式部署时，ALMA 取得了 84.1% 的成功率，显著领先于 Trajectory Retrieval 和 G-Memory 等基线，验证了其动态更新机制的高适应性。
端到端极端成本效益：在综合调用成本评估中，ALMA 全流程端到端大模型记忆处理成本仅为 $0.09（跨全基准汇总），同时注入 Prompt 的知识 Token 长度控制极为精简，在性能大幅领跑的同时并未带来推理开销膨胀。

亮点与洞察¶

将记忆设计拓扑从手工启发式升维至代码级演化空间：摆脱了图遍历、向量余弦检索等人类既定框架的思维枷锁，使得智能体能够自发组合字符串哈希校验、拓扑图连通性探测以及语义教训提炼等多模态逻辑。
以“垫脚石机制”解决记忆架构演化的多峰非凸困境：采用带有访问频次惩罚项的归一化采样公式，巧妙兼顾了高胜率利用与低频冷门探索，证明了在软件与架构搜索中保护中间状态的重要性。
高度领域专化的自适应分化特征：在强实体交互领域（ALFWorld/TextWorld），ALMA 演化出了精细的物体空间分布与房间关联图；而在重度逻辑对抗与环境感知领域（Baba Is AI/MiniHack），ALMA 自发构建了抽象规则映射、移动死锁阻断器与轻量 BFS 搜索子层。

局限与展望¶

离线演化计算开销：当前框架依赖离线的元学习迭代阶段（11 个 Step，探索 43 个候选），每轮候选评估需要多次运行环境 Rollout，耗费一定的 API 调用预算，尚未实现实时的测试期在线端到端自修改。
代码沙箱与潜在安全性约束：自动生成 Python 代码并在沙箱中动态加载执行，虽然有隔离机制和人类审查，但在更大规模的生产部署中仍需警惕潜在的 Prompt 注入破坏或沙箱逃逸风险。
与模型底层权重更新解耦：当前聚焦于 Token-level 外部记忆的符号化与语义化构建，未来若能将代码级外部记忆与模型参数级连续学习（如 LoRA 或内生显存状态）深度协同，有望诞生真正的终身自主智能体。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出利用代码空间开放式元学习智能体记忆架构，打破了人工设计外部记忆系统的既有范式。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 4 个极具挑战性的序贯决策基准，包含跨基座模型零样本迁移、任务分布偏移及完整探索消融对比。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨，形式化定义完备，开源实现规范彻底。
价值: ⭐⭐⭐⭐⭐ 为解决基础模型无状态性缺陷和构建具备终身自进化能力的自主智能体系统指明了切实可行的演化技术路线。