Procedural Memory Distillation: Online Reflection for Self-Improving Language Models¶

会议: NeurIPS 2026
arXiv: 2607.01480
OpenReview: https://openreview.net/forum?id=yghv7C3L8K
论文: https://arxiv.org/abs/2607.01480
领域: 模型压缩
关键词: 程序性记忆, 在线反思, 自蒸馏, 强化学习, 协同演化

一句话总结¶

针对可验证奖励强化学习（RLVR）与自蒸馏仅依赖单轮局部反馈、无法积累跨轮经验的问题，本文提出程序性记忆蒸馏（PMD），在训练期构建经验-洞察-行为三级记忆并与策略协同演化，通过自教师将反思知识逆向KL蒸馏入模型权重，实现推理期零外部记忆依赖的原生自提升。

研究背景与动机¶

基于可验证奖励的强化学习（RLVR，如 PPO、DPO 与 GRPO）以及近期的同策略自蒸馏方法（如 SDPO）已成为激发大语言模型复杂推理能力的主流范式。这类方法的核心假设是单轮独立性：在每个优化步骤中，模型对当前问题采样若干 rollout，根据验证器判定的正确性得分、文本报错或同组成功解生成监督信号更新策略参数，随后直接抛弃这批交互轨迹。然而在多轮迭代的实际训练中，不断演进的模型会在不同 epoch 中反复面对相同或语义高度相关的题目。这些反复尝试产生的信息远比单标量奖励丰富，蕴含着跨越多个优化步的关键动态——哪些求解策略能稳定通过验证、哪些典型错误模式在反复重现、跨题目的可复用推理模式是什么。现有的单轮局部更新机制对这类跨轮经验完全视而不见，导致模型在相同陷阱上反复受挫。

为了利用历史交互经验，智能体记忆领域（如 MemGPT、MemoryBank、Memento、A-MEM）尝试维护显式的外部反思或技能记忆库。但这类方法本质上是将记忆作为推理阶段的外部依赖，要求模型在部署时频繁检索外部存储并拼接长上下文，不仅大幅增加了在线服务延迟与显存开销，而且一旦检索不准或上下文窗口受限，性能便急剧下降。另一方面，静态知识蒸馏或离线记忆库往往由初始模型单次生成，随着训练策略的不断优化，静态记忆会迅速与当前策略的能力边界脱节，造成严重的分布漂移与监督失效。

本文的切入角度是：将外部记忆解耦为仅在训练期存在的「脚手架（training scaffold）」，通过策略与记忆的在线协同演化，将跨轮反思经验渐进式地内化为模型自身的网络权重。核心 idea：构建经验-洞察-行为三级在线程序性记忆体系，使动态记忆库与演进策略在线协同演化，并在训练期由记忆条件化的自教师通过逆向 KL 散度将高层程序性知识蒸馏至学生策略参数中，实现推理期完全摆脱外部记忆的原生自提升。

方法详解¶

整体框架¶

程序性记忆蒸馏（PMD）构建了一个由「学生采样与验证 → 在线层次化记忆更新 → 记忆条件化自教师构建 → 逆向 KL 权重蒸馏」组成的紧密闭环。整个训练循环中，学生策略在真实访问的状态空间上探索，环境反馈与反思信息被分级沉淀至程序性记忆中；随后，获得记忆强化的自教师指导学生策略更新；更新后的策略在下一轮生成更高质量的轨迹，驱动记忆进一步精炼。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入题目与学生策略采样<br/>生成多路 Rollout 及验证反馈"] --> B["三级层次化程序性记忆构建<br/>经验存留 / 对比反思 / 行为聚类"]
    B --> C["记忆条件化自教师构建<br/>局部经验与全局行为检索融合"]
    C --> D["逆向KL自蒸馏与策略更新<br/>教师监督内化至学生模型参数"]
    D --> E["策略与记忆在线协同演化<br/>更新策略驱动下轮记忆提炼"]
    E -->|下轮训练迭代| A
    D -.->|推理阶段部署| F["原生无记忆推理<br/>零外部检索与延迟开销"]

在推理部署阶段，所有的外部记忆存储与检索模块被完全剥离。由于高阶程序性知识与反思行为已在训练中内化为网络权重，学生模型仅需接收原始题目输入，即可自主展开高质量的分步推理与自我校验。

关键设计¶

1. 三级层次化程序性记忆构建：平衡具体证据保真度与跨任务抽象迁移能力

为了化解具体轨迹的高保真度与通用规则的泛化性之间的固有矛盾，PMD 建立了由下至上的三级记忆结构： - 经验记忆（Level-0, Experience Memory \(M^{\mathrm{exp}}\)）：面向具体问题以有界方式严格保存模型历史采样轨迹、真实得分及环境反馈。每题最多维护 5 条成功解答与 3 条带反馈的失败解答。为避免存储崩溃为高度重复的同义表述，引入基于嵌入余弦相似度的多样性门控（diversity-aware novelty gate），过滤近重复样本，并在容量满时淘汰冗余度最高的样本。 - 洞察记忆（Level-1, Insight Memory \(M^{\mathrm{ins}}\)）：由学生模型自身异步提炼具体题目的结构化反思。当题目同时存在成功与失败轨迹时，采用对比式反思（contrastive extraction），侧重辨析成功推理与失败尝试的分歧点，分别归纳为「策略（strategies）」与「教训（lessons）」。为防止模型产生投机取巧的作弊模式，施加严格的反捷径过滤机制（anti-shortcut filtering），禁止提及选项字母、元语言标记或特定题目表层词，将捷径污染率从 39% 压制至 3%。 - 行为记忆（Level-2, Behavior Memory \(M^{\mathrm{beh}}\)）：构建跨题目的全局通用技能库（容量上限 500 条）。通过轻量级嵌入模型（Qwen3-Embedding-0.6B）编码训练题目并在表征空间执行语义聚类，利用 LLM 对簇内各题的洞察记忆进行跨题目抽象，提炼出可广泛复用的通用推理准则与解题范式。更新采用「检索-判断（retrieve-then-decide）」策略，判断是追加新行为、更新现有行为还是删除过时冗余项。

2. 记忆条件化自教师构建：局部经验与全局行为检索融合

传统的自蒸馏方法（如 SDPO）仅能将当前单步 batch 内的同伴成功轨迹或局部反馈拼接至自教师提示词中，缺乏长程知识。PMD 在每一步优化中为自教师动态注入跨粒度的复合记忆上下文。针对当前题目 \(x_i\)，系统直接读取该题专属的经验记忆 \(m_{i,t}^{\mathrm{exp}} = M_{t+1}^{\mathrm{exp}}[i]\) 与洞察记忆 \(m_{i,t}^{\mathrm{ins}} = M_{t+1}^{\mathrm{ins}}[i]\)；同时利用检索函数 \(\mathcal{R}\)，依据题目语义相似度从全局行为库中密集检索 Top-\(K\)（默认 \(K=3\)）条相关行为规则 \(m_{i,t}^{\mathrm{beh}} = \mathcal{R}(M_t^{\mathrm{beh}}, x_i)\)。将三者融合成复合记忆提示词：

\[m_{i,t} = \mathrm{Compose}(m_{i,t}^{\mathrm{exp}}, m_{i,t}^{\mathrm{ins}}, m_{i,t}^{\mathrm{beh}})\]

自教师模型 \(q_{\theta_t}\) 共享当前策略参数，但在重参数化提示下评估相同前缀：

\[q_{\theta_t}(\cdot \mid x_i, m_{i,t}, g_{i,t}) := \pi_{\theta_t}(\cdot \mid \mathrm{reprompt}(x_i, m_{i,t}, g_{i,t}))\]

其中 \(g_{i,t}\) 为当前 batch 获得的即时验证反馈。通过将反思记忆作为特权信息提供给教师，使同一模型在不依赖外部更强模型的前提下，产出远优于自身自由生成的监督目标分布。

3. 策略-记忆在线协同演化：防止教师信号陈旧与策略分布漂移

知识蒸馏与强化学习中最棘手的问题之一是教师与学生之间的分布偏移。静态记忆库由初始弱模型单次离线构建，当学生策略优化演进后，旧记忆所包含的低级错误与狭隘策略会迅速陈旧，反而限制学生进步；反之，若仅演化记忆而不更新策略参数，模型在推理期依然无法获得实质增益。PMD 确立了「策略采样刷新记忆，动态记忆塑造教师，强化教师更新策略」的协同演化原则（Co-evolution）。经验记忆在每个 batch 同步追加，洞察记忆异步持续提炼，行为记忆按固定周期（每个 epoch 间隔 \(K\) 步）动态整合与精简。这种紧密耦合确保自教师始终贴合学生当前的探索前沿与能力短板。

一个完整示例¶

以 SciKnowEval 中的化学分子量计算题为例（输入 SMILES 式为 C1CC1C(=O)NCCC=O，正确分子量为 141.17 g/mol，对应选项 B）： 1. 经验积累：学生策略初始生成中，某条 rollout 忽视了环丙烷环结构 C1CC1 的成环氢原子缺失，错误地按链状烷烃多算碳氢数目，选中选项 A；而另一条 rollout 识别出了环状基团与羰基、酰胺基并正确得出选项 B。经验库记录下两组完整推理路径与正负反馈。 2. 对比反思与洞察沉淀：洞察模块对比两组轨迹，提取出策略「在分子量计算前，必须先将复杂分子拆解为官能团与环状结构，并补全所有隐式氢原子」，以及教训「严禁将环结构标记 C1CC1 当作普通线性片段，避免在环碳上过度计算饱和氢」。 3. 跨题行为抽象：全局行为演化器将该题与其它有机分子摩尔质量题目聚类，提炼出可跨题复用的通用行为准则 behavior_account_for_implicit_hydrogens（处理 SMILES 必须系统校验隐式氢）并存入全局库。 4. 自教师重提示与内化蒸馏：后续 epoch 中面对同类问题时，自教师接收上述策略、教训与检索到的行为准则，生成带有清晰官能团拆解与逐项选项排除的严谨解答；学生模型通过逆向 KL 散度拟合该教师输出。在最终评估中，无需任何提示词引导，学生模型已自发表现出「先辨识环结构、再补全隐式氢、最后逐项核验」的解题行为模式。

损失函数 / 训练策略¶

PMD 遵循同策略自蒸馏原则，学生策略在自己实际采样的探索轨迹分布上学习，最小化其与记忆强化自教师在逐 token 前缀上的逆向 KL 散度（Reverse-KL Divergence）：

\[\mathcal{L}_{\mathrm{PMD}}(\theta; \theta_t, M_t) = \mathbb{E}_{x_i, y_i}\left[\sum_{s=1}^{|y_i|} \mathrm{KL}\left(\pi_\theta(\cdot \mid x_i, y_{i,<s}) \;\middle\|\; \mathrm{stopgrad}\left(q_{\theta_t}(\cdot \mid x_i, m_{i,t}, g_{i,t}, y_{i,<s})\right)\right)\right]\]

其中 \(y_i\) 为当前策略采样的 rollout，自教师输出在计算梯度时施加 \(\mathrm{stopgrad}\) 截断。参数更新公式为：

\[\theta_{t+1} \leftarrow \theta_t - \eta \nabla_\theta \mathcal{L}_{\mathrm{PMD}}(\theta; \theta_t, M_t)\]

在系统开销方面，PMD 的记忆存储与嵌入检索完全在 GPU 显存之外异步执行，相较于标准 SDPO，单步训练耗时仅增加 1.45 倍（53.6s vs 37.0s，基于 8×H200 GPU 测试），峰值显存仅增加 0.3 GB（54.9 GB vs 54.6 GB），且不增加额外的教师前向生成轮次。

实验关键数据¶

主实验¶

论文在覆盖生物、化学、物理与材料四个学科的科学推理基准 SciKnowEval（指标为 16 次采样平均准确率 avg@16）以及具备严格单元测试反馈的代码生成基准 LiveCodeBench（指标为 4 次采样单元测试全通率 score@4）上进行了系统评测，基座模型涵盖 Qwen3-8B 与 OLMo3-Instruct-7B。

模型	方法	SciKnowEval 生物	化学	物理	材料	SciKnowEval AVG	LiveCodeBench v6
Qwen3-8B	Base Policy	32.4	41.6	58.5	59.2	47.9	27.1
Qwen3-8B	GRPO	63.2	73.2	70.6	70.7	69.4	41.2
Qwen3-8B	SDPO	63.6	80.6	72.8	80.4	74.4	47.9
Qwen3-8B	PMD (本文)	68.5	82.8	74.7	82.9	77.2	51.7
OLMo3-Instruct-7B	Base Policy	15.4	22.6	35.9	36.7	27.7	27.7
OLMo3-Instruct-7B	GRPO	45.8	70.1	63.3	76.5	63.9	36.1
OLMo3-Instruct-7B	SDPO	54.1	79.0	66.1	76.8	69.5	45.0
OLMo3-Instruct-7B	PMD (本文)	66.1	81.3	68.2	77.4	73.3	51.1

相较于缺乏跨轮记忆的强基线 SDPO，PMD 在 Qwen3-8B 上将 SciKnowEval 平均分从 74.4% 提升至 77.2%（+3.8% 相对增益），LiveCodeBench 从 47.9% 提升至 51.7%（+7.9% 相对增益）；在 OLMo3-Instruct-7B 上分别取得 5.5% 与 13.6% 的显著相对提升。

消融实验¶

为了拆解反思提炼、经验持久化与协同演化机制的独立贡献，论文在 Qwen3-8B 上设计了细粒度消融方案：

配置 / 变体	SciKnowEval AVG	LiveCodeBench v6	机制说明
Base Policy	47.9	27.1	原始未微调基座模型
SDPO (基线)	74.4	47.9	仅使用单轮局部反馈与同伴解
Evolving Memory + Frozen Policy	54.0	35.9	仅演化记忆库，策略权重完全冻结（外置记忆提示）
Frozen Memory + Evolving Policy	65.0	47.5	训练初期构建一次性静态记忆库并冻结，随后蒸馏策略
PMD-Transient (即时记忆)	75.7	48.1	保留三级反思结构，但每步更新后彻底丢弃记忆（无持久化）
PMD (完整协同演化)	77.2	51.7	三级记忆持续在线累积，策略与记忆双向协同演化

此外，针对记忆抽象层级的消融结果显示： - 单独使用经验记忆（Experience Only）：SciKnowEval AVG 为 74.3%； - 引入对比洞察反思（Experience + Insight）：提升至 75.7%； - 融合全局行为抽象（Experience + Insight + Behavior）：达到最优的 77.2%。

针对内化生成模式的语言学话语分析（Discourse Analysis）与长度统计表明： - GRPO 解答严重冗长（中位数 1306 tokens，经常触碰 8192 上限），但准确率仅 63.2%； - SDPO 解答高度短平快（中位数 185 tokens），缺乏自我推导机制； - PMD 解答长度适中（中位数 474 tokens），额外增加的 ~260 tokens 精准对应于「逐选项对比与证伪（~120 tokens）」、「推理路径元级自证（~60 tokens）」与「类似命名行为准则的解题策略陈述（~80 tokens）」，证明教师端的高阶程序性逻辑已被完全内化。

关键发现¶

协同演化是性能收益的核心支柱：冻结策略仅演化记忆（54.0%）或冻结记忆仅演化策略（65.0%）均导致性能断崖式下跌（相比 PMD 跌幅超 12-23 个百分点），证明静态记忆库无法适配动态演进的策略能力边界。
任务难度决定了记忆持久化的权重：在单轮探索即可发现正确路径的科学选择题中，单步即时反思（PMD-Transient，75.7%）即贡献了主要增益；而在成功解稀疏、试错代价高昂的代码生成任务中，跨轮持久化（Persistence）带来了从 48.1% 到 51.7% 的质变。
PMD 保留了测试时计算扩展（Test-time Scaling）的覆盖空间：SDPO 倾向于过度收敛至狭窄的成功模态，导致候选解多样性瓦解，在材料科学上甚至出现 oracle pass-any（best@16）等于多数投票（maj@16）的完全模态坍塌；而 PMD 在采样预算扩展至 16 时仍保持持续上升，其验证器裕度（verifier headroom，即 best@k 与 maj@k 之间的增益带）达到 SDPO 的 2 至 4 倍。

亮点与洞察¶

将记忆定位为「训练脚手架」而非「部署依赖」：巧妙打破了传统记忆智能体依赖庞大外挂存储与在线长程检索的工程瓶颈，通过同策略自蒸馏将多轮试错沉淀为隐式权重，兼顾了记忆系统的经验复用能力与原生模型的极低推理开销。
对比反思与反捷径过滤确保反思质量：在生成 Insight 时利用成败轨迹进行侧向对比，直击错误成因；辅以严格的反捷径规则，杜绝模型在训练期记忆选项字母或题目特异性指纹，保证了蒸馏信号的通用性。
可复用的跨尺度记忆泛化能力：实验证明在 8B 模型上协同演化出的行为记忆，不仅可以反哺自身，还能直接迁移至 1.7B 到 32B 的同系模型推理中，甚至使带有 top-5 记忆检索的 4B 模型表现超越零记忆的 8B 模型。

局限与展望¶

依赖相对固定的训练题目复访场景：当前评测基于固定的科学知识与代码题目集，依赖多轮 epoch 反复访问相同或高相关题目以沉淀局部经验。在开放领域、任务流完全异构且不重复的终身学习环境中，局部经验记忆难以充分累积。
多学科行为记忆的整合与淘汰机制仍较粗糙：虽然引入了语义聚类与更新决策，但行为库的动态演化在跨学科场景下表现出分化（生物与材料快速饱和收敛，而化学与物理持续扩张），缺乏更严密的自动剪枝与遗忘理论指导。
未来方向：可进一步将 PMD 推广至长程自主智能体（Long-horizon embodied agents）的工具调用与环境交互中，探索更高效的跨任务行为抽取与层次化参数蒸馏。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出将分层在线程序性记忆与大模型同策略自蒸馏相结合，确立了策略与记忆协同演化的学习范式，摆脱了外挂记忆的推理依赖。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖科学推理与代码生成两大验证域，对比基线严谨完整，细粒度消融了记忆各层级、持久化、协同演化及语言学结构。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，三级记忆的保真度-迁移性权衡论述严密，图表信息量极其丰富。
价值: ⭐⭐⭐⭐⭐ 为强化学习自提升与长程反思知识的内化沉淀提供了高可复用、工程友好的重要路径。