Combating Catastrophic Forgetting in Continual Domain Adaptation via Knowledge Recasting¶

会议: NeurIPS 2026
arXiv: 2610.28892
OpenReview: https://openreview.net/forum?id=x28eNvC5gp
代码: https://github.com/jesseliu0913/Skill_Forgetting
领域: 安全
关键词: 灾难性遗忘、持续领域自适应、知识重塑、技能模式传输、后训练

一句话总结¶

针对语言模型在后训练领域漂移下严重的灾难性遗忘问题，本文打破以往单纯通过回放或正则约束模型参数漂移的范式，提出技能模式传输（SST），将新领域样本抽象为领域无关的过程化技能模式并在熟悉的认知程序下重构训练，在数学推理与智能体流式更新中显著降低遗忘并保持分布外泛化。

研究背景与动机¶

大语言模型在后训练阶段通过监督微调（SFT）、强化学习（RLHF）以及领域自适应持续微调等手段不断吸收新知识。然而，在序列化后训练过程中，模型在学习新分布的同时极易丢失已掌握的旧能力，即发生灾难性遗忘。在领域分布发生显著偏移时，新领域引入的专业词汇、表层符号和全新推理语境往往会严重破坏模型预先形成的知识网络。以往的遗忘缓解方法大多基于“控制模型漂移”的假设：回放方法（Replay）重采样历史样本以拉平输出行为，蒸馏方法（Distillation）惩罚当前模型对历史模型预测分布的偏离，而参数正则化方法（如 EWC、MAS、LoRA 正交子空间约束）则通过惩罚关键参数变动来锁死隐层表征。

然而，表层行为漂移与隐层表征漂移在本质上并不一致——从隐层表征到词表输出的多对一映射特性，使得仅仅约束表层预测并不能阻止内部表征剧烈重构，反之强行冻结参数子空间又极大地束缚了模型适应新任务的可塑性。更为关键的矛盾在于：适应新领域本身就不可避免地需要模型重构或强化特定推理语境，缓解遗忘的核心挑战绝非“盲目抑制模型变化”，而是“如何系统性组织与引导模型变化”。作者通过对基础模型在数学多领域错误类型的深入诊断发现，模型的失误往往不局限于孤立的领域标签，而是跨越学科边界呈现出高度共享的过程化程序缺陷。

由此，本文改变以往将更新模型强行拉回旧状态的被动约束思路，转而探索一种知识重构（Knowledge Recasting）的新路径：将新领域的未知问题翻译到模型已掌握的程序化知识空间内，让未知知识通过熟悉的过程被吸收。核心 idea：提出技能模式传输（Skill Schema Transport, SST），通过提取剥离领域表层符号的结构化技能模式，在后训练阶段将新领域样本作为可复用过程的实例化对象重构训练提示，变轨迹死记硬背为程序化复用，从而在免检索推理的前提下系统性抑制遗忘并增强跨领域泛化。

方法详解¶

整体框架¶

技能模式传输（SST）将持续领域自适应重构为一个“提取技能模式 → 动态检索与传输 → 模式条件化后训练 → 记忆在线动态演进”的闭环管线。面对序列化到达的任务流 $\mathcal{D}_1, \ldots, \mathcal{D}_T$，SST 在 step $t$ 并不直接拿新领域样本 $(x, y)$ 拟合目标，而是先由上一阶段模型 $\Gamma_{\theta_{t-1}}$ 结合标准推理轨迹 $\tau$ 抽取出高层操作步骤与校验机制组成的领域无关模式 $z$；随后在动态维护的技能记忆库 $\bar{\mathcal{B}}$ 中匹配最近邻，将问题表达为与先验技能对齐的传输模式 $\widetilde{z}$。

在参数更新阶段，传输模式 $\widetilde{z}$ 仅作为输入上下文前缀与问题 $x$ 拼接，引导模型生成标准答案 $y$。由于这一过程在训练时将新领域轨迹映射到通用程序坐标中，模型无需在推理端依赖外部检索，即可内化共享的程序结构。同时，技能记忆库根据新增样本的支撑度与效用分执行动态修正、新增、合并与修剪，确保过程知识库的高效演化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["新领域输入样本 (x, y, &tau;)"] --> B["1. 领域无关技能模式抽取<br/>抽象出目标/标准步骤/失败模式"]
    B --> C["2. 技能模式传输与最近邻映射<br/>计算最近邻 NN(z) 并判断 &epsilon;-传输性"]
    C --> D["3. 模式条件化后训练<br/>模式充当输入上下文，目标仅监督金标 y"]
    D --> E["4. 技能记忆库在线动态演进<br/>执行 Revise / Create / Merge / Drop"]
    E --> F["更新后模型 &theta;t 与演进记忆库 &Beta;t"]

关键设计¶

1. 领域无关技能模式抽取：将具体解题轨迹抽象为解耦表层的过程规范 传统的微调监督直接迫使网络拟合特定领域的符号表示和解题文字，这使得模型将推理逻辑与具体的表征符号耦合，造成旧领域推理模式被新领域表层形式冲刷。SST 引入形式化抽象算子 $\Gamma_{\theta_{t-1}}(\tau) \to z \in \mathcal{Z}$，利用当前阶段之前的模型能力，从参考解答 $\tau$ 中剥离掉特定领域的实体名称、数值设定与表层措辞，抽取出包括“技能名称、目标意图、适用条件、关键词、结构线索、输出格式、规范化步骤（Canonical Steps）、常见失败模式及组合关联”等多维规范字段。这一设计将具体的推导轨迹转化为可复用的高层认知模版，为跨领域知识传输提供了标准化的语义中介。

2. 技能模式传输与最近邻映射：判断新旧知识的过程相似性与坐标重塑 面对抽取出的新样本模式 $z$，系统需要裁决其是已有认知能力的跨领域迁移还是全新的解题范式。SST 定义了 $\epsilon$-模式可传输性（Schema Transportability）：在当前的工作记忆库 $\bar{\mathcal{B}}$ 中检索与 $z$ 距离最近的模式 $\mathrm{NN}_{\bar{\mathcal{B}}}(z) = \arg\min_{z' \in \bar{\mathcal{B}}} \mathrm{Dist}(z, z')$。具体实现中，系统使用轻量级编码器（bge-small-en-v1.5）对问题 $x$ 与模式库自然语言块进行编码并基于余弦相似度进行粗筛，辅助确认传输模式： $$ \widetilde{z} = \begin{cases} \mathrm{NN}{\bar{\mathcal{B}}}(z), & \text{if } \bar{\mathcal{B}} \neq \emptyset \text{ and } \mathrm{Dist}(z, \mathrm{NN} $$ 若距离小于阈值 }}}(z)) \le \epsilon \ z, & \text{otherwise} \end{cases$\epsilon$，新问题被直接赋予熟悉的历史技能坐标；若超出阈值，则将自身作为潜在新技能候选。这种机制使得新领域的问题在训练时便以模型熟悉的逻辑框架被理解，极大地降低了模型为拟合新领域而强行漂移共享表征空间的必要性。

3. 模式条件化后训练：仅将过程模式作为输入线索而非预测目标的非侵入微调 常规提示学习常在推理期依赖外部检索，但这会带来显著的部署开销与召回噪声。SST 在后训练中构建模式增广数据集 $\mathcal{D}_t^{\mathrm{SST}} = \{(x_j, \widetilde{z}_j, y_j)\}$，其优化目标为： $$ \mathcal{L}{\mathrm{SST}}^t(\theta) = \mathbb{E}}, y) \sim \mathcal{Dt^{\mathrm{SST}}} \left[ -\log p\theta(y \mid x, \widetilde{z}) \right] $$ 需要特别强调的是，$\widetilde{z}$ 仅仅作为上下文补充出现在 Prompt 中，模型完全不对 $\widetilde{z}$ 进行重构或生成监督，其梯度反传纯粹建立在由过程引导生成标准答案 $y$ 的对数似然上。局部线性化理论证明（Theorem 1），在正交解耦假设下，引入模式特异性切空间方向 $S \delta_{\mathrm{sc}}$ 能够有效分担残差拟合压力，严格保证所需共享参数位移量不大于常规全量微调：$\rho_{\mathrm{SST}}^2 \le \rho_{\mathrm{SFT}}^2$。在推理阶段，模型直接使用原始 Prompt 进行常规推断，完全免除模式检索过程，真正将迁移能力内化于模型权重中。

4. 技能记忆库在线动态演进：基于四类算子的无回放渐进式知识库自维护 为了在不回放历史训练数据的前提下持续拓展与去噪，SST 针对工作记忆库 $\bar{\mathcal{B}}$ 建立了在线动态演化机制，包含四大算子： - Revise（修订）：当新模式匹配到同族既有条目时，融合补充新的关键词、分支步骤与失败规避经验； - Create（创建）：对于 $\mathrm{Dist}(z, \mathrm{NN}_{\bar{\mathcal{B}}}(z)) > \epsilon$ 的非传输模式，只有在相同程序特征累积至少 $n_{\min}=2$ 个支持样本且置信度超过 $\delta_{\mathrm{create}}$ 时，才接收入库，杜绝孤立偶发样本污染； - Merge（合并）：若同族内两个模式的距离满足 $\mathrm{Dist}(z, z') \le \delta_{\mathrm{merge}}$，则合并冗余项并保留检索频次更高的高效表示； - Drop（修剪）：综合来源正确率、检索支持度与精度计算效用得分 $u(z)$，对检索达到 $k_{\min}$ 次但评分低于 $\delta_{\mathrm{drop}}$ 的陈旧无效模式进行剪枝。这使得记忆库在多轮流式训练下始终保持紧凑且具有高代表性。

实验关键数据¶

主实验¶

在两个 3B 指令微调模型（Qwen2.5-3B-Instruct 与 Llama-3.2-3B-Instruct）上评估四大数学领域序列（代数 Algebra $\to$ 计数与概率 Counting $\to$ 几何 Geometry $\to$ 中级代数 Intermediate Algebra）以及三大智能体决策序列（AlfWorld $\to$ WebShop $\to$ Search QA）。评测指标包括流式领域平均准确率（Stream Avg.）、先前领域平均最大遗忘幅度（Forget.，越低越好）以及 5 项综合分布外任务（MMLU, GSM8K, PIQA, CSQA, SciQ）的平均准确率（OOD Avg.）。所有推理均在严格免检索（retrieval-free）设定下执行。

模型	方法	流式最终平均 (Stream Avg. ↑)	遗忘幅度 (Forget. ↓)	MMLU	GSM8K	OOD 平均 (OOD Avg. ↑)
Qwen-3B (MATH)	Base	26.25%	–	65.45%	63.00%	74.84%
Qwen-3B (MATH)	Seq-SFT	19.96%	42.41%	57.18%	7.58%	58.92%
Qwen-3B (MATH)	SST (本文)	25.12%	7.10%	65.28%	39.20%	72.06%
Llama-3B (MATH)	Base	8.69%	–	62.12%	67.48%	74.33%
Llama-3B (MATH)	Seq-SFT	20.30%	4.39%	60.43%	46.40%	69.33%
Llama-3B (MATH)	SST (本文)	22.83%	4.09%	60.58%	61.84%	72.33%
Qwen-3B (Agent)	Base	38.75%	–	65.45%	63.00%	74.84%
Qwen-3B (Agent)	Seq-RL	73.04%	1.47%	65.42%	63.00%	75.87%
Qwen-3B (Agent)	SST (本文)	78.79%	0.77%	65.47%	63.61%	75.77%
Llama-3B (Agent)	Base	29.67%	–	62.12%	67.48%	74.33%
Llama-3B (Agent)	Seq-RL	74.50%	1.47%	61.84%	67.32%	74.08%
Llama-3B (Agent)	SST (本文)	77.77%	1.27%	61.95%	68.54%	74.17%

消融与诊断实验¶

为了验证 SST 优异的保留能力并非来源于欠拟合（Underfitting）或特定流式序列顺序的偶然性，作者在 Qwen-3B 上对比了充分收敛的 Seq-SFT、故意早停欠拟合的 Underfit SFT 以及 SST 在各领域与未见领域上的表现；并测试了单领域训练下目标任务增益（Gain）与跨领域下降（Drop）的权衡。

配置 / 方法	初始领域留存 (Algebra)	最终流式领域 (Inter. Alg.)	未见外推 (Prealgebra)	OOD 平均	结论说明
Seq-SFT (收敛)	26.62%	13.73%	29.50%	58.92%	严重覆盖先前领域知识，GSM8K 崩溃至 7.58%
Underfit SFT (欠拟合)	36.20%	8.40%	22.10%	61.30%	牺牲新领域拟合能力换取旧领域数值，无法兼顾
SST (完整方法)	40.27%	15.06%	38.40%	72.06%	保持高可塑性的同时旧领域稳固，且保留未见泛化能力
单领域增益–衰减对比	目标领域增益 (Gain ↑)	跨领域平均下降 (Drop ↓)	–	–	机制说明
Raw Fine-Tuning	较高但各向同性破坏	显著下降 (Drop 均值高)	–	–	缺乏程序引导导致共享参数各向同性发散漂移
Skill-Conditioned FT	相当或更高目标增益	跨领域降幅降低 40%+	–	–	过程重塑使更新对齐共享流形，兼顾迁移与保留

关键发现¶

非单调恢复与跨领域知识强化：在数学流测试中，Qwen-3B 在学习中间领域（几何等）时代数准确率由 44.99% 曾下滑至 37.15%，但在后续学习中级代数后反而回升至 40.27%。这证实了 SST 的机制不是冻结模型参数，而是让后续相似程序重新激活并巩固了共享技能。
极大化挽救通用能力崩塌：在 Qwen-3B 的数学微调中，常规 Seq-SFT 导致 GSM8K 准确率从 Base 的 63.00% 暴跌至 7.58%（彻底过拟合到特定符号体系）；而 SST 将 GSM8K 稳定在 39.20%，整体 OOD 任务从 58.92% 恢复至 72.06%，证明了过程规范化解耦了具体领域对通用逻辑的侵蚀。
序列置换鲁棒性：在四种不同的数学任务到达顺序排列（Permutations）下，SST 均保持了稳健的最终性能和相近的泛化剖面，消除了对人为精选课程学习顺序（Curriculum）的依赖。

亮点与洞察¶

从“约束参数漂移”到“重构知识坐标”的范式颠覆：以往工作将防遗忘等同于“限制模型更新”，导致塑料性与稳定性顾此失彼；本文通过“将新知识纳入已有技能体系”的认知观点，为持续学习开辟了程序级复用（Procedural Reuse）的新路径。
训练期结构化引导与推理期零检索开销的优雅结合：SST 虽利用模式检索来组织训练，但在测试时模型完全无需依赖检索系统，以标准输入即可直接激活内化的程序化解题通路，彻底规避了外部知识库维护与推断延迟的痛点。
严谨的切空间几何理论支撑：论文在附录中给出局部线性化一阶分析，严格从数学上证明了引入模式特异性参数投影方向能够保证最小共享参数位移不增，为过程化监督降低表征漂移提供了理论基石。

局限与展望¶

作者指出的局限：目前验证主要集中在 3B 尺度的开源模型和数学/智能体两条基准流上，对于 7B/70B 等超大参数模型、长序列流式自适应以及多模态场景的拓展尚待验证；同时方法对初始技能抽取的规范性和检索质量具有一定敏感度。
思考发现的局限：技能模式的定义仍然依赖于规则模板（Goal, Canonical Steps, Failure Modes 等），对于非严谨逻辑类领域（如开放式文学创作、多轮情感对话）可能难以提取离散化的“标准过程”；此外在初期冷启动时对种子技能族（Seed Skills）有先验依赖。
后续改进方向：可探索利用自监督迭代或隐式表征聚类自动诱导技能模式拓扑，并结合多智能体博弈实现多层级复杂技能图谱的端到端终身自进化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 改变了传统持续学习防漂移的对抗性思路，从程序化知识重塑视角统一不同领域的解题逻辑，立意非常高明。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖两款主流 3B 模型、数学与智能体双流、单领域与长序列流、欠拟合对照、顺序置换及 OOD 泛化检验，论据极为扎实。
写作质量: ⭐⭐⭐⭐⭐ 叙述逻辑严丝合缝，从表层/表征漂移的不一致性动机，到理论证明与实验展开，结构极度清晰。
价值: ⭐⭐⭐⭐⭐ 为大模型领域增量持续训练和安全性对齐保留提供了通用且极具启发性的工程与理论方案。