CapTrack: Multifaceted Evaluation of Forgetting in LLM Post-Training

会议: NeurIPS 2026
arXiv: 2603.06610
代码: https://github.com/thomsonreuters/captrack
领域: 安全
关键词: 大语言模型后训练, 灾难性遗忘, 能力级评测基准, 行为漂移, 协议执行可靠性

一句话总结

提出了将遗忘定义从参数化事实知识损失扩展至系统性行为与执行漂移的能力级评测框架 CapTrack，系统揭示了指令微调（IFT）较偏好优化（DPO）引发更严重能力遗忘、且模型规模无法消除稳定性-塑性权衡的规律。

研究背景与动机

后训练（Post-training，包含指令微调与偏好对齐等）已成为大语言模型（LLM）激发潜在技能、实现价值对齐及垂直领域适配的核心手段。然而，后训练过程普遍伴随灾难性遗忘现象。在传统持续学习与已有 LLM 遗忘研究中，遗忘通常被狭义地界定为预训练参数化知识或事实性知识的丢失，评估基准也高度集中于通用知识问答、多选准确率（如 MMLU）或单一任务性能下降。这种以准确率为中心的评估范式适用于早期专注于单一分类目标的视觉或辨别式模型，但难以表征作为复杂交互系统的现代基础模型。

现代 LLM 在实际交互中扮演着规划者、推理者和工具调用者的角色，其实用性不仅取决于记忆了多少事实，更依赖于稳健的多步推理、输入扰动下的鲁棒性、回答拒绝与过度引申等默认行为偏好，以及严格遵循结构化输出与交互协议的执行可靠性。以在法律领域后训练的 Qwen 3 80B Next 为例，其在通用事实准确率（MMLU-Pro +0.4%）和指令遵循基准（IFEval +0.7%）上表面维持稳定，但在多语言鲁棒性上急剧下降 16.4%，回答冗长程度亦漂移 4.3%。若仅沿用以参数知识为中心的传统测试，这类型直接破坏部署可靠性和用户交互体验的系统性模型漂移将被完全掩盖。

针对上述认知盲区，本文扩展了遗忘的边界，将其重新定义为“任何损害模型潜在胜任力、默认行为偏好或协议执行可靠性的系统性模型漂移”。基于此，本文构建了能力级评测元框架 CapTrack。核心 idea：将 LLM 行为解耦为潜在胜任力（CAN）、默认行为偏好（WILL）与协议执行可靠性（HOW）三大互补维度，通过针对性改造 28 项基准与相对偏移度量，提供跨算法、跨家族与跨尺度的多维度能力遗忘量化追踪。

方法详解

整体框架

CapTrack 并非从零构建一套极易饱和或迅速过时的单一闭源测试集，而是作为连接任务与能力维度的“元评测框架”（Meta-benchmark）。它将既有的 28 项代表性基准解构映射到能力谱系中，利用认知量表嵌入算法（Scales++）进行高代表性子采样（构建约 1.93 万评测样本），并配合原子化大模型裁判机制与相对基线偏差度量，实现细粒度且计算可行的遗忘追踪。

整个评估体系以未适配的开箱即用（Out-of-the-Box, OOB）模型作为锚点，所有指标均计算相对于 OOB 模型的相对偏差（Relative Deviation）。框架自上而下包含三大能力组，形成从输入端到输出协议的全面审计链路：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    In["适配后模型输入 (法律/医疗后训练 Checkpoint)"] --> Eval["CapTrack 统一元评测调度器 (19.3k 样本)"]

    subgraph CapTaxonomy ["三维行为能力解耦分类体系 (CAN / WILL / HOW)"]
        direction TB
        CAN["潜在胜任力评测 (CAN)<br/>C1-C4 知识/推理/ICL/真实性 + C5 提示/领域/多语言鲁棒性"]
        WILL["默认行为偏好探测 (WILL)<br/>W1 拒绝与依从倾向 + W2 信息广度 + W3 风格与冗长度"]
        HOW["协议执行与约束遵循 (HOW)<br/>H1-H2 指令/Schema格式 + H3-H6 工具/多轮/长文本/引用"]
    end

    Eval --> CapTaxonomy

    CAN --> Rel["原子化判别与相对偏移归一化<br/>Δ = (Score_post - Score_OOB) / Score_OOB"]
    WILL --> Rel
    HOW --> Rel

    Rel --> Out["五级遗忘严重度分级剖面<br/>无 (> -1%) / 轻微 (-1~-5%) / 中度 (-5~-10%) / 严重 (-10~-20%) / 灾难性 (< -20%)"]

关键设计

1. 三维能力解耦分类体系（CAN / WILL / HOW）：剥离潜在能力与表层行为偏好

传统评测常将任务失败笼统归咎于能力丢失，无法辨识模型究竟是“无法完成”（胜任力缺陷）、“不愿配合”（默认策略漂移）还是“执行格式损坏”（协议依从性崩溃）。CapTrack 借鉴认知语言学中能力（Competence）与表现（Performance）的区分，构建了三层递进的分类法： - CAN（Latent Competence，潜在胜任力）：度量在理想提示词引导下模型能力的上限边界。包含参数化知识与代码/数学技能（C1，涵盖 MMLU-Pro、PopQA、GSM8K、HumanEval）、多步推理与问题解决（C2，涵盖 MATH、SuperGPQA）、上下文理解与在境学习（C3，BoolQ、HotpotQA）、认识真实性与事实接地（C4，RAGTruth、TruthfulQA），以及抗扰动鲁棒性（C5，涵盖提示改写不变性 C5a、分布漂移鲁棒性 C5b、跨语言多语言稳定性 C5c）。 - WILL（Policy & Behavioral Preferences，策略与行为偏好）：度量在欠明确或中立提示下模型的默认生成倾向。包含回答意愿度（W1，良性提示过度拒答 vs 不安全提示漏拒 vs 裁剪去问题的欠明确任务依从率）、信息覆盖度与越权过度引申（W2，Coverage vs Overreach），以及默认语言风格与详尽度（W3，包含回复长度、单句长度、对冲推诿词比率、排版标记使用率）。 - HOW（Protocol Compliance & Execution，协议规范与执行机制）：度量模型对外部交互契约与严苛约束的遵从精度。包含细粒度指令硬约束遵循（H1，IFEval、FollowBench）、输出格式与 Schema 保真度（H2，结构化 JSON Schema 严格解析通过率）、工具与函数调用（H3，BFCL、多轮交互 MNMS）、多轮交互状态维持与承诺保持（H4，StructFlowBench、MT-Bench 第二轮）、长上下文窗口定位与聚合操作（H5，RULER 32k、LongBench-V2），以及显式来源引用与归因机制（H6，HotpotQA、QASPER 来源匹配与格式精度）。

2. 针对性基准扰动与探针设计：暴露常规静态评测不可见的脆弱性

标准基准测试大多采用单轮、封闭式选择或自由生成形式，难以触及行为与协议的边缘失效。CapTrack 针对性实施了四类微观测试改造： - Schema 结构化包装（面向 H2 输出保真度）：将 MMLU-Pro 和 GSM8K 的原始样本分别包裹进两种预定义的紧凑 JSON Schema 合约中，不仅评估答案正确与否，更严格解析输出流的 JSON 语法合法性与字段完整性。 - 欠明确提示裁剪（面向 W1 行为偏好探针）：对 RULER-4k 大海捞针上下文末尾截除最后 100 个 token（隐去明确指令），探测模型是具备交互常识指出上下文缺失并合理处理，还是产生机械妄想或盲目拒绝。 - 提示句法释义扰动（面向 C5a 鲁棒性）：利用专有提示重构管线，对 GSM8K 与 MMLU-Pro 问题在严格保留题意与逻辑约束的前提下进行语法重构改写，量化语义同构下的准确率扰动方差。 - 真实性与引申边界解耦（面向 C4 与 W2）：将模型输出按原子陈述（Atomic Claims）断句，区分正文陈述与事实源上下文的支撑关系。定义真实性为 \(1 - \text{Hallucination}\)，定义引申控制分为 \(1 - \text{Overreach}\)，避免单一片段错误污染整体评分。

3. 原子化 LLM 裁判架构与相对偏差度量：消除打分偏见与基准绝对值异质性

为杜绝传统大模型裁判（LLM-as-a-judge）主观偏置大、受生成风格干扰等缺陷，CapTrack 在 52 个度量指标中将依赖裁判的 14 个指标严格重构为“原子化判别任务”（Atomic Decisions）。裁判模型绝不直接给长回答打综合印象分，而是执行单步有效性验证（Step Validity）、相邻步骤逻辑连贯性判定（Logical Coherence）或单条陈述事实核验等二元/标量判定。通过对 10 种代表性裁判模型的严谨相关性比对（见附录 C.6），验证了轻量级 GPT-4o-mini 与 Claude Opus 4.1、Gemini 2.5 Pro 裁判高度对齐，且裁判间波动标准差仅 1.1 百分点，远低于模型遗忘方差。

在指标聚合上，摒弃遮蔽微观特征的全局算术平均，计算相对于未经后训练的 OOB 检查点的相对漂移率： $\(\Delta_{\text{rel}} = \frac{S_{\text{adapted}} - S_{\text{OOB}}}{S_{\text{OOB}}} \times 100\%\)$ 并定义了五档离散化遗忘严重程度区间（Regimes）：无显著遗忘（\(\Delta > -1\%\)）、轻微遗忘（\(-1\% \ge \Delta > -5\%\)）、中度遗忘（\(-5\% \ge \Delta > -10\%\)）、严重遗忘（\(-10\% \ge \Delta > -20\%\)）与灾难性遗忘（\(\Delta \le -20\%\)），从而建立起跨异构测试集的可比归一化标尺。

损失函数 / 训练策略

论文在统一的 AWS HyperPod 集群（8× H200 节点）上严格对齐后训练基线。评估采用统一标准： - 指令微调（IFT）：采用标准自回归负对数似然（NLL）损失，仅对响应序列计算梯度（Prompt 掩码）： $\(\mathcal{L}_{\text{IFT}} = -\sum_{t=1}^{T} \log p_{\theta}(y_t \mid y_{<t}, x)\)$ 学习率设为 \(1 \times 10^{-6}\)，余弦退火至 \(2.5 \times 10^{-7}\)，AdamW 优化，全序列长度上限 10,240。 - 直接偏好优化（DPO）：基于配对偏好数据 \((x, y^+, y^-)\)，以未微调的 OOB 模型为冻结参考模型 \(p_{\theta_0}\)： $\(\mathcal{L}_{\text{DPO}} = -\log \sigma \left( \beta \left[ \log \frac{p_\theta(y^+ \mid x)}{p_{\theta_0}(y^+ \mid x)} - \log \frac{p_\theta(y^- \mid x)}{p_{\theta_0}(y^- \mid x)} \right] \right)\)$ 设定 \(\beta = 0.1\)，恒定带预热学习率 \(2 \times 10^{-7}\)，序列长度上限 7,680。 - 推理统一化：vLLM 引擎，bfloat16 精度，确定性解码（\(\text{Temperature} = 0.0, \text{top-p} = 1.0\)），长文本通过 YaRN RoPE 拓展至 131k token。

实验关键数据

主实验

基于法律领域（LegalBench、CaseLaw 等）和医疗领域（Medical Meadow、AskDocs 等）精选工业级真实数据，对 Qwen（Next-80B MoE、14B、4B）、Llama（3.3-70B、3.1-8B）和 Gemma（3-12B、3-4B）三大系列共 7 个模型进行全量 CapTrack 审计。

下表展示了法律领域模型家族级聚合的主能力相对遗忘表现（单位：相对 OOB 漂移百分比 %，越高代表保持越好/遗忘越少；数据摘自正文图 1/图 2 及附录详细统计）：

能力组别	核心子能力维度 / 基准测试	LLaMA 系列 (IFT)	LLaMA 系列 (DPO)	Gemma 系列 (IFT)	Qwen 系列 (IFT)	核心遗忘特征
CAN	C1 参数知识与通用技能 (MMLU-Pro/GSM)	-4.3%	-0.6%	-11.3%	+0.2%	Gemma/LLaMA在数学与代码上显著掉点
CAN	C2 复杂多步推理 (MATH/SuperGPQA)	-8.2%	-1.2%	-7.5%	-0.8%	IFT严重损害中间推理链连贯性与步数
CAN	C5c 多语言稳定性 (MGSM/XTREME)	-29.4%	-9.1%	-1.4%	-16.4%	LLaMA与Qwen发生灾难性多语言遗忘
WILL	W1b 欠明确提示回答依从率 (RULER-crop)	-17.5%	-3.2%	-54.9%	-1.1%	Gemma过度保守化，严重陷入拒绝回答状态
WILL	W2a 响应内容覆盖度 (Coverage)	-14.1%	+4.8%	-18.5%	-0.9%	IFT使得回答信息急剧收缩，DPO可部分补救
WILL	W3a 详尽度与输出长度 (Verbosity)	-35.8%	-6.7%	-39.3%	-3.4%	IFT大幅削减输出字数与单句长度方差
WILL	W3b 排版格式丰富度 (Formatting)	-41.3%	-5.1%	-46.5%	-6.9%	表格、列表与emoji使用模式严重流失
HOW	H1 细粒度指令遵循 (IFEval)	-13.5%	-1.7%	-2.9%	-2.1%	LLaMA在硬约束控制上退化明显
HOW	H4 多轮状态与承诺保持 (StructFlow)	-16.6%	-4.1%	-10.2%	-1.8%	交互进入第二轮后约束遗忘率陡增
HOW	H6 引用与归因机制 (HotpotQA-Cite)	-8.2%	-2.1%	-5.9%	-4.6%	来源定位准确率显著劣化，呈现小模型放大趋势

在目标领域适应验证（In-Scope Domain Performance）中，下表汇总了各模型在法律与医疗基准上的实际任务表现（相对 OOB 的相对提升率 %，以及 AskDocs 胜率 %）：

领域与任务	评测基准与指标	Qwen-80B (IFT)	Qwen-14B (IFT)	LLaMA-70B (IFT)	LLaMA-8B (IFT)	Gemma-12B (IFT)	Gemma-4B (IFT)
法律领域	LegalBench (相对提升 %)	-0.69%	+1.23%	+0.00%	+9.55%	+1.51%	+1.18%
医疗领域	HealthAdvice (相对提升 %)	+7.54%	+1.56%	+140.26%	-33.80%	+3.97%	+3.55%
医疗领域	PubMed Causal (相对提升 %)	+39.98%	+14.64%	+34.20%	+17.48%	+63.56%	+349.80%
医疗领域	AskDocs 胜率 (DPO 对决 OOB %)	68.8%	85.9%	81.1%	88.5%	78.2%	78.2%

消融实验

为验证缓解策略的有效性，作者在 Llama-3.1-8B-Instruct 法律后训练上，系统探索了数据驱动型与架构正则化型经典持续学习手段。

1. 架构与参数正则化缓解机制分析（以模型权重融合 TIES 与 LoRA 低秩微调为例）：

缓解策略类型	超参数配置 (密度 / Rank / 学习率)	塑性 (Plasticity: 法律领域表现)	稳定性 (Stability: 通用能力保留)	结论与内在权衡
全量微调 IFT	基准配置 (Unregularized)	100.0% (相对参考基准)	-12.66% (严重综合漂移)	塑性最强，能力级遗忘最深
TIES 模型合并	权重 \(\lambda = 0.8\) (密度 0.1)	88.4%	-9.12%	偏向微调模型，保留较多领域能力但漂移显著
TIES 模型合并	权重 \(\lambda = 0.5\) (密度 0.1)	61.2%	-4.35%	稳定性和塑性处于中等折中区间
TIES 模型合并	权重 \(\lambda = 0.2\) (密度 0.1)	22.8%	-1.18%	极度保留 OOB 能力，但领域适应增益近乎丧失
LoRA 微调	Rank \(r = 32\) (\(lr = 5 \times 10^{-6}\))	89.2%	-8.74%	高秩提供高自由度，遗忘模式快速逼近全量 IFT
LoRA 微调	Rank \(r = 8\) (\(lr = 5 \times 10^{-6}\))	52.3%	-3.10%	局部参数更新未打破稳定性-塑性根本矛盾

2. 数据级缓解机制（通用重放 Replay vs 领域数据）： 对比纯法律领域数据（NRP）与融入 50% Tulu 3 通用重放数据（RP）的微调发现：混入通用数据对缓解遗忘呈现异质且矛盾的影响。在 C5a 提示鲁棒性上重放带来 +2.1% 的缓解，但在 C2 数学推理上遗忘反而加剧 -1.8%，在 W1a 不安全拒答率上甚至诱发更高的安全风险漂移。这表明通用数据重放无法全局解决能力级遗忘。

关键发现

• 遗忘的主力区间并非事实知识，而是行为习惯与鲁棒性：在所有实验中，C1（事实多选）平均仅有 -2% 至 -5% 的退化，但 W3（长度与格式化样式）和 C5c（多语言鲁棒性）出现高达 -30% 至 -50% 的断崖式下跌。
• 算法内在保守性决定了遗忘幅度：在完全受控的数据量、批次和计算步数下，受隐式参考模型 KL 约束的 DPO 表现出极高的稳定性（平均遗忘仅 -2.5%），并在接续 IFT 进行时能部分挽救（Recover）被损坏的回答覆盖度与格式特征；无约束的 NLL-IFT 则是诱发全维度遗忘的元凶。
• 模型体量不是抵抗遗忘的避风港：70B/80B 模型与 4B 模型在大部分能力维度上的退化速率无单调正相关性，唯一例外是引用机制（H6），大模型由于具备更高的内部表征容量对上下文精确定位保持稍优。
• 经典缓解手段存在绝对的“稳定性-塑性”刚性权衡：无论是权重空间合并（TIES/DARE）还是参数高效微调（LoRA），任何抑制通用能力遗忘的手段均严格以同等比例削弱特定领域适配效果。

亮点与洞察

• 从“记忆丢失”到“交互漂移”的范式重塑：传统遗忘评测纠结于模型“忘掉了哪条事实”，CapTrack 首次系统证明了大模型后训练真正致命的破坏在于“交互行为特性的退化”（如变冷淡、拒绝合理输入、丢失多语言对齐、丢弃长文本格式契约），极大拓宽了 AI 安全与评测的视界。
• 低成本、高保真的原子化裁判设计：将复杂的 LLM 裁判解构为单陈述真伪检验与单步推理逻辑闭环判定，使小参数裁判（GPT-4o-mini）能达到前沿闭源模型的判定稳定性（方差仅 1.1%），大幅削减了全维度审计的工程成本。
• 迁移借鉴价值：CapTrack 的三维拆解（CAN / WILL / HOW）可直接无缝迁移到模型量化压缩、剪枝蒸馏、知识编辑（Knowledge Editing）等任意大模型后处理技术的副作用审计管线中。

局限与展望

• 相对指标的基线依赖性：相对偏差度量使得原本在 OOB 阶段底座得分极低的模型展现出更宽容的相对变动率，可能导致跨家族直接横向对比存在系统性结构不对称。
• DPO 恢复能力的深层机理存疑：在 IFT 之后叠加密度更高的 DPO 虽在统计数字上展现了多项能力的数值回调，但这种恢复究竟是真正修复了潜在知识表示，还是单纯以模式化模板填充（Padding）取巧，仍需深入神经机理层面的归因分析。
• 长序列与强化学习场景覆盖受限：由于单轮全量评测已耗费超 4.7 万卡时，GRPO 与多轮 Agent 复杂决策流的评测覆盖面仍显单薄，尚未拓展至多智能体博弈协同环境。

相关工作与启发

• vs 传统持续学习评估（Kirkpatrick et al., Parisi et al.）：传统方法只测连续任务转移中的准确率保持；CapTrack 针对基础大模型将评测边界扩展至软性行为偏好与执行契约。
• vs 单一能力遗忘研究（Luo et al., Li et al.）：前人或单独关注推理退化，或单独研究跨语言能力丢失；CapTrack 通过统一的相对量纲揭示了各能力之间的转移与权衡，证实了简单平面算术平均会严重遮蔽结构性崩溃。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 颠覆了只看事实准确率的狭隘遗忘定义，确立了涵盖行为与协议维度的能力级评测范式。
• 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 3 大模型家族、7 个跨量级模型、2 大专业垂直领域、近 2 万多维样本与 4.7 万卡时系统实验。
• 写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰利落，分类层次严密，论证逻辑环环相扣。
• 价值: ⭐⭐⭐⭐⭐ 为开源社区进一步实施工业级垂直模型对齐与微调提供了至关重要的安全评估标准工具箱。

相关论文

• [NeurIPS 2026] CSO-LLM: Class Subspace Orthogonalization for Post-Training Backdoor Detection and Trigger Inversion in LLMs
• [ECCV 2026] Indelible Backdoors: On the Limits of Post-Training Defenses
• [NeurIPS 2026] Combating Data Laundering in LLM Training
• [NeurIPS 2026] FOGO: Forgetting-aware Orthogonalization Optimizer
• [NeurIPS 2026] Beyond Fixed Benchmarks and Worst-Case Attacks: Dynamic Boundary Evaluation for LLM Safety