Unlearning That Lasts: Utility-Preserving, Robust, and Almost Irreversible Forgetting in LLMs¶
会议: NeurIPS 2026
arXiv: 2509.02820
论文: https://arxiv.org/abs/2509.02820
代码: https://github.com/nmndeep/JensUn-Unlearning
领域: LLM 安全 / LLM Safety
关键词: 大模型遗忘学习, Jensen-Shannon散度, 事实遗忘评估, 良性重学习鲁棒性, 语义评测基准
一句话总结¶
本文揭示了传统 ROUGE 指标与单一问答形式严重虚高大模型遗忘评估的缺陷，提出基于双侧有界 Jensen-Shannon 散度的微调方法 JensUn 及小众事实基准 LKF，在彻底清除指定知识的同时维持全维效用并抵御良性重学习攻击。
研究背景与动机¶
大语言模型在大规模网络语料预训练中展现出卓越的泛化能力，但也深度编码了隐私信息、版权内容及有害知识。直接从训练语料中剔除样本并重新从头预训练大模型的算力成本极其高昂，促使学术界转向更轻量的机器遗忘学习（Machine Unlearning）。现有主流遗忘算法（如梯度上升 GradAscent、梯度差异 GradDiff、偏好优化 DPO/NPO/SimNPO 以及表征擦除 RMU）试图在调整模型参数消除遗忘集知识的同时，通过保留集约束维持通用语言能力。然而，当前遗忘评估协议普遍建立在表层评估之上，严重掩盖了方法的真实缺陷。
评估层面的核心矛盾在于：主流基准（如 TOFU、WHP、RWKU）依赖的 ROUGE-L 字面重合度与真实事实正确性严重脱节，且单轮提问极易被语义等价的改写或上下文微调所攻破；更严重的是，模型往往只是在浅层表征上压制了目标知识输出，一旦在不相关的良性数据上进行微调（Benign Relearning），被遗忘的知识就会迅速复苏。在优化目标层面，以负对数似然为主的遗忘损失（如 GradDiff）下界无界，极易在持续微调时导致模型内部表征崩溃或退化为重复单 token 输出，而在遗忘集与保留集之间难以维持梯度尺度的动态平衡。
针对现有遗忘算法在训练动力学上的病态发散以及评估协议的系统性虚高，本文重新审视了评估体系与优化目标的数学性质。核心 idea：基于有界且对称的 Jensen-Shannon 散度构建遗忘集目标分布对齐与保留集基模蒸馏约束（JensUn），结合 LLM 语义裁判与样本级最坏情况对抗评估（改写与上下文注入），实现效用无损且近乎不可逆的大模型持久遗忘。
方法详解¶
整体框架¶
JensUn 旨在解决传统遗忘方法在长步数优化中表征崩溃、效用退化以及易被改写或重学习唤醒的问题。方法整体流程涵盖两大部分：一是基于 Jensen-Shannon 散度（JSD）的双向对齐微调框架，二是涵盖多模型多视角改写与上下文保留注入的严格评测协议。在微调过程中，遗忘样本被引导向固定中性目标分布（如拒答短语“No idea”），而保留集样本则对齐冻结的基座参考模型分布，借助 JSD 的上下有界性与平滑梯度实现长周期稳定遗忘。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
InF["遗忘样本集 𝒟_ℱ"] --> JSD_F["JSD 遗忘目标对齐<br/>将输出分布平滑拉向拒答目标"]
InR["保留样本集 𝒟_ℛ"] --> JSD_R["JSD 保留集基模对齐<br/>约束输出分布忠实于参考模型"]
JSD_F --> LossComb["联合双向优化<br/>ℒ_JensUn = λ_ℱ ℒ_ℱ + λ_ℛ ℒ_ℛ"]
JSD_R --> LossComb
LossComb --> ModelUnlearned["持久遗忘大模型"]
ModelUnlearned --> EvalWorst["严谨评测：LLM语义裁决<br/>多模型改写 + 上下文注入最坏情况"]关键设计¶
1. JSD 遗忘目标对齐：利用上下有界散度杜绝梯度爆炸与表征崩溃
现有基于交叉熵取负（梯度上升）的方法由于负对数似然缺乏下界，梯度推挤会导致损失无限发散，迅速摧毁模型在语言生成上的基础退化（如 AlpacaEval 胜率骤降、频繁输出空字符或单 token 重复）。JensUn 将遗忘目标转化为最小化当前模型输出分布与预设中性目标字符串 \(y^{\text{target}}\)（例如拒答短语 “No idea” 或非信息符号 “#”, “,”）之间的 Jensen-Shannon 散度： $\(\mathcal{L}_{\mathcal{F}}^{\text{JSD}}(\theta, \mathcal{D}_{\mathcal{F}}) = \frac{1}{N_{\mathcal{F}}} \sum_{(x, y) \in \mathcal{D}_{\mathcal{F}}} \sum_{t=1}^{|y^{\text{target}}|} \text{JSD}\left(p_\theta(y_t \mid x, y_{<t}^{\text{target}}) \parallel \delta_{y_t^{\text{target}}}\right)\)$ 其中 \(\delta_{y_t^{\text{target}}}\) 表示目标 token 的单热分布。由于 JSD 在两分布间天然满足 \(0 \le \text{JSD}(P \parallel Q) \le \log 2\)，整体遗忘损失被严格限制在 \([0, |y^{\text{target}}| \log 2]\) 区间之内。这不仅彻底消除了极端损失值对网络权重的剧烈撕扯，且 JSD 的导数在整个概率单纯形上严格小于 KL 散度，提供了平滑良态的梯度指引，使得模型能够进行高达 1000 至 2000 步的充分微调而正交能力不崩溃。
2. JSD 保留集基模对齐：零起点自适应正则化维持原始通用能力
为了防止遗忘知识向邻近语义领域发生灾难性侵蚀，模型需要保留集 \(\mathcal{D}_{\mathcal{R}}\) 维持常规知识。传统 KL 正则在训练初期由于两个模型完全一致，容易在后续出现非对称偏置。JensUn 采用当前参数模型与冻结参考基模型 \(\theta_{\text{ref}}\) 之间的双向 JSD： $\(\mathcal{L}_{\mathcal{R}}^{\text{JSD}}(\theta, \mathcal{D}_{\mathcal{R}}) = \frac{1}{N_{\mathcal{R}}} \sum_{(x, y) \in \mathcal{D}_{\mathcal{R}}} \sum_{t=1}^{|y|} \text{JSD}\left(p_\theta(y_t \mid x, y_{<t}) \parallel p_{\theta_{\text{ref}}}(y_t \mid x, y_{<t})\right)\)$ 由于初始化时 \(\theta = \theta_{\text{ref}}\)，初始时刻保留损失精确为 0，不干扰遗忘梯度的启动方向；随着模型权重受遗忘损失驱动逐渐偏离初始状态，保留损失平滑增大，自适应形成恢复力，将模型通用分布紧紧锚定在原模型流形附近。
3. LLM 语义裁判与样本级最坏情况评估：打破表层重合评估的假象
作者指出标准基准采用 ROUGE-L 存在两大系统性漏洞：无法捕捉同义替换与开放陈述，且无法应对格式与上下文扰动。为此，评测端首先以先进 LLM（Gemini-2.5-Flash）作为事实裁决器，经人工盲测验证其与人类判断一致性极高。针对提示词敏感情形，评测框架利用 3 种独立开源大模型（Qwen2.5-3B-Instruct、Phi-3.5-mini-instruct、Mistral-7B）为每个事实生成 15 组多样化改写，并进一步在输入中随机前置 3 个保留集问答示例作为上下文保留演示（ICR）。最终以样本级最坏情况指标 \(\mathcal{J}_W = \max(\mathcal{J}_P, \mathcal{J}_{ICR})\) 判定遗忘成败——只要模型在任何一个改写或上下文中答对，即认定遗忘失败。
损失函数 / 训练策略¶
JensUn 的完整微调损失函数为遗忘损失与保留损失的加权和： $\(\mathcal{L}_{\text{JensUn}}(\theta, \mathcal{D}_{\mathcal{F}}, \mathcal{D}_{\mathcal{R}}) = \lambda_{\mathcal{F}} \mathcal{L}_{\mathcal{F}}^{\text{JSD}}(\theta, \mathcal{D}_{\mathcal{F}}) + \lambda_{\mathcal{R}} \mathcal{L}_{\mathcal{R}}^{\text{JSD}}(\theta, \mathcal{D}_{\mathcal{R}})\)$ 在基准实现中，默认超参数通常设置 \(\lambda_{\mathcal{F}} = 0.5, \lambda_{\mathcal{R}} = 0.5\)（或按任务搜索最佳配比）。优化器选用 AdamW，权重衰减 1e-2，学习率采用带有余弦退火的调度策略（峰值步数 10-20 步）。遗忘微调支持单轮与多轮 epoch；在长达 1000-2000 步的扩展微调下，JensUn 仍能展现高度数值稳定性。
实验关键数据¶
主实验¶
论文在提出的真实小众事实数据集 LKF（Lesser-Known Facts，100 遗忘问答 / 400 保留问答，涵盖挑战者号事故、塞勒姆审巫案、鳕鱼战争等非二值历史事件）以及真实世界人物知识遗忘基准 RWKU（10 目标批次遗忘设置）上进行了系统评测。主要测试指标包括：最坏情况遗忘准确率 \(\mathcal{J}_W\)（越低越好）、保留集平均准确率 \(\mathcal{J}_{\text{Avg}}\)（越高越好）、通用知识 MMLU 准确率、AlpacaEval 文本生成重复度 Rep. 以及针对原基模型的胜率 WR（理想值为 0.5）。
表 1 展示了在 LKF 数据集上使用 Llama-3.2-3B-Instruct 模型的性能对比：
| 方法 | 遗忘 \(\mathcal{J}_W\) (↓) | 保留 \(\mathcal{J}_{\text{Avg}}\) (↑) | MMLU (↑) | Rep. (↑) | AlpacaEval WR (↑) |
|---|---|---|---|---|---|
| 原始基模 (Original) | 76.0 | 52.6 | 59.6 | 637 | 0.50 |
| GradAscent | 0.0 | 0.0 | 23.4 | 0.0 | 0.00 |
| GradDiff | 2.0 | 63.8 | 57.5 | 442 | 0.22 |
| DPO | 32.0 | 71.3 | 58.5 | 628 | 0.42 |
| NPO | 6.0 | 16.0 | 57.6 | 447 | 0.27 |
| RMU | 19.0 | 51.9 | 56.6 | 628 | 0.47 |
| SimNPO | 32.0 | 84.2 | 57.7 | 101 | 0.10 |
| JensUn (本文) | 0.0 | 52.3 | 59.9 | 592 | 0.47 |
表 2 展示了在 RWKU 10 目标批次遗忘设置下使用 Phi-3-Mini-4K-Instruct (3.8B) 模型的对比：
| 方法 | 遗忘 FB \(\mathcal{J}_W\) (↓) | 遗忘 QA \(\mathcal{J}_W\) (↓) | 保留 FB \(\mathcal{J}_{\text{Avg}}\) (↑) | 保留 QA \(\mathcal{J}_{\text{Avg}}\) (↑) | MMLU (↑) | AlpacaEval WR (↑) |
|---|---|---|---|---|---|---|
| Phi-3-Mini-4K (基模) | 91.0 | 78.6 | 59.6 | 60.8 | 63.4 | 0.50 |
| GradAscent | 73.3 | 68.7 | 40.4 | 52.0 | 63.2 | 0.45 |
| GradDiff | 22.3 | 22.1 | 36.4 | 40.4 | 61.6 | 0.42 |
| DPO | 48.2 | 42.0 | 34.0 | 24.4 | 61.9 | 0.20 |
| NPO | 55.4 | 50.4 | 38.8 | 38.0 | 62.8 | 0.48 |
| SimNPO | 54.2 | 42.7 | 44.0 | 45.6 | 62.6 | 0.47 |
| RT | 89.1 | 74.8 | 60.4 | 59.2 | 63.4 | 0.48 |
| ICU | 85.5 | 67.9 | 47.0 | 38.8 | 62.4 | 0.42 |
| JensUn (本文) | 16.3 | 6.1 | 40.8 | 42.4 | 63.2 | 0.52 |
消融与分析实验：良性重学习抗性随微调步数的变化¶
为了验证遗忘是真正的概念抹除还是浅层表征掩盖，论文测试了在与遗忘集无关的良性语料上进行 600 步微调重学习（Relearning）后的记忆唤醒表现。下表展示了不同微调步数下遗忘后模型及重学习后模型的 \(\mathcal{J}_W\) 变化（LKF 数据集，基模 Llama-3.2-3B-Instruct）：
| 方法 | 指标 | 200 步* | 400 步 | 600 步 | 1000 步 | 2000 步 |
|---|---|---|---|---|---|---|
| GradDiff | 遗忘后 WR (↑) | 0.18 | 0.15 | 0.10 | 0.03 | 0.03 |
| 遗忘后 \(\mathcal{J}_W\) (↓) | 2.0 | 1.0 | 1.0 | 0.0 | 0.0 | |
| 重学习后 \(\mathcal{J}_W\) (↓) | 51.0 | 48.0 | 31.0 | 1.0 | 0.0 | |
| NPO | 遗忘后 WR (↑) | 0.20 | 0.25 | 0.30 | 0.32 | 0.15 |
| 遗忘后 \(\mathcal{J}_W\) (↓) | 6.0 | 10.0 | 16.0 | 14.0 | 10.0 | |
| 重学习后 \(\mathcal{J}_W\) (↓) | 8.0 | 17.0 | 19.0 | 24.0 | 26.0 | |
| NPO+SAM | 遗忘后 WR (↑) | 0.03 | 0.04 | 0.07 | 0.09 | 0.10 |
| 遗忘后 \(\mathcal{J}_W\) (↓) | 23.0 | 17.0 | 22.0 | 18.0 | 15.0 | |
| 重学习后 \(\mathcal{J}_W\) (↓) | 57.0 | 56.0 | 57.0 | 58.0 | 58.0 | |
| JensUn | 遗忘后 WR (↑) | 0.44 | 0.44 | 0.45 | 0.46 | 0.39 |
| 遗忘后 \(\mathcal{J}_W\) (↓) | 0.0 | 1.0 | 1.0 | 1.0 | 1.0 | |
| 重学习后 \(\mathcal{J}_W\) (↓) | 27.0 | 24.0 | 19.0 | 14.0 | 8.0 |
关键发现¶
- 最坏情况评估揭示旧基准严重高估：在 LKF 数据集上，从单提示词标准测试转换为 15 组改写与 ICR 最坏情况评估 \(\mathcal{J}_W\) 后，原基模准确率从 46% 跃升至 76%（+30%），微调遗忘模型（如 RMU）的残留暴露率提升高达 29% 至 43%，表明只用单一问题判定遗忘会产生严重的虚假安全感。
- JSD 有界性确保长微调稳定性：GradDiff 虽然在 1000 步以上也能抗重学习，但此时其指令对话胜率已跌至 0.03（模型彻底崩溃，仅能输出无意义重复字符）；相比之下，JensUn 随着步数从 200 步增加到 2000 步，重学习后的准确率从 27% 持续下降至 8.0%，同时始终保持 0.40 左右的高胜率，首次在保持模型实用性的前提下实现深度不可逆遗忘。
- ROUGE 指标导致模型排名严重失真：由于 ROUGE 无法理解同义词，对简短精准回答和详尽阐述打分失真。在 RWKU QA 集上切换至 LLM-Judge 后，各遗忘方法的排名产生剧烈重排（例如 GradDiff 与 JensUn 排序发生颠覆）。
亮点与洞察¶
- 有界散度的优化稳态：将信息论中的 JSD 引入大语言模型机器遗忘领域，利用其固有的双侧有界性和小于 KL 散度的光滑梯度，彻底解决了传统梯度上升类算法中损失发散导致语言生成崩溃的顽疾。
- 动摇单轮评测范式：结合多大模型异构改写与保留集 in-context 提示，建立了迄今最为苛刻的“样本级最坏情况”遗忘度量，明确指出了学术界对遗忘能力的普遍盲目乐观。
- 抗良性重学习的帕累托前沿：以往工作认为抵御良性重学习必须牺牲通用语言能力或依赖 SAM 锐度优化（但 NPO+SAM 在文本生成任务中退化严重），JensUn 证明了通过有界优化长时间深度微调，大模型能够在不损伤通用效用的前提下消除底层记忆轨迹。
局限与展望¶
- 算力开销与 API 依赖：评测协议需要多模型生成数十组改写并调用高阶商用 LLM 作为评判裁判，评估计算与 API 成本相比轻量级的 ROUGE 显著增加。
- 保留集语义构造假设：在开放域极复杂概念遗忘时，如何自动划分精准且覆盖广泛的语义近邻保留集仍依赖人工或半自动启发式模板，未来需探索保留集的动态自适应生成机制。
相关工作与启发¶
- vs GradAscent / GradDiff: 后者通过反向优化负对数似然强行推开概率分布，由于损失下界无界极易引起权重崩溃与退化；JensUn 引入有界的 JSD 作为双侧约束，在保证 0% 遗忘率的同时完整保留 MMLU 和 AlpacaEval 对话能力。
- vs NPO / SimNPO: 偏好优化类方法在长周期微调下遗忘与保留尺度的不平衡容易引发数值震荡，且在改写与良性重学习测试中暴露出严重的表层掩盖现象；JensUn 展现出近乎不可逆的持久遗忘特性。
- vs TOFU / RWKU 基准: TOFU 充斥二值判断题且基于虚构事实，RWKU 依赖易受干扰的 ROUGE；本文提出的 LKF 数据集与最坏情况评估框架为遗忘领域提供了更加可信的度量标准。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将双侧 JSD 有界散度引入 LLM 遗忘与保留对齐，并重构了最坏情况评测范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 LKF 与 RWKU 两大基准、多款基座模型、全方位效用测试（MMLU/重复度/AlpacaEval胜率）以及长周期良性重学习验证。
- 写作质量: ⭐⭐⭐⭐⭐ 论点层层递进，对 ROUGE 缺陷与散度梯度特性的数学阐述清晰严谨。
- 价值: ⭐⭐⭐⭐⭐ 为安全合规、隐私擦除以及模型防越狱/防重提取研究奠定了高质量的方法基石与评测基准。