SHRED: Retain-Set-Free Unlearning via Self-Distillation with Logit Demotion¶

会议: NeurIPS 2026
arXiv: 2605.07482
OpenReview: https://openreview.net/forum?id=WRwsWAq0SG
代码: https://github.com/zizhaohu/SHRED
领域: 模型压缩
关键词: 机器遗忘, 大语言模型, 自蒸馏, Logit降级, 无保留集

一句话总结¶

针对大语言模型机器遗忘严重依赖保留集以维持通用能力的痛点，SHRED通过仅对遗忘样本中自回归概率最低的高信息量Token实施Logit降级与Top-K自蒸馏，在无需保留集的前提下同时实现深度遗忘与通用语言能力锚定。

研究背景与动机¶

大语言模型在海量预训练与微调阶段容易强力记忆训练数据，由此引发个人隐私泄露、版权侵权、危险知识传播以及评测基准污染等合规与安全风险。机器遗忘技术旨在精确移除模型中的特定记忆内容并保留其通用语言与推理能力，成为替代代价高昂的从头重训的关键手段。然而，现有绝大多数LLM遗忘方法（如GradDiff、NPO、DPO等）必须强依赖一个精心挑选的同领域保留集（Retain Set），将其作为正则化锚点来防止模型语言结构崩溃。这一额外依赖在实际部署中极难满足：理想保留集往往无法获取，若人工构造又极易引入领域分布偏差，而强行摆脱保留集的方法（如简单梯度上升）则往往导致灾难性的通用能力退化或过度拒答。

这种困境的核心矛盾在于：现有方法在遗忘序列时缺乏对内部Token信息承载密度的细粒度区分，要么粗暴地将整段序列的所有Token都当作遗忘目标，要么把维持语篇结构的重担全部甩给外部保留集。事实上，由于语言模型自回归预训练本质上是对语料整体信息密度的最小化，序列中的人名、日期、专有名词与核心关系等特定记忆往往表现为相对低概率的高信息量Token，而连接词、标点与通用句式等结构性支架则天然具备高概率与语料级支撑。如果对这些低信息量支架也盲目执行梯度上升或惩罚，就会直接击毁模型的通用建模根基。

本文的切入角度是打破保留集的外部数据依赖，将遗忘样本本身拆分为信息载荷与语言支架，利用模型自身的离策略预测分布作为隐式正则化约束。核心 idea：利用遗忘样本内自回归概率分布筛选出信息最密集的高惊异度Token进行Logit降级，同时将未降级的低信息量Token作为模型自身的隐式保留锚点，构建统一的Top-K自蒸馏目标实现零外部保留集的稳健遗忘。

方法详解¶

整体框架¶

SHRED的整体流水线完全构建在遗忘集样本之上，不需要任何外部保留集数据。输入为待遗忘样本序列，输出为更新后的模型参数。整个流程解耦为两大部分四个阶段：首先由冻结的原始模型进行教师前向传播，跳过缺乏上下文约束的初始前缀窗口后，根据自回归预测概率筛选出概率最低的前 \(P\%\) 位置作为遗忘位置集合，其余互补位置保留为良性语言支架；随后针对遗忘位置将记忆Token（以及可选的Top-P核概率Token）Logit置为负无穷并重新归一化生成蒸馏目标，良性位置则直接复用原始教师分布；最后通过限制在Top-K词表子集上的统一自蒸馏损失联合优化学生模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["遗忘集样本序列"] --> B["前缀窗口过滤与教师前向传播<br/>跳过前 c 个Token并计算自回归概率"]
    B --> C["高惊异度遗忘位置定位<br/>按概率升序选取最低 P% 位置"]
    C --> D["双变体目标分布构建<br/>遗忘位置Logit置负无穷，良性位置保持原分布"]
    D --> E["Top-K词表限制自蒸馏<br/>共享教师K子集，单目标KL联合优化"]
    E --> F["遗忘完成且通用能力保持的模型"]

关键设计¶

1. 高惊异度遗忘位置定位：精准隔离记忆内容与语法支架

现有遗忘方法往往对输入序列的所有位置实施均匀惩罚，导致模型丧失最基础的构词与语法连贯性。针对此痛点，SHRED首先排除序列前部长度为 \(c\) 的初始窗口（例如QA的Prompt部分或长文档分块的重叠前缀），因为序列起始阶段模型因缺乏前序上下文而天然具备较低概率，盲目惩罚会破坏通用的低阶n-gram建模。在有效候选位置集合 \(T = \{c+1, \dots, L\}\) 中，模型根据教师预测概率 \(p_{\theta}(x_t \mid x_{<t})\) 升序排序，提取底部最低比例 \(P \in (0\%, 100\%]\) 作为显式遗忘位置集合 \(\mathcal{F}\)，而剩余的互补位置 \(\mathcal{R} = T \setminus \mathcal{F}\) 则作为隐式保留集。这种设计的直觉在于：在已过拟合/记忆特定实体的语言模型中，专有名词、特定实体关系等事实信息的自回归概率虽然绝对值可能较高，但在序列内依然显著低于标点符号、介词和常见短语；将 \(\mathcal{R}\) 中的支架Token剔除出遗忘集合，能够天然保全模型的通用语言骨架。

2. 双变体Logit降级目标构建：按场景抑制精确记忆与释义泛化

为了让学生模型学会遗忘特定知识而不产生输出崩溃或无意义重复，SHRED在构造教师目标分布 \(q_t\) 时，将降级集合 \(\mathcal{V}_t\) 内部的Token Logit置为 \(-\infty\)（其Softmax概率归零）。对于良性保留位置 \(t \in \mathcal{R}\)，令 \(\mathcal{V}_t = \emptyset\)，完全保留原始教师分布。对于遗忘位置 \(t \in \mathcal{F}\)，SHRED提出了两种解耦降级策略： - 变体 A（仅遗忘Token降级）：令 \(\mathcal{V}_t = \{x_t\}\)，仅屏蔽原始记忆Token本身的概率。适用于检索类问答与精确内容抹除任务，模型在被压制原始记忆词后，倾向于自由采样语义合理但不含真实隐私的替代表达； - 变体 B（Top-P核降级）：令 \(\mathcal{V}_t = \{x_t\} \cup \text{nucleus}_{\pi}(p_{\theta}(\cdot \mid x_{<t}))\)（通常取 \(\pi = 0.9\)），同时压制记忆Token及其高置信度同义释义候选。该策略专用于需要彻底阻断释义重构与概念联想的深度知识遗忘任务。

3. Top-K词表限制自蒸馏：消除分布漂移并稳健锚定通用能力

在遗忘位置完成Logit屏蔽后，若直接在整个词表 \(\mathcal{V}\) 上计算KL散度，既会引入巨大的显存缓存开销，又容易因学生模型与教师模型Top分布分歧造成梯度剧烈震荡。SHRED在屏蔽后的教师分布上选取概率最大的前 \(K\) 个词表索引构成子集 \(\mathcal{K}_t\)，并重新归一化得到软目标 \(q_t\)。在学生模型优化时，强制将学生Logit \(z'_t\) 截断限制在相同的 \(\mathcal{K}_t\) 集合内重新归一化。该机制使得在遗忘位置上，学生分布被推离被降级的Token，被迫探索其他合规表达；而在良性保留位置上，自蒸馏损失构成了强力的内在正则化约束，充当了免保留集的自稳定器。

损失函数 / 训练策略¶

SHRED的最终训练损失在一个统一的自蒸馏目标下端到端完成，不包含任何额外的显式保留集交叉熵或对比学习正则项：

\[\mathcal{L}_{\text{SHRED}}(\theta') = \sum_{x \in \mathcal{D}_f} \sum_{t \in T} \mathrm{KL}\Bigl(q_t \,\Big\|\, \mathrm{softmax}(z'_t |_{\mathcal{K}_t})\Bigr)\]

训练策略方面，SHRED展现出反直觉的极小批次优势：最佳超参数推荐使用极小批次（\(BS=1\) 或 \(BS=2\)）。由于各个遗忘样本的高信息量Token高度依赖其上下文、缺乏跨样本共享表征，大批次平均梯度会将模型拉入共享语义坍塌的局部极小，破坏全局通用能力；而小批次引入的高频噪声能够让模型有效跳出局部极小，深入单样本的锐度谷底实现彻底遗忘。此外，SHRED支持以 bitsandbytes 8-bit AdamW 优化器进行全参数微调，显存减半且效果与全精度完全重合，但LoRA低秩微调会导致通用能力下降约8个百分点，故推荐采用全参数（或8-bit全参数）训练。

实验关键数据¶

主实验¶

在四个标准化评测基准（TOFU虚构作者问答、MUSE新闻与书籍、RWKU真实世界实体、Hubble知识与文学记忆）上，SHRED与梯度上升（GA）、保留集梯度差异（GradDiff+RT）、负偏好优化（NPO+RT）、直接偏好优化（DPO+RT）、表征重定向（RMU+RT）等代表性基线进行了全面对比。下表汇总了跨基准的核心评测指标：遗忘知识记忆（fkm）、逐字记忆ROUGE（fvm）、保留集知识记忆（rkm）、通用模型效用（MU）以及成员推断隐私泄漏指标（PrivLeak，接近0表示达到重新训练Target的黄金标准）。

基准数据集	评测指标	Full (未遗忘)	Target (重训基准)	最佳基线 (含保留集)	SHRED (无保留集)	相对优势与表现
TOFU (1B)	fkm ↓ / MU ↑	0.990 / 0.627	0.148 / 0.612	0.162 / 0.606 (DPO+RT)	0.055 / 0.637	遗忘更彻底且通用效用超越重训Target
TOFU (1B)	PrivLeak (MIA)	-99.5	0.0	-19.2 (DPO+RT)	-38.6	显著优于传统GA(-93.6)与RMU(-99.6)
MUSE-News (7B)	fvm ↓ / rkm ↑	0.584 / 0.552	0.208 / 0.550	0.138 / 0.296 (RMU+RT)	0.202 / 0.389	逐字记忆逼近Target(0.208)，效用远胜RMU
MUSE-News (7B)	PrivLeak (MIA)	-99.8	0.0	-18.2 (RMU+RT)	-12.2	最接近Target黄金标准0.0
MUSE-Books (7B)	fkm ↓ / rkm ↑	0.594 / 0.669	0.289 / 0.745	0.250 / 0.446 (NPO+RT)	0.237 / 0.519	遗忘指标优于NPO且保留知识高出7.3个百分点
MUSE-Books (7B)	PrivLeak (MIA)	-57.5	0.0	-24.4 (GradDiff+RT)	-37.9	保持高隐私保护水平
RWKU (8B)	fkm ↓ / MU ↑	80.1 / 63.5	N/A	26.5 / 58.2 (CEU+RT)	27.7 / 56.5	在零样本现实世界无语料设置下逼近强基线
Hubble-YAGO (8B)	fvm ↓ / MU ↑	1.000 / 0.501	0.119 / 0.515	0.394 / 0.503 (GradAscent)	0.113 / 0.512	逐字记忆超越Target(0.113 vs 0.119)
Hubble-Guten (8B)	fvm ↓ / MU ↑	0.197 / 0.501	0.169 / 0.515	0.174 / 0.502 (GradDiff+RT)	0.176 / 0.505	在长文档预训练记忆上精准匹配Target

消融实验¶

消融实验围绕遗忘Token比例 \(P\) 的选取、批大小（Batch Size）以及参数高效微调策略展开（基于TOFU基准测试）。

配置参数 / 实验变体	遗忘知识记忆 (fkm ↓)	通用模型效用 (MU ↑)	关键观察与说明
\(P=10\%\)	0.782	0.638	遗忘严重不足，大部分记忆信息未被触碰
\(P=25\%\)	0.345	0.636	遗忘程度适中，通用能力保持完好
\(P=50\%\) (默认推荐)	0.055	0.637	达到帕累托最优平衡，兼顾深度遗忘与语言稳定性
\(P=75\%\)	0.021	0.618	遗忘更深，但通用能力略微开始受到侵蚀
\(P=100\%\) (等价UNDIAL)	0.003	0.564	全位置盲目降级，失去隐式保留锚点，效用显著塌陷
批大小 \(BS=1\) 或 \(BS=2\)	0.055	0.637	梯度噪声助力逃离过拟合局部极小，效用轨迹极为平稳
批大小 \(BS=40\)	0.068	0.582	共享特征负迁移，对模型通用表征产生全局损伤
8-bit AdamW 全微调	0.054	0.636	显存减半，轨迹与全精度浮点完全重合
LoRA (Rank=16) 微调	0.062	0.558	遗忘成功但通用效用塌陷约8个百分点，低秩无法维持精细蒸馏

关键发现¶

降级比例 \(P\) 是控制遗忘-效用权衡的关键旋钮：当 \(P=100\%\) 时，方法退化为全序列均匀降级的UNDIAL，模型效用急剧恶化；只有当 \(P \in [50\%, 75\%]\) 时，序列中剩余的高概率良性Token才能充当坚固的隐式锚点。
反转保留集微调引发的幻觉坍塌：在TOFU细粒度分析中，Full模型和Target模型由于经历了虚构作者微调，在真实世界作者和事实问答上的准确率被严重压制（真实作者fkm仅0.07，世界常识仅0.02）。SHRED通过解除虚构事实的占位性记忆，反而释放了底座模型的原生世界知识，使得真实作者准确率回升至0.25（提高19个百分点），世界常识准确率提升至0.11（提高9个百分点）。
极度抗过训练与抗重学习攻击：在持续训练数万步的过训练压力测试下，SHRED的通用效用始终保持在 \(\pm 0.02\) 的极窄带内平稳收敛，彻底摆脱了传统梯度上升方法对早停（Early Stopping）验证集的依赖；在利用 \(10\%\) 遗忘数据进行200步良性重学习攻击测试中，SHRED的记忆反弹仅 \(+0.15\)，远低于NPO（\(+0.47\)）和RMU（\(+0.67\)）。

亮点与洞察¶

自回归序列信息密度的非对称性洞察：将LLM自回归语言模型的内部低概率Token直接解释为任务特异性高信息载荷，把高概率Token解释为通用语言支架。这种精巧的洞察直接打破了传统遗忘方法必须额外构造保留集的强假设。
自蒸馏框架充当自稳定器：无需设计复杂的对抗损失或对比优化边界，仅通过对原始输出分布做局部Logit屏蔽并执行Top-K自蒸馏，让模型自己约束自己，展现了极简即极强的算法设计美感。
小批次优于大批次的优化机制发现：揭示了遗忘任务与标准监督微调在梯度噪声需求上的本质差异，证明了基于单样本独立上下文的锐度谷底探索在大模型模型编辑与机器遗忘场景下的独到价值。

局限与展望¶

超参数选择依赖经验：降级变体（变体A针对字面抑制 vs 变体B针对释义抑制）以及核心阈值 \(P\) 的具体选择在不同任务场景下仍需人工先验或经验调优。
对评测集与语料不匹配场景敏感：在WMDP等安全基准测试中，由于多选题考查的恶意知识在给定的遗忘文本语料中未能实现高频词覆盖（大部分属于模型的预训练先验），导致基于样本驱动的自蒸馏无法有效作用于未见概念，遗忘降幅有限。
全参数更新的算力开销：LoRA低秩微调在SHRED中会导致通用能力发生可观测的降级，迫使在大模型场景下必须使用全参数微调（或配合8-bit量化优化器），对超大规模LLM的并发编辑提出了更高的硬件要求。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 独创性地提出基于Token自回归概率密度的免保留集自蒸馏遗忘机制，视角极为独到。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖TOFU、MUSE、RWKU、Hubble等四大基准，并深度覆盖MIA、重学习攻击与连续遗忘分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密、洞察清晰，问题驱动与实验阐释极其扎实。
价值: ⭐⭐⭐⭐⭐ 极大降低了LLM合规撤回与遗忘工程落地的门槛，摆脱了保留集收集瓶颈，实用价值巨大。