跳转至

Measuring the Depth of LLM Unlearning via Activation Steering

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/gnueaj/unlearning-depth-score
领域: 知识编辑
关键词: 大模型机器遗忘、激活拼接、机制深度、可恢复性评估、表示层审计

一句话总结

提出无须额外训练、因果干预且数据不变量化的遗忘深度指标 UDS(Unlearning Depth Score),通过两阶段跨模型激活拼接度量内部表示中遗忘知识的可恢复性,克服了输出层指标与观测型白盒探测对浅层表示偏移的误判。

研究背景与动机

大语言模型在海量语料预训练过程中会记忆大量数据,当这些数据包含个人敏感隐私、版权内容或危险危害知识时,合规与安全性要求模型必须具备事后精准遗忘的能力。目前的机器遗忘研究大多致力于在保留模型通用能力的同时消除目标遗忘集的影响,使遗忘后的模型在统计表现上逼近从未见过该遗忘集的保留模型。然而,如何严格验证知识是否被真正物理清除,始终是遗忘领域的核心难题。现有评测基准普遍依赖输出层指标(如生成 ROUGE、提取强度、困惑度及成员推理攻击 MIA),极易被表层的输出重定向策略所蒙蔽。

这一评测困境的核心矛盾在于:许多轻量级遗忘方法(如负偏好优化、拒绝回复微调或输出分布引导)仅仅改变了模型顶层的投影分布或词表生成偏好,而在中间隐层表示中完整保留了事实关联;攻击者只需进行极少步数的微调、投毒诱导或轻量激活操纵即可迅速恢复这些所谓的遗忘知识。现有的白盒探测工作虽然尝试深入内部表征(例如 CKA 相似度、Logit Lens 投影或探针分类器),但它们要么依赖额外的探针训练与数据适配从而缺乏跨任务通用性,要么属于纯观测型度量——一旦模型内部表示发生几何旋转或子空间偏移,固定的解码头便无法读出知识,进而给出“已彻底遗忘”的假阳性假象。

针对上述瓶颈,本文切入的角度是:评估遗忘深度必须超越输出层并走向因果干预,通过测试隐层表征在真实解码通路中是否仍具备因果驱动能力来判定遗忘程度。核心 idea:提出两阶段激活拼接评估框架 UDS(Unlearning Depth Score),先以保留模型为基准定位全量模型中的知识编码层,再将待测遗忘模型的隐状态拼接入全量模型进行因果预测,在 [0, 1] 标度上精准量化遗忘在机制内部的穿透深度。

方法详解

整体框架

UDS 评估流程涉及三个基准模型:在全量数据(包含遗忘集)上训练的全模型 \(M_{\text{full}}\)、在排除遗忘集后训练的黄金标准保留模型 \(M_{\text{ret}}\),以及应用具体遗忘算法后得到的待测模型 \(M_{\text{unl}}\)。整个框架包含两大阶段:阶段 1(基线构建)以 \(M_{\text{ret}}\) 为源模型,将每层的隐状态拼接入 \(M_{\text{full}}\),因果测试并筛选出全模型中真正承载遗忘集知识的知识编码层(KE 层);阶段 2(深度量化)以 \(M_{\text{unl}}\) 为源模型,将其对应层的隐状态拼接入 \(M_{\text{full}}\),观察预测退化幅度与阶段 1 基线的比值。最终通过基于层级基线重要性的加权汇聚,输出 0(完全未遗忘)到 1(完全达到黄金保留模型水准)之间的标度得分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入上下文与实体跨度<br/>(Teacher Forcing)"] --> B["阶段 1:保留模型基准拼接<br/>M_ret 拼接入 M_full 定位 KE 层"]
    B --> C["阶段 2:遗忘模型因果量化<br/>M_unl 拼接入 M_full 提取表征"]
    C --> D["层级遗忘比率计算<br/>LER 裁剪至 [0, 1]"]
    D --> E["敏感度加权聚合<br/>计算样本与模型级 UDS"]

关键设计

1. 实体跨度 Teacher Forcing 因果激活拼接:阻断模板虚假相关并杜绝自回归开销 传统基于自由生成的输出评测极易受到自然语言模板的自回归偏差影响,且逐 token 贪婪解码延迟极高。为此,方法将每个遗忘样本划分为前缀上下文与目标实体跨度(例如将人物职业问答切分为引导句与核心实体词),在单次前向传播中固定前缀并采用 Teacher Forcing 计算实体 token 的对数概率。在残差流拼接时,仅在实体 token 预测对应的前驱位置将源模型的隐状态替换进目标模型 \(M_{\text{full}}\)。由于 \(M_{\text{full}}\) 具有完整的知识解码能力,如果拼接进来的隐状态依然包含实体特征,\(M_{\text{full}}\) 的后续非线性层便能够因果重构出原本的实体,从而彻底剥离对固定解码头或特定词表分布的依赖。

2. 知识编码层筛选与层级遗忘比率度量:滤除噪声层并建立绝对基准 在阶段 1 中,首先度量保留模型 \(M_{\text{ret}}\) 的特征替换后引起的对数概率下降量 \(\Delta S_{1, i, l}\): $\(\Delta S_{1, i, l} = \frac{1}{T_i} \sum_{t=1}^{T_i} \left( s_{i,t}^{\text{full}} - s_{i,t}^{S1} \right)\)$ 其中只有当 \(\Delta S_{1, i, l} > \tau\)(默认 \(\tau=0.05\))时,该层才被判定为知识编码层 \(\text{KE}_i\)。这一硬阈值设计一方面剔除了未参与知识存储的浅层冗余计算,另一方面保证了分母非零。在阶段 2 中,替换待测模型 \(M_{\text{unl}}\) 得到对应的对数概率下降量 \(\Delta S_{2, i, l}\)。由此定义各层相对保留模型的层级遗忘比率(Layer Erasure Ratio, LER): $\(\text{LER}_{i, l} = \text{clip}\left(\frac{\Delta S_{2, i, l}}{\Delta S_{1, i, l}}, 0, 1\right)\)$ 若模型在某层彻底消除了知识,则拼接该层后 \(M_{\text{full}}\) 的退化程度与拼接保留模型完全一致(\(\Delta S_2 \approx \Delta S_1\)),\(\text{LER} \to 1\);若知识完好无损,全模型能直接解析解码,则 \(\Delta S_2 \approx 0\),\(\text{LER} \to 0\)。

3. 基线敏感度加权聚合与零缓存推理策略:保证大模型评测的标度一致性与高吞吐 为了在模型整体层面给出一个兼具严谨性与直观物理意义的分数,UDS 以阶段 1 中各 KE 层的基线差距 \(\Delta S_{1, i, l}\) 作为权重,对各层的 LER 进行归一化加权平均: $\(\text{UDS}_i = \frac{\sum_{l \in \text{KE}_i} \Delta S_{1, i, l} \cdot \text{LER}_{i, l}}{\sum_{l \in \text{KE}_i} \Delta S_{1, i, l}}\)$ 这确保了编码遗忘知识最核心、最密集的中间层在最终分数中占据主导地位,避免边缘层稀释评分。在工程实现上,阶段 1 的参考对数概率、基准退化量和 KE 集合完全由 \(M_{\text{ret}}\) 和 \(M_{\text{full}}\) 决定,因此只需预先计算一次并固化缓存;评测任何新的遗忘模型时,仅需一次前向提取其隐状态并完成阶段 2 拼接,使得 UDS 的评测耗时与主流黑盒输出指标保持在同一数量级。

一个完整示例

以 TOFU 中关于作家职业的问答为例,输入提示为 "What is the profession of Hsiao Yun-Hwa's father?",标准目标实体为 "civil engineer"。在基准阶段,将 \(M_{\text{ret}}\) 在实体预测位置的隐状态灌入 \(M_{\text{full}}\),测量发现第 0–5 层对实体概率的削弱微弱(\(\Delta S_1 \le 0.05\),判定为非 KE 层),而第 9、11、13、15 层的退化量显著扩大(如第 15 层 \(\Delta S_1 = 1.713\)),说明这些层是全模型存储该实体事实的关键枢纽。进入量化阶段,面对一个采用拒绝回答微调的 IdkDPO 模型,观测型 Logit Lens 在第 7–13 层直接使用固定词表头解码均无法还原实体,得出 \(\text{LER} = 1.0\)、整体已遗忘 0.801 的结论;然而 UDS 将该模型的隐状态注入 \(M_{\text{full}}\) 后,全模型在第 9 层的退化仅为 \(\Delta S_2 = 0.039\)(\(\text{LER} = 0.113\)),说明知识只是发生了表征偏移,全模型仍能因果恢复该信息,最终 UDS 真实给出了 0.209 的深度得分,成功识破了伪遗忘现象。

实验关键数据

主实验

评估采用扩展自 OpenUnlearning 的元评估(Meta-Evaluation)框架,基于 Llama-3.2-1B-Instruct 架构并在 TOFU forget10 基准上构建。测试集包含由正样本池(30 个包含遗忘集的模型)和负样本池(30 个未包含遗忘集的保留模型)构成的忠实度评测池,以及由 8 种遗忘算法(GradDiff、NPO、SimNPO、IdkNLL、IdkDPO、AltPO、RMU、UNDIAL)在超参数搜索下生成的 150 个待测模型构建的鲁棒性评测池。UDS 与 19 种主流度量(8 种记忆度量、4 种传统 MIA、4 种归一化 MIA、3 种白盒基线)进行了系统对比。

指标分组 评估指标 信号范围 综合分数 (HM) ↑ 忠实度 (AUC-ROC) ↑ 聚合鲁棒性 (HM) ↑ 量化鲁棒性 \(Q\) ↑ 重新学习鲁棒性 \(R\) ↑
本文方法 UDS (Ours) 输出/保留/隐层 (O+R+I) 0.951 0.971 0.932 0.968 0.900
白盒基线 Logit Lens 输出/保留/隐层 (O+R+I) 0.902 0.927 0.879 0.959 0.812
白盒基线 Fisher Masked (0.1%) 保留/隐层 (R+I) 0.716 0.712 0.721 0.583 0.946
白盒基线 CKA 保留/隐层 (R+I) 0.051 0.648 0.026 0.997 0.013
记忆度量 Extraction Strength 纯输出 (O) 0.875 0.891 0.859 0.970 0.770
记忆度量 Exact Memorization 纯输出 (O) 0.782 0.817 0.750 0.984 0.605
记忆度量 Truth Ratio 纯输出 (O) 0.542 0.947 0.379 0.996 0.234
生成度量 ROUGE 纯输出 (O) 0.456 0.722 0.333 0.934 0.203
生成度量 Paraphrased ROUGE 纯输出 (O) 0.209 0.832 0.119 0.951 0.064
归一化 MIA sZLib 输出/保留 (O+R) 0.790 0.870 0.724 0.704 0.745
原始 MIA MIA-Min-K 纯输出 (O) 0.774 0.907 0.675 0.923 0.532

消融与敏感性分析

针对 UDS 内部设计的消融实验验证了拼接位置、KE 筛选阈值 \(\tau\) 以及跨模型尺度的一致性。

模块/设计配置 关键评估指标 实验说明与核心结论
隐状态拼接位置:Full Layer Output (\(h_l\)) 平均 S1 \(\Delta S_1 \approx 2.5 \sim 4.5\) 包含注意力与 MLP 的完整残差流携带了绝大部分知识因果信号(本文默认选择)
隐状态拼接位置:Attn + Residual (\(m_l\)) 平均 S1 \(\Delta S_1 \approx 1.5 \sim 3.0\) 仅包含注意力混合输出,后层差距较完整层输出显著扩大
隐状态拼接位置:MLP 单独输出 平均 S1 \(\Delta S_1 \approx 0.8 \sim 1.8\) 仅替换 MLP 增量,捕获的因果效应显著减弱
隐状态拼接位置:Attention 单独输出 平均 S1 \(\Delta S_1 \approx 0.2 \sim 0.8\) 仅替换注意力投影输出,知识因果影响极低
KE 层筛选阈值 \(\tau = 0.05\) 平均 KE 层数 10.9 (跳过率 1.5%) 筛选稳定性最佳,有效滤除浅层噪声并稳定 LER 分母(本文默认配置)
KE 层筛选阈值 \(\tau = 0.01\) 平均 KE 层数 13.2 (跳过率 0.5%) 引入大量接近 0 的边缘浅层扰动,降低评估信噪比
KE 层筛选阈值 \(\tau = 0.10\) 平均 KE 层数 9.6 (跳过率 3.5%) 过于激进,导致部分较难样本被判定无有效编码层而遭丢弃
模型扩展性:Llama-3.2-1B (full / 99 / 95 / 90) UDS: 0.002 / 0.153 / 0.496 / 1.000 完美满足单调性,随遗忘数据比例严格比例上升
模型扩展性:Llama-3.2-3B (full / 99 / 95 / 90) UDS: 0.008 / 0.151 / 0.482 / 1.000 跨尺度单调保持,容量增大时微小数据剥离的表征扰动略有收敛
模型扩展性:Llama-3.1-8B (full / 99 / 95 / 90) UDS: 0.000 / 0.101 / 0.455 / 1.000 8B 参数下依然与未见数据比例高度吻合,度量鲁棒性优异

关键发现

  • 因果干预有效化解表征位移的假阳性:在 IdkDPO 模型的微观分析中,Logit Lens 在 7–13 层均判为 1.0(整体达 0.801),而 UDS 因果度量仅为 0.209。固定解码器极易受到微调带来的几何旋转误导,而全模型的非线性深层能够自动对齐并解码这些隐层残留。
  • 输出型度量在重学习攻击下全面崩塌:ROUGE 与 Truth Ratio 在经历仅 1 个 epoch 的微调重学习后,鲁棒性得分暴跌至 0.203 和 0.234。这是因为模型隐层中完好保存的先验信息使其在极少步微调下迅速恢复输出生成能力;而 UDS 深入底层表示,重学习前后表现稳定(\(R=0.900\)),高度贴合真实保留模型的动态。
  • 遗忘深度呈现极强的提示类型异质性:针对将答案硬性替换为“I don't know”的 IdkNLL 模型,各类归一化 MIA 均错误地给出约 0.0 的得分(误判为完全擦除)。UDS 则精准揭示出:是非判断题(Yes/No)的遗忘深度达 0.624,因为拒绝回答天然构成了逻辑否定;而人物姓名(0.025)和书名(0.038)的遗忘深度几乎为 0,知识在深层依然完全潜伏。
  • 免除保留模型的可行性:在实际工业落地中若缺少黄金保留模型 \(M_{\text{ret}}\),单独执行阶段 2 拼接计算 \(\Delta S_2\) 的排序与完整 UDS 的 Spearman 相关系数高达 \(\rho = 0.994\)。阶段 1 的核心价值在于提供 [0, 1] 的绝对物理校准标尺,而在纯算法选型时单阶段拼接即可提供高可信排序。

亮点与洞察

  • 跳出观测陷阱引入因果拼接:巧妙利用未受破坏的全模型作为标准因果解码器,克服了 Logit Lens、CKA 和训练探针易受表征旋转欺骗或过拟合的缺陷。
  • 对称式鲁棒性评估准则革新:指出原有基准对量化导致的生成质量退化具有单向奖励漏洞,通过构建对称差异惩罚,真实反映了度量指标在扰动下的内在稳定性。
  • 重塑算法选型与超参配置导向:将 UDS 融入隐私评估轴后,SimNPO 与 NPO 的综合排名发生逆转,促使超参数调优主动从“浅层对齐”向“更高学习率/更多轮次以驱动深度擦除”演进。

局限与展望

  • 黄金保留模型的依赖性:严密的绝对数值量化依然需要伴随训练一个保留模型作为阶段 1 基线,在超大规模预训练底座的事后遗忘中算力代价较高(虽然阶段 2 排序可部分缓解)。
  • 过度遗忘与完美遗忘的标度饱和:公式中的 \([0, 1]\) 裁剪机制使得表示被过度摧毁(偏离保留模型分布)时在数学上同样映射为 1.0,需要与通用效用指标联合监控以防模型崩溃。
  • 结构化实体跨度约束:目前主要依托 Teacher Forcing 针对实体词进行对齐评测,向非事实型、长文本多跳复杂推理等自由逻辑遗忘场景的迁移仍有待进一步拓展。

相关工作与启发

  • vs Logit Lens / 探针分类器 (Lynch et al., 2024; Patil et al., 2024):Logit Lens 依赖固定的输出层反投影矩阵,容易被中间层的几何旋转欺骗;探针分类器需要额外训练且易在特定遗忘集上过拟合。UDS 借助 \(M_{\text{full}}\) 的深层网络进行动态因果非线性解码,完全免训练且具备数据集无关性。
  • vs OpenUnlearning 框架 (Dorna et al., 2025):OpenUnlearning 主要依赖输出层 MIA 与生成指标,且其单向鲁棒性公式对模型精度受损导致的指标虚假下降予以奖励。UDS 提供了首个通过元评估验证的白盒因果指标,并重构了对称鲁棒性公式。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出基于跨模型激活拼接的因果式大模型遗忘深度度量指标,思路极具启发性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 8 种遗忘方法、150 个模型、20 种对比指标,包含量化与重学习双重攻击,消融深入。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰,公式推导严谨,微观案例与宏观基准结合紧密。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型遗忘与模型编辑领域提供了一款真正穿透表层防御的高置信度白盒审计工具。