跳转至

Measuring the Depth of LLM Unlearning via Activation Patching

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/gnueaj/unlearning-depth-score
领域: LLM 安全
关键词: 大模型遗忘学习, 激活补丁, 遗忘深度评分, 因果介入, 成员推理攻击

一句话总结

提出无需辅助训练且具备数据不变性的遗忘深度评分(UDS),利用两阶段跨模型激活补丁因果定位知识编码层并度量遗忘彻底程度,在 8 种算法 150 个模型的大规模元评测中斩获保真度与鲁棒性双第一。

研究背景与动机

大语言模型在预训练与指令微调阶段会广泛记忆训练数据,一旦训练集包含个人隐私或有害有害内容,就会引发严重的合规与安全隐患。机器遗忘学习(Machine Unlearning)旨在在保留模型通用能力的同时,定向消除目标遗忘集的数据影响,使其输出分布与直接在保留集上从头训练的模型不可区分。然而,如何严格验证目标知识是否被真正物理清除,成为当前安全评估的核心瓶颈。现有主流评测基准(如 TOFU、MUSE 等)高度依赖输出层困惑度、ROUGE 相似度或成员推理攻击(MIA)等黑盒表层指标。这些指标极易受到模型输出格式微调(如诱导生成“我不知道”)或表征空间全局漂移的欺骗,攻击者只需通过轻量微调或激活引导即可轻松重新提取所谓“已遗忘”的事实。

为了突破表层输出评估的局限,近期研究开始转向白盒表征探测,例如利用居中核对齐(CKA)比对跨层表征几何、使用 Logit Lens 解码中间层隐状态,或训练线性探针提取潜在知识。然而,现有的白盒探测手段存在严重缺陷:表征几何相似度(CKA)或梯度敏感度(Fisher)反映的是优化轨迹而非知识存留,容易在微小扰动下失效;基于冻结解码器的 Logit Lens 和探针方法则属于观测型(Observational)手段,一旦遗忘算法旋转或扭曲了内部隐空间,观测型投影便会误判知识已消除;此外,探针训练高度依赖特定数据集且引入额外计算偏差,缺乏统一的通用标尺。

面对表征扭曲遮蔽知识探测与观测指标脆弱失效的双重困境,本文主张评估必须从“被动观测”转向“因果干预”(Causal Intervention)。如果模型内部深层仍然保有因果可提取的事实关联,那么将其中间层激活补丁回具备完整解码能力的基准全量模型中,必然能够重构出原始实体。核心 idea:提出遗忘深度评分(UDS),利用保留模型与全量模型构建两阶段因果激活补丁,通过比对未遗忘、金标准保留与遗忘后模型的逐层退化幅度,在 0 到 1 归一化区间上精确量化遗忘在内部深层的穿透深度。

方法详解

整体框架

UDS 关注于衡量遗忘在模型内部表征层面的穿透深度,其核心思想是检验遗忘模型中的隐藏状态是否仍能被具有完整解码能力的目标模型解码出目标实体。评估流程分为两个核心阶段:第 1 阶段(基准标定)以全量训练模型 \(M_{\text{full}}\) 为目标模型,将黄金保留模型 \(M_{\text{ret}}\) 的各层残差流激活补丁接入 \(M_{\text{full}}\),以此测量每一层遗忘知识的理论最大退化量,并筛选出真正编码遗忘知识的关键层集合(Knowledge-Encoding Layers, KE);第 2 阶段(遗忘量化)将待测遗忘模型 \(M_{\text{unl}}\) 的对应隐藏状态补丁接入 \(M_{\text{full}}\),测量遗忘模型引起的真实预测退化。随后,通过计算逐层遗忘率(LER)并按基准重要性加权聚合,得出跨越 0(完全未遗忘)至 1(达到黄金保留模型消除水平)的标准化 UDS 评分。为消除自回归生成的随机扰动,评估在预先切分的实体跨度上采用 Teacher Forcing 机制完成单次前向推理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本与实体切分<br/>上下文前缀 + 实体跨度"] --> B["阶段 1:基准标定与知识编码层识别<br/>补丁 M_ret 隐状态至 M_full 算退化"]
    B --> C["阶段 2:遗忘深度量化<br/>补丁 M_unl 隐状态至 M_full 算退化"]
    C --> D["逐层遗忘率计算与加权聚合<br/>LER 归一化截断与 KE 层加权求和"]
    D --> E["UDS 最终评分与隐私轴集成<br/>输出 0-1 深度值与调和平均综合评估"]

关键设计

1. 阶段 1:基准标定与知识编码层识别:消除噪声层并建立消除上限

直接比较跨模型激活会受到通用特征差异的干扰,必须建立严格锚定在遗忘集 \(D_f\) 知识上的参照基线。在给定包含前缀上下文 \(x_i\) 与目标实体 \(y_i = (y_{i,1}, \dots, y_{i,T_i})\) 的样本 \(i\) 时,首先在完整模型 \(M_{\text{full}}\) 上通过 Teacher Forcing 获得参考对数概率 \(s^{\text{full}}_{i,t} = \log P_{M_{\text{full}}}(y_{i,t} \mid x_i, y_{i,<t})\)。随后,将保留模型 \(M_{\text{ret}}\) 在各层 \(l\) 的残差流隐状态替换到 \(M_{\text{full}}\) 预测实体 token 的对应位置上,得到补丁后的预测对数概率 \(s^{S1}_{i,t}\)。其平均退化量定义为: $$ \Delta S1_{i,l} = \frac{1}{T_i} \sum_{t=1}^{T_i} \left( s^{\text{full}}{i,t} - s^{S1} \right) $$ 若 \(\Delta S1_{i,l}\) 显著大于 0,说明第 \(l\) 层在 \(M_{\text{full}}\) 中编码了 \(M_{\text{ret}}\) 所缺失的专属遗忘知识。为了过滤表征噪声并确保后续比率分母数值稳定,设定阈值 \(\tau = 0.05\),仅保留真正编码知识的层集合 \(\text{KE}_i = \{l \mid \Delta S1_{i,l} > \tau\}\)。

2. 阶段 2:遗忘深度量化:因果检验隐藏状态中可恢复的残留知识

在确定关键编码层后,将待测的遗忘模型 \(M_{\text{unl}}\) 作为源模型,将其在实体 token 位置的残差流隐藏状态补丁至相同的目标模型 \(M_{\text{full}}\) 对应层,得到补丁后对数概率 \(s^{S2}_{i,t}\),并计算第 2 阶段退化量: $$ \Delta S2_{i,l} = \frac{1}{T_i} \sum_{t=1}^{T_i} \left( s^{\text{full}}{i,t} - s^{S2} \right) $$ 因果逻辑在于:如果遗忘算法真正从内部表征中抹去了目标知识,那么传入 \(M_{\text{unl}}\) 的隐藏状态所引发的预测崩溃应与传入 \(M_{\text{ret}}\) 时相当,即 \(\Delta S2_{i,l} \approx \Delta S1_{i,l}\);反之,若内部知识仅被输出层表象遮蔽,由于 \(M_{\text{full}}\) 保留了完整的解码通路与非线性映射能力,它仍能从补丁特征中成功还原实体,\(s^{S2}_{i,t}\) 保持高位,导致 \(\Delta S2_{i,l} \approx 0\)。

3. 逐层遗忘率计算与加权聚合:构建有界、单调且可跨方法比对的标尺

为了将层级差异转化为具备可比性的统一指标,定义逐层遗忘率(Layer Erasure Ratio, LER),并将其截断在 \([0, 1]\) 之间,避免过度遗忘(Over-unlearning)导致指标发散: $$ \text{LER}{i,l} = \text{clip}\left( \frac{\Delta S2, 0, 1 \right) $$ 单样本的 }}{\Delta S1_{i,l}\(\text{UDS}_i\) 评分采用知识编码贡献 \(\Delta S1_{i,l}\) 作为加权权重,对所有 \(\text{KE}_i\) 层进行加权平均: $$ \text{UDS}i = \frac{\sumi} \Delta S1} \cdot \text{LER{i,l}}{\sumi} \Delta S1 $$ 最终模型级得分则是有效样本的均值 }\(\text{UDS} = \frac{1}{N} \sum_{i=1}^N \text{UDS}_i\)。得分为 1 代表遗忘彻底达到黄金保留模型基准,0 代表知识完整保留在内部隐状态中。

4. UDS 最终评分与隐私轴集成:指导超参数调优与精简部署流程

现有的综合评测框架将遗忘性能拆解为记忆(Memorization)、实用性(Utility)和隐私(Privacy)三轴,其中隐私轴过去完全由表层 MIA 攻击指标主导。UDS 提出将其拓展为两者的调和平均: $$ \text{Privacy} = \text{HM}(\text{MIA}_{\text{agg}}, \text{UDS}) $$ 这种调和形式严格惩罚“表层防御好但内部残留严重”的不均衡模型。此外,由于 UDS 的 Stage 1 基准只需对 \(M_{\text{full}}\) 和 \(M_{\text{ret}}\) 离线预计算并缓存,评估任意遗忘模型时仅需前向提取单次隐藏状态,计算开销可与表层指标比拟;同时,其高鲁棒性允许评估人员在部署前直接替代开销昂贵的微调复原扰动测试。

实验关键数据

主实验

论文基于 Llama-3.2-1B-Instruct 架构并在 TOFU 遗忘基准上展开元评测(Meta-Evaluation),涵盖梯度上升(GradDiff)、负向偏好优化(NPO、SimNPO)、拒绝微调(IdkNLL、IdkDPO、AltPO)、表征错向(RMU)与调整蒸馏(UNDIAL)等 8 种算法网格搜索生成的 150 个遗忘模型。评测使用 30 个正样本模型与 30 个负样本模型评估保真度(AUC-ROC),并在 4-bit NF4 量化和 1-epoch 重学习攻击下利用对称扰动公式评估鲁棒性(谐波平均 HM)。

下表汇报了 UDS 与各类代表性评估指标在保真度与对称鲁棒性维度的对比(节选自主论文 Table 3):

指标类型 评估指标 信号范围 Overall (综合) ↑ Faithfulness (保真度) ↑ Agg. Robustness (综合鲁棒) ↑ Quant. (量化稳定性) ↑ Relearn (重学习稳定性) ↑
记忆/输出 Truth Ratio 输出 (O) 0.542 0.947 0.379 0.996 0.234
记忆/生成 ROUGE 输出 (O) 0.456 0.722 0.333 0.934 0.203
记忆/生成 Jailbreak ROUGE 输出 (O) 0.438 0.757 0.308 0.971 0.183
隐私/MIA MIA-LOSS 输出 (O) 0.767 0.902 0.668 0.935 0.519
归一化 MIA sLOSS 输出+保留 (O, R) 0.778 0.891 0.690 0.719 0.663
白盒探测 CKA 保留+内部 (R, I) 0.051 0.648 0.026 0.997 0.013
白盒探测 Fisher (0.1% mask) 保留+内部 (R, I) 0.716 0.712 0.721 0.583 0.946
白盒探测 Logit Lens 跨层输出+内部 (O, R, I) 0.902 0.927 0.879 0.959 0.812
本文方法 UDS (Ours) 全信号 (O, R, I) 0.951 0.971 0.932 0.968 0.900

在全部 20 种对比指标中,UDS 在综合得分(0.951)、保真度(0.971)以及综合鲁棒性(0.932)上均位列全场第一。

消融实验与深度分析

为了解析观测型解码(Logit Lens)与因果干预(UDS)的本质差异,论文在单样本层面逐层比对了 IdkDPO 遗忘模型(预测实体 “historical fiction”)的表现(对应主论文 Table 4):

模型层数 (Layer) Logit Lens: \(\Delta S1\) Logit Lens: \(\Delta S2\) Logit Lens: LER UDS: \(\Delta S1\) UDS: \(\Delta S2\) UDS: LER 机制分析
Layer 0–4 - - not KE - - not KE 早期层不包含专门事实知识
Layer 5 0.375 0.250 0.667 - - not KE UDS 阈值过滤弱信号噪声
Layer 7 0.312 0.812 1.000 0.053 -0.059 0.000 Logit Lens 被表征旋转误导判为完全遗忘,UDS 测出内部保留
Layer 9 1.375 1.375 1.000 0.346 0.039 0.113 内部因果通路依旧畅通,UDS 测定 LER 仅 0.113
Layer 11 1.250 2.062 1.000 0.838 0.088 0.105 观测型投影完全失效,实测残余率近 90%
Layer 13 0.926 2.465 1.000 1.299 0.299 0.230 因果补丁证明 \(M_{\text{full}}\) 仍能稳定恢复实体
Layer 15 (最终层) 1.713 0.436 0.254 1.713 0.436 0.254 最终层两指标收敛,表层 logits 发生改变
最终聚合评分 - - 0.801 (判为已遗忘) - - 0.209 (揭示未遗忘) Logit Lens 严重虚高,UDS 成功识别表层伪装

此外,在对单模型的 Prompt 类型细分研究中,IdkNLL 模型在 Yes/No 判定题上的平均 UDS 高达 0.624,而在人名(0.025)、书籍书名(0.038)和人物经历(0.049)上均低于 0.05,全模型平均仅 0.076。这表明以“我不知道”为目标的遗忘优化仅在布尔判断上触及内部表征改变,而在实体问答中完全停留在输出映射层面。

关键发现

  • 表征漂移会系统性欺骗被动观测指标:如 Table 4 所示,以 Logit Lens 为代表的观测方法依赖固定的线性解嵌矩阵(Unembedding Matrix)。微调优化只需轻微扭曲内部向量空间即可让冻结矩阵无法读取,虚构出高达 0.801 的遗忘率;而 UDS 借助 \(M_{\text{full}}\) 的完整非线性层进行后继推理,因果证实其 LER 仅为 0.209,击穿了表层伪装。
  • 对称鲁棒性评测纠正单向指标偏见:原有的鲁棒性定义只惩罚微调后知识恢复(得分上升),却纵容模型因量化精度受损而导致的输出退化(得分下降)。引入对称惩罚公式后,ROUGE 和 Truth Ratio 在重学习和量化测试中急剧失效(ROUGE 重学习稳定性仅 0.203),暴露出表层指标极易受扰动混淆的根本缺陷。
  • 引入内部深度改变算法优劣格局:将 UDS 纳入综合评测框架的隐私轴后,NPO 与 SimNPO 的排名发生逆转(从 2/3 名互换)。NPO 依靠表层拟合获得高 MIA 分数但内部 UDS 仅 0.619;而 SimNPO 无需参考模型、带有长度归一化的损失函数对深层激活施加了更强压迫,UDS 达到 0.739,推动模型向更深层内部擦除演进。

亮点与洞察

  • 两阶段跨模型激活补丁架构:将可解释性领域的因果分析工具创造性重塑为量化评测指标。通过 Stage 1 标定上限并自适应筛选知识编码层、Stage 2 因果量化恢复能力,构建了首个无需辅助训练、免受生成噪音干扰且具备跨模型可比性的连续评分标尺。
  • 解耦“表层防御”与“深层物理清除”:这篇论文最具有警示意义的洞察在于揭示了大多数现代遗忘算法(尤其是拒绝微调与 DPO 衍生方法)往往只是在最后几层构建了输出重定向或对齐抑制掩码,底层残差流中的事实记忆连通性完好无损。
  • 兼顾高效与无保留模型降级策略:虽然 UDS 标准形式依赖保留模型,但在现实工业场景缺失保留模型时,仅运行 Stage 2 的无锚点平均退化量 \(\Delta S2\) 与完整 UDS 的模型排序保持高达 0.994 的斯皮尔曼等级相关性,展现了极强的工程实用性。

局限与展望

  • 依赖预训练全量模型与保留模型:完整双阶段 UDS 需要保留模型 \(M_{\text{ret}}\) 作为上界基准,并需访问完整权重以执行跨模型隐状态注入,限制了其在闭源 API 模型或不可公开全量检查点场景下的即时应用。
  • 局限于局部实体跨度与单步推理:当前前向评估高度依托上下文与实体跨度的精准切分(Teacher Forcing),对多跳长程逻辑链推理、长篇开放性文本或概念级(Concept-level)抽象安全的擦除评估机制仍有待扩展。
  • 过度遗忘与完全遗忘的边界截断:由于 LER 截断在 \([0, 1]\) 区间,当遗忘算法引发灾难性崩溃或表征破坏超过保留模型界限时(Over-unlearning),UDS 会饱和在 1.0,无法单独区分物理精准清除与表征盲目摧毁,必须配合通用效用(Utility)轴联合判断。

相关工作与启发

  • vs Logit Lens / 线性探针 (Lynch et al., 2024; Patil et al., 2024):以往白盒分析采用冻结解嵌矩阵或训练辅助线性探针,属于观测型评估,容易被隐状态空间的正交旋转或基底变换蒙蔽;UDS 采用跨模型因果介入,让 \(M_{\text{full}}\) 后续真实非线性层重新处理隐状态,彻底免疫表征平移伪装。
  • vs CKA / Fisher 敏感度 (Xu et al., 2026):CKA 度量的是几何全局相似度而非局部事实存留,Fisher 信息度量的是参数梯度的曲率轨迹;UDS 针对特定遗忘事实 token 执行点对点因果替换,在保真度(0.971 vs 0.648 / 0.712)上形成绝对优势。
  • vs 表层评估基准 (TOFU / OpenUnlearning):现有基准侧重于生成文本相似度与黑盒 MIA 攻防;UDS 填补了内部机理深度的度量空白,并将对称鲁棒性纳入元评测准则,推动评测规范由“对齐输出”走向“机理审计”。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出利用两阶段因果激活补丁衡量遗忘内部深度,构筑了兼具因果性与数据不变性的连续打分机制。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 8 种主流算法、150 个微调模型的大规模元评测,包含层级消融、Prompt 类型分析及扰动稳定性实验,论据扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰,公式推导严谨自洽,案例分析生动且直指现有评估的要害缺陷。
  • 价值: ⭐⭐⭐⭐⭐ 为模型逆向工程、安全遗忘审计与后置合规验证提供了极具公信力且可落地的机理级评测标尺。