Exposing the Illusion of Erasure in Knowledge Editing for LLMs¶

会议: NeurIPS 2026
arXiv: 2606.23276
代码: https://github.com/FloofCat/fragile-edits
领域: 知识编辑
关键词: 知识编辑, 模型遗忘, 对抗性诱导, 机制可解释性, 损失曲面几何

一句话总结¶

本文从对抗逆向工程与机理解释视角审视大模型知识编辑，揭示低秩参数更新仅在零空间中重定向表示并施加表层抑制向量，通过离散对抗后缀即可高达 85%+ 恢复所谓“被擦除”的预训练事实，证明现有知识编辑制造了擦除的假象。

研究背景与动机¶

大语言模型作为海量参数化的静态知识库，在实际部署中面临事实陈旧过时、有害记忆泄露以及合规性隐私删除（如 GDPR “被遗忘权”）等关键诉求。从头重训练大模型具有极高的计算成本，促使学术界提出定位后编辑（Locate-then-Edit，如 ROME、MEMIT）、基于元学习梯度的参数变换（MEND）以及受限微调（FT-L）等事后知识编辑（Knowledge Editing, KE）技术。这些方法致力于在修改特定 MLP 权重或局部参数的同时，维持模型在无关知识上的稳定性与常识生成能力。

然而，现存评估主要侧重于在精心设计的验证提示词下检查模型是否输出了目标新知识，却忽视了深层的泛化一致性与真实内部消除机制。以往研究已观察到编辑在面对同义重写时脆弱不堪，并在多步推理中频繁发生冲突。一个关键的未解之谜始终悬而未决：这些局部低秩参数补丁到底是在深层表征中真正改写并销毁了原始事实，还是仅仅建立了一个阻断显式输出通路的表层滤波开关？

本文将知识编辑评估系统性地形式化为一个逆向工程与对抗诱导问题。作者指出，知识编辑算法并未实现真正的参数记忆消除，而仅仅将原始事实推挤至补丁的互补零空间，并在非嵌入层施加负向抑制偏置，在损失曲面形成了极度各向异性的脆弱沟壑。核心 idea：通过构建上下文引导诱导与无先验盲重构两类离散对抗探针，揭露知识编辑的“擦除假象”，并从子空间正交分解、Logit 抑制切片与各向异性损失地形三方面完成机理证伪。

方法详解¶

整体框架¶

本文框架从对抗性逆向工程与机理可解释性分析两个相互支撑的维度展开。在对抗评测侧，框架设定拥有白盒模型访问权限的攻击者，通过离散坐标梯度（Greedy Coordinate Gradient, GCG）算法学习一组通用的对抗后缀。攻击分为两种递进模式：一是上下文引导诱导，攻击者保留关系提示词模板 $q$ 并拼接通用后缀，绕过编辑路由直接强迫模型输出被抹除的事实 $o_{old}$；二是挑战性极高的无先验盲重构，攻击者没有任何关于主题或关系的语义线索，仅使用纯随机前缀 $x_{null}$ 结合通用后缀，通过激活模型参数的高曲率异常，诱导模型自主吐出包含模板、旧事实与新事实的完整编辑三元组 $T_{blind} = q \oplus o_{old} \oplus o_{new}$。

在内部机制分析侧，框架沿着表示几何投影、输出 Logit 干预解耦与参数损失曲面展开深度剖析。整体流程自顶向下由对抗诱导探针触发，随后在网络深层观测到表征流向低秩补丁的互补零空间，并在输出端识别出显式的负向抑制组件，最终在参数微扰地形中验证其极度各向异性的非稳态特征。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["白盒编辑后模型 f_θ* 与待检记忆"] --> B["对抗后缀优化：上下文引导与盲重构<br/>GCG离散搜索通用触发词"]
    B --> C["层级表征投影：零空间位移<br/>正交分解验证旧知识未销毁"]
    C --> D["Logit 空间解耦：目标事实抑制组件<br/>残差差异投影揭示负向抑制偏置"]
    D --> E["各向异性地形切片：脆弱参数沟壑<br/>沿编辑轴急剧崩塌而正交轴极度钝感"]
    E --> F["输出结论：知识编辑制造擦除假象<br/>隐式推理崩塌与 PII 隐私反弹泄露"]

关键设计¶

1. 对抗后缀优化：上下文引导与盲重构 现有基准多假设攻击者已知特定测试模板且仅针对单个事实测试，难以证明机制层面的通用缺陷。本文将其重构为跨样本可迁移的通用对抗后缀优化。在上下文引导诱导中，目标是迫使模型绕过编辑抑制并最大化旧目标事实 $T_{guided} = [o_{old}]$ 的对数似然： $$x^*_{guided} = \arg\max_{x} \mathbb{E}_{i \sim \mathcal{D}_{edit}} \left[ \mathbb{E}_{q \sim \mathcal{Q}^{(i)}} \left[ \log P_{\theta^*}(T_{guided}^{(i)} \mid q \oplus x) \right] \right]$$ 而在难度更高的无先验盲重构中，对抗者对关系完全未知，输入仅为均匀采样的 20 个随机字符前缀 $x_{null} \sim \mathcal{X}_{null}$ 拼接后缀 $x$。此时后缀扮演全局隐空间探针，诱导模型从参数异常区自发报告完整三元组 $T_{blind}^{(i)} = q \oplus o_{old} \oplus o_{new}$： $$x^*_{blind} = \arg\max_{x} \mathbb{E}_{i \sim \mathcal{D}_{edit}} \left[ \mathbb{E}_{x_{null} \sim \mathcal{X}_{null}} \left[ \log P_{\theta^*}(T_{blind}^{(i)} \mid x_{null} \oplus x) \right] \right]$$ 为了求解离散词表上的非凸优化难题，算法采用 GCG 方法计算嵌入层单热向量梯度，每轮选出 Top-256 负梯度候选并评估 512 个批次后缀，最终沉淀出能够穿透编辑保护屏障的通用词元序列。

2. 层级表征投影：零空间位移 主流定域编辑方法（ROME、MEMIT）的核心假设是向中间层 MLP 权重矩阵施加低秩修正 $\Delta W^{(l)}$ 即可覆写知识。然而从线性代数基本定理出发，任何秩为 $r \ll d$ 的参数更新在输入向量空间中必然存在一个巨大的零空间 $\mathcal{N}(\Delta W^{(l)})$，其正交补空间即为更新矩阵的行空间 $\mathrm{Row}(\Delta W^{(l)})$。隐藏状态向量可被唯一正交分解为： $$v = v_{\parallel} + v_{\perp}, \quad v_{\parallel} \in \mathrm{Row}(\Delta W^{(l)}), \quad v_{\perp} \in \mathcal{N}(\Delta W^{(l)})$$ 应用编辑权重后其实际输出为 $W^* v = W^{(l)} v + \Delta W^{(l)} v_{\parallel}$，因为 $\Delta W^{(l)} v_{\perp} = \mathbf{0}$。这在数学上证明，低秩编辑在理论上根本不可能清除或干涉分布在剩余 $d - r$ 维零空间中的既有表征。实证测量显示，当输入正常提示词时，隐藏状态与编辑行空间高度对齐；而对抗后缀介入后，与编辑子空间的对齐模长从 35.8 急剧降至 11.7，正交零空间分量从 30.2 飙升至 51.4，编辑干扰项 $\|\Delta W^{(l)} h^{(l)}\|$ 从 9696 坍缩至 3764。这表明对抗提示词巧妙地将前向激活重新引导回零空间，使原始事实完好无损地复现。

3. Logit 空间解耦：目标事实抑制组件 如果底层事实表征并未销毁，为何标准测试下模型仍旧输出新事实？本文通过分析最终层残差流的干预向量 $\Delta h = h^{(L)}_{edit} - h^{(L)}_{base}$，并将其经由反嵌入矩阵 $W_U \in \mathbb{R}^{|\mathcal{V}| \times d}$ 映射至词表 Logit 空间 $Z_{interv} = W_U \Delta h$。实验观察到一个极其关键的非对称现象：全词表大部分词元受到的干预接近于 0，但新事实 $o_{new}$ 获得了巨大的正向增益（+16.76），而旧事实 $o_{old}$ 遭到了极其强烈的负向打压（-5.28）。这揭示出知识编辑并不具有“擦除”功能，而是在模型末端强行注入了一个抑制向量。更具启发性的是，作者实施了消融实验，将 $\Delta h$ 中平行于旧词元嵌入方向 $w_{old} = W_U[o_{old}]$ 的分量投影切除： $$\Delta h_{\perp} = \Delta h - \frac{\langle \Delta h, w_{old} \rangle}{\|w_{old}\|^2} w_{old}$$ 去除对旧事实的负向打压后，$o_{new}$ 的正向 Logit 不降反升（从 +16.76 进一步攀升至 +18.49）。这在几何上解释为，新旧事实的反嵌入向量在词表中往往呈负内积（$\langle w_{new}, w_{old} \rangle < 0$），迫使编辑算法必须耗费参数容量去构建抑制力，反向制约了新知识的增益表达。

4. 各向异性地形切片：脆弱参数沟壑 针对深度学习中“良好泛化的知识应当位于平坦损失盆地”的基本常识，本文探测了编辑后模型的局部损失曲面。作者在编辑权重矩阵周围构造了一个由编辑方向 $\Delta W^{(l)}$ 和与其正交的随机噪声方向 $N_{\perp}$（满足 $\langle \Delta W^{(l)}, N_{\perp} \rangle = 0$）张成的二维切片： $$W(\alpha, \beta) = W_{edit}^{(l)} + \alpha \Delta W^{(l)} + \beta N_{\perp}$$ 探测结果呈现出极其尖锐的各向异性“狭长海沟”拓扑（Anisotropic Trench）。当沿编辑轴方向逆向移动（$\alpha \rightarrow -1$，即抵消编辑量）时，新知识 $o_{new}$ 的生成概率发生阶跃式断崖崩塌，迅速归零；而沿正交轴 $\beta$ 施加即便足以摧毁通用语言建模能力的巨大随机微扰时，模型对 $o_{new}$ 的输出置信度却几乎毫无波动。这种各向异性证明编辑参数未与模型全局知识网络融合，形成了一条极度依赖精密低维对齐的脆弱沟壑，极易在序列编辑中因后续微调产生参数空间碰撞而彻底崩解。

损失函数 / 训练策略¶

离散对抗后缀的 GCG 训练中，词元序列长度设为 $L=30$，采用批大小 $B=512$，候选池大小 $K=256$，全局迭代 $N=1500$ 步。在无先验盲重构推理阶段，由于随机前缀 $x_{null}$ 本身带来较高熵值与重复模式，作者采用大规模蒙特卡洛聚合采样策略：使用 $k=10000$ 个独立采样的 20-token 随机前缀挂载通用后缀，并行通过模型生成 50 个新 token（温度 $\tau=1.0$），通过大样本统计滤除无意义的退化序列，使被编辑三元组以统计主导项的形式清晰浮现。

实验关键数据¶

主实验¶

实验基于 KnowEdit 基准，从 CounterFact 数据集中选取 100 组实体替换样本（60 用于后缀训练，40 用于留出测试），在 Llama-3.2-3B、Qwen-3.5-4B、GPT-J-6B 及 GPT2-XL 上对比了 ROME、MEMIT、MEND 与 FT-L 四种编辑范式。评测指标包含上下文引导诱导的完全匹配率（Exact Match, %），以及盲重构中通过 GPT-5.2-nano 作为 Judge 评判的三元组重构成功率（Extraction Rate, %）。

模型	编辑方法	上下文引导提取率 (EM %)	盲重构提取率 (Judge %)	原始事实保留判定
GPT-J-6B	ROME	92.5%	15.0%	强残留（编辑本身可靠性低，仅26%）
GPT-J-6B	MEMIT	87.5%	37.5%	高度残留（分散更新仍留全局结构特征）
GPT-J-6B	MEND	85.0%	48.5%	极高残留（元学习梯度仅改变局部激活）
GPT-J-6B	FT-L	90.0%	42.5%	极高残留（范数约束微调仅形成竞争分布）
Llama-3.2-3B	MEMIT	86.0%	35.0%	稳定残留（几何正交零空间迁移）
Llama-3.2-3B	MEND	84.5%	45.0%	稳定残留（表层抑制补丁可被对抗触发）
GPT2-XL	MEMIT	88.0%	32.5%	稳定残留（跨架构普遍存在）

消融与脆弱性实验¶

除了白盒与跨模型攻击外，本文深入评测了无模板盲提取、隐式多跳推理偏好（测试模型是否在无显式触发词的下游推理中回退到旧知识）以及针对合规性 PII 数据遗忘的隐私反弹（Streisand 效应）。

实验配置 / 场景	测试指标	观测数值 / 结果	对比基线 / 理论预期	机制结论与说明
隐式推理回退 (MEMIT)	逆向偏好失败率 ($J > 0$)	47.0%	未编辑原模型失败率 0.0%	缺失显式关系触发词时，模型在近半数情况下回退至旧逻辑
Logit 抑制方向消融	新事实 $o_{new}$ 增益变化	+16.76 $\rightarrow$ +18.49	预期编辑被削弱	切除旧事实抑制向量后，新事实 Logit 反而显著提升
零空间投影分量	正交分量能量占比	30.2 $\rightarrow$ 51.4	原始查询占比 30.2	对抗后缀将表征质心推离更新子空间，使旧事实直接穿透
无模板抽取 ($T_{free}$)	白盒事实对抽取率	47.5% (MEMIT)	带模板重构 37.5%	剔除模板 $q$ 的优化负担后，梯度搜索对原始事实对敏感度更高
隐私数据 PII 擦除	PII 序列逆向抽取率	> 70% (上下文引导)	Carlini 等传统困惑度基线 0%	局部编辑不仅未删除 PII，反而给零空间留下独特几何指纹

关键发现¶

编辑只是加法抑制而非乘法擦除：消融实验证明，从最终残差流中切除针对 $o_{old}$ 的投影向量，新目标 $o_{new}$ 不仅完全不受损害，输出 Logit 甚至从 16.76 增加至 18.49。这确凿地证实了编辑算法只是在强行压制旧事实的置信度，而未触碰存储旧知识的深层权重回路。
隐式推理的双峰灾难：在隐式推理场景中，模型展现出高达 47.0% 的失败率，呈现明显的双峰分布。只要提示词中缺少编辑时使用的直接关系描述，模型会毫无阻碍地激活未被破坏的原始事实网络，生成与被编辑新事实完全矛盾的推理结果。
斯翠珊效应（Streisand Effect）：在 Nemotron-PII 隐私删除实验中，传统基于前缀补全的提取基线会撞上编辑制造的输出阻断墙（输出 [REDACTED]）；然而，由于低秩补丁对参数空间的强行约束，反而留下了极具特异性的几何边缘，攻击者利用通用后缀能够以超过 70% 的成功率完整提取所谓的机密数据。

亮点与洞察¶

从对抗视角重塑知识编辑的安全红线：首次将离散优化技术引入编辑后模型的逆向工程，打破了传统“测试集新知识准确率高即代表编辑成功”的思维定势，提出了上下文引导与无先验盲重构两套标杆式攻击体系。
数学代数与损失几何的双重自洽闭环：通过 Lemma 1 的正交分解定理严格证明了低秩更新在维度意义上对零空间的无能为力，并辅以各向异性损失海沟的可视化分析，从第一性原理阐明了知识编辑脆弱性的根源。
指明事后补丁在隐私保护中的根本局限：深刻指出了利用局部更新来满足 GDPR 等法规中“被遗忘权”的法律与技术风险，揭示出粗糙的参数补丁非但没有消除记忆，反而给对抗提取提供了高对比度的特征签名。

局限与展望¶

作者承认的局限：受制于离散 GCG 搜索巨大的显存与时间开销，实验主要在推荐的默认超参数下开展，未能在全部 Transformer 层上进行全局超参网格搜索；当前评测的提取率实质上是攻击强度的下界，未探索多阶段组合后缀等高阶攻击手段。
潜在盲区与扩展约束：盲重构依赖于 $k=10000$ 次的大规模随机采样聚合，推断开销较大；此外，分析主要集中在基于 MLP 定位与轻量参数微调的范式上，对于检索增强生成（RAG）或持续全参数对齐微调等宏观知识更新机制的适用性仍需验证。
未来改进路径：探索能够重塑多跳全局关联图的全局知识整合方案；研究从模型中彻底投影消除特定子空间奇异值的几何解耦算法，以实现真正意义上的机器非学习（Machine Unlearning）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次从逆向工程角度形式化知识编辑漏洞，提出盲重构与引导诱导双重范式]
实验充分度: ⭐⭐⭐⭐⭐ [跨 4 类模型、4 种编辑算法，涵盖数学证明、机理解耦、曲面可视化与 PII 实例]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严丝合缝，几何机理与数学表述清晰精炼，图表具有极高说服力]
价值: ⭐⭐⭐⭐⭐ [对大模型知识编辑与合规性遗忘领域具有颠覆性警示意义，迫使社区重新审视事后更新的技术路线]

实验配置 / 场景	测试指标	观测数值 / 结果	对比基线 / 理论预期	机制结论与说明
隐式推理回退 (MEMIT)	逆向偏好失败率 (\(J > 0\))	47.0%	未编辑原模型失败率 0.0%	缺失显式关系触发词时，模型在近半数情况下回退至旧逻辑
Logit 抑制方向消融	新事实 \(o_{new}\) 增益变化	+16.76 \(\rightarrow\) +18.49	预期编辑被削弱	切除旧事实抑制向量后，新事实 Logit 反而显著提升
零空间投影分量	正交分量能量占比	30.2 \(\rightarrow\) 51.4	原始查询占比 30.2	对抗后缀将表征质心推离更新子空间，使旧事实直接穿透
无模板抽取 (\(T_{free}\))	白盒事实对抽取率	47.5% (MEMIT)	带模板重构 37.5%	剔除模板 \(q\) 的优化负担后，梯度搜索对原始事实对敏感度更高
隐私数据 PII 擦除	PII 序列逆向抽取率	> 70% (上下文引导)	Carlini 等传统困惑度基线 0%	局部编辑不仅未删除 PII，反而给零空间留下独特几何指纹