TRACE: Data-Free Text Reconstruction Attacks Against Approximate Unlearning in LLMs¶

会议: NeurIPS 2026
arXiv: 2610.31995
OpenReview: https://openreview.net/forum?id=dKuZvfswsY
代码: https://github.com/mengyingz969/TRACE
领域: LLM 安全
关键词: 机器遗忘, 文本重构攻击, 模型快照比对, 嵌入层差异, 对比流畅度得分

一句话总结¶

针对大语言模型近似遗忘普遍保留前后模型快照带来的侧信道泄露风险，本文提出首个无需任何目标先验知识的无数据文本重构攻击框架 TRACE，利用嵌入层参数差异锚定候选词表，并结合长度感知的对比困惑度与两阶段搜索实现了高保真度的遗忘样本重构。

研究背景与动机¶

随着大型语言模型在合规监管（如欧盟 GDPR「被遗忘权」与 AI 法案）、版权保护以及隐私防泄漏等方面的要求日益严格，从已训练模型中彻底抹除特定敏感数据的机器遗忘（Machine Unlearning）技术成为了关键基础设施。然而，在千亿参数规模下从头重训模型（Exact Unlearning）的高昂计算开销使得工业界广泛转向基于参数微调的近似遗忘方法，例如梯度上升（GA）、梯度差分（GD）、KL 正则化以及负偏好优化（NPO）。在模型即服务（MLaaS）或生产运维流水线中，平台为了合规审计、故障回滚、调试分析或阶段性灰度发布，通常会长期归档遗忘前后的多份模型检查点（Snapshots）。这种看似常规的运维实践，无形中开辟了一条过去被严重低估的侧信道。

现有的训练数据逆向重构研究主要依赖训练期泄漏的精确梯度或内部激活，而在仅能接触到离线静态模型快照的威胁模型下均无法适用。虽然有研究尝试将模型前后的参数差分视为替代梯度信号以重构图像，但这一思路迁移到自回归生成式语言模型时便遭遇了离散文本空间优化不收敛和缺少类别标签锚点的致命瓶颈；近期针对 LLM 遗忘逆向的探索则严重依赖强先验假设，要求攻击者预先知晓被遗忘文本的目标前缀（如前 10 个词）。这就引出了一个严峻的安全问题：在没有任何目标文本先验知识、仅持有遗忘前后模型快照的前提下，被近似遗忘的数据是否仍然安全？

本文研究表明，近似遗忘操作会在模型参数中留下可被追踪的隐式印记。本文的切入点在于发现嵌入层参数的差异能够直接暴露遗忘数据涉及的离散词元集合，从而将近乎无限的词表组合搜索转化为局部候选集的自回归拼接重组。核心 idea：通过模型遗忘前后的嵌入层参数变动范数精准提取候选词元集合以极大压缩搜索空间，并设计集成困惑度差分与长度自适应流畅度惩罚的对比评分函数，以「广度前缀探索-细粒度序列补全」两阶段策略在无数据先验下重构出多条互异的被遗忘文本。

方法详解¶

整体框架¶

TRACE 旨在利用遗忘前模型 $\theta^*$ 与遗忘后模型 $\theta_u$ 的静态权重，以自回归搜索方式恢复被移除的私密文本。整个系统包含三个核心流程：首先，基于输入嵌入矩阵权重差分的稀疏性过滤出包含所有遗忘词元的紧凑候选集，并按句首语言学模式初始化起始词元；其次，利用前后模型在遗忘文本上的困惑度跃迁与原始模型的语言流畅度构建对比流畅度得分（CFS）；最后，采用两阶段架构解耦多样性探索与序列补全，在阶段一广度探索覆盖多样化前缀聚类，在阶段二以窄束搜索完成完整序列的高精度还原。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 遗忘前模型 θ* 与遗忘后模型 θu"] --> B["搜索空间初始化<br/>计算嵌入层差分范数筛选候选词元集"]
    B --> C["起始点语法过滤<br/>大写字母与开括号等句首约束筛选"]
    C --> D["阶段 I：广度前缀探索<br/>双分支 CFS 排序拓展候选前缀"]
    D --> E["ROUGE-L 语义聚类<br/>评估前缀多样性直至聚类数收敛"]
    E --> F["阶段 II：记录前缀序列补全<br/>轻量窄束 CFS 拓展并追踪终止条件"]
    F --> G["输出: 高保真重构文本集合 S"]

关键设计¶

1. 搜索空间初始化：基于嵌入层参数变动范数约束候选词表

LLM 的词表规模通常在 32k 到 150k 以上，直接在全词表上进行离散序列搜索必然导致组合爆炸。受差分梯度泄露理论中未参与计算的词元梯度为零的启发，作者发现近似遗忘算法在对目标敏感数据施加梯度上升或偏好微调时，仅有目标样本中实际出现的词元在输入嵌入矩阵 $E \in \mathbb{R}^{|\mathcal{V}| \times h}$ 中产生明显的非零更新。为此，TRACE 计算全词表每个词元在遗忘前后的 $\ell_2$ 变动范数： $$\mathcal{V}_{f} = \{v \in \mathcal{V} \mid \Delta(v) > 0\}, \quad \Delta(v) = \|E_{\theta^*}(v) - E_{\theta_u}(v)\|_2$$ 针对词嵌入与输出投影层权重绑定（Tied Embeddings）导致参数扰动泛化的模型架构（如 Qwen），TRACE 通过选取变动范数最大的 Top-$m$（如 $m=6000$）个词元构建候选集。随后，通过句首标点符号（如 "、(、[、{、<）以及首字母大写等语法规则对 $\mathcal{V}_f$ 进行轻量过滤，得到合法的句首起始词元集合 $\mathcal{X}^{(0)}$，将开放式的生成搜索转化为在极紧凑词元池内的拼接寻优。

2. 统一对比流畅度评分：动态长度感知的困惑度差分制导

搜索的关键在于评估扩展序列是否属于被遗忘数据。近似遗忘会显著降低模型对遗忘文本的预测概率，导致遗忘后模型的困惑度 $\text{PPL}_{\theta_u}(x)$ 远高于遗忘前模型的 $\text{PPL}_{\theta^*}(x)$。然而，直接采用困惑度差值容易偏向低频乱码或语法崩溃的离群序列；若仅依赖遗忘前困惑度，又无法区分被遗忘样本与保留集中的正常记忆。TRACE 提出了长度感知的对比流畅度得分（Contrastive Fluency Score, CFS）： $$\text{CFS}(x) = \frac{\text{PPL}_{\theta_u}(x) - \text{PPL}_{\theta^*}(x)}{\text{PPL}_{\theta^*}(x)^{A(|x|)}}, \quad A(|x|) = \alpha + \beta \log |x|$$ 其中 $\alpha$ 与 $\beta$ 为常数超参数。这一机制的核心洞察源于经验统计：在被遗忘序列的前缀极短时，由于缺乏上下文引导，原始模型的初始困惑度本身较高且波动剧烈，若过早施加严苛的流畅度惩罚会误杀真实候选；而随着序列长度 $|x|$ 增长，语义逐步完整，困惑度快速下降并趋于平稳。通过长度自适应指数 $A(|x|)$，CFS 在搜索初期放宽流畅度约束以捕捉显著的遗忘差分信号，而在后续步骤中逐步强化自然语言流畅度门槛，确保重构结果兼具遗忘特异性与自然可读性。

3. 两阶段重构架构：解耦多样性探索与序列补全

自回归贪婪搜索或标准束搜索极其容易坍缩到单一高分样本的局部近义序列上，难以还原批次中包含的全部相异样本。TRACE 创新性地将搜索划分为两阶段： - 阶段 I（广度前缀探索）：采用较宽的束宽 $k = N \times d$（$N$ 为目标重构样本数估计，$d$ 为扩展因子）。为平衡信号波动，同时维护松弛分支 $\text{CFS}(\cdot; \alpha_s, \beta)$（更包容早期高困惑度）与严格分支 $\text{CFS}(\cdot; \alpha_l, \beta)$（偏好高流畅度候选），取并集作为保留集。每一步利用 ROUGE-L 召回率阈值 $\tau$ 对候选前缀进行语义聚类，当聚类类别数收缩至 $|\mathcal{P}^{(r)}| \le N$ 时，说明多样化前缀骨架已经形成并趋于稳定，保存该前缀集合 $\mathcal{X}^{(r^*)}$。 - 阶段 II（前缀引导的序列补全）：针对未被重构集合 $\mathcal{S}$ 覆盖的前缀集合 $\mathcal{U}$，在窄束宽 $Q$ 下分别沿双参数分支独立自回归拓展。设置三重终止条件：检测到 <EOS> 结束标记、在句末标点（如句号）后出现连续困惑度反弹增长、或达到最大长度限制 $L_{\max}$。一旦某个前缀补全完成并加入 $\mathcal{S}$，立即通过 ROUGE-L 相似度从 $\mathcal{U}$ 中剔除冗余同源前缀，循环迭代直至全部独立前缀完成解码。

一个完整示例¶

假设系统在批大小 $B=8$ 下遗忘了一批关于虚构作者的信息。在初始化阶段，TRACE 计算模型快照的输入嵌入变动范数，从 32k 词表快速筛选出仅百余个非零更新词元 $\mathcal{V}_f$。根据大写规则过滤得到句首候选（如 ["The", "In", "Born", "Dr."]"）。在阶段 I，系统以 $N=12, d=5$（束宽 60）并行沿 $\alpha_s=2.0$ 与 $\alpha_l=6.0$ 拓展前缀，前几步中包含强烈 $\Delta\text{PPL}$ 的词序列即使语法生硬也被保留；随着步长增加，CFS 的分母 $A(|x|)$ 强化语法约束，淘汰无意义排列。当序列拓展至长度 15 左右时，根据 $\tau=0.7$ 的 ROUGE-L 相似度聚类出 8 个互不重叠的核心前缀分支。在阶段 II，系统针对每个聚类中心以 $Q=10$ 向后拓展补全，直至遇到句末标点后困惑度递增触发截断，成功还原出完整无误的 8 条不同样本。

实验关键数据¶

主实验¶

实验在 TOFU（虚构作者问答）、MUSE（真实新闻文本）、WMDP（生物安全长文本）与 RWKU（真实人物百科）四大基准上展开，覆盖 TinyLlama-1.1B、Qwen2.5-3B、StableLM-3B、LLaMA2-7B、Mistral-7B 和 LLaMA2-13B，针对 GA、GD、KL、NPO、NPO-Diff 与 NPO-KL 六种主流遗忘算法展开全面评估。评价指标采用 ROUGE-L 召回率（R）以及完全重构准确率 A-ESR$_{1.0}$（%）与高精度重构率 A-ESR$_{0.9}$（%）。

下表汇报了在 TOFU 与 MUSE 数据集上（遗忘批大小 $B=8$），TRACE 与仅依赖原始模型困惑度的基线（PPL-only）的主结果对比（以 LLaMA2-7B 与 Mistral-7B 为代表）：

数据集 / 模型	指标	GA (Ours / PPL)	GD (Ours / PPL)	KL (Ours / PPL)	NPO (Ours / PPL)	NPO-Diff (Ours / PPL)	NPO-KL (Ours / PPL)
TOFU (LLaMA2-7B)	ROUGE-L (R)	0.9799 / 0.6017	0.9695 / 0.2946	0.9592 / 0.2946	0.9715 / 0.6017	0.9578 / 0.2946	0.9684 / 0.2946
TOFU (LLaMA2-7B)	A-ESR$_{1.0}$ (%)	95.00 / 28.75	92.50 / 7.50	90.00 / 7.50	93.75 / 28.75	93.75 / 7.50	96.25 / 7.50
TOFU (LLaMA2-7B)	A-ESR$_{0.9}$ (%)	97.50 / 36.25	96.25 / 10.00	91.25 / 10.00	95.00 / 36.25	95.00 / 10.00	96.25 / 10.00
TOFU (Mistral-7B)	ROUGE-L (R)	0.9594 / 0.7145	0.9873 / 0.5584	0.8707 / 0.5584	0.9602 / 0.7145	0.9604 / 0.5584	0.9299 / 0.5584
TOFU (Mistral-7B)	A-ESR$_{1.0}$ (%)	90.00 / 47.50	92.50 / 37.50	61.25 / 37.50	90.00 / 47.50	88.75 / 37.50	82.50 / 37.50
MUSE (LLaMA2-7B)	ROUGE-L (R)	0.9457 / 0.3915	0.9332 / 0.1654	0.9398 / 0.1654	0.9579 / 0.3915	0.9554 / 0.1654	0.9646 / 0.1654
MUSE (LLaMA2-7B)	A-ESR$_{1.0}$ (%)	93.75 / 37.50	92.50 / 13.75	93.75 / 13.75	95.00 / 37.50	93.75 / 13.75	96.25 / 13.75
MUSE (Mistral-7B)	ROUGE-L (R)	0.9549 / 0.3533	0.8753 / 0.1221	0.9760 / 0.1221	0.9637 / 0.3533	0.9540 / 0.1221	0.9604 / 0.1221
MUSE (Mistral-7B)	A-ESR$_{1.0}$ (%)	93.75 / 31.25	83.75 / 6.25	96.25 / 6.25	94.44 / 31.25	90.00 / 6.25	93.75 / 6.25

在长文本基准 WMDP（512 token）上，与提供前 10 个词作为强先验的 SOTA 前缀逆向方法 UBNF 相比，完全无先验的 TRACE 在 LLaMA2-7B 上的 ROUGE-L 召回率甚至取得了超过 100% 的相对性能提升。

消融实验¶

1. 架构与基线组件消融（对比 FILM 梯度逆向与 PPL-only） 在 TOFU 与 MUSE 数据集上（LLaMA2-7B），将 TRACE 与梯度反演基线 FILM（将前后参数差视为代理梯度输入）以及消融掉 CFS 信号的 PPL-only 进行严格控制对比：

数据集	算法配置 / 方法	ROUGE-L (R)	A-ESR$_{1.0}$ (%)	A-ESR$_{0.9}$ (%)	说明
TOFU	GA - TRACE (完整模型)	0.9799	95.00	97.50	双阶段 + CFS 评分
TOFU	GA - PPL-only (w/o CFS)	0.6017	28.75	36.25	仅凭预训练模型记忆困惑度
TOFU	GA - FILM (梯度反演基线)	0.4355	1.25	5.00	差分视作梯度的反演方法几乎失效
TOFU	GD - TRACE (完整模型)	0.9695	92.50	96.25	保留集正则下依然极为鲁棒
TOFU	GD - PPL-only (w/o CFS)	0.2946	7.50	10.00	保留集约束使记忆混淆，指标大幅崩塌
TOFU	GD - FILM (梯度反演基线)	0.2393	0.00	0.00	完全无法重构出有效文本
MUSE	GA - TRACE (完整模型)	0.9457	93.75	93.75	真实新闻语料上高精度还原
MUSE	GA - PPL-only (w/o CFS)	0.3915	37.50	37.50	缺失对比差分制导
MUSE	GA - FILM (梯度反演基线)	0.2625	10.00	15.00	离散自回归下缺乏先验锚点

2. 核心超参数敏感性消融 - 阶段 I 拓展因子 $d$（MUSE 数据集，$B=32$ 压力测试）：$d=5$ 时 ROUGE-L 为 0.8897（A-ESR$_{1.0}=86.56\%$）；增加到 $d=10$ 时提升至 0.9504（A-ESR$_{1.0}=92.50\%$）；$d=15$ 时达到 0.9564（A-ESR$_{1.0}=92.81\%$）。说明扩大阶段 I 搜索宽度可完全弥补大批次遗忘导致的搜索分散。 - 阶段 II 补全束宽 $Q$（MUSE 数据集）：$Q=1$ 时 ROUGE-L 为 0.8148（A-ESR$_{1.0}=68.75\%$）；$Q=5$ 时跃升至 0.8529（A-ESR$_{1.0}=76.25\%$）；$Q=10$ 时为 0.8467。证明解耦后阶段 II 只需紧凑束宽即可稳定解码。 - 黑白盒设置消融（MUSE 数据集，TinyLlama-1.1B，训练 5 轮）：白盒下（提取 $\mathcal{V}_f$）ROUGE-L 达 0.8467（A-ESR$_{1.0}=76.25\%$）；全黑盒下（全词表搜索，仅提供双模型输出概率）ROUGE-L 仍保持 0.6043（A-ESR$_{1.0}=55.00\%$）。

关键发现¶

模型参数规模越庞大，泄漏越致命：LLaMA2-13B 与 LLaMA2-7B 的平均重构召回率全面突破 0.95，显著高于 1.1B 小模型。原因在于大模型对训练样本的记忆容量更大，遗忘过程在权重中造成的特征突变与困惑度鸿沟更为剧烈。
带保留集正则的算法无法防御快照比对：在 GD、KL、NPO-Diff 和 NPO-KL 等保护模型泛化效能的复杂算法下，PPL-only 基准大幅跌落至 0.1~0.3，而 TRACE 依然稳健维持在 0.85~0.98，表明正则化仅平衡了单模型的输出分布，但未抹除差分特征。
防御机制的固有困境：参数扰动（如梯度加噪）在噪声水平较低（$\sigma \le 0.1$）时无法阻挡 TRACE，而在高噪声（$\sigma \ge 0.15$）下会导致遗忘效能本身急剧失效；模型量化（AWQ 4-bit）和中度剪枝（10% Wanda）几乎不影响 TRACE 的重构精度（A-ESR 保持 95%）；彻底重训（Exact Retraining）虽使 A-ESR$_{1.0}$ 降至 5%，但仍存在个别样本泄露。

亮点与洞察¶

嵌入层差分范数的降维妙用：将原本在 $|\mathcal{V}|^L$ 空间下的组合爆炸问题，巧妙退化到由非零参数位移确定的稀疏候选子集 $\mathcal{V}_f$ 内，化被动盲猜为主动态势感知。
长度自适应动态衰减评分 CFS：构思了 $A(|x|) = \alpha + \beta \log |x|$ 机制，化解了自回归搜索初期「短前缀困惑度天生畸高与高信噪比差分」之间的内在冲突，兼顾了前缀捕获的召回率与后续生成的文本流畅度。
解耦式两阶段搜索思想：将「尽可能多的发现多样化样本前缀」与「高精度贪婪补全单一样本」彻底解耦，为高并发的多样本离线逆向重构提供了通用搜索范式。

局限与展望¶

白盒参数与双快照前提依赖：威胁模型依赖于拥有遗忘前与遗忘后的双重快照权重访问权，在严格受限的纯黑盒 API 调用且隐藏置信度的场景下威胁受限。
绑定词嵌入与防御型算法适应性：在权重共享或全连接层密集更新的架构下，词元筛选需依赖启发式 Top-$m$ 截断；若未来遗忘算法专门引入对抗扰动混淆嵌入层，重构召回可能受阻。
离线计算开销与多样本批次上限：随着遗忘批大小 $B$ 扩张（如 $B \ge 128$），阶段 I 所需的前向传播次数呈乘性增加，对离线算力资源提出了更高要求。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次打破前缀先验限制，揭示 LLM 近似遗忘快照残留的致命侧信道并实现端到端文本重构。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 6 款主流模型、4 个基准数据集、6 种遗忘方法，包含黑盒、量化、剪枝与 4 类防御全方位评估。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨连贯，数学公式表达精炼，图表详实且消融深入。
价值: ⭐⭐⭐⭐⭐ 为大模型机器遗忘的合规性落地与快照权限管理敲响警钟，对隐私防御研究具有重要警示与指导意义。