Extracting Training Data from Diffusion Language Models via Infilling¶

会议: NeurIPS 2026
arXiv: 2605.24173
OpenReview: https://openreview.net/forum?id=qZJHM44aet
代码: https://github.com/waterloo-sec/dlm-extraction
领域: 预训练
关键词: 扩散语言模型, 训练数据抽取, 文本补全, 隐私泄漏, 记忆化机制

一句话总结¶

针对传统前缀探测低估扩散语言模型（DLM）记忆化风险的盲区，本文提出基于任意二值掩码的文本补全（Infilling）数据抽取协议，揭示掩码几何结构与双向归纳偏置对提取率的关键影响，证明在脱敏数据恢复场景下DLM的敏感实体泄漏风险甚至超过同等规模自回归模型。

研究背景与动机¶

随着大语言模型在海量异构文本上的预训练取得成功，模型内部对训练语料的意外记忆化现象（Memorization）引发了对隐私泄露、版权侵权与商业机密披露的普遍担忧。过去针对大模型的训练数据提取攻击（Data Extraction Attacks）几乎全部建立在自回归语言模型（ARMs）的范式之上，其标准评测协议为前缀条件探测（Prefix-Conditioned Probing）——即向模型输入一段固定的前缀文本，诱导模型按从左到右的时序自回归生成后续 token，并统计能够精确匹配（Verbatim Match）或恢复敏感实体（如 PII）的成功率。

然而，近年来以 LLaDA、Dream 为代表的扩散语言模型（Diffusion Language Models, DLMs）开辟了一种去中心化的生成范式：它们抛弃了严格的自回归约束，通过反向去噪过程在任意位置并行去掩码生成 token。将自回归模型专属的“前缀提示”机械套用在 DLM 上，实际上只探测了模型记忆化能力的单一边界，严重忽视了 DLM 能够利用任意双向上下文进行中间补全（Infilling）的结构特性。这种单向评测盲区导致学术界此前普遍得出了“DLM 训练数据记忆与泄漏风险显著低于同等体量自回归模型”的误判。

这一评测缺陷的核心矛盾在于：评估工具的单向假设与目标模型的双向归纳偏置之间存在根本性脱节。当恶意攻击者拥有部分脱敏数据（如因合规或泄露流出的被遮蔽文本）或者试图从模型输出反推敏感用户 Prompt 时，自回归模型难以反向推理，而 DLM 却能凭借天然的双向注意力以填空的形式高置信度复原掩码区域。本文的核心 idea 是形式化提出受任意二值掩码参数化控制的文本补全数据抽取协议（Infilling Extraction），通过系统解构 5 种典型掩码几何模式与 4 类解码动力学参数，全面揭示 DLM 独特的双向记忆泄漏通道与真实风险边界。

方法详解¶

整体框架¶

本文提出的文本补全抽取协议将训练样本的抽取问题形式化为一个受二值掩码 \(\mathbf{m} \in \{0, 1\}^n\) 约束的反向重建过程。对于长度为 \(n\) 的训练序列 \(\mathbf{x}\)，掩码向量指定了攻击者保留的上下文位置（\(\mathbf{m}_i = 0\)）与待恢复的遮蔽位置（\(\mathbf{m}_i = 1\)）。模型以带有掩码标记的残缺文本 \(\mathbf{x} \otimes \mathbf{m}\) 作为输入，通过去噪生成函数 \(g_\theta\) 预测所有被遮蔽位置的原始 token。当且仅当补全结果在所有掩码位置均与原始文本逐字吻合时，判定为序列级精确提取（Verbatim Extraction）。

整个框架系统考察了从预训练/持续微调（Full FT、LoRA）到对齐阶段（SFT）的记忆注入过程，并在固定上下文预算下定义了 5 类典型的掩码拓扑结构（前缀、后缀、两端边缘、中间、随机）以及面向真实合规脱敏场景的靶向实体掩码。同时，框架追踪了解码步数、半自回归块大小、采样温度与重掩码策略等推理参数对反向去噪轨迹的动态调制机制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["训练语料序列<br/>(MIMIR Pile / Enron / Tulu3)"] --> B["1. 掩码几何拓扑构建<br/>五类规范模式与靶向实体掩码"]
    B --> C["2. 双向扩散去噪推理<br/>步数/块大小/温度/重掩码策略"]
    C --> D["3. 记忆化风险多维量化<br/>ASR / TER / 实体召回率与跨架构对比"]
    D --> E["4. 后训练演化与防御建议<br/>SFT阶段遗忘分析与推理侧抑制"]

关键设计¶

1. 掩码几何拓扑构建：解构双向归纳偏置下的多元暴露路径

针对传统前缀探测无法激发 DLM 跨跨度双向表征的问题，该设计在给定相同显露 token 预算 \(k\)（序列总长 \(n\)）的前提下，构建了五类互补的掩码拓扑结构：前缀模式（显露前 \(k\) 个 token，模拟自回归场景）、后缀模式（显露后 \(k\) 个 token，测试逆向推导与从输出反推 Prompt 的能力）、两端边缘模式（显露序列前 \(k/2\) 与后 \(k/2\) 个 token，双向夹逼中间掩码）、中间模式（显露序列中部连续 \(k\) 个 token，遮蔽首尾两端）以及均匀随机掩码（在全序列随机散布显露 \(k\) 个 token）。

针对高度敏感的合规披露场景，该设计进一步拓展出“靶向实体补全”（Targeted Infilling）：仅将个人身份信息（PII，如电子邮件地址、电话号码）精准置为掩码，保留全部上下文环境，用以度量攻击者利用公开已脱敏文本逆向还原敏感隐私的理论上限风险。

2. 双向扩散去噪推理：动态超参数对抽取效能的调制分析

针对离散文本扩散生成过程由多维超参数联合支配的特性，设计显式参数化了反向去噪生成算子 \(g_\theta(T, b, \tau, \text{remask})\)，系统解析其在抽取效率与隐私泄露间的平衡机制。在去噪步数 \(T\) 上，较小的 \(T\) 在单步内基于粗糙后验强行并行确定大量 token，而充分迭代的大步数 \(T\) 显著提升了序列高保真重构的概率。在半自回归块大小 \(b\) 上，当 \(b\) 极小（如 \(b=1\)）时模型退化为准自回归时序解码，而随着 \(b\) 增大至全序列长度，全局并行去噪得以完全释放，双向上下文约束使跨度补全的召回率跳跃式上升。

在重掩码（Remasking）策略上，高置信度保留策略（如保留预测概率最高的 token，对低置信度位置重新施加掩码）能够迅速锚定模型在预训练或微调中形成的高频记忆支点，形成类似“记忆引力波”的滚雪球效应，显著优于丢弃置信度先验的随机重掩码。

3. 记忆化风险多维量化：严格精确匹配与宽松实体召回的分层度量

为了克服单一指标对攻击威胁的片面评估，设计提出了包含逐字攻击成功率（ASR）、token 级抽取率（TER）以及容错实体召回率（\(\text{Recall}_k\)）的层次化指标体系。对于序列级文本抽取，定义了严格指示完全复现的 ASR 与统计有效 token 占比的 TER：

\[ \textbf{ASR}(\theta, \mathbf{X}) \coloneqq \frac{1}{|\mathbf{X}|}\sum_{\mathbf{x} \in \mathbf{X}} \mathbf{1}[g_\theta(\mathbf{x} \otimes \mathbf{m}) = \mathbf{x}], \quad \textbf{TER}(\theta, \mathbf{X}) \coloneqq \frac{1}{|\mathbf{X}|}\sum_{\mathbf{x} \in \mathbf{X}} \frac{1}{\|\mathbf{m}\|_0} \sum_{i=1}^n \mathbf{m}_i \cdot \mathbf{1}[g_\theta(\mathbf{x} \otimes \mathbf{m})_i = \mathbf{x}_i] \]

在实体提取任务中，针对正则与 Presidio 抽取的实体集合，引入允许至多 \(k\) 个 token 预测错误的容错召回率 \(\text{Recall}_k\)。该设计有力揭示出：即使随机掩码下由于上下文脚手架的存在使得 TER 超过 50%，若缺乏长程拓扑连续性，严格 ASR 依然极低；反而在边缘掩码模式下，双向锚定能够使严格 ASR 达到单向前缀探测的 2 到 3 倍。

4. 后训练演化与防御建议：SFT 阶段的记忆保留与推理侧抑制机制

针对模型在多阶段工业部署中的隐私衰减问题，该设计横跨了全参数微调（FT）、低秩自适应（LoRA）以及指令微调（SFT）三个关键生命周期。通过跟踪持续微调后的 DLM 在经过 Tulu3 指令微调后的记忆保留状态，发现后续 SFT 仅在一定程度上重排了记忆预算，并不能抹除先前注入的结构性记忆通道。

在此基础上，设计导出了面向模型服务提供商的低成本推理侧防御配准准则：通过合理限制半自回归块大小 \(b\)、适当截断去噪步数 \(T\)、引入微弱温度扰动以及在敏感输入端限制双向补全端点的暴露，能够在保障基础生成质量的同时大幅压缩恶意实体的逆向恢复成功率。

实验关键数据¶

主实验¶

论文在开源扩散大模型 LLaDA-8B 和 Dream-7B 以及同规模自回归模型 LLaMA-2-7B 上开展了系统实验。涵盖通用语料精确匹配（MIMIR Pile，10,000 条）、敏感实体泄漏（Enron 邮件，10,000 条）和指令微调逆向（Tulu3，10,000 条）。

表1：MIMIR Pile 数据集上不同掩码模式下的逐字精确抽取率（ASR %）与 Token 抽取率（TER %）

模型与训练配置	前缀 Prefix (ASR / TER)	后缀 Suffix (ASR / TER)	两端边缘 Edge (ASR / TER)	中部 Middle (ASR / TER)	随机 Random (ASR / TER)
LLaDA-8B-FT	0.18±0.02 / 5.14±0.23	0.17±0.05 / 5.28±0.18	0.41±0.10 / 8.28±0.29	0.12±0.03 / 8.08±0.22	0.37±0.09 / 56.22±1.11
Dream-7B-FT	0.04±0.04 / 4.37±0.57	0.00±0.00 / 4.18±0.42	0.14±0.07 / 6.93±0.96	0.02±0.01 / 6.99±0.92	0.11±0.07 / 55.85±7.34
LLaDA-8B-LoRA	0.29±0.01 / 5.97±0.03	0.42±0.02 / 6.18±0.06	0.72±0.04 / 9.46±0.05	0.25±0.01 / 9.08±0.05	0.69±0.04 / 58.52±0.03
Dream-7B-LoRA	0.17±0.02 / 5.27±0.06	0.00±0.00 / 5.14±0.04	0.34±0.03 / 8.43±0.03	0.02±0.00 / 8.29±0.06	0.20±0.03 / 58.61±0.06

表2：Enron 邮件数据集上针对已脱敏敏感实体（PII）的靶向补全抽取结果（%）

模型与权重配置	邮箱 TER	邮箱 Recall (完全精确)	邮箱 Recall1 (≤1错)	邮箱 Recall2 (≤2错)	电话 TER	电话 Recall (完全精确)	电话 Recall1 (≤1错)	电话 Recall2 (≤2错)
LLaDA-8B-Base	14.2	01.4	02.1	05.2	38.5	00.3	00.3	00.7
Dream-7B-Base	25.4	02.1	04.4	09.3	42.2	00.1	01.0	03.3
LLaDA-8B-FT	52.9	40.5	43.4	47.3	63.3	28.9	35.3	41.3
Dream-7B-FT	38.7	10.8	18.6	27.0	67.2	35.8	42.0	47.9

消融实验¶

论文在 Enron 数据集上针对 LLaDA-8B-FT 进行了详尽的推理超参数消融与逆向通道测试。

表3：Tulu3 指令微调场景下双向提示词与响应抽取对比及推理参数调制效应

实验配置维度	评测细分条件	ASR (%) / 召回率 (%)	TER (%) / 精度 (%)	核心表现分析
指令逆向抽取 (LLaDA-8B-SFT)	Prompt 提示恢复 Response	10.32 ± 0.57	20.69 ± 0.58	常规前向生成任务，模型表现出正常记忆复现
指令逆向抽取 (LLaDA-8B-SFT)	Response 提示反推 Prompt	03.36 ± 1.98	11.01 ± 1.25	自回归模型不可行的逆向通道，DLM 仍存在显著提示词泄露
指令逆向抽取 (Dream-7B-SFT)	Response 提示反推 Prompt	01.78 ± 0.24	09.56 ± 0.43	同样验证了逆向恢复用户专有提示词的广泛威胁
解码块大小 \(b\) 调制 (邮箱)	\(b=1\) (准自回归模式)	召回率极低 (≈ 前缀水平)	精度受限	严格限制并行度有效压制了补全提取能力
解码块大小 \(b\) 调制 (邮箱)	\(b=64\) (完全并行扩散)	召回率急剧上升并饱和	精度显著提高	全局双向注意力使得上下文记忆被完全激活
重掩码策略 (LLaDA 邮箱)	随机重掩码 Random	召回率明显受挫	收敛迟缓	丢失置信度引导，打乱了记忆化 token 的逐步聚合
重掩码策略 (LLaDA 邮箱)	低置信度重掩码 Low-Conf	召回率最高	稳定收敛	优先保留高置信度先验，加速对记忆实体的锁定

关键发现¶

掩码几何决定记忆可见性：在相同的显露上下文预算下，边缘两端模式（Edge）在所有模型与微调配置下均显著优于传统的前缀（Prefix）探测。在 LLaDA-8B-FT 上，边缘模式的逐字精确提取成功率达到前缀模式的 2.27 倍（0.41% vs 0.18%），邮件实体抽取召回率达到前缀模式的 3.25 倍（6.33% vs 1.95%）。
颠覆 DLM 隐私更安全的结论：在标准动态前缀探测下，自回归模型 LLaMA-2-7B 的邮件抽取召回率为 35.9%，大幅高于 LLaDA（16.3%）和 Dream（2.9%），符合旧文献中“DLM 记忆较少”的观察。但面对真实世界的脱敏文本攻击（Targeted Infilling），LLaDA-8B-FT 对邮件地址的完全精确召回率暴增至 40.5%，反超同规模自回归模型，证明此前文献严重低估了 DLM 的隐私风险。
逆向提取用户 Prompt 通道被打开：自回归模型天然无法通过模型给出的回答逆向恢复用户的输入 Query，而双向 DLM 在仅给定模型响应的情况下，仍能以 3.36% 的 ASR 完整复原用户的私密 Prompt，为生产环境中的商业机密保护敲响了警钟。
去噪轨迹的早期锁定与误差漂移：在去噪生成的最初 30 步内，敏感实体召回率迅速爬升，随后进入平缓平台期。这是因为模型在早期凭借强双向先验填入高置信度实体；若早期未命中，自生成 token 的累积漂移会使后续去噪逐渐偏向通用文本补全。

亮点与洞察¶

重塑了非自回归模型的隐私评测基准：敏锐指出了过往文献将自回归评估协议盲目移植到扩散模型的范式缺陷，用掩码参数化的补全协议统一并拓展了前缀、后缀、两端和任意跨度抽取，方法论极其严密。
揭示了现实法规脱敏数据反噬的新威胁面：巧妙将“法定义务公开脱敏数据（如 HIPAA、GDPR 判例）”与“DLM 靶向去掩码补全”结合，证明已遮蔽关键实体的开源文本在 DLM 面前犹如“带有标准答案提示的填空题”，极具现实预警意义。
双向架构的逆向 Prompt 提取攻击：发现了只有双向模型才会遭遇的“根据 Answer 逆推 Prompt”泄露通道，打破了以往“只防 Prompt 注入、无需防 Answer 逆推”的安全认知。

局限与展望¶

缺乏在超大规模预训练基座上的原生验证：由于 LLaDA 和 Dream 的海量预训练原生数据未完全开源，实验主要通过在公开数据集上进行持续预训练和微调来诱导记忆化，与数万亿 token 预训练过程中的长尾记忆分布可能存在一定偏差。
未探讨强化学习偏好对齐（RLHF/DPO）的影响：研究主要覆盖了持续微调、LoRA 和监督微调（SFT），尚未深入探究基于人类偏好的强化学习对齐算法对扩散模型双向记忆图谱的深层改写作用。
更深入的防御机制仍待构建：论文主要指出了调整推理超参数（降低步数、减小块大小）这一权衡式防御，未来需要针对扩散反向去噪过程设计专用的表示遗忘（Unlearning）或差分隐私去噪算法。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统形式化扩散语言模型的双向补全抽取协议，揭示掩码几何的核心影响。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 种训练范式、3 个主流基准、2 大开源 DLM、4 类超参数消融与跨架构对比。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层层递进，对先前文献误区的澄清极具说服力。
价值: ⭐⭐⭐⭐⭐ 对扩散生成模型的工业落地安全规范、脱敏数据公开合规审查具有重大指导价值。