Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects¶

会议: NeurIPS 2026
arXiv: 2603.02333
领域: LLM 其他
关键词: 扩散语言模型, 训练数据记忆, 可发现提取, 采样分辨率, 隐私泄露

一句话总结¶

本文首次形式化定义了扩散语言模型在任意掩码与随机去噪轨迹下的广义可发现记忆提取框架，理论证明并实证检验了采样分辨率对逐字记忆概率的单调递增控制作用，发现扩散语言模型在同等对齐条件下比自回归模型具有显著更低的个人隐私（PII）泄露风险。

研究背景与动机¶

大语言模型的训练数据记忆与逐字复现现象一直伴随版权争议与隐私泄露隐患。在自回归模型（ARMs）主导的研究语境中，提取攻击和记忆评估均建立在固定的前缀-后缀（prefix-suffix）单向顺序生成框架下，评估指标高度依赖逐 token 条件概率的累积计算。然而，离散掩码扩散语言模型（DLMs）近期展现出逼近主流 ARMs 的伸缩法则与生成性能，其底层机制却从因果自回归转变为非因果的双向掩码与迭代逆向去噪。在面对任意掩码模式和高度随机的去噪轨迹时，传统的自回归记忆定义完全失效，学界缺乏对扩散语言模型是否记忆、如何泄露训练数据的理论定义与可量化评估工具。

这一理论与评估盲区的核心症结在于生成动力学的根本不对称：ARMs 的解码路径是单向确定性顺序展开的，而 DLMs 的生成本质上是在离散步长中逐步恢复随机 token 子集的并行演化过程。去噪步数的增减直接改变了每一步可参考的上下文信息量与独立恢复约束，使得基于固定因果链条的概率累乘无法度量非顺序采样中的记忆风险。此外，学界尚不清楚去噪步数（采样分辨率）这一扩散模型特有的超参数如何从数学机理上影响训练样本的逐字复现。

本文的切入角度是打破前缀-后缀因果生成的预设，构建一个包容任意掩码模式和随机去噪轨迹的广义概率化提取理论体系，将自回归生成严格刻画为扩散采样步数取极限时的特例。核心 idea：提出面向扩散语言模型的广义可发现提取框架，证明增加采样分辨率会单调提高训练数据精确复现概率，并在统一的 PII 提取基准下揭示 DLMs 具有显著低于 ARMs 的逐字记忆与隐私泄露风险。

方法详解¶

整体框架¶

本文构建的广义提取与记忆度量框架涵盖四个核心支柱：定义任意掩码下的广义 $(n,p)$-可发现提取、基于多重去噪轨迹采样的单次成功率估计、采样分辨率单调性定理（涵盖极限情况下的自回归退化分析），以及针对松弛记忆的汉明距离高斯逼近度量。整个分析框架将离散扩散语言模型的逆向去噪过程建模为序列掩码子集的演化轨迹，通过解析上下文扩展对条件恢复概率的影响，系统解构生成分辨率对记忆提取的支配作用。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入序列与任意掩码模式 M"] --> B["广义可发现提取定义<br/>脱离前缀依赖与顺序因果假设"]
    B --> C["多轨迹随机采样与概率估计<br/>对冲去噪轨迹随机性"]
    C --> D["采样分辨率单调性控制<br/>步数精细化扩大观测上下文"]
    D --> E["松弛提取的误差分布高斯建模<br/>弱依赖伯努利和逼近"]
    E --> F["输出：精确与松弛记忆概率估算及隐私泄漏风险评估"]

关键设计¶

1. 广义可发现提取定义：摆脱单向因果约束的任意掩码记忆形式化

针对自回归前缀-后缀模式无法泛化到非因果双向填空的问题，本文提出了任意掩码模式 $\mathcal{M} \subset \{1, \dots, L\}$ 下的广义 $(n,p)$-可发现提取定义。对于训练序列 $\boldsymbol{z} \in \mathcal{V}^L$，在给定未掩码观测部分 $\boldsymbol{z}_{\bar{\mathcal{M}}}$（其中 $\bar{\mathcal{M}} = [L] \setminus \mathcal{M}$）的条件下，若模型在 $n$ 次独立生成查询中，至少有一次能以不小于 $p$ 的概率完全逐字恢复掩码位置上的原始 token，即满足： $$ \text{Pr}\left(\exists i \in {1,\dots,n}: \hat{\boldsymbol{z}}^{(i)}{\mathcal{M}} = \boldsymbol{z}}} \mid \boldsymbol{z{\bar{\mathcal{M}}}\right) \geq p $$ 该定义将经典自回归提取作为特例自然收纳：当掩码 $\mathcal{M}$ 恰好取序列后半部分前缀对应的连续后缀时，公式完全等价于传统的条件补全。由于单次试验中 DLMs 生成具有轨迹随机性，单次查询成功概率 $p_{\boldsymbol{z}}$ 依赖于具体的去噪分割序列。在一次由 $N$ 步构成的采样轨迹中，掩码集合被划分为 $N$ 个不相交的分块 $\{\Delta_1, \dots, \Delta_N\}$，单次轨迹的精确还原概率为每一步条件恢复概率的连乘积： $$ p}}^{(i)} = \prod_{k=1}^{N} \prod_{\pi \in \Delta_{k}^{(i)}} \text{Pr}(\hat{z{\pi} = z} \mid \boldsymbol{z{\mathcal{U}) $$ 其中 }^{(i)}$\mathcal{U}_{k-1}^{(i)}$ 表示在第 $k$ 步恢复之前已经还原的观测上下文集合。

2. 采样分辨率单调性控制：去噪细化对逐字复现概率的理论支配

针对扩散采样步数对生成保真度与过拟合复现之间关系模糊的痛点，本文提出了采样分辨率对精确记忆概率的单调递增定理。该定理建立在一个自然的恢复单调性假设（Assumption 4.2）之上：对于任意给定的正确上下文观测子集 $\mathcal{U} \subset \mathcal{W} \subseteq [L]$，在扩展后的上下文 $\boldsymbol{z}_{\mathcal{W}}$ 下正确预测目标 token 子集 $\boldsymbol{z}_{\mathcal{M}}$ 的概率单调不小于在较小上下文 $\boldsymbol{z}_{\mathcal{U}}$ 下的预测概率。基于此，定理 4.3 证明：若去噪步数 $N_1 > N_2$，且步数 $N_1$ 对应的划分是 $N_2$ 对应划分的精细化（refinement），则单次精确生成的成功概率满足严格单调性： $$ \text{Pr}(\hat{\boldsymbol{z}}{\mathcal{M}} = \boldsymbol{z}}} \mid \boldsymbol{z{\bar{\mathcal{M}}}, N_1) \geq \text{Pr}(\hat{\boldsymbol{z}}}} = \boldsymbol{z{\mathcal{M}} \mid \boldsymbol{z}, N_2) $$ 这一结论揭示了去噪步数的两面性：更多的推理步数虽然提升了生成质量，但由于每一步都能获得更充分的局部上下文指导，模型重现训练集精确样本的能力也随之大幅增强。当分辨率达到上限 }}$N = |\mathcal{M}|$ 时，模型转变为单步仅还原一个 token 的自回归式逐步解码，此时获得最大的精确记忆暴露面。

3. 多轨迹随机采样与概率估计：对冲去噪轨迹随机性的期望估算

在自回归模型中，确定性贪婪或基于前缀的采样因果路径是唯一的，单次即可计算准确的后缀匹配概率；而在离散扩散模型中，即便采用贪婪去噪选择高置信度 token，不同去噪调度与随机并行分组仍会导致去噪轨迹在多次试验中展现出强烈的离散随机性。本文引入期望概率估计法，通过对 $R$ 条独立抽样的去噪轨迹计算单次精确提取概率的经验均值： $$ \hat{p}{\boldsymbol{z}} = \frac{1}{R} \sum $$ 这一经验估计克服了轨迹离散扰动造成的估计方差。实证表明，当去噪掩码模式采样量达到 }^{R} p_{\boldsymbol{z}}^{(i)$R=512$ 时，经验估计与理论对数似然在整个概率空间高度重合，为评估非因果双向模型的单样本记忆程度提供了稳定可重复的度量基准。

4. 松弛提取的误差分布高斯建模：大步长离散误差的中心极限定理分析

针对完全逐字匹配在长序列中判定过于严苛、无法捕捉语义近似重现的问题，本文进一步将自回归中的 $(\epsilon, n, p)$-松弛提取扩展到任意掩码模式下。以汉明距离 $d(\hat{\boldsymbol{z}}_{\mathcal{M}}, \boldsymbol{z}_{\mathcal{M}})$ 作为重构序列与真实文本之间的距离度量，论文证明并检验了重构误差在离散扩散下的弱相关伯努利求和性质。当掩码长度 $|\mathcal{M}|$ 足够大时，由每步并行预测失败所引起的误差分布能够紧密服从高斯分布： $$ d(\hat{\boldsymbol{z}}{\mathcal{M}}, \boldsymbol{z}\right) $$ 相比之下，ARMs 由于强自回归自反馈机制，前面的错误预测会引发后续级联雪崩，导致误差分布严重偏离高斯形态。DLMs 的高斯特性使得评估者仅需少量测试（例如 128 次采样）即可通过参数拟合精准预测任意容错阈值 }}) \approx \mathcal{N}(\mu, \sigma^2), \quad \hat{p}_{\boldsymbol{z},\epsilon} = \text{Pr}(d \leq \epsilon) \approx \Phi\left(\frac{\epsilon - \mu}{\sigma$\epsilon$ 下的提取成功率，大幅压缩了安全性审计的计算开销。

实验关键数据¶

主实验¶

为了在完全公平的条件下剥离架构与尺度对记忆的影响，作者基于统一的训练配方与 $10^{21}$ FLOPs 计算预算，在 SlimPajama 上预训练了 170M、690M 和 1.1B 的 DLMs，并以完全相同的数据与分词器训练了 1.1B 的 ARM 基准。此外，在 Enron 邮件数据集上对各模型以及 LLaDA-8B 进行了对齐微调，通过提取邮件和电话号码评估 PII 泄漏风险。

在查询预算 $n=10{,}000$、样本总量 3,000 条真实 PII 前缀的对齐测试下，不同置信度 $p$ 对应的可发现记忆样本数量如下表所示：

模型架构与规模	采样步数配置	Email ($p=50\%$)	Email ($p=99\%$)	Phone ($p=50\%$)	Phone ($p=99\%$)
DLM-1.1B	单步 (One-step)	0	0	0	0
DLM-1.1B	逐token最大步 (Max-step)	16	7	0	0
ARM-1.1B	自回归因果解码 (N/A)	213	139	5	3
LLaDA-8B	单步 (One-step)	9	8	7	3
LLaDA-8B	逐token最大步 (Max-step)	179	122	23	17

实验清晰表明，在同等 1.1B 规模下，ARM 泄露的邮件样本数量（$p=50\%$ 时为 213 例）是 Max-step DLM-1.1B（16 例）的 13 倍以上；单步 DLM 则完全未出现 PII 泄露。即便算力消耗大两个数量级、训练 token 多 150 倍的 LLaDA-8B，在 Max-step 条件下的邮件泄露数（179 例）仍低于 1.1B 的 ARM 基线。

消融实验¶

为了直接验证定理 4.3 中去噪步数对逐字记忆的单调促进规律，下表统计了 DLM 1.1B 在不同采样分辨率下，基于 200 个掩码模式、每模式 10,000 次随机解码试验测得的相对单步（One-step）基准的对数成功率比中位数增益 $\Delta \log p = \text{median}(\log(\hat{p}_N / \hat{p}_1))$，以及小规模模型在 PII 提取上的步数对比：

模型与评估配置	采样分辨率配置	记忆度量指标	实验实测表现	理论预期与说明
DLM-1.1B (通用掩码)	1 步 (One-step)	相对对数成功率 $\Delta \log p$	0.00 (基线)	无中间上下文辅助
DLM-1.1B (通用掩码)	2 步 (Two-step)	相对对数成功率 $\Delta \log p$	+0.65	分辨率粗粒度提升
DLM-1.1B (通用掩码)	5 步 (Five-step)	相对对数成功率 $\Delta \log p$	+1.42	上下文逐步丰富
DLM-1.1B (通用掩码)	10 步 (Ten-step)	相对对数成功率 $\Delta \log p$	+2.05	记忆复现概率单调攀升
DLM-1.1B (通用掩码)	逐token (Max-step)	相对对数成功率 $\Delta \log p$	+3.18	达到自回归极限上界
DLM-170M (PII提取)	单步 vs 逐token	Email 提取数 ($p=50\%$)	0 $\to$ 2	小模型极低记忆暴露
DLM-629M (PII提取)	单步 vs 逐token	Email 提取数 ($p=50\%$)	0 $\to$ 10	随规模与步数同步上升

关键发现¶

采样分辨率直接充当隐私保护旋钮：实验测得的对数概率曲线严格单调递增，实证充分印证了定理 4.3。在部署 DLMs 时，将生成步数压缩至较小区间可作为内生的高效差分隐私防御机制。
真记忆与泛化的严格区分：将训练集 Enron 与同领域但未见的 TREC 2007 Spam 邮件进行对比测试，DLMs 在训练集上的重构似然对数分布显著且均匀地向高似然区间偏移，证实本文度量的是真正的训练集记忆而非泛化重构。
查询预算次线性收益：在固定目标概率 $p=0.5$ 下，随提取查询预算 $n$ 的增加，可提取样本率呈现显著的次线性饱和特征，绝大多数可提取样本在较小预算下即暴露，无限制暴力穷举并不会带来成比例的泄露。

亮点与洞察¶

将自回归解码严格纳入扩散框架极限：论证了当扩散模型去噪步数取最大值（逐 token 恢复）时，自回归解码为其严格对应的极限状态。这一理论视角将两类迥异架构在记忆暴露风险层面统一在同一连续谱系中。
揭示双向非因果训练目标的内生隐私优势：DLMs 采用随机掩码重建目标打破了长程单向词序列的强相关绑定，削弱了模型对长文本后缀的逐字因果死记硬背能力，在天然防御 PII 提取方面显著优于自回归模型。
高斯逼近实现极低成本的容错记忆审计：发现并验证了 DLMs 重构汉明误差符合弱相关变量和的高斯中心极限定理，评估人员仅需约 128 次采样即可拟合误差曲线，预测任意错误容忍度下的提取概率。

局限与展望¶

局限于预训练及初级微调阶段：作者承认实验主要涵盖基础预训练与 Enron 上的单 epoch 领域微调，尚未深入探索大规模指令对齐（SFT）和强化学习偏好优化（如 DPO、RLHF）对扩散模型记忆机制的深层重塑。
后训练可能打破非因果优势：若后训练过程强制将 DLMs 训练为遵循因果前缀 Prompt 的问答模式，可能会人为诱导模型走向类似自回归的记忆特征，这一潜在退化仍需在未来针对对齐后模型展开专门评测。
缺乏自适应对抗性防御评估：未来工作可进一步探索在推理去噪调度中引入动态噪声注入或自适应步长扰动，利用步数敏感性构建针对逐字逆向提取的防御算法。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次针对离散扩散语言模型建立广义记忆提取理论与采样步数单调性定理，视角极具开拓性。
实验充分度: ⭐⭐⭐⭐⭐ 包含严格对齐的 FLOPs 预训练对比、跨尺度实验、真实 PII 提取、步数消融及泛化对抗验证，实验设计极为严谨。
写作质量: ⭐⭐⭐⭐⭐ 数学形式化严密流畅，理论与实证环环相扣，逻辑链条自洽。
价值: ⭐⭐⭐⭐⭐ 为离散扩散语言模型的部署安全、隐私泄露审计与去噪超参权衡提供了关键的理论依据与量化基准。

模型与评估配置	采样分辨率配置	记忆度量指标	实验实测表现	理论预期与说明
DLM-1.1B (通用掩码)	1 步 (One-step)	相对对数成功率 \(\Delta \log p\)	0.00 (基线)	无中间上下文辅助
DLM-1.1B (通用掩码)	2 步 (Two-step)	相对对数成功率 \(\Delta \log p\)	+0.65	分辨率粗粒度提升
DLM-1.1B (通用掩码)	5 步 (Five-step)	相对对数成功率 \(\Delta \log p\)	+1.42	上下文逐步丰富
DLM-1.1B (通用掩码)	10 步 (Ten-step)	相对对数成功率 \(\Delta \log p\)	+2.05	记忆复现概率单调攀升
DLM-1.1B (通用掩码)	逐token (Max-step)	相对对数成功率 \(\Delta \log p\)	+3.18	达到自回归极限上界
DLM-170M (PII提取)	单步 vs 逐token	Email 提取数 (\(p=50\%\))	0 \(\to\) 2	小模型极低记忆暴露
DLM-629M (PII提取)	单步 vs 逐token	Email 提取数 (\(p=50\%\))	0 \(\to\) 10	随规模与步数同步上升