How Diffusion Models Memorize¶

会议: NeurIPS 2026
arXiv: 2509.25705
论文: https://arxiv.org/abs/2509.25705
领域: 图像生成
关键词: 扩散模型、数据记忆、Classifier-Free Guidance、早期过度估计、潜空间动力学

一句话总结¶

揭示扩散模型记忆训练数据并非单纯源于传统过拟合，而是由 Classifier-Free Guidance 在去噪早期线性放大条件预测引发对训练样本的过度估计（Overestimation），进而导致潜空间轨迹早熟坍缩并抹除初始随机性。

研究背景与动机¶

扩散概率模型在图像生成领域取得了巨大成功，但随之而来的非预期数据记忆（Memorization）现象引发了严重的版权争议与隐私泄露风险——即使输入完全独立随机的高斯噪声，模型仍可能逐像素精确复现训练集中的私有或受保护图像。现有工作大多将这一行为定性归咎为模型对训练集的传统过拟合，认为重复训练样本或概率流形上的尖锐极小值导致模型强行记住了数据点，并据此设计了各种基于特征距离异常、注意力图异常或神经元定位的启发式检测与微扰缓解方案。

然而，单纯将记忆等同于过拟合存在无法自圆其说的核心矛盾：如果记忆仅仅是过拟合，那么在记忆样本上的反向去噪训练损失理应处处接近于零。但在实际普遍依赖的 Classifier-Free Guidance (CFG) 采样条件下，去噪最初阶段的估计误差反而比正常非记忆样本更大；更反常的是，在无引导机制（$g=1.0$）下几乎不发生严苛的数据复制，而增大引导尺度（$g=7.5$）却会急剧放大复现率。这表明数据记忆并非静态训练损失的简单映射，而是去噪动力学本身在引导机制干预下发生了系统性偏离，学界始终缺乏对“扩散模型究竟如何在去噪过程中一步步走向记忆”的微观机理解释。

本文正是从反向去噪的微观动力学切入，通过几何向量分解与潜空间正交回归证明：记忆提示词会在条件噪声预测中注入负训练样本分量，而在 CFG 尺度放大下，第一步去噪估计便会直接过度放大为 $g\mathbf{x}$，引发潜空间方差骤降并强制去噪轨迹向目标样本对齐。核心 idea：将扩散模型的数据记忆机制定性为早期去噪阶段由 CFG 驱动的训练样本过度估计（Early Overestimation），通过潜空间中间态正交分解证明初始随机性被过早抹除并量化了偏离理论去噪时间表的累积偏差。

方法详解¶

整体框架¶

反向去噪过程接收初始高斯随机噪声 $\mathbf{x}_T \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$ 以及文本提示词嵌入 $\mathbf{e}_c$。在正常生成中，潜变量轨迹在不同随机种子下发散探索并收敛于多样化的生成样本；而在记忆提示词下，去噪轨迹在最初数步内便迅速锁定并收敛至配对的训练图像 $\mathbf{x}$。

为解析这一过程，论文构建了一条由微观预测分解到宏观轨迹演化的动力学分析链路：首先解耦无条件与条件噪声预测在初始时刻的几何分量，严格证明 CFG 引导尺度 $g$ 会在线性组合中直接导致第一步预测值产生 $\hat{\mathbf{x}}_0^{(T)} \approx g\mathbf{x}$ 的过度估计；随后通过追踪潜空间协方差矩阵迹与步进更新主成分，揭示过度估计如何压制随机多样性并迫使轨迹坍缩；最后引入中间潜变量的正交分解时间表，量化初始随机噪声被提前抹除的动力学偏差。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["初始高斯噪声潜变量 x_T<br/>与条件提示词嵌入 e_c"] --> B["CFG驱动的早期过度估计机理<br/>分解条件噪声并放大得 x_0^(T) ≈ g*x"]
    B --> C["潜空间轨迹坍缩与多样性抑制<br/>协方差迹锐减并沿 x 方向强制更新"]
    C --> D["中间潜变量正交分解与偏离度量<br/>量化 w_0 过冲与 w_T 随机性早熟衰减"]
    D --> E["输出记忆生成结果<br/>高保真复现训练样本 x_0 ≈ x"]

关键设计¶

1. CFG驱动的早期过度估计机理：揭示条件预测注入与引导尺度放大的数学本质 传统观点认为记忆即过拟合，依据扩散模型训练损失的形式，当无引导（$g=1.0$）时，优化目标等价于使模型在各个时间步准确预测干净图像 $\mathbf{x}$，此时记忆样本的均方误差 $||\hat{\mathbf{x}}_0^{(t)} - \mathbf{x}||_2^2$ 确实显著低于正常样本，表现出典型的过拟合特征。然而在实际加入 CFG 后，前几个去噪步（特别是 $t=T$ 第一步）的均方误差不仅没有变小，反而显著高于正常样本，但最终图像的复制相似度（SSCD 分数）却大幅提高。

这种反常现象源于条件噪声预测对训练样本的几何注入与 CFG 尺度的幅度放大。在 $t=T$ 处，由于信噪比系数 $\bar{\alpha}_T \approx 0$，高斯噪声项满足 $\bm{\epsilon} \approx \frac{1}{\sqrt{1-\bar{\alpha}_T}}\mathbf{x}_T + \frac{\sqrt{\bar{\alpha}_T}}{\sqrt{1-\bar{\alpha}_T}}(-\mathbf{x})$。无条件噪声预测 $\epsilon_\theta(\mathbf{x}_T, \mathbf{e}_\varnothing)$ 因缺乏提示词引导，仅能近似重现 $\mathbf{x}_T$，与 $-\mathbf{x}$ 的余弦相似度接近 0；而记忆提示词的条件预测 $\epsilon_\theta(\mathbf{x}_T, \mathbf{e}_c)$ 则强行捕捉到了负训练图像方向，即 $\epsilon_\theta(\mathbf{x}_T, \mathbf{e}_c) \approx \mathbf{x}_T - s\mathbf{x}$（其中 $s \approx \frac{\sqrt{\bar{\alpha}_T}}{\sqrt{1-\bar{\alpha}_T}}$）。经由 CFG 组合后： $$\tilde{\epsilon}_\theta(\mathbf{x}_T, \mathbf{e}_c) = (1-g)\epsilon_\theta(\mathbf{x}_T, \mathbf{e}_\varnothing) + g\epsilon_\theta(\mathbf{x}_T, \mathbf{e}_c) \approx \mathbf{x}_T - g\frac{\sqrt{\bar{\alpha}_T}}{\sqrt{1-\bar{\alpha}_T}}\mathbf{x}$$ 代入一步反推公式 $\hat{\mathbf{x}}_0^{(T)} = \frac{\mathbf{x}_T - \sqrt{1-\bar{\alpha}_T}\tilde{\epsilon}_\theta(\mathbf{x}_T, \mathbf{e}_c)}{\sqrt{\bar{\alpha}_T}}$，直接得到 $\hat{\mathbf{x}}_0^{(T)} \approx g\mathbf{x}$。当采用典型参数 $g=7.5$ 时，预测向量的方向与真实样本高度平行（余弦相似度极高），但范数却被放大了数倍（$k = ||\hat{\mathbf{x}}_0^{(t)}||_2 / ||\mathbf{x}||_2 > 1$）。这种过度估计在数学上抬高了均方差损失，但在动力学上却不可逆地将生成方向牢牢锁定在 $\mathbf{x}$ 上。

2. 潜空间轨迹坍缩与多样性抑制：阐明多随机种子收敛至单一路径的动力学过程 在扩散模型采样中，提示词嵌入 $\mathbf{e}_c$ 在所有时间步均保持恒定，去噪步进的变化主要由中间潜变量 $\mathbf{x}_t$ 自身的演化驱动。在正常提示词下，不同的初始随机种子 $\mathbf{x}_T$ 引导潜变量在广阔流形上扩散，形成多样化轨迹；但在记忆发生时，第一步对 $\mathbf{x}$ 的过度估计使得下一个潜变量 $\mathbf{x}_{t-1}$ 过早继承了大量确定性的训练样本成分，极大地抑制了随机种子之间的方差。

实验通过计算 50 个不同随机种子生成的中间潜变量协方差矩阵迹 $\text{Tr}(\text{Cov}(\mathbf{x}_t))$ 证明，记忆样本的潜空间方差在最初 10 个去噪步内发生断崖式下跌，仅在第 10 步（$t=40$）时，协方差矩阵迹与最终 SSCD 记忆分数的皮尔逊相关系数便高达 0.7148。对单步更新量 $\Delta \mathbf{x}_{t-1} = \mathbf{x}_{t-1} - \mathbf{x}_t$ 的主成分分析进一步表明，其第一主成分从去噪伊始便几乎与训练图像 $\mathbf{x}$ 的方向重合。所有来自不同起点的随机粒子被强行吸附进同一条收敛隧道，初始多样性被迅速扼杀。

3. 中间潜变量正交分解与理论偏离度量：建立记忆严重程度的动力学定量指标 为了严格刻画去噪粒子如何从初始纯噪声 $\mathbf{x}_T$ 过渡至目标图像 $\mathbf{x}$，论文推导了确定性采样（DDIM）在理想记忆状态下的理论分解定理。在训练损失趋近于零的极限下，中间潜变量严格满足 $\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x} + \sqrt{1-\bar{\alpha}_t}\mathbf{x}_T$。基于此，论文通过最小二乘法求解实际去噪过程中的投影系数 $\mathbf{x}_t = w_0^{(t)}\mathbf{x} + w_T^{(t)}\mathbf{x}_T$（在未知真实图像时可用最终生成图 $\mathbf{x}_0$ 替代），并将其与理论调度曲线 $\sqrt{\bar{\alpha}_t}$ 和 $\sqrt{1-\bar{\alpha}_t}$ 进行对比。

在无引导（$g=1.0$）时，记忆样本的分解系数严格贴合理论曲线；而在有引导（$g=7.5$）的记忆生成中，$w_0^{(t)}$ 显著过冲（Overshoot）理论值，且 $w_T^{(t)}$ 以远快于理论预期的速度衰减归零。基于此，论文定义了三个时间步累积偏差指标： $$\sum_{t=T}^1 \mathbb{E}[w_0^{(t)}], \quad -\sum_{t=T}^1 \mathbb{E}[w_T^{(t)}], \quad \sum_{t=T}^1 (\mathbb{E}[w_0^{(t)}] - \mathbb{E}[w_T^{(t)}])$$ 这三个指标与图像复制 SSCD 分数的皮尔逊相关系数分别达到 0.9203、0.6997 和 0.9224。此外，论文在随机性采样（DDPM）中进一步推导出 $\mathbf{x}_{t-1} \approx \sqrt{\bar{\alpha}_{t-1}}\mathbf{x} + \frac{\sqrt{\alpha_t}(1-\bar{\alpha}_{t-1})}{\sqrt{1-\bar{\alpha}_t}}\mathbf{x}_T + \sigma_t\mathbf{z}$，证明该轨迹坍缩规律与采样器是否引入高斯扰动无关，具有普适的物理一致性。

一个完整示例¶

以 Stable Diffusion v1.4 进行 $T=50$ 步 DDIM 生成为例，设置引导尺度 $g=7.5$，输入某个 LAION-5B 记忆提示词 $c$： 1. 第 1 步初始化 ($t=50$)：从标准正态分布采样 $\mathbf{x}_{50} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$。无条件分支预测噪声 $\epsilon_\theta(\mathbf{x}_{50}, \mathbf{e}_\varnothing) \approx \mathbf{x}_{50}$；条件分支由于提示词嵌入激活了记忆权重，预测出 $\epsilon_\theta(\mathbf{x}_{50}, \mathbf{e}_c) \approx \mathbf{x}_{50} - s\mathbf{x}$。 2. CFG 放大与单步反推：组合噪声为 $\tilde{\epsilon}_\theta = \mathbf{x}_{50} - 7.5 s\mathbf{x}$。计算第一步图像估计得 $\hat{\mathbf{x}}_0^{(50)} \approx 7.5\mathbf{x}$，其与训练图像 $\mathbf{x}$ 的余弦相似度高达 0.98 以上，但范数达到真实样本的数倍。 3. 轨迹锁定与方差湮灭 ($t=40 \dots 0$)：更新后的潜变量 $\mathbf{x}_{49}$ 立即注入了大量 $7.5\mathbf{x}$ 分量。到第 10 步（$t=40$）时，50 个随机种子对应的潜变量协方差矩阵迹大幅萎缩，正交分解显示 $w_0^{(40)}$ 已占据绝对主导，而噪声权重 $w_T^{(40)}$ 提前归零。最终解码出的图像无论初始种子为何，均与训练图像完全一致（SSCD $\ge 0.75$）。

损失函数 / 训练策略¶

扩散模型标准的噪声预测均方误差损失定义为： $$\mathcal{L} = ||\bm{\epsilon} - \epsilon_\theta(\mathbf{x}_t, \mathbf{e}_c)||_2^2 = ||\frac{\sqrt{\bar{\alpha}_t}}{\sqrt{1-\bar{\alpha}_t}}(\hat{\mathbf{x}}_0^{(t)} - \mathbf{x})||_2^2$$ 在训练阶段，模型以固定概率（如 10%）丢弃文本条件以学习无条件预测。所有生成测试基于 8 张 NVIDIA GeForce RTX 4090 GPU，在 float16 精度下运行，评估提示词涵盖 Webster (2023) 从 LAION-5B 中整理的各类复制与模板样本。

实验关键数据¶

主实验¶

实验采用 Webster (2023) 提出的提示词集合，涵盖四类行为：完全匹配（MV）、模板重复（TV）、检索复现（RV）以及无记忆正常样本（N）。表 1 汇总了各模型下可成功检索到真实训练图像的有效提示词数量分布。

模型	MV (完全匹配)	TV (模板重复)	RV (检索复现)	N (正常样本)	总计 (有效 / 原始)	有效覆盖率
Stable Diffusion v1.4	74 / 86	208 / 229	30 / 30	124 / 155	436 / 500	87.2%
Stable Diffusion v2.1	3 / 4	198 / 215	0 / 0	188 / 281	389 / 500	77.8%
RealisticVision	78 / 90	209 / 230	34 / 34	114 / 146	435 / 500	87.0%

表 2 展示了本文提出的各项潜空间动力学指标与 SSCD 记忆严重程度评分（$\text{SSCD} \ge 0.75$ 判定为复制，对应 90% 复制精度）之间的统计相关性。

动力学指标	物理度量意义	与 SSCD 相关系数 (Pearson r)	关键观察与基准现象
$\text{Tr}(\text{Cov}(\mathbf{x}_{40}))$ (10步协方差迹)	前10步潜变量跨种子多样性	0.7148	记忆样本潜空间方差发生断崖式下跌
$\sum_{t=T}^1 \mathbb{E}[w_0^{(t)}]$	训练图像 $\mathbf{x}$ 的超额累积注入量	0.9203	极强正相关，直接反映早期过度估计幅度
$-\sum_{t=T}^1 \mathbb{E}[w_T^{(t)}]$	初始高斯噪声 $\mathbf{x}_T$ 的早熟衰减程度	0.6997	显著正相关，初始随机多样性过早归零
$\sum_{t=T}^1 (\mathbb{E}[w_0^{(t)}] - \mathbb{E}[w_T^{(t)}])$	综合轨迹相对理论调度的累积净偏差	0.9224	近乎完美的相关性，定量证明记忆由轨迹偏离主导
$\cos(\epsilon_\theta(\mathbf{x}_T, \mathbf{e}_c) - \mathbf{x}_T, -\mathbf{x})$	记忆条件预测中负目标分量的对齐度	中位数 0.7543 ($\approx 41.07^\circ$)	显著偏离正常样本（正常样本对齐度接近 0）

消融与动力学分析¶

通过对比不同引导尺度 $g$ 与采样器类型，论文进一步厘清了动力学机制的普适性： 1. 引导尺度消融：当 $g=1.0$ 时，$\hat{\mathbf{x}}_0^{(T)} \approx \mathbf{x}$，模型不存在幅度超量，SSCD 分数普遍低于 0.5；当 $g$ 增大至 7.5 时，过度估计系数 $k > 1$ 普遍成立，SSCD 复制率大幅上升，证明 CFG 是将微弱记忆放大为确定性复制的直接推手。 2. 采样机制消融（DDIM vs. DDPM）：在引入高斯随机游走的 DDPM 下，三个正交分解累积偏差指标与 SSCD 分数的相关性依然保持在 0.9 左右的高水平，表明早期过度估计确立的宏观漂移流场能够完全压制步进随机扰动。 3. 跨模型泛化：SD v2.1 因在训练数据 LAION-2B 中进行了去重，MV 类样本锐减至 3 个，但其整体相关性与 RealisticVision 和 SD v1.4 完全保持一致。

关键发现¶

去噪第一步已定胜负：记忆并非多步累积产生的漂移，而是在 $t=T$ 第一步通过 $\hat{\mathbf{x}}_0^{(T)} \approx g\mathbf{x}$ 直接确立了终点，后续步进更新的主成分完全沿 $\mathbf{x}$ 方向演进。
理论解释了历史检测指标：Wen et al. (ICLR 2024) 提出的经验检测指标 $||\epsilon_\theta(\mathbf{x}_t, \mathbf{e}_c) - \epsilon_\theta(\mathbf{x}_t, \mathbf{e}_\varnothing)||_2$ 在数学上严格等价于注入的训练样本量 $s||\mathbf{x}||_2$，本文为其提供了严格的机理支撑。
理论解释了早期跳步缓解机制：Jain et al. (CVPR 2025) 发现去噪最初几步关闭 CFG 即可有效消除记忆，本文揭示其原因正在于避开了 $t=T$ 附近的过量放大区间，使潜变量得以分散至不同盆地。

亮点与洞察¶

颠覆了记忆等于过拟合的直觉：通过展示 $t=T$ 处记忆样本训练损失反常增大这一矛盾，揭示出 CFG 线性放大诱发的过度估计才是驱动生成精确复制的核心引擎。
构建了中间潜变量正交时间表分解框架：将抽象的流形收敛具象化为 $w_0^{(t)}$ 与 $w_T^{(t)}$ 的显式动态竞争，并发现其累积偏差与复制评分呈现高达 0.92 的完美线性相关。
为安全扩散模型设计提供了精准靶点：指出去噪过程中的高危脆弱期集中在最初 10 步内，这意味着防复制机制无需全局修改模型结构，仅需在前序时间步实施非线性截断或自适应 CFG 衰减即可低成本阻断记忆。

局限与展望¶

依赖配对图像作为基准：在严格的理论正交分解中，依赖配对的训练图像 $\mathbf{x}$；尽管文中验证了用生成终点 $\mathbf{x}_0$ 替代的可行性，但在弱复制或复杂模板变形（TV）样本上的鲁棒性仍有待提升。
未覆盖流匹配（Flow Matching）架构：论文实验集中于以 U-Net 为基础的扩散模型（SD v1.4/v2.1 与 RealisticVision），尚未针对当前前沿的 DiT 架构与以 SD3、Flux 为代表的 Rectified Flow 模型开展全面动力学验证。
未来方向：可进一步利用该动力学规律开发一种无损质量的自适应引导调度器（Adaptive Guidance Scheduler），在反向去噪前 10% 步数内平抑过大估计，彻底消除文生图版权风险。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从去噪动力学与潜空间分解切入，颠覆了将记忆简单归咎于过拟合的传统范式，解释极为精辟。
实验充分度: ⭐⭐⭐⭐☆ 覆盖 3 种主流模型、DDIM/DDPM 双采样器以及 436 个验证提示词，统计相关性分析极具说服力；若能补充最新 DiT 架构则更佳。
写作质量: ⭐⭐⭐⭐⭐ 逻辑演绎严密，数学推导清晰且与几何直觉高度自洽，从反常实验现象逐层抽丝剥茧。
价值: ⭐⭐⭐⭐⭐ 深刻揭示了 CFG 的内在机理风险，为开发无版权隐患的新一代生成与采样算法指明了明确方向。

动力学指标	物理度量意义	与 SSCD 相关系数 (Pearson r)	关键观察与基准现象
\(\text{Tr}(\text{Cov}(\mathbf{x}_{40}))\) (10步协方差迹)	前10步潜变量跨种子多样性	0.7148	记忆样本潜空间方差发生断崖式下跌
\(\sum_{t=T}^1 \mathbb{E}[w_0^{(t)}]\)	训练图像 \(\mathbf{x}\) 的超额累积注入量	0.9203	极强正相关，直接反映早期过度估计幅度
\(-\sum_{t=T}^1 \mathbb{E}[w_T^{(t)}]\)	初始高斯噪声 \(\mathbf{x}_T\) 的早熟衰减程度	0.6997	显著正相关，初始随机多样性过早归零
\(\sum_{t=T}^1 (\mathbb{E}[w_0^{(t)}] - \mathbb{E}[w_T^{(t)}])\)	综合轨迹相对理论调度的累积净偏差	0.9224	近乎完美的相关性，定量证明记忆由轨迹偏离主导
\(\cos(\epsilon_\theta(\mathbf{x}_T, \mathbf{e}_c) - \mathbf{x}_T, -\mathbf{x})\)	记忆条件预测中负目标分量的对齐度	中位数 0.7543 (\(\approx 41.07^\circ\))	显著偏离正常样本（正常样本对齐度接近 0）