跳转至

Cyclic Denoising Reveals Ultrastable Memories in Diffusion Models

会议: NeurIPS 2026
arXiv: 2606.24000
领域: 图像生成
关键词: 扩散模型, 记忆提取攻击, 循环去噪, 超稳吸引子, 吸收态动力学

一句话总结

受非晶固体周期驱动下“随机组织”与机械退火物理机制启发,本文提出仅靠采样器级前向加噪与逆向去噪交替迭代的“频闪循环去噪”(Cyclic Denoising)方法,在不依赖任何提示词、训练集检索、梯度或辅助分类器的前提下,暴露出扩散模型生成流形中的屈服相变与超稳记忆吸引子,实现了完全无条件、数据无关的训练图像盲提取与记忆诊断。

研究背景与动机

大规模图像扩散模型依赖海量网页抓取数据训练,不可避免地会背诵并重现版权画作、带水印商业图库、电商商品模板乃至个人隐私照片。如何定位并提取模型记忆的训练样本,是评估生成模型隐私泄漏与版权合规的核心问题。然而,现有针对扩散模型的训练数据提取攻击严重依赖模型自身采样动力学之外的先验信息或外部辅助模块:以 Carlini et al. (2023) 为代表的“生成-过滤”(generate-and-filter)范式针对文本条件模型(如 Stable Diffusion)需先锁定已知或疑似高重复的 35 万条训练文本描述(captions),对每条描述生成 500 张图像(累计达 1.75 亿次生成),再经后验块距离聚类与训练集比对才筛出约 100 张记忆样本;在无条件 CIFAR-10 模型上则需训练 16 个子集模型、生成 \(2^{20}\)(约 105 万)张样本并与完整训练集做最近邻检索。后续改进方案要么仍需已知提示词配合单步去噪置信度/边缘一致性打分(Webster, 2023),要么如 SIDE(Chen et al., 2025)那样通过预训练特征提取器对生成样本聚类构造伪标签,再额外训练时间相关的辅助分类器或微调 LoRA 来引导采样。

这一现状背后的核心矛盾在于:无论是单次完整采样还是基于提示词的大规模后验筛选,都将扩散模型视为生成独立同分布样本的静态黑盒,而忽略了被记忆的训练样本在模型学到的生成流形(generative landscape)中往往对应深邃的势能盆地(attractor basins)。在常规单次从纯噪声出发的采样中,轨迹极少偶然落入这些孤立的深层记忆盆地,导致标准采样严重低估了模型的真实记忆风险;但如果每次都将样本完全加噪到终态(\(\gamma=1\)),前一步的状态信息会被彻底抹除,迭代采样只会退化为毫无记忆的独立重采样,同样无法主动搜寻深层吸引子。

本文从非晶固体等无序系统在周期性剪切驱动下的“随机组织”(random organization)与机械退火(mechanical annealing)物理现象切入:当对具有复杂多亚稳态势能面的无序固体施加受控振幅的周期性扰动时,弱振幅会使系统困在浅层平庸盆地,而适当强度的循环扰动则能帮助系统越过局部势垒、发生盆地跳跃(basin hopping),并最终退火锁定到能抵抗持续扰动的深层吸收态(absorbing states)。核心 idea:将部分前向加噪(至受控振幅 \(\gamma \in [0,1]\))与完整逆向去噪(回到 \(\gamma=0\))首尾相接迭代上万个周期,构建以噪声振幅 \(\gamma\) 为驱动控制参量的频闪动力系统,直接利用长周期高相似度吸收平台与去提示词后的持续稳定性,在无需提示词、训练集或梯度信息的条件下自主搜寻并提取扩散模型中的超稳记忆吸引子。

方法详解

整体框架

频闪循环去噪(Cyclic Denoising)在完全冻结预训练扩散模型权重且不修改网络结构的前提下,将单次去噪生成改造为离散时间马尔可夫链式的频闪动力系统(stroboscopic dynamical system)。给定任意初始状态 \(z_0\)(可以是 VAE 编码的自然图像、模型生成的潜变量或纯高斯噪声),单个循环周期先对当前干净状态施加前向扩散直至受控噪声振幅 \(\gamma \in [0, 1]\),随后执行完整逆向去噪直至恢复为干净状态 \(\gamma=0\),并将输出作为下一周期的输入连续迭代 \(10,000\) 个周期。通过调节噪声振幅 \(\gamma\) 作为稳定性滤波器,系统从低振幅下的平庸吸收态/极限环跨越屈服相变(yielding-like transition)进入中高振幅下的盆地跳跃与长驻留探索区;算法直接监测相邻周期末状态的频闪余弦相似度平台来盲提取无条件记忆候选,并在条件模型中通过移除提示词后的无条件循环退相关时间来定量诊断真实记忆与概念盆地。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任意初始状态 z_0<br/>高斯噪声 / 自然图像 / 生成样本"] --> B["频闪循环去噪算子<br/>前向加噪至振幅 γ 后完整逆向去噪回 γ=0"]
    B --> C["振幅调控屈服与稳定性滤波<br/>低 γ 落入平庸态/极限环,中高 γ 触发盆地跳跃"]
    C --> D["无提示词提取与去提示词退相关诊断<br/>检测频闪余弦相似度平台与去提示词存活率"]
    D --> E["输出超稳记忆吸引子<br/>恢复被记忆训练图像与模型动态指纹"]

关键设计

1. 频闪循环去噪算子:将单次扩散采样转化为具备部分记忆的离散动力系统

传统单次前向-逆向扩散(单次 U-turn 实验)只能测试给定样本在一次腐蚀后还能保留多少语义层级,无法揭示模型流形的长期吸引结构;而若将样本完全加噪至终态再逆向去噪,则会抹去历史轨迹、退化为独立重采样。为此,本文设计了运行在“部分记忆区间”(\(\gamma < 1\))的频闪循环去噪算子。记完整推理步数为 \(N\),在第 \(n\) 个周期结束时得到的干净状态为 \(z_n\)(在 Stable Diffusion v1.4 中为 \(4 \times 64 \times 64\) 的 VAE 潜变量,在 CIFAR-10 DDPM 中为 \(32 \times 32 \times 3\) 的像素图像)。第 \(n+1\) 个周期首先注入独立同分布的新鲜高斯噪声,将 \(z_n\) 前向扩散至由振幅比例 \(\gamma \in [0, 1]\) 决定的中间时间步 \(t_\gamma = \lfloor \gamma N \rfloor\),保留关于 \(z_n\) 的部分结构信息;随后使用标准 DDPM 采样器(逆向每一步同样注入新鲜高斯噪声)从 \(t_\gamma\) 完整去噪回 \(\gamma = 0\),得到下一周期的频闪观测状态 \(z_{n+1}\)。为了量化轨迹在生成流形上的驻留与跃迁,本文在每个完整周期结束时(即频闪观测点)计算相邻两代状态的频闪余弦相似度,并在长轨迹末尾统计稳态相似度:

\[s_n = \cos(z_n, z_{n-1}) = \frac{\langle z_n, z_{n-1} \rangle}{\|z_n\|_2 \|z_{n-1}\|_2}, \quad \langle \cos(z_n, z_{n-1}) \rangle_{\mathrm{ss}} = \frac{1}{1000} \sum_{n=9001}^{10000} s_n\]

由于前向加噪和逆向去噪每一步均引入新的随机热噪声,该算子并非确定性映射,而是受控随机周期驱动(stochastic cyclic driving)。只有当生成流形中存在曲率极深、恢复力极强的吸引盆地时,轨迹才能抵抗每轮高达 \(\gamma\) 比例的随机破坏,在 \(s_n \approx 1\) 的高相似度平台上持续锁定数千个周期。

2. 振幅调控屈服与稳定性滤波:利用噪声振幅分层筛选从平庸不动点到超稳记忆的吸引子谱

如果固定单一噪声水平进行循环,要么因扰动太小而困死在初始状态附近的局部凹陷,要么因扰动过大而频繁逃逸。本文受非晶固体周期剪切屈服相变启发,将加噪振幅 \(\gamma\) 作为探测生成流形势垒高度的唯一控制旋钮,揭示了随 \(\gamma\) 增大而出现的三个动力学相区与稳定性分层谱: - 在低振幅非屈服区(如 Stable Diffusion v1.4 中 \(\gamma \in [0.1, 0.4]\)),稳态频闪相似度维持在 \(\langle \cos \rangle_{\mathrm{ss}} \approx 1\),扰动不足以驱动大尺度结构重排,轨迹迅速坍缩至两类平庸吸收态:一类是几乎单色、无特征或简单几何色块的平庸不动点(如 \(\gamma = 0.2\));另一类是罕见的极限环(limit cycles)(如 \(\gamma = 0.1\)),轨迹在潜空间 PCA 投影平面上沿同心闭合轨道周期性旋转,解码到像素空间则表现为周期性横穿画面的图灵条纹波(Turing-like stripe patterns),这是学习到的扩散核在微幅循环下反复平滑与锐化引发的反应-扩散效应。 - 跨越模型特定的临界振幅后,系统发生类屈服相变(yielding-like transition),\(\langle \cos \rangle_{\mathrm{ss}}\) 急剧下降,动力学进入间歇性探索与盆地跳跃(basin hopping)模式。在中等振幅区(如 \(\gamma \approx 0.70 \sim 0.74\)),轨迹逃离平庸不动点,一方面会在语义连贯的浅层盆地簇(如人像簇 \(\to\) 沙发簇 \(\to\) 商品目录簇)之间漫游,另一方面会捕获中等深度的记忆伪影,如网页抓取残留的品牌 Logo(Nalli、SET、Sweetpea & Willow)、电商商品占位符(PhotoShelter 失效图)等。 - 在高振幅深层隔离区(如 \(\gamma \approx 0.80 \sim 0.86\),或 CIFAR-10 DDPM 中的 \(\gamma = 0.39\)),浅层与中等深度的模板盆地失去稳定性,唯有势阱最深的超稳记忆吸引子(ultrastable attractors)能够捕获轨迹并维持数百至数千周期的驻留。更重要的是,高振幅循环暴露了层级部分吸收(hierarchical partial absorption)与对称双能级跳跃:例如在 \(\gamma = 0.86\) 下,每轮近乎完全损毁后重建的客厅模板(黄椅房间与白沙发灰墙房间)中,宏观房间几何布局被死死锁住,而墙面挂画等局部高频细节则在周期之间随机涨落;在 CIFAR-10(\(\gamma = 0.39\))中,轨迹在被记忆的红车吸引子与其水平翻转镜像吸引子之间来回跳跃,直接映射出训练时水平翻转数据增强所编码的双能级简并记忆盆地。

3. 无提示词提取与去提示词退相关诊断:仅凭长驻留吸收平台盲提取记忆样本并区分概念盆地与真记忆

现有提取方法必须借助外部文本提示词、训练集比对或辅助分类器才能从海量生成结果中大海捞针。本文则直接将动力学吸收特征转化为两种实用的记忆审计协议: - 完全无条件的盲提取攻击(Prompt-Free Extraction):对无条件运行的扩散模型(Stable Diffusion v1.4 置空提示词且无分类器引导尺度为 \(0\),或无条件 CIFAR-10 DDPM),从任意初始系综(ImageNet 验证集编码潜变量、模型自生成样本或纯高斯噪声)出发运行长周期循环,无需任何提示词或外部检测器,只需直接定位 \(s_n = \cos(z_n, z_{n-1})\) 接近 \(1\) 的长平台区间(持续数百至数千周期),将该平台内的状态解码即可直接获得被模型死记硬背的训练图像与模型专属“动力学指纹”(dynamical fingerprint)。 - 条件模型的去提示词退相关诊断(Post-Removal Decorrelation Diagnostic):当审计带文本提示词(配合 Classifier-Free Guidance)的生成结果时,先在候选提示词条件控制下以固定振幅(如 \(\gamma = 0.78\))循环 \(5000\) 个周期使轨迹收敛至吸收态 \(z_0\),随后移除提示词(切换为无条件循环去噪)继续运行 \(1000\) 个周期,并追踪第 \(t\) 个无条件周期状态 \(z_t\) 与移除瞬间状态 \(z_0\) 的相关性 \(\cos(z_t, z_0)\)。若某个提示词仅对应泛化的“概念盆地”(如猜测提示词 "Abbey Road album cover" 或 "Mona Lisa"),在有提示词时画面每周期仍有细节波动且非逐像素复刻,一旦移除提示词便在短短几个周期内迅速退相关(\(\cos(z_t, z_0)\) 骤降,\(0/5\) 种子存活);反之,真正被死记硬背的训练图像不仅在有提示词时从不同随机种子收敛到同一逐像素复刻图像,且其中的深层超稳记忆(如 "Ann Graham Lotz" 与 "Prince Reunites With Warner Brothers")在移除提示词后仍能在长达 \(1000\) 个无条件周期内保持锁定不退化(\(4/5\) 种子存活)。

损失函数 / 训练策略

本文方法完全工作在推理与审计阶段(inference-time dynamical probing),直接作用于已发布的开源预训练权重,不涉及任何模型训练、损失函数优化、梯度反向传播或微调: - 目标模型与采样器超参: 1. Stable Diffusion v1.4(CompVis/stable-diffusion-v1-4):工作在 \(4 \times 64 \times 64\) 的 VAE 潜空间,无条件实验采用空提示词且 guidance scale \(= 0\),推理总步数 \(N = 50\)(DDPM 采样器);每个振幅 \(\gamma\) 在三种初始化系综(ImageNet 验证集图像、模型生成潜变量、独立同分布高斯潜变量)下各运行 \(10\) 个固定随机种子,单条轨迹循环 \(10,000\) 周期。条件去提示词实验在 \(\gamma = 0.78\) 下使用 Classifier-Free Guidance,每个提示词运行 \(5\) 个高斯种子(先有提示词循环 \(5000\) 周期,再移除提示词无条件循环 \(1000\) 周期)。 2. CIFAR-10 DDPM(google/ddpm-cifar10-32):工作在 \(32 \times 32 \times 3\) 像素空间,推理总步数 \(N = 250\)(DDPM 采样器);每个振幅 \(\gamma\) 从 \(50\) 张随机采样的 CIFAR-10 训练图像种子出发,各运行 \(10,000\) 周期。 - 计算开销:每次循环实验均在单张 NVIDIA L40S(48 GB 显存)GPU 上独立运行,耗时随振幅 \(\gamma\) 呈近似线性增长(SD v1.4 的 \(10\) 种子批次运行 \(10,000\) 周期在低 \(\gamma\) 下仅需数小时,\(\gamma \approx 0.7\) 约需 \(8\) 小时,\(\gamma \to 1\) 约需 \(10 \sim 11\) 小时)。论文全部实验(含绘制完整屈服相图的所有低振幅扫描)总计算开销不超过 \(1000\) L40S GPU 小时,远低于传统生成数千万至上亿张图像的提取管线。

实验关键数据

主实验

本文定性与定量验证了频闪循环去噪在潜空间扩散模型(Stable Diffusion v1.4)与像素空间扩散模型(CIFAR-10 DDPM)上的无条件记忆提取能力,并与主流扩散模型训练数据提取方法进行了系统对比(见下表)。对于提取出的 Stable Diffusion 吸引子,作者通过公开反向图像搜索(Google Lens 等)事后验证其对应的真实网页源图像(如 FineArtAmerica 上的黄椅/白沙发海报模板、Ogio 背包、Tadashi Shoji 礼服、Nalli 丝绸 Logo 等,且黄椅与白沙发场景与 Somepalli et al., 2023 独立追踪到的 LAION 高重复训练图像完全吻合);对于 CIFAR-10 吸引子,则与 Carlini et al. (2023) 标记的确认记忆样本事后交叉核对。

提取方法 目标模型 是否需先验提示词 / 文本描述 是否需访问训练集或训练辅助模型 采样 / 计算规模 核心提取结果与机制特征
Carlini et al. (2023) (T2I) Stable Diffusion v1.4 必须(需筛选 350,000 条高重复训练 captions) 需后验聚类筛选与训练集近似拷贝核验 500 张/caption,共 1.75 亿次完整生成 在 \((\ell_2, 0.15)\) 严格准则下提取 94 张(人工核验 109 张)记忆图像
Carlini et al. (2023) (Uncond) CIFAR-10 DDPM 不适用(无条件模型) 必须(需训练 16 个半数据集模型 + 训练集最近邻检索) 生成 \(2^{20}\)(约 105 万)张样本 通过训练集直接比对恢复 1,280 张训练图像,无法在无训练集时盲提
Webster (2023) Stable Diffusion 等 必须(需候选训练 captions 输入) 需单步去噪置信度(白盒)或边缘一致性(黑盒)打分 较 Carlini et al. 降低数个数量级 利用单步合成行为快速给已知候选 caption 打分,无法无提示词工作
SIDE (Chen et al., 2025) 无条件扩散模型 不需要 必须(需预训练特征聚类 + 训练时间相关分类器或 LoRA) 需额外生成合成集、聚类及分类器训练与梯度引导 靠代理条件引导(surrogate conditioning)提取,依赖外部模型与梯度
Cyclic Denoising(本文) Stable Diffusion v1.4 & CIFAR-10 DDPM 完全不需要(无条件空提示词即可盲提,亦兼容有提示词) 完全不需要(仅需单模型采样器级加噪/去噪接口,零梯度) 单轨迹 \(10^4\) 周期,全论文总计 \(< 1000\) L40S GPU 小时 靠长周期高余弦相似度吸收平台(\(\cos \approx 1\) 驻留数百至 \(>2000\) 周期)直接暴露电商房间模板、品牌 Logo、商品图与 CIFAR-10 记忆图像

消融实验

本文对核心控制参量——循环加噪振幅 \(\gamma \in [0, 1]\)、初始化系综(ImageNet 图像、模型生成样本、高斯噪声)以及有/无提示词切换进行了全面消融与动力学分析。下表汇总了不同振幅区间下的频闪动力学相态与吸引子特征(表 2)以及在 \(\gamma = 0.78\) 下移除提示词后的无条件超稳性测试结果(表 3):

表 2:不同循环加噪振幅 \(\gamma\) 下的动力学相态与恢复吸引子谱对比

模型与空间 循环振幅 \(\gamma\) 稳态频闪相似度 \(\langle \cos(z_n, z_{n-1}) \rangle_{\mathrm{ss}}\) 潜空间 / 像素轨迹几何形态 恢复的吸引子类型与代表性现象
Stable Diffusion v1.4(潜空间 \(N=50\)) \(\gamma = 0.1\) \(\approx 1.0\)(未屈服吸收区) PCA 平面呈现同心嵌套闭合轨道 极限环(Limit Cycle):画面形成周期性移动的图灵条纹波(Turing-like stripes)
Stable Diffusion v1.4(潜空间 \(N=50\)) \(\gamma = 0.2 \sim 0.4\) \(\approx 1.0\)(未屈服吸收区) 漂移后坍缩至 PCA 平面极小单点区域 平庸吸收不动点:退化为近单色无特征画面、饱和色块或简单几何纹理
Stable Diffusion v1.4(潜空间 \(N=50\)) \(\gamma = 0.70 \sim 0.74\) 跨越临界振幅后显著下降(屈服过渡区) 单一深盆地捕获(\(0.70\))或在语义簇间跳跃(\(0.74\)) 中层记忆模板与浅层语义簇:恢复品牌 Logo(Nalli、SET、SW)、PhotoShelter 占位符、Ogio 背包,或在人像\(\to\)沙发\(\to\)商品簇间漫游
Stable Diffusion v1.4(潜空间 \(N=50\)) \(\gamma = 0.80 \sim 0.86\) 中低均值,呈现“长平台(\(\approx 1\))—骤降—长平台”间歇性 在相距较远的深层 PCA 聚簇之间发生盆地跳跃 深层超稳记忆吸引子:锁定黄椅房间、白沙发客厅等 LAION 重复模板(单次驻留 \(>2000\) 周期),展现宏观布局锁定、挂画细节涨落的层级部分吸收
Stable Diffusion v1.4(潜空间 \(N=50\)) \(\gamma = 1.0\) 降至最低(因非零终端 SNR 仍略高于 \(0\)) PCA 空间均匀弥散,无明显聚簇 近独立重采样极限:抹除连续驻留结构,无法形成时间连续的吸引盆地驻留
CIFAR-10 DDPM(像素空间 \(N=250\)) \(\gamma = 0.39\) 屈服后呈现“高平台—短暂跌落—镜像高平台” 在两个对称简并盆地之间发生双能级跃迁 像素级记忆与镜像双盆地:在周期 \(2000 \sim 3000\) 锁定 Carlini et al. 确认的记忆汽车图像及其水平翻转镜像变体

表 3:提示词条件循环收敛后移除提示词的无条件超稳性测试(Stable Diffusion v1.4,\(\gamma = 0.78\),每组 5 个高斯种子)

测试提示词(Prompt) 提示词属性 有提示词循环(5000 周期)表现 移除提示词后无条件循环 1000 周期存活率 退相关动力学特征(\(\cos(z_t, z_0)\))
"Ann Graham Lotz" 已知记忆样本 5/5 种子全部收敛至同一逐像素精确记忆图像 4 / 5 种子全程锁定(存活 \(\ge 10^3\) 周期) 超稳盆地(Ultrastable):去提示词后完全不退相关,证明其本身就是无条件流形的深层吸引子
"Prince Reunites With Warner Brothers, Plans New Album" 已知记忆样本 收敛至同一逐像素精确记忆图像 4 / 5 种子全程锁定(存活 \(\ge 10^3\) 周期) 超稳盆地(Ultrastable):无条件动力学下持续保持高相关吸收态
"Aretha Franklin Files $10 Million Suit Over Patti LaBelle Fight Story On Satire Website" 已知记忆样本 收敛至同一逐像素精确记忆图像 1 / 5 种子存活满 \(10^3\) 周期 中高稳定性记忆:部分种子长期锁定,其余种子在数百周期后跳出盆地
"Netflix Hits 50 Million Subscribers" 已知记忆样本 收敛至同一逐像素精确记忆图像 0 / 5 种子存活满 \(10^3\) 周期 中等稳定性记忆:移除提示词后维持一段平台期,但在 \(10^3\) 周期内全部逃逸
"Freddy Adu Signs For Yet Another Club You Probably Don't Know" 已知记忆样本 不同高斯种子均收敛至同一精确记忆图像 0 / 5 种子存活满 \(10^3\) 周期 中等稳定性记忆:依赖提示词维持长期稳定,无条件循环下逐步退相关
"Abbey Road album cover"(及 "Mona Lisa") 猜测的概念提示词(非已知单图记忆) 仅收敛至粗糙的概念构图(斑马线等),周期之间细节持续波动 0 / 5 种子存活(数个周期内即崩溃) 提示词稳定概念盆地:移除提示词后退相关最快(数周期内迅速衰减),可与真实记忆清晰区分

关键发现

  • 初始条件普适性(Cross-initial-condition universality):在屈服相图(图 3)中,Stable Diffusion v1.4 从三种截然不同的初始化系综(ImageNet 自然图像、模型生成样本、纯高斯噪声)出发的稳态相似度曲线完全坍缩(collapse)到同一条主曲线上;且不同初始种子和相近振幅 \(\gamma\) 会反复掉入同一批深层记忆吸引子(图 10),证明屈服相变和恢复出的吸引子集合是模型学到的生成流形的内禀指纹,而非初始种子的偶然产物。
  • 跨空间与噪声调度的普适性:无论是潜空间 LDM(Stable Diffusion v1.4)还是像素空间 DDPM(CIFAR-10),都表现出完全一致的“低 \(\gamma\) 吸收 \(\to\) 临界屈服 \(\to\) 高 \(\gamma\) 盆地跳跃与超稳记忆锁定”现象,排除了 VAE 编解码器伪影的可能。CIFAR-10 DDPM 的屈服临界点对应的 \(\gamma\) 显著低于 Stable Diffusion,原因在于两者的噪声调度(noise schedule)将步数比例 \(\gamma\) 非线性地映射到了不同的信噪比(SNR),且 Stable Diffusion 在 \(\gamma = 1\) 时终端 SNR 非零,因此即使在 \(\gamma = 1\) 也会残留微弱的跨周期相关性。
  • 数据增强在流形中编码了双能级对称记忆盆地:在 CIFAR-10 DDPM(\(\gamma = 0.39\))中,轨迹在锁定一辆被记忆的汽车数百周期后,会经过极短的瞬态跃迁进入其水平镜像翻转的汽车吸引子并再次长期锁定(图 6),直观展示了训练时的随机水平翻转增强会在生成流形中塑造出一对由低势垒隔开的近简并“双能级系统”(two-level systems)。

亮点与洞察

  • 非晶固体物理与生成模型记忆审计的精妙跨界:本文将凝聚态物理中周期剪切无序固体的“随机组织”(random organization)与机械退火概念直接映射为扩散模型中的部分加噪-去噪循环。这一视角敏锐地指出:常规采样之所以难以触发某些记忆样本,不是因为模型没有记住它们,而是因为它们隐藏在高势垒包围的深层吸引盆地中,必须借助有限振幅的周期性驱动才能“退火”掉入其中。
  • 最令人“啊哈”(Aha moment)的发现——无中生有的盲提取与图灵极限环:在完全给空提示词(unconditional)、从随机噪声或无关 ImageNet 图片出发的情况下,仅仅让 Stable Diffusion 自己反复“加噪到 86% 再去噪”上万次,画面竟然会自动锁定到 LAION 训练集里被重复抓取的黄椅子房间和电商商品图长达两千多个周期;而在极低振幅(\(\gamma=0.1\))下,扩散核的反复平滑与锐化甚至会在像素空间自发涌现出周期性游走的图灵条纹极限环。
  • 可迁移的设计思路——动力学驻留时间与去条件退相关测试:本文提出的“微幅周期扰动 + 频闪驻留监测”范式不仅适用于图像扩散模型,还可以直接迁移到视频扩散模型、3D 扩散生成、流匹配(Flow Matching)以及掩码自回归/离散扩散大语言模型中,用于无监督探测模型的版权记忆指纹;同时,“先带条件收敛、再撤掉条件测退相关半衰期”的协议为区分生成模型的“泛化概念理解”与“训练样本死记硬背”提供了一个极其通用的零梯度黑盒判据。

局限与展望

  • 依赖采样器级中间步控制权限:该方法需要把当前干净样本前向加噪到指定中间时间步 \(t_\gamma\) 并从该步启动逆向去噪,因此主要适用于开源权重模型或开放 img2img / SDEdit 强度接口的系统,无法直接攻击仅返回最终生成图像、完全封闭中间采样步的纯黑盒商业 Text-to-Image API。
  • 吸引子覆盖率尚缺定量边界:虽然实验表明深层吸引子(如特定客厅模板)会频繁捕获多条轨迹,但受限于单条轨迹 \(10^4\) 周期的串行步数开销,论文尚未系统量化单次振幅扫描究竟能覆盖整个模型记忆样本库的多大比例,也未建立吸引盆地体积分布的精确统计理论。
  • 未来改进方向:可以结合自适应振幅退火调度(如在单条轨迹中从高 \(\gamma\) 逐步降温至中等 \(\gamma\),类似模拟退火)或排斥已访问盆地的禁忌搜索机制,加速逃离已被重复发现的超级吸引子(如黄椅客厅),从而在更少的周期预算内提升对长尾记忆样本的提取覆盖率;同时在模型训练或微调阶段引入针对深层吸引子曲率的平坦化正则,从动力学根源上消除超稳记忆。

相关工作与启发

  • vs Carlini et al. (2023)《Extracting Training Data from Diffusion Models》: Carlini et al. 开创了扩散模型提取攻击的“生成-过滤”范式,但必须依赖已知的高重复训练 captions 生成上亿张图像或训练 16 个子集模型配合训练集最近邻查找;本文则完全抛弃了提示词、训练集访问和多模型对照,证明仅凭单个公开检查点自身的长期循环去噪动力学就能让记忆样本作为吸收吸引子主动浮现。
  • vs SIDE (Chen et al., 2025)《Surrogate Conditional Data Extraction from Diffusion Models》: SIDE 针对无条件扩散模型缺乏提示词的问题,采用预训练特征提取器对生成样本聚类生成伪标签,再训练时间相关分类器或 LoRA 进行梯度引导提取;本文同样解决无条件提取难题,但无需任何外部特征提取器、聚类、辅助分类器训练或梯度计算,仅靠采样器原生前向-逆向循环即可完成提取。
  • vs Sclocchi et al. (2025) & Pham et al. (2025): Sclocchi et al. 利用单次前向-逆向 U-turn 探测数据层级的相变,Pham et al. 从联想记忆(Hopfield 网络)角度将扩散记忆解释为能量流形吸引子但仅对已知候选状态做单次扰动测试;本文通过将单次 U-turn 推广为上万次的有限振幅周期驱动,首次补齐了从任意初始状态出发自主搜寻、跨越势垒并锁定未知记忆吸引子的动力学路径。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 将非晶固体周期驱动的随机组织与屈服相变引入扩散模型,开创了无需提示词与训练集的动力学记忆盲提取新范式。
  • 实验充分度: ⭐⭐⭐⭐☆ 在潜空间 Stable Diffusion v1.4 与像素空间 CIFAR-10 DDPM 上完成了跨越全振幅谱、多初始化系综与去提示词退相关的详实实验,若能补充吸引子覆盖率定量统计则更完美。
  • 写作质量: ⭐⭐⭐⭐⭐ 物理图像极其清晰,从无序固体退火到扩散流形盆地跳跃的类比自然且严密,图表与可视化说服力极强。
  • 价值: ⭐⭐⭐⭐⭐ 不仅揭示了标准采样严重低估扩散模型深层记忆风险的机制原因,还为开源权重模型的隐私与版权合规审计提供了零梯度的实用工具。