Recursively Trained Diffusion Models: Limiting Collapse Distribution and Spectral Characterization¶

会议: NeurIPS 2026
arXiv: 2606.13796
OpenReview: https://openreview.net/forum?id=TX42ZoaFHi
领域: 图像生成
关键词: 扩散模型, 模型崩溃, 递归训练, 截断时间, 埃尔米特谱分析

一句话总结¶

本文通过算子理论证明，即便在无评分估计与离散化误差的理想设定下，反向 SDE 早期截断也会诱发递归扩散模型以几何级数收敛至唯一的退化极限分布；谱分解揭示退化具有低通滤波特性，据此提出退火截断调度可从渐近上彻底消除递归累积偏差。

研究背景与动机¶

随着现代生成模型的大规模部署，互联网数据集中充斥着大量合成样本，生成模型不可避免地面临“递归自训练”（recursive retraining on synthetic data）的现实场景。现有经验和理论研究表明，当生成模型反复在自身生成的数据上进行重训练时，会发生严重的“模型崩溃”（model collapse）现象，表现为生成分布方差萎缩、长尾多模态细节丢失以及样本多样性不可逆退化。虽然近期针对扩散模型有限轮次递归误差累积的理论界已有探索，但关于递归训练的极限行为仍存在两个悬而未决的核心理论问题：递归动态最终会收敛到什么分布？收敛速率如何？

此前研究普遍将模型崩溃的主因归咎于有限样本带来的方差放大或神经网络函数拟合能力的内在缺陷，进而认为注入一定比例的新鲜真实数据便能彻底抑制崩溃。然而，扩散模型在实际采样中存在一个被普遍忽视的物理本质约束：反向时间随机微分方程（reverse-time SDE）在积分接近初始时间点 $t \to 0$ 时，由于边际分布可能极其奇异或集中在低维流形，会导致真实评分（score）发生数值发散或急剧震荡，因此所有现行采样器都必须引入严格正的早停截断时间 $t_0 > 0$。

这种早期数值截断意味着，即使假设网络具备完美的评分估计能力且时间离散化步长趋近于零，单轮采样生成的真实分布也绝非原始训练混合分布本身，而是经历了微小高斯平滑的边际律。随着递归训练轮次持续推进，每一代微小的残差平滑效应在混合机制下不断复合累积。核心 idea：本文在算子理论与高斯希尔伯特空间视角下，证明仅凭反向 SDE 的 $t_0$ 截断即足以驱动递归扩散模型几何级数收敛至闭式解析的无限高斯混合极限分布；通过 Hermite 多项式正交基展开揭示其高阶模式指数衰减的“低通滤波”退化本质，并据此证明将截断时间逐代退火衰减至零即可彻底消除递归累积退化。

方法详解¶

整体框架¶

在递归训练的第 $i$ 代（$i \ge 1$），训练集以比例 $\alpha \in (0, 1)$ 混入新鲜真实数据 $p_{\text{data}}$，剩余 $1-\alpha$ 比例则由上一代模型所生成的合成样本分布 $\hat{p}^i$ 构成，二者未作标识混合形成第 $i$ 代的目标训练分布 $q_i := \alpha p_{\text{data}} + (1-\alpha) \hat{p}^i$。扩散模型在前向阶段采用经典的保方差（Variance-Preserving）Ornstein-Uhlenbeck (OU) 过程扩散至先验，在反向阶段通过神经网络参数化评分网络并自 $T$ 积分至正截断时间 $t_0 > 0$ 生成下一代分布 $\hat{p}^{i+1}$。

在理想的无评分误差与无离散化误差机制下，单步生成算子由 OU 半群转移算子 $\mathcal{U}_{t_0}$ 严格确定。整个递归动力学表现为概率测度空间上的确定性仿射算子迭代。在此基础上，论文进一步将现实中的评分估计误差与数值求解离散化扰动建模为算子级摄动 $\delta_i$，形成由理想极限吸引子、阶数依赖的多项式衰减核与外层摄动球构成的综合分析框架。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["真实数据分布 p_data 与上一代生成模型 p^i"] --> B["1. 递归混合与截断扩散算子<br/>混合分布 q_i 通过 OU 截断反向生成新边际"]
    B --> C["2. 诺伊曼级数极限分布与收敛率<br/>收敛至唯一不变高斯混合测度 p_star"]
    C --> D["3. 埃尔米特谱分解与低通滤波机制<br/>Hermite 展开显示高阶多项式特征呈指数抑制"]
    D --> E["4. 退火截断调度与递归消除<br/>截断时间 t_0^(N) 趋向 0 消除递归累积偏差"]
    E --> F["5. 误差摄动下的几何收敛与高阶自纠正<br/>在评分与离散化误差下收敛至椭球形 Wassersten-2 邻域"]

关键设计¶

1. 递归混合与截断扩散算子：严格刻画数值早停引入的本征残差平滑
针对传统理论混淆学习误差与动力学截断偏差的痛点，本设计将第 $i$ 代扩散模型形式化为以混合分布 $q_i = \alpha p_{\text{data}} + (1-\alpha) \hat{p}^i$ 为初值的保方差 OU 扩散过程。前向 OU SDE $\mathrm{d}\mathbf{X}_t^i = -\frac{1}{2}\mathbf{X}_t^i \mathrm{d}t + \mathrm{d}\mathbf{B}_t$ 诱导了概率测度空间 $\mathcal{P}_2(\mathbb{R}^d)$ 上的采样算子 $\mathcal{U}_t \mu := \mathrm{Law}(e^{-t/2}\mathbf{X}_0 + \sqrt{1-e^{-t}}\mathbf{Z})$（其中 $\mathbf{X}_0 \sim \mu \perp\!\!\!\perp \mathbf{Z} \sim \mathcal{N}(0, \mathbf{I}_d)$）。反向生成方程若自 $t=T$ 积分至 $t=0$，理论上完全恢复 $q_i$；但因未加平滑的奇异测度在 $t \to 0$ 处 Fisher 信息发散，工程实践必须止步于 $t_0 > 0$。在没有学习误差的前提下，该逆向过程输出的边际律由反向时间 Anderson 定理严格对应于前向边际，即 $\hat{p}^{i+1} = \mathcal{U}_{t_0}(q_i) = \mathcal{U}_{t_0}(\alpha p_{\text{data}} + (1-\alpha)\hat{p}^i)$。这一表征直接剥离了参数逼近的偶然性，清晰锚定了 $t_0 > 0$ 所带来的微小高斯卷积是代际漂移的确定性内生根源。

2. 诺伊曼级数极限分布与收敛率：确立退化稳态分布的闭式解析表达
针对多代递归动态是否收敛以及极限分布形态未知的理论盲区，本设计在配备 2-Wasserstein 距离 $\mathcal{W}_2$ 的测度空间中考察映射 $\mathcal{T}: \mu \mapsto \mathcal{U}_{t_0}(\alpha p_{\text{data}} + (1-\alpha)\mu)$。利用 OU 算子在 $\mathcal{W}_2$ 度量下的严格收缩性 $\mathcal{W}_2(\mathcal{U}_{t_0}\mu, \mathcal{U}_{t_0}\nu) \le e^{-t_0/2}\mathcal{W}_2(\mu, \nu)$ 以及凸混合测度在最优耦合下的方差分解，严密证明了 $\mathcal{T}$ 是收缩常数为 $\kappa := \sqrt{1-\alpha}e^{-t_0/2} < 1$ 的严格压缩映射。借助巴拿赫不动点定理与巴拿赫代数中的诺伊曼级数展开（Neumann Series），证明了唯一极限分布 $p_\infty^\star$ 的存在性，并解析求解为无限高斯平滑测度的几何加权和： $$ p_\infty^\star = \alpha \sum_{k=0}^\infty (1-\alpha)^k \mathcal{U}{(k+1)t_0}(p) $$ 该式表明，崩溃分布本质上是由无穷多份经受 }$(k+1)t_0$ 时长扩散平滑的真实分布副本复合而成的混合律；同时，第 $N$ 代生成分布以几何速率 $\mathcal{W}_2(\hat{p}^N, p_\infty^\star) \le \kappa^N \mathcal{W}_2(p_{\text{data}}, p_\infty^\star)$ 快速坍缩至该极限。极限推论进一步指明：当 $\alpha \to 1$ 时退化为单步截断平滑 $\mathcal{U}_{t_0}(p_{\text{data}})$；当 $\alpha \to 0$ 时真实数据完全耗尽，极限退化为标准各向同性高斯先验 $\mathcal{N}(0, \mathbf{I}_d)$；只要 $t_0 > 0$ 且 $\alpha < 1$，即使 $p_{\text{data}}$ 不是纯高斯，其退化分布与真值必有非零测度偏差 $\mathcal{W}_2(p_\infty^\star, p_{\text{data}}) > 0$。

3. 埃尔米特谱分解与低通滤波机制：揭示模型崩溃对非高斯细粒度特征的定向扼杀
为破解“空间域无限混合表达式无法区分分布粗粒度轮廓与细粒度高阶统计量”的局限，本设计引入以高斯测度 $\gamma = \mathcal{N}(0, \mathbf{I}_d)$ 为权重的希尔伯特空间 $L^2(\gamma)$ 正交多项式谱分析。利用多维 Hermite 多项式族 $\{H_\mathbf{n}\}_{\mathbf{n} \in \mathbb{N}^d}$（总阶数 $|\mathbf{n}| = \sum_{j=1}^d n_j$）作为 OU 马尔可夫半群转移算子的正交特征函数（满足 $P_t H_\mathbf{n} = e^{-|\mathbf{n}|t/2}H_\mathbf{n}$），将对偶测度密度比 $f_{\text{data}} := \mathrm{d}p_{\text{data}}/\mathrm{d}\gamma$ 和极限密度比 $f_\infty^\star := \mathrm{d}p_\infty^\star/\mathrm{d}\gamma$ 投影至 Hermite 谱坐标中。代入诺伊曼级数直接完成逐模态对角化求和： $$ \langle f_\infty^\star, H_\mathbf{n} \rangle_{L^2(\gamma)} = m_\mathbf{n}(\alpha, t_0) \langle f_{\text{data}}, H_\mathbf{n} \rangle_{L^2(\gamma)}, \qquad m_\mathbf{n}(\alpha, t_0) := \frac{\alpha e^{-|\mathbf{n}|t_0/2}}{1 - (1-\alpha)e^{-|\mathbf{n}|t_0/2}} $$ 由于衰减因子 $m_\mathbf{n}(\alpha, t_0)$ 随多项式阶数 $|\mathbf{n}|$ 严格单调递减，这一结果在数学上精确确立了递归训练具有“谱低通滤波器”（low-pass filter）的物理机制：一阶、二阶模式所对应的均值与协方差等粗粒度高斯轮廓被相对完整保留，而对应于尖锐尾部、高频振荡与多峰解耦的高阶 Hermite 模式（$|\mathbf{n}|$ 较大）受到极其剧烈的指数压制，严密解释了为何模型崩溃总是率先表现为分布长尾萎缩与微观生成纹理虚化。

4. 退火截断调度与递归消除：构建动态消解复合平滑偏差的采样机制
针对固定截断 $t_0 > 0$ 下增大新鲜数据注入量 $\alpha$ 只能减缓而无法根除固有偏差的困境，本设计提出反向截断时间代际退火机制，引入正数时间序列 $(t_0^{(i)})_{i \ge 0}$。在无误差递归迭代 $\hat{p}^{N+1} = \mathcal{U}_{t_0^{(N)}}(\alpha p_{\text{data}} + (1-\alpha)\hat{p}^N)$ 下，推导出了有限第 $N$ 代边际的非均质卷积复合通解： $$ \hat{p}^N = \alpha \sum_{m=0}^{N-1}(1-\alpha)^m \mathcal{U}{\sigma}}(p_{\text{data}}) + (1-\alpha)^N \mathcal{U{s $$ 定理进一步确立：若截断时间序列收敛至 }}(p_{\text{data}}), \quad \sigma_{m,N} := \sum_{\ell=N-1-m}^{N-1} t_0^{(\ell)$t_\infty \in [0, \infty)$，则生成边际在 $\mathcal{W}_2$ 距离下收敛至稳态 $p_\infty^{(t_\infty)} = \alpha \sum_{m=0}^\infty (1-\alpha)^m \mathcal{U}_{(m+1)t_\infty} p_{\text{data}}$。特别地，只要设计退火调度使得 $t_0^{(N)} \to 0$（例如多项式退火 $t_0^{(i)}(\beta) = t_0 / (1+i)^\beta, \beta > 0$），则极限分布严格恢复原始数据分布 $p_\infty^{(0)} \equiv p_{\text{data}}$，从渐近上彻底粉碎了递归平滑的复合累积诅咒。此外，论文在理论上分析了合成数据已具备历史平滑积累的自正则特性，指出在 Fisher 信息有限性或联合退火 $\alpha_N = \mathcal{O}(t_0^{(N)})$ 条件下，退火采样在数值上能够维持评分估计的良好良态性。

5. 误差摄动下的几何收敛与高阶自纠正：将理论框架拓展至实用非理想场景
为确保理论对真实有限样本估计与数值离散误差的解释力，本设计将第 $i$ 代由于评分网络逼近误差 $\mathbf{e}_i(\mathbf{x}, s)$ 和 SDE 离散化求解器引入的综合单代扰动抽象为 $\delta_i := \mathcal{W}_2(\hat{\mathcal{S}}_i(q_i), \mathcal{U}_{t_0}(q_i))$。利用三角不等式与算子压缩性，证明了非理想轨迹满足差分不等式 $\mathcal{W}_2(\hat{p}^{N+1}, p_\infty^\star) \le \kappa \mathcal{W}_2(\hat{p}^N, p_\infty^\star) + \delta_N$。当单代误差一致有界 $\sup_i \delta_i \le \delta$ 时，实际训练分布几何收敛至理想极限 $p_\infty^\star$ 的 $\mathcal{W}_2$ 误差球内： $$ \limsup_{N \to \infty} \mathcal{W}2(\hat{p}^N, p\infty^\star) \le \frac{\delta}{1 - \kappa} = \frac{\delta}{1 - \sqrt{1-\alpha}e^{-t_0/2}} $$ 更为深刻的是，将扰动量投影至 Hermite 多项式基空间后，推导出逐模态误差递归关系。高阶模态 $|\mathbf{n}|$ 对应的代际收缩率 $\kappa_\mathbf{n} := (1-\alpha)e^{-|\mathbf{n}|t_0/2}$ 随着模式阶数剧烈衰减（$\kappa_\mathbf{n} \ll \kappa$），表明实际学习误差球并非各向同性，而是细长的高维谱椭球——由于 OU 过程在反向生成中对高阶扰动的指数级快速耗散，网络在高阶细节上的偶然学习误差反而在递归演化中被加速纠正与过滤，使得低频全局结构构成了误差累积的核心主要载体。

实验关键数据¶

主实验¶

论文在合成二维高斯混合分布（2D GMM，三组元各向同性混合）与标准图像基准 CIFAR-10 上对理论预测进行了严格验证。在 CIFAR-10 上，评分模型采用配备自注意力机制的 U-Net，基于 min-SNR 目标（$\gamma=5$）训练 300 epochs，使用 DPM-Solver++（50 步）采样 50,000 样本用于下一代训练，递归迭代 8 代。表 1 评估了在不同真实数据注入比例 $\alpha$ 下，第 $N$ 代样本与理想收敛极限 $p_\infty^\star$ 的 FID 距离变化以及收缩率 $\kappa(\alpha)$ 的理论对齐情况。

数据集 / 设定	真实数据比例 $\alpha$	初始代 FID ($N=1$)	中间代 FID ($N=4$)	收敛代 FID ($N=8$)	理论收缩因子 $\kappa(\alpha)$	实验残差下界平台
CIFAR-10 (固定 $t_0=10^{-3}$)	$\alpha = 0.1$	33.15	12.40	5.12	0.948	约 5.0 (有限样本测量噪声)
CIFAR-10 (固定 $t_0=10^{-3}$)	$\alpha = 0.3$	24.80	7.95	5.08	0.836	约 5.0 (有限样本测量噪声)
CIFAR-10 (固定 $t_0=10^{-3}$)	$\alpha = 0.5$	18.22	6.10	4.95	0.707	约 5.0 (有限样本测量噪声)
CIFAR-10 (固定 $t_0=10^{-3}$)	$\alpha = 0.7$	13.50	5.42	4.90	0.547	约 5.0 (有限样本测量噪声)
CIFAR-10 (固定 $t_0=10^{-3}$)	$\alpha = 0.9$	8.70	5.05	4.88	0.316	约 5.0 (有限样本测量噪声)

消融实验¶

表 2 针对合成 2D GMM 分布（50 代递归）验证不同截断调度策略对 KL 散度 $\mathrm{KL}(\hat{p}^N \| p_{\text{data}})$ 的渐近消除效应，并对比了 CIFAR-10 上高频能量亏损 $D_{\mathrm{HF}}(\hat{p}^N) := 1 - \mathrm{HF}(\hat{p}^N)/\mathrm{HF}(p_{\text{data}})$（定义在二维离散傅里叶高频圆环 $|\mathbf{k}|_2 \ge 15$）随退火策略与代际数的消融表现。

截断调度策略	调度形式说明	2D GMM 稳态 $\mathrm{KL}$ ($N=50, \alpha=0.5$)	2D GMM 渐近性质	CIFAR-10 $D_{\mathrm{HF}}$ ($N=8, \alpha=0.1$)	细粒度高频保持效果
固定截断 (Fixed Baseline)	$t_0^{(i)} \equiv 0.50$ (GMM) / $10^{-3}$	0.428	稳定收敛于不变平台 $\mathrm{KL}(p_\infty^\star \\| p_{\text{data}})$	0.485 (高频损失近半)	严重退化，高阶细节大量丢失
正下限截断 (Shifted Floor)	$t_0^{(i)} \to t_\infty = 0.20$	0.165	稳定收敛于更低平台 $\mathrm{KL}(p_\infty^{(t_\infty)} \\| p_{\text{data}})$	0.320	有限改善，仍存在不可消除残差
线性退火调度 ($\beta=1$)	$t_0^{(i)} = t_0 / (1+i)$	0.014	渐近严格收敛至 0，完全恢复 $p_{\text{data}}$	0.178	显著挽救真实高频能量
二次退火调度 ($\beta=2$)	$t_0^{(i)} = t_0 / (1+i)^2$	0.001	以更快有限代速率收敛至 0	0.112	最佳保真度，有效抑制微观退化

关键发现¶

早期截断是模型崩溃的根本动因：在二维混合高斯模型中，即便移除了所有神经网络拟合误差和采样步长离散误差，固定截断时间 $t_0>0$ 也必定导致分布产生不可逆的代际漂移，且随着代际增加单调趋近于闭式解析给出的 $p_\infty^\star$。
谱维度的低通滤波机制完全成立：CIFAR-10 的高频能量亏损指标 $D_{\mathrm{HF}}$ 随递归代际 $N$ 严格递增，并在小数据注入比例 $\alpha=0.1$ 下达到惊人的 48.5% 能量耗散，直观佐证了 Hermite 展开关于高阶模式衰减率随模态阶数 $|\mathbf{n}|$ 呈指数放大的数学推论。
退火调度的代际消除有效性：任何趋于 0 的退火调度（如 $\beta=1, 2$）均能打破固定下界平台的诅咒，将生成分布与真实分布之间的 KL 散度与 Wasserstein 距离拉回至 0，成功在不需要 $100\%$ 真实数据的情况下阻断了模型崩溃的恶性循环。

亮点与洞察¶

剥离学习误差的纯动力学视角：首次将反向 SDE 的数值稳定性早停截断 $t_0$ 确立为模型崩溃的内生决定性诱因，从根本上澄清了“即便评分网络完美无瑕，扩散模型依然会自发崩溃”的数学本质。
巧妙的诺伊曼级数解与谱投影工具：将递归训练抽象为测度空间中的仿射马氏算子迭代，不仅得到了美妙且直观的“无限高斯平滑加权混合”解析解，还借助 Hermite 展开精确证明了退化具有模式选择性的低通滤波物理图景。
低成本且优雅的工程可迁移性：提出的退火截断调度无需修改现有模型架构或引入复杂的鉴别器惩罚，只需在代际重训练的推理流水线中对反向采样的截断时间点按多项式或几何级数逐代调小，即可无缝嵌入大规模合成数据循环训练流程中。

局限与展望¶

作者承认的局限：目前的理论推导基于方差保持（VP）型 Ornstein-Uhlenbeck 扩散过程及其对应的 Hermite 正交多项式谱系，未直接推广至方差爆炸（VE）或流动匹配（Rectified Flow / Flow Matching）等非 OU 基准框架。此外，退火截断在实操中受限于固定架构评分网络在接近 $t \to 0$ 处的极小信噪比区域可能引发的数值发散。
实际应用层面的盲区：实验中的退火调度参数 $\beta$ 为人为预设的启发式规律，尚未形成根据每一代经验 Fisher 范数或验证集泛化状态动态闭环自适应调整 $t_0^{(N)}$ 的优化机制。
未来改进方向：探索与评分估计网络在奇异端点处的特殊参数化技术（如 $x_0$-预测、软截断 Soft Truncation 以及高阶校正器）深度结合，构建端到端的自适应退火防御系统。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从算子理论和谱分解维度完全解析了递归扩散模型的稳态收敛分布与低通滤波机制。
实验充分度: ⭐⭐⭐⭐☆ 涵盖二维合成可测环境与 CIFAR-10 真实图像实验，理论指标与图像傅里叶高频亏损契合完美。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密精妙，诺伊曼级数与高斯测度对偶框架逻辑自洽，论述深入透彻。
价值: ⭐⭐⭐⭐⭐ 为解决大模型时代日益严峻的合成数据自我污染提供了坚实的数学基石与实用的退火调度方案。

数据集 / 设定	真实数据比例 \(\alpha\)	初始代 FID (\(N=1\))	中间代 FID (\(N=4\))	收敛代 FID (\(N=8\))	理论收缩因子 \(\kappa(\alpha)\)	实验残差下界平台
CIFAR-10 (固定 \(t_0=10^{-3}\))	\(\alpha = 0.1\)	33.15	12.40	5.12	0.948	约 5.0 (有限样本测量噪声)
CIFAR-10 (固定 \(t_0=10^{-3}\))	\(\alpha = 0.3\)	24.80	7.95	5.08	0.836	约 5.0 (有限样本测量噪声)
CIFAR-10 (固定 \(t_0=10^{-3}\))	\(\alpha = 0.5\)	18.22	6.10	4.95	0.707	约 5.0 (有限样本测量噪声)
CIFAR-10 (固定 \(t_0=10^{-3}\))	\(\alpha = 0.7\)	13.50	5.42	4.90	0.547	约 5.0 (有限样本测量噪声)
CIFAR-10 (固定 \(t_0=10^{-3}\))	\(\alpha = 0.9\)	8.70	5.05	4.88	0.316	约 5.0 (有限样本测量噪声)

截断调度策略	调度形式说明	2D GMM 稳态 \(\mathrm{KL}\) (\(N=50, \alpha=0.5\))	2D GMM 渐近性质	CIFAR-10 \(D_{\mathrm{HF}}\) (\(N=8, \alpha=0.1\))	细粒度高频保持效果
固定截断 (Fixed Baseline)	\(t_0^{(i)} \equiv 0.50\) (GMM) / \(10^{-3}\)	0.428	稳定收敛于不变平台 \(\mathrm{KL}(p_\infty^\star \\| p_{\text{data}})\)	0.485 (高频损失近半)	严重退化，高阶细节大量丢失
正下限截断 (Shifted Floor)	\(t_0^{(i)} \to t_\infty = 0.20\)	0.165	稳定收敛于更低平台 \(\mathrm{KL}(p_\infty^{(t_\infty)} \\| p_{\text{data}})\)	0.320	有限改善，仍存在不可消除残差
线性退火调度 (\(\beta=1\))	\(t_0^{(i)} = t_0 / (1+i)\)	0.014	渐近严格收敛至 0，完全恢复 \(p_{\text{data}}\)	0.178	显著挽救真实高频能量
二次退火调度 (\(\beta=2\))	\(t_0^{(i)} = t_0 / (1+i)^2\)	0.001	以更快有限代速率收敛至 0	0.112	最佳保真度，有效抑制微观退化