Improved Immiscible Diffusion: Accelerating Diffusion Training by Reducing Miscibility¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/yilun-li/improved-immiscible-diffusion
领域: 图像生成
关键词: 扩散模型, 不混溶扩散, 训练加速, 最优传输, KNN噪声采样

一句话总结¶

揭示扩散模型中去噪轨迹混溶交错导致高噪声层监督退化的理论根源，证实生成样本与初始噪声具有天然的稳定双射相关性，并提出复杂度仅为 \(O(n)\) 的 KNN 噪声选取与无需配对的图像尺度缩放方案，在保证生成多样性的同时将多种扩散模型训练加速 2.5×~4.5×。

研究背景与动机¶

扩散模型因高质量的图像生成与多模态控制能力被广泛应用，但其高昂的训练开销始终是限制落地与扩展的核心瓶颈。例如在 256 张 GPU 集群上，Stable Diffusion V1.1 需要训练超过 24 天，而升级至 V2 更暴增至 32 天。近年来，流匹配与批次最优传输（OT）等方案尝试通过线性化或缩短扩散轨迹来平滑流场，然而经验测算显示，近似 OT 仅能使图像与噪声的平均欧氏距离缩短约 2%，去噪函数的方差仅降低约 4%，其加速机理尚未被完整解释。早期提出的不混溶扩散（Immiscible Diffusion）通过批次线性分配将图像与空间邻近的高斯噪声配对，确实观察到了训练加速，但其依赖复杂度高达 \(O(n^3)\) 的匈牙利式线性分配，在大批次下延迟急剧增加；更关键的是，限制图像向全噪声空间扩散的做法，在学术界引发了其是否会破坏生成多样性与条件一致性的严重疑虑。

这一争议的本质矛盾在于生成模型的几何认知惯性与实际动力学特性的脱节。传统直觉假定扩散模型必须让每张训练图像均等地向整个各向同性高斯噪声空间扩散，才能支撑任意噪声输入向目标数据流形的泛化映射。然而这种各向同性独立加噪机制导致了严重的高维“轨迹混溶（miscibility）”：来自截然不同语义类别的图像，其加噪路径在高时步（\(t \to T\)）极易相交于相同的含噪状态点。此时去噪网络被迫在同一个输入状态下同时拟合互不相容的噪声目标，最终数学上不可避免地退化为对全数据集图像均值的平庸预测，彻底丧失了对具体图像的去噪指导力；而在反向去噪中，这种混溶轨迹同样引发混乱与振荡。

本文的研究切入点是重新审视生成多样性与去噪动力学的真实对应关系：既然经验上训练完备的扩散模型并不能从同一个噪声点生成任意图像，那么初始噪声与最终生成图像之间究竟是否存在固有的对应关系？通过系统性的扰动分析，作者证实去噪过程本质上呈现出强鲁棒的局部双射关联，即使施加高达 20% 的独立高斯扰动，生成图像依然保持结构与模态完全不变。这一关键发现彻底消解了“去混溶会牺牲生成多样性”的顾虑。核心 idea：将不混溶扩散从狭隘的批次线性分配升华至广义的“扩散轨迹去混溶”理论框架，并提出计算开销仅为 \(O(n)\) 的 KNN 噪声采样与免配对图像尺度缩放两种高效实现，从源头上消除交叉混溶轨迹对高噪声层监督信号的干扰，实现跨架构、跨任务的高达 4 倍以上训练加速。

方法详解¶

整体框架¶

在传统扩散模型（Vanilla/Miscible Diffusion）中，含噪图像由数据样本 \(x_0\)、预设时间步调度 \(\omega_t\) 以及随机采样的高斯白噪声 \(\epsilon \sim \mathcal{N}(0, I)\) 线性组合而成：\(x_t = \sqrt{\omega_t} x_0 + \sqrt{1 - \omega_t} \epsilon\)。当扩散时步 \(t \to T\) 时，权重 \(\omega_t \to 0\)，含噪状态 \(x_t \to \epsilon\)。如果两张不同的图像 \(x_{0,1}\) 与 \(x_{0,2}\) 对应的加噪路径在某时刻交汇于相同的 \(x_t\)，去噪函数 \(\epsilon_\theta(x_t, t)\) 便只能输出两个噪声矢量的算术平均值 \(\frac{1}{2}(\epsilon_1 + \epsilon_2)\)。推导至极端情形，当样本集规模 \(N \to \infty\) 时，去噪目标收敛于 \(\frac{1}{\sqrt{1-\omega_t}}(x_t - \sqrt{\omega_t} \bar{x}_0)\)，退化为常数且丧失所有细粒度样本信息。

不混溶扩散的核心就是打破这种交叉混合。整个算法流程首先确立图像空间到噪声空间的几何隔离准则，随后通过高效的近邻选择或空间尺度重定，阻断多路扩散路径在中间状态的折叠混叠，使每一条扩散与去噪轨迹均拥有独立且明确的优化方向。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据批次 x_0<br/>与高斯随机先验"] --> B["噪声空间双射关联分析<br/>确定局部稳定流形映射"]
    B --> C["KNN 噪声近邻选取<br/>O(n) 复杂度近邻配对"]
    B --> D["图像尺度几何离散<br/>放大间距减少轨迹交叠"]
    C --> E["构建去混溶扩散轨迹<br/>消除高时步交叉多义性"]
    D --> E
    E --> F["高效去噪监督训练<br/>激活高噪声层预测能力"]

关键设计¶

1. 噪声空间双射关联分析：消除多样性顾虑并量化混溶度

为了探究强行配对是否会破坏生成空间的多样性，该设计首先在已训练的 DDIM 模型中对输入噪声施加受控扰动，直接观测反向生成的敏感度边界。设定基准初始高斯噪声 \(N_{\text{orig}}\)，并引入 10 组独立采样的高斯扰动 \(N_{\text{pert}}\)，合成带权重扰动的新噪声：

\[N_{\text{tot}} = N_{\text{orig}} + W \cdot N_{\text{pert}}\]

实验结果表明，在扰动权重 \(W = 10\%\) 时，所有 10 组采样生成的图像均保持完全一致的猫咪轮廓与前景细节；即使在 \(W = 20\%\) 时，不同扰动仅引起轻微背景差异，模态类别未发生任何漂移；只有当扰动增加至 \(W = 30\%\) 时，局部物体类别才发生小概率改变，但像素层级布局依旧高度相似。这表明标准去噪动力学本身在噪声与图像流形之间构建了具有强吸引域的局部双射映射，去混溶并不会人为收缩有效生成空间。进一步，作者通过度量同一样本分配的噪声聚类中心间的平均 \(L_2\) 距离量化混溶程度：原生 DDIM 的噪声聚类距离仅为 \(0.92 \pm 0.06\)（严重混溶），而引入不混溶机制后距离骤增至 \(4.11 \pm 0.37\)（高度分离），在几何表征上彻底拉开了不同样本所占用的扩散管道。

2. KNN 噪声近邻选取：\(O(n)\) 复杂度的高效不混溶实现

原有不混溶方法采用匈牙利算法做全局线性分配，虽然维持了严格的各向同性高斯全局分布，但其 \(O(n^3)\) 的计算复杂度导致在批次达到 512 或 1024 时成为显存与耗时严重瓶颈。为此，本文设计了计算复杂度为线性 \(O(n)\) 的 KNN 噪声近邻选取算子。对于批次内的每张图像 \(x\)，系统并行生成 \(k\) 个独立的候选高斯噪声 \(\{n_1, n_2, \dots, n_k\}\)，通过高效的向量化欧氏距离比对，仅选取距离样本最近的噪声作为当前加噪目标：

\[n^* = \arg\min_{n_j \in \{n_1, \dots, n_k\}} \|x - n_j\|_2\]

为了验证丢弃未被选中的候选噪声是否会破坏标准正态分布假设，作者采集了 CIFAR-10 维度下通过 KNN（\(k=8\)）选出的 50,000 个噪声样本，其相对于理论各向同性高斯分布的 KL 散度为 48.60，与纯随机采样的基准值 48.25 几乎完全一致。由于无需跨样本求解联合分配矩阵，单卡 A5000 在批次 256 下耗时仅需 0.2ms，相较于线性分配的 6.7ms 实现了高达 33.5 倍的加速，且在各时步上表现出更连续的噪声轨迹分布。

3. 图像尺度几何离散：无需噪声配对的无参数去混溶机制

基于“去混溶的核心是拉开不同数据样本加噪管道在中间状态的交叠”这一本质认知，本文提出了一种连图像-噪声关联配对都不需要的纯几何解法——图像尺度缩放（Image Scaling）。该机制保持噪声方差与扩散加噪调度完全不变，仅将输入图像的所有像素幅值乘以一个大于 1 的缩放常数（例如将标准差由 0.5 放大至 1.0 或 2.0）。从高维几何视角审视，这一线性缩放将不同图像数据点在特征空间中的互质欧氏距离整体等比放大。在中间加噪阶段 \(t < t_{\max}\)，高斯噪声弥散半径由固定方差决定，而扩散区域的中心点彼此间距显著增大，天然削减了各加噪球体之间的交集体积。特征分析表明，增大图像标准差不仅显著降低了中间去噪层预测图像的 t-SNE 轨迹纠缠，更在无需任何额外采样或距离计算的极简操作下，同步斩获了更快的训练收敛速度与更低的最终生成 FID。

损失函数 / 训练策略¶

不混溶扩散无需修改模型主干网络或增加额外的对抗/正则项，仅在训练前向加噪阶段替换噪声配对逻辑。以 DDIM、流匹配（Flow Matching）与一致性模型（Consistency Models）为例，其通用的均方误差监督损失保持一致：

\[\mathcal{L}_{\text{denoise}}(\theta) = \mathbb{E}_{t, x_0, n^*} \left[ \| \epsilon_\theta(x_t(x_0, n^*), t) - n^* \|_2^2 \right]\]

超参数选择遵循“特征维度越高，所需近邻候选数 \(k\) 越大”的缩放规律：对于 CIFAR-10 数据集（3072 维），最优 \(k\) 集中在 4 到 8；对于 ImageNet-1k 潜在空间（4096 维），最佳 \(k\) 增大至 64。此外，由于不混溶扩散仅重构目标扩散管道的几何路径，它与感知优先加权（P2 weighting）以及基于去噪难度的课程学习（Curriculum Learning）等主流训练优化技术完全正交，能够无缝堆叠以实现多重加速效益。

实验关键数据¶

主实验¶

论文在无条件图像生成（CIFAR-10）、类别条件生成（ImageNet-1k）以及跨任务（图像修复与机器人决策）上全面评测了不混溶扩散的加速表现与最终收敛质量。

模型架构 / 任务	数据集 / 条件	优化方法配置	达标所需步数加速比	最终收敛指标 (FID / 覆盖率)	基线收敛指标 (FID / 覆盖率)	指标增益 (提升幅度)
DDIM	CIFAR-10 无条件	Immiscible (KNN, k=8)	3.5× 步数加速	4.45 (FID)	6.63 (FID)	-2.18 FID (更优)
DDIM	CIFAR-10 无条件	Immiscible (Assignment)	2.5× 步数加速	5.14 (FID)	6.63 (FID)	-1.49 FID (更优)
Flow Matching	CIFAR-10 无条件	Immiscible (KNN, k=4)	4.5× 步数加速	3.56 (FID)	4.92 (FID)	-1.36 FID (更优)
Flow Matching	CIFAR-10 无条件	Immiscible (Assignment)	3.0× 步数加速	5.02 (FID)	4.92 (FID)	+0.10 FID (基本持平)
Consistency Models	CIFAR-10 无条件	Immiscible (KNN, k=4)	2.8× 步数加速	9.16 (FID)	10.22 (FID)	-1.06 FID (更优)
Consistency Models	CIFAR-10 无条件	Immiscible (Assignment)	3.2× 步数加速	8.54 (FID)	10.22 (FID)	-1.68 FID (更优)
Stable Diffusion	ImageNet-1k (In-paint)	Immiscible SD (KNN)	-	17.32 (FID)	18.35 (FID)	-1.03 FID (更优)
Stable Diffusion	ImageNet-1k (Out-paint)	Immiscible SD (KNN)	-	27.57 (FID)	29.34 (FID)	-1.77 FID (更优)
Diffusion Policy	PushT 机器人操作	Immiscible (KNN, k=2)	-	82.83% (末10轮均值)	79.56% (末10轮均值)	+3.27% 覆盖率

消融实验¶

1. 采样时间与复杂度消融（单张 A5000 GPU 测算）

批次大小 (Batch Size)	线性分配耗时 (ms)	KNN 噪声选取耗时 (ms)	加速倍率 (\(t_{\text{assign}} / t_{\text{knn}}\))
128	5.4	0.2	27.0×
256	6.7	0.2	33.5×
512	8.8	0.3	29.3×
1024	22.8	0.7	32.6×

2. KNN 候选数量 \(k\) 敏感度消融（DDIM，CIFAR-10 数据集）

配置参数 (\(k\) 设定)	噪声-图像 \(L_2\) 距离降幅	收敛最佳 FID	机制表现说明
基线 Baseline (\(k=1\))	0.00%	6.63	原始混溶扩散，高噪声层混淆
\(k=2\)	-0.62%	4.94	初步解耦扩散轨迹，FID 显著改善
\(k=4\)	-1.10%	4.77	轨迹交叠进一步降低
\(k=8\) (最优)	-1.58%	4.45	达到该维度的最佳去混溶平衡点
\(k=16\)	-1.95%	4.85	偏离各向同性高斯先验程度微增
\(k=32\)	-2.31%	5.19	边缘噪声分布收缩影响整体生成质量

关键发现¶

去混溶直接激活最高噪声层：t-SNE 与分层 FID 诊断证明，原生 DDIM 在 \(\tau = S\)（纯噪声输入层）由于多路径混溶，去噪特征混乱；而不混溶扩散使初始去噪步即可产生具有高对比度的结构轮廓，前几个时步的重构 FID 呈现雪崩式下降。
KNN 全面优于线性分配：KNN 不仅将执行时间从数十毫秒压低至 0.2ms，而且由于保留了局部的连续几何分布，在低噪声步骤（靠近真实图像的层级）具备更高的流形平滑度，因而在最终 FID 上普遍优于离散硬分配。
与正交加速技术兼容叠加：在 Flow Matching 架构下，与课程学习（Curriculum Learning）叠加后，100k 步 FID 由 6.43 进一步降低至 4.75；与感知优先采样叠加后由 5.58 降至 4.26，验证了其在目标流场优化层面的底层正交性。

亮点与洞察¶

颠覆了高噪声层必然低效的传统假设：长期以来学术界普遍认为高噪声阶段由于信噪比过低天然难以预测，本文明确揭示其主因实为多样本加噪路径汇聚导致的均值坍缩，通过简单的轨迹解耦便能充分激活全阶段去噪性能。
从动力学本质化解多样性与效率的虚妄冲突：实验首次证实常规扩散逆过程已内嵌稳定的局部单射映射，证明无序交叉混溶是训练过程的无谓开销而非多样性保障，为重构扩散先验提供了全新视角。
设计兼具极高实用价值的线性算子：提出的 KNN 噪声选取与图像尺度缩放无需任何矩阵分解与全局迭代，几行代码即可无缝切入现有扩散大模型生产线。

局限与展望¶

高维极端空间下的 \(k\) 扩展性问题：作者承认，随着特征空间维度进一步激增（如百亿参数大规模高清潜在扩散模型），维持足够去混溶强度所需的 \(k\) 值可能增大，需要探索分块近似或层次化近邻检索方案。
理论上下界尚未完全解析：论文主要依托经验几何度量与 t-SNE 统计支撑论点，缺乏针对去混溶度量与泛化误差收敛速率之间的严格统计物理边界证明。
极端缩放引发的信噪比边缘效应：图像缩放操作会间接改变末端时步的有效信噪比，在某些对色彩动态范围极其敏感的连续多模态任务中可能需要精细校准归一化策略。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 深刻揭示了扩散高噪声层退化的本质是轨迹混溶，将最优传输加速理论提升至全新几何视角。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 CIFAR、ImageNet、MS-COCO，横跨 DDIM、Flow Matching、一致性模型、图像编辑与具身机器人。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，扰动分析与分层特征可视化设计精妙，论证层层递进。
价值: ⭐⭐⭐⭐⭐ 即插即用、开销近乎为零，能为扩散模型预训练与微调节省海量算力。