Colored Noise Diffusion Sampling¶

会议: NeurIPS 2026
arXiv: 2605.30332
代码: https://hadardavidson.github.io/CNS/
领域: 优化/理论
关键词: 扩散模型, 随机微分方程采样器, 谱偏差, 有色噪声, 即插即用采样

一句话总结¶

针对传统扩散 SDE 采样器无视模型频域生成规律、盲目注入均匀白噪声浪费随机能量的问题，提出有色噪声采样（CNS），利用频域进展矩阵将方差动态重定向至尚未解析的频段，实现严格保持总方差且免训练的即插即用采样加速与保真度跃升。

研究背景与动机¶

扩散模型与流匹配（Flow Matching）模型在高质量图像生成中确立了前沿地位，其逆向生成轨迹在本质上呈现出强烈的谱偏差（Spectral Bias）——网络在采样早期迅速确立低频全局轮廓与宏观语义结构，而在接近终点的采样后期才逐步雕琢高频细节。为了纠正确定性概率流常微分方程（PF-ODE）由于数值离散截断误差累积导致的流形漂移，传统随机微分方程（SDE）求解器在逆向时间积分过程中不断引入随机白高斯噪声并结合得分函数做恢复性收缩。

然而，现存的经典 SDE 采样器存在根本性缺陷：它们在全采样轨迹上始终盲目注入频谱平坦的均匀白噪声（White Noise）。这种频域无关的加噪机制完全忽视了图像在生成过程中空间频带的动态演进。从动力学理论来看，连续反向 SDE 注入的随机能量总预算是严格有界的常数，无法通过全局放大噪声方差来弥补频域亏空（否则会破坏概率分布向目标流形的收敛条件）。在生成中后期，低频宏观结构早已定型，继续向低频注入等量方差不仅无法转化为有效图像特征，反而会被网络当作无关扰动耗散掉，同时亟需精细构建的高频频段却因分摊的能量预算有限而出现能量赤字。

为了打破这种能量错配，本文从几何与随机分析视角出发，证明了扩散模型在轨迹推进中对注入的随机增量具备频域解耦的能量保留与特征转化能力。核心 idea：将 SDE 采样重构为针对未解析频带的定向能量转移过程，通过显式追踪频带生成进度的 $\gamma$ 矩阵，构建严格满足全局方差守恒约束的动态有色噪声调度，将随机能量从已定型频段无损路由至结构亏空频段。

方法详解¶

整体框架¶

有色噪声采样（Colored Noise Sampling, CNS）是一种完全免训练、即插即用的随机采样器。在每一个离散去噪时间步 $t$，算法首先从标准正态分布采样独立同分布的白噪声，利用预先离线统计或在线测得的时域-频域进展矩阵 $\gamma(f, t)$ 计算出当前时间步各各向同性径向频带的结构亏空程度；接着通过傅里叶变换将空间白噪声调制为具有非均匀功率谱密度（PSD）的有色噪声，并施加均方根归一化以严格满足全局方差守恒；最后将该有色随机增量融入预估速度场与得分函数的逆向 SDE 离散更新中。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    InLatent["当前隐变量 x_t 与时间步 t"] --> ScoreEval["网络预测与得分计算<br/>v_θ(x_t, t) 及得分 s_θ(x_t, t)"]
    WhiteNoise["标准高斯白噪声 w ~ N(0, I)"] --> ProgLookup["频域进展评估与结构亏空度量<br/>基于 γ(f, t) 矩阵量化各频带未解析比例"]
    ProgLookup --> ColoredMod["频域能量重分配与有色噪声调制<br/>2D-FFT 径向加权并施加全局方差守恒归一化"]
    WhiteNoise -.-> ColoredMod
    ScoreEval --> SDEStep["SDE 状态更新<br/>漂移步进 + 定向有色扰动注入"]
    ColoredMod --> SDEStep
    SDEStep --> OutLatent["下一步隐变量 x_{t-Δt}"]

关键设计¶

1. 频域进展评估与结构亏空度量：精确量化各频段何时成型 为解决网络各频段演进速率不均导致的盲目加噪问题，必须定量刻画任意时间步 $t$ 下特定频段 $f$ 的结构完成度。在连续时间流匹配或扩散模型中，给定任意中间时刻的干净数据近似估计 $x_t^{\text{pred}} = x_t - t v_\theta(x_t, t)$，CNS 将其与终点生成结果 $x_0$ 变换到频域，利用径向各向同性频带划分 $b(f_y, f_x)$ 提取第 $f$ 个频带的能量，定义有界的进度指标： $$\gamma(f,t) = 1 - \frac{|X_0(f) - X^{\text{pred}}(f,t)|^2}{|X_0(f)|^2}$$ 该矩阵精确映射了扩散轨迹的动态特征：低频区域在较早时间（$t \gg 0$）进度迅速逼近 1，而高频细节则长期滞后于线性进度 $1-t$，直到采样尾声才急剧上升。$(1 - \gamma(f,t))$ 直接反映了该频带在当前时刻的结构亏空（Structural Deficit），为噪声能量的精准导流提供了客观依据。

2. 频域能量重分配与有色噪声调制：打破零和博弈且严格守恒方差 从连续时间随机能量积分推导可知，任意扩散过程在 $[0, 1]$ 轨迹上注入的总随机方差 $\mathcal{E} = \int g^2(t) dt$ 是有限且与时间离散步数无关的常数；若全局缩放噪声方差（$\beta^2 \neq 1$），概率流常微分方程与真实边界的耦合将彻底破坏，导致模式坍缩或发散。CNS 采用频域对角缩放算子 $B(t) = \operatorname{diag}(\beta_1(t), \dots, \beta_D(t))$ 对反向 Wiener 增量进行染色： $$d\widetilde{\mathrm{w}}_t = \mathcal{F}^{-1} B(t) \mathcal{F} d\bar{\mathrm{w}}_t$$ 为了既不破坏全局边界流形、又规避贪婪分配（Bang-Bang 控制）击穿局部网络恢复能力，CNS 将每个频带的方差乘子设为结构亏空的平方根，并通过频域均方根（RMS）实施刚性归一化： $$\beta(f,t) = \frac{\sqrt{1-\gamma(f,t)}}{\sqrt{\frac{1}{D} \sum_{f'=1}^D (1-\gamma(f',t))}}$$ 当理想得分成立时，频带间的重分配服从 $\frac{1}{D}\sum \beta_f^2(t) = 1$ 的严格零和博弈；然而在实际训练中，神经网络对得分梯度的估计误差与状态矢量的内积（即状态-误差相关项 $\Gamma_f(t) = \mathbb{E}[\operatorname{Re}(\hat{x}_t(f)^* \hat{\epsilon}_t(f))]$）随着频带成型（$\gamma(f,t) \to 1$）而急剧衰减至 0。这意味着已定型频段对于多余噪声的结构保留转化率归零，而亏空频段的转化率极高。CNS 顺应这一非平稳转化特性，在亏空期注能、在饱和期抽能，成功在保持总方差不变的前提下放大了永久结构转化效率。

3. SDE 状态更新：频域解耦的流形对齐与误差修正 在获得归一化有色噪声增量 $w_c$ 后，采样器无缝接入主流 SDE 求解框架（如 Euler-Maruyama、Heun 或高阶随机 Runge-Kutta）。以一阶弱收敛更新为例，模型速度场 $v = v_\theta(x, t)$ 和隐式边缘得分 $s = (t v - x) / (1 - t)$ 驱动漂移向量，同时注入有色扰动： $$x_{t-\Delta t} = x_t - \left(v_\theta(x_t, t) - \frac{1}{2}g^2(t) s_\theta(x_t, t)\right) \Delta t + g(t) w_c \sqrt{\Delta t}$$ 由于傅里叶掩码具备中心对称性，经由逆变换生成的空间域扰动 $w_c$ 严格保持实数性与单位方差。得益于扩散模型将噪声增量直接投影到同频空间结构的保能量特性，这一更新在维持 SDE 自主修正累积截断误差优势的同时，全面压低了生成分布在全频段上的对数绝对谱误差（MAE），彻底消除了标准 SDE 的全谱能量亏空与 ODE 的高频细节缺失。

实验关键数据¶

主实验¶

在 ImageNet-256 图像生成基准上，评估覆盖了隐空间速度预测模型（SiT-XL/2）与像素空间数据预测模型（JiT-H/16、JiT-B/16）。对比了标准确定性 ODE、经典白噪声 SDE 以及本文 CNS 采样器在无分类器引导（w/o CFG）设置下的生成表现（采样步数 SiT 为 250 步，JiT 为 50 步，采用 50k 生成样本）：

模型	采样器	FID ↓	sFID ↓	IS ↑	Precision ↑	Recall ↑
SiT-XL/2	ODE	14.39	10.54	99.32	0.59	0.67
SiT-XL/2	SDE	8.26	6.32	131.65	0.68	0.67
SiT-XL/2	CNS (本文)	6.27	4.73	147.33	0.71	0.65
JiT-H/16	ODE	12.41	9.35	43.61	0.63	0.62
JiT-H/16	SDE	11.88	8.64	44.30	0.64	0.63
JiT-H/16	CNS (本文)	8.31	7.48	45.97	0.66	0.65
JiT-B/16	ODE	32.39	11.81	26.60	0.47	0.61
JiT-B/16	SDE	36.24	14.32	25.86	0.46	0.63
JiT-B/16	CNS (本文)	26.69	9.67	27.95	0.51	0.63

此外，在结合无分类器引导（CFG）时，CNS 依然保持全方位优势：SiT-XL/2（scale 1.5）FID 从 ODE 的 2.15 和 SDE 的 2.06 进一步降至 1.98；JiT-B/16（scale 2.6）FID 从 ODE 的 5.83 显著缩减至 4.19（相对改善达 28%）。

消融实验¶

在 SiT-XL/2（Euler 求解器，250 步，无 CFG，10k 评估样本）上系统验证能量守恒约束、时间调度对齐与替代噪声方案的有效性：

配置	FID-10K ↓	sFID ↓	IS ↑	说明
CNS (完整模型)	9.61	18.17	143.20	动态有色调度 + 严格单位能量守恒
标准白噪声 SDE	11.82	19.15	107.75	均匀平坦功率谱，无频域重分配
确定性 ODE	17.05	23.57	98.43	无随机注入，累积离散截断误差
50% 时间步白噪声注入	10.64	19.08	136.36	半数步数随机退化为白噪声，效能单调下降
时间均值静态谱 (Constant Spectrum)	10.53	19.14	137.63	抹除时域演进，固定平均有色谱
时间乱序调度 (Shuffled Schedule)	10.46	19.03	138.02	频带能量总量相同但时机错配
能量缩放 0.90 (Scale 0.90)	16.17	42.03	111.29	方差预算受限，抑制随机探索力，逼近 ODE
能量缩放 1.05 (Scale 1.05)	20.46	29.73	96.17	微增 5% 方差即击穿网络恢复力，图像劣化
多分数布朗运动 (mBm, H:0.5→0.25)	11.88	19.62	130.22	刚性全局 Hurst 参数平移，欠缺细粒度频带感知

关键发现¶

方差守恒是 SDE 稳定的绝对生命线：全局能量预算即使仅向上漂移 5%（Scale 1.05），FID 立即从 9.61 剧烈恶化至 20.46，甚至放大至 1.50 时彻底发散（FID 256.56）；而向下压缩能量（Scale 0.90，FID 16.17）则削弱了布朗运动的流形拉回能力。这从数学与实证两方面严密证实了 SDE 噪声调整必须是严格的零和重分配。
“何时注入”与“在何处注入”同等关键：无论是将动态调度做时域平均变成静态有色谱（FID 10.53），还是随机打乱时间顺序（FID 10.46），尽管总谱能量注入完全一致，但由于在频带已成型阶段错误注能、在亏空阶段注能不足，性能显著落后于依据 $\gamma(f,t)$ 动态协同的完整 CNS。
与先进高阶求解器及前沿模型完全正交：CNS 在 Heun（二阶弱收敛）、SRK2/SRK2S（随机 Runge-Kutta）上均保持一致增益（例如 Heun 下 FID 由 8.00 降至 5.99）；同时在 FLUX.1-dev 与 FLUX.2-klein 文生图模型中无缝替换默认采样器后，在维持文本语义对齐度（CLIPScore）的同时全面拔高了图像审美与人类偏好评分（ImageReward 从 0.965 跃升至 1.012）。

亮点与洞察¶

将随机微分采样重构为定向能量传输工程：摆脱了以往仅从数值分析截断误差阶数（Taylor/Itô-Taylor 展开）优化求解器的局限，首次从空间功率谱密度与非平稳能量吸收率的物理视角，指出了标准白噪声注入存在的频域资源闲置与错配。
精准捕捉并利用神经网络得分估计的误差衰减特性：指出了状态-误差相关性 $\Gamma_f(t)$ 随结构解析度提高而坍缩至零的现象，在理论上解释了为何通过时域动态路由能够突破全局方差刚性约束的“零和瓶颈”，把有限的能量算力精准兑现为有效感知细节。
免训练即插即用的极简工业落地性：算法仅需在每个采样步执行一次极轻量的 2D-FFT 频谱缩放与逆变换，无需重新训练扩散骨干或微调 LoRA，即可直接赋能现存的 SiT、JiT 与 FLUX 等顶尖架构。

局限与展望¶

受制于 SDE 框架的采样步数开销：CNS 本质依托于随机微分方程的连续布朗运动扰动机制，在 50~250 步的正常生成区间表现优异，但在 1~4 步的极端蒸馏或超快速确定性求解场景下，由于随机项缺乏足够的积分收敛空间而难以发挥效能。
空间各向同性假设的泛化扩展空间：当前频带划分主要基于径向距离 $\rho = \sqrt{f_y^2 + f_x^2}$ 的各向同性假设，对于存在显著方向性纹理或特定高宽比构图的生成任务，未来可进一步拓展为方向敏感（Anisotropic）的二维频谱能量自适应调度。
向跨模态与视频生成的维度拓展：未来工作可将该能量转移框架扩展到视频扩散模型的时间频率维度（Temporal Frequency），利用时空联合谱偏差协同抑制视频生成的闪烁与结构形变。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (颠覆了扩散 SDE 必须注入均匀白噪声的传统范式，建立了基于谱偏差的有色能量调度理论)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖从隐空间到像素空间、从类条件到 T2I、从步数/阶数鲁棒性到全套能量消融)
写作质量: ⭐⭐⭐⭐⭐ (数学证明完备严谨，从 Itô 能量漂移推导到 Tweedie 得分误差机制逻辑严丝合缝)
价值: ⭐⭐⭐⭐⭐ (即插即用、完全免训练，对生成式图像与视频采样器设计具有极强的启发与实用价值)