Adaptive Noise Covariance Scheduling under Riemannian Metrics for Diffusion Models¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/3974
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/3923.pdf
代码: https://github.com/BolinDeng/RMDM
领域: 图像生成 / 扩散模型
关键词: 蓝噪声、协方差测地线、自适应调度、频谱演化、确定性扩散

一句话总结¶

本文把蓝噪声到白噪声的演化拆成“沿哪条协方差路径走”和“每张图走多快”，以 Bures-Wasserstein 测地线配合潜变量预测的调度温度，在不更换 BNDM 去噪骨干的条件下改善图像生成 FID 与 KID。

研究背景与动机¶

扩散模型的反向生成往往先形成低频轮廓，再补出高频纹理，而标准白噪声在各频率上的功率相同。BNDM 已经尝试让前向噪声从偏重高频的蓝噪声逐渐变成白噪声，使低噪声阶段更多扰动纹理、保留粗结构。不过，蓝白两个端点相同，并不意味着中间的噪声统计也相同：BNDM 插值的是协方差的 Cholesky 因子，中间协方差可能出现方向性频谱伪影和较大的平均功率波动。

另一处问题是固定调度。猫毛、人脸、建筑以及混合动物类别的频率组成不同，用同一组全局参数控制蓝白过渡速度未必合适。仅仅学习更灵活的调度也不够，因为不同协方差路径对调度变化的响应不同；论文消融中，LE/AIRM 路径加入自适应机制后反而变差。因此，真正需要同时检查的是路径几何与调度的可控性，而不是笼统地增加可学习参数。

核心 idea：先选择频谱演化平滑、着色算子对调度变化响应恒定的 BW 测地线，再用与图像关联的潜变量预测过渡温度，让路径形状和行进速度成为可以分别分析的两个设计维度。

方法详解¶

整体框架¶

方法以 BNDM 为宿主，保留 U-Net、确定性前向混合及双输出反向更新结构。离线阶段从既有蓝噪声协方差计算对称矩阵平方根；训练时从干净图像编码潜变量，预测一个调度温度，用它控制 BW 路径上的位置，再构造带色噪声图像并联合训练去噪器、编码器与温度预测器。

生成时没有干净图像可供编码，因此从标准高斯先验独立采样图像初始噪声和调度潜变量。温度预测一次后，在整个去噪轨迹中保持不变；随时间改变的是该温度定义的调度值。这不是每一步重新分析生成图像、在线修改温度的方法。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["蓝噪声协方差<br/>离线特征分解"] --> B["BW 协方差路径"]
    B --> C["潜变量自适应调度"]
    D["训练：图像后验<br/>生成：高斯先验"] --> C
    C --> E["双头去噪与联合训练"]
    F["图像与白噪声<br/>训练时前向混合"] --> E
    E --> G["反向迭代<br/>输出生成图像"]

关键设计¶

1. BW 协方差路径：替换因子插值，控制中间噪声的统计形状

蓝噪声协方差记为 \(\Sigma_b\)，白噪声协方差为单位矩阵。BNDM 对 Cholesky 因子与单位矩阵做线性插值，再乘白噪声得到带色噪声。本文改用蓝噪声协方差的对称平方根：先离线特征分解，得到特征向量矩阵 \(Q\) 和正特征值对角矩阵 \(\Lambda\)。在蓝白端点这一特殊情况下，BW 路径的着色算子具有很简单的形式，对应原文式 (9) 和算法 1：

\[ C^{\mathrm{BW}}_{\gamma}=(1-\gamma)Q\Lambda^{1/2}Q^\top+\gamma I, \qquad \Sigma^{\mathrm{BW}}_{\gamma}=C^{\mathrm{BW}}_{\gamma}(C^{\mathrm{BW}}_{\gamma})^\top. \]

这里的 \(\gamma\) 只控制蓝白过渡，而不是总体加噪强度。取零时得到蓝噪声，取一时得到白噪声；中间位置保持同一组协方差特征向量，仅改变特征值。对于论文使用的蓝噪声端点，这使频谱中心低频空洞逐渐填平，而不是引入 Cholesky 插值中观察到的斜向纹理。不能把它泛化成“任何固定特征向量的协方差都自动各向同性”；原文证据对应其选定的蓝噪声构造。

BW 的另一点优势是着色算子对 \(\gamma\) 的导数恒定，为单位矩阵减去蓝噪声对称平方根，因此相同的调度增量在路径各处产生相同的算子增量。Cholesky 插值也有这一性质，但其频谱方向会漂移；LE/AIRM 在白噪声端点下具有相同路径，虽保持特征向量，却对调度位置呈非线性响应。BW 的价值在于组合这些性质，而不在于“只有它是测地线”。

论文用平均边缘方差衡量平均噪声功率，并在图 1 比较它随时间的累计绝对变化：

\[ \delta_m^2=\frac{1}{n}\operatorname{tr}(\Sigma_{\gamma_t}). \]

这里 \(n\) 是协方差维度。原文观察到 BW 路径功率波动更小，并据此解释相邻训练目标的统计变化更缓和。这是指定端点与调度下的分析和实证依据，不是对任意图像分布、任意度量的普适最优保证。

2. 潜变量自适应调度：用一个温度控制每条轨迹的蓝白过渡

确定路径后，模型仍需决定每个时间步走到哪里。论文沿用归一化 sigmoid 调度族：先把归一化时间映射到由起止参数限定的区间，用温度缩放后通过 sigmoid，再扣除起点值、除以端点差，使调度从零单调走到一。起止参数固定，只让正温度随样本变化，因此学习的是一个低维速度控制量，而不是逐步输出完整协方差或任意时间表。

训练时，轻量 CNN 加三个残差块预测干净图像对应的高斯后验均值与方差；通过重参数化采样潜变量，再经两层 MLP 得到温度。后验受到对标准高斯先验的 KL 正则，目的是让生成时直接采样先验仍能得到训练中见过的调度。无条件生成中，潜变量只调节调度，并不是用 VAE 解码器生成图像，也不能把它解释为已验证的语义控制变量。缓存主文要求温度为正，但未交代保证正值的具体输出变换，不能自行补成某种激活函数。

这种设计把训练阶段“图像特征影响速度”的能力带到无需图像输入的生成阶段。对超分辨率任务，原文另行让低分辨率输入预测温度，并将低分辨率图像与带噪图像按通道拼接输入去噪器；这属于有条件扩展，不能与无条件先验采样机制混为一谈。

3. 双头去噪与联合训练：分别补偿总体混合与噪声颜色变化

这是承接 BNDM 的宿主机制，而非声称新发明的网络结构。模型使用两个不同的时间量：总体噪声混合系数 \(\alpha_t=t/T\) 决定干净图像与噪声的占比，自适应调度 \(\gamma_t^a\) 决定当前噪声的颜色。算法 1 中的前向构造为：

\[ x_t=\alpha_t C^{\mathrm{BW}}_{\gamma_t^a}\epsilon+(1-\alpha_t)x_0, \qquad \epsilon\sim\mathcal N(0,I). \]

在时间起点，混合系数为零，输入仍是干净图像；在终点，混合系数和蓝白调度都为一，输入就是白噪声。因此，引入图像相关的中间路径并没有改变终端高斯先验。前向构造中的同一个基础白噪声会被不同着色算子变换，不是每一步都独立重新抽取噪声的 DDPM 式解释。

反向时，仅预测一个“去掉多少噪声”的方向不足以表达这里的更新，因为总体混合权重和噪声颜色都在变化。U-Net 的输出分成两部分：第一部分预测干净图像与当前带色噪声之差，第二部分预测协方差路径变化带来的校正方向。采样算法用相邻时间步的混合系数差和调度差分别加权这两个输出，并迭代更新图像。第二项的重要性来自路径变化，而不是额外生成一种图像内容。

损失函数 / 训练策略¶

原文式 (27) 联合优化双头预测误差和后验 KL 正则，第二头误差由调度增量与混合增量之比加权。去噪器、后验编码器和温度 MLP 一起更新；采样时移除编码器，只使用先验潜变量、MLP 和去噪器。

缓存中式 (24) 至 (27) 的指数和排版存在损坏，尤其第二头目标的矩阵幂不能可靠辨认，因此这里不转录该目标的完整公式，也不据此提供可运行实现；算法 1、2 足以核对上述前向构造与双头更新关系。精确复现仍需核对原 PDF 或作者代码。

训练用 1000 步，常规采样用 250 步；调度起止参数为 0 和 3。去噪器学习率为 \(10^{-4}\)，编码器和 MLP 为 \(10^{-5}\)，KL 权重为 1，优化器为 AdamW。蓝噪声协方差来自离线统计，对称平方根也离线计算；因此不能把完整特征分解成本误记为每一步在线训练开销。

实验关键数据¶

主实验¶

实验采用像素空间无条件生成，基于 Inception-v3 特征评估。FID、KID 越低越好；生成 Precision 反映样本保真度，Recall 反映对真实数据分布的覆盖。下面从原文表 1 选择不同数据集及分辨率的结果，最后一列为 BNDM FID 减去本文 FID 的绝对差。

数据集 / 分辨率	IADB FID	BNDM FID	本文 FID	FID 降低
AFHQ-Cat，64×64	9.18	7.95	6.17	1.78
AFHQ-Cat，128×128	10.81	9.47	8.47	1.00
CelebA，64×64	7.53	7.17	6.19	0.98
LSUN-Church，64×64	9.95	11.35	8.26	3.09
AFHQ，64×64	11.06	12.79	9.51	3.28
AFHQ-Cat，256×256	12.56	13.50	8.90	4.60
CelebA，256×256	19.25	16.11	12.14	3.97

这些结果支持“在所测宿主和数据集上稳定改善 FID”，不能据此声称超过现代大规模文生图模型。BNDM 沿用原有调度、没有额外调参；原文把调度敏感性补充实验放在补充材料中，当前缓存未包含该部分。

消融实验¶

原文表 6 在 AFHQ-Cat 上交叉比较路径与调度。CH 表示 Cholesky 插值，LA 表示 LE/AIRM 测地线，BW 表示本文路径；F 为共享固定调度，A 为自适应调度。

路径 + 调度	FID ↓	KID ↓	Precision ↑	Recall ↑
CH + F	7.95	0.0052	0.73	0.49
LA + F	7.95	0.0047	0.72	0.43
BW + F	6.40	0.0034	0.76	0.49
CH + A	6.43	0.0037	0.78	0.44
LA + A	8.36	0.0053	0.69	0.44
BW + A	6.17	0.0034	0.79	0.45

关键发现¶

固定调度下，只把 CH 换成 BW，FID 就从 7.95 降到 6.40；再加入自适应调度降到 6.17。此对照中路径替换带来的绝对降幅更大，但两组件有交互，不能把它们当作可独立相加的收益。
自适应并非必然有益：LA 从 7.95 变成 8.36。BW 的 KID 在表中保持 0.0034，Precision 从 0.76 升到 0.79，Recall 却从 0.49 降到 0.45，体现保真度与覆盖率的取舍。
原文表 2 中，AFHQ-Cat 的 50 步本文 FID 为 6.74，优于 BNDM 250 步的 7.95；但本文在 5 步时仍为 57.35，不能据此包装成高质量极少步生成。
扩展结果包括 DDIM 版本 FID 6.33，相比原 DDIM 的 9.82 和 BNDM-DDIM 的 7.11 更低；AFHQ-Cat 从 64×64 到 128×128 的超分 PSNR 为 30.01 dB，BNDM 为 29.30 dB。
表 5 在 CelebA-256 上报告本文总训练计算量 202.56 GFLOPs，BNDM 为 198.75；100 个 epoch 分别耗时 6.2 与 6.0 小时。正文给出额外参数 0.98M，表格按一位小数显示总参数 119.9M 与 118.9M。

亮点与洞察¶

路径和调度的交叉消融比单独报告最终分数更有说服力。LA 加自适应后的退化直接说明，学习速度控制前要先考虑路径对控制量的响应。
BW 在这里不是昂贵的逐步流形优化。利用白噪声端点是单位矩阵这一结构，运行时主要使用预计算平方根的线性组合，使几何设计可以嵌入既有训练框架。
对潜变量加 KL 正则解决的是“训练知道图像、生成不知道图像”的接口差异。它提供了无需真实图像输入的调度分布，但并不直接保证学到的潜变量具有可解释频率语义。

局限与展望¶

实验主要覆盖人脸、动物和教堂的像素空间生成，最高报告到 256×256。没有大规模潜空间文生图、视频或复杂组合条件实验，向这些设置的推广仍是待验证方向。
固定蓝噪声端点沿用宿主设置，本文自适应的是过渡温度，不是每张图的完整协方差。更复杂频谱可能需要端点适应，但同时会增加计算与稳定性风险。
主结果和消融没有报告多次运行的方差或置信区间。尤其 BW + F 到 BW + A 的 0.23 FID 差异，其统计稳定性无法仅凭当前表格确认。
Recall 的下降不能被 FID 改善掩盖。后续应补充模式覆盖分析、不同温度对应的样本分布以及 KL 权重消融，检查自适应机制是否牺牲了少见模式。
当前缓存仅有主文，未覆盖作者提及的补充推导、调度敏感性与更多实现细节。公式抽取损坏进一步限制了逐式复现；以上研究局限为本笔记分析，不冒充作者单列的局限声明。

评分¶

新颖性: 4/5。将 BW 协方差路径与自适应速度分开建模，机制明确，但建立在既有蓝噪声扩散框架上。
实验充分度: 3/5。具备多数据集、路径与调度交叉消融、效率和条件生成测试，仍缺更广模型规模与统计稳定性证据。
写作质量: 4/5。动机、路径性质和消融彼此对应；缓存公式损坏是抽取问题，不直接作为论文写作缺陷扣分。
价值: 4/5。为前向噪声设计提供了可复用的几何与控制视角，实际收益需结合覆盖率变化和宿主范围判断。