跳转至

Analyzing and Guiding Zero-Shot Posterior Sampling in Diffusion Models

会议: NeurIPS 2026
arXiv: 2602.07715
OpenReview: https://openreview.net/forum?id=uujn530GnO
领域: 图像恢复
关键词: 线性逆问题, 零样本后验采样, 扩散模型, 频域分析, 引导权重优化

一句话总结

本文在平移不变高斯先验假设下推导出扩散模型零样本后验采样器与理想后验采样器的频域闭式分布,并通过最小化重构后验与真实后验之间的平均 Wasserstein-2 距离,以原则性的最优频域引导权重取代了传统的手工启发式超参数调节,在图像去模糊、修复与加速 MRI 重建上显著提升了信号保真度与感知质量的平衡。

研究背景与动机

从带噪退化观测中恢复未知干净信号(即线性逆问题 \(\mathbf{y} = \mathbf{H}\mathbf{x} + \mathbf{n}\))是医学成像、计算摄影等领域的经典难题。传统的监督方法需要针对特定退化算子在成对数据集上专门训练恢复网络,泛化代价高昂;而近年来兴起的基于扩散模型的零样本后验采样方法(如基于贝叶斯似然引导的 DPS、\(\Pi\text{GDM}\) 以及基于投影解耦的 DiffPIR)仅利用在干净信号流形上预训练的先验扩散模型,在推理阶段引入观测一致性引导即可求解多种逆问题,无需任务特定重训。

然而,这类免训练方法在推理时面临一个核心矛盾:如何在每一步去噪迭代中权衡先验得分与测量似然引导的相对强度。如果使用过小的引导步长,样本虽然能维持在先验流形附近并获得较好的视觉自然度,但需要极多的扩散步数且往往严重偏离真实观测(测量一致性差);反之,过大的引导权重则容易破坏逆向扩散动力学,导致采样轨迹不稳定甚至发散。由于缺乏理论指导,现有方法普遍依赖手工调参或经验启发式策略——例如 DPS 将步长设为与测量残差范数成反比(\(\zeta_s = \zeta' / \|\mathbf{y} - \mathbf{H}\hat{\mathbf{x}}_0\|\)),\(\Pi\text{GDM}\) 与 DiffPIR 则仅根据扩散噪声调度表设定全局参数。这些粗糙的设计完全忽略了先验分布统计特性、退化观测算子以及扩散步数三者之间的耦合关系。

为了打破经验调参的盲目性,本文从频域(傅里叶域)视角切入,对零样本扩散后验采样过程进行了严格的数学建模。在平移不变的高斯先验与循环退化算子假设下,高维逆向扩散更新可解耦为独立的标量传递函数,从而能够直接写出各种近似采样器以及理想后验采样器的输出分布闭式解。核心 idea:利用平移不变高斯假设将零样本扩散后验采样与理想后验采样统一表达为频域闭式高斯分布,通过最小化估计后验与真实后验之间的平均 Wasserstein-2 距离,自适应求解出联合刻画先验协方差、退化算子与扩散步数的最优引导权重序列。

方法详解

整体框架

本文提出的分析与引导框架旨在为任意零样本扩散后验采样算法(如 DPS、\(\Pi\text{GDM}\)、DiffPIR)提供方法无关(method-agnostic)的最优引导参数序列。整体流程分为四个核心阶段:首先在平移不变高斯先验下建立先验最优去噪器与逆向迭代更新;接着通过离散傅里叶变换(DFT)将多步扩散递归对角化,推导近似后验采样器的频域闭式分布;同时推导融合了测量算子的后验最优去噪器及理想后验采样基准;最后通过最小化近似后验与真实后验之间的平均 Wasserstein-2 距离,离线或逐样本求解出每一步的最优引导权重并用于实际神经网络去噪器的推理引导。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入:干净数据集统计量、退化算子 H<br/>噪声水平与扩散步数 S"] --> B["高斯先验与频域闭式后验传递函数<br/>DFT对角化递归推导估计后验分布"]
    A --> C["理想高斯后验最优去噪器与采样基准<br/>MAP/Wiener闭式推导真实后验参考"]
    B --> D["基于平均Wasserstein-2距离的引导权重优化<br/>单样本(K=1)或期望闭合形式求解最优权重"]
    C --> D
    D --> E["输出:最优引导权重序列<br/>注入预训练扩散模型执行零样本逆问题重建"]

关键设计

1. 高斯先验与频域闭式后验传递函数:利用傅里叶对角化将多步迭代解耦为标量传递函数

为了在理论上刻画零样本后验采样器在有限步数 \(S\) 下的输出分布,作者假设干净信号服从高斯先验 \(\mathbf{x}_0 \sim \mathcal{N}(\boldsymbol{\mu}_0, \boldsymbol{\Sigma}_0)\)。在此假设下,时刻 \(s\) 的先验最优 MMSE 去噪器退化为闭式线性滤波器 \(\mathbf{x}_0^* = (\bar{\alpha}_s\boldsymbol{\Sigma}_0 + (1-\bar{\alpha}_s)\mathbf{I})^{-1}(\sqrt{\bar{\alpha}_s}\boldsymbol{\Sigma}_0\mathbf{x}_s + (1-\bar{\alpha}_s)\boldsymbol{\mu}_0)\)。以最具代表性的 DPS 算法为例,将其确定性 DDIM 更新规则中的神经网络去噪器替换为该先验最优去噪器,即可得到时域上的单步状态转移方程。然而,由于矩阵求逆与退化算子 \(\mathbf{H}\) 的多重矩阵乘法在 \(S\) 步迭代中相互嵌套,直接在时域分析终端分布极为困难。

针对这一痛点,作者引入了自然图像与常见退化算子(如去模糊、加速 MRI 的 k 空间采样)普遍满足的平移不变性(循环矩阵)假设。在酉离散傅里叶变换基 \(\mathbf{F}\) 下,先验协方差矩阵 \(\boldsymbol{\Sigma}_0\) 与退化矩阵 \(\mathbf{H}\) 可同时被对角化为频谱特征值矩阵 \(\boldsymbol{\Lambda}_0 = \mathrm{diag}(\lambda_1, \dots, \lambda_d)\) 与 \(\boldsymbol{\Lambda}_h\)。由此,频域中的单步逆向更新 \(\mathbf{x}_{s-1}^{\mathcal{F}} = \mathbf{G}(s)\mathbf{x}_s^{\mathcal{F}} + \mathbf{Q}(s)\mathbf{y}^{\mathcal{F}} + \mathbf{M}(s)\boldsymbol{\mu}_0^{\mathcal{F}}\) 完全解耦为 \(d\) 个互不干扰的标量递归方程。将这 \(S\) 步递归从纯高斯噪声 \(\mathbf{x}_S^{\mathcal{F}} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})\) 展开至 \(s=0\),即可将整个扩散采样过程化简为线性传递函数形式:

\[\mathbf{\hat{x}}_{0,\text{DPS}}^{\mathcal{F}} = \mathbf{D}_1\mathbf{x}_S^{\mathcal{F}} + \mathbf{D}_2\mathbf{y}^{\mathcal{F}} + \mathbf{D}_3\boldsymbol{\mu}_0^{\mathcal{F}}, \quad \mathbf{\hat{x}}_{0,\text{DPS}}^{\mathcal{F}} \mid \mathbf{y}^{\mathcal{F}} \sim \mathcal{N}(\mathbf{D}_2\mathbf{y}^{\mathcal{F}} + \mathbf{D}_3\boldsymbol{\mu}_0^{\mathcal{F}}, \mathbf{D}_1^2)\]

其中对角矩阵 \(\mathbf{D}_1, \mathbf{D}_2, \mathbf{D}_3\) 是扩散噪声调度 \(\bar{\boldsymbol{\alpha}}\)、先验频谱 \(\boldsymbol{\Lambda}_0\)、退化频谱 \(\boldsymbol{\Lambda}_h\) 以及待求引导权重序列 \(\boldsymbol{\zeta} = \{\zeta_s\}_{s=1}^S\) 的显式解析函数。同样的推导范式可直接无缝推广至 \(\Pi\text{GDM}\)(将不确定性参数 \(r_s\) 与引导权重 \(g_s\) 解耦)以及基于半二次分裂(HQS)投影的 DiffPIR(将标量正则化参数 \(\lambda\) 扩展为时间步相关的序列 \(\{\lambda_s\}_{s=1}^S\)),从而把不同流派的零样本采样器统一到了同一个频域高斯后验分布框架下。

2. 理想高斯后验最优去噪器与采样基准:构建可解析的理论性能上界

在评估近似后验采样器时,真实世界中往往每个退化观测 \(\mathbf{y}\) 仅对应唯一一个干净样本 \(\mathbf{x}_0\),无法直接衡量采样器生成的样本分布与真实条件后验分布之间的差距。为了提供严格的分布级评估基准,作者在第四节进一步推导了同时 conditioned 在扩散状态 \(\mathbf{x}_t\) 与测量值 \(\mathbf{y}\) 上的理想后验最优去噪器(Theorem 4.1)。通过最大化条件对数后验概率 \(\log p(\mathbf{x}_0 \mid \mathbf{x}_t, \mathbf{y})\),该精确去噪器等价于广义 Wiener 滤波器:

\[\mathbf{\tilde{x}}_0 = \left((1-\bar{\alpha}_t)\boldsymbol{\Sigma}_0\mathbf{H}^T\mathbf{H} + \sigma_y^2\bar{\alpha}_t\boldsymbol{\Sigma}_0 + \sigma_y^2(1-\bar{\alpha}_t)\mathbf{I}\right)^{-1}\left((1-\bar{\alpha}_t)\boldsymbol{\Sigma}_0\mathbf{H}^T\mathbf{y} + \sigma_y^2\sqrt{\bar{\alpha}_t}\boldsymbol{\Sigma}_0\mathbf{x}_t + \sigma_y^2(1-\bar{\alpha}_t)\boldsymbol{\mu}_0\right)\]

将该理想去噪器代入确定性 DDIM 逆向过程并在频域对角化展开后,同样可以得到理想采样器的闭式输出分布 \(p(\mathbf{\hat{x}}_{0,\text{opt}}^{\mathcal{F}} \mid \mathbf{y}^{\mathcal{F}}) \sim \mathcal{N}(\mathbf{V}_2\mathbf{y}^{\mathcal{F}} + \mathbf{V}_3\boldsymbol{\mu}_0^{\mathcal{F}}, \mathbf{V}_1^2)\)。这一解析分布不仅揭示了有限步 DDIM 离散化本身在理想条件得分下所能达到的极限性能,还作为一把理论标尺,用来检验各种免训练近似算法在经过频域权重优化后究竟能逼近理想后验到何种程度。

3. 基于平均Wasserstein-2距离的引导权重优化:兼顾单样本自适应与全局系统免重算

有了近似采样器的输出分布 \(p(\mathbf{\hat{x}}_0^{\mathcal{F}} \mid \mathbf{y}^{\mathcal{F}}; \boldsymbol{\zeta}, \bar{\boldsymbol{\alpha}})\) 与真实高斯后验分布 \(p(\mathbf{x}_0^{\mathcal{F}} \mid \mathbf{y}^{\mathcal{F}}) = \mathcal{N}(\mathbf{A}\mathbf{y}^{\mathcal{F}} + (\mathbf{I}-\mathbf{A}\boldsymbol{\Lambda}_h)\boldsymbol{\mu}_0^{\mathcal{F}}, \boldsymbol{\Lambda}_{\mathbf{x}_0|\mathbf{y}})\)(其中 \(\mathbf{A} = \boldsymbol{\Lambda}_0\boldsymbol{\Lambda}_h^*(\boldsymbol{\Lambda}_h\boldsymbol{\Lambda}_0\boldsymbol{\Lambda}_h^* + \sigma_y^2\mathbf{I})^{-1}\),后验特征值为 \(\{\tilde{\lambda}_i\}_{i=1}^d\)),选择引导权重 \(\boldsymbol{\zeta}\) 的启发式问题就转化为了直接最小化两个分布之间统计距离的数学规划问题。作者选用平均 Wasserstein-2(\(W_2\))距离作为目标函数,因为它能同时约束后验协方差(决定样本多样性与纹理自然度)和后验均值(决定测量保真度)。

该目标函数支持两种灵活的求解模式。第一种是针对单个具体观测 \(\mathbf{y}\) 的逐样本优化(\(K=1\)),此时优化目标退化为单实现的标准 \(W_2^2\) 距离。第二种也是更具实用价值的全局期望模式(Large \(K\)):当对测量分布 \(p(\mathbf{y})\) 取期望时,单个观测 \(\mathbf{y}^{\mathcal{F}}\) 被积分消去,目标函数化简为仅依赖先验统计量与退化系统的闭式表达式:

\[\left[\mathcal{D}_{W_2}^2\right]_{\text{Avg}} = \sum_{i=1}^d \left(\sqrt{\tilde{\lambda}_i} - [\mathbf{D}_1]_i\right)^2 + \operatorname{Tr}\left(\mathbf{M}^T\mathbf{M}(\boldsymbol{\Lambda}_h\boldsymbol{\Lambda}_0\boldsymbol{\Lambda}_h^* + \sigma_y^2\mathbf{I})\right) + \|\mathbf{M}\boldsymbol{\Lambda}_h\boldsymbol{\mu}_0^{\mathcal{F}} + \mathbf{b}\|_2^2\]

其中 \(\mathbf{M} = \mathbf{D}_2 - \mathbf{A}\),\(\mathbf{b} = (\mathbf{D}_3 - \mathbf{I} + \mathbf{A}\boldsymbol{\Lambda}_h)\boldsymbol{\mu}_0^{\mathcal{F}}\)。这一期望形式的巧妙之处在于,对于给定的数据集、退化算子 \(\mathbf{H}\) 和扩散步数 \(S\),只需在推理前离线求解一次该优化问题,所得的最优频域权重推荐值 \(\boldsymbol{\zeta}^*\) 即可直接复用于该退化系统下的所有测试图像,实现推理阶段的零额外计算开销。

损失函数 / 训练策略

本文属于免训练(training-free)推理引导框架,无需对扩散模型权重进行微调(仅在 fastMRI 数据集上因缺乏开源模型而按标准 DDPM 流程预训练了一个 U-Net 先验模型,使用 8 张 A40 GPU、batch size 16、学习率 \(10^{-4}\) 训练 80,000 步)。在实际应用于彩色真实图像数据集(如 \(256 \times 256 \times 3\) 的 FFHQ 与 ImageNet)时,先通过块循环矩阵(BCCB)结构在 2D DFT 域估计跨通道功率谱以拟合高斯先验 \(\boldsymbol{\Lambda}_0\)。为加速高维分辨率下的引导权重优化,作者采用了两项策略:一是通过 PCA 低秩近似仅保留最显著的特征方向以降低频率维度;二是采用由粗到细的迭代初始化(先在极少步数如 \(S=10\) 下快速收敛,再插值作为更多步数 \(S\) 的初始值),使用 SciPy 中的 SLSQP / L-BFGS-B 算法(最大迭代 2500 次,容差 \(10^{-6}\))在普通 CPU 上即可高效求解(例如 \(S=50\) 仅需 13.73 秒,\(S=100\) 仅需 32.40 秒)。

实验关键数据

主实验

作者在 FFHQ \(256\times 256\)、ImageNet \(256\times 256\) 以及单线圈膝关节磁共振成像数据集 fastMRI \(320\times 320\) 上进行了系统评测。下表展示了在低通滤波退化(LPF,保留频率比例 \(\mathcal{V}=0.1\),高斯噪声 \(\sigma_y=0.1\))下,将本文求解的频域推荐权重(Spectral)应用于 DPS 框架与原始 DPS 启发式权重在 1,000 张 FFHQ 验证集图像上的定量对比(对应原文 Table 1):

扩散步数 \(S\) 方法 PSNR \(\uparrow\) SSIM \(\uparrow\) LPIPS \(\downarrow\) FID \(\downarrow\)
50 DPS 启发式 16.00 0.35 0.57 69.13
50 Spectral(本文) 25.55 0.69 0.32 50.86
100 DPS 启发式 18.31 0.43 0.51 62.68
100 Spectral(本文) 27.82 0.80 0.23 41.31
150 DPS 启发式 19.82 0.49 0.45 58.12
150 Spectral(本文) 28.10 0.79 0.23 37.51
200 DPS 启发式 20.76 0.53 0.43 55.88
200 Spectral(本文) 28.31 0.80 0.22 35.27

此外,在天契合频域对角化假设的 fastMRI 临床重建任务中,作者测试了 LPF(\(\mathcal{V}=0.1\))以及加速因子 \(R \in \{4, 8, 12\}\) 的水平频率欠采样(k 空间加速采集,\(\sigma_y=0.1\))。下表汇总了不同步数下的 PSNR(\(\uparrow\))表现(对应原文 Table 2 与 Table 4):

扩散步数 \(S\) 方法 LPF (\(\mathcal{V}=0.1\)) MRI \(R=4\) (PSNR / SSIM / FID) MRI \(R=8\) (PSNR / SSIM / FID) MRI \(R=12\) (PSNR / SSIM / FID)
50 DPS 启发式 (\(\zeta'=0.1\)) 17.98 18.32 / 0.26 / 110.15 17.62 / 0.23 / 120.27 17.10 / 0.20 / 129.92
50 Spectral(本文) 23.20 21.66 / 0.31 / 107.17 19.21 / 0.23 / 143.15 17.57 / 0.21 / 142.00
100 DPS 启发式 (\(\zeta'=0.1\)) 19.56 19.78 / 0.27 / 75.06 19.06 / 0.27 / 102.31 18.26 / 0.24 / 114.59
100 Spectral(本文) 24.62 23.44 / 0.40 / 75.05 20.61 / 0.29 / 103.48 18.82 / 0.25 / 119.50
150 DPS 启发式 (\(\zeta'=0.1\)) 20.39 20.29 / 0.27 / 68.59 19.79 / 0.27 / 88.74 18.96 / 0.26 / 96.63
150 Spectral(本文) 24.90 24.08 / 0.44 / 65.66 21.25 / 0.32 / 86.19 19.31 / 0.26 / 95.15
200 DPS 启发式 (\(\zeta'=0.1\)) 20.82 20.57 / 0.27 / 67.56 19.99 / 0.26 / 83.13 19.27 / 0.27 / 92.89
200 Spectral(本文) 24.95 24.44 / 0.46 / 61.59 21.75 / 0.34 / 81.99 19.61 / 0.27 / 90.55

(注:原文正文中 Table 2 的 \(R=4\) 列将 DPS 与 Spectral 的数值误印成了相同的 21.66 / 23.44 / 24.08 / 24.44,而在附录 Table 4 的详细评测中给出了真实的 DPS 对比值 18.32 / 19.78 / 20.29 / 20.57;同时 \(R=8\) 在 150/200 步存在 21.26/21.76 与 21.25/21.75 的末位舍入差异,上表已结合 Table 4 补全真实对照数据。)

消融实验

为验证框架的通用性(跨采样器泛化、非平移不变退化泛化)以及全局期望优化(Spectral)与单样本独立优化(Spectral \(K=1\))的差异,下表整理了在 FFHQ 上针对投影式算法 DiffPIR 的三种退化实验(原文 Table 5)以及固定观测下生成 1,000 次重构的后验采样模式对比(原文 Table 6):

实验维度与任务设置 方法 / 优化配置 步数 \(S=50\) (PSNR / SSIM / LPIPS / FID) 步数 \(S=100\) (PSNR / SSIM / LPIPS / FID) 步数 \(S=200\) (PSNR / SSIM / LPIPS / FID) 步数 \(S=400\) (PSNR / SSIM / LPIPS / FID)
DiffPIR: LPF (\(\mathcal{V}=0.1\)) DiffPIR 启发式 (\(\lambda=7\)) 18.65 / 0.56 / 0.36 / 41.03 18.16 / 0.55 / 0.36 / 39.74 18.20 / 0.56 / 0.35 / 39.58 -
DiffPIR: LPF (\(\mathcal{V}=0.1\)) DiffPIR + Spectral 19.45 / 0.60 / 0.32 / 40.22 19.60 / 0.61 / 0.32 / 39.69 19.86 / 0.62 / 0.31 / 38.60 -
DiffPIR: 随机修复 (70% 缺失) DiffPIR 启发式 (\(\lambda=7\)) 29.40 / 0.78 / 0.23 / 35.62 30.27 / 0.82 / 0.20 / 28.06 30.83 / 0.85 / 0.18 / 24.25 -
DiffPIR: 随机修复 (70% 缺失) DiffPIR + Spectral 29.95 / 0.82 / 0.21 / 32.74 30.65 / 0.86 / 0.19 / 29.03 30.98 / 0.87 / 0.18 / 23.07 -
DiffPIR: 方框修复 (\(128\times 128\)) DiffPIR 启发式 (\(\lambda=6\)) 23.37 / 0.62 / 0.32 / 57.73 23.89 / 0.64 / 0.32 / 57.11 24.09 / 0.66 / 0.32 / 55.81 -
DiffPIR: 方框修复 (\(128\times 128\)) DiffPIR + Spectral 24.01 / 0.70 / 0.27 / 46.52 24.56 / 0.73 / 0.26 / 46.39 24.76 / 0.76 / 0.26 / 46.25 -
固定观测后验采样 (DPS, LPF) DPS 启发式 12.52 / 0.27 / 0.69 / - 14.99 / 0.35 / 0.61 / - 18.15 / 0.44 / 0.52 / - 21.04 / 0.53 / 0.45 / -
固定观测后验采样 (DPS, LPF) Spectral(全局期望) 16.63 / 0.48 / 0.60 / - 17.55 / 0.51 / 0.56 / - 19.01 / 0.53 / 0.52 / - 23.47 / 0.61 / 0.42 / -
固定观测后验采样 (DPS, LPF) Spectral \(K=1\)(逐样本) 12.95 / 0.38 / 0.66 / - 18.48 / 0.53 / 0.53 / - 22.24 / 0.59 / 0.44 / - 24.76 / 0.63 / 0.39 / -

关键发现

  • 权重曲线形态与传统启发式截然不同:在合成一维高斯实验(\(d=50, \mathcal{V}=0.5\))中,最优频域权重在逆向扩散早期较大、后期逐渐减小,而 DPS 启发式由于除以残差范数呈现出前期极小、后期增大的相反趋势;在真实高维图像(FFHQ/ImageNet, \(\mathcal{V}=0.1\))上,频域优化给出的权重随逆向进程逐步增大且整体量级远高于 DPS 启发式,从而赋予了测量似然更强的约束力。
  • 显著改善少步数下的失真并消除伪影:在 FFHQ LPF 任务上,仅用 50 步的 Spectral 就能达到 25.55 dB PSNR 和 50.86 FID,全面超越跑满 200 步的原版 DPS(20.76 dB PSNR, 55.88 FID)。在极端欠采样(如 MRI \(R=8, 12\) 或 ImageNet 50-100 步)下,原版 DPS 虽然偶尔在少步数下获得略低的 FID,但这是因为其过小的引导权重让生成过程完全被先验主导,导致重建图像偏离观测并在医学图像中凭空捏造出错误的黑斑或丢失病灶白点;而 Spectral 严格保证了信号一致性。
  • 跨非平移不变算子与逐样本自适应的有效性:尽管推导依赖循环矩阵对角化,但在随机像素缺失(70%)和 \(128\times 128\) 方框修复等空间非平移不变任务上,基于循环近似求解的频域权重依然在 DPS 和 DiffPIR 上取得了系统性提升(例如方框修复 FID 从 55.81 降至 46.25)。同时,逐样本求解(\(K=1\))在中高步数(\(S \ge 100\))下比全局期望解还能进一步提升 1.3~3.2 dB PSNR,证明了针对特定观测自适应微调权重的理论潜力。

亮点与洞察

  • 化繁为简的频域线性系统视角:将复杂的多步迭代扩散后验采样置于平移不变高斯先验与循环退化假设下,利用傅里叶变换将矩阵求逆与梯度传递彻底解耦为 \(d\) 个标量传递函数 \(\mathbf{D}_1, \mathbf{D}_2, \mathbf{D}_3\)。这种做法把原本黑盒的迭代调参问题变成了透明度极高的线性系统辨识与频谱匹配问题。
  • 揭示了“低步数下低 FID 假象”背后的先验主导偏差:本文通过后验分布对比敏锐地指出,传统启发式(如小步长 DPS)在少步数下取得较低 FID 并非因为后验采样质量高,而是因为似然引导不足导致采样器退化为无条件先验采样器。这一洞察对于医学成像等对保真度要求极高的逆问题具有重要的警示意义。
  • 方法无关的超参数升级范式:作者不仅限于修正 DPS 的标量步长,还顺势找出了 \(\Pi\text{GDM}\)(用单一参数同时绑死方差不确定性与引导步长)和 DiffPIR(全时间步共享单一静态常数 \(\lambda\))的结构性缺陷,通过拆解参数自由度并接入统一的 \(W_2\) 优化目标,为各类插件式/引导式扩散逆问题算法提供了通用的参数设计编译器。

局限与展望

  • 高斯先验与联合对角化假设的理论边界:闭式推导严格依赖干净信号服从高斯分布,且要求先验协方差 \(\boldsymbol{\Sigma}_0\) 与退化算子 \(\mathbf{H}\) 具有平移不变性以便在 DFT 基下联合对角化。对于严重违反平移不变性的空间时变退化或高度非高斯的复杂多模态分布,近似误差会增大(未来可扩展至高斯混合模型 GMM 先验或无需联合对角化的可计算表示)。
  • 神经网络去噪器替代带来的分布偏移:理论优化时使用的是闭式线性 Wiener 去噪器,而实际推理时挂载的是预训练深度神经网络去噪器 \(\boldsymbol{\epsilon}_\theta\)。这种模型失配会导致在极高步数(如固定观测实验 \(S=500\) 对比 \(S=400\))或极端退化(\(\mathcal{V}=0.01\))下出现轻微的性能回落或局部色彩偏移。
  • 高步数下的离线优化耗时与噪声调度联合优化:虽然离线期望模式只需算一次,但在 CPU 上求解 \(S=600\sim 1000\) 步的优化问题仍需 1000~1900 秒;未来可将优化实现迁移至 GPU 自动微分框架,并进一步将扩散噪声调度 \(\bar{\boldsymbol{\alpha}}\) 与引导权重 \(\boldsymbol{\zeta}\) 进行联合优化。

相关工作与启发

  • vs DPS (Chung et al., ICLR 2023) / \(\Pi\text{GDM}\) (Song et al., ICLR 2023):这两者分别采用点估计与高斯方差近似条件似然,但均依赖经验法则设定步长(如反比于残差范数或绑定噪声调度);本文保留了它们的采样骨架,但用频域 \(W_2\) 最优权重取代了经验系数,在大幅提升 PSNR 的同时减少了所需采样步数。
  • vs DiffPIR (Zhu et al., CVPR 2023):DiffPIR 基于 HQS 将数据一致性子问题与扩散去噪解耦,但其超参数 \(\lambda\) 需要针对不同任务人工网格搜索且全程固定;本文将 \(\lambda\) 推广为随时间步动态变化的频域优化序列 \(\{\lambda_s\}\),在 LPF 和图像修复上均超越了人工调优配置。
  • vs 高斯频域扩散分析 (Benita et al., 2025 / [4] & [3]):前作利用频域传递函数优化无条件先验采样的噪声调度,或仅针对纯去噪任务进行逐样本在线推理优化;本文首次将该频域传递函数框架系统拓展至含一般线性退化算子 \(\mathbf{H}\) 的后验采样与理想 Wiener 后验去噪器,并通过对观测分布取期望实现了免逐样本重算的离线权重设计。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 将频域传递函数与闭式高斯后验分析引入零样本扩散逆问题,优雅地把启发式调参转化为平均 Wasserstein-2 距离最小化问题。
  • 实验充分度: ⭐⭐⭐⭐☆ 涵盖合成高斯、FFHQ、ImageNet 与 fastMRI 四个基准,横跨 DPS、\(\Pi\text{GDM}\)、DiffPIR 三种主流算法及去模糊、加速 MRI、图像修复等多种退化。
  • 写作质量: ⭐⭐⭐⭐☆ 主线逻辑清晰、附录数学推导详尽完备,但正文中 Table 2 的 \(R=4\) 列存在数据复制笔误(需对照附录 Table 4 核实)。
  • 价值: ⭐⭐⭐⭐☆ 为扩散模型逆问题求解提供了一套免训练、零推理开销且可复用的引导参数自动设计工具,在医学成像等高保真场景实用价值突出。