NPN: Non-Linear Projections of the Null-Space for Imaging Inverse Problems¶

会议: NeurIPS 2025
arXiv: 2510.01608
代码: GitHub
领域: 扩散模型 / 图像生成
关键词: 零空间投影, 成像反问题, 正则化, 即插即用方法, 压缩感知

一句话总结¶

提出非线性零空间投影 (NPN)——一种新型正则化策略，训练神经网络从观测中预测信号在感知矩阵零空间低维子空间上的投影系数，将此作为"看不见的特征"的先验约束，可灵活嵌入 PnP、展开网络、DIP 和扩散模型等多种重建框架，理论证明了 PnP 算法中的收敛加速。

研究背景与动机¶

成像反问题旨在从欠采样、带噪的测量 \(\mathbf{y} = \mathbf{H}\mathbf{x}^* + \boldsymbol{\omega}\) 中恢复高维信号 \(\mathbf{x}^*\)，是图像去模糊、超分辨率、MRI、CT、压缩感知等任务的核心。问题的病态性源于感知矩阵 \(\mathbf{H}\) 的非平凡零空间——零空间方向上的信号分量对测量完全不可见，导致解的无穷多可能性。

现有学习型先验的核心局限：

图像域先验（如 PnP 中的去噪器、生成模型先验）关注信号整体结构，但不显式考虑零空间几何。去噪器可能任意修改零空间分量，因为数据保真项 \(g(\tilde{\mathbf{x}})\) 无法约束这些方向

零空间网络（NSN、DDN）利用 range-null 分解，但使用完整的零空间投影算子 \(\mathbf{I} - \mathbf{H}^\dagger\mathbf{H}\)，维度仍高达 \(n-m\)，且与具体重建算法耦合

NPN 的关键洞察：不需要学习完整零空间中的所有信息，只需在零空间中选择一个信息量最大的低维子空间。训练一个轻量网络从测量直接预测这些子空间系数，即可提供感知矩阵特定的、与测量正交的补充信息。这本质上是一个维度约简的思路——在 \(p \leq (n-m)\) 维子空间上学习非线性映射，远比在完整信号空间学习容易。

方法详解¶

整体框架¶

给定感知矩阵 \(\mathbf{H} \in \mathbb{R}^{m \times n}\)，设计投影矩阵 \(\mathbf{S} \in \mathbb{R}^{p \times n}\)（其行向量在 \(\text{Null}(\mathbf{H})\) 中），训练网络 \(G^*: \mathbb{R}^m \to \mathbb{R}^p\) 使得 \(G^*(\mathbf{y}) \approx \mathbf{S}\mathbf{x}^*\)。将 NPN 正则项 \(\phi(\tilde{\mathbf{x}}) = \|G^*(\mathbf{y}) - \mathbf{S}\tilde{\mathbf{x}}\|_2^2\) 加入任意重建框架。

关键设计¶

投影矩阵 \(\mathbf{S}\) 的设计:
- 压缩感知 (CS)：\(\mathbf{H}\) 为稠密随机矩阵，\(\mathbf{S}\) 通过 QR 分解正交化获得
- MRI：\(\mathbf{H}\) 是欠采样 2D DFT 的子行集合，\(\mathbf{S}\) 取互补频率行（未采样的 k-space 线），天然正交
- CT：\(\mathbf{S}\) 为 Radon 矩阵中未采集角度对应的行
- 去模糊/超分辨：\(\mathbf{S}[i,i+j] = 1 - \mathbf{h}[j]\)，在频域上阻断 \(\mathbf{H}\) 采样的低频
- 设计动机：针对不同感知矩阵结构，利用先验知识构造最信息化的零空间子空间
联合优化 \(G\) 和 \(\mathbf{S}\):
- 优化目标包含三项：\(\min_{G,\tilde{\mathbf{S}}} \mathbb{E}\|G(\mathbf{Hx}^*) - \tilde{\mathbf{S}}\mathbf{x}^*\|_2^2 + \lambda_1\|\mathbf{x}^* - \mathbf{A}^\dagger \mathbf{A}\mathbf{x}^*\|_2^2 + \lambda_2\|\mathbf{A}^\top\mathbf{A} - \mathbf{I}\|_2^2\)
- 其中 \(\mathbf{A} = [\mathbf{H}^\top, \tilde{\mathbf{S}}^\top]^\top\)
- 第二项强制 \(\mathbf{S}\) 和 \(\mathbf{H}\) 的行空间近似正交；第三项保证合并系统满秩
- 设计动机：初始 \(\mathbf{S}\) 基于先验设计，联合优化让子空间适应数据统计特性
收敛加速理论 (Theorem 1):
- PnP-NPN 的收敛率 \(\rho = (1+\delta)\left(\|\mathbf{I} - \alpha(\mathbf{H}^\top\mathbf{H} + \mathbf{S}^\top\mathbf{S})\|_2^2 + (1+\Delta_{\mathcal{M}_D}^S)\|\mathbf{S}\|_2^2\right)\)
- 由于 \(\mathbf{S}\) 正交于 \(\mathbf{H}\)，算子范数 \(\|\mathbf{I} - \alpha(\mathbf{H}^\top\mathbf{H} + \mathbf{S}^\top\mathbf{S})\|\) 小，保证 \(\rho < 1\)
- 收敛改善区间 (CIZ)：NPN 仅在 \(\|N(\mathbf{Hx})\|^2 \leq \|\mathbf{S}(\tilde{\mathbf{x}}^\ell - \mathbf{x}^*)\|^2\) 时提供加速
正则化收敛 (Theorem 2):
- 随迭代进行，NPN 正则项渐近有界：\(\lim_{\ell\to\infty} \phi(\mathbf{x}^{\ell+1}) \leq K\|\mathbf{x}^*\|_2^2(1 + \Delta_{\mathcal{M}_D}^H)\)
- 上界取决于网络近似误差的 Lipschitz 常数 \(K\) 和感知矩阵的 RIP 常数

多框架集成¶

PnP-FISTA / PnP-ADMM：作为额外正则项
展开网络：端到端训练中嵌入 NPN 近端步
Deep Image Prior (DIP)：作为额外损失项
扩散模型（DPS、DiffPIR）：在采样过程中添加 NPN 梯度引导

实验关键数据¶

主实验：多反问题 PSNR 对比 (dB)¶

反问题	稀疏基线	PnP基线	NPN+PnP	NSN (DNSN)	DDN-C
CS (\(m/n=0.1\))	15.93	20.04	21.12	20.10	20.03
MRI (AF=4)	36.86	35.99	38.08	35.2	33.7
去模糊 (\(\sigma=2\))	29.27	30.78	31.42	33.07	33.03

消融实验：投影比率 \(p/n\) 和泛化性（CS）¶

\(p/n\)	PnP (CIFAR10)	PnP (STL10)	展开 (CIFAR10)	展开 (STL10)
0 (基线)	20.04	20.09	24.32	18.35
0.1	21.12	19.91	28.53	19.64
0.3	21.07	21.14	28.75	20.23
0.5	20.78	20.77	27.64	18.76
0.9	20.41	21.02	29.90	19.48

扩散模型集成效果（去模糊）¶

方法	\(\gamma=0\) (基线)	最佳 \(\gamma\)	提升
NPN-DPS	28.22	30.07 (\(\gamma=0.2\))	+1.85 dB
NPN-DiffPIR	31.30	31.91 (\(\gamma=10^{-4}\))	+0.61 dB

关键发现¶

NPN 在 CIZ 内提供最大 ~10x 的每步误差缩减比（Figure 2c），实证验证了 Theorem 1
\(p/n \approx 0.3\) 是精度和鲁棒性的最佳平衡点，过高会引入冗余
联合优化 \(\mathbf{S}\) 比固定 QR 初始化显著缩小 CIZ 外的性能差距
DIP 中 NPN 可带来高达 5 dB 的改善，说明即使在无训练数据的单图框架中零空间先验也有效

亮点与洞察¶

几何直觉极强：Figure 1 的 \(\mathbb{R}^3\) 玩具示例清晰展示了为什么在零空间子空间学习映射比直接重建更准确——降维使学习任务更简单，且对分布外样本更鲁棒
框架灵活性出色：同一 NPN 正则项可无缝嵌入从传统迭代算法到最新扩散模型的各种重建管线

局限与展望¶

需要为每种感知矩阵配置 \((\mathbf{H}, \mathbf{S})\) 单独训练网络 \(G\)，虽然网络轻量但增加了部署复杂性
展开网络集成目前是两阶段训练，端到端联合训练可能进一步提升性能
\(\mathbf{S}\) 的设计在某些矩阵结构下可能失效（当 \(\mathbf{Hx}\) 和 \(\mathbf{Sx}\) 之间不存在可学习的非线性关系时）

评分¶

新颖性: ⭐⭐⭐⭐ 零空间低维子空间学习的视角新颖，几何直觉清晰
实验充分度: ⭐⭐⭐⭐⭐ 五种反问题、PnP/展开/DIP/扩散四种框架全覆盖，消融充分
写作质量: ⭐⭐⭐⭐ 理论和实验组织良好，Figure 1 的几何解释尤佳
价值: ⭐⭐⭐⭐ 作为通用正则化工具实用价值高，可直接改善现有重建管线