Manifold Prior Guided Deep Unfolding for Hyperspectral Image Reconstruction¶

会议: NeurIPS 2026
arXiv: 2610.27874
OpenReview: https://openreview.net/forum?id=DjKpFjPFoO
代码: https://github.com/SqLiu67/MPG-DU
领域: 遥感
关键词: 高光谱图像重建, 深度展开网络, 流形先验, Mamba 状态空间模型, 快照压缩成像

一句话总结¶

针对传统深度展开网络中投影步场景无感知光谱缩放与去噪器高复杂度或局部感受野局限，本文提出两阶段扩散流形先验引导的深度展开框架，将无退化低维流形表征同时注入光谱自适应加权投影与线性复杂度 Mamba 去噪器，在 CASSI 与滤光片型快照压缩成像系统上均刷新 SOTA。

研究背景与动机¶

高光谱成像（HSI）通过获取连续而密集的光谱波段，能够实现精细材质辨识、环境遥感监测以及精准医疗诊断。然而，传统线扫描或摆扫光谱仪严重依赖耗时的机械扫描，无法满足动态场景的实时成像需求。基于压缩感知（CS）的快照压缩成像（SCI）技术应运而生，其通过光学编码硬件将高维 3D 高光谱数据立方体压缩编码至单幅 2D 探测器测量值中，从而将成像负担转移给后端的计算重建算法。

在现有的重建算法中，深度展开网络（DUNs）因兼具物理成像模型的几何可解释性与深度神经网络强大的拟合表征能力而成为主流。然而，现有深度展开框架在应对高光谱数据特性时暴露出两大学习机制与物理模型脱节的痛点：第一，在数据保真度投影步中，投影更新项完全受物理测量矩阵的缩放因子所主导，该因子仅反映硬件系统的物理调制比例而完全脱离输入场景真实的光谱能量分布，导致跨波段投影时施加了场景无感知的恒定修正，引发重建结果中严重的光谱能量分配失衡；第二，在近端去噪模块中，现有网络要么基于 Transformer 导致随空间分辨率呈二次方增长的计算与显存开销，要么依赖局限于小局部感受野的 CNN，且去噪器各阶段均直接作用于受噪声和伪影严重污染的中间估计，缺乏无退化干净结构的强先验参照。

针对上述两大约束，本文从高光谱空间-光谱 patch 在高维空间中内在聚类于低维光滑流形的几何几何结构出发，提出通过两阶段流形学习显式提取无退化流形坐标，并将其作为全局结构先验协同注入物理投影与去噪模块。核心 idea：通过两阶段流形压缩与条件扩散推理提取无退化的紧凑空间-光谱流形先验，在保真度投影步自适应调节各光谱波段物理校正权重，并在近端去噪步构建先验调制的线性复杂度 Mamba 与跨先验注意力双分支，实现物理一致性与全局空间-光谱感知协同的高保真重建。

方法详解¶

整体框架¶

本文方法将高光谱图像重建重构为广义交替投影（GAP）优化框架下的深度展开网络。整体管线由先验生成、先验引导的数据一致性投影以及流形先验调制的近端去噪三部分构成。首先，从初始反投影估计中通过训练好的轻量级条件扩散模型推导出无退化的低维流形先验；随后，在每一个展开阶段中，该流形先验一方面输入轻量 MLP 生成光谱自适应权重，动态校准反投影更新方向，另一方面作为空间-光谱结构上下文调制 SS2D 状态空间扫描并注入注意力分支，驱动去噪特征向真实高光谱流形演进。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["2D 压缩测量 y + 物理感知矩阵 A"] --> B["反投影初始化 z0"]
    B --> C["条件扩散流形先验推理<br/>输出低维流形坐标 p"]
    C --> D["先验引导光谱加权投影<br/>动态校准物理保真度步长"]
    D --> E["流形引导 Mamba 去噪器<br/>先验仿射调制 SS2D 扫描 + 跨先验注意力"]
    E -->|K 阶段迭代展开优化| F["高保真 3D 高光谱立方体 xk"]

关键设计¶

1. 两阶段流形先验生成与条件扩散推理：彻底摆脱推断阶段干净参考依赖 高光谱图像虽然维度极高，但由于波段间极强的相关性和空间平滑性，根据低维流形模型（LDMM），其局部 patch 构成的点云紧密分布于低维光滑子流形集合 $\mathcal{M}=\bigcup_{\ell=1}^L \mathcal{M}_\ell$ 上。传统图拉普拉斯方法需要高昂的全局图构建成本，本文设计了分层卷积架构的流形压缩器 $\mathcal{E}_{\mathrm{mc}}$，在训练阶段（Stage 1）以无退化干净参考 $\mathbf{z}^*$ 与初始反投影 $\mathbf{z}_0$ 拼接作为输入，通过逐级下采样与残差卷积直接拟合流形内蕴坐标 $\mathbf{p}=\mathcal{E}_{\mathrm{mc}}([\mathbf{z}^*;\mathbf{z}_0])$。为了在测试阶段仅依靠测量值即可获得等价先验，在 Stage 2 构建了基于条件扩散模型的推理网络：前向过程对 $\mathbf{p}$ 逐步加噪生成 $\mathbf{p}_t$，反向去噪过程则以反投影编码 $\mathbf{c}=\mathcal{E}_{\mathrm{mc}}(\mathbf{z}_0)$ 和归一化时间步 $\tilde{t}$ 为条件，通过去噪网络 $\mathcal{D}_\theta([\mathbf{p}_t; \mathbf{c}; \tilde{t}])$ 迭代预测出干净流形坐标估计 $\hat{\mathbf{p}}$，从而使后续深度展开网络在推理期拥有无退化的全局几何结构指导。

2. 先验引导光谱自适应权重：破解物理投影中场景无关的能量分配失衡 在常规 GAP 展开投影中，物理矩阵正交积的对角矩阵 $\mathbf{\Phi}_s = \mathrm{diag}(\mathbf{A}\mathbf{A}^\top)$ 仅由硬件编码模板决定，致使反投影梯度残差以固定的系统比例分配到各波段，忽略了不同波长在当前特定场景下的能量分布差异。为解决这一硬性缺陷，本文利用流形先验中蕴含的全场景光谱能量特征，引入全局空间池化与轻量 MLP，通过 Softplus 非线性激活构建非负的光谱自适应权重向量 $\mathbf{w}_{\mathrm{spec}} \in \mathbb{R}^{N_\lambda}$： $$\mathbf{w}_{\mathrm{spec}} = \mathrm{Softplus}\left(\mathrm{MLP}\left(\mathrm{Pool}(\mathbf{p})\right) + \mathbf{b}_0\right)$$ 该权重以通道逐元素相乘方式作用于投影梯度修正项：$\mathbf{x}^{(k+1)} = \mathbf{z}^{(k)} + \left(\mathbf{A}^\top(\mathbf{y} - \mathbf{A}\mathbf{z}^{(k)}) / \mathbf{\Phi}_s\right) \odot \mathbf{w}_{\mathrm{spec}}$。Softplus 保证了步长缩放的严格正定性与物理可逆性，使网络能够根据具体地物材质的光谱吸收/反射峰自适应增强关键波段残差更新强度，有效校正由于硬件调制引起的偏色与能量失真。

3. 流形引导 Mamba 空间-光谱去噪器：结合线性状态空间模型与全局结构先验调制 高光谱图像去噪亟需兼顾长程跨空间-光谱依赖建模与可承受的计算复杂度。针对传统自注意力机制二次方开销与纯 Mamba 沿固定扫描路径缺乏全局拓扑感知的缺陷，本文提出了双分支协同的流形先验引导去噪模块。在 Prior-Guided Mamba 主分支中，低维流形先验 $\mathbf{p}$ 经线性投影与双线性插值生成与特征图同分辨率的逐像素缩放因子 $\mathbf{s}$ 与平移因子 $\mathbf{t}$，对规范化后的特征 $\mathbf{x}_k$ 施加特征级仿射变换：$\tilde{\mathbf{x}}_k = \mathrm{Norm}(\mathbf{x}_k) \odot (1 + \mathbf{s}) + \mathbf{t}$。经先验空间调校后的特征进一步展平成四个方向序列，输入二维选择性扫描状态空间模块（SS2D），实现 $\mathcal{O}(N)$ 线性复杂度的高效长程建模；与该分支并行，Cross-Prior Attention 模块通过 MBConv 与卷积提取特征 Query，与先验映射得到的 Key、Value 进行交叉聚合，强化细粒度空间细节。两分支特征最后通过 $1\times 1$ 卷积融合与 FFN 残差更新，完成单阶段近端去噪。

损失函数 / 训练策略¶

网络训练分为两个连续阶段： - 第一阶段（骨干与流形压缩器预训练，1–30 epoch）：同时端到端优化流形压缩器 $\mathcal{E}_{\mathrm{mc}}$ 与深度展开网络，使用 Charbonnier 损失函数监督最终展开输出与干净真实高光谱图像的残差：$\mathcal{L}_1 = \|\mathbf{z}^* - \mathbf{z}_k\|_{\mathrm{CB}}$。 - 第二阶段（条件扩散先验对齐与联合微调，31–100 epoch）：引入条件扩散网络推导先验 $\hat{\mathbf{p}}$，以第一阶段训练好的 $\mathbf{p}$ 为监督目标，使用复合损失函数进行联合优化： $$\mathcal{L}_2 = \|\mathbf{z}^* - \mathbf{z}_k\|_{\mathrm{CB}} + \|\mathbf{p} - \hat{\mathbf{p}}\|_{\mathrm{CB}}$$ 训练采用单块 NVIDIA RTX 3090 GPU，优化器选用 Adam，初始学习率设为 $4 \times 10^{-4}$，在 100 个 epoch 内按余弦退火策略逐步衰减至 $1 \times 10^{-6}$。

实验关键数据¶

主实验¶

实验在滤光片型快照光谱成像系统（基于 Fabry-Pérot 结构模拟，覆盖 450~650nm 的 28 个波段）和经典 CASSI 衍射成像系统两个主流硬件配置下开展。对比方法覆盖了经典 Transformer 类（MST、SPECAT）、深度展开类（DAUHST、PADUT、DLADUN）以及结合扩散先验的最新 SOTA 展开方法（LADE-DUN）。

下表汇报了在滤光片型高光谱仿真数据集（10 个测试场景）上的参数量、FLOPs、平均 PSNR 与 SSIM 对比：

方法	参数量 (M)	FLOPs (G)	PSNR (dB)	SSIM
MST	2.03	28.15	35.48	0.946
DSMT	12.40	44.94	37.21	0.967
DAUHST-9stg	6.15	79.50	38.53	0.971
PADUT-12stg	5.38	90.46	38.89	0.977
DLADUN-9stg	3.94	196.26	40.28	0.982
SPECAT	0.29	12.40	40.37	0.986
LADE-DUN-3stg	2.56	32.92	38.31	0.972
LADE-DUN-9stg	3.06	86.23	40.57	0.984
Ours-3stg	3.71	33.62	38.76	0.976
Ours-9stg	3.71	70.62	41.37	0.990

在 CASSI 衍射成像仿真系统上的测试中，Ours-9stg 同样取得了 40.24 dB / 0.980 的最优综合表现，超越 LADE-DUN-9stg（39.91 dB / 0.979）、DAUHST-9stg（38.36 dB / 0.967）以及 SPECAT（38.57 dB / 0.979）；即使仅展开 3 个阶段的轻量版本 Ours-3stg，在 CASSI 上亦取得 38.73 dB / 0.974，明显领先 LADE-DUN-3stg 的 38.31 dB。

消融实验¶

基于 CASSI 仿真数据集与 3-stage 基础模型配置，系统验证各个核心设计模块对整体重建指标的渐进增益：

配置	PSNR (dB)	SSIM	参数量 (M)	说明
Mamba baseline	37.02	0.963	1.20	仅使用纯 Mamba 作为近端去噪器基线
+ Cross-Prior Attn	37.62	0.968	3.17	引入流形先验与跨注意力融合，PSNR 提升 0.60 dB
+ Prior-Mamba	38.25	0.969	3.60	引入流形先验仿射调制的 SS2D 扫描，再提升 0.63 dB
+ Prior-Spectral Weight (Full)	38.73	0.974	3.71	引入投影步光谱权重，再提升 0.48 dB (累计提升 1.71 dB)

关键发现¶

物理投影与去噪器双重注入的不可替代性：消融表明，仅改进近端去噪（无论注意力还是 Mamba 调制）均未能完全解决光谱保真度瓶颈；在投影步中引入光谱自适应权重带来了显著的 0.48 dB 提升。光谱剖面可视化对比证明，预测出的光谱权重 $\mathbf{w}_{\mathrm{spec}}$ 与地表各波段真实能量曲线呈现高度吻合，有效纠正了硬件系统带来的带间失衡。
展开阶段权值共享的优越扩展性：Ours-3stg 与 Ours-9stg 共享中间展开阶段的模型权重，参数量恒定为 3.71M，但阶段数从 3 增至 9 使得滤光片系统下的 PSNR 跃升 2.61 dB，证明了深层物理展开迭代对求解逆问题的稳健收敛增益。
精度与吞吐量的综合优势：相比同为 9 阶段扩散先验展开的 LADE-DUN-9stg（Transformer 去噪器），Ours-9stg 不仅 PSNR 高出 0.80 dB，计算复杂度下降 18.1%（70.62G vs 86.23G FLOPs），推理耗时缩短至 132.76 ms，峰值显存占用减少至 0.63 GB。

亮点与洞察¶

流形学习与深度展开的深度正交融合：突破了传统 DUN 仅仅依赖受污染中间图像特征的局限，巧妙通过两阶段（Stage 1 几何压缩 + Stage 2 条件扩散先验推导）构建了无退化的干净几何流形坐标，使传统展开过程获得了稳定全局坐标系的牵引。
对物理投影步的精妙解耦与场景自适应修正：洞察到常规展开中对角矩阵 $\mathbf{\Phi}_s$ 仅反映硬件响应而割裂了场景光谱先验，创新性地将流形特征转化为非负光谱校正权重，既保留了投影算子的物理严格性，又赋予了网络场景感知能力。
可复用的迁移价值：该“两阶段扩散流形坐标压缩 + 物理步长波段重标定 + 仿射调制 Mamba 去噪”的三位一体架构范式，可直接拓展到高光谱超分辨率、多光谱遥感融合及磁共振成像（MRI）等其他病态欠定物理逆问题中。

局限与展望¶

扩散推理带来的额外延迟：尽管先验推理网络本身较为紧凑，但条件扩散模型的采样步数依然增加了单次推理的计算链条，在极端超低延迟边缘遥感设备上部署仍存在提速空间。
复杂噪声泛化场景下的流形偏移：若真实传感器遇到极端非高斯混叠噪声或未知强探测器饱和，Stage 2 条件编码器 $\mathcal{E}_{\mathrm{mc}}(\mathbf{z}_0)$ 生成的条件向量可能发生轻微偏移，导致推测出的流形先验与真实几何产生偏差。未来可探索免扩散的潜空间隐式流形映射或流匹配（Flow Matching）架构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将流形内蕴坐标学习、条件扩散推理与光谱自适应投影深度契合，理论闭环完整]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖滤光片与 CASSI 两大硬件仿真，外加真实物理噪声与真实系统硬件验证，消融详实]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严谨，LDMM 流形论述逻辑清晰，模块架构与消融图文并茂]
价值: ⭐⭐⭐⭐⭐ [为高光谱快照压缩重建提供了兼顾物理可解释性与线性高计算效率的优秀范式]