MArFE: Multi-Contrast MRI Arbitrary Scale Super-Resolution with Fourier Enhancement¶
会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/zhiwen-shi/MArFE
领域: 医学图像
关键词: 多对比度MRI / 任意尺度超分辨率 / 隐式神经表示 / 傅里叶重参数化 / 线性注意力神经算子
一句话总结¶
针对隐式神经表示在医学图像中固有的频谱偏置及多对比度空间坐标融合不足问题，本文提出了频域增强的任意尺度多对比度 MRI 超分辨率框架 MArFE，通过固定傅里叶基底重参数化、非局部 Galerkin 线性注意力神经算子与双域联合损失，实现了连续尺度下高保真高频解剖细节重建。
研究背景与动机¶
磁共振成像（MRI）作为临床心脑血管、软组织与骨关节病变诊断的关键工具，通常包含 T1 加权、T2 加权、FLAIR 和质子密度加权（PDW）等多对比度互补序列。受限于物理采集时间、信噪比与硬件条件之间的物理权衡，临床难以在受限时间内采集全序列高分辨率图像。利用配准的多对比度参考图像来辅助目标低分辨率序列重建是一种常用方案，但经典单图像及多对比度超分辨率深度学习方法大多局限于固定整数放大倍数（如 \(\times 2, \times 4\)），在面对临床多样化的切片厚度及跨设备任意分辨率需求时缺乏灵活性。
隐式神经表示（Implicit Neural Representation, INR）通过将图像离散像素建模为坐标到信号强度的连续映射函数，为任意尺度超分辨率（Arbitrary-Scale Super-Resolution, ASSR）提供了理论基础。然而，传统 INR 在应用于多对比度 MRI 时面临两大核心困境：首先，坐标驱动的 MLP 网络普遍存在严重的频谱偏置（spectral bias），训练过程中强烈倾向于拟合低频轮廓而忽视高频微细结构，使得重建结果过度平滑、丢失边缘纹理；其次，MRI 信号本质采集于复数频域（k-space），现有方法直接沿用自然图像的空间域先验，多对比度信息多通过简单的通道拼接注入，缺乏解码阶段多对比度高维特征与空间相对坐标的深度稠密耦合。
针对频域本质与连续尺度解码的脱节，本文从复数域建模与频域算子视角出发，探索将傅里叶变换的频域先验深度嵌入隐式坐标映射与网络注意力机制中。核心 idea：将多对比度任意尺度超分辨率构建为复数域双分支隐式框架，引入固定傅里叶基底重参数化与非局部 Galerkin 线性注意力神经算子，并辅以空间-频域双重监督，从根本上克服频谱偏置并实现连续坐标下的精确高频纹理重建。
方法详解¶
整体框架¶
MArFE 接收任意分辨率的成对目标低分辨率 MRI（Target LR \(\in \mathbb{R}^{H_{tar} \times W_{tar}}\)）和参考序列图像（Reference LR/HR \(\in \mathbb{R}^{H_{ref} \times W_{ref}}\)）作为复数输入，将实部与虚部分别作为独立通道处理。首先，双分支共享权重的残差密集网络（RDN）提取多尺度浅层特征，并通过最近邻插值按对应缩放因子对齐至统一特征空间尺寸；随后，对齐特征与相对空间坐标编码拼接入隐式解码器，经由傅里叶重参数化模块、非局部 Galerkin 线性注意力神经算子以及稠密循环回环结构，连续解码出目标与参考高分辨率图像。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["复数 MRI 输入<br/>Target LR 与 Ref LR/HR"] --> B["特征提取与多尺度对齐<br/>共享权重 RDN + 尺度因子插值"]
B --> C["坐标与特征升维<br/>相对位置编码拼接"]
C --> D["傅里叶重参数化<br/>固定正交基底分解 + 正弦激活"]
D --> E["非局部 Galerkin 线性注意力<br/>FNO 频域积分映射 O(N) 复杂度"]
E --> F["对比度感知稠密隐式解码<br/>Decoder+ 坐标循环反馈与残差增强"]
F --> G["高分辨率输出与双域监督<br/>Target/Ref SR + 联合 GKLoss / HFLoss"]关键设计¶
1. 傅里叶重参数化：固定正交基底分解与正弦激活增强频域敏感性
经典坐标网络使用 ReLU 多层感知机难以对高频信息建立有效梯度更新，导致医学图像平滑化。针对 MRI 解剖图像在频域具备高度结构化与能量集中的特性，本文在隐式解码高维特征映射中引入傅里叶重参数化模块（FRM）。将 2D 连续图像视为周期函数，使用固定傅里叶正交正余弦基底矩阵 \(B\) 替代纯黑盒线性映射，权重矩阵分解为固定基底与可学习系数矩阵 \(\Lambda\) 的乘积 \(W = \Lambda B^T\)。并在高维投影后引入正弦（Sin）激活函数构成类 SIREN 结构，使得特征空间在连续坐标变换下能够直接保持对不同频段的敏感响应，有效阻断频谱衰减。
2. 非局部 Galerkin 线性注意力：算子积分核与长程频谱依赖解耦
傅里叶神经算子（FNO）具有在无限维连续函数空间之间直接学习连续算子映射的能力，适合任意尺度重建，但标准 FNO 模式在隐式逐点解码中计算复杂度高。本文提出非局部 Galerkin 型线性注意力（NLGLA），将 FNO 的连续积分核机制重构为基于 Galerkin 投影的线性核化注意力。对查询矩阵 \(Q\)、键矩阵 \(K\) 与值矩阵 \(V\) 引入正定核特征映射 \(\phi(\cdot)\)，将二次注意力机制重构为： $\(\mathrm{Attention}(Q, K, V) = \phi(Q) \left(\phi(K)^T V\right)\)$ 该设计将空间与特征计算复杂度从 \(O(N^2)\) 降低至 \(O(N)\)，在保障显存与计算可承受的前提下，跨全图建立了连续坐标与全局频谱交互的非局部联系，精确维持全局解剖形态的几何一致性与高频边缘保真度。
3. 对比度感知稠密隐式解码：循环回环优化与残差增强
传统隐式解码器在注入多对比度特征时仅采用一次性全局拼接，使得深层解码网络逐渐丧失来自浅层空间坐标的几何约束与不同对比度序列间的局部差异。本文设计了对比度感知稠密解码网络（Decoder+），引入特征循环反馈（loop-back）机制与残差增强块。在连续解码的多个深层阶段，持续重新注入相对位置坐标与来自 RDN 编码器的多层次对比度特征，强化空间位置流与像素强度流之间的非线性残差校准，促使参考对比度的高频解剖先验充分传递至目标序列。
损失函数 / 训练策略¶
为充分利用复数域 k-space 与空间像素域的互补约束，MArFE 提出双域联合监督损失： 1. 全局 k 空间损失（Global K-space Loss, GKLoss）：在频域计算预测与真实值的加权 \(L_1\) 损失。根据频率坐标 \((i, j)\) 与中心直流分量 \((h/2, w/2)\) 的欧氏距离 \(d(i, j) = \sqrt{(i - h/2)^2 + (j - w/2)^2}\)，构建距离权重因子 \(w(i, j) = e^{\alpha \cdot \frac{d(i, j)}{\max d(i, j)}}\)，加大对高频外周 k 空间能量误差的惩罚，迫使网络重点还原被截断的高频分量。 2. 空间域高频损失（Spatial High-Frequency Loss, HFLoss）：使用标准差 \(\sigma = 0.5\) 的高斯低通滤波核分离图像低频轮廓，由原图减去低频分量得到高频边缘残差，在空间域上计算残差图的 \(L_1\) 损失，直接约束边缘梯度。 3. 总损失目标： $\(\mathcal{L} = \mathcal{L}_{L1} + \lambda_1 \mathcal{L}_{\text{gkloss}} + \lambda_2 \mathcal{L}_{\text{hfloss}}\)$ 其中超参数设定为 \(\lambda_1 = 0.05, \lambda_2 = 0.05\)。训练采用 Adam 优化器，初始学习率 \(10^{-4}\)，每 40 轮减半，总计训练 200 个 epoch，输入裁切为 \(32 \times 32\) 补丁，随机尺度因子在 \([1, 4]\) 之间均匀采样（步长 0.1）。
实验关键数据¶
主实验¶
在两个公开临床多对比度数据集 fastMRI（参考序列 PDW，目标序列 FS-PDW）与 IXI（参考序列 PDW，目标序列 T2W）上，评估分布内尺度（\(\times 1.5, \times 2, \times 3, \times 4\)）与分布外尺度（\(\times 6, \times 8\)）的重建表现（所有 ASSR 基线均统一采用 RDN 编码器骨干）：
| 数据集 | 方法类别 / 模型 | \(\times 1.5\) (PSNR/SSIM) | \(\times 2\) (PSNR/SSIM) | \(\times 4\) (PSNR/SSIM) | \(\times 8\) (OOD, PSNR/SSIM) | 平均 (PSNR/SSIM) |
|---|---|---|---|---|---|---|
| fastMRI | Bicubic 插值 | 34.799 / 0.912 | 30.719 / 0.822 | 26.415 / 0.514 | 23.337 / 0.432 | 15.527 / 0.737 |
| fastMRI | McMRSR (固定尺度) | 37.773 / 0.947 | 34.546 / 0.884 | 30.141 / 0.734 | 26.200 / 0.547 | 17.417 / 0.842 |
| fastMRI | WavTrans (固定尺度) | 36.390 / 0.934 | 32.841 / 0.859 | 30.197 / 0.741 | 26.722 / 0.585 | 17.242 / 0.919 |
| fastMRI | Meta-SR (ASSR) | 39.974 / 0.948 | 34.354 / 0.883 | 30.085 / 0.740 | 24.483 / 0.498 | 17.499 / 0.881 |
| fastMRI | LIIF (ASSR) | 37.314 / 0.939 | 34.170 / 0.877 | 30.232 / 0.736 | 25.318 / 0.512 | 17.331 / 0.889 |
| fastMRI | SRNO (ASSR) | 38.348 / 0.951 | 34.728 / 0.888 | 30.348 / 0.744 | 25.023 / 0.625 | 17.482 / 0.897 |
| fastMRI | DualArb (ASSR) | 38.166 / 0.948 | 34.686 / 0.884 | 30.578 / 0.743 | 26.250 / 0.549 | 17.607 / 0.963 |
| fastMRI | MArFE (本文) | 38.449 / 0.951 | 34.968 / 0.887 | 31.080 / 0.757 | 26.871 / 0.598 | 17.879 / 0.964 |
| IXI | Bicubic 插值 | 33.165 / 0.967 | 28.267 / 0.906 | 22.958 / 0.703 | 20.650 / 0.486 | 14.088 / 0.650 |
| IXI | WavTrans (固定尺度) | 39.118 / 0.966 | 38.171 / 0.929 | 35.804 / 0.940 | 27.832 / 0.825 | 19.484 / 0.762 |
| IXI | LIIF (ASSR) | 41.886 / 0.992 | 35.557 / 0.973 | 29.458 / 0.904 | 24.009 / 0.712 | 17.634 / 0.750 |
| IXI | HIIF (ASSR) | 43.413 / 0.993 | 38.020 / 0.980 | 27.650 / 0.891 | 23.478 / 0.720 | 17.812 / 0.760 |
| IXI | DualArb (ASSR) | 44.691 / 0.994 | 41.187 / 0.986 | 36.863 / 0.969 | 28.681 / 0.906 | 20.702 / 0.763 |
| IXI | MArFE (本文) | 46.663 / 0.996 | 42.317 / 0.988 | 38.041 / 0.973 | 30.625 / 0.905 | 21.492 / 0.779 |
在下游脑部三维结构自动分割任务（ANTs Atropos 算法，脑脊液 CSF、灰质 GM、白质 WM）中，MArFE 的超分辨率结果在 \(\times 2\) 尺度下 Dice 平均达到 0.957（优于 DualArb 的 0.950 与 WavTrans 的 0.946），在 \(\times 4\) 尺度下达到 0.928（优于 DualArb 的 0.910），证明了其重建结果对临床下游诊断任务的直接增益。
消融实验¶
1. 架构模块消融（fastMRI 与 IXI 数据集）
| 配置编号 | Decoder+ | NLGLA | FRMa (ReLU后) | FRMb (Sin后) | fastMRI 平均 PSNR (dB) | fastMRI 平均 SSIM | IXI 平均 PSNR (dB) | IXI 平均 SSIM |
|---|---|---|---|---|---|---|---|---|
| 1 (基线) | \(\times\) | \(\times\) | \(\times\) | \(\times\) | 31.608 | 0.763 | 37.142 | 0.963 |
| 2 | \(\checkmark\) | \(\times\) | \(\times\) | \(\times\) | 31.861 | 0.770 | 37.986 | 0.964 |
| 3 | \(\checkmark\) | \(\checkmark\) | \(\times\) | \(\times\) | 32.054 | 0.774 | 38.343 | 0.969 |
| 4 | \(\checkmark\) | \(\times\) | \(\times\) | \(\checkmark\) | 31.973 | 0.766 | 38.319 | 0.968 |
| 5 | \(\checkmark\) | \(\checkmark\) | \(\checkmark\) | \(\times\) | 31.896 | 0.769 | 38.576 | 0.968 |
| 6 (完整模型) | \(\checkmark\) | \(\checkmark\) | \(\times\) | \(\checkmark\) | 32.099 | 0.779 | 38.588 | 0.970 |
2. 损失函数消融
| 损失配置 | fastMRI \(\times 4\) PSNR | fastMRI \(\times 8\) PSNR | fastMRI 平均 PSNR | fastMRI 平均 SSIM | IXI \(\times 4\) PSNR | IXI \(\times 8\) PSNR | IXI 平均 PSNR | IXI 平均 SSIM |
|---|---|---|---|---|---|---|---|---|
| \(L_1\) 基线 | 30.998 | 24.057 | 31.029 | 0.744 | 38.037 | 30.441 | 38.356 | 0.966 |
| \(L_1 + \text{HFLoss}\) | 30.962 | 26.011 | 31.803 | 0.764 | 37.928 | 30.462 | 38.411 | 0.967 |
| \(L_1 + \text{GKLoss}\) | 30.963 | 26.150 | 31.868 | 0.767 | 38.033 | 30.133 | 38.473 | 0.968 |
| 联合损失 (全部) | 31.080 | 26.871 | 32.099 | 0.779 | 38.041 | 30.625 | 38.588 | 0.970 |
关键发现¶
- 傅里叶基底与激活位置的关键作用：对比 FRMa（ReLU 之后）和 FRMb（Sin 之后），将傅里叶基底分解配置在正弦激活分支后（FRMb）获得了最佳的连续尺度泛化性能，fastMRI 平均 PSNR 达到 32.099 dB，验证了频域正交投影与正弦非线性激活在对抗频谱偏置上的协同增益。
- 超大尺度分布外（OOD）鲁棒性显著：在未曾见过的 \(\times 6\) 和 \(\times 8\) 极端超分尺度下，传统 ASSR（如 LIIF 在 \(\times 8\) 仅 24.009 dB）发生严重崩塌，而 MArFE 在 IXI 上仍可达到 30.625 dB / 0.905 SSIM，双域联合损失中的 GKLoss 贡献了最显著的频域边缘防崩塌约束（\(\times 8\) 下相比纯 \(L_1\) 提升超 2.8 dB）。
亮点与洞察¶
- 算子级线性注意力的跨界融合：将偏微分方程求解中的傅里叶神经算子（FNO）通过 Galerkin 投影形式改写为 \(O(N)\) 复杂度的线性自注意力，兼具了频域连续算子表征与高效长程空间关联建模优势。
- 忠实于 MRI 物理采集机制的双域损失设计：摆脱了以往纯自然图像视角的启发式高通滤波，利用 MRI 本质的 k 空间能量欧氏距离分布设计加权 GKLoss，以极小参数代价（\(\lambda=0.05\)）显著提升了解剖高频能量保真度。
- 可复用的模块范式：FRM 与 NLGLA 解耦良好，完全可以无缝迁移至 CT 稀疏角重建、PET 超分辨率或一般科学计算中的任意尺度坐标场重建。
局限与展望¶
- 计算与内存开销：尽管 NLGLA 将注意力复杂度降低至线性，但复数双通道表示与频域多次正反变换在面对 3D 体数据（Volumetric MRI）全图连续渲染时，显存占用仍高于标准 2D 卷积。
- 刚性对齐假设：模型假定多对比度序列间已完成精确配准；若临床实际中存在运动伪影、非刚性器官形变或对比度相位漂移，参考特征的跨模态投影可能引入错位假影。
- 未来方向：作者指出后续可进一步拓展至功能性 MRI（fMRI）与弥散张量成像（DTI）的多模态结构-功能联合超分辨率，并结合显式运动补偿机制以提升临床鲁棒性。
相关工作与启发¶
- vs LIIF [CVPR 2021] / Meta-SR [CVPR 2019]: 经典自然图像 ASSR 仅依赖局部坐标与 RGB 像素连续拟合，直接用于 MRI 时因频谱偏置导致边缘模糊；MArFE 引入傅里叶正交基分解与双域损失，显著增强了高频复数信号还原。
- vs SRNO [CVPR 2023] / HIIF [CVPR 2025]: 虽然二者也尝试引入神经算子或频域编码，但仅面向单图像超分辨率；MArFE 针对多对比度配准特性设计了双分支稠密融合解码器与 Galerkin 线性注意力，在保持 \(O(N)\) 复杂度的同时充分榨取跨序列先验。
- vs Dual-Arb [MICCAI 2023]: Dual-Arb 探索了多对比度 ASSR，但局限于简单特征级联与局部空间坐标映射；MArFE 从根本上引入频域算子机制与 k 空间全局加权损失，在 \(\times 4\) 及更高外推尺度下实现全方位压制。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次将 FNO 的 Galerkin 线性形式与傅里叶重参数化引入多对比度 MRI 任意尺度超分辨率。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 fastMRI 与 IXI 两大公共数据集、多尺度定性定量对比、下游脑组织分割验证及极其严密的模块与损失消融。
- 写作质量: ⭐⭐⭐⭐☆ 结构清晰、数学推导严密、频域物理动机阐述充分。
- 价值: ⭐⭐⭐⭐⭐ 解决临床多对比度 MRI 扫描时间长、厚层序列分辨率低的现实痛点，代码完全开源。