MosaicMRI: A Diverse Dataset and Benchmark for Raw Musculoskeletal MRI¶

会议: NeurIPS 2026
arXiv: 2604.11762
OpenReview: https://openreview.net/forum?id=2w0L3gwZS7
代码: https://github.com/AIF4S/mosaicmri
领域: 医学图像
关键词: 肌肉骨骼磁共振成像、原始k空间数据集、加速MRI重建、跨解剖泛化、场强域漂移

一句话总结¶

提出了迄今规模最大的开源原始肌肉骨骼（MSK）MRI 数据集 MosaicMRI（含 3,150 个全采样序列卷和 89,830 个切片，涵盖 10 个解剖部位与 0.55T/1.5T 场强），系统建立了加速重建基准，并证明了跨解剖混合训练比单一解剖训练具有更优的重建精度与域泛化能力。

研究背景与动机¶

深度学习在磁共振成像（MRI）加速重建、伪影消除和解剖分割等领域取得了突破性进展。然而，这一波方法学革新很大程度上依赖于 fastMRI 等开源原始 k 空间基准的驱动，而现有公开的大规模原始 k 空间数据集长期被脑部与膝关节两种解剖结构所垄断。由于数据源的高度单一，社区对深度学习模型在更广泛、异构临床解剖环境中的可扩展性、鲁棒性与跨分布泛化规律缺乏系统认识。

肌肉骨骼（MSK）成像涵盖了脊柱以及肩、髋、膝、踝、肘、手腕等多样化关节，各部位在生物力学、组织成分和病理表征上差异悬殊。在临床常规检查中，不同部位的扫描视野（FOV）、空间分辨率、接收线圈数量以及信噪比差异极大，且广泛涉及 T1、T2、质子密度（PD）及各类脂肪抑制（FS）与 STIR 序列。以往虽然有 SMURF 或 Stanford 2D FSE 等包含部分 MSK 部位的开源数据，但其体量仅在数十至上百卷，难以支撑深度学习模型的规模化训练与严谨泛化评测。

为填补原始多解剖 MSK MRI 领域的大规模公开基准空白，本文系统构建了标准化、多线圈、全采样的原始 k 空间数据集，并在逼真临床分布偏移下全面评测模型性能。核心 idea：构建包含 3,150 卷、近 9 万切片的异构 MSK 原始 k 空间基准 MosaicMRI，涵盖 10 大解剖部位与 0.55T 低场对比集，通过系统性跨解剖与跨协议评测证明跨解剖混合训练所带来的互补结构先验显著优于单一解剖特定训练。

方法详解¶

整体框架¶

针对欠采样多线圈加速重建任务，各接收线圈 $i$ 采集的欠采样 k 空间数据可建模为 $\tilde{\bm{k}}_i = \bm{M} \bm{k}_i = \bm{M} (\mathcal{F} S_i \bm{x}^* + \bm{z}_i)$，其中 $\bm{M}$ 为采样掩模，$S_i$ 为线圈灵敏度图，$\bm{x}^*$ 为待重建的复数磁共振图像。MosaicMRI 以 4 倍和 8 倍加速多线圈重建为标准测试床，将数据流分为数据管道清洗与标准化组织、多模型骨干加速重建基准构建、跨解剖/协议泛化评估以及基于感知特征的跨解剖数据筛选机制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["临床多线圈原始 k 空间数据<br/>1.5T (3,096 卷) + 0.55T (54 卷)"] --> B["标准化清洗与分块质控<br/>排除 3D/校准序列，统一 ISMRMRD/HDF5"]
    B --> C["患者级无泄漏数据集划分<br/>严格平衡 10 类解剖与 7 种对比度"]
    C --> D["端到端展开重建与基线模型<br/>E2E-VarNet / U-Net / ViT / LBM"]
    D --> E["跨域泛化与感知相似度数据筛选<br/>跨解剖/协议/场强迁移与 DreamSim 监督"]

关键设计¶

1. 标准化清洗与分块质控：构建覆盖十类解剖的多线圈基准 针对临床原始扫描中存在的大量非诊断性定位像、线圈校准序列、三维容积序列（如 SPACE、VISTA）以及严重运动伪影问题，研究团队建立了标准化的临床排除与质控筛选管线。所有保留的原始多线圈 k 空间数据均采用 HDF5 容器存储，并在内部封装兼容 ISMRMRD 的采集元数据头信息，数据结构严格对齐 fastMRI 规范，使得现有 fastMRI 算法无需修改代码框架即可无缝适配。核心数据集包含 1.5T 西门子 Magnetom Avantofit 采集的 3,096 个全采样序列卷（共 88,416 个二维切片，来自 854 名患者），外加 54 卷 0.55T 超低场 Free.Max 数据（1,414 个切片，8 名患者）。解剖范围完整覆盖脊柱（50.9%）、肩关节（14.4%）、髋关节（8.9%）、膝关节（7.8%）、腕/手/拇指（5.5%）、脚踝（3.7%）、脚部（3.7%）、骨盆（2.5%）、肘关节（2.0%）和小腿/胫腓骨（0.6%），包含 T1、T1-FS、T2、T2-FS、PD、PD-FS 和 STIR 七大对比度机制。

2. 患者级无泄漏数据集划分：平衡多维度分布的划分准则 针对医学图像中切片间高度相关、同一患者数据混入训练集与测试集会导致严重性能高估的问题，数据集在患者层级（Patient-level）执行严格的分割约束，彻底杜绝数据泄漏。对于 1.5T 核心数据，按照 70%（2,166 卷 / 598 名患者 / 61,903 切片）、15%（465 卷 / 128 名患者 / 13,265 切片）和 15%（465 卷 / 128 名患者 / 13,248 切片）的比例划分为训练集、验证集和测试集。在划分过程中引入联合优化目标，在确保无患者交叉的前提下，同时严格平衡三组子集之间的序列卷数、总切片数、解剖部位分布及成像对比度分布，为下游严谨的跨模型基准评测提供了无偏测试床。

3. 端到端展开重建与多架构基准：物理数据一致性与深度先验协同 在重建基准中，算法评测重点对比了结合 k 空间物理前向算子的端到端变分网络 E2E-VarNet 与纯图像域卷积网络 U-Net、视觉 Transformer（ViT）及生成式潜在桥匹配（LBM）模型。以级联变分网络 E2E-VarNet 为代表，其在级联 $t$ 的更新公式由数据一致性梯度步与卷积正则化先验交替构成： $$ \hat{\bm{k}}^{t+1} = \hat{\bm{k}}^{t} - \mu^{t} \bm{M} (\hat{\bm{k}}^{t} - \tilde{\bm{k}}) + \mathcal{G}(\hat{\bm{k}}^{t}) $$ 其中 $\bm{M}$ 为欠采样二值掩模，$\mu^t$ 为可学习的梯度步长，$\mathcal{G}(\cdot)$ 为学习图像域去噪残差的卷积网络。该设计将磁共振物理采集约束与深度学习特征提取深度融合，相比没有显式数据一致性步骤的纯生成式图像翻译模型，有效避免了高倍加速下的假性结构幻觉。

4. 跨域泛化与感知相似度数据筛选：解耦解剖先验与几何共性 为了探究不同解剖部位之间为何能够互相促进，研究设计了跨解剖迁移实验与受控数据子集筛选实验。实验发现四肢末端关节（踝、足、肘、腕手）具有高度相近的视场（FOV）与线圈摆放几何，在小样本下存在强烈的单向或双向跨解剖互补性。进一步地，研究引入了基于人类视觉感知特征的 DreamSim 空间相似度检索机制，对目标切片在整个异构训练集（跨解剖、跨对比度）中检索视觉特征最相似的样本进行扩充。实验证明，在固定匹配切片预算（如 541 片或 1,744 片）下，DreamSim 筛选出的跨解剖样本训练出的重建质量超越了纯目标解剖或目标对比度的样本组合，揭示了跨解剖重建增益源于底层视觉与物理结构的泛化先验，而非单一的标签匹配。

实验关键数据¶

主实验¶

在 MosaicMRI 官方划分的 465 卷测试集上评估 4 倍和 8 倍加速多线圈重建，以全采样平方和（RSS）重建为真实金标准。E2E-VarNet 在两档加速因子下均显著压倒经典压缩感知算法 ESPIRiT 与无物理数据一致性的潜在流匹配模型 LBM。

方法	4× 加速 PSNR (dB)	4× 加速 SSIM	8× 加速 PSNR (dB)	8× 加速 SSIM
ESPIRiT (经典SOTA)	$32.34 \pm 5.21$	$0.627 \pm 0.193$	$30.75 \pm 4.44$	$0.598 \pm 0.189$
LBM (1 step, 生成式)	$33.12 \pm 3.13$	$0.844 \pm 0.076$	–	–
LBM (4 step, 生成式)	$32.71 \pm 3.08$	$0.835 \pm 0.078$	–	–
U-Net (图像域)	–	–	$37.44 \pm 4.34$	$0.913 \pm 0.056$
ViT (Transformer)	–	–	$36.61 \pm 4.36$	$0.904 \pm 0.059$
E2E-VarNet (本文基线)	$\bm{41.62 \pm 4.25}$	$\bm{0.946 \pm 0.046}$	$\bm{38.57 \pm 4.01}$	$\bm{0.924 \pm 0.054}$

消融与受控实验¶

在膝关节（PD-FS 序列）与肩关节（PD-FS 序列）上进行受控子集训练对比，重点分析在严格控制训练切片预算（膝关节 541 片，肩关节 1,744 片）时的监督来源差异，以及扩大全集跨解剖训练带来的收益。

训练配置	训练切片数	膝关节 (PD-FS) PSNR / SSIM	肩关节 (PD-FS) PSNR / SSIM	说明
切片预算匹配: 随机混合切片	541 / 1,744	32.95 / 0.781	42.96 / 0.968	跨解剖随机抽取
切片预算匹配: 解剖+对比度特定	541 / 1,744	33.40 / 0.787	42.81 / 0.968	仅用目标部位且相同对比度
切片预算匹配: DreamSim 特征检索	541 / 1,744	$\bm{33.75} / \bm{0.792}$	$\bm{43.63} / \bm{0.971}$	检索感知特征最相近的切片
宏观对比: 目标解剖所有切片	5,864 / 8,534	34.41 / 0.802	$\bm{44.64} / \bm{0.974}$	目标解剖全量数据
宏观对比: 目标对比度所有切片	8,661 / 8,661	34.54 / 0.803	44.39 / 0.973	目标对比度全量数据
宏观对比: 全量 MosaicMRI	61,903	$\bm{34.61} / \bm{0.806}$	44.63 / 0.974	全解剖多对比度混合训练

关键发现¶

混合解剖训练的通用优势：无论骨干网络是级联展开网络（E2E-VarNet）、卷积网络（U-Net）还是纯注意力机制的 Vision Transformer（ViT），使用全解剖数据训练的模型在各单项解剖测试集上的表现均普遍优于仅使用该单项解剖数据训练的模型（例如 ViT 在膝关节测试集上从 34.01 dB 跃升至 37.47 dB，肩关节从 35.79 dB 跃升至 41.66 dB）。
几何相近部位的聚类迁移结构：踝关节、足部、腕手部和肘关节这组末端小关节之间表现出清晰的簇内迁移能力，且迁移呈现出从大数据量向小数据量的方向性（例如在踝关节上训练的模型能极好地泛化到足部和肘部）。
低场强 zero-shot 迁移与模型容量：在 0.55T 超低场强（Free.Max）测试集上，随着 1.5T 训练数据规模从 10% 扩增到 100%，各模型均展现出稳定的单调收益，且 ViT 模型在 100% 数据训练下取得了最佳的平均零样本跨场强迁移效果（30.169 dB / 0.782 SSIM）。
DreamSim 感知相似度筛选优于硬标签：在切片数量严格匹配的受控实验中，基于 DreamSim 视觉相似度在多解剖池中检索的训练集在膝关节和肩关节上分别比“仅目标解剖+目标对比度”高出 0.35 dB 和 0.82 dB，证明了跨解剖的底层视觉拓扑特征具有强迁移价值。

亮点与洞察¶

填补领域重大空白的数据资产：MosaicMRI 将开源原始 MSK MRI 数据集规模扩大了 2.5 倍以上，首次系统性地将脊柱、肩、髋、腕、踝等全套肌肉骨骼结构完整纳入原始多线圈 k 空间基准中，并随附 0.55T 低场对比集。
打破“领域专精最优”的经验偏见：传统临床常理认为不同解剖部位差异巨大、应当单独训练专有模型；本文严密论证了混合解剖训练所引入的先验多样性不仅不会稀释特征，反而能增强模型应对欠采样伪影的去噪鲁棒性。
可复用的跨解剖数据筛选范式：利用 DreamSim 在异构图像池中检索无标注相似结构进行针对性增广，为医疗小样本部位（如肘部、骨盆）在严控计算预算下构建高样本效率训练集提供了全新的数据配比策略。

局限与展望¶

单中心与单设备厂商局限：1.5T 核心数据均采集自单一医疗中心的西门子 Avantofit 扫描仪，尚未覆盖 GE、飞利浦或联影等其他主流厂商，缺乏跨厂商设备域偏移的直接评估。
低场数据集规模相对有限：0.55T 低场数据集仅包含 54 卷、8 名患者，目前仅能作为零样本迁移的评测集，无法支撑监督式低场 MRI 重建模型的完整训练与优化。
临床阅片与诊断价值验证待跟进：评测目前以像素级保真度指标（PSNR、SSIM）为主，未引入放射科执业医师针对半月板撕裂、韧带损伤或骨髓水肿等具体病理表征的盲法诊断打分评测。

评分¶

新颖性: ⭐⭐⭐⭐ [建立首个大规模、全解剖覆盖的原始 MSK MRI 基准与 0.55T 低场对比集，揭示跨解剖迁移规律]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 4 种架构、4×/8× 加速、数据与模型缩放定律、跨解剖/跨协议/跨场强迁移及受控子集消融]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，统计图表详实，协议分析与物理成像背景交代极其清晰]
价值: ⭐⭐⭐⭐⭐ [为加速 MRI 重建、算法通用化泛化研究及临床低场成像提供了里程碑式的开放基准平台]

方法	4× 加速 PSNR (dB)	4× 加速 SSIM	8× 加速 PSNR (dB)	8× 加速 SSIM
ESPIRiT (经典SOTA)	\(32.34 \pm 5.21\)	\(0.627 \pm 0.193\)	\(30.75 \pm 4.44\)	\(0.598 \pm 0.189\)
LBM (1 step, 生成式)	\(33.12 \pm 3.13\)	\(0.844 \pm 0.076\)	–	–
LBM (4 step, 生成式)	\(32.71 \pm 3.08\)	\(0.835 \pm 0.078\)	–	–
U-Net (图像域)	–	–	\(37.44 \pm 4.34\)	\(0.913 \pm 0.056\)
ViT (Transformer)	–	–	\(36.61 \pm 4.36\)	\(0.904 \pm 0.059\)
E2E-VarNet (本文基线)	\(\bm{41.62 \pm 4.25}\)	\(\bm{0.946 \pm 0.046}\)	\(\bm{38.57 \pm 4.01}\)	\(\bm{0.924 \pm 0.054}\)