Implicit Neural Representation for Spherical Harmonics Reconstruction of Motion-Corrupted Fetal Diffusion MRI¶
会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/baby-MedIA/INR-dMRI-Recon
领域: 医学图像
关键词: 扩散磁共振成像、胎儿脑成像、隐式神经表示、球谐函数、切片到体重建
一句话总结¶
针对宫内胎儿剧烈不可控运动导致的扩散磁共振成像（dMRI）严重伪影，本文提出首个基于隐式神经表示与球谐函数连续建模的自监督切片到体重建框架，通过物理正向采集建模与层间连续性正则化消除条状伪影，显著提升了三维微结构重建质量与白质纤维追踪精度。
研究背景与动机¶
胎儿脑扩散磁共振成像（dMRI）通过探测组织内部水分子受限随机运动，能够无创评估宫内早期白质纤维束的发育轨迹与脑连接网络建立。然而，在临床在体扫描过程中，胎儿不可预测的剧烈母体内运动构成了巨大挑战。尽管单激发回波平面成像（EPI）序列可在数十毫秒内“冻结”单个二维切片内的运动，但切片间频繁且显著的三维刚体位移与旋转，导致重组后的三维体数据出现严重的空间几何错位与信号失真，无法直接用于定量微结构评估或纤维追踪。
为了解决这一空间错位问题，切片到体重建（SVR）算法被广泛探索。传统的模型驱动迭代方法（如 IRTK）依赖于切片到体配准与离散体素散乱数据插值的交替优化，不仅面临极高的计算复杂度瓶颈，而且固定的体素网格难以表征连续各向异性扩散场。近年来涌现的监督式深度学习 SVR 方法虽然推理极快，却高度依赖无运动损伤的理想高清三维金标准进行监督训练，这在胎儿活体成像中根本无法获取。新兴的基于隐式神经表示（INR）的自监督方法（如 NeSVoR）成功摆脱了外部监督依赖，但现有学习范式几乎全部聚焦于结构磁共振（如 T2 加权）的标量强度场重建，无法直接适用于扩散成像。
扩散磁共振具有本质上的特殊性与复杂性：其每个空间位置表征的不是简单的标量灰度，而是强依赖于外加扩散梯度方向的三维球面连续函数；更关键的是，胎儿头部的空间运动会同步旋转组织的局部微观扩散取向，需要动态重定向扩散梯度矢量。受限于孕妇严格的耐受扫描时间，胎儿 dMRI 通常只能针对每个扩散梯度方向采集单一方向的切片堆栈，缺乏结构 MRI 常用的正交多视角交叉切片约束。这种几何约束缺失使得隐式网络极易将层间错位伪影误当作高频解剖信号拟合，在重建体中引发极其严重的切片采集面平行条状伪影。本文的核心 idea 是：将高维连续扩散信号参数化为由多分辨率哈希网格驱动的空间连续偶数阶球谐函数场，结合物理正向切片采集模型实现运动、梯度旋转与偏置场的端到端联合自监督优化，并引入层间连续性正则化显式抑制单角度采集引起的条状伪影。
方法详解¶
整体框架¶
本文框架旨在从运动损伤、低分辨率且伴随伪影的离散二维切片堆栈集合中，直接恢复出空间与角向均连续的理想无运动扩散体积 \(V(\mathbf{x}, \mathbf{g})\)。算法输入为多组具有不同扩散梯度方向 \(\mathbf{g}_k\) 的二维切片堆栈，每个切片经历胎儿头部的独立刚体运动变换 \(T_{k,j}\)。框架将连续空间坐标输入多分辨率哈希编码网格，由主干网络预测与方向无关的实值球谐函数系数与空间潜在表征；接着，结合当前切片经运动逆变换后的局部扩散梯度方向，通过球谐函数线性加权即时合成对应方向的连续扩散信号。为与真实扫描切片建立物理对应，框架构建了严谨的物理正向采集通道，依序经过低频乘性偏置场调制、三维高斯点扩散函数（PSF）切片模糊模拟与不确定度加权，构建自监督逆问题联合优化所有网络参数与刚体运动姿态。针对单一切片方向带来的层间病态性，框架在逆变换后的解剖坐标系下施加层间连续性约束，有效滤除条状伪影。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["运动损伤切片堆栈输入<br/>梯度方向与切片坐标"] --> B["切片刚体运动与梯度动态重定向<br/>估算6自由度位姿并逆向变换梯度矢量"]
B --> C["连续球谐函数场隐式表示<br/>哈希网格提取空间特征并预测SH系数"]
C --> D["物理正向切片采集建模<br/>低频乘性偏置场调制与3D高斯PSF卷积模糊"]
D --> E["层间连续性正则化<br/>对比层间轴向与局部3D梯度抑制条状伪影"]
E --> F["高保真连续扩散场输出<br/>用于无插值微结构分析与纤维束追踪"]关键设计¶
1. 切片刚体运动与梯度动态重定向：维护解剖空间与扩散物理方向一致性
在胎儿扫描期间，胎儿头部的快速随机运动使得每个切片 \(S_{k,j}\) 在扫描仪坐标系与规范解剖坐标系之间存在独立的刚体变换 \(T_{k,j}(\mathbf{x}') = \mathbf{R}_{k,j}\mathbf{x}' + \mathbf{t}_{k,j}\)。为了正确拟合微结构组织，网络不能直接在扫描仪坐标系下重建，而是必须建立规范解剖坐标空间 \(\mathbf{x}'\)。更为关键的是，组织内部白质纤维的空间取向随胎儿头部转动而同步改变，导致扫描仪施加的标称扩散梯度矢量 \(\mathbf{g}_k\) 在组织局部参照系下发生相对偏转。本文为每个切片分配 6 自由度的李代数轴角位姿参数，并将扩散梯度矢量进行同步逆旋转校正：\(\mathbf{g}'_{k,j} = \mathbf{R}_{k,j}^{-1}\mathbf{g}_k\)。这一动态物理对齐保证了球谐函数在全局解剖坐标系中能够准确捕捉一致的微观各向异性扩散特征。
2. 连续球谐函数场隐式表示：空间坐标到球面连续扩散信号的高效映射
传统体素网格方法在表达高角度分辨率扩散成像（HARDI）时面临维数灾难与离散网格量化误差，且无法任意分辨率连续求值。本文将任意解剖坐标 \(\mathbf{x}'\) 映射为方向无关的实值正交球谐（Spherical Harmonics, SH）系数向量 \(\mathbf{c}(\mathbf{x}')\)。由于水分子沿白质纤维正反双向扩散具有对拓对称性（Antipodal Symmetry），基函数仅保留偶数阶项（\(l = 0, 2, \dots, L\)），其系数维度为 \(M = (L+1)(L+2)/2\)。主干网络 \(\text{MLP}_V\) 采用高效的多分辨率哈希网格编码提取空间特征，直接预测系数向量 \(\mathbf{c}(\mathbf{x}')\) 与上下文隐向量 \(\mathbf{z}(\mathbf{x}')\)：
$\(V(\mathbf{x}', \mathbf{g}') = \sum_{l=0,2,\dots}^{L} \sum_{m=-l}^{l} c_l^m(\mathbf{x}') Y_l^m(\mathbf{g}')\)$
这种参数化解耦了空间连续性与角度依赖性：网络仅需根据空间位置输出有限维系数，即可在任意连续梯度方向上闭式重构扩散信号，天然兼容约束球面反卷积（CSD）计算纤维取向分布（FOD），下游纤维追踪无需额外重采样。
3. 物理正向切片采集建模：解耦慢变磁场偏置与三维点扩散模糊
直接将体信号与采集切片做损失对比会受到 MRI 固有物理伪影干扰。由于磁共振磁场不均匀性以及胎儿移动造成的磁化历史效应（Spin-history effects），切片信号存在明显的强度慢变调制。本文设计专用的偏置场网络 \(\text{MLPB}\)，仅接收低分辨率哈希网格特征 \(\gamma_{\text{low}}\) 与可学习的切片嵌入编码 \(\mathbf{e}_{k,j}\)，在架构瓶颈层强行滤除高频几何细节，逼迫其仅学习符合物理特性的低频乘性偏置场 \(B_{k,j}(\mathbf{x}')\)。随后，中间无运动信号 \(I'_{k,j}(\mathbf{x}', \mathbf{g}'_{k,j}) = B_{k,j}(\mathbf{x}') V(\mathbf{x}', \mathbf{g}'_{k,j})\) 经由三维高斯点扩散函数（PSF）\(P_{k,j}\) 卷积以模拟有限切片厚度导致的层厚方向模糊效应，精确还原扫描仪实际成像物理过程。
4. 层间连续性正则化：各向异性梯度比值约束消除条状伪影
胎儿 dMRI 为采集多达数十个梯度方向，通常只能在单一空间取向下采集切片堆栈，缺乏多视角相交切片约束，导致隐式网络极易在切片法向量轴过拟合离散层间跳跃，形成严重的层状条纹。本文提出层间连续性（Through-Plane Continuity, TPC）正则化。针对每个体素，在变换后的切片法向量方向 \(\mathbf{n}_{k,j} = \mathbf{R}_{k,j}^{-1}(\mathbf{n}_k)\) 沿切片厚度物理尺度内均匀随机采样偏移向量 \(\boldsymbol{\delta}_z = u \mathbf{n}_{k,j}\)，计算沿切片法向的一维有限差分梯度均值 \(G_z\)；同时在三维 PSF 邻域内采样计算局部全向空间平均梯度 \(G_{\text{all}}\)：
$\(G_z = \frac{1}{|\mathcal{N}_z|} \sum_{\boldsymbol{\delta}_z \in \mathcal{N}_z} \frac{|V(\mathbf{x}' + \boldsymbol{\delta}_z, \mathbf{g}'_{k,j}) - V(\mathbf{x}', \mathbf{g}'_{k,j})|}{\|\boldsymbol{\delta}_z\|}, \quad G_{\text{all}} = \frac{1}{|\mathcal{N}_{\text{PSF}}|} \sum_{\boldsymbol{\delta} \in \mathcal{N}_{\text{PSF}}} \frac{|V(\mathbf{x}' + \boldsymbol{\delta}, \mathbf{g}'_{k,j}) - V(\mathbf{x}', \mathbf{g}'_{k,j})|}{\|\boldsymbol{\delta}\|}\)$
当法向梯度 \(G_z\) 显著异常高于全向局部梯度 \(G_{\text{all}}\) 时，表明存在条状伪影而非真实解剖边缘。通过引入比值 \(R_{k,j,i} = \frac{G_z}{G_{\text{all}} + \epsilon}\) 并结合松弛阈值 \(\tau\) 构造铰链惩罚项，在平滑层间伪影的同时完好保留了真实皮层与脑组织的锐利解剖边界。
损失函数 / 训练策略¶
整个框架以端到端自监督方式优化。总损失函数由数据保真度损失 \(\mathcal{L}_D\)、空间全变分正则化 \(\mathcal{L}_R\) 和层间连续性正则化 \(\mathcal{L}_T\) 组合而成： $\(\mathcal{L} = \mathcal{L}_D + \mathcal{L}_R + 0.5 \mathcal{L}_T\)$ 其中数据保真度项 \(\mathcal{L}_D\) 建立在高斯负对数似然准则上，利用不确定性网络 \(\text{MLP}_U\) 预测的体素级噪声标准差 \(\sigma_{k,j}(\mathbf{x}')\) 与可学习的切片级离群权重 \(\nu_{k,j}\)，自适应压低受严重运动伪影污染或几何脱落切片的损失权重： $\(\mathcal{L}_D = \frac{1}{N} \sum_{k,j,i} \left( \frac{\left( \hat{S}_{k,j,i} - S_{k,j}(\mathbf{x}_{k,j,i}) \right)^2}{2 \sigma_{k,j}^2(\mathbf{x}'_{k,j,i})} + \log \left( \sigma_{k,j}(\mathbf{x}'_{k,j,i}) + \nu_{k,j} \right) \right)\)$ 层间正则化损失 \(\mathcal{L}_T\) 定义为： $\(\mathcal{L}_T = \frac{1}{N} \sum_{k,j,i} \text{ReLU}\left( \log(R_{k,j,i}) - \tau \right)\)$ 在具体训练中，阈值 \(\tau\) 设定为 80。模型在单个配备 32GB 显存的 NVIDIA Tesla V100 GPU 上采用 PyTorch 与 tiny-cuda-nn 联合优化，迭代训练 6000 步即可收敛。
实验关键数据¶
主实验¶
论文在三个数据集上与经典胎儿扩散重建基线 IRTK 进行了系统对比：包含 9 名真实胎儿脑扫描（3 名临床标准序列，6 名 dHCP 高角分辨率序列）的活体胎儿数据集、基于 dHCP 20 名新生儿扫描加噪加运动模拟的胎儿仿真数据集，以及高分辨率新生儿平均模板仿真数据集。定量指标包括峰值信噪比（PSNR）、结构相似性（SSIM）、归一化均方根误差（NRMSE）、归一化互相关（NCC）以及运行时间（小时）。
| 数据集 | 指标 | 本文 | 之前SOTA (IRTK) | 提升 / 变化 |
|---|---|---|---|---|
| 活体胎儿数据 (Fetal Data) | PSNR ↑ (dB) | 23.54 (±1.23) | 23.34 (±0.98) | +0.86% |
| 活体胎儿数据 (Fetal Data) | SSIM ↑ | 0.9014 (±0.0246) | 0.7516 (±0.1263) | +19.93% (+0.1498) |
| 活体胎儿数据 (Fetal Data) | NRMSE ↓ | 0.1788 (±0.0284) | 0.1828 (±0.0274) | -2.19% |
| 活体胎儿数据 (Fetal Data) | NCC ↑ | 0.8194 (±0.0374) | 0.8085 (±0.0350) | +1.35% |
| 活体胎儿数据 (Fetal Data) | 运行时间 ↓ (h) | 5.52 (±0.16) | 8.77 (±4.93) | -37.06% 加速 |
| 仿真新生儿个体 (Simulated Neonatal) | PSNR ↑ (dB) | 25.20 (±0.72) | 23.99 (±0.78) | +5.04% (+1.21 dB) |
| 仿真新生儿个体 (Simulated Neonatal) | SSIM ↑ | 0.9828 (±0.0055) | 0.9639 (±0.1000) | +1.96% |
| 仿真新生儿个体 (Simulated Neonatal) | NRMSE ↓ | 0.1325 (±0.0105) | 0.1520 (±0.0133) | -12.83% |
| 仿真新生儿个体 (Simulated Neonatal) | NCC ↑ | 0.8412 (±0.0312) | 0.7654 (±0.0540) | +9.90% |
| 仿真新生儿个体 (Simulated Neonatal) | 运行时间 ↓ (h) | 6.75 (±0.11) | 47.80 (±3.74) | -85.88% 加速 |
| 仿真新生儿模板 (Simulated Template) | PSNR ↑ (dB) | 24.88 (±0.90) | 24.74 (±1.24) | +0.57% |
| 仿真新生儿模板 (Simulated Template) | SSIM ↑ | 0.9688 (±0.0040) | 0.9554 (±0.0048) | +1.40% |
| 仿真新生儿模板 (Simulated Template) | NRMSE ↓ | 0.1379 (±0.0115) | 0.1393 (±0.0055) | -1.01% |
| 仿真新生儿模板 (Simulated Template) | NCC ↑ | 0.9504 (±0.0090) | 0.9469 (±0.0039) | +0.37% |
| 仿真新生儿模板 (Simulated Template) | 运行时间 ↓ (h) | 6.03 (±0.09) | 102.15 (±2.86) | 降低 94.10% (17倍加速) |
消融实验¶
1. 球谐函数阶数（SH Order \(L\)）消融
在活体胎儿数据集上，测试了不同球谐函数最大截断阶数 \(L \in \{2, 4, 6, 8\}\) 对重建性能的影响：
| 配置 (SH 阶数) | PSNR ↑ (dB) | SSIM ↑ | NRMSE ↓ | NCC ↑ | 说明 |
|---|---|---|---|---|---|
| \(L = 2\) | 23.59 (±1.03) | 0.9013 (±0.0291) | 0.1779 (±0.0287) | 0.8205 (±0.0319) | 低阶平滑，计算开销最小 |
| \(L = 4\) (本文选择) | 23.54 (±1.23) | 0.9014 (±0.0246) | 0.1788 (±0.0284) | 0.8194 (±0.0374) | 保持最优指标，且能有效表征白质交叉纤维 |
| \(L = 6\) | 23.14 (±1.27) | 0.8926 (±0.0277) | 0.1871 (±0.0290) | 0.7989 (±0.0454) | 高频自由度过大，轻度过拟合噪声 |
| \(L = 8\) | 22.41 (±1.94) | 0.8776 (±0.0359) | 0.2045 (±0.0421) | 0.7572 (±0.0900) | 性能显著滑坡，过拟合严重伪影与噪声 |
2. 伪影消除模块（偏置场估计与层间连续性正则化）消融
在活体胎儿数据集上评估偏置场网络（Bias Field）与层间连续性正则化（TPC）的独立与协同作用：
| 配置 | Bias Field | TPC 正则化 | PSNR ↑ (dB) | SSIM ↑ | NRMSE ↓ | NCC ↑ | 说明 |
|---|---|---|---|---|---|---|---|
| 基线双无 | ✗ | ✗ | 22.77 (±1.31) | 0.8898 (±0.0293) | 0.1954 (±0.0297) | 0.7841 (±0.0466) | 存在严重层状条纹与强度漂移 |
| 仅偏置场 | ✓ | ✗ | 23.25 (±1.24) | 0.8964 (±0.0273) | 0.1848 (±0.0286) | 0.8071 (±0.0410) | 改善强度不均，但残留明显条纹 |
| 仅 TPC | ✗ | ✓ | 23.07 (±1.29) | 0.8949 (±0.0263) | 0.1889 (±0.0301) | 0.7972 (±0.0434) | 明显抑制条纹，但缺少低频增益补偿 |
| 完整模型 | ✓ | ✓ | 23.54 (±1.23) | 0.9014 (±0.0246) | 0.1788 (±0.0284) | 0.8194 (±0.0374) | 协同达到最优，伪影完全消除且结构锐利 |
关键发现¶
- 在活体胎儿真实数据上，本文相比传统最先进管线 IRTK 取得了结构相似度 SSIM 的大幅跃升（从 0.7516 提升至 0.9014，涨幅近 20%），有效恢复了大脑皮层折叠与深部灰白质边界，且重建方差大幅收窄，展现出高度的鲁棒性。
- 球谐函数截断阶数实验揭示，在低信噪比与运动损伤的胎儿成像场景中，盲目增大球谐阶数（如 \(L=6, 8\)）会导致 PSNR 暴跌 1.13 dB，网络会过拟合伪影噪声而非真实组织；而 \(L=4\) 能够在不损失重建指标的前提下，为下游约束球面反卷积提供足够的角向分辨率以解析纤维交叉。
- 在计算效率方面，得益于 GPU 自定义 CUDA 算子与哈希网格加速，本文模型在不同规模任务下的重建耗时均稳定在 5.5 到 6.8 小时之间；而在高分辨率模拟模板任务中，传统 IRTK 在 24 线程 CPU 上运行耗时超过 102 小时，本文提速高达 17 倍（85%~94% 的时间节约）。
亮点与洞察¶
- 空间与角向的解耦连续隐式表达：将多分辨率哈希网格与偶数阶球谐正交基融合，以极小网络参数实现了三维空间与球面角度的双重连续映射，彻底摆脱了离散体素网格的插值误差与分辨率限制。
- 物理约束的梯度动态重定向：在优化切片 6 自由度刚体姿态的同时，将外加物理磁场梯度同步反向旋转至组织解剖系，使自监督网络能够在剧烈刚体运动下保持扩散各向异性物理规律的严谨成立。
- 各向异性梯度比值的几何滤波巧妙设计：TPC 正则化敏锐捕捉到了单方向切片采集导致法向病态伪影的物理本质，通过法向梯度与全向三维梯度的相对比值作为惩罚准则，实现了“只平滑伪影条纹、不模糊真实解剖边缘”的精准正则化。
局限与展望¶
- 单梯度单取向采集假设下的极端运动鲁棒性：若胎儿在扫描期间发生剧烈非刚体变形（如头部与颈部相对弯曲或颅骨受压变形），当前的 6 自由度刚体变换假设将失效，未来可探索局部仿射或薄板样条形变场建模。
- 计算时间仍存在临床即时交互瓶颈：尽管相比传统 IRTK 提速数倍至数十倍，单例 5~6 小时的优化时长仍属于离线后处理范畴；未来可结合 3D 高斯泼溅（3DGS）或预训练前向流匹配（Flow Matching）先验，进一步将重建时间压缩至分钟级。
相关工作与启发¶
- vs IRTK (Deprez et al., TMI 2020)：IRTK 采用多轮交替迭代配准与体素级高阶球谐拟合，完全运行于离散图像网格上，计算极其缓慢（数天），且缺乏显式的层间几何连续性正则化，在单向采集下会遗留显著的切片条状伪影。本文通过连续隐式神经表示联合优化，效率提升 17 倍，并通过 TPC 正则化彻底消除了条纹。
- vs NeSVoR (Xu et al., TMI 2023)：NeSVoR 是首个基于 INR 的胎儿脑结构 MRI（T2 加权）切片到体重建框架，但其仅能处理单一标量灰度场，且高度依赖正交三向切片叠加的几何交叉约束。本文将 INR 拓展至高维连续球谐扩散张量场，并解决了无正交视角下的单向病态条纹难题。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将隐式神经表示与球谐基融合应用于胎儿扩散磁共振切片到体连续重建，提出的 TPC 正则化巧妙实用。
- 实验充分度: ⭐⭐⭐⭐⭐ 包含真实活体胎儿、仿真新生儿个体及仿真新生儿模板三套完整数据集，指标评测与消融严谨深入。
- 写作质量: ⭐⭐⭐⭐⭐ 物理模型公式推导清晰，正向成像链条完整，图表详实且论证逻辑严密。
- 价值: ⭐⭐⭐⭐⭐ 攻克了宫内早期胎儿大脑神经纤维束连接组学成像的关键痛点，开源代码具有极高的临床科研实用价值。