跳转至

Equivariant Symmetry-Aware Head Pose Estimation for Fetal MRI

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/MedicalVisionGroup/E3-Pose
领域: 医学图像
关键词: 胎儿MRI、6自由度姿态估计、旋转等变性、解剖对称性、伪向量参数化

一句话总结

提出 E(3)-Pose 框架,通过在三维网络架构中显式构建 E(3) 卷积旋转等变性,并将左右解剖对称轴参数化为偶宇称伪向量,在仅 0.3 秒内精确估计低信噪比与高伪影胎儿脑部 MRI 导航容积的 6-DoF 刚体姿态,为自适应切片扫描提供实时追踪支撑。

研究背景与动机

产前胎儿磁共振成像(MRI)是评估胎儿脑部神经发育和筛查先天性畸形的重要诊断工具,通常依赖采集高分辨率二维断层切片堆叠构成解剖视图。然而胎儿在宫内的自主随机运动极其频繁,导致相邻切片之间产生严重的相对位移、空间覆盖盲区或切面倾斜,迫使放射技师反复重新扫描,大幅拉长检查时间并降低诊断质量。解决切片间运动的理想方案是在每张二维高分辨率诊断切片之间插入快速、低信噪比且低分辨率的三维“导航”(navigator)容积,基于导航容积实时估计胎儿头部的 6-DoF 刚体姿态,并自适应动态调整下一张诊断切片的物理激发平面。

然而,从临床导航容积中估计胎儿头部姿态面临极端挑战。首先,由于先前的激发切片在射频饱和区会产生明显的自旋历史伪影(spin history artifact),在容积内表现为贯穿脑部结构的暗带,往往直接遮挡眼球等关键解剖标志;其次,在孕早中期胎儿大脑尚未充分折叠沟回,近乎光滑的球体结构与近似的左右半球镜像对称导致极强的姿态二义性;此外,临床真实导航数据极难获取标注,模型通常只能在高质量、无伪影的高清科研图像(如 dHCP)上训练,面临严峻的跨域泛化难题。现有的解剖关键点检测方法在特征遮挡下极易失效,基于模板的刚体配准方法(如 FireANTs)极易受伪影灰度扰动且计算耗时高达 1.8 秒无法满足实时控制,而普通 CNN 直接回归姿态则极易过拟合且对左右对称性缺乏内生约束。

本文的切入角度是:与其依赖数据增强去隐式拟合空间旋转和对称先验,不如从第一性原理出发,将几何对称群与刚体等变性作为硬性归纳偏置固化进神经网络结构中。核心 idea:构建严格满足 E(3) 空间等变卷积的三维网络,并将胎儿头部正交标架中的左右对称轴显式建模为偶宇称伪向量,使网络输出在内生满足三维旋转等变的同时对左右镜像反射保持不变性,从根本上消除对称二义性并实现卓越的跨域鲁棒性。

方法详解

整体框架

E(3)-Pose 将胎儿脑部的 6-DoF 刚体姿态 \(T = t \circ R\) 解耦为平移向量 \(t \in \mathbb{R}^3\) 与三维旋转矩阵 \(R \in \text{SO}(3)\) 两个阶段进行独立估计。第一阶段通过一个紧凑的分割网络 \(\psi\) 定位全子宫 MRI 容积中的胎儿大脑占优区域,根据预测掩膜的质心(Center-of-Mass, CoM)闭式解算出平移向量 \(t\),并据此裁剪出包含 40% 边界裕度的脑部局部子容积;第二阶段将裁剪子容积输入 E(3)-CNN 回归网络 \(\phi\),预测大脑解剖坐标系的正交基底矢量 \((\hat{e}_x, \hat{e}_y, \hat{e}_z)\),其中左右向基底 \(\hat{e}_x\) 特别设计为伪向量,前后向 \(\hat{e}_y\) 与下上向 \(\hat{e}_z\) 保持常规向量;最后通过奇异值分解(SVD)正交化投影,并依据旋转矩阵行列式必须为 \(+1\) 的物理约束自动决断伪向量正负方向,还原出无反射的连续真实旋转 \(\hat{R}\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入全子宫 3D MRI 容积<br/>含低分辨率/伪影/噪声"] --> B["大脑分割与质心平移估计<br/>网络 ψ 预测掩膜并计算质心 t"]
    B --> C["边界自适应局部裁剪<br/>提取脑部 ROI (40% 裕度)"]
    C --> D["E(3) 等变卷积特征提取<br/>球谐不可约张量表征群变换"]
    D --> E["左右对称伪向量基底回归<br/>预测伪向量 ex 与双向量 ey, ez"]
    E --> F["SVD 正交化与非反射对齐<br/>约束 det(R)=1 决断手性输出旋转"]
    F --> G["自适应诊断切片实时激发面调整<br/>单步耗时 0.3s 支持在线导航"]

关键设计

1. 大脑分割与质心平移估计:解耦平移与旋转消除大尺度漂移 全子宫扫描的视场(FOV)较大且母体母体组织杂乱,直接回归 6-DoF 刚体姿态会导致旋转与平移相互耦合且搜索空间庞大。本文针对该痛点采用先粗后精策略,定义目标对象坐标系原点位于大脑质心。利用在全子宫图像上训练的紧凑三维卷积分割网络 \(\psi\) 计算二值占据函数 \(\psi(x)\),平移向量直接由体素坐标的一阶矩加权闭式计算: $\(t = \frac{\sum_{x \in X} x \psi(x)}{\sum_{x \in X} \psi(x)}\)$ 获得平移 \(t\) 后,将原容积以大脑为中心、外扩 40% 边距裁剪为标准化尺寸输入后续模块。该设计彻底去除了平移位移对旋转估计的干扰,使后续网络能够专注于局部解剖朝向分析。

2. E(3) 等变卷积表征:将刚体旋转群约束作为网络硬先验 标准卷积神经网络仅在平移变换下保持等变,面对任意角度的胎儿头部姿态时只能依赖穷举式旋转数据增强,在小样本或低信噪比下极易过拟合。本文构建基于不可约张量场(irreducible tensor fields)的 E(3)-CNN 网络 \(\phi\)。网络在三维球谐函数基 \(Y_j\) 与径向基函数 \(\varphi_m\) 的线性组合下参数化卷积核 \(\kappa(x)\),使得网络层对于任意旋转与平移操作 \(g = g_t \circ g_r \in \text{E}(3)\) 天然满足群代数交换律: $\(\phi(f \circ g^{-1}) = \rho_h(g_r) \phi(f)\)$ 其中网络通过梯度下降直接学习基底的组合系数而非离散体素权重,这为网络赋予了天然的样本高效性(sample efficiency),使其即使在高质量科研数据上训练,也能零样本强健泛化至带有未见旋转分布的临床噪声容积。

3. 左右对称伪向量基底回归:利用偶宇称消除半球镜像二义性 胎儿大脑发育初期形态接近球体,且左右半球具有显著的解剖对称性;当低分辨率或伪影遮挡面部眼球等非对称线索时,传统向量回归容易在左右镜像姿态之间产生歧义与梯度突变。为此,本文将目标解剖坐标系的 3 个正交基向量 \(h(R) = e_x \oplus e_y \oplus e_z\) 进行异构分解:将表征左右向(Left \(\to\) Right)的轴 \(e_x\) 映射为 1 阶偶宇称不可约张量——伪向量(pseudovector),其在正交群下的变换矩阵为 \(\rho^{l=1}_{\text{even}}(g_r) = (\det M(g_r)) M(g_r)\);而将前后向 \(e_y\) 和下上向 \(e_z\) 保持为常规 1 阶奇宇称向量 \(\rho^{l=1}_{\text{odd}}(g_r) = M(g_r)\)。当发生左右平面镜像反射 \(g_\leftrightarrow\) 时(\(\det M(g_\leftrightarrow) = -1\) 且空间反射使沿轴矢量反向为 \(-e_x\)),伪向量在双重变号抵消下保持完全不变: $\(\rho_h(g_\leftrightarrow) h(R) = (\det M(g_\leftrightarrow))(-e_x) \oplus e_y \oplus e_z = e_x \oplus e_y \oplus e_z = h(R)\)$ 从而在数学上严格证明了表征对左右反射对称群的不变性,并在 \(\text{SO}(3)\) 流形上保持全局连续光滑。

4. SVD 正交化与非反射旋转对齐:确保李群物理流形合法性 网络回归的未受限 9 维张量未必构成严格正交矩阵。推理时,算法对预测基底矩阵 \([\hat{e}_x, \hat{e}_y, \hat{e}_z]\) 进行奇异值分解 \(U V^T = \text{SVD}(\hat{e}_x, \hat{e}_y, \hat{e}_z)\)。针对伪向量存在的 \(\pm \hat{e}_x\) 双重解空间,本文根据三维真实空间中必须满足刚体旋转群 \(\text{SO}(3)\)(即矩阵行列式必须恒等于 \(+1\) 而非反射的 \(-1\))这一定则,自动选取保持右手正交系的符号方向: $\(\hat{R} = \det(U V^T) U V^T\)$ 该机制不仅完全消除了 Gram-Schmidt 算法对基底先后顺序的敏感性,而且以极小计算开销保证了最终旋转输出落入合法的连续旋转流形中。

损失函数 / 训练策略

模型在训练阶段联合优化三个基底方向与真实解剖坐标轴之间的角误差。针对伪向量 \(\hat{e}_x\) 具有反转对称(inversion symmetry)的特性,其角度损失被设计为周期为 \(\pi\) 的正弦函数 \(|\sin \theta_x|\),而普通向量 \(\hat{e}_y, \hat{e}_z\) 采用周期为 \(2\pi\) 的正弦项 \(|\sin(\theta/2)|\): $\(\mathcal{L}((e_x, e_y, e_z), (\hat{e}_x, \hat{e}_y, \hat{e}_z)) = \beta_x |\sin \theta_x| + \beta_y \left|\sin \frac{\theta_y}{2}\right| + \beta_z \left|\sin \frac{\theta_z}{2}\right|\)$ 其中 \(\theta_k = \arccos(\hat{e}_k \cdot e_k)\)。此外,为了克服从静态科研扫描到交替诊断序列之间的分布偏移,训练时特别引入针对性的自旋历史伪影模拟数据增强,通过高斯剖面建模射频脉冲在先前切片物理平面上残留的暗带衰减 \(\tilde{f}(x) = f(x)(1 - \mathcal{N}((x - c_{\text{slice}})^T n_{\text{slice}}; 0, \sigma^2))\),使网络提前适应面部结构被伪影遮蔽的严苛场景。

实验关键数据

主实验

论文在两个科研训练集(Research-Fetal 与公共高质数据集 dHCP)上分别训练模型,并在两个具有真实临床分布漂移的测试集(包含 60 名 18-23 孕周早中期胎儿的 Clinical-Young,以及包含 9 名孕妇 47 个时序序列、共 1210 卷带真实自旋伪影与低分辨率导航扫描的 Navigators)上进行全面跨域泛化评测。评价指标包括测地线旋转误差(Rot. err., \(^\circ\))以及脑表面体素平均绝对距离(AAD, mm)。

模型配置 / 方法 Research-Fetal 测试集 dHCP 测试集 Clinical-Young (跨域) Navigators (临床导航跨域)
无训练基线
FireANTs (优化配准) [40] \(10.6 \pm 24.5^\circ\) / 5.7 mm \(0.4 \pm 1.6^\circ\) / 0.6 mm \(17.3 \pm 40.6^\circ\) / 4.1 mm \(44.6 \pm 55.6^\circ\) / 19.1 mm
Fetal-Align (标志点) [37] \(5.0 \pm 3.0^\circ\) / 3.0 mm \(8.5 \pm 24.7^\circ\) / 3.5 mm \(10.3 \pm 21.0^\circ\) / 3.2 mm \(56.2 \pm 57.6^\circ\) / 24.1 mm
在 Research-Fetal 上训练
EquiTrack [6] \(11.3 \pm 13.1^\circ\) / 6.2 mm \(7.1 \pm 5.0^\circ\) / 3.6 mm \(18.9 \pm 29.0^\circ\) / 5.4 mm \(44.7 \pm 48.7^\circ\) / 20.3 mm
3DPose-Net [65] \(19.8 \pm 15.0^\circ\) / 10.5 mm \(24.0 \pm 19.2^\circ\) / 10.9 mm \(39.2 \pm 36.8^\circ\) / 11.2 mm \(65.0 \pm 47.8^\circ\) / 27.7 mm
6DRep [20] \(9.6 \pm 4.5^\circ\) / 5.3 mm \(9.8 \pm 5.5^\circ\) / 4.9 mm \(14.1 \pm 7.7^\circ\) / 4.6 mm \(38.8 \pm 45.7^\circ\) / 17.2 mm
RbR [29] \(7.6 \pm 3.9^\circ\) / 4.3 mm \(8.6 \pm 5.0^\circ\) / 4.3 mm \(11.2 \pm 4.6^\circ\) / 3.7 mm \(22.6 \pm 24.1^\circ\) / 11.5 mm
E(3)-Pose (本文方法) \(\mathbf{5.1 \pm 2.6^\circ}\) / \(\mathbf{3.0 \pm 1.7\text{ mm}}\) \(\mathbf{7.4 \pm 3.6^\circ}\) / \(\mathbf{3.7 \pm 1.8\text{ mm}}\) \(\mathbf{9.1 \pm 4.7^\circ}\) / \(\mathbf{3.0 \pm 1.4\text{ mm}}\) \(\mathbf{9.4 \pm 7.5^\circ}\) / \(\mathbf{6.3 \pm 4.0\text{ mm}}\)
在 dHCP 上训练
EquiTrack [6] \(29.5 \pm 43.5^\circ\) / 14.1 mm \(13.6 \pm 36.7^\circ\) / 5.4 mm \(48.3 \pm 62.1^\circ\) / 11.6 mm \(59.0 \pm 57.5^\circ\) / 25.7 mm
3DPose-Net [65] \(33.5 \pm 26.6^\circ\) / 17.1 mm \(21.2 \pm 27.4^\circ\) / 9.0 mm \(51.5 \pm 37.8^\circ\) / 14.4 mm \(93.9 \pm 55.8^\circ\) / 36.2 mm
6DRep [20] \(32.2 \pm 26.0^\circ\) / 17.3 mm \(12.2 \pm 6.1^\circ\) / 5.9 mm \(48.2 \pm 50.8^\circ\) / 12.4 mm \(84.1 \pm 51.2^\circ\) / 34.0 mm
RbR [29] \(15.4 \pm 18.3^\circ\) / 8.3 mm \(8.0 \pm 4.0^\circ\) / 3.9 mm \(50.9 \pm 48.4^\circ\) / 12.7 mm \(77.2 \pm 53.6^\circ\) / 30.8 mm
E(3)-Pose (本文方法) \(\mathbf{5.7 \pm 3.6^\circ}\) / \(\mathbf{3.4 \pm 2.0\text{ mm}}\) \(\mathbf{7.3 \pm 3.4^\circ}\) / \(\mathbf{3.7 \pm 1.7\text{ mm}}\) \(\mathbf{12.1 \pm 6.8^\circ}\) / \(\mathbf{3.9 \pm 1.9\text{ mm}}\) \(\mathbf{13.9 \pm 13.2^\circ}\) / \(\mathbf{7.9 \pm 5.6\text{ mm}}\)

消融实验

论文在跨域挑战最严峻的两个临床测试集(Clinical-Young 与 Navigators)上系统评估了架构等变性、伪向量参数化、基底完备度、损失函数及自旋伪影数据增强的关键作用。

模型消融配置 Research-Fetal 训练 (Young) Research-Fetal 训练 (Nav) dHCP 训练 (Young) dHCP 训练 (Nav) 说明
E(3)-Pose (完整模型) \(\mathbf{9.1 \pm 4.7^\circ}\) / 3.0 mm \(\mathbf{9.4 \pm 7.5^\circ}\) / 6.3 mm \(\mathbf{12.1 \pm 6.8^\circ}\) / 3.9 mm \(\mathbf{13.9 \pm 13.2^\circ}\) / 7.9 mm 完整三维等变+伪向量模型
Standard CNN (无等变) \(10.3 \pm 5.4^\circ\) / 3.4 mm \(18.0 \pm 19.3^\circ\) / 9.7 mm \(53.3 \pm 55.8^\circ\) / 12.9 mm \(80.2 \pm 52.7^\circ\) / 31.9 mm 替换为普通卷积,过拟合严重
No pseudovector (常规向量) \(10.4 \pm 4.0^\circ\) / 3.4 mm \(10.9 \pm 11.1^\circ\) / 7.0 mm \(12.1 \pm 7.7^\circ\) / 3.9 mm \(20.6 \pm 26.1^\circ\) / 10.6 mm 左右轴替换为奇宇称普通向量
\(h(R) = e_y \oplus e_z\) (少 1 基底) \(10.3 \pm 4.2^\circ\) / 3.4 mm \(11.9 \pm 12.9^\circ\) / 7.3 mm \(11.6 \pm 6.5^\circ\) / 3.7 mm \(26.1 \pm 35.6^\circ\) / 12.3 mm 仅预测两轴,缺少过完备约束
$ \sin \frac{\theta_x}{2} $ (常规正弦损失) \(8.8 \pm 3.6^\circ\) / 3.0 mm \(12.1 \pm 11.1^\circ\) / 7.2 mm \(11.1 \pm 5.3^\circ\) / 3.6 mm
Geodesic loss (测地线损失) \(9.2 \pm 4.7^\circ\) / 3.1 mm \(13.5 \pm 20.0^\circ\) / 9.7 mm \(30.9 \pm 53.4^\circ\) / 7.7 mm \(27.8 \pm 42.5^\circ\) / 12.6 mm 全局测地线损失导致梯度震荡
No artifact augm. (去伪影增强) \(12.0 \pm 21.1^\circ\) / 3.5 mm \(16.2 \pm 18.6^\circ\) / 7.7 mm \(18.4 \pm 21.1^\circ\) / 5.4 mm \(31.9 \pm 36.7^\circ\) / 15.1 mm 缺乏物理自旋历史伪影模拟

关键发现

  • 跨域鲁棒性断层领先:在最具临床实际意义的 Navigators 导航测试集上,所有基准 CNN 模型在从 dHCP(高清研究数据)跨域迁移时全部崩溃(误差均大于 \(77^\circ\)),而 E(3)-Pose 无论在何种源域训练,旋转误差均稳定保持在 \(9.4^\circ \sim 13.9^\circ\) 之间,证明内生旋转等变性极大地抑制了域漂移下的过拟合。
  • 等变卷积与伪向量缺一不可:消融实验显示,将 E(3) 卷积降级为标准 CNN 会导致在 dHCP 训练下的 Navigators 误差从 \(13.9^\circ\) 暴增至 \(80.2^\circ\);而去除伪向量对称建模后,Navigators 误差亦从 \(13.9^\circ\) 恶化至 \(20.6^\circ\),凸显了几何与解剖双重先验对于解决遮挡与对称二义性的关键价值。
  • 推理速度与自适应切片控制收益:E(3)-Pose 全流程(含分割与姿态回归)单次推理耗时仅 0.3 秒,完全契合实时脉冲序列控制要求(FireANTs 耗时 1.8 秒无法在线部署)。在闭环运动追踪仿真中,相比于单次初扫描判定的“盲运动(motion-blind)”策略,E(3)-Pose 将切片倾斜误差从 \(31.2^\circ\) 压低至 \(9.8^\circ\),并将全脑覆盖盲区比例从 0.02 降至 0.01。

亮点与洞察

  • 解剖对称性的李代数物理表征:巧用物理学中的偶宇称伪向量(pseudovector)表征胎儿大脑左右对称轴,天然满足镜面对称不变性与 \(\text{SO}(3)\) 连续性,巧妙将医学解剖先验与群论张量表征融合。
  • 抗伪影物理模拟增强的跨域桥梁:针对临床导航序列中交替采集造成的自旋历史暗带伪影,推导出解析的高斯切片剖面衰减公式进行数据合成,低成本弥补了科研数据集与临床真实序列之间的分布鸿沟。
  • 计算效率与临床转化高度闭环:不仅在离线指标上取得 SOTA,还兼顾了 0.3 秒超低端到端延迟,并构建了模拟真实胎儿运动轨迹的诊断切片追踪仿真,直接打通了向西门子/飞利浦等磁共振系统底层序列集成的转化路径。

局限与展望

  • 病理严重侧向不对称下的先验假设破裂:方法建立在大脑左右近似对称的生理前提下。敏感性实验表明,当胎儿患有 40-70mm 的巨脑肿瘤或严重单侧脑室膨大时,对称性假设失效会导致姿态估计偏差,此时需回退至非对称基底变体。
  • 缺乏时序运动平滑与不确定性建模:当前模型针对每个三维导航容积进行单帧独立预测,未显式结合卡尔曼滤波或递归状态空间模型利用历史运动轨迹,也未输出姿态估计的贝叶斯不确定性置信度。未来结合李群上的概率滤波是重要的临床优化方向。

相关工作与启发

  • vs Fetal-Align [37]: Fetal-Align 依靠传统的脑部和双眼解剖标志点检测计算朝向。当自旋历史伪影恰好穿过眼眶或低信噪比模糊眼部时,Fetal-Align 完全失效(Navigators 误差高达 \(56.2^\circ\));而 E(3)-Pose 直接对全局张量场回归,无需依赖脆弱的局部标志点可见性。
  • vs FireANTs [40] & EquiTrack [6]: 基于配准的基准严重依赖受试者特异性模板,在导航容积伪影干扰灰度相似性时配准严重陷入局部极值;且 FireANTs 运行时间达 1.8 秒,无法满足实时切片追踪需求,而 E(3)-Pose 是无模板直接回归架构,运行仅需 0.3 秒。
  • vs 6DRep [20] & RbR [29]: 常规姿态回归网络缺乏旋转等变性,高度依赖海量样本与旋转增强,在面对大跨域临床容积时彻底失效;E(3)-Pose 通过几何等变与伪向量正交基底,以结构约束换取无与伦比的域泛化稳定性。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [首次将 E(3) 等变不可约张量与偶宇称伪向量引入医学影像姿态估计,数学推导严密精巧]
  • 实验充分度: ⭐⭐⭐⭐⭐ [涵盖科研、早孕周、真实导航多中心跨域数据,包含详尽消融、病理损伤扰动及在线轨迹控制仿真]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑严丝合缝,几何先验与医学临床痛点结合紧凑,问题与方案对应清晰]
  • 价值: ⭐⭐⭐⭐⭐ [攻克胎儿 MRI 运动自适应扫描的核心实时导航瓶颈,代码已开源,临床转化潜力极高]