Foundation-Guided Representation Alignment for Multimodal Medical Image Registration¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/MeggieGuo/FGRA-Reg
领域: 医学图像
关键词: 模态对齐, 视觉基础模型, 多模态图像配准, 深度特征重组, 层次化特征融合

一句话总结¶

提出一种基于视觉基础模型（VFM）表征引导的多模态医学图像配准框架，通过数据重组策略与层次化表征融合模块将预训练大模型的跨模态先验迁移至轻量 3D 配准网络，在推理阶段完全摆脱基础模型依赖，显著提升 MR-CT 配准精度与跨数据集泛化能力。

研究背景与动机¶

多模态医学图像配准是临床疾病诊断、放射治疗规划和多源信息融合的核心基础。以磁共振（MR）和计算机断层扫描（CT）为例，CT 具备高密度骨骼解剖的高分辨率成像优势，而 MR 则对软组织具有极高的对比度。准确对齐两类模态可实现解剖与病理信息的互补。然而，由于不同成像原理造成的显著外观与强度分布差异（例如骨组织在 CT 中呈现高灰度亮区，而在 MR 中多表现为低信号暗区），传统的直接强度相似度度量（如互信息 MI）面临优化非凸、易陷入局部极值及梯度微弱的问题；基于图像翻译（如 CycleGAN/INN）的方法则容易在模态转换中引入假阳性伪影并忽略切片间 3D 几何一致性。

基于深度学习的无监督可形变配准网络（如 VoxelMorph、TransMorph、ModeT）普遍依赖编码器提取模态不变且结构敏感的特征表示。但在跨模态场景下，配准编码器单凭有限的标注数据极难自发建立稳定的跨模态解剖对应。与此同时，通用视觉基础模型（如 DINOv2、DINOv3）凭借海量自然图像上的自监督预训练，展现出惊人的跨域泛化能力与深层语义对齐潜力。但直接将 VFM 迁移至 3D 医学配准面临三重核心壁垒：一是 3D 医学体积与大模型参数叠加导致的显存爆炸与极高推理延迟，无法满足临床实时部署；二是 2D 彩色自然图像与 3D 单通道灰度医学体积之间的显著输入域鸿沟；三是通用基础模型的全局语义目标与可形变配准所需的局部高精度空间几何形变之间的任务不对齐。

现有引入大模型的医学配准工作多在推理阶段直接调用完整模型或其微调分支，不仅计算开销剧烈，且往往忽略了基础模型内部层级特征的丰富度。本文的核心 idea 是：在训练阶段通过轻量级数据重组与多层特征融合，将预训练 2D 视觉基础模型的跨模态语义先验以特征蒸馏对齐的形式显式注入 3D 配准编码器，而在推理阶段彻底剥离基础模型，实现零额外计算开销下的高精度、强泛化 MR-CT 配准。

方法详解¶

整体框架¶

本文框架由两条核心路径协同运作：由轻量化 3D 共享编码器与形变场解码器组成的「3D 配准主干网络」，以及由预训练冻结的 DINOv3 构成的「基础特征引导分支」。输入为 3D 浮动图像 $I_m$（MR）与参考图像 $I_f$（CT）。在训练阶段，3D 配准主干提取三维多尺度特征，基础特征引导分支则通过数据重组将 3D 切片转化为符合 2D VFM 的输入，并通过层次化特征融合提取深浅兼备的多尺度表征；随后借助表征对齐损失强制配准编码器的特征空间向基础模型特征对齐。在推理阶段，基础模型分支被完全丢弃，仅保留轻量级 3D 配准主干进行前向预测，兼顾了高效推理与跨模态特征表达能力。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：3D 配准图像对<br/>(浮动图像 Im 与参考图像 If)"] --> B["数据重组策略<br/>相邻切片融合与1x1卷积去冗余"]
    B --> C["层次化表征融合<br/>多层VFM特征空间重采样与动态加权"]
    C --> D["基础引导表征对齐<br/>余弦特征对齐引导与推理期零开销解耦"]
    A --> E["轻量化 3D 配准编码器<br/>双流共享架构提取多尺度表征"]
    D -.->|训练期特征蒸馏监督 Lrep| E
    E --> F["形变场解码器<br/>预测非线性位移场并在推理期独立部署"]

关键设计¶

1. 数据重组策略：消除通道冗余并维持局部三维纵深上下文

将针对 2D 三通道自然图像预训练的基础模型迁移至 3D 单通道医学体积时，常规做法是将单一 2D 切片在通道维度简单重复复制三次（$1 \times H \times W \to 3 \times H \times W$）。这种朴素扩展造成了严重的信息冗余，不仅完全抛弃了 3D 体数据沿切片方向的解剖几何连续性，还导致输入数据分布与自然图像统计特性大幅偏离。

为克服这一矛盾，本文设计了数据重组策略（Data ReAssembly, DR）。对深度为 $d = n$ 处的切片 $S_n \in \mathbb{R}^{H \times W}$，首先提取其前、后相邻切片 $S_{n-1}$ 与 $S_{n+1}$，堆叠拼接成 2.5D 张量： $$V_{2.5D} = [S_{n-1}, S_n, S_{n+1}] \in \mathbb{R}^{3 \times H \times W}$$ 若直接将包含空间切片的 $V_{2.5D}$ 灌入 VFM，其通道所代表的局部层间切片与自然图像的 RGB 色彩通道语义严重脱节。因此，DR 引入可学习的轻量级 $1 \times 1$ 卷积层对 $V_{2.5D}$ 进行局部跨切片上下文融合，自适应生成两个全新的结构合成特征通道 $S_{n'}$ 和 $S_{n''}$： $$[S_{n'}, S_{n''}] = \text{Conv}_{1 \times 1}(V_{2.5D})$$ 最终，将中心切片 $S_n$ 与生成的结构通道重组为满足 VFM 输入的三通道张量 $\tilde{I} = [S_{n'}, S_n, S_{n''}]$。该策略不仅杜绝了切片复制的无效冗余，还将 3D 体素在深度方向的局部结构紧凑地折叠进通道中，同时保证仅基础特征分支接受 2D/2.5D 输入，而配准主干依然接收完整 3D 体积输入，保证最终形变场的空间连续性。

2. 层次化表征融合：动态聚合深浅层多尺度特征兼顾语义与解剖细节

视觉基础模型在分层前向传播中展现出鲜明的层级特性：浅层网络感受野小，侧重保留高分辨率空间结构、局部纹理与边界边缘；深层网络感受野大，提取出高度抽象的高阶语义类别信息。在密集形变配准中，微观解剖轮廓边界与宏观组织语义对应缺一不可。若依循已有工作仅使用基础模型最深层输出，必然丢失对精确形变至关重要的微观边界。

为此，层次化表征融合（Hierarchical Representation Fusion, HRF）模块显式抽取 DINOv3（ViT-B/16）第 3、6、9、12 层的中间特征构成多级特征集 $\{F_1, F_2, \dots, F_L\}$（其中 $L=4$）。针对每个选定层的特征 $F_l$，首先通过空间插值重采样（Resampling）将其分辨率对齐到与配准编码器目标表征一致的 $H \times W \times D$ 三维尺寸，得到 $\tilde{F}_l$。为了避免等权平均抹杀各层特征的专长，HRF 引入可学习的层级重要性权重向量 $w = (w_1, \dots, w_L) \in \mathbb{R}^L$，通过 Softmax 归一化后执行动态自适应融合： $$\tilde{F}_{\text{fused}} = \sum_{l=1}^L \frac{\exp(w_l)}{\sum_{j=1}^L \exp(w_j)} \tilde{F}_l$$ 随后，利用一层轻量 3D 卷积将融合后的特征维度变换为配准编码器输出维度，得到目标引导表征 $\alpha_T$ 和 $\beta_T$。该机制促使基础模型特征自适应兼顾高层解剖一致性与底层边缘对比度，且卷积通道映射赋予了该模块无缝适配任意双流配准主干的能力。

3. 基础引导表征对齐：训练期特征蒸馏约束且推理期零基础模型开销

在传统的无监督配准中，编码器仅靠解码器回传的图像重构相似度或正则损失驱动，面对模态差异巨大的 MR 与 CT 往往收敛于解剖错误的退化极值点。本文通过基础引导表征对齐（Foundation-Guided Representation Alignment, RA），在训练期间将 HRF 提取的高质量基础模型特征 $(\alpha_T, \beta_T)$ 作为教师表征，监督配准网络共享编码器输出的特征 $(\alpha_S, \beta_S)$。

通过在对应特征图之间施加余弦相似度约束： $$\mathcal{L}_{\text{rep}} = d(\alpha_S, \alpha_T) + d(\beta_S, \beta_T), \quad d(x_1, x_2) = 1 - \frac{\sum_i x_1^i x_2^i}{\sqrt{\sum_i (x_1^i)^2} \sqrt{\sum_i (x_2^i)^2}}$$ 强制配准编码器重塑其潜空间分布，消除模态间的非线性差异，学习到跨模态不变的解剖嵌入。最关键的是，该对齐仅发生在训练阶段反向传播中；在临床部署或测试推理时，整个 VFM 及其辅助计算通路全部被剥离，测试过程仅运行轻量级的 3D 编码器-解码器主干，实现真正零额外显存占用与实时推理。

损失函数 / 训练策略¶

整个框架在训练期间联合优化三个目标函数： $$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{rep}} + \mathcal{L}_{\text{sim}} + \mathcal{L}_{\text{smooth}}$$ 其中，$\mathcal{L}_{\text{rep}}$ 为前述特征级表征对齐损失；$\mathcal{L}_{\text{sim}}$ 为图像相似度损失，在无监督模式下采用互信息损失 $\mathcal{L}_{\text{MI}}(I_f, I_m \circ \phi)$，在训练集有分割辅助时可加权加入 Dice 损失 $\mathcal{L}_{\text{Dice}}(S_f, S_m \circ \phi)$（测试阶段完全不依赖分割标签）；$\mathcal{L}_{\text{smooth}}(\phi) = \sum_{p \in \Omega} \|\nabla u(p)\|^2$ 为空间平滑正则化项，惩罚位移场 $u(p) = \phi(p) - p$ 的二阶导数空间畸变，保证形变拓扑合理。

优化使用 Adam 优化器，初始学习率为 $2 \times 10^{-4}$，batch size 为 1。在 Learn2Reg 腹部数据集上训练 400 epochs，在 SR-Reg 脑部数据集上训练 100 epochs。所有实验基于单张 80GB NVIDIA H100 GPU 运行。

实验关键数据¶

主实验¶

论文在 Learn2Reg 真实腹部 MR-CT 数据集与 SR-Reg 脑部 MR-CT 数据集上进行了全面评测。评估指标包括解剖重叠率 DSC（越高越好）、95% 豪斯多夫距离 HD95（单位 mm，越低越好）、非正雅可比行列式比例 $\%(|J_\phi| \le 0)$（拓扑折叠率，越低越好）以及模型参数量。

在 Learn2Reg 挑战性腹部 MR-CT 配准任务中，本文方法基于 ModeT（OursM）和 PiViT（OursP）主干进行了对比验证，结果如表 1 所示：

方法	DSC (%) ↑	HD95 (mm) ↓	%(\|Jϕ\| ≤ 0) ↓	参数量 (M)
Initial	57.24 ± 19.42	11.88 ± 7.44	-	-
NiftyReg (传统方法)	72.61 ± 22.89	8.54 ± 8.34	0.00 ± 0.00	-
LapIRN	70.91 ± 19.30	10.48 ± 6.05	0.10 ± 0.01	1.20
VoxelMorph	67.81 ± 18.50	10.23 ± 6.24	0.02 ± 0.01	0.30
TransMorph	70.97 ± 20.68	10.64 ± 7.96	0.07 ± 0.00	46.76
TransMatch	70.45 ± 20.74	11.12 ± 8.96	0.02 ± 0.01	112.38
UTSRMorph	75.22 ± 18.70	9.72 ± 7.77	0.03 ± 0.01	98.82
PiViT	67.15 ± 24.28	11.55 ± 8.26	0.01 ± 0.00	0.66
OursP (PiViT+本文框架)	71.26 ± 18.82	10.47 ± 7.61	0.01 ± 0.00	0.66
ModeT	73.84 ± 23.64	7.80 ± 6.22	0.02 ± 0.02	1.03
OursM (ModeT+本文框架)	76.16 ± 20.93	7.12 ± 5.74	0.03 ± 0.02	1.03

在 SR-Reg 脑部 MR-CT 配准任务中，本文方法进一步提供了形变图像质量指标（MSE、SSIM、PSNR），如表 2 所示：

方法	DSC (%) ↑	HD95 (mm) ↓	%(\|Jϕ\| ≤ 0) ↓	MSE (%) ↓	SSIM (%) ↑	PSNR (dB) ↑	参数量 (M)
Initial	55.14 ± 4.81	4.33 ± 0.55	-	2.65 ± 0.25	66.58 ± 2.07	33.91 ± 0.28	-
VoxelMorph	69.79 ± 4.89	2.92 ± 0.56	0.01 ± 0.00	0.97 ± 0.15	76.65 ± 2.06	34.07 ± 0.33	0.30
TransMorph	71.16 ± 5.24	2.96 ± 0.67	0.49 ± 0.13	0.99 ± 0.19	77.15 ± 2.04	34.03 ± 0.34	46.76
UTSRMorph	75.20 ± 4.57	2.32 ± 0.58	0.05 ± 0.05	0.85 ± 0.13	78.53 ± 2.31	34.16 ± 0.38	98.82
ModeT	72.30 ± 3.63	2.58 ± 0.41	0.01 ± 0.01	0.88 ± 0.21	78.05 ± 2.00	34.15 ± 0.33	1.03
OursM	79.04 ± 2.37	1.97 ± 0.30	0.06 ± 0.02	0.83 ± 0.20	80.00 ± 2.27	34.19 ± 0.41	1.03

消融实验¶

在 SR-Reg 数据集上以 ModeT 为基线进行的逐步消融结果如表 3 所示：

配置	DSC (%) ↑	HD95 (mm) ↓	%(\|Jϕ\| ≤ 0) ↓	说明
Base (ModeT)	72.30 ± 3.63	2.58 ± 0.41	0.01 ± 0.01	基础 ModeT 基线
+ RA	76.83 ± 2.73	2.23 ± 0.37	0.04 ± 0.02	引入基础模型特征对齐（朴素三通道复制+末层特征）
+ RA + DR	77.26 ± 2.89	2.16 ± 0.37	0.07 ± 0.03	替换为数据重组策略（融合相邻切片与自适应卷积）
+ RA + HRF	78.08 ± 2.47	2.09 ± 0.31	0.08 ± 0.03	替换为层次化表征融合（抽取 3/6/9/12 层动态注意力加权）
Ours (Full: RA + DR + HRF)	79.04 ± 2.37	1.97 ± 0.30	0.06 ± 0.02	完整模型：同时引入重组与多层融合

关键发现¶

特征对齐带来主干跃升：在基线 ModeT 上仅加入基础模型表征对齐（+RA），DSC 即从 72.30% 跃升至 76.83%（绝对提升 4.53 个百分点），证实预训练 VFM 蕴含强大的跨模态解剖结构先验。
DR 与 HRF 具备强互补性：数据重组（DR）消除通道冗余后性能提升至 77.26%，层次化融合（HRF）注入浅层纹理后提升至 78.08%，两者协同集成后达到最高的 79.04%，HD95 首次压降至 2.0mm 以下（1.97mm）。
极高参数效能与推理友好：OursM（1.03M 参数）以极小的参数体量大幅超越了参数量高达 98.82M 的 UTSRMorph（DSC 79.04% vs 75.20%，HD95 1.97 vs 2.32），且推理阶段与原始基线完全一致，消除了大模型落地的显存障碍。
优异的跨域迁移泛化：在腹部 Learn2Reg 预训练并冻结编码器、仅微调解码器迁移至脑部 SR-Reg 的极端迁移实验中，OursM 的 DSC 达到 64.83%，显著优于原始 ModeT 的 62.89%，表明所学表征具备高度解剖通用性。

亮点与洞察¶

训练蒸馏与推理零开销的解耦设计：不同于以往将大模型适配器（Adapter）或推理切片流水线绑死在测试期的做法，本文将 VFM 定位为「训练期潜空间几何教师」，测试期将其完全剔除，让轻量网络零开销享受基础模型红利。
2.5D 切片重组巧妙跨越自然图像与医学体数据差异：通过提取相邻切片并借助可学习 $1 \times 1$ 卷积映射为符合 VFM 预训练分布的三通道输入，既锁定了切片纵深的 3D 几何，又避免了硬套 RGB 带来的语义错位。
多层特征动态重采样的通用适配性：对 ViT 浅层到深层表征进行 3D 尺寸统一插值与 Softmax 注意力加权，使得配准网络能按需平衡轮廓边界与高级语义，且通过卷积维度适配可无缝嫁接于任意双流配准主干。

局限与展望¶

作者承认的局限：模型性能高度受制于基础模型的跨域表征能力。DINOv3 在海量自然图像上训练，虽然语义表征强大，但自然图像统计特征与医学体素依然存在固有域差；当基础模型对某些特定细微解剖结构解析欠佳时，可能会向配准网络传递亚优或有偏的引导。
潜在改进方向：当前 DR 仅聚合了前后相邻各 1 层切片（2.5D），对于层间距较大或剧烈各向异性的扫描，可探索更大纵深多切片自适应聚束或真正的原生 3D 医学基础模型表征蒸馏；此外，可研究根据不同解剖区域动态选择最佳 VFM 层级组合的自适应路由机制。

评分¶

新颖性: ⭐⭐⭐⭐ [构思精巧，将 2D VFM 跨模态先验以训练期蒸馏形式迁移至轻量 3D 配准，推理零开销]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖腹部与脑部两大 MR-CT 基准，包含消融、参数量对比、t-SNE 可视化及跨数据集迁移]
写作质量: ⭐⭐⭐⭐⭐ [动机叙述逻辑清晰，数学推导严密，图表对比详实]
价值: ⭐⭐⭐⭐⭐ [攻克了 VFM 在医学 3D 配准中的计算负担与输入域鸿沟，具备极高的临床转化与工程复用价值]