XPos3R: Cross-Modal Transformer for Intraoperative 2D/3D Registration¶

会议: ECCV 2026
论文: ECCV 原文
领域: 医学图像 / 术中 2D/3D 配准
关键词: 术中 2D/3D 配准、跨模态 Transformer、DUSt3R、DRR 合成、测试时优化

一句话总结¶

XPos3R 把 DUSt3R 式前馈几何 Transformer 扩展到"2D X 光 + 3D CT"异构输入，用预训练 RayDINO 编码图像、从头训练的 3D CNN 编码体积，经单向图像到体积交叉注意力直接回归术中相机位姿；单次骨盆预训练即可跨患者使用，配合秒级测试时优化把 3D 误差降到约 3.3 mm、重投影误差降到 0.45 mm，免去逐患者数小时的术前重训练。

研究背景与动机¶

骨盆创伤手术这类高风险介入依赖术中实时 X 光观察解剖与器械，但 2D 投影天然存在深度歧义，空间推理受限；CT 有完整三维解剖，却因设备与安全约束几乎不可能在手术中随时采集。把实时 X 光与术前体积对齐——即估计两者之间的相机位姿——就是术中 2D/3D 配准，是图像引导介入的基础环节。传统强度优化法把 CT 渲染出的数字重建放射影像（DRR）与真实 X 光做相似度对齐，精度上限高，却对位姿初始化极其敏感；地标法用 PnP 求解器解位姿，又需要大量专家标注。

回归式方法试图直接从 X 光回归初始位姿，但要达到足够精度，几乎都走逐患者训练路线：给定患者 CT，采样大量位姿并渲染 DRR 来训练一个 2D CNN。DiffPose 从头训练约需 12 小时；XVR 从患者无关预训练模型微调，把准备压到 5 分钟，但输入仍然只有 2D，无法显式利用患者的三维解剖——本文的跨受试者误差分布显示，这类 2D-only 模型方差大、离群多，更像是记住了 2D 外观而不是理解了 3D 解剖。至今没有一个回归模型能不做任何术前准备就直接跨患者使用，急诊场景因此长期无解。

几何基础模型提供了新参照：DUSt3R 等模型凭借 Transformer 与大规模训练，在重建、跟踪、位姿估计等立体视觉任务上展示了跨场景泛化。直接照搬有两个障碍：其一，几何基础模型处理同模态输入（图像-图像对），而这里是 2D X 光与 3D 体积的异构成对输入，需要新的架构与特征对齐方式；其二，医疗数据远少于自然图像，百万级训练集无法直接获得。考虑到实践中有超过 77,000 个手术操作编码，训练全解剖统一模型既缺数据也难以满足按术式的监管要求，作者采取务实设定：固定解剖区域（骨盆），训练一个在该区域内跨患者泛化的模型。核心 idea：把术中配准从"单视图位姿回归"重构为"图像-体积成对推理"——预训练 X 光 ViT 提供语义丰富的图像 token 去查询从头训练的 3D CNN 体积记忆，再用数百例 CT 经位姿采样与 DRR 渲染合成 230 万训练三元组，实现跨患者、免术前准备的 DUSt3R 式前馈配准。

方法详解¶

整体框架¶

问题形式化：给定术前 CT 体积 \(V\) 和在未知位姿 \(T=[R|t]\in SE(3)\) 下采集的 2D X 光 \(I\)，X 光成像可描述为已知内参针孔模型下的投影算子 \(P(T): V \to I\)，配准目标就是从 \((I, V)\) 估计 \(T\)。XPos3R 训练一个前馈模型 \(F\) 直接输出 \(\hat{T}=F(I,V)\)，推理时可选用测试时优化（TTO）在数秒内精修。

网络沿 DUSt3R 的"编码器-解码器-回归头"三段式，但在编码与解码两端都做了面向跨模态的非对称改造：图像侧由 X 光领域预训练的 RayDINO 把 224×224 X 光编码为 196 个图像 token；体积侧由四阶段 3D CNN 把 96³ 的 CT 编码为 1,728 个体积 token，并全局平均池化出一个患者级嵌入；解码器只在图像 token 上做自注意力，再以图像 token 为查询、体积 token 为键值做交叉注意力，输出图像对齐的几何 token；回归头把几何 token 与患者嵌入拼接，用两个 MLP 分别预测轴角旋转与平移，经指数映射回到 SE(3)。TTO 阶段用可微渲染器 DiffDRR 迭代优化 NCC 相似度，把 DRR 对齐到真实 X 光。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    I["2D X 光"] --> E1["非对称双模态编码<br/>RayDINO 图像编码器"]
    V["3D CT 体积"] --> E2["非对称双模态编码<br/>3D CNN 体积编码器"]
    E2 --> G["全局池化患者嵌入"]
    E1 --> D["单向图像到体积交叉注意力<br/>图像 token 查询体积 token"]
    E2 --> D
    G --> H["位姿回归头<br/>两个 MLP 输出旋转与平移"]
    D --> H
    H -->|前馈位姿，可选| T["测试时优化<br/>DiffDRR 强度优化，秒级"]
    T --> O["精修位姿<br/>TRE 约 3.3 mm"]

关键设计¶

1. 非对称双模态编码：预训练图像 ViT 与从头训练的 3D CNN

DUSt3R 系模型用共享权重的孪生编码器处理同模态输入，而 X 光与 CT 是异构模态，必须拆成双编码器，于是"每一侧用什么骨干"成了直接影响跨模态对齐质量的选择。图像侧选用 RayDINO——在大规模 X 光数据上自监督预训练的 ViT，能输出稠密且语义丰富的表征，224×224 输入产生 196 个图像 token。体积侧没有沿用预训练 3D 分割骨干，而是从头训练一个轻量四阶段 Conv3D 层级（卷积核 3、步长 1/2/2/2），提取多尺度特征网格后线性投影并展平为 1,728 个体积 token；另对特征网格做全局平均池化，得到一个捕捉患者级信息的一维嵌入，作为解码阶段的补充上下文。

从头训练体积编码器是本文最反直觉、也被消融最直接支持的决定：预训练 3D 分割编码器（如 SuPreM）为检测特定器官优化，学到稀疏、局部的表征，与图像侧稠密语义特征难以对齐，反而拖累后续交叉注意力解码；换成从头训练的紧凑 3D CNN 后，体积特征主动向高质量图像特征对齐。消融数据支持这一选择——SuPreM 的 TRE 为 74.03 mm，是从头训练 3D CNN（24.16 mm）的三倍；图像侧同理，X 光域预训练的 RayDINO 全面优于通用 DINOv2（TRE 29.77 mm）与从头训练（36.72 mm）。预训练表征的价值在于"域适配后的语义密度"，而不是"哪里都套预训练"。

2. 单向图像到体积交叉注意力：体积当记忆，图像当查询

体积 token 数（1,728）远大于图像 token 数（196），若照搬 DUSt3R 在两个分支上都做自注意力、再做双向交叉注意力，计算开销会集中在体积一侧且收益可疑。XPos3R 的解码器改为单向：先只在图像 token 上做 4 层自注意力，再用 2 层交叉注意力让图像 token 查询体积 token：

\[ G=\text{CrossAttn}\big(\text{SelfAttn}(F_{\text{xray}}),\,F_{\text{vol}},\,F_{\text{vol}}\big), \]

其中查询来自图像 token，键值来自体积 token，输出是与 X 光逐位置对齐的几何 token。这样设计的理由有三：体积侧自注意力与体积到图像方向的反向注意力都代价过高；3D CNN 的多尺度结构已经编码了局部-全局层级，额外自注意力作用有限；任务本身是估计 X 光的位姿，把体积当作被查询的键值记忆、让图像 token 主动索取空间信息，语义上正好顺向。回归头把几何 token 与患者嵌入拼接，送入两个各自 3 层、1,024 通道的 MLP，分别输出轴角旋转 \(r\in\mathbb{R}^3\) 与平移 \(t\in\mathbb{R}^3\)，李代数表示 \(\xi=(r,t)\in se(3)\) 再映射回李群 \(T\in SE(3)\)。

3. 解剖区域定制的百万级合成数据：可扩展性来自位姿多样性

DUSt3R 的泛化来自百万级标定图像对，医疗领域拿不到同等规模的真实数据；而超过 77,000 个手术操作编码也意味着"一个模型覆盖所有解剖"不现实。论文因此把训练规模的问题转化为区域内的数据合成问题：从公开 CTPelvic1K 收集骨盆 CT，过滤后剩 461 例（441 训练 / 20 验证），先用 ITK-SNAP 以骨分割模板做刚性 3D/3D 预配准，统一到规范朝向；再对每个体积在可信的术中采集范围内采样 5,000 个随机 C 臂位姿，用 DiffDRR 渲染对应 DRR 并施加随机对比度增强来缩小合成-真实差距，共得到 230 万"体积-DRR-位姿"三元组，相机内参与评测基准一致。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["公开骨盆 CT<br/>CTPelvic1K 过滤后 461 例"] --> B["3D/3D 预配准<br/>统一到标准骨模板朝向"]
    B --> C["位姿采样与 DRR 渲染<br/>每体积 5,000 个 C 臂位姿"]
    C --> D["230 万 体积-DRR-位姿三元组"]

这一策略的关键判断是：同一解剖区域内，X 光外观随视角的变化远大于随患者间解剖差异的变化，所以把合成预算花在位姿多样性（每体积 5,000 张）上，比追求更多病例更有效，即 \(M_{\text{xray}} \gg M_{\text{vol}}\)。441 个训练体积乘以 5,000 约为 220 万，论文报告 230 万，推测把 20 例验证体积也计入渲染统计，此处以原文数字为准。预配准到规范朝向则压缩了位姿搜索空间，使采样分布能覆盖术中实际可能出现的视角。

损失函数 / 训练策略¶

训练目标是标准位姿回归：平移用 Huber 损失，旋转用测地距离损失 \(\mathcal{L}_{\text{rot}}\propto\arccos\big(\frac{\operatorname{trace}(R_{\text{pred}}R_{\text{gt}}^{\top})-1}{2}\big)\)，并按焦距缩放角度误差使其与平移误差量级对齐（精确前因子 ⚠️ 以原文为准）。总损失为

\[ \mathcal{L}_{\text{pretrain}}=\lambda_{\text{rot}}\mathcal{L}_{\text{rot}}+\lambda_{\text{trans}}\mathcal{L}_{\text{trans}},\qquad \lambda_{\text{rot}}=0.1,\ \lambda_{\text{trans}}=100. \]

缓存中的公式排版有损坏，以上只保留正文可确认的结构与权重数值。训练用 AdamW、余弦学习率（峰值 1×10⁻⁴、预热 5 个 epoch）、100 个 epoch、全局批大小 70，在 8 张 H100 上预训练约 5 天。

测试时优化沿用 XVR 的默认设置：以 XPos3R 的前馈预测为初始位姿，用 DiffDRR 可微渲染器迭代更新位姿，能量项取多尺度 NCC 与梯度 NCC——NCC 即两图各自按 \(Z=(I-\mu(I))/\sigma(I)\) 归一化后的逐像素乘积均值。由于计算 NCC 需要代价高昂的图像渲染，预训练阶段刻意不包含该项，把渲染成本留给术中秒级精修。

实验关键数据¶

主实验¶

训练数据为 CTPelvic1K 过滤后的 461 例骨盆 CT（441 训练 / 20 验证）；评测在 DeepFluoro 上进行——6 具尸体骨盆 2D/3D 配准基准，每例 1 个 CT 与 24–111 张 X 光，Siemens CIOS Fusion 移动 C 臂采集，探测器 30×30 cm²、焦距 1,020 mm，提供手工标注 3D 基准标记点与每张 X 光的真值外参，评测 CT 同样预配准到统一骨模板。指标包括位姿类的旋转误差 RE 与平移误差 TE、基准点类的目标配准误差 TRE 与投影误差 PE，以及效率类的术前准备时间 \(T_{\text{preo}}\)（逐患者训练或标注）与术中单张耗时 \(T_{\text{intra}}\)；所有精度指标按每张 X 光报告均值±标准差。

下表摘自原文表 1，按三种范式分组；XPos3R 的 TTO 用 DiffDRR 作优化骨干。

范式	方法	术前准备	\(T_{\text{intra}}\) (s)	RE (°) ↓	TE (mm) ↓	TRE (mm) ↓	PE (mm) ↓
前馈回归	DiffPose	12 小时	0.15	3.347 ± 2.19	43.93 ± 27.79	43.88 ± 27.65	7.714 ± 5.10
前馈回归	XVR（预训练）	–	0.16	6.742 ± 2.10	90.65 ± 26.82	90.61 ± 26.97	10.60 ± 3.52
前馈回归	XVR（微调）	5 分钟	0.15	2.587 ± 1.58	34.14 ± 21.13	33.90 ± 20.74	3.860 ± 2.08
前馈回归	XPos3R（预训练）	–	1.52	1.352 ± 0.56	24.06 ± 6.19	24.16 ± 6.24	7.412 ± 3.11
纯优化	DiffDRR	–	4.22	18.52 ± 25.35	198.6 ± 227.46	200.2 ± 229.58	29.87 ± 50.52
纯优化	Regi2D3D-1	需标注	9.03	3.594 ± 18.65	37.38 ± 177.60	37.21 ± 176.72	6.081 ± 25.35
纯优化	Regi2D3D-2	需标注	18.57	6.387 ± 16.31	77.26 ± 183.46	76.42 ± 181.20	16.60 ± 43.70
纯优化	RayEmb	–	12.19	0.818 ± 1.53	10.84 ± 20.48	10.75 ± 20.19	2.174 ± 1.48
前馈+TTO	DiffPose + TTO	12 小时	1.55	0.277 ± 1.17	3.854 ± 15.37	3.810 ± 14.95	0.473 ± 1.20
前馈+TTO	XVR（预训练）+ TTO	–	1.56	0.407 ± 1.70	5.594 ± 22.54	5.553 ± 22.29	0.561 ± 1.45
前馈+TTO	XVR（微调）+ TTO	5 分钟	1.39	0.277 ± 1.17	3.856 ± 15.36	3.811 ± 14.94	0.475 ± 1.20
前馈+TTO	XPos3R（预训练）+ TTO	–	2.93	0.236 ± 0.65	3.313 ± 8.45	3.288 ± 8.31	0.448 ± 0.94

前馈设定下，单个预训练 XPos3R 在回归方法中整体最优：相对 XVR（预训练）把 RE 与 TE 分别降低 5.39° 与 66.59 mm；相对需要逐患者重训练的 DiffPose 与 XVR（微调），位姿误差全面更低、TRE 最优，仅 2D 基准点指标 PE（7.412 mm）仍明显落后于 XVR（微调）的 3.860 mm——这是逐患者方法在前馈设定下保持优势的唯一指标。更重要的是离散度：XPos3R 的 RE 标准差 0.56，不足其他回归方法（1.58–2.19）的三分之一，六具尸体上的 TRE 中位数与离群值均最优，而纯 DiffDRR 无初始化时 TRE 高达约 200 mm，凸显初始化的价值。

加入 TTO 后，XPos3R 在全部四个精度指标上最优：RE 降至 0.236°（亚度级）、TE/TRE 约 3.3 mm、PE 0.448 mm（亚毫米级），对应摘要宣称的"3D 误差 <4 mm、重投影误差 <1 mm"。患者特异方法微调后的均值其实相差不大（DiffPose + TTO 的 TRE 为 3.810 mm），但方差大得多（TE 标准差 15.37 对 8.45），说明它们的初始预测不稳，优化收敛可靠性差。效率上，XPos3R 免去全部术前准备（DiffPose 需 12 小时），TTO 单张耗时 2.93 秒，快于 Regi2D3D 的 9–19 秒与 RayEmb 的 12.19 秒；前馈推理 1.52 秒虽慢于 2D CNN 的 0.15 秒，属于可接受的代价。

消融实验¶

表 2 消融编码器与患者嵌入（DeepFluoro，前馈预测），表 3 比较预训练模型与逐患者微调版本。

消融维度	配置	RE (°)	TE (mm)	TRE (mm)	PE (mm)
2D 编码器	DINOv2（通用预训练）	2.041	29.95	29.77	11.54
2D 编码器	从头训练	2.480	37.09	36.72	11.38
2D 编码器	RayDINO（本文）	1.352	24.06	24.16	7.412
3D 编码器	SuPreM（3D 分割 Transformer）	2.607	73.82	74.03	13.43
3D 编码器	3D CNN（本文）	1.352	24.06	24.16	7.412
患者嵌入	去掉全局嵌入	2.012	32.33	32.58	9.709
患者嵌入	保留全局嵌入（本文）	1.352	24.06	24.16	7.412

训练方式	阶段	RE (°)	TE (mm)	TRE (mm)	PE (mm)
预训练（跨患者）	前馈预测	1.352	24.06	24.16	7.412
逐患者微调	前馈预测	0.980	10.61	10.56	2.968
预训练（跨患者）	TTO 后	0.236	3.313	3.288	0.448
逐患者微调	TTO 后	0.234	3.302	3.275	0.449

体积编码器的替换代价最大：换成 SuPreM 后 TRE 从 24.16 恶化到 74.03 mm，印证预训练分割表征与图像特征不对齐的判断；图像编码器从 RayDINO 换成通用 DINOv2 或从头训练，TRE 分别恶化到 29.77 与 36.72 mm，说明域适配预训练比"预训练/从头"的二元选择更本质。去掉全局患者嵌入使 TRE 退到 32.58 mm，这个几乎零成本的补充上下文并不冗余。逐患者微调能把前馈 TRE 从 24.16 提到 10.56 mm，但 TTO 之后两者几乎重合（3.288 对 3.275 mm）——瓶颈在优化算法本身（受图像分辨率等限制），而不在初始位姿质量；只有需要更高前馈精度的场景才值得付微调成本。

关键发现¶

3D 体积信息是跨患者泛化的来源。 2D-only 方法在六具尸体上方差大、离群多，呈现"记住 2D 外观"的过拟合特征；注意力可视化显示 XPos3R 的最高跨模态注意力集中在 X 光几何覆盖的 3D 区域，说明模型学到的是 2D-3D 几何关系而非外观记忆。
预训练表征要"域适配"而不是"通用"。 X 光预训练的 RayDINO 优于通用 DINOv2，而 3D 侧恰恰相反——预训练分割编码器不如从头训练的紧凑 CNN；两侧的对齐质量比单侧表征强度更重要。
逐患者微调的收益被 TTO 吸收。 前馈阶段微调收益显著（TRE 24.16→10.56 mm），TTO 后差距缩小到 0.013 mm；临床若配秒级强度优化，跨患者预训练已足够。
效率三角可以兼得。 免术前准备（对比 12 小时）、前馈 1.52 秒、TTO 2.93 秒；精度代价仅是 PE 一项在前馈阶段落后于逐患者微调方法，TTO 后反超全部对手。

亮点与洞察¶

"哪侧当查询、哪侧当记忆"由任务语义决定，而非对称惯性。 任务是估计 X 光位姿，就让图像 token 查询体积记忆——这一步既省掉体积侧 1,728 个 token 的自注意力开销，又让输出天然与 X 光逐位置对齐，是"非对称"三个字里最有含金量的决定。
"预训练 vs 从头"应该逐模态决策。 同一模型里图像侧用域适配预训练、体积侧从头训练，两个方向相反的选择都被消融支持；把"预训练表征更通用"当默认假设在跨模态场景会翻车。
数据扩展轴可以换。 医疗数据缺病例，但 DRR 渲染让"位姿采样"近乎免费——把可扩展性从病例多样性（441 例）转移到位姿多样性（每例 5,000 张），是医疗领域实现 DUSt3R 式百万级预训练的通用配方，可复用到任何能渲染 DRR 的解剖区域。
回归负责鲁棒、优化负责精度。 回归提供低方差初始化让强度优化可靠收敛，优化补足回归的毫米级精度——两级分工比单级端到端更符合手术场景的实时与安全约束。

局限与展望¶

作者承认的局限：只在骨盆验证；脑血管等区域因公开血管数据稀缺暂无法训练；选用 CT 是因为 CT 与 X 光共享成像物理、可大规模 DRR 合成，扩展到 MRI 或超声需先做模态翻译（如伪 CT 生成）。
评测规模与样本粒度。 DeepFluoro 只有 6 具尸体（每具 24–111 张 X 光），精度指标按每张 X 光统计而非按患者，患者级置信度未知；相机内参固定且与训练一致，未报告内参失配或模板预配准失配的鲁棒性。
合成-真实差距的隐藏依赖。 训练分布是"规范朝向模板 + 可信采集范围"内的随机位姿，超出该范围或存在极端病理、金属植入物时的表现未验证；230 万三元组由 441 例训练体积渲染而来，解剖多样性仍是瓶颈（论文称 2.3M，441×5,000 约 2.2M，差异推测含 20 例验证体积）。
推理成本与工程前提。 前馈 1.52 秒比 2D CNN 慢一个量级，TTO 需要可微渲染与 GPU；3D/3D 预配准依赖骨分割模板质量，模板失配的影响未量化。
可改进方向。 扩展到其他解剖区域与非 CT 模态；压缩体积编码器或蒸馏以压低前馈延迟；把 NCC 类强度一致性蒸馏进前馈训练，减少对 TTO 的依赖。

评分¶

新颖性：4/5。首次把 DUSt3R 式前馈几何范式扩展到 2D/3D 异构模态，非对称编码器-解码器与位姿多样性数据策略有清晰的问题针对性，但组件均为成熟技术的组合。
实验充分度：4/5。真实尸体基准上与 12 个方法对比，架构、编码器、患者嵌入、微调四组消融加注意力可视化与效率分析完整；受限于单一解剖区域与 6 受试者。
写作质量：4/5。动机-设计-消融链条清晰、数字自洽；缓存中若干公式排版损坏，个别细节（测地损失前因子）无法核对。
价值：4/5。免逐患者准备的即用型配准对急诊与常规手术导航有直接临床意义，数据合成配方与非对称跨模态架构对更广的视觉几何任务有迁移价值。