Knowledge Transfer Scaling Laws for 3D Medical Imaging¶

会议: NeurIPS 2026
arXiv: 2605.06859
领域: 医学图像
关键词: 3D医学影像, 基础模型, 缩放定律, 跨模态知识迁移, 自监督预训练

一句话总结¶

针对多模态3D医学影像自监督预训练中数据混合缺乏理论指导的难题，本文提出了首个迁移感知缩放定律，通过显式建模领域特异性缩放指数与非对称跨域迁移矩阵，实现了数据混合配比的闭式解析优化，在预训练MAE重建与下游多项分割、分类任务上显著超越传统启发式配比。

研究背景与动机¶

随着视觉基础模型从2D自然图像迈向3D容积数据，构建能够统一处理CT、MRI、PET等异质模态与多解剖部位的3D医学影像基础模型，已成为医学AI领域的重要前沿。临床影像在采集物理机制、空间分辨率和解剖结构关注点上差异巨大，但三维容积推理、空间结构上下文等底层表示具备强复用性。然而，现有多模态3D预训练大多依赖均匀采样或按数据集样本量成比例采样的朴素启发式规则，默认将不同影像模态与解剖部位视作同等地位的数据源，忽视了不同医学领域在模型扩展过程中的本质差异。

深入分析可以发现两个核心矛盾。首先，不同3D医学影像领域的自缩放速度极其异质：实验表明，不同模态/部位的掩码自编码（MAE）重建损失虽然均遵循幂律缩放，但缩放指数在各领域之间差异高达3.5倍（例如BRAIN-T1仅为0.21，而HN-PET高达0.76），这意味着部分数据更容易饱和，而另一部分数据则需要更多算力才能压降表征误差。其次，跨领域的知识迁移呈现显著的有向非对称性：在富含精细解剖结构的腹部CT上训练能有效迁移至腹部MRI，但反向迁移效率却大打折扣；更极端的是，像PET这类以功能代谢为主、空间解剖结构模糊的模态，几乎无法从结构模态有效吸纳知识。如果依然采用传统经验配比，不仅会导致在已饱和模态上白白浪费宝贵预训练算力，还会导致难以吸收外部知识的特化模态严重欠拟合。

面对这一挑战，本文的切入角度是将多模态3D医学影像预训练的数据混合设计重构为可优化的缩放定律问题，借助小规模单域代理实验直接解析解耦出内在扩展性与定向迁移系数。核心 idea：联合建模领域特异的自缩放指数与非对称跨域迁移矩阵，建立计算预算感知的数据配比闭式代理目标，揭示「中心枢纽-孤岛」知识转移拓扑并闭式推导最优数据配方。

方法详解¶

整体框架¶

本文将3D医学影像异质数据混合问题形式化为以自监督掩码自编码器（MAE）重建损失为代理目标的约束优化问题。整体算法分为三阶段：第一阶段在较小算力预算下针对 \(K\) 个单领域运行自缩放拟合，解耦各领域的自扩展速率与不可约误差；第二阶段运行 \(K(K-1)\) 组有向源域到目标域的交叉验证代理实验，固定目标域自身参数后拟合非对称迁移矩阵；第三阶段将多领域总有效预算引入闭式代理损失函数，利用序列最小二乘二次规划（SLSQP）求解指定预算下的最优混合向量 \(\bm{h}^*(T)\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：K个异质3D医学影像域<br/>(CT / MRI / PET等)"] --> B["阶段1：单域自缩放参数拟合<br/>评估各域独立幂律参数 (E_i, C_i, β_i)"]
    B --> C["阶段2：有向跨域迁移矩阵估计<br/>解耦非对称源到目标折扣因子 τ_ij"]
    C --> D["阶段3：有效预算与闭式代理损失构建<br/>计算等效采样量 T_eff,i 并加权汇总"]
    D --> E["阶段4：约束凸优化求解最优数据混合<br/>SLSQP在下界约束单纯形上求解 h*(T)"]
    E --> F["输出：计算敏感的预训练最优数据配比<br/>兼顾枢纽域放大与孤岛域兜底"]

关键设计¶

1. 领域特异性自缩放法则：刻画单域表征学习的异质饱和速率

以往多任务或语言缩放定律大多假定所有子分布共享相同的扩展指数 \(\beta\)，但3D医学影像跨越解剖部位与物理成像原理，信息冗余度与特征复杂度迥异。针对目标域 \(\mathcal{D}_i\)，当仅使用该域自身的数据训练时，本文建立单域验证集 MAE 重建损失幂律模型：

\[L_i(T) = E_i + \frac{C_i}{T^{\beta_i}}\]

式中 \(E_i \ge 0\) 表示该模态不可约渐进误差下界，\(C_i > 0\) 为可优化损失系数，\(\beta_i > 0\) 为该领域特异的缩放指数。较大的 \(\beta_i\) 意味着随着预算增加，表征质量改善速度极快；而较小的 \(\beta_i\) 则说明该模态结构先验强、表征快速趋向饱和。通过对小规模离散预算运行信赖域反射优化（Trust-Region Reflective），能够独立解耦各领域的固有数据扩展特性。

2. 有向非对称迁移矩阵：量化源域到目标域的等效预算折扣

跨领域预训练的核心在于源域数据能否转化为目标域的有效表征增益。传统对称相似度假设无法反映医学影像中的单向信息瓶颈。本文引入有向迁移矩阵 \(\bm{\tau} \in [0, 1]^{K \times K}\)，其中对角线定义为 \(\tau_{ii} = 1\)。非对角元 \(\tau_{ij}\)（\(i \ne j\)）度量了在源域 \(\mathcal{D}_j\) 训练对目标域 \(\mathcal{D}_i\) 损失降低的贡献，其本质是将源域的样本量折算为目标域的等效样本：

\[L_{i \leftarrow j}(T) = E_i + \frac{C_i}{(\tau_{ij} T)^{\beta_i}}\]

在拟合过程中，固定第一阶段已求得的目标域参数 \((E_i, C_i, \beta_i)\)，仅针对单向代理试验的均方误差优化求解标量 \(\hat{\tau}_{ij}\)。这种两阶段解耦估计不仅保证了跨域方向性（允许 \(\tau_{ij} \ne \tau_{ji}\)），而且使参数估计复杂度从联合搜索的大规模曲面坍缩为 \(K(K-1)\) 个一维独立凸问题，避免了参数耦合崩溃。

3. 迁移感知闭式混合模型与约束规划求解：揭示「枢纽-孤岛」拓扑

在任意多域混合分布 \(\bm{h} = (h_1, \dots, h_K)\) 下，分配给源域 \(j\) 的实际样本预算为 \(h_j T\)。根据线性转移可叠加假设，目标域 \(i\) 所接收到的总等效数据预算为所有源域折扣贡献的总和：

\[T_{\mathrm{eff},i}(\bm{h}, T) = \sum_{j=1}^K \tau_{ij} h_j T\]

将等效预算代入自缩放方程，得到全域平均预测损失的解析闭式代理函数：

\[\widehat{L}_i(\bm{h}, T) = E_i + \frac{C_i}{\left(\sum_{j=1}^K \tau_{ij} h_j T\right)^{\beta_i}}\]

最优混合权重的求解转化为带下界约束单纯形 \(\Delta_\epsilon^{K-1}\) 上的非线性规划：

\[\bm{h}^*(T) = \arg\min_{\bm{h} \in \Delta_\epsilon^{K-1}} \sum_{i=1}^K w_i \widehat{L}_i(\bm{h}, T), \quad \text{s.t.} \quad \sum_{j=1}^K h_j = 1, \; h_j \ge \epsilon\]

引入保护下界 \(\epsilon = 0.05\) 能够防止求解器陷入退化解。该优化方程揭示出极具物理意义的「枢纽-孤岛」（Hub-and-Island）结构：向外迁移系数高（\(\bar{\tau}_{\text{out}}\) 大）的腹部CT成为「枢纽（Hub）」，分配适量预算即可通过 \(\tau_{ij}\) 辐射至多个其他模态；而向内迁移系数低（\(\bar{\tau}_{\text{in}}\) 小）且自缩放指数 \(\beta\) 极高的头颈部PET则成为「孤岛（Island）」，无法通过外部模态获得补充，优化器便会自动倾斜绝大部分直接预算（高达56.3%）进行直接重点攻坚。

损失函数 / 训练策略¶

模型预训练骨干网络采用标准的 3D ViT-B 配合 UNETR 架构，对 96×96×96 体素大小的三维体块执行掩码自编码重建（掩码比例 75%，体块大小 16×16×16）。预训练优化器采用 AdamW，基础学习率为 \(1.5 \times 10^{-4}\)，批大小为 4，预训练 50 个 epoch。针对不同模态采用定制的强度归一化策略（CT 使用器官窗截断，MRI 与 PET 使用基于非零区域的 z-score 归一化）。下游微调时，仅保留自监督预训练的 ViT 编码器权重，随机初始化卷积解码器与任务预测头，以避免预训练像素级回归解码器对分割等分类判别任务带来负迁移。

实验关键数据¶

主实验¶

在六大代表性3D医学影像域（ABD-CT、ABD-MRI、BRAIN-T1、BRAIN-T2、HN-CT、HN-PET）上，对比了本文提出的 Transfer-Aware 配比与均匀采样（Uniform）、按数据量比例采样（Data-Proportional）、以及禁用跨域迁移的 Transfer-Naïve 配比的预训练 MAE 重建损失（损失越低越好）：

混合策略	10K 预算均值	50K 预算均值	100K 预算均值	200K 预算均值	B=100K 相对降幅
Uniform	0.0853 (+7%)	0.0671 (+49%)	0.0345 (+31%)	0.0228 (+2%)	基准对比
Data-Proportional	0.0843 (+5%)	0.0712 (+58%)	0.0365 (+38%)	0.0233 (+4%)	基准对比
Transfer-Naïve	0.0835 (+4%)	0.0799 (+77%)	0.0399 (+51%)	0.0283 (+26%)	基准对比
Transfer-Aware (本文)	0.0801	0.0451	0.0264	0.0224	最优 (至多-58%)

在预训练获得的基础编码器基础上，进一步在下游多个分割与分类基准上进行全监督微调性能评测（指标均为百分比，分割报告 Dice，分类报告 Accuracy / AUC）：

下游任务与数据集	模态与部位	从头训练 (Scratch)	单模态预训练	数据量比例配比 (Data-Prop.)	Transfer-Aware (本文)
OASIS-1 (分类)	Brain MRI	65.1 (73.8)	67.4 (76.0)	66.9 (73.6)	69.7 (78.4)
SynBrain-PET (分类)	Brain PET	75.4 (95.8)	67.1 (92.8)	69.7 (94.5)	78.1 (95.9)
OrganMNIST3D (分类)	Abdominal CT	84.6 (98.8)	88.6 (99.3)	88.9 (99.4)	90.3 (99.4)
AMOS 2022 (分割)	ABD-CT	76.0	79.3	81.6	83.1
AMOS 2022 (分割)	ABD-MRI	62.2	68.3	68.8	69.4
BraTS 2023 (分割)	Brain T1	45.2	51.3	50.4	55.1
BraTS 2023 (分割)	Brain T2	57.8	62.1	61.4	65.4
HECKTOR 2025 (分割)	HN-CT	62.4	66.7	67.8	71.1
BHSD (分割)	HN-CT	53.4	55.6	57.2	61.2

消融实验¶

对优化求解中的边界约束下界 \(\epsilon\) 及迁移矩阵有效性进行消融分析（以 \(T=100\text{K}\) 下等效预算倍率与 MAE 损失为指标）：

实验配置 / 域	直接预算配比 \(h_i\)	等效有效预算 \(T_{\text{eff}}\)	迁移放大倍率	预测 vs 实际损失误差	相对 Data-Prop 损失变化
ABD-CT (枢纽域)	23.7%	33,652	1.4×	< 1.5%	-24.0%
ABD-MRI (受体域)	5.0% (下界)	20,928	4.2×	< 1.2%	-33.9%
BRAIN-T1 (快饱和域)	5.0% (下界)	20,212	4.0×	< 1.0%	-15.5%
BRAIN-T2 (快饱和域)	5.0% (下界)	18,334	3.7×	< 1.1%	-13.4%
HN-CT (受体域)	5.0% (下界)	30,289	6.1×	< 1.3%	-24.1%
HN-PET (孤岛域)	56.3%	59,248	1.1×	< 1.2%	-66.3%
下界消融 \(\epsilon=2.5\%\)	极度极化	无法保持多样性	欠均衡	泛化下降	-18.2%
下界消融 \(\epsilon=5.0\%\) (最优)	平衡适度	充分利用枢纽辐射	最优放大	吻合度高 (\(r=0.989\))	-38.0% (均值)
下界消融 \(\epsilon \ge 10.0\%\)	过度约束	逼近均匀混合	失去优化空间	丧失迁移红利	-12.4%

关键发现¶

非对称迁移拓扑客观存在：ABD-CT 展现出强大的通用解剖特征泛化性，对 ABD-MRI、BRAIN 等域的平均外迁移系数达 0.29，是典型的「中枢枢纽」；反观 HN-PET，由于仅具备模糊功能代谢表征，外向迁移仅为 0.04~0.09，无法为其他域提供有效特征支持，同时外部结构模态对其迁移也近乎失效。
孤岛模态需要压倒性直接投资：Data-Proportional 配比仅分配 6.5% 预算给样本量较少的 HN-PET，导致其预训练严重欠拟合（MAE 为 0.0169）；而 Transfer-Aware 策略直接分配 56.3% 预算，使得 HN-PET 损失骤降至 0.0057（降幅达 66.3%），直接带动下游 PET 疾病分类准确率飙升 8.4 个百分点。
底线模态的跨域预算放大效应：处于 5% 保护下界的领域（如 ABD-MRI、HN-CT），凭借枢纽域的数据辐射，实际收获了 3.7× 至 6.1× 的等效训练预算，实现了在几乎不消耗独立采样预算的前提下损失全方位优于数据比例采样。
卓越的外推可预测性：仅凭 10K、50K、100K 预算的小规模代理实验拟合出的定律参数，成功预测了 200K 大算力未见预算下的全域损失，各领域预测值与实测值相关系数高达 \(r = 0.989\)，平均误差控制在 1.2% 以内。

亮点与洞察¶

将多模态数据配比提升为科学可计算问题：打破了医学影像领域长期依赖数据集体积盲目采样的经验主义做法，通过单域自缩放与有向迁移双因素建模，建立了在给定算力预算下求取最优数据配比的严谨闭式解法。
「枢纽-孤岛」理论阐明了跨模态知识流动规律：首次通过严密的数据驱动方式绘制出3D医学影像的知识迁移有向图，清晰界定了哪些模态是「一人预训练、全家受益」的通用基石，哪些模态是「必须就地攻坚」的独立岛屿。
小算力代理预测大算力最优分布：通过 \(K^2\) 组低成本、小尺寸的轻量级代理训练，即可在 1 秒内利用 CPU 规划出任意超大计算预算下的全局最优数据分配方案，规避了全量大模型多轮网格搜索的巨大算力开销。

局限与展望¶

线性转移叠加假设的简化：当前模型假设多源域对目标域的有效预算呈简单线性累加（\(T_{\text{eff}} = \sum \tau_{ij} h_j T\)），未考虑多模态混合时可能存在的协同互补强化或跨域负迁移干扰等非线性高阶相互作用。
静态迁移矩阵的时间不变性假说：模型假定迁移系数 \(\tau_{ij}\) 在整个预训练规模扩张中恒定不变。但在实际大模型训练中，模型可能在训练初期快速掌握底层空间通用低频特征（高迁移），而在后期聚焦特定模态高频物理噪声（低迁移）。后续工作可探索动态时间相关的 \(\tau_{ij}(T)\) 函数。
代理任务与下游临床指标的偏置传递：以自监督 MAE 重建损失作为代理优化目标，虽与密集分割及分类下游呈现强正相关，但无法完全覆盖特定小样本临床罕见病诊断的特殊判别需求。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将缩放定律与有向非对称迁移矩阵引入 3D 多模态医学影像预训练的数据配比优化。
实验充分度: ⭐⭐⭐⭐⭐ 跨越 6 大异质影像域、构建了详尽的迁移矩阵，并在涵盖 CT、MRI、PET 的 6 项下游分割与分类任务中严谨验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密、数学推导简洁闭式，图表信息充实且极具洞察力。
价值: ⭐⭐⭐⭐⭐ 为异质医学影像大规模多模态预训练提供了低成本、可落地、高回报的数据混合理论基石。