Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning¶
会议: NeurIPS 2026
arXiv: 2610.13915
OpenReview: https://openreview.net/forum?id=gPf82LsVMO
代码: https://github.com/jkluop/VolumeProbe
领域: 医学图像
关键词: 自监督学习、3D医学图像、子体采样、解剖先验、观测策略
一句话总结¶
针对3D医学自监督预训练中均匀随机裁剪忽略空间冗余与解剖异质性的痛点，本文提出无须训练的即插即用采样框架VolumeProbe，基于解剖感知、信息丰富度与空间多样性三大准则构建离线探针库，在VoCo、S2DC和MedGMAE等主流框架上显著提升下游分割、分类与配准性能。
研究背景与动机¶
自监督学习（SSL）已成为海量无标注3D医学影像表征学习的核心范式，其典型流程是在每个训练迭代中从整幅三维体数据中随机裁剪固定尺寸的子体（sub-volume）作为网络输入。无论是基于对比学习的VoCo、结构一致性的S2DC，还是掩码自编码器类的MedGMAE，无一例外地将随机裁剪视作默认的数据读取预处理。然而，这一长期存在的工程惯例隐含了一个脆弱假设：假定3D体积内的所有空间区域对表征学习具有均等价值。
事实上，3D医学影像（如CT或MRI）存在极高的空间各向异性与组织冗余。即使在进行标准的前景粗滤后，均匀随机裁剪依然会不可避免地把有限的采样预算浪费在视野边缘、均质组织或缺乏解剖辨识度的区域。统计显示，随机采样裁剪出的子体中，前景体素占比虽达55.83%，但与已标注器官掩码重叠的体素平均仅占19.79%，意味着绝大部分采样算力被消耗在解剖结构贫乏的无用区域。受控实验进一步揭示：子体观测质量与下游迁移性能（Dice指标）呈现显著的单调正相关，且更高质量的观测能使预训练仅需约48%的步数即可达到完整随机采样的效果。这表明子体采样并非微不足道的预处理，而是一项深刻影响表征学习效率的核心观测策略。
现有方法在预训练目标（如掩码重构、跨视图对比）上不断演进，却从未反思「在固定的裁剪预算下模型到底应当看哪里」。由于依赖真实器官标签的语义质量或外部特征提取器无法直接嵌入无监督预训练，亟需一种仅利用体数据内禀信号、无须在线训练的结构化观测机制。核心 idea：将子体采样重构为结构化的「看哪里」决策问题，提出无须训练的即插即用框架VolumeProbe，依据解剖感知、信息丰富度与空间多样性三大准则构建离线粗细两级候选探针库，把有限的裁剪预算引导至高价值解剖区域。
方法详解¶
整体框架¶
VolumeProbe的核心设计是在预训练之前，仅凭体数据自身的几何与统计信号，为每个3D体数据离线构建一个包含 \(K\) 个高质量归一化裁剪中心坐标的探针库 \(\mathcal{B}(\mathbf{x})=\{v_1, \dots, v_K\}\)。在自监督预训练阶段，网络以 \(70\%\) 的概率从该探针库中抽取带微小局部抖动的候选中心裁剪子体，其余 \(30\%\) 维持均匀随机采样以保留空间探索度，完全不改变下游SSL骨干架构与损失目标。
整体构建分为粗粒度网格打分、细粒度局部延展以及基于贪心冗余惩罚的探针库筛选三个阶段。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入3D体数据 x<br/>归一化坐标空间 Ω=[0,1]³"] --> B["阶段1：粗细两级候选点生成<br/>粗网格划分与局部细化延展"]
B --> C["阶段2：多准则候选点联合评分<br/>解剖感知 A + 信息丰富度 I"]
C --> D["阶段3：多样性感知贪心构建探针库<br/>空间冗余惩罚 D 筛选 Top-K 探针"]
D --> E["离线探针库 B(x)<br/>存储 K=40 个优质中心坐标"]
E --> F["阶段4：即插即用预训练采样<br/>70% 探针抖动采样 + 30% 随机探索"]
F --> G["固定尺寸子体输入 3D SSL 骨干<br/>VoCo / S2DC / MedGMAE"]关键设计¶
1. 粗细两级候选点生成：平衡搜索空间与计算开销
直接在全分辨率3D体数据的每一个体素上计算质量指标在算力上不可接受，而单纯基于固定稀疏网格又会错失器官边界附近的最佳视野。为此，VolumeProbe设计了粗细两级候选生成机制：第一级将归一化坐标空间 \(\Omega=[0,1]^3\) 划分为 \(G_x \times G_y \times G_z = 4 \times 4 \times 2\) 共32个粗网格箱（bin）。根据解剖感知与信息丰富度联合得分对粗网格进行初筛，保留得分最高的前 \(M=24\) 个粗网格。第二级在保留的优质粗网格内进行局部细化，每个网格除保留自身中心外，沿三个轴向正负方向（\(\pm x, \pm y, \pm z\)）按网格尺寸的一定比例偏移生成6个细粒度邻域候选点，并截断在网格边界内部。这一分层策略既避开了全图密集遍历的计算瓶颈，又确保了候选中心在空间关键结构附近的紧凑覆盖。
2. 解剖感知与信息丰富度评分：捕获高价值内部结构
针对随机裁剪易落入人体外围、边缘软组织或大片均质空腔的缺陷，VolumeProbe为每个候选中心 \(v\) 定义了解剖感知度 \(A(v)\) 与信息丰富度 \(I(v)\)。在轻量级Lite变体中，两者完全由几何先验与图像底层统计驱动：
解剖感知度 \(A(v) = \text{LocPrior}(v) + \text{Margin}(v)\)，其中 \(\text{LocPrior}(v) = 1 - \text{dist}(v, v_{\text{center}})\) 衡量候选点到体数据几何中心的各向异性归一化距离（考虑到医学扫描层间分辨率特点，在 \(z\) 轴赋予较低惩罚权重），\(\text{Margin}(v)\) 惩罚靠近体素边界的区域。该项不是机械的中心裁剪，而是与结构指标联动的合理性约束。
信息丰富度 \(I(v) = \widetilde{\text{Grad}}(v) + \widetilde{\text{Ent}}(v)\) 结合了局部 evaluation patch 内归一化的平均梯度幅值与灰度强度信息熵。梯度项促使子体包含明显的组织结构过渡与解剖边界，而熵项则有效规避了如大片皮下脂肪或空气等高均质低信息区域。在特征驱动的Feat变体中，这两项被替换为基于冻结3D视觉编码器（3DINO-ViT）的原型余弦相似度与局部特征方差，但实验表明Lite的几何统计先验已完全足以捕捉结构红利。
3. 多样性感知贪心筛选：防范高分局部坍塌
若仅按 \(A(v) + \alpha I(v)\) 的综合得分从高到低选取，探针库中的坐标将迅速扎堆在少数梯度剧烈、对比度极高的局部器官（如脊柱或大血管分叉处），导致子体高度冗余并削弱表征学习的多样性。VolumeProbe通过轴向重叠衰减引入空间冗余惩罚项 \(D(v, \mathcal{B}_{t-1})\)，并以贪心策略逐个选取探针：
其中冗余惩罚定义为候选点与已选探针集合中元素沿各轴归一化距离的乘积截断：
尺度参数 \(\delta_a = \eta \cdot \text{roi}_a / \text{shape}_a\) 精确匹配预训练目标裁剪框的长宽高比。连乘形式使得惩罚项仅在候选点 \(v\) 与已有探针 \(u\) 在三个空间维度上同时紧密靠近时才会激活，从而真实模拟3D轴对齐裁剪框的体积重叠，确保最终选出的 \(K=40\) 个探针在覆盖高价值解剖结构的同时保持全局空间的广泛离散分布。
损失函数 / 训练策略¶
VolumeProbe完全不引入额外可学习参数或在线反向传播损失，直接复用下游SSL基线模型的预训练损失。在训练实施细节上： - 混合采样机制：每个iteration中，模型以 \(70\%\) 的概率从离线探针库中抽取中心，以 \(30\%\) 维持全局均匀随机裁剪以保证空间探索性； - 局部随机抖动：对于选中的探针中心坐标，各空间轴施加 \(\pm \text{round}(\gamma r_a)\)（默认 \(\gamma=0.05\)，\(r_a\) 为子体在对应轴的边长）的均匀整数偏移，进一步避免过拟合于固定网格点； - 超参数配置：粗网格规模 \(4 \times 4 \times 2\)，粗筛保留数 \(M=24\)，探针库总数 \(K=40\)，评分权重 \(\alpha=1.0, \beta=1.0\)，冗余缩放系数 \(\eta=0.35\)。
实验关键数据¶
主实验¶
论文在三种主流自监督预训练骨干（VoCo、S2DC、MedGMAE）以及三种任务（涵盖4个分割数据集、1个分类数据集CC-CCII和2个配准数据集IXI、OASIS）上全面评测了VolumeProbe的即插即用性能。下表展示下游分割（Dice分数）与分类（准确率）在不同标注比例下的表现。
| 预训练骨干 / 方法 | BTCV (1%) | BTCV (10%) | BTCV (100%) | AMOS (1%) | AMOS (10%) | AMOS (100%) | WORD (100%) | CC-CCII Acc (%) |
|---|---|---|---|---|---|---|---|---|
| 从头训练 (Swin-UNETR) | 27.71 | 51.33 | 80.53 | 28.94 | 63.45 | 82.51 | 80.39 | 88.32 |
| VoCo (Baseline) | 63.33 | 77.85 | 83.85 | 55.81 | 73.34 | 84.44 | 84.06 | 93.45 |
| VoCo + VolumeProbe-Lite | 67.21 (+3.88) | 79.39 (+1.54) | 83.97 (+0.12) | 58.64 (+2.83) | 74.95 (+1.61) | 87.52 (+3.08) | 85.56 (+1.50) | 93.98 (+0.53) |
| VoCo + VolumeProbe-Feat | 68.07 (+4.74) | 79.51 (+1.66) | 83.89 (+0.04) | 57.86 (+2.05) | 74.70 (+1.36) | 87.13 (+2.69) | 84.99 (+0.93) | 94.25 (+0.80) |
| S2DC (Baseline) | 66.77 | 77.93 | 84.09 | 55.19 | 74.28 | 84.68 | 84.46 | 94.19 |
| S2DC + VolumeProbe-Lite | 69.47 (+2.70) | 78.74 (+0.81) | 84.43 (+0.34) | 58.83 (+3.64) | 75.31 (+1.03) | 87.17 (+2.49) | 85.22 (+0.76) | 94.87 (+0.68) |
| S2DC + VolumeProbe-Feat | 68.76 (+1.99) | 78.92 (+0.99) | 84.19 (+0.10) | 59.47 (+4.28) | 75.17 (+0.89) | 86.87 (+2.19) | 85.43 (+0.97) | 94.34 (+0.15) |
| MedGMAE (Baseline) | 66.19 | 77.11 | 83.22 | 58.79 | 75.65 | 84.90 | 84.19 | 93.08 |
| MedGMAE + VolumeProbe-Lite | 66.85 (+0.66) | 78.44 (+1.33) | 83.48 (+0.26) | 60.26 (+1.47) | 77.14 (+1.49) | 85.62 (+0.72) | 84.36 (+0.17) | 93.58 (+0.50) |
下表展示在可变形配准任务（IXI与OASIS数据集，以TransMorph为基础网络）上的Dice表现：
| 预训练骨干 / 方法 | IXI (Dice %) | OASIS (Dice %) |
|---|---|---|
| 从头训练 (TransMorph) | 74.46 | 81.61 |
| VoCo (Baseline) | 73.66 | 84.38 |
| VoCo + VolumeProbe-Lite | 74.39 (+0.73) | 85.55 (+1.17) |
| S2DC (Baseline) | 72.93 | 82.97 |
| S2DC + VolumeProbe-Lite | 73.70 (+0.77) | 84.09 (+1.12) |
| MedGMAE (Baseline) | 73.69 | 85.71 |
| MedGMAE + VolumeProbe-Lite | 74.88 (+1.19) | 85.96 (+0.25) |
消融实验¶
下表列出以VoCo和S2DC为骨干，在BTCV、AMOS和WORD上对三大核心准则进行的消融评测（100%标签比例下的Dice %）：
| 配置 | BTCV | AMOS | WORD | 说明 |
|---|---|---|---|---|
| VoCo Baseline (Random) | 83.85 | 84.44 | 84.06 | 原始均匀随机采样基线 |
| + VolumeProbe (Full) | 83.97 (+0.12) | 87.52 (+3.08) | 85.56 (+1.50) | 完整三大准则协同 |
| w/o 解剖感知 A | 83.87 (+0.02) | 84.96 (+0.52) | 84.47 (+0.41) | 去除解剖位置与边界约束后显著掉点 |
| w/o 信息丰富度 I | 83.86 (+0.01) | 85.89 (+1.45) | 85.04 (+0.98) | 去除局部梯度与信息熵评分后掉点严重 |
| w/o 空间多样性 D | 83.93 (+0.08) | 87.10 (+2.66) | 85.29 (+1.23) | 去除冗余惩罚导致探针在局部高分区域扎堆 |
| S2DC Baseline (Random) | 84.09 | 84.68 | 84.46 | 原始均匀随机采样基线 |
| + VolumeProbe (Full) | 84.43 (+0.34) | 87.17 (+2.49) | 85.22 (+0.76) | 完整三大准则协同 |
| w/o 解剖感知 A | 84.20 (+0.11) | 86.20 (+1.52) | 84.73 (+0.27) | AMOS上下降0.97% |
| w/o 信息丰富度 I | 84.27 (+0.18) | 85.45 (+0.77) | 84.81 (+0.35) | AMOS上下降1.72% |
| w/o 空间多样性 D | 84.35 (+0.26) | 86.93 (+2.25) | 85.10 (+0.64) | 缺乏覆盖广度，性能有折损 |
此外，对比简单非随机启发式策略（中心偏置 Center-Biased、均匀网格 Uniform-Grid、纯梯度 Grad-Only、纯信息熵 Entropy-Only）的实验证明，单一指标均出现数据集间不稳定或负提升（如Grad-Only在BTCV上掉点0.11%），印证了三者联合约束的不可替代性。
关键发现¶
- 低资源场景红利最大：在极度匮乏标注的1%数据比例下提升最为剧烈。例如在BTCV上，VoCo配合VolumeProbe-Lite从63.33%跃升至67.21%（+3.88%），S2DC从66.77%跃升至69.47%（+2.70%），表明高质量观测构建的语义表征在少样本下迁移能力更强。
- 轻量Lite变体足以匹敌复杂Feat变体：依托简单几何先验与梯度/熵统计的Lite变体，与采用昂贵冻结3D-ViT特征的Feat变体性能平分秋色，甚至在多个指标上更优，证实体数据内禀物理/统计特征已充分满足子体观测导向需求。
- 机制机理解释表征优化本质：
- 器官命中率飙升：VolumeProbe使采样框的前景体素占比由55.83%提升至75.63%，真实器官掩码覆盖率由19.79%提升至45.71%；
- 加速收敛并拓宽表征谱：在VoCo预训练前20%阶段，VolumeProbe仅耗费7.9%进度即达到随机采样20%进度的训练损失水平；同时表征协方差谱的有效秩（Effective Rank）与Token级余弦多样性显著提升，有效避免了特征坍塌。
亮点与洞察¶
- 将预处理惯例重塑为主动观测策略：跳出了既往医学自监督专注于设计复杂前置任务（pretext task）或重构损失的局限，首次系统论证并解决了「固定采样预算下看哪里」的基础命题。
- 无需训练且即插即用：探针库完全离线计算并缓存，无须反向传播梯度或改变原有网络架构，与对比学习、掩码图像建模等不同范式均能无缝组合。
- 乘积形式的3D各向异性冗余惩罚：设计了与裁剪框各向异性尺寸严格对齐的乘积截断惩罚项，物理意义清晰，兼顾局部结构富集与全局解剖覆盖。
局限与展望¶
- 静态探针库缺乏训练动态自适应能力：目前的探针库在预训练前一次性生成，无法根据模型在不同训练阶段对难易样本或特定解剖结构的掌握程度进行动态调整。
- 视野偏倚与规范化限制：当前的几何解剖先验主要针对常规躯干与腹部/胸部CT设计，对于非标准视野、局部截断或极端病灶形态的体数据，中心与边缘先验可能需要更灵活的自适应调整。未来可探索与主动学习或轻量强化学习相结合的动态自适应体采样策略。