Developing Foundation Models for Universal Segmentation from 3D Whole-Body Positron Emission Tomography¶

会议: CVPR2025
arXiv: 2603.11627
代码: 待确认
领域: 医学图像
关键词: PET 分割, 基础模型, 通用分割, 提示驱动, 3D 医学影像

一句话总结¶

构建了最大规模 PET 分割数据集 PETWB-Seg11K（11,041 例全身 PET + 59,831 个分割掩码），并提出 SegAnyPET——基于 3D 架构 + prompt 工程的 PET 通用分割基础模型，在多中心、多示踪剂、多疾病场景下展现强零样本泛化能力。

研究背景与动机¶

PET 是核医学关键成像模态，通过放射性示踪剂分布揭示体内代谢过程，在肿瘤学和神经学中不可替代
精确的 PET 器官/病灶分割对定量分析至关重要，但 PET 固有缺乏解剖边界对比度，手动标注耗时且一致性差
深度学习分割的突破主要集中在 CT/MRI，PET 因数据采集和标注成本高而远落后
现有公开 PET 分割数据集局限于特定肿瘤任务，缺乏全身多器官覆盖；任务特定模型无法泛化到新目标
SAM 等基础模型在医学领域的适配主要针对 CT/MRI/显微图像，PET 的弥漫代谢信号和低分辨率特性被忽略，直接迁移效果差
核心动机：PET 领域亟需专属的大规模数据集和基础模型，以实现通用可提示的器官/病灶分割

方法详解¶

数据集：PETWB-Seg11K¶

总计 11,041 例全身 3D PET 扫描 + 59,831 个分割掩码，来自 2 个公开数据集（AutoPET、UDPET）+ 3 个私有队列
覆盖多中心、多设备、多疾病类型，具备扫描仪厂商、采集协议、层厚等维度的真实世界变异性
验证集设计：内部验证（同中心未见病例）+ 外部验证（独立中心 + 未见癌种 + PSMA-PET 不同示踪剂）

模型架构：SegAnyPET¶

采用 SAM 风格的通用可提示分割设计，扩展为全 3D 架构：

Image Encoder：从输入 PET 体积中提取离散 3D 特征嵌入
Prompt Encoder：将用户输入（稀疏 prompt 如点击、密集 prompt 如粗掩码）通过固定位置编码 + 自适应嵌入层转化为 prompt 嵌入
Mask Decoder：融合图像+prompt 特征，上采样并通过 MLP 生成最终分割输出

关键设计¶

点 prompt：快速高效的 3D 交互；掩码 prompt：支持迭代精修，实现 human-in-the-loop 临床工作流
两个变体：SegAnyPET（通用型，全数据集训练）和 SegAnyPET-Lesion（病灶特化型，病灶数据微调）
与任务特定模型的本质区别：无需为新目标重新标注和训练，通过 prompt 动态指定兴趣区域

损失函数¶

论文未详细给出损失细节，但遵循 SAM 系列的标准分割损失（Dice + BCE）。

训练策略¶

基于大规模异质性 PETWB-Seg11K 数据集训练，覆盖多厂商、多协议、多疾病分布
SegAnyPET-Lesion 通过在病灶中心数据上微调 SegAnyPET 获得，提升小型异质病灶的敏感性和边界精度
所有任务特定基线均在 nnUNet 标准化框架内实现，采用其自动预处理、重采样和增强流水线以确保公平比较

实验关键数据¶

与任务特定模型对比（内部验证，器官分割）¶

SegAnyPET 在未进行逐任务训练的情况下，与 nnUNet、STUNet、SwinUNETR、SegResNet 等专用模型性能相当或更优
nnUNet 仍是最强 baseline，但 SegAnyPET 单一模型可替代多个任务特定网络

与分割基础模型对比¶

SAM-Med3D、SegVol、SAT、nnIteractive、VISTA3D 等通用基础模型在 PET 上表现不佳
文本 prompt 模型（如 SAT）在 PET 器官分割上 DSC 接近零——跨模态对齐严重过拟合于 CT 解剖结构
点 prompt 模型（SAM-Med3D 等）略好但仍不足
SegAnyPET 在所有评估任务上一致超越 SOTA 基础模型

泛化能力（外部验证）¶

未见癌种/独立中心：鲁棒泛化
PET/MRI（不同衰减校正物理）：保持可靠分割
PSMA-PET（全新示踪剂）：跨示踪剂泛化成功

临床效用¶

标注效率：SegAnyPET 辅助交互工作流相比纯手动勾画，两位专家分别节省 82.37% 和 82.95% 标注时间
全身代谢协方差网络：分割结果可直接用于下游器官间代谢网络分析，具备高生物学保真度

亮点¶

首个 PET 专属基础模型：填补了功能成像领域分割基础模型的空白
最大 PET 分割数据集：11K+ 全身 PET，规模和多样性远超现有数据集
强零样本泛化：跨中心、跨示踪剂、跨疾病类型均有效
临床实用性：>82% 标注时间节省 + human-in-the-loop 迭代精修设计
可扩展性：无需重训即可通过 prompt 纳入新器官/病灶到分析管线
两个变体的设计：通用型 SegAnyPET 提供广覆盖，病灶型 SegAnyPET-Lesion 针对小型异质病灶优化，用户按需选取

局限性¶

罕见疾病、少见示踪剂、特定解剖区域的数据仍欠充分
病灶分割定量指标仍有提升空间，尤其是小而分散的病灶
点 prompt 范式对弥散性病灶（如淋巴瘤多发灶）效率有限，需逐个病灶点击
缺乏文本 prompt 支持——多模态视觉-语言 PET 基础模型是未来方向
私有数据占比较大，外部可复现性受限
当前评估主要基于 DSC 等体积指标，缺乏表面距离等边界精度评估

评分¶

新颖性: ⭐⭐⭐⭐⭐ (PET 专属基础模型为首创，数据集规模里程碑级)
实验充分度: ⭐⭐⭐⭐⭐ (内外部验证+多基线对比+消融+下游应用+临床标注实验)
写作质量: ⭐⭐⭐⭐ (条理清晰，图表丰富，但部分内容有重复)
价值: ⭐⭐⭐⭐⭐ (对 PET 影像 AI 领域有重大推动意义)