跳转至

Unsupervised Source-Free Ranking of Biomedical Segmentation Models Under Distribution Shift

会议: ECCV 2026
论文: ECCV 官方页面
代码: https://github.com/kreshuklab/model_ranking
领域: 医学图像
关键词: 模型排序, 分布偏移, 生物医学分割, 一致性评估, 无源无监督

一句话总结

针对生物医学图像标注极度稀缺与领域偏移显著的痛点，本文提出了首个面向语义分割与实例分割模型的黑盒无源无监督排序框架 CMR，仅需两次前向推理测量扰动前后的预测一致性即可高度吻合真实性能排名。

研究背景与动机

深度学习在生物医学图像分割中取得了显著进展，但在实际临床和科研部署中，高昂的专家数据标注成本始终是最严重的瓶颈。随着 BioImage Model Zoo 等开源社区、ToothFairy 等学术竞赛以及通用大模型（如 µSAM、CellposeSAM）的蓬勃涌现，研究人员在面对一个新的未标注目标数据集时，往往能在模型库中找到多个预训练好的候选模型。然而，由于成像仪器、组织样本和染色协议等差异带来的严重分布偏移（Distribution Shift），不同模型在新数据集上的真实泛化表现差异巨大，如何在无目标域标注且无法访问源域训练数据的“无源黑盒”严苛条件下，精准挑选出最优候选模型，成为了阻碍模型复用落地的关键难题。

现有的可迁移性评估（Transferability Estimation）与无监督领域自适应验证（UDA Validation）方法绝大多数专为图像分类任务设计，要么严重依赖目标域标注，要么要求提取特征空间并强加类内紧凑性或类间可分离性等几何先验假设。当直接将分类指标套用到生物医学分割任务时，其与模型实际分割性能的关联性几乎完全丧失。更为棘手的是，实例分割输出由连通域分析等后处理决定，具有标签置换不变性，在特征空间中根本不存在固定的对应表示，导致实例分割模型的无监督排序在学术界长期处于空白。此外，现存的不确定性评估或质量控制方法往往需要入侵训练流程或开展多轮蒙特卡洛采样，无法兼容仅能通过推理接口访问的黑盒模型库。

针对上述矛盾，本文提出从特征空间假设解耦、直接回归模型决策边界裕度探测的切入视角：在目标域数据分布上，泛化性能优异的模型往往在其决策边界处拥有更为宽裕的分类裕度（Margin），其输出在受到微小输入扰动或隐层特征扰动时展现出更高的稳定性；反之，决策边界混乱甚至穿过数据簇的退化模型，微小扰动便会导致大量像素分类翻转。核心 idea：构建基于扰动预测一致性的无监督无源模型排序框架（CMR），通过度量未标注目标图像在微小输入或特征扰动下的像素级输出一致性，以极简的两次前向推理精准恢复候选模型在目标域上的真实性能相对排序。

方法详解

整体框架

Consistency-based Model Ranking（CMR）专为异构模型库的无源无监督模型选择而设计。对于一个未标注的目标数据集 \(X_T = \{x_n\}_{n=1}^{N_T}\) 与一组待选的候选分割模型集合 \(\mathcal{M} = \{M_m\}_{m=1}^{N_M}\)，CMR 完全将模型视为黑盒，仅操作其输出空间。

在处理每一张目标图像时，CMR 分别获取无扰动输入下的原始预测与施加微小扰动（输入空间图像变换或隐层特征 Dropout）后的扰动预测；接着根据任务类型路由到对应的一致性度量模块：语义分割采用前景受限的软一致性（CMR-EI）或硬翻转率（CMR-NHD），实例分割则采用基于成对像素共聚类关系的自适应兰德指数（CMR-ARS）；最后在数据集维度聚合得到每个模型的最终一致性评分并执行降序排列。整个流程无需任何真实标签，也无需获取源域数据。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["目标域未标注图像"] --> B["预测一致性决策边界探测<br/>输入TTA或特征TTD产生扰动预测"]
    B --> C["前景受限语义一致性度量<br/>CMR-EI软一致性 / CMR-NHD硬翻转"]
    B --> D["配对像素自适应兰德度量<br/>CMR-ARS评估实例分割一致性"]
    C --> E["稳健中位数聚合排序<br/>扰动均值与样本中位数生成最终排名"]
    D --> E

关键设计

1. 预测一致性决策边界探测：摆脱特征空间假设的黑盒输出评估 以往迁移性评估算法多在瓶颈特征层计算类间分离度或核范数，然而医学分割网络常用的 Dice 损失和交叉熵损失并不显式约束特征紧凑性，且异构模型库的特征维度千差万别。CMR 将关注点从特征空间转移到最终预测输出空间，将扰动诱发的像素类别翻转作为决策边界裕度的直接代理变量。扰动设计无需模拟现实图像域迁移，只需施加可耐受的轻量变化以探测边界脆弱性。CMR 提供了两种扰动实现： - 输入空间测试时增强（TTA）：向输入图像叠加高斯加性噪声 \(\mathcal{N}(0, \vartheta^2)\)、伽马校正、对比度或亮度微调，适用于完全黑盒、仅提供推理 API 的部署场景； - 特征空间测试时 Dropout（TTD）：在保持网络权重完全冻结的前提下，仅在推理阶段随机丢弃隐层特征神经元（如在冗余度最高的 bottleneck 层），无需在训练阶段像 MC-Dropout 那样做昂贵且受限的贝叶斯先验约束。

2. 前景受限语义一致性度量：克服医学影像极度类别不平衡的软硬评分 在生物医学语义分割中，背景像素通常占据整幅图像的 90% 以上，若直接计算全图一致性，背景的绝对多数会轻易掩盖前景关键病灶或细胞器的剧烈预测变化。CMR 引入前景并集掩码限制，仅在无扰动预测与扰动预测至少有一方预测为前景类 \(c\) 的像素集合 \(I^{(c)}_n = \{i : \tilde{y}^{(c)}_{n,i} = 1 \text{ 或 } \hat{y}^{(c)}_{n,i} = 1\}\) 上计算一致性，并提供了软硬两种评估准则： - 软一致性指标（CMR-EI）：拓展分类领域的有效不变性（Effective Invariance），结合预测概率置信度与类别一致性： $\(\text{CMR-EI}^{(c)}_n = \frac{1}{|I^{(c)}_n|} \sum_{i \in I^{(c)}_n} \hat{p}^{(c)}_{n,i} \cdot \tilde{p}^{(c)}_{n,i} \cdot [\tilde{y}^{(c)}_{n,i} = \hat{y}^{(c)}_{n,i}]\)$ - 硬一致性指标（CMR-NHD）：针对域迁移下模型输出置信度难以校准的问题，基于归一化汉明距离（Normalised Hamming Distance）计算前景限制下的类别未翻转率： $\(\text{CMR-NHD}^{(c)}_n = 1 - \frac{1}{|I^{(c)}_n|} \sum_{i \in I^{(c)}_n} [\tilde{y}^{(c)}_{n,i} \neq \hat{y}^{(c)}_{n,i}]\)$ 该指标在形式上等价于扰动前后预测的交并比（IoU），计算快速且不受未校准概率值的偏移干扰。

3. 配对像素自适应兰德度量：基于成对聚类关系的实例分割排序 实例分割的输出是无序且置换不变的独立掩码集合，预测出的实例 ID 无法在扰动前后直接做逐像素对齐。现有实例无标签评估方法（如 SEG）常将实例粗暴简化为圆心膨胀的质心检测，无法反映真实细胞的不规则外形与边界质量。CMR 借鉴聚类分析中自适应兰德指数（Adapted Rand Score, ARS）的思想，通过评估所有像素对在扰动前后的“共属于同一实例”关系的一致性来求解： $\(\text{CMR-ARS}_n = \frac{\sum_{k,\omega} w_{k\omega}^2}{\omega \sum_k \tilde{s}_k^2 + (1-\omega) \sum_\omega \hat{s}_\omega^2}\)$ 其中 \(w_{k\omega}\) 表示在扰动预测中属于实例 \(k\) 且在原始预测中属于实例 \(\omega\) 的像素比例，限制在两者的前景并集内；\(\tilde{s}_k = \sum_\omega w_{k\omega}\) 和 \(\hat{s}_\omega = \sum_k w_{k\omega}\) 分别为边缘分布。该式本质上是惩罚过分割分裂（\(\text{ARS}_{\text{split}}\)）与欠分割合并（\(\text{ARS}_{\text{merge}}\)）的加权调和平均数（默认权重 \(\omega=0.5\)）。此设计首次实现了对任意异构实例生成机制（包含 Mask R-CNN、Cellpose、SAM 等）的逐像素质量一致性评估。

4. 稳健中位数聚合排序：仅需两次前向传播的模型库排序 为了消除局部异常图像或伪装崩溃模型（如极少数预测全黑或全白的退化模型）对整体排名的干扰，CMR 采用先扰动平均再样本中位数的两级聚合策略： $\(\text{CMR}_{M_m}(X_T) = \text{median}_{n=1,\dots,N_T} \left( \frac{1}{N_{\text{pert}}} \sum_{j=1}^{N_{\text{pert}}} \text{consis}\left(\hat{y}_{n,m}, \tilde{y}_{n,m}^{(j)}\right) \right)\)$ 在实际工程实践中，传统不确定性度量通常需要 10 至 50 次 MC 采样，计算开销巨大。作者实验证实，CMR 仅需 \(N_{\text{pert}}=1\)（即每张图像只需 1 次原始前向 + 1 次扰动前向，共 2 次推理）就能在整个测试集上达到饱和的排序精度，极大地提升了在大规模 3D 卷和异构模型库中落地的可行性。

一个完整示例

假设用户在未标注的胰腺组织显微镜切片上，需要从 3 个预训练模型中选优：2D U-Net、Residual U-Net 与微调的 µSAM。 1. 扰动输入生成：输入切片归一化后，系统生成带有轻微高斯白噪声（标准差 \(\vartheta=0.05\)）的扰动副本。 2. 双路推理：3 个模型分别对原始图像和噪声图像执行一次前向推理，输出预测掩码。 3. 一致性打分： - 泛化性能优良的 Residual U-Net 在细胞质与细胞核边界处概率稳定，仅有极少数边界像素受到微小扰动发生微颤，计算出的 CMR-NHD 高达 0.88； - 发生过拟合与域偏置的常规 U-Net 决策裕度极小，高斯噪声触发大面积网格状假阳性区域，CMR-NHD 骤降至 0.54； - 提取各图得分的中位数，得到模型排序：Residual U-Net > µSAM > U-Net。 4. 模型推荐：该排序与后续专家标注核验后计算出的真实 F1-Score 顺序完全一致，实现精准无监督择优。

实验关键数据

主实验

论文在涵盖电镜（EM 线粒体分割，4 个数据集，候选模型数 \(|M|=15\)）与光镜（LM 细胞核分割，4 个数据集，候选模型数 \(|M|=7\)）的语义分割基准上，评估了指标排序与真实 F1 性能排名之间的相关系数。相关性评价采用肯德尔秩相关系数 Kendall \(\tau\)（\(K_\tau\)）、斯皮尔曼等级相关系数 Spearman \(\rho\)（\(S_\rho\)）以及皮尔逊线性相关系数 Pearson \(r\)（\(P_r\)）。

算法类型 方法 线粒体 (Mito) \(K_\tau\) 线粒体 \(S_\rho\) 线粒体 \(P_r\) 细胞核 (Nuclei) \(K_\tau\) 细胞核 \(S_\rho\) 细胞核 \(P_r\)
无监督 (本文) CMR-EI (Gauss) 0.77 ±0.1 0.85 ±0.1 0.83 ±0.1 0.62 ±0.1 0.77 ±0.1 0.98 ±0.0
无监督 (本文) CMR-NHD (Gauss) 0.71 ±0.1 0.83 ±0.1 0.79 ±0.1 0.69 ±0.1 0.82 ±0.1 0.97 ±0.0
无监督 (本文) CMR-EI (DropOut) 0.73 ±0.1 0.86 ±0.1 0.86 ±0.1 0.74 ±0.2 0.85 ±0.1 0.90 ±0.1
无监督 (本文) CMR-NHD (DropOut) 0.69 ±0.1 0.85 ±0.1 0.84 ±0.1 0.71 ±0.2 0.84 ±0.1 0.62 ±0.4
无监督基线 Transfer Score (TS) 0.25 ±0.2 0.30 ±0.3 0.23 ±0.3 0.02 ±0.3 0.10 ±0.4 -0.09 ±0.4
无监督基线 Nuclear Norm (NuNo) 0.17 ±0.2 0.20 ±0.3 0.13 ±0.3 0.09 ±0.5 0.17 ±0.5 0.08 ±0.5
无监督基线 Dispersion -0.03 ±0.0 -0.07 ±0.1 -0.17 ±0.1 -0.18 ±0.3 -0.29 ±0.4 -0.19 ±0.5
有监督参考 LEEP (依赖标签) 0.89 ±0.1 0.96 ±0.0 0.97 ±0.0 0.67 ±0.4 0.77 ±0.3 0.94 ±0.0
有监督参考 NLEEP (依赖标签) 0.41 ±0.4 0.49 ±0.5 0.39 ±0.3 0.11 ±0.1 0.12 ±0.1 0.32 ±0.2
有监督参考 LogME (依赖标签) 0.08 ±0.2 0.10 ±0.3 0.06 ±0.3 -0.20 ±0.3 -0.28 ±0.4 -0.49 ±0.4
有监督参考 CCFV (依赖标签) -0.11 ±0.1 -0.16 ±0.1 -0.18 ±0.1 -0.03 ±0.3 -0.05 ±0.4 -0.16 ±0.5

消融与挑战赛验证

论文在 3D 临床多类别 CT 分割基准 ToothFairy2（MICCAI 挑战赛，42 类下颌骨/牙齿/神经管解剖结构，8 个顶级提交模型）以及细胞/细胞核实例分割任务（mAP@[0.5:0.95] 指标）上进行了全面评测。

1. 3D 多类别分割基准 (ToothFairy2, \(|M|=8\))

评测结构类别 评估指标 CMR-EI (Gauss) CMR-NHD (Gauss) CMR-NHD (Gamma) TS (SOTA UDA) NuNo Dispersion
下齿槽神经管 (IACs) Kendall \(K_\tau\) 0.90 0.81 0.90 0.21 0.14 0.07
牙齿 (Teeth) Kendall \(K_\tau\) 0.81 1.00 0.90 0.36 0.07 0.43
上颌窦 (Sinus) Kendall \(K_\tau\) 0.43 0.81 0.90 0.57 -0.07 0.34
全局 42 类均值 (Overall) Kendall \(K_\tau\) 0.71 0.90 1.00 0.33 0.25 0.28
全局 42 类均值 (Overall) Spearman \(S_\rho\) 0.86 0.96 1.00 0.49 0.28 0.50
全局 42 类均值 (Overall) Pearson \(P_r\) 0.93 0.98 0.96 0.55 0.26 0.44

2. 实例分割模型排序 (平均相关系数 vs. mAP@[0.5:0.95])

任务类型与数据集 评估指标 CMR-ARS (Gauss) CMR-ARS (DropOut) SEG (质心膨胀基准)
细胞实例分割 (Cells, 3 数据集, $ M =8$) Kendall \(K_\tau\) 0.69 ±0.15
细胞实例分割 (Cells) Spearman \(S_\rho\) 0.83 ±0.09 0.83 ±0.06 0.16 ±0.68
细胞实例分割 (Cells) Pearson \(P_r\) 0.90 ±0.04 0.91 ±0.04 0.31 ±1.02
细胞核实例分割 (Nuclei, 4 数据集, $ M =5$) Kendall \(K_\tau\) 0.72 ±0.25
细胞核实例分割 (Nuclei) Spearman \(S_\rho\) 0.83 ±0.21 0.85 ±0.24 0.53 ±0.49
细胞核实例分割 (Nuclei) Pearson \(P_r\) 0.79 ±0.17 0.84 ±0.11 0.13 ±0.72

关键发现

  • 分类指标向分割迁移彻底失效：传统的分类可迁移性指标（如 LogME、NCTI、RegHscore 以及无监督的 TS、NuNo）严重依赖特征空间的线性分类假说或全局紧凑性。在分割任务中，其与性能的斯皮尔曼相关系数普遍在 0.3 以下，甚至呈现负相关，无法用于模型筛选。
  • 实例分割维度上的代际跨越：CMR-ARS 在细胞和细胞核实例任务上取得了高达 0.83~0.85 的 Spearman 秩相关系数；而基于质心距离的传统唯一基线 SEG 表现剧烈震荡（Pearson 方差高达 ±1.02），证实了成对像素共聚类建模对复杂生物形态的决定性优势。
  • 极致的显存与计算友好度：在 3D 多类别分割中，TS 和 NuNo 等竞品需要缓存全量 Softmax 概率体素，在 ToothFairy2 规模下需占用超 200GB 显存/内存；CMR 仅需提取预测类别与单通道最大概率，内存占用极低，且 \(N_{\text{pert}}=1\) 即可收敛。

亮点与洞察

  • 跳出特征空间的黑盒哲学：CMR 不去假设中间特征的几何流形分布，而是从决策边界鲁棒性出发，利用微小扰动下的预测翻转直接刻画模型在目标域的适应性，构成了对模型权重和结构的完全解耦。
  • 成对像素关系的实例抽象：巧妙将 Adapted Rand Score 适配为无监督一致性探针，成功解决了实例分割因标签置换不变性而无法做逐像素差分的长期理论难题。
  • 挑战赛盲测验真：在完全不提供测试集金标准的严苛条件下，CMR-NHD (Gamma) 在 ToothFairy2 比赛提交模型上取得了 Kendall \(K_\tau = 1.00\) 的完美一致性排序，具备重塑学术竞赛自查与模型库自动排行榜的实用价值。

局限与展望

  • 作者承认的局限：CMR 默认预设候选模型与目标数据集遵循相同的任务定义；当引入跨领域无约束通用大模型（如未指定提示的 SAM 变体）发生任务错配（Task Misalignment）时，模型可能稳定预测无关语义结构而产生虚高的一致性得分。
  • 模式崩溃与病态预测：当极端劣化的模型发生全图预测为全黑（背景）或全白（前景）的“模式崩溃”时，由于输出完全单一，其一致性得分会被动呈现假性偏高，需在工程上补充预测熵或多样性惩罚项。
  • 边界敏感度拓展：当前一致性计算未对物体轮廓与内部像素做差异化赋权，未来可引入基于边缘距离变换的加权机制，进一步提升对边界敏感度指标（如 Boundary IoU、Hausdorff 距离）的排序契合度。

相关工作与启发

  • vs. 传统迁移性度量 (LEEP / NLEEP / LogME)：传统方法必须强依赖目标域的真实标注并假定微调场景，CMR 实现了真正的零标注、零源数据、零微调假定评估。
  • vs. 无监督 UDA 验证 (Transfer Score)：TS 在特征空间对齐分类器偏置，在结构复杂的密集体素分割下极易失效且显存开销超 200GB；CMR 聚焦输出空间，效率提升百倍且完全适配复杂 3D 卷。
  • vs. 实例无标签质量评估 (SEG)：SEG 将实例退化为质心圆盘，对神经元突起、不规则真菌等复杂拓扑毫无分辨力；CMR-ARS 坚持逐像素聚类对齐，泛化能力远超质心启发式。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出兼容语义分割与实例分割的黑盒无源无监督模型排序范式。
  • 实验充分度: ⭐⭐⭐⭐⭐ 跨越 2D/3D、电镜/光镜/CT，覆盖 15+ 数据集与 20+ 主流模型架构，包含真实竞赛盲测。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨连贯，从理论动机到数学公式层层推导，深入浅出。
  • 价值: ⭐⭐⭐⭐⭐ 直击模型复用与生物图像大模型选型核心痛点，开箱即用，落地工业界与开源社区潜力极大。

相关论文