MID: Mask-Image Distributional Divergence for Evaluating Medical Image Segmentation¶

会议: NeurIPS 2026
arXiv: 2610.17354
代码: https://github.com/erc-caravel/pytorch-mid
领域: 医学图像
关键词: 医学图像分割评测、联合分布发散度、瓦瑟斯坦距离、免配对无标签评估、分布偏移检测

一句话总结¶

提出了首个面向医学图像分割的分布级无监督评测指标 MID（掩膜-图像分布发散度），通过预训练医学视觉编码器将图像与各类别二值掩膜联合嵌入高斯近似潜空间，利用二阶瓦瑟斯坦距离在无须配对真实金标准的条件下敏锐捕获分割解剖真实度与图掩对应一致性。

研究背景与动机¶

深度学习在医学图像自动分割领域取得了瞩目进展，模型已从面向单一器官的专科网络演进为覆盖全身解剖结构的通用多器官基础模型。然而，对这些分割模型的评测体系长期以来严重禁锢在基于样本对齐的体素级比较中，即广泛使用的 Dice 相似系数、95% 豪斯多夫距离（HD95）以及归一化表面距离（NSD）等。这些传统指标在受控基准评测中十分有效，但在实际临床部署与前瞻性评测中面临两大核心瓶颈：其一，它们强依赖测试集每个样本都必须存在严格配对的手工金标准标注（Ground Truth, GT），因而在面对大规模无标注临床前瞻队列或未标注真实随访数据时完全瘫痪；其二，即使在有标注的场景下，样本级重合指标仅在单幅图像内孤立核验像素重叠，无法从群体统计学层面评估预测掩膜集合是否符合健康或病理人群真实的解剖流形分布结构。

在图像生成与感知质量评估领域，评测范式早已从像素级差值转向特征空间分布匹配（如 FID 利用 Inception 潜空间的 Fréchet 距离）。然而，将这种群体分布匹配思想迁移到医学图像分割面临着独特的本质挑战：分割质量本质上是定义在图像与掩膜的联合分布 $\mathcal{X} \times \mathcal{M}$ 之上的固有属性——一个掩膜在孤立状态下可能在几何轮廓上极为平滑逼真且具有解剖合理性，但若其在原图像中的空间位置与器官实际解剖结构发生错位，临床上依然是严重失效的预测；反之，仅比较图像边缘也无法感知掩膜质量。此外，医学成像横跨三维体积数据（如 CT、MRI、MRA）与二维多源切片，亟需统一且免受模态管线绑定的分布评测准则。

面对上述困境，本文从联合概率测度匹配的视角切入：核心 idea：将医学图像分割评估重构为图像-掩膜联合空间的概率分布匹配，利用预训练医学视觉编码器提取联合特征并拟合高斯分布，通过封闭形式的平方 2-Wasserstein 距离（Fréchet 距离）在无需样本级金标准对齐的前提下评估分割质量，并提供可解释的敏感度解耦分析。

方法详解¶

整体框架¶

MID 的核心流程包含三个紧密衔接的阶段：联合特征嵌入、参考集 PCA 降维投影以及高斯近似下的瓦瑟斯坦距离计算。给定医学图像与对应的多类分割掩膜，框架首先利用冻结的预训练医学视觉基础模型对三维或二维输入图像进行特征提取（每个体积仅编码一次）；同时，掩膜被拆解为各个前景类别的独立二值掩膜并送入相同编码器提取几何表征，进而将图像与掩膜特征拼接为联合向量。随后，利用在干净参考集上预先拟合的主成分分析（PCA）将高维拼接特征投影至低维紧凑子空间以保证协方差估计的数值稳定性。最后，在参考分布与待评测候选分布上分别拟合多元高斯分布，计算两者的平方 2-Wasserstein 距离作为 MID 标量指标，并可通过代数块分解诊断图像漂移、掩膜几何缺陷与图掩对应失配。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据<br/>医学图像 X 与多类分割掩膜 m"] --> B["逐类别二值掩膜解耦与共享编码<br/>MedSigLIP 提取图像与二值掩膜特征"]
    B --> C["高维联合特征拼接与投影<br/>拼接为 2d 向量并经参考集 PCA 降至 128 维"]
    C --> D["高斯参数估计与瓦瑟斯坦距离计算<br/>Ledoit-Wolf 估计协方差并计算 W2 距离 MID"]
    D --> E["敏感度诊断分解<br/>解耦为图像项、掩膜项与残差对应项 MIDcorr"]

关键设计¶

1. 逐类别二值掩膜解耦与联合特征嵌入：解剖几何与图像上下文的紧凑耦合

传统生成模型评估指标直接拼接类别标签或文本，无法处理医学体数据中复杂的空间多类别拓扑。针对多类别分割掩膜 $m \in \mathcal{M}$，MID 将其包含的前景类别集合记为 $\mathcal{C}(m) \subseteq \{1, \dots, C\}$。为了摆脱类别标签在编码器中的离散偏置，对于每个出现的前景类别 $c$，算法构造单通道二值掩膜 $m_c = \mathbf{1}[m=c]$，赋予统一的前景亮度值送入医学视觉编码器 $f_\theta$。图像 $X$ 的特征提取在全三维体积内仅执行一次并跨类别复用，从而形成逐类别的联合表征向量： $$ \phi_c(X, m) = \pi\left(\left[f_\theta(X) \parallel f_\theta(m_c)\right]\right) \in \mathbb{R}^k $$ 其中 $[\cdot \parallel \cdot]$ 代表向量拼接操作，$f_\theta$ 默认采用在大规模医学多模态语料上预训练的 MedSigLIP 编码器（三维体积通过沿轴向切片取 patch-token 均值编码为全局特征向量）。这种设计确保了特征空间完全捕获掩膜自身的真实几何形状与其在特定解剖图像背景下的相对空间依存关系，且整个特征抽取过程完全确定，不引入随机下采样方差。

2. 参考集 PCA 降维与收缩协方差估计：小样本医学数据集下的稳健统计量拟合

医学图像数据集样本量通常远小于自然图像基准（往往仅有数十至数百例患者），而拼接特征维度为 $2d$（如 MedSigLIP 拼接后达更高维度），极易引发高维协方差估计的病态欠定与过拟合。MID 在包含多中心、多模态的干净金标准参考集上预先拟合截断主成分分析投影矩阵 $\pi: \mathbb{R}^{2d} \to \mathbb{R}^k$（默认取 $k=128$），保留参考集超过 94% 的方差方向，并在理论上保证高斯假设下截断引入的度量误差上界受控于舍弃特征值之和：$|\mathrm{MID}_k - \mathrm{MID}| \le 2\sum_{i>k}\lambda_i$。在投影后的 $k$ 维空间中，利用 Ledoit-Wolf 收缩估计器稳健计算均值与协方差矩阵对 $(\mu_P, \Sigma_P)$ 与 $(\mu_Q, \Sigma_Q)$，进而代入封闭形式的平方 2-Wasserstein 距离公式： $$ \mathrm{MID}(P, Q) = |\mu_P - \mu_Q|^2 + \operatorname{Tr}\left(\Sigma_P + \Sigma_Q - 2\left(\Sigma_P^{1/2}\Sigma_Q\Sigma_P^{1/2}\right)^{1/2}\right) $$ 该设计既保持了距离指标对均值漂移与协方差形变的极高灵敏度，又杜绝了因奇异协方差导致的数值溢出。

3. 敏感度诊断代数分解：独立辨别图像外观、掩膜几何与对齐错配

单一标量评测指标往往难以定位具体的退化根源。为实现 failure-mode 的透明溯源，本文将联合嵌入向量按图像块 $z_x$ 与掩膜块 $z_m$ 划分为分块协方差矩阵。虽然均值差项和协方差迹项具备天然的线性块可加性，但交叉几何均值项 $\operatorname{Tr}(\Sigma_P^{1/2}\Sigma_Q\Sigma_P^{1/2})^{1/2}$ 在非对角互协方差块 $\Sigma^{xm}$ 非零时会产生非线性耦合。MID 据此引入两个辅助度量：纯图像边际距离 $\mathrm{MID}_{\mathrm{img}}$ 与纯掩膜边际距离 $\mathrm{MID}_{\mathrm{mask}}$，并定义代数残差对应项： $$ \mathrm{MID}{\mathrm{corr}}(P, Q) := \mathrm{MID}(P, Q) - \mathrm{MID}(P, Q) $$ 当且仅当图像与掩膜在两分布下完全解耦统计独立时（互协方差为零），}}(P, Q) - \mathrm{MID}_{\mathrm{mask}$\mathrm{MID}_{\mathrm{corr}} = 0$。在实际受控掩膜随机打乱（shuffling）实验中，图像与掩膜单模态边际分布完全不变使得 $\mathrm{MID}_{\mathrm{img}} \approx 0$ 且 $\mathrm{MID}_{\mathrm{mask}} \approx 0$，全部发散信号被 $\mathrm{MID}_{\mathrm{corr}}$ 完整捕获，赋予了该指标诊断假阳性配准失配的特异性能力。

实验关键数据¶

主实验¶

论文在涵盖 CT、MRI、MRA 的 13 个公开医学图像基准数据集上进行全面评测。在包含 56 个器官群组、5 种有符号距离变换（SDT）退化类型及 3 级退化梯度的 840 个受控测试单元中，将 MID 与各无监督分布指标及全监督配对指标进行横向对比；同时在真实血管分割模型（nnUNet、A2V、SPOCKMIP）上验证模型排序能力。

评测方法	特征编码骨干	输入维度/信息	与 Dice 的 Spearman 相关系数 ($\rho$) [95% CI]	与 HD95 的 Spearman 相关系数 ($\rho$) [95% CI]	是否需测试期样本配对 GT
MID（本文）	MedSigLIP	3-D 图像+掩膜联合	-0.55 [-0.61, -0.49]	+0.72 [+0.66, +0.77]	否（无监督分布级）
FID-mask	MedSigLIP	3-D 仅掩膜几何	-0.47 [-0.53, -0.40]	+0.61 [+0.54, +0.67]	否（无监督分布级）
FID-img	MedSigLIP	3-D 仅图像外观	-0.03 [-0.10, +0.04]	+0.04 [-0.04, +0.12]	否（无监督分布级）
Mahalanobis (联合)	MedSigLIP	3-D 联合高斯均值	-0.42 [-0.49, -0.34]	+0.55 [+0.47, +0.62]	否（无监督分布级）
KID	MedSigLIP	3-D 仅掩膜 (MMD)	-0.28 [-0.36, -0.20]	+0.36 [+0.28, +0.44]	否（无监督分布级）
FID-Inception	Inception-v3	2-D 轴向中间切片	-0.38 [-0.56, -0.18]	+0.49 [+0.31, +0.65]	否（无监督分布级）
HD95（配对参考上限）	体素空间几何	全三维金标准掩膜	-0.72	1.00	是（严格样本级配对）

在真实模型排序实验中（IXI MRA 脑血管分割），MID 无需任何测试期标注，其给出的模型优劣排序与真实 Dice 和 HD95 完全一致：nnUNet（MID: 0.0035 / Dice: 0.83 / HD95: 4.6 mm）优于 A2V（MID: 0.0091 / Dice: 0.74），后者进一步优于 SPOCKMIP（MID: 0.0260 / Dice: 0.65 / HD95: 20.7 mm）。

消融实验¶

消融实验围绕编码骨干架构、退化类型特异性、PCA 投影子空间构建策略以及候选样本规模对评估稳定性的影响展开。

消融配置 / 实验维度	核心设置说明	关键评估表现 / 指标响应	结论与机制分析
编码骨干消融	MedSigLIP vs. BiomedCLIP vs. DINOv2 vs. MAISI	平均 per-organ \|$\rho$(MID, Dice)\|: MedSigLIP (0.833) > BiomedCLIP (0.796) ≈ DINOv2 (0.796) > CLIP (0.755) > MAISI (0.739)	医学多模态预训练表征最优；DINOv2 凭借强大表征容量逼近生物学模型，而 VAE 架构 MAISI 因球面先验正则化削弱了解剖判别力
退化类型敏感度消融	细分 5 类解剖退化（各 168 单元）	平滑侵蚀 ($\rho=-0.65$) > 平滑膨胀 (-0.62) > 弹性形变 (-0.58) > 假阳性团块 (-0.45) > 部分切片缺失 (-0.42)	轮廓拓扑形变比单纯加性噪声或切片丢失诱发更显著的分布发散，指标对解剖轮廓畸变极其敏感
PCA 投影策略消融	全局通用 PCA vs. 单器官专用 PCA	肝脏与胰腺在 TotalSeg CT 与 MSD 跨域评估中，MID 数值变动幅度 $\le 1.5\%$	器官级专用 PCA 与全局通用 PCA 排序完全等价，跨数据集统一评测推荐通用 PCA
候选集样本规模消融	候选集样本数 $n$ 从 10 增至 1000	均值自 $n=10$ 的 1.85 逐渐收敛至 $n=250$ 的 0.34 与 $n=1000$ 的 0.30；CV 变异系数从 32% 骤降至 3.2%	Wasserstein 距离在有限样本下具固有正向偏差，$n \ge 250$ 时估计趋于渐近稳定，模型横向对比需对齐样本量

关键发现¶

对形变与边界偏置的高敏感度：MID 与几何边界指标 HD95 的秩相关性高达 $\rho = +0.72$，显著强于其与重叠指标 Dice 的相关性（$\rho = -0.55$），这说明视觉基础模型潜空间能够精准感知边缘轮廓的微小解剖形变，弥补了无标签场景下缺乏边界距离测量的短板。
阶梯式感知多层次分布漂移：在跨数据集漂移测试中，同协议测试集底线发散为 0.011；同一解剖区域下的模态漂移（CT $\to$ MRI）上升至 0.278（增加 23 倍）；而模态与解剖结构双重漂移（前列腺/心脏 MRI）升至 0.932 与 0.949（增加 85 倍），展现出极其清晰的阶段性语义感知能力。
各解剖器官尺度的天然异质性：紧凑腺体结构（如肾上腺、微细血管）与大型实质脏器（如肝脏、肺叶）的绝对 MID 数值跨越近一个数量级。因此，跨模型比较必须在特定解剖结构内部进行相对比较，或对照解剖基准索引区间（Reference Index）解读。

亮点与洞察¶

将无监督评测推进到结构化图掩联合空间：突破了以往仅评估图像生成保真度（FID）或单独评估掩膜外形的局限，通过多类单二值掩膜与原图特征的显式耦合，首次建立了无需 GT 匹配的分割模型群体评测范式。
代数残差对应项赋予失配归因能力：提出的 $\mathrm{MID}_{\mathrm{corr}}$ 巧妙利用块协方差矩阵非对角乘积的非线性性质，能够在图像和掩膜边际分布均未发生漂移时，单独对解剖空间错配完成精确预警。
计算轻量易于集成落地：全三维特征抽取后，包含 1.1 万向量的参考集与候选集之间的 PCA 投影和矩阵二次根求解可在 CPU 上 1 分钟内完成，极具前瞻性临床监控实用价值。

局限与展望¶

作者承认的局限：高斯分布假设对于高度复杂或多峰解剖亚群可能存在近似偏差；绝对 MID 数值具有强烈的器官尺度依赖性，无法跨器官直接比较绝对数值大小；指标高度依赖冻结编码器的领域泛化质量。
自主发现的局限：当前评估主要集中于放射学三维体积影像（CT、MRI、MRA），对于二维高倍率病理全切片图像（WSI）或眼底照相尚未进行全面验证；此外，由于有限样本估计的正向偏差，在极小样本量（如 $n < 50$）下的模型对比可能受到方差干扰。
改进方向：构建以解剖类别为条件的条件分布发散度（Conditional MID），消除跨器官绝对尺度的系统性偏差；探索非高斯核最大均值差异（KID-style）或最优传输流形切空间近似以提升小样本稳健性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统形式化面向医学分割的联合分布瓦瑟斯坦评测体系与敏感度解耦。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 13 个多中心数据集、56 个器官群组及真实算法模型，实验设计极其严密。
写作质量: ⭐⭐⭐⭐⭐ 数学形式化推导优雅严谨，从问题引出到代数解耦层层递进。
价值: ⭐⭐⭐⭐⭐ 为无标签医学影像队列评估与分割基础模型离线评测提供了突破性的关键工具。

消融配置 / 实验维度	核心设置说明	关键评估表现 / 指标响应	结论与机制分析
编码骨干消融	MedSigLIP vs. BiomedCLIP vs. DINOv2 vs. MAISI	平均 per-organ \|\(\rho\)(MID, Dice)\|: MedSigLIP (0.833) > BiomedCLIP (0.796) ≈ DINOv2 (0.796) > CLIP (0.755) > MAISI (0.739)	医学多模态预训练表征最优；DINOv2 凭借强大表征容量逼近生物学模型，而 VAE 架构 MAISI 因球面先验正则化削弱了解剖判别力
退化类型敏感度消融	细分 5 类解剖退化（各 168 单元）	平滑侵蚀 (\(\rho=-0.65\)) > 平滑膨胀 (-0.62) > 弹性形变 (-0.58) > 假阳性团块 (-0.45) > 部分切片缺失 (-0.42)	轮廓拓扑形变比单纯加性噪声或切片丢失诱发更显著的分布发散，指标对解剖轮廓畸变极其敏感
PCA 投影策略消融	全局通用 PCA vs. 单器官专用 PCA	肝脏与胰腺在 TotalSeg CT 与 MSD 跨域评估中，MID 数值变动幅度 \(\le 1.5\%\)	器官级专用 PCA 与全局通用 PCA 排序完全等价，跨数据集统一评测推荐通用 PCA
候选集样本规模消融	候选集样本数 \(n\) 从 10 增至 1000	均值自 \(n=10\) 的 1.85 逐渐收敛至 \(n=250\) 的 0.34 与 \(n=1000\) 的 0.30；CV 变异系数从 32% 骤降至 3.2%	Wasserstein 距离在有限样本下具固有正向偏差，\(n \ge 250\) 时估计趋于渐近稳定，模型横向对比需对齐样本量