Nonparametric Distribution Matching for Self-Supervised Whole-Slide Image Condensation¶

会议: NeurIPS 2026
arXiv: 2610.00678
代码: https://github.com/nmduonggg/NICER
领域: 医学图像
关键词: 计算病理学, 全切片图像, 数据压缩, 最优传输, 泊松点过程

一句话总结¶

本文将全切片病理图像压缩形式化为固定冻结编码器表征空间下的最优传输分布匹配问题，提出非参数自监督框架 NICER，解耦局部模式探索与全局概念浓缩，实现了切片级自适应原型容量与下游任务性能的大幅提升。

研究背景与动机¶

在计算病理学（Computational Pathology, CPath）中，组织学全切片图像（Whole-Slide Images, WSI）是癌症亚型分类、肿瘤分级以及患者生存期预测等临床辅助决策模型的核心输入。然而，单张 WSI 通常具备吉像素级别的超高分辨率（如 $100{,}000 \times 100{,}000$ 像素），存储体积可达数吉字节，无法直接传入深度模型。当前业界主流的多示例学习（Multiple Instance Learning, MIL）范式通常将单张切片切分为数万个图像块（patches），利用预训练编码器提取特征向量并汇总为切片级表征。即便如此，成千上万个特征向量构成的特征包（feature bag）依旧带来了高昂的存储成本与下游模型训练开销。

为了控制计算与存储负担，数据压缩（Data Condensation）应运而生。现有针对病理 WSI 的压缩方案主要分为两类：一是任务特定（task-specific）的有监督蒸馏方法，其依赖下游任务目标函数的梯度反馈，使得压缩后的特征缺乏跨任务泛化与复用能力；二是任务无关（task-agnostic）的自监督原型选择方法，多依赖无监督聚类（如 K-Means）或启发式原型抽取（如 H2T、PANTHER）。然而，现有方法普遍存在一个根本性缺陷：无论下游执行何种临床任务，特征最终都必须经由冻结的预训练编码器这一“固定表征视角”（fixed representation lens）来解读。启发式聚类虽然在抽象语义上保留了局部组织，但在嵌入空间中却往往破坏了编码器所诱导的真实几何特征分布。

更为棘手的是，真实组织切片的异质性与形态复杂度千差万别，强行设定全局固定数量的原型预算（如固定的 16 个原型）会导致复杂切片严重丢失关键病理亚型、而在简单切片中产生大量冗余。核心 idea：将切片级数据压缩严格重构为固定预训练表征空间下的最优传输（Wasserstein）分布匹配问题，并证明其等价于泊松点过程（PPP）先验下的最大后验（MAP）估计，从而以解耦的“局部模式探索—全局概念浓缩”两阶段交替优化，实现能够根据组织异质性自适应调节原型容量的非参数压缩。

方法详解¶

整体框架¶

NICER 旨在从单张切片的庞大特征包 $\mathcal{H}_w = \{r(x_i)\}_{i=1}^N \subset \mathbb{R}^d$（由冻结编码器 $r(\cdot)$ 提取的 $N$ 个补丁特征，如 UNI 提取的 1024 维向量）中，提炼出紧凑且具代表性的全局概念原型集 $\Phi_w = \{\phi_k\}_{k=1}^{K_w}$（其中 $K_w \ll N$ 且容量随切片自适应变化），使得浓缩后的经验测度 $\nu_{w}$ 在 2-Wasserstein 距离下逼近真实经验测度 $\mu_{w}$。

由于在数万个高维点构成的离散经验支撑集上直接求解连续-离散混合的最优传输和基数可变 MAP 极其不可行，NICER 将全局分布匹配上界分解至单切片独立优化，并引入一个适度规模的中间代理模式集 $\mathcal{Z} = \{z_m\}_{m=1}^M$（满足 $|\mathcal{Z}| \ll |\mathcal{H}|$，初始 $M_0 \approx 1000$）。整体算法通过两阶段交替迭代展开： 1. 局部模式探索（Local Pattern Exploration）：通过检索式软分配将切片海量特征 $\mathcal{H}$ 紧凑蒸馏为局部代表性模式 $\mathcal{Z}$，高效覆盖经验分布； 2. 全局概念浓缩（Global Concept Condensation）：将模式 $\mathcal{Z}$ 视作观测，基于泊松点过程（PPP）先验与高斯似然构建离散分配变量与连续参数的联合最大后验（MAP）估计，剔除零分配概念，收敛为切片特异的紧凑概念集 $\Phi$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["切片特征包 H<br/>N 个补丁嵌入 (r(x_i))"] --> B["局部模式探索<br/>Top-κ 余弦相似度蒸馏至模式集 Z"]
    subgraph S1 ["概念浓缩与容量自适应 (MAP 交替优化)"]
        direction TB
        B --> C["连续参数更新<br/>优化概念原型 Φ、方差 γ 与 Logit ζ"]
        C --> D["离散分配更新<br/>基于加权线性目标解出最优 one-hot 矩阵 b"]
        D --> E["活动集剪枝<br/>剔除零分配概念 (∑ b_mk = 0)"]
    end
    E -->|迭代 T 轮收敛| F["切片自适应概念原型集 Φ<br/>作为下游 MIL/预后模型输入"]

关键设计¶

1. 全局到切片级分解与泊松点过程（PPP）MAP 等价性构建

传统数据压缩常试图维护跨切片共享的全局原型库，但在多示例学习中，每个 WSI 样本在推理时均被独立处理，全局库往往过早抹杀切片间细微的形态学差异。作者从理论上证明了全局 2-Wasserstein 目标可由切片内测度匹配期望严格上界约束（命题 2.1）： $$\mathrm{OT}(p_r, p_\theta) \le \mathbb{E}_{w \sim p(w)} [\mathrm{OT}(\mu_w, \nu_{w, \theta})]$$ 为解决变基数配置优化问题，作者进一步确立了定理 2.2：在具有常数强度 $\rho \in (0, 1)$ 的齐次泊松点过程（PPP）先验下，吉布斯后验的 MAP 解恰好等价于带有显式基数线性惩罚 $\lambda |\Phi_w|$ 的最优传输最小化目标： $$\min_{\Phi_w, \theta} \mathrm{OT}(\mu_w, \nu_{\Phi_w, \theta}) + \lambda |\Phi_w| - \frac{1}{\beta}\log \pi_0(\theta)$$ 这一理论映射彻底改变了启发式删减原型的范式，将压缩中原型数量的缩减严密具象化为统计物理中的点过程正则约束。

2. 局部模式探索：Top-$\kappa$ 检索式轻量高斯测度逼近

在单张切片内部，若直接将万级补丁向少量全局概念投影，极易产生模式崩溃与孤立原型。为此，NICER 构建大小为 $M$ 的局部模式集 $\mathcal{Z}$ 作为中继支撑集。假设每个嵌入特征 $h_i$ 由 $\mathcal{Z}$ 中的高斯分布生成。由于特征向量均经过 $\ell_2$ 归一化，最小化高斯欧氏距离等价于最大化余弦相似度 $\Gamma(h_i, z_m) = \langle h_i, z_m \rangle$。为了兼顾几何覆盖度与避免噪声发散，算法设计了 Top-$\kappa$（通常 $\kappa=3$）局部稀疏分配机制：每个特征 $h_i$ 仅将其质量分配给余弦相似度最高的前 $\kappa$ 个模式，实现对全切片特征分布的稳定无损粗压缩： $$\log \mathbb{P}(\mathcal{H} \mid \mathcal{Z}, \theta) \approx -\frac{1}{2\sigma^2} \sum_{i=1}^N \big(2 - 2 \langle h_i, z_{(i)}^* \rangle \big) + C$$

3. 全局概念浓缩：高斯先验与分类先验下的交替 MAP 求解

在获得局部模式 $\mathcal{Z}$ 后，将其进一步抽象为概念原型 $\Phi = \{\phi_k\}_{k=1}^K$。为严格匹配最优传输的欧氏二次代价，模型将模式 $z_m$ 条件似然设定为以选中概念原型 $\psi_m(\Phi)$ 为中心、具有可学习对角协方差矩阵的高斯分布 $z_m \mid b_m \sim \mathcal{N}(\psi_m, \operatorname{diag}(\vartheta(\psi_m; \gamma)))$，其中 $b_m$ 为独热（one-hot）分配向量。同时，引入由神经网络 $\alpha(\phi_k; \zeta)$ 参数化的分类先验（Categorical Prior） $\mathbb{P}(b_m \mid \zeta)$，刻画多对一的聚合结构。交替优化分为两步： - 固定分配矩阵 $b$ 优化连续参数 $(\Phi, \gamma, \zeta)$：目标退化为完全可微的高斯与 Softmax 似然极大化，通过梯度下降稳定更新； - 固定参数求解最优离散分配 $b^*$：利用独热约束将联合对数似然转化为关于 $b$ 的加权线性优化： $$b^* = \arg\max_b \sum_{m=1}^M \sum_{k=1}^K b_{mk} \cdot \left[ \log \mathcal{N}\left(z_m \mid \phi_k, \operatorname{diag}(\vartheta(\phi_k; \gamma))\right) + \log \left(\frac{\exp(\alpha(\phi_k; \zeta))}{\sum_{k'} \exp(\alpha(\phi_{k'}; \zeta))}\right) \right]$$ 该目标对模式具备完全可分性，每个模式可在 $\mathcal{O}(K)$ 复杂度内独立寻找最大打分对应的独热索引。

4. 活动集动态修剪与切片级自适应容量形成

在每次离散分配更新后，NICER 统计所有分配到概念 $k$ 的模式数量 $\sum_{m=1}^M b_{mk}$。一旦某个候选概念未被任何局部模式选中（总分配为 0），该概念即被判定为形态冗余并直接从活动概念集 $\Phi^+$ 中剔除。这正是泊松点过程基数惩罚项 $\lambda |\Phi^+|$ 在优化中的具象体现。随着迭代进行，原型数量迅速由初值 $M_0=1000$ 自然衰减并收敛至适配切片复杂度的稳态（前列腺活检 PANDA 均值约 62.8 个原型，而复杂的肺癌/乳腺癌切片自动保留约 154~158 个原型），既无需人工干预原型数量，又杜绝了冗余计算。

实验关键数据¶

主实验¶

论文在 5 个公开病理基准（PANDA、TCGA-NSCLC、TCGA-LUAD、TCGA-BRCA、CPTAC）上进行了两种维度的系统评估： 1. 压缩保留能力（Condensation Ability）：仅在训练集应用压缩算法，下游模型在未压缩全量测试集上评估； 2. 形态学表征能力（Morphological Prototyping）：训练集与测试集均应用压缩算法，考察原型作为通用特征的泛化性能。骨干特征提取器采用病理基础模型 UNI（1024 维），下游分类器涵盖 ABMIL、DSMIL 与 ILRA。

任务类型	数据集	评估指标	全量特征 (Whole Bag)	最佳基线 (PANTHER)	本文方法 (NICER)	性能提升 (相对 PANTHER)
癌症亚型 (ABMIL)	PANDA	Quadratic Kappa	$91.93 \pm 0.48$	$65.52 \pm 12.62$	$90.98 \pm 0.97$	+25.46 (接近全量)
癌症亚型 (ABMIL)	PANDA	Accuracy (%)	$76.21 \pm 1.53$	$43.77 \pm 0.76$	$73.52 \pm 1.27$	+29.75%
癌症亚型 (ABMIL)	TCGA-NSCLC	Balanced Acc (%)	$94.52 \pm 1.19$	$92.02 \pm 1.18$	$94.84 \pm 0.92$	+2.82% (超越全量)
生存期预测 (ABMIL)	TCGA-LUAD	C-Index	$62.12 \pm 1.27$	$58.92 \pm 2.21$	$64.67 \pm 2.11$	+5.75% (超越全量)
生存期预测 (ABMIL)	TCGA-BRCA	C-Index	$78.52 \pm 3.82$	$72.07 \pm 6.17$	$75.69 \pm 2.02$	+3.62%
跨机构预后 (ABMIL)	CPTAC (LUAD)	C-Index	$48.26 \pm 4.87$	$51.26 \pm 2.61$	$62.36 \pm 2.06$	+11.10%
癌症亚型 (ILRA)	PANDA	Accuracy (%)	$78.90 \pm 1.76$	$48.62 \pm 5.28$	$69.73 \pm 3.02$	+21.11%
癌症亚型 (ILRA)	TCGA-NSCLC	Balanced Acc (%)	$93.57 \pm 0.41$	$90.72 \pm 1.14$	$94.28 \pm 0.76$	+3.56% (超越全量)
预后迁移 (ILRA)	CPTAC (LUAD)	C-Index	$62.93 \pm 1.24$	$51.69 \pm 10.68$	$62.14 \pm 2.96$	+10.45%

在计算开销与存储对比上（TCGA-NSCLC + ILRA），全量切片特征占用 194 GB 显存/磁盘，平均 F1 为 $93.58\%$；PANTHER 压缩至 3.2 GB（单切片耗时 0.05s），但平均 F1 跌至 $90.69\%$；NICER 压缩至 5.7 GB（压缩率达 97.1%，单切片离线压缩耗时 1.51s），平均 F1 逆势提升至 $94.23\%$，兼顾了存储收缩与卓越的预测精度。

消融与超参敏感性实验¶

针对局部模式探索中的邻域分配参数 $\kappa$ 与初始模式规模 $M_0$ 对下游表征的影响（PANDA 数据集 + ABMIL 预测器）：

实验变量	设定值	压缩保留 Kappa	压缩保留 Acc (%)	形态学表征 Kappa	最终稳定原型数	说明
Top-$\kappa$	$\kappa = 1$	90.18	70.02	92.89	~45.2	局部近邻分配过紧，欠拟合局部流形
Top-$\kappa$	$\kappa = 3$	91.48	74.94	93.07	62.8	默认最佳设置，兼顾覆盖与紧凑度
Top-$\kappa$	$\kappa = 5$	90.47	72.93	92.77	~71.4	增益饱和，开始引入微小模式扩散
Top-$\kappa$	$\kappa = 10$	89.52	70.47	92.89	~83.1	软分配过度扩散，局部形态特异性被稀释
初始模式数 $M_0$	$M_0 = 50$	85.48	67.56	82.75	32.1	初始容量受限，复杂异质性区域丢失
初始模式数 $M_0$	$M_0 = 200$	90.36	73.15	86.74	54.6	性能迅速爬升
初始模式数 $M_0$	$M_0 = 500$	91.85	74.50	88.59	61.9	逼近最优平衡点
初始模式数 $M_0$	$M_0 = 1000$	91.48	74.94	88.73	62.8	经 PPP 剪枝后自然收敛至稳定容量

关键发现¶

自适应容量决定极端任务成败：在“大海捞针”型极不平衡转移灶检测基准 Camelyon16 上，微小转移灶通常仅占极少数切片补丁。固定容量基线（PANTHER、H2T、OT）在此任务上几乎完全失效（ABMIL 下 Kappa 仅为 $-0.03 \sim 0.12$），而 NICER 取得了 0.8471 的 Kappa 与 $91.75\%$ 的平衡准确率。证明了自适应分配更多原型保留低频关键表征的必要性。
压缩具有去噪与正规化效应：在生存期分析（如 TCGA-LUAD 和 TCGA-NSCLC）中，NICER 浓缩特征后的预后 C-Index 反而超过了未压缩的 Whole Bag 基线（例如在 LUAD + ABMIL 上达到 64.67 vs 62.12）。这表明无监督分布匹配有效过滤了组织切片中大量的间质胶原、坏死漂移与制片背景噪声，起到了纯化临床表征的作用。
跨机构跨领域迁移泛化极强：在从 TCGA-LUAD 零样本迁移至异质性强烈的 CPTAC-LUAD 数据集时，NICER 的 C-Index 衰减远小于基线（跨机构性能达到 62.36 vs PANTHER 的 51.26），展示了对染色变异与采样偏差的高度鲁棒性。

亮点与洞察¶

理论立意高远且数学严密：打破了过去病理数据压缩中单纯凭借启发式距离聚类的经验主义，将数据浓缩从数学上形式化为“冻结表征诱导空间下的最优传输匹配”，并首次建立起与泊松点过程（PPP）MAP 的严格对偶，赋予了原型修剪坚实的测度论解释。
两阶段解耦化解复杂度瓶颈：针对 WSI 万级补丁与多变异质性的矛盾，创造性地引入中继代理模式集 $\mathcal{Z}$，在保持局部近邻高斯逼近可控性的同时，支持全局概念集合在活动集规则下的动态收敛，兼顾了理论闭环与单切片秒级（1.5s）运算效率。
切片级自适应容量突破固定预算局限：允许异质性高、形态多样的切片保留更多原型（~160个），均质简单的切片仅保留少量原型（~60个），克服了既有方法一刀切导致的“复杂欠拟合与简单冗余”。

局限与展望¶

忽略图像块之间的空间拓扑结构：NICER 本质上依然建立在袋结构（Bag-of-Features）的无序假设之上，未显式建模补丁在切片中的空间邻域拓扑、组织微环境多尺度浸润结构。
点过程独立性假设的简化：模型采用的齐次泊松点过程假设概念原型之间条件独立，在面对生物组织中高度共存或具有强相关演变规律的组织形态学（如肿瘤微环境浸润淋巴细胞与癌巢共生）时，可能会忽略概念间的协方差交互。
依赖上游冻结基础模型的表征质量：NICER 的浓缩视角完全锚定在固定特征提取器（如 UNI 或 CONCH）的潜空间中；若上游编码器对于特定罕见亚型产生特征塌缩或域外失真，NICER 亦无法凭空纠正表征偏差。

评分¶

新颖性: ⭐⭐⭐⭐⭐（首次提出固定表征视角下的测度对齐形式化，并打通最优传输与泊松点过程 MAP 等价性）
实验充分度: ⭐⭐⭐⭐⭐（覆盖 5 大病理队列、3 种预测架构、2 大核心任务，含金标准病理医生定性验证与消融分析）
写作质量: ⭐⭐⭐⭐⭐（数学推导严密清晰，从上界分解到交替求解环环相扣，图表详实）
价值: ⭐⭐⭐⭐⭐（为超大尺寸图像压缩开辟了有理论支撑的自适应新范式，代码完全开源，实用落地价值极高）

实验变量	设定值	压缩保留 Kappa	压缩保留 Acc (%)	形态学表征 Kappa	最终稳定原型数	说明
Top-\(\kappa\)	\(\kappa = 1\)	90.18	70.02	92.89	~45.2	局部近邻分配过紧，欠拟合局部流形
Top-\(\kappa\)	\(\kappa = 3\)	91.48	74.94	93.07	62.8	默认最佳设置，兼顾覆盖与紧凑度
Top-\(\kappa\)	\(\kappa = 5\)	90.47	72.93	92.77	~71.4	增益饱和，开始引入微小模式扩散
Top-\(\kappa\)	\(\kappa = 10\)	89.52	70.47	92.89	~83.1	软分配过度扩散，局部形态特异性被稀释
初始模式数 \(M_0\)	\(M_0 = 50\)	85.48	67.56	82.75	32.1	初始容量受限，复杂异质性区域丢失
初始模式数 \(M_0\)	\(M_0 = 200\)	90.36	73.15	86.74	54.6	性能迅速爬升
初始模式数 \(M_0\)	\(M_0 = 500\)	91.85	74.50	88.59	61.9	逼近最优平衡点
初始模式数 \(M_0\)	\(M_0 = 1000\)	91.48	74.94	88.73	62.8	经 PPP 剪枝后自然收敛至稳定容量