Pathryoshka: Compressing Pathology Foundation Models via Multi-Teacher Knowledge Distillation with Nested Embeddings¶

会议: ECCV2026
论文: ECCV 原文
代码: https://huggingface.co/SchuefflerLab/Pathryoshka-B
领域: 模型压缩
关键词: 多教师知识蒸馏、嵌套嵌入、计算病理学、特征对齐、裁剪增强

一句话总结¶

Pathryoshka 把三位大型病理基础模型的全局与空间知识压入一个支持前缀截断的学生，在 86M 参数下取得十项分类基准 85.6 的准确率中位数，同时降低编码与特征存储成本。

研究背景与动机¶

计算病理学常先把全切片图像切成大量小块，再用基础模型编码，最后训练分类器或切片级聚合器。因此，部署成本不仅取决于一次预测有多少参数，还取决于一张切片要编码多少图块，以及这些图块的高维表示要存多久、被读取多少次。 Virchow2、UNI2-h 和 H-optimus-1 已能提供强表征，但数亿至十亿级参数与高维特征会同时增加计算和存储负担。仅换一个小骨干并不能保证保留大型模型学到的形态学知识；仅把特征压短，也不会自动降低骨干的前向计算成本。

知识蒸馏与 Matryoshka 表示学习恰好对应这两个不同问题。前者让小学生模仿大教师，后者让一个长向量的前缀在截断后仍有意义，但传统方案通常只解决其中一侧。此外，H0-mini 这样的单教师学生可能继承教师在某些组织类型上的弱点，而不同病理教师并非在所有任务上都有同样的优势。已有 GPFM 展示了多教师知识融合的潜力，却没有把显著缩小模型容量和可变长度嵌入一起作为核心目标。

本文把每个短前缀也当作需要接受蒸馏的表示，而不是训练结束后才随意删除维度。训练信号来自多位教师的 CLS token 和空间 patch token，不依赖经常没有随公开权重发布的 DINO/iBOT 原型头。这使已有病理模型可以充当固定的知识来源，而部署端只需保留一个紧凑学生。 核心 idea：以多教师蒸馏压缩模型容量，以多级前缀监督压缩表示长度，再通过区分空间对齐与非对齐裁剪，兼顾局部形态与全局鲁棒性。

方法详解¶

整体框架¶

输入是无标注的 H&E 病理图块，训练时同一图块产生共享空间裁剪和各模型独立空间裁剪。学生与三位冻结教师各自编码这些视图，输出全局 CLS token 和局部 patch token。学生表示被取成多个嵌套前缀，再经教师专属投影头映射到各教师的特征空间，以全局与空间蒸馏损失联合训练。最终输出不是多个教师的拼接，而是一个学生自身的表示；下游可按需要选择完整向量或较短前缀。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["无标注 H&E 图块"] --> Crop["双视图裁剪"]
        Crop --> Student["学生编码器<br/>CLS 与 patch token"]
        Crop --> Teachers["冻结教师<br/>Virchow2 / UNI2-h<br/>H-optimus-1"]
        Student --> Nested["嵌套前缀监督"]
        Nested --> Align["多教师双分支对齐"]
        Teachers -.->|仅训练提供目标| Align
        Align -.->|更新学生与投影头| Student
        Nested -->|推理时选择前缀| Output["分类 / 检索 / 分割"]

图中的对齐头和教师属于训练支路，不是下游部署时必须运行的额外模型。嵌套结构也不是动态减少 Transformer 层数：短前缀主要节省后续存储与下游处理，骨干编码的减负来自学生本身较小。论文主要报告 Pathryoshka-B，同时给出更小的 Pathryoshka-S，二者在表示能力与计算量之间有不同取舍。

关键设计¶

1. 双视图裁剪：让空间监督只比较真正对应的区域

首先从原图块生成一份共享空间裁剪，学生和全部教师看到的是同一位置与几何变换后的内容。各模型再独立施加 H&E 染色扰动和模糊等视觉增强，使相同组织结构可以呈现不同颜色外观。这里同时比较 CLS 和 patch token，因为空间位置仍能对应，局部监督不会把不同组织误当成同一区域。每次裁剪覆盖原图块面积的 25% 至 100%，宽高比采样范围为 [0.9, 1.1]，并配合随机水平、垂直翻转。裁剪结果统一缩放到 224×224 像素，因而不同裁剪范围也会改变组织在输入中的相对尺度。

其次，每个模型再独立生成另一份空间裁剪，同样施加视觉增强。这组视图可能覆盖不同区域，所以只对齐全局 CLS，不强行逐位置匹配 patch token。其直觉是让同一图块在观察范围和放大效果变化后仍共享组织层面的语义，而不是要求局部纹理逐像素不变。因此，本文不是单纯“增加随机裁剪”，而是把损失适用条件与裁剪是否对齐绑定起来。这一规则也有边界：若图块内组织高度异质，不同区域是否应被赋予相近全局表示仍取决于实际形态组成。

2. 嵌套前缀监督：短向量在训练时就承担完整语义任务

普通蒸馏只要求完整学生向量接近教师，信息可能分散在所有维度，截掉后半段就没有保障。 Pathryoshka-B 对完整表示和逐级减半的前缀同时施加蒸馏监督，正文第 3.2 节给出的训练维度集合为：

\[ \mathcal{M}=\{768,384,192,96,48\}. \]

这些不是五个独立编码器，也不是把向量切成五个互不重叠的片段，而是共享同一向量开头的五种长度。最前面的维度参与所有短长尺度的目标，后面的维度只服务于较长表示，从而使前缀逐步获得独立可用的语义。对每位教师、每个前缀长度，模型分别设置 CLS 和 patch 投影头，避免把不同长度硬塞进一个输入维度固定的头。所有前缀都要对齐教师的完整目标空间，并非把教师特征也同步裁到相同长度。这迫使短学生表示保存足够的信息，以便经训练用的投影头重建教师表征中的相关结构。

训练后选择 48 维前缀不需要重新训练骨干，也不需要先运行教师。不过，明确训练到 48 维与任何更短维度都可靠是两回事；论文对 12 维等更激进截断给的是经验性评估。同样，768 维这一具体集合属于正文详细描述的 B 模型，不应未经说明套到 S 模型。论文的价值在于把压缩预算内化为表示训练条件，而不是声称所有下游任务都可以无损使用最短前缀。

3. 多教师双分支对齐：兼收全局语义与局部形态

教师选用 Virchow2、UNI2-h 和 H-optimus-1，它们由不同机构的数据训练，且表 1 中没有一位在全部任务上占优。作者在训练集的 10,000 张图像上测得教师间 CKA 为 0.64 至 0.71，作为表示相关但不完全重合的证据。这并不直接证明每一位教师都会提升每项任务，但支持“既能融合又有互补信息”的选型判断。所有教师冻结，只有学生和蒸馏投影头更新，因此训练不需要重新优化这些大型病理模型。

每个投影头是三层 MLP，输入宽度对应学生前缀长度，输出宽度对应目标教师的嵌入维度。中间层也使用教师嵌入维度，避免在学生前缀之外再引入一个更窄的隐藏瓶颈。 CLS 分支使用余弦相似性损失，比较图块级语义方向；patch 分支使用均方误差，约束空间表征。计算 patch 损失前，按当前批次的通道均值和标准差标准化各教师的 patch 特征，以缓解教师间数值尺度差异。教师权重相等，正文没有采用根据任务或样本动态决定教师可信度的门控。因此，知识互补通过共享学生和多个独立对齐目标实现，而不是推理时进行教师投票。

一个完整示例¶

考虑从一张 H&E 切片中抽取的 448×448 像素图块，其中同时包含腺体与周围结缔组织。共享裁剪可能保留一片腺体区域，学生和教师在不同染色扰动下观察它，此时全局与局部两类损失都生效。独立裁剪则可以改变腺体与背景的占比，训练只要求 CLS 层面的语义一致，不错误约束两份视图中的局部位置。学生一次编码产生的 768 维表示，同时以 768、384、192、96、48 维前缀经过对应投影头接受三位教师监督。部署做图块检索时，可以保存 48 维前缀，并在同一特征空间中比较查询与库中图块，而不保存教师输出。在数值精度相同且不计索引等额外开销时，48 维向量的原始存储量为 768 维的 1/16；这是维度关系，不是端到端系统测量。若改做切片级分类，图块 CLS 特征仍需交给 ABMIL 等下游聚合器，学生本身并不直接把整张切片变成诊断结论。

损失函数 / 训练策略¶

正文式 (8) 的核心是对教师与前缀尺度求和，下式以统一排版保留这一可辨识关系：

\[ \mathcal{L}_{\mathrm{cls}}=\sum_t\sum_{m\in\mathcal{M}}\mathcal{L}_{\mathrm{cos}}\!\left(g_s^{(t,m)}(z_{s,1:m}),z_s^{(t)}\right). \]

这里学生 CLS 的前缀先经过对应教师与尺度的投影头，再与教师 CLS 比较；空间分支则对标准化 patch 目标计算 MSE。共享视图与独立视图的损失范围遵守前述规则，不能把空间损失无条件施加到所有裁剪上。缓存中的若干公式存在字符错位，尤其是标准化和 patch 损失的排版损坏，故不把猜补后的精确公式冒充作者原式。正文也未完整列出总损失系数、优化器、学习率和训练轮数，本笔记不补造这些超参数。

无标注训练集包含来自单机构、单扫描仪的 158,233 张 H&E 全切片图像，总计 243 million 个图块。作者先用 CLAM 识别组织，每张切片最多抽取 2,250 个 448×448 图块；组织不足时提前停止。 10×、20×、40× 放大率的采样比例分别为 20%、40%、40%，以覆盖不同形态尺度。染色扰动分别改变苏木精和伊红通道，同时使用翻转与高斯模糊，以缓解训练来源单一的问题。学生训练明确排除公开数据集，目的是避免在公开测试集上仅记住教师对已见图像的表示。这一措施提高了学生评估的可信度，但不自动消除所有教师或基线自身预训练数据与测试集重叠的可能性。

实验关键数据¶

主实验¶

表 1（第 10 页）使用 eva 默认配置：八项图块任务训练单线性层，两项切片任务使用 ABMIL，输入均为相应模型的 CLS 特征。报告五次运行的均值及原表所列波动；多分类使用分类准确率，二分类使用平衡准确率，单位为百分数。下表摘录关键模型列；“中位数”是十项数据集得分的中位数，不是逐数据集增益的中位数。

数据集	UNI2-h	H0-mini	GPFM	Pathryoshka-B
BACH	90.7 ±1.1	79.2 ±0.5	83.0† ±0.4	90.8 ±0.3
BRACS	66.1 ±0.9	60.6 ±0.6	62.8† ±0.5	65.3 ±0.2
BreakHis	85.9 ±0.3	74.7 ±0.9	76.0† ±0.5	87.1 ±0.7
CRC	96.5 ±0.2	96.1 ±0.2	95.2† ±0.1	96.7 ±0.1
Gleason	77.4 ±0.3	77.9 ±0.5	76.6 ±0.6	78.7 ±0.6
MHIST	82.6 ±0.3	79.0 ±0.2	81.4 ±0.1	84.0 ±0.2
Patch Camelyon	95.1 ±0.1	94.2 ±0.1	94.4 ±0.0	94.1 ±0.1
CAMELYON16	93.8 ±1.3	93.1 ±1.7	94.9† ±2.6	95.0 ±1.0
PANDA	76.8 ±1.1	78.1 ±0.4	79.1† ±0.9	77.0 ±0.8
UniToPatho	54.0 ±0.3	49.2 ±0.3	49.7† ±0.1	54.9 ±0.1
中位数	84.3	78.6	80.3	85.6

† 表示该数据集出现在对应模型的训练数据中，因而其泛化表现可能被高估。 Pathryoshka-B 相对 H0-mini 和 GPFM 的中位数差分别为 7.0 和 5.3 个百分点，但并非每项任务都领先。例如它在 BRACS、Patch Camelyon 上低于 UNI2-h，在 PANDA 上低于 H0-mini 与 GPFM。

表 2（第 11 页）的效率测量使用 RTX 3090、FP16、批量大小 32，对 500 个批次报告吞吐量均值和标准差。

模型	参数量 M	FLOPs G	吞吐量 img/s
H-optimus-1	1,135	591.8	82 ±1
UNI2-h	681	360.7	136 ±1
H0-mini	86	44.6	842 ±4
GPFM	303	155.6	278 ±1
Pathryoshka-S	22	11.1	2338 ±14
Pathryoshka-B	86	44.6	842 ±4

这里采用表 2 的参数口径；图 1 出现 87M 等不同标注，不混用于精确比较。论文称相对 H-optimus-1 吞吐量约为 11 倍，但表中 842 与 82 相除约为 10.3 倍；两种表述不能视为同一个精确值。

消融实验¶

表 3（第 12 页）比较启用与不启用所提随机裁剪策略的 B 模型，评估协议沿用分类主实验；下表保留代表任务及全体汇总。

数据集或汇总	使用裁剪	不使用裁剪
BACH	90.8 ±0.3	90.0 ±0.4
BreakHis	87.1 ±0.7	85.5 ±0.6
MHIST	84.0 ±0.2	85.1 ±0.2
CAMELYON16	95.0 ±1.0	91.6 ±1.5
PANDA	77.0 ±0.8	77.0 ±1.2
十项平均值	82.4	81.6
十项中位数	85.6	85.3

裁剪使平均值增加 0.8 个百分点，CAMELYON16 增加 3.4 个百分点，但 MHIST 下降 1.1 个百分点。原文正文称中位数增加 0.2，而表 3 的已显示数值相减为 0.3；本笔记保留原始表格并标注该不一致，不自行修正。

关键发现¶

嵌套能力不仅体现在分类。表 5（第 15 页）中，Pathryoshka-B 的 ConSep Dice 从完整维度 63.6 ±0.3 变为 1/16 维度的 62.6 ±0.2，MoNuSAC 从 63.8 ±0.7 变为 61.3 ±0.8。
这些分别是 1.0 与 2.5 个 Dice 点的下降；正文的 1.6% 与 3.9% 是相对下降，不能写成绝对百分点损失。
第 4.2 节的六项多分类图块 k-NN 评估使用 k=10 与余弦相似度，本文选前缀，基线随机选维度并运行五次；这不是与 PCA 等专门压缩方法的对照。
第 11 页报告对 UNI2-h 的单侧 Wilcoxon 检验 p=0.042，但十个基准上的统计优势不等于所有临床任务或患者群体都占优。

亮点与洞察¶

模型大小与特征大小是两类可独立控制的部署成本。本文把它们放进同一训练框架，却没有把短向量的存储收益误当成骨干编码加速。
裁剪是否对齐决定能否施加局部监督，这比不加区分地扩大增强强度更关键。图像蒸馏中存在视角变化时，同样需要先确认监督粒度是否成立。
教师专属头使不同维度、不同分布的知识可以共存于一个学生目标中。其优势是部署端不需要继续携带教师集合，而非保证各教师知识都被完整保存。

局限与展望¶

作者承认还需要更广泛的临床效用评估。公开分类、检索和分割表现不能替代前瞻性临床验证、校准或真实工作流评估。
私有训练集规模很大，但来自单机构与单扫描仪。染色与尺度增强能缓解外观变化，不能证明已经覆盖所有跨医院域偏移。
多教师训练的总成本没有由学生推理吞吐量体现。缺少完整训练预算与超参数，也限制了从正文独立复现的可行性。
缓存不含正文引用的补充表 S4、S6，故无法核实完整低维分类曲线和单教师消融数值；不据此推断哪位教师贡献最大。
读者建议：加入学习式降维、不同教师组合和跨机构外部验证，才能进一步区分嵌套监督、教师多样性与数据规模各自的贡献。

评分¶

新颖性: 4/5。多教师、嵌套监督与裁剪粒度相结合有明确目标，主要创新在系统组合与适配。
实验充分度: 4/5。覆盖多种下游任务与效率指标，但临床验证和可核实的训练细节仍不足。
写作质量: 3/5。主线与消融清楚，但正文和表格的个别数值表述不一致，缓存公式也有损坏。
价值: 4/5。对大规模病理图块编码与特征存储有实际意义，收益需结合部署预算与目标任务判断。