Bridging the Modality Bottleneck in Pathology MIL Through Virtual Molecular Staining¶
会议: NeurIPS 2026
arXiv: 2605.16392
OpenReview: https://openreview.net/forum?id=g5hLIE5clP
领域: 医学图像
关键词: 多示例学习, 计算病理学, 空间转录组学, 虚拟分子染色, 跨模态原型
一句话总结¶
针对病理全视野图像多示例学习受限于纯形态学特征而无法有效捕捉分子状态的模态瓶颈，本文提出仅在训练期利用配对空间转录组构建跨模态原型的虚拟分子染色变换（MIST），作为即插即用的投影层使纯H&E推理性能全面提升。
研究背景与动机¶
在计算病理学（CPath）全视野数字切片（WSI）分析中，弱监督多示例学习（MIL）已成为组织亚型分类、生物标志物预测与生存期分析的核心范式。典型管线首先通过冻结的病理基础模型（FM）提取数万个图像块的特征，经过逐块线性投影层降维，最后由全局聚合器池化得到切片级预测。尽管大量研究不断推进自监督/图文病理基础模型与低秩/注意力聚合器的设计，位于中间的投影层却长期被当作简单的线性降维组件，且现有改进方案仍局限在病理基础模型自身的形态学特征空间内。
然而，生物标志物突变、治疗反应以及患者预后等诸多临床关键终点本质上受控于深层分子状态与微环境基因表达，而常规病理切片仅提供苏木精-伊红（H&E）染色的组织形态。由于不同分子分型的病变区域在显微镜下常呈现高度一致的组织学表型，仅依赖形态学特征的 MIL 管线不可避免地面临根本性的“模态瓶颈”。病理医师在临床实践中往往借助免疫组织化学（IHC）染色引入分子特异性标记物来辅助判读，但多组学检测成本高昂、组织不可逆破坏且在日常临床中难以普及，使得在推理阶段获取转录组或 IHC 信号极不现实。
本文的切入角度是将辅助模态的利用完全解耦在训练阶段，从投影层入手重构坐标系。配对的空间转录组学（ST）能够在单一切片上实现斑点级基因表达与 H&E 细胞形态的原位对齐，是构建分子表型先验的理想数据源。与以往直接重训或微调病理基础模型、导致难以复用于后续新基础模型的方法不同，本文保留底层冻结基础模型并替换投影层。核心 idea：利用配对空间转录组学数据在训练阶段离线聚类生成锚定于形态特征空间的跨模态分子原型，在投影层构建软亲和力引导的低秩残差变换（MIST）对 H&E 特征施加虚拟分子染色，无需在推理时提供转录组数据即可使切片特征沿基因指导的分子轴重新组织。
方法详解¶
整体框架¶
MIST（Molecularly Informed Staining Transform）作为即插即用的模块直接替换传统 MIL 管线中的逐 patch 线性投影层。其整体处理流程分为离线原型构建与在线切片推理两个阶段：在训练前，MIST 利用开源配对 ST-H&E 数据集在基因空间发现各器官的代表性分子程序，并将其均值投影至冻结基础模型空间形成跨模态分子原型库；在下游任务训练与推理时，切片的 H&E 图像块特征通过线性映射与原型库计算软亲和度权重，经由共享形态基底与原型特异性调制因子的低秩残差变换生成多种分子染色视图，最终结合原始形态学残差形成增强的 patch 表征，输入下游任意标准 MIL 聚合器。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入 H&E 图像块特征 x_i<br/>(冻结 UNI2-h 提取, D=1536)"] --> B["共享投影映射 h_i = phi(x_i)<br/>降维至 d=512"]
B --> C["跨模态分子原型匹配<br/>计算软亲和度权重 alpha_ik"]
B --> D["低秩残差虚拟染色<br/>v_ik = h_i + U_k V h_i"]
C --> E["双重残差亲和加权混合<br/>h_tilde_i = h_i + sum alpha_ik v_ik"]
D --> E
E --> F["下游标准 MIL 聚合器<br/>(ABMIL / CLAM / TransMIL 等)"]关键设计¶
1. 跨模态分子原型学习：在基因空间聚类并锚定于形态特征空间
为解决组织形态与基因表达模态脱节的痛点，MIST 采用配对空间转录组数据集 HEST-1k 构建离线原型。首先对 Visium 斑点的基因表达向量进行质控过滤、库容归一化与对数变换，利用 Seurat v3 算法筛选出前 2,000 个高变基因（HVG），并通过六边形晶格局部相邻斑点平滑消除稀疏噪声。随后在各器官内部对平滑后的基因向量执行 MiniBatch K-means 聚类，将斑点划分为 \(K_o\) 个分子簇 \(\mathcal{C}_k\)。关键在于，每个簇对应的原型向量 \(\boldsymbol{\mu}_k\) 并非保存在基因空间，而是计算该簇内所有斑点对应 H&E 图像块的冻结病理模型嵌入 \(\mathbf{x}_j\) 的均值质心：
$\(\boldsymbol{\mu}_k = \frac{1}{|\mathcal{C}_k|} \sum_{j \in \mathcal{C}_k} \mathbf{x}_j \in \mathbb{R}^D, \quad \mathcal{C}_k = \{j : c_j = k\}\)$
这种跨模态设计让聚类在基因空间发现纯粹的转录组分子概念（如肺泡上皮、鳞癌侵袭或免疫浸润），而生成的原型天然位于病理形态学特征空间中，从而使得模型在后续无需转录组输入即可直接评估纯 H&E 图像块与各分子概念的几何关联。
2. 软亲和力多概念匹配：非竞争性建模局部混合分子表型
组织微环境具有显著的异质性，单个病理切片局部区域常同时存在多种细胞类型与共表达分子程序。传统硬聚类或 softmax 竞争性归一化会抑制次要分子的共存信号。MIST 首先通过线性映射层 \(\phi\) 将 patch 特征与原型分别映射至 \(d\) 维隐空间：\(\mathbf{h}_i = \phi(\mathbf{x}_i)\) 与 \(\mathbf{p}_k = \phi(\boldsymbol{\mu}_k)\)，随后采用基于 Sigmoid 的非竞争性点积并施加 \(\ell_1\) 归一化计算亲和力：
$\(\alpha_{ik} = \frac{\sigma(\mathbf{h}_i^\top \mathbf{p}_k)}{\sum_{k'} \sigma(\mathbf{h}_i^\top \mathbf{p}_{k'})}\)$
Sigmoid 函数保证各个分子概念的响应彼此独立，允许 patch 同时激活多个分子程序，而分母的 \(\ell_1\) 归一化约束了切片内所有图像块的总染色配额预算，避免了过大或过小的响应幅度干扰下游特征尺度的稳定性。
3. 低秩残差虚拟染色：解耦公共形态基底与概念特异性调制
为了将分子原型先验注入形态学特征，每个原型 \(k\) 对应生成一个特定的虚拟染色视图 \(\mathbf{v}_{ik}\)。该变换采用矩阵低秩分解形式：
$\(\mathbf{v}_{ik} = \mathbf{h}_i + \mathbf{U}_k \mathbf{V} \mathbf{h}_i\)$
其中 \(\mathbf{V} \in \mathbb{R}^{r \times d}\) 是在所有原型间共享的低秩基底（秩 \(r=16 \ll d=512\)），负责提取形态学中能够被分子状态调控的有限公共主导轴；而 \(\mathbf{U}_k \in \mathbb{R}^{d \times r}\) 则是原型特异性的重组矩阵，负责将公共轴变换为特定分子概念的表型偏移。残差形式严格模拟了物理病理染色的生物学本质——染色是在底层未染色的形态结构上叠加特定颜色信号，而不会破坏原有的组织学轮廓。
4. 双重残差亲和加权混合：保留未染色形态基准与理论可分性保障
在获得所有分子视图后，MIST 根据亲和力权重进行凸组合，并再次显式添加原始形态嵌入 \(\mathbf{h}_i\)：
$\(\tilde{\mathbf{h}}_i = \mathbf{h}_i + \sum_{k=1}^K \alpha_{ik} \mathbf{v}_{ik}\)$
外部残差结构使得即便某些图像块与已知分子原型匹配度较低，冻结病理模型的原始形态学特征依然被完整保留作为基准信号。更重要的是，在理论层面，当两个图像块形态极其接近（\(\mathbf{h}_i - \mathbf{h}_j = \epsilon \mathbf{v}, \epsilon \ll 1\)）但属于不同分子表型时，输出差异展开为：
$\(\tilde{\mathbf{h}}_i - \tilde{\mathbf{h}}_j = (2\mathbf{I} + \bar{\mathbf{W}})\epsilon \mathbf{v} + \Big(\sum_k \Delta \alpha_k \mathbf{U}_k\Big)\mathbf{V}\bar{\mathbf{h}}\)$
第一项对应纯形态学变换差异，而第二项则是亲和力差异诱导的“分子路由项”。该项直接打破了形态相似性引发的判别盲区，使得输出特征在下游分类器或聚合器中的欧几里得距离严格大于仅使用传统投影层时的距离。
损失函数 / 训练策略¶
MIST 本身不引入额外的辅助重构或正则化损失，完全端到端地与下游下游聚合器联合由切片级任务损失（如交叉熵损失或负对数偏似然生存损失）进行驱动。采用 AdamW 优化器（学习率 \(10^{-4}\)，权重衰减 \(10^{-5}\)），配备 1 个 epoch 的线性预热及余弦退火学习率调度，批量大小为 1，梯度累加步数为 32。模型在所有分类任务上训练最多 20 个 epoch，并基于验证集早停（patience=5）；生存分析任务则完整训练 20 个 epoch。
实验关键数据¶
主实验¶
论文在 23 个下游任务及 8 种代表性 MIL 聚合器（ABMIL、CLAM、TransMIL、Transformer、ILRA、MeanMIL、MaxMIL、DSMIL）上进行了系统评估，共涉及 256 种实验配置。MIST 在其中的 240 种配置中取得显著提升，平均性能增益达 +3.5%。下表汇集了生存预测（4 个队列平均 C-index）与组织亚型分类（6 个任务平均指标）的主要对比结果。
| 任务 / 评估指标 | 聚合器 | Baseline (传统投影) | + MIST (本文) | 绝对提升 (\(\Delta\)) |
|---|---|---|---|---|
| BRCA 生存预测 (C-index %) | ABMIL | 60.58 ± 6.44 | 69.34 ± 3.87 | +8.76 |
| CLAM | 60.79 ± 6.33 | 69.70 ± 3.65 | +8.91 | |
| MaxMIL | 54.95 ± 3.82 | 58.77 ± 9.11 | +3.81 | |
| 八模型均值 | 60.79 ± 3.14 | 67.50 ± 3.70 | +6.71 | |
| LUAD 生存预测 (跨3队列 C-index %) | ABMIL | 66.07 ± 6.56 | 67.49 ± 6.54 | +1.42 |
| MaxMIL | 49.40 ± 4.84 | 58.74 ± 4.41 | +9.35 | |
| 八模型均值 | 60.09 ± 6.57 | 63.93 ± 4.19 | +3.84 | |
| LUSC 生存预测 (跨3队列 C-index %) | ABMIL | 61.99 ± 2.75 | 63.41 ± 2.88 | +1.42 |
| ILRA | 49.29 ± 6.68 | 58.72 ± 4.03 | +9.43 | |
| 八模型均值 | 55.98 ± 5.37 | 61.00 ± 2.90 | +5.02 | |
| COAD 生存预测 (跨2队列 C-index %) | 八模型均值 | 56.68 ± 4.63 | 61.74 ± 2.34 | +5.06 |
| BRACS-C 组织亚型 (平衡准确率 %) | ABMIL | 62.59 ± 5.18 | 72.78 ± 4.79 | +10.19 |
| Transformer | 61.82 ± 4.71 | 72.60 ± 4.67 | +10.78 | |
| 八模型均值 | 58.79 ± 6.18 | 65.17 ± 7.36 | +6.39 | |
| BRACS-F 细粒度亚型 (平衡准确率 %) | 八模型均值 | 35.61 ± 5.23 | 38.98 ± 5.68 | +3.37 |
| EBRAINS-C 脑肿瘤亚型 (平衡准确率 %) | 八模型均值 | 85.95 ± 4.44 | 89.51 ± 3.02 | +3.56 |
| EBRAINS-F 脑肿瘤细粒度 (平衡准确率 %) | 八模型均值 | 67.79 ± 4.28 | 71.53 ± 3.95 | +3.75 |
消融实验¶
在跨 GBMLGG、LUAD、BRACS 与 EBRAINS 任务的平均综合指标上，对 MIST 的原型来源、低秩分解形式与残差设计进行了严格消融，结果如下表所示：
| 配置 / 变体分支 | 核心设计变更点 | 平均性能 (%) | 相对完整模型变化 |
|---|---|---|---|
| MIST (Full Model) | 空间转录组先验 + 共享低秩矩阵 \(\mathbf{V}\) + 双重残差 | 73.9 | — |
| Random Vectors | 原型替换为随机高斯向量 | 71.7 | -2.2 |
| H&E-only Clustering | 原型仅来自 H&E 图像块特征聚类（无转录组） | 72.8 | -1.1 |
| Full-rank \(\mathbf{W}_k\) | 移除低秩因子分解，为各原型学习独立全秩矩阵 | 72.6 | -1.3 |
| Unshared \(\mathbf{V}_k\) | 各原型学习独立的低秩投影基底 \(\mathbf{V}_k\) | 72.1 | -1.8 |
| No External Residual | 移除式 (4) 中最终的未染色形态学残差项 \(\mathbf{h}_i\) | 72.1 | -1.8 |
| No View Residual | 移除式 (3) 内部各视图自身的残差项 \(\mathbf{h}_i\) | 72.1 | -1.8 |
此外，在探索模态瓶颈与容量瓶颈互补性的实验中，在 LUAD 上以 ABMIL 为基底：纯 ABMIL 的 C-index 为 0.6111；加入增加模型容量的 MAMMOTH（Mixture of Mini Experts）后提升至 0.6324（+0.0213）；而单加 MIST 达到 0.6469（+0.0358）；二者同时叠加（ABMIL + MAMMOTH + MIST）则进一步提升至 0.6647（相比叠加前再获 +0.0323 独立增益），验证了模态信息增益与模型表征容量扩展之间的完美正交性。
关键发现¶
- 分子先验是增益的核心驱动力：将转录组聚类原型替换为纯形态学聚类会导致性能下降 1.1%，而替换为随机向量则大幅暴跌 2.2%，确证了转录组引导跨模态对齐的核心价值。
- 弱聚合器获益更为显著：在无参数粗粒度池化的 MaxMIL 上，MIST 带来的平均增益高达 +7.2%（生存预测）与 +6.0%（生物标志物），几乎是注意力聚合器增益的两倍，表明当聚合器无法充分挖掘复杂上下文时，底层的分子化表征提供了决定性的判别支撑。
- 原型数量具备紧凑鲁棒性：在 \(K \in \{4, 8, 16, 32, 64\}\) 的敏感性测试中，性能普遍在 \(K=4 \sim 8\) 时即达到饱和峰值，过大的原型集合并无额外收益，说明仅需少量主导性分子程序即可有效解耦病理形态空间。
亮点与洞察¶
- 训练期跨模态、推理期单模态的轻量化范式：巧妙借助空间转录组学进行“离线发现并锚定于形态空间”，完全摆脱了推理阶段依赖昂贵多组学测试的枷锁，极具临床转化价值。
- 与病理基础模型解耦的可插拔投影层设计：避免了动辄数十亿参数病理大模型代价高昂的视觉-组学预训练微调，可无缝无损迁移至任意更新迭代的冻结特征提取器上。
- 共享公共形态基底的参数高效分解：通过共享低秩投影矩阵 \(\mathbf{V}\) 并仅为各原型保留独立秩 16 调制向量，整个模块仅增加不足 0.09M 参数，甚至在 ILRA 等架构中因统一压缩前端特征而使总参数量下降 9.0%。
局限与展望¶
- 依赖公开 ST 数据的组织覆盖面：分子原型的构建高度依赖配对 ST-H&E 数据集的组织丰富度，当前 HEST-1k 等数据集对罕见肿瘤表型、特定用药后耐药亚群及特定人群的覆盖度仍有限。
- 缺乏微观空间距离图结构感知：虽然离线聚类阶段对局部六边形邻域进行了平滑，但切片级推理时每个 patch 的亲和度计算仍独立进行，尚未显式引入拓扑组织微环境的空间上下文图神经网络。
相关工作与启发¶
- vs SEAL / MINT / SPADE 等视觉-组学预训练模型：这些工作通常需要联合优化 ViT 编码器权重，计算开销极其巨大，且每次切换新的基础模型都需要全量重训；MIST 停留在投影层，以不到 0.1M 的极小代价实现了即插即用的跨模态能力注入。
- vs Regional Transformers / MAMMOTH 等现代投影层改进：现有投影层创新均在基础模型固有的形态学特征空间内做近邻交互或专家路由，无法跳出纯形态表征的固有天花板；MIST 引入正交的分子转录组先验，与此类容量提升方法呈加性互补。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙提出虚拟分子染色概念，将空间组学解耦为离线形态锚定原型与在线投影层调制，角度极具启发性。
- 实验充分度: ⭐⭐⭐⭐⭐ 跨 23 个任务、8 种 MIL 聚合器以及 256 组配置进行了极其详尽的评测与消融，兼具生物学可解释性验证。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，实验设计逻辑严密，图文表达专业度极高。
- 价值: ⭐⭐⭐⭐⭐ 为计算病理学融合空间多组学数据探索出了一条轻量、通用、可落地的实用技术路径。