Together, Then Apart: Balancing Alignment and Distinctiveness for Multimodal Survival Analysis¶

会议: ECCV 2026
论文: ECCV 2026 Poster
代码: https://github.com/Y-Research-SBU/TTA
领域: 计算生物学 / 多模态学习 / 智能医疗
关键词: 多模态生存分析, 计算病理学, 不平衡最优传输, 原型对齐, 对比学习

一句话总结¶

针对多模态生存分析中过度跨模态对齐导致模态特异性信息塌陷的痛点，提出“先聚合、后分离（Together, Then Apart, TTA）”框架，通过共享原型与带课程调度松弛质量的不平衡最优传输捕获共有预后模式，再通过模态特异性锚点与对比正则化显式保留各自独特生物学信号，在五个 TCGA 癌症队列上取得显著超越 SOTA 的一致提升。

研究背景与动机¶

多模态生存分析旨在结合病理全切片图像（WSIs）与分子组学特征（如转录组基因表达）来预测患者的疾病特异性生存期（DSS）。在肿瘤生物学中，病理 WSI 富含组织形态学表型与肿瘤微环境空间结构，而基因组学则揭示了形态学无法直接观测到的分子调控通路与驱动突变。然而，病理切片通常包含数以万计的复杂瓦片（patches），且伴随大量非肿瘤或模糊组织噪声；转录组特征则表现出强烈的患者特异性稀疏性。现有主流的多模态融合方法往往采用基于注意力或最优传输的跨模态对齐技术，试图将异质模态强行拉近到一个紧密的共享表征空间中。

这种常规强对齐范式带来了一个致命矛盾：过度对齐塌陷（over-alignment collapse）。当模型过早、过于激进地强制两种底层生物学属性截然不同的模态在隐空间达成一致时，WSIs 独特的细粒度形态学表征与基因组精细的分子变异信号往往会被严重稀释甚至抹去。在实际临床数据集中，这一现象导致了令人震惊的经验结果——复杂的跨模态融合模型其预后性能反而落后于单纯的纯病理 WSI 单模态基线（例如在结直肠癌 CRC 队列中，形态学证据占据主导，盲目对齐导致判别性形态线索丢失）。现有解耦或动态重加权方案往往将“共有信息挖掘”与“模态特异性保留”视作割裂的目标，缺乏一个兼顾二者动态平衡的统一表征原则。

本文的切入视角非常纯粹且符合认知规律：有效的多模态表征应当先发现模态之间的共享结构，在此基础上再主动拉开距离以保留模态特异的个性化信息。核心 idea：提出 Together-Then-Apart（TTA）生存分析框架，先在 Together 阶段利用共享原型与带课程松弛质量的半松弛不平衡最优传输（UOT）对齐跨模态共有预后模式，随后在 Apart 阶段引入模态特异性锚点与 InfoNCE 对比正则化拉开模态表征，在抵御表征塌陷的同时保留完整的专有生物学信号。

方法详解¶

整体框架¶

TTA 的整体输入包含两组异质 token：由病理预训练模型编码并投影后的 WSI 瓦片集合 \(X_n^p \in \mathbb{R}^{N_n^p \times D}\)，以及基于 Hallmark 通路先验分组投影得到的基因组通路 token 集合 \(X_n^g \in \mathbb{R}^{N_n^g \times D}\)。整个推理与优化流程清晰划分为四个阶段：Tokenization（模态特异性 token 化）、Together（基于共享原型的半松弛 UOT 对齐与聚合）、Apart（基于模态锚点的自注意力精炼与对比多样化）、以及 Prediction（跨模态 Co-Attention 交互与风险估计）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据<br/>WSI切片与转录组"] --> B["模态 Token 化<br/>Patch 嵌入与通路分组"]
    B --> C["共享原型半松弛 UOT 匹配<br/>联合代价矩阵与虚拟吸收池"]
    C --> D["课程调度质量输运<br/>动态调度参数 rho 控制匹配置信度"]
    D --> E["模态锚点精炼与对比正则化<br/>模态特异 Anchor 与 InfoNCE 分离"]
    E --> F["原型级交叉注意力与风险预测<br/>Co-Attention 融合输出 Log-Risk"]

关键设计¶

1. 共享原型半松弛 UOT 匹配：统一几何下的跨模态共有结构对齐
常规方法通常为各模态独立维护原型，导致模态对齐缺乏绝对参考坐标；或者使用朴素 Softmax 软分配，易受 WSI 长尾噪声与通路极度稀疏性的干扰。本文在隐空间维护 \(K\) 个共享可学习原型 \(P \in \mathbb{R}^{K \times D'}\)，并将病理和基因组 tokens 沿 token 维度直接拼接为总规模为 \(N_{\mathrm{tot}} = N_n^p + N_n^g\) 的联合 token 集合。通过负对数余弦相似度构建联合代价矩阵 \(C_n = [C_n^p; C_n^g] \in \mathbb{R}^{N_{\mathrm{tot}} \times K}\)，并建立半松弛不平衡最优传输（UOT）问题：

\[ \min_{Q \ge 0} \;\langle Q, C_n \rangle_F + \gamma \, \mathrm{KL}\big(Q^\top \mathbf{1} \,\|\, b\big) \quad \text{s.t.} \quad Q \mathbf{1} = a \]

其中源边边缘分布固定为均匀先验 \(a = \frac{1}{N_{\mathrm{tot}}}\mathbf{1}_{N_{\mathrm{tot}}}\)，赋予每个 token 初始平等的权重；原型侧边缘分布则引入相对于均匀先验 \(b = \frac{1}{K}\mathbf{1}_K\) 的 KL 散度惩罚，松弛强度由 \(\gamma > 0\) 控制。这一机制既防止了输运方案因个别异常特征坍缩至少数优势原型，又允许患者样本因个体异质性在原型分布上产生适度偏移。

2. 课程调度质量输运：早期容忍噪声、后期决断分配
在训练初期，模型表征尚未收敛，不可避免存在大量伪相关匹配。为避免早期噪声破坏对齐结构，TTA 在 UOT 目标中引入动态质量参数 \(\rho(t) \in [0, 1]\)，只将总质量的 \(\rho\) 分配给 \(K\) 个真实原型，剩余 \(1-\rho\) 质量由增设的零成本“虚拟吸收池（dummy sink）”静默吸收：

\[ \rho(t) = \rho_{\mathrm{base}} + (\rho_{\mathrm{upper}} - \rho_{\mathrm{base}}) \exp\left(-5\left(1 - \frac{t}{T}\right)^2\right) \]

其中 \(t\) 为当前迭代步数，设定 \(\rho_{\mathrm{base}}=0.1, \rho_{\mathrm{upper}}=1.0\)。在训练初始阶段，\(\rho\) 极小，不确定的弱证据 tokens 大量被吸收池吞没，避免强加跨模态关联；随着训练推进平滑放大至 1.0，引导成熟表征进行确定性匹配。求解得到的输运矩阵扣除吸收池后行缩放为 \(Q^\star \in \mathbb{R}^{N_{\mathrm{tot}} \times K}\)，并与原生 Softmax 相似度按系数 \(\beta\) 加权融合，最终聚合得到病理与基因组在共享坐标下的原型级表征矩阵 \(H_n^p, H_n^g \in \mathbb{R}^{K \times D}\)。

3. 模态锚点精炼与对比正则化：显式构建表征隔离防线
经过 Together 阶段后，两模态 token 已对齐至同一原型坐标系，极易诱发模态身份的模糊与塌陷。在 Apart 阶段，模型显式引入两个模态特异性可学习锚点 \(a^p, a^g \in \mathbb{R}^{D'}\)。原型表征经过投影归一化后分别拼接各自锚点，通过轻量级自注意力层 \(\mathcal{R}_\theta\) 精炼，并截取前 \(K\) 个 token 获得增强表征 \(\hat{H}_n^p, \hat{H}_n^g\)。随后计算模态均值表征 \(\bar{h}_n^m = \frac{1}{K}\sum_{k=1}^K \hat{h}_{n,k}^m\)，并施加 InfoNCE 架构的对比正则化损失：

\[ \mathcal{L}_{\mathrm{contrast}} = -\log \frac{\exp(s_+^p)}{\exp(s_+^p) + \exp(s_-^p)} - \log \frac{\exp(s_+^g)}{\exp(s_+^g) + \exp(s_-^g)} \]

其中 \(s_+^m = \langle \phi(\bar{h}_n^m), \phi(a^m) \rangle / \tau_r\) 拉近模态自身表征与本模态锚点，而 \(s_-^m = \langle \phi(\bar{h}_n^m), \phi(a^{\bar{m}}) \rangle / \tau_r\) 强力推开与互补模态锚点的距离。这种向心吸引与跨模态排斥机制构筑了坚固的身份边界，使得病理切片独有的形态学模式与基因组专有的通路活性在共享对齐后依然保持完全的可区分度。

损失函数 / 训练策略¶

TTA 的整体训练目标由三部分多任务联合优化驱动： 1. 生存预测主任务损失 \(\mathcal{L}_{\mathrm{surv}}\)：基于标准 Cox 比例风险模型的负偏似然函数（Partial Likelihood），通过成对比较样本间的相对风险来约束生存排序； 2. 实例级伪标签对齐损失 \(\mathcal{L}_{\mathrm{instance}}\)：利用 UOT 产出的最优输运软分配矩阵作为高质量自监督伪标签，以交叉熵形式约束两模态的预测概率分布，加速原型稳定； 3. 模态解耦对比损失 \(\mathcal{L}_{\mathrm{contrast}}\)：通过排斥与吸引保持模态特异性。

总损失函数为：

\[ \mathcal{L}_{\mathrm{total}} = \mathcal{L}_{\mathrm{surv}} + \lambda_{\mathrm{contrast}} \mathcal{L}_{\mathrm{contrast}} + \lambda_{\mathrm{inst}} \mathcal{L}_{\mathrm{instance}} \]

默认参数配置：共享原型数 \(K=32\)，KL 松弛权重 \(\gamma=0.1\)，损失平衡系数 \(\lambda_{\mathrm{contrast}} = \lambda_{\mathrm{inst}} = 0.5\)，模态权重 \(\lambda_{\mathrm{wsi}} = \lambda_{\mathrm{gen}} = 1.0\)。WSI 提取器采用 DINOv2 架构的病理大模型 UNI（ViT-Large），基因组覆盖 50 个 Hallmark 通路（共 4,241 个基因），采用 5 折分层交叉验证进行严谨评估。

实验关键数据¶

主实验¶

在 5 个来自 TCGA 的多样化癌症队列（BRCA 乳腺癌、BLCA 膀胱癌、STAD 胃腺癌、CRC 结直肠癌、KIRC 肾透明细胞癌）上，与 2 个纯基因组基线、7 个纯病理 WSI 单模态 MIL 模型以及 8 个近期代表性多模态融合 SOTA 模型进行了全面评测（采用疾病特异性生存期 DSS 与 5 折交叉验证 C-Index，均值±标准差）：

数据集	模态	TTA (本文)	次优 SOTA (模型名)	纯病理最优 (模型名)	相对次优提升
BRCA (n=868)	g.+h.	0.726 ± 0.039	0.724 ± 0.067 (MMP)	0.643 ± 0.128 (PANTHER)	+0.2%
BLCA (n=359)	g.+h.	0.662 ± 0.079	0.676 ± 0.035 (LD-CVAE)	0.637 ± 0.065 (OTSurv)	-1.4% (第2)
STAD (n=318)	g.+h.	0.613 ± 0.079	0.594 ± 0.066 (MMP)	0.566 ± 0.033 (ABMIL)	+1.9%
CRC (n=296)	g.+h.	0.685 ± 0.131	0.639 ± 0.101 (MRePath)	0.723 ± 0.111 (AttnMISL)	+4.6% (多模态第1)
KIRC (n=340)	g.+h.	0.778 ± 0.117	0.751 ± 0.139 (LD-CVAE)	0.739 ± 0.149 (OTSurv)	+2.7%
Overall (平均)	g.+h.	0.693	0.667 (MMP)	0.644 (OTSurv)	+2.6%

消融实验¶

表 2 与表 3、表 4 针对核心组件与各阶段设计展开的系统性消融证实了各模块设计的必要性：

配置	阶段构成	Overall C-Index	BRCA	CRC	说明
Baseline (None)	无 Together & 无 Apart	0.643	0.682	0.561	独立原型与独立常规融合
Together Only	仅开启 Together 阶段	0.662	0.675	0.587	相比 baseline 提升 +1.9%，但 CRC 受过对齐限制
Apart Only	仅开启 Apart 阶段	0.666	0.683	0.625	相比 baseline 提升 +2.3%，保留了单模态特异性
Full TTA	Together + Apart (双阶段结合)	0.693	0.726	0.685	协同增益显著，相比 baseline 提升 +5.0%
模态特异原型	独立原型 + 独立 UOT	0.681	0.755	0.609	缺少共享坐标系，全局协调性弱
共享原型 + 独立 UOT	共享原型 + 各自独立输运	0.684	0.713	0.672	相比特异原型提升 +0.3%
共享原型 + 联合 UOT	拼接 tokens 联合 UOT (默认)	0.693	0.726	0.685	跨模态证据互补更充分，提升 +1.2%

关键发现¶

CRC 队列上的过对齐破局：在结直肠癌 CRC 中，预后高度由病理组织形态驱动。几乎所有先前的多模态模型（如 MCAT 0.579, SurvPath 0.588, MMP 0.634）均严重落后于纯病理基线 AttnMISL（0.723）。消融显示，若在 TTA 中拿掉 Apart 阶段，CRC 性能骤降 9.8%（0.685 跌至 0.587）；而完整的 TTA 凭借模态锚点与对比分离，极大弥合了多模态模型与纯 WSI 基线的鸿沟，取得了 0.685 的卓越表现。
课程输运调度（Curriculum Mass \(\rho\)）的平滑效能：在 UOT 输运消融中，无课程调度（固定质量）的 C-Index 为 0.686；采用线性增长调度为 0.687；而采用平滑 Sigmoid 型加速饱和调度达到最高的 0.693，证实训练初期利用吸收池过滤伪关联对构建稳健的原型空间至关重要。
临床分层显著性：Kaplan-Meier 生存曲线及对数秩检验（Log-Rank Test）在所有 5 个队列中均展示出显著的预后高低风险区分度，且全队列 \(p\) 值均远低于 0.05（BRCA \(p = 2.61 \times 10^{-3}\), BLCA \(p = 2.51 \times 10^{-4}\), STAD \(p = 8.93 \times 10^{-3}\), CRC \(p = 3.02 \times 10^{-2}\), KIRC \(p = 1.86 \times 10^{-10}\)）。

亮点与洞察¶

颠覆“越对齐越好”的直觉偏见：敏锐地指出了计算病理与组学融合中的“过度对齐塌陷（over-alignment collapse）”问题，首次形式化提出了“先聚合、后分离（Together, Then Apart）”的双阶段对齐与保留表征哲学，极具思辨启发性。
巧妙的联合输运与虚拟吸收池机制：不使用两两模态间复杂的交叉最优传输，而是将两模态 tokens 直接拼接，向共享原型库做半松弛 UOT 映射；并通过课程调度的虚拟吸收池（dummy sink）动态丢弃早期模糊证据，兼顾了计算轻量性与抗噪鲁棒性。
可复用的模态锚点（Modality Anchors）技术：在原型表征精炼阶段引入可学习模态锚点，并通过 InfoNCE 目标显式拉开模态中心。该机制设计纯粹且独立，可无缝迁移至自动驾驶多传感器融合、音视频多模态理解等存在模态贡献不对称与特异性丢失的场景中。

局限与展望¶

作者承认的局限：尽管在多模态方法中取得了领先，但在形态学极端主导的 CRC 队列中，TTA（0.685）相较于最强纯病理 MIL 基线 AttnMISL（0.723）仍存在一定差距，表明高度不平衡模态下的鲁棒自适应融合仍有探索空间；此外，预定义的 Hallmark 通路对转录组特征进行了先验压缩，可能遗漏非经典通路中的长尾微小突变。
实际存在的局限：模型依赖于成对配对完备的 WSI 与基因表达数据，在临床真实世界中缺失模态（如仅有切片或仅有测序）的情形较为常见，TTA 尚缺少针对模态缺失的鲁棒推断支持机制；超参数中吸收池调度的时间常数 \(T\) 需要预设。
改进与延伸方向：引入自适应通路挖掘机制以突破固定 50 个 Hallmark 通路的限制；结合掩码扩散模型或生成式先验，将 TTA 扩展到支持任意模态缺失的不完备生存预测场景中。

评分¶

新颖性: ⭐⭐⭐⭐ [针对多模态过对齐塌陷提出富有洞察力的 Together-Then-Apart 范式，联合 UOT 与虚拟池调度构思新颖]
实验充分度: ⭐⭐⭐⭐⭐ [跨越 5 个异质 TCGA 癌症队列，覆盖 17 个竞争基线，消融涵盖组件、超参灵敏度、课程曲线与生存曲线]
写作质量: ⭐⭐⭐⭐⭐ [动机叙述极其流畅深刻，数学公式定义严谨克制，图表排版美观规范]
价值: ⭐⭐⭐⭐⭐ [为计算病理学与跨模态生物医学数据融合提供了通用的高质量解决方案与开源代码，具备很高的临床应用潜力]