When Are Multimodal Predictions Biologically Supported? A Diagnostic Evaluation Framework¶

会议: NeurIPS 2026
arXiv: 2605.31504
OpenReview: https://openreview.net/forum?id=3siPQWjkBS
领域: 多模态大模型
关键词: 多模态表征学习, 跨模态对齐, 伪相关与混杂检测, 计算病理学, 模型诊断评估

一句话总结¶

提出了模型无关的事后诊断评估框架 DECAT，仅依赖冻结表征与五项零假设置换校准指标，即可在无需已知混杂标签的前提下，判别多模态预测是由跨模态共享生物学、单模态特异生物学还是伪相关混杂所驱动。

研究背景与动机¶

多模态基础模型正日益广泛地应用于肿瘤计算病理学与精准医疗中，研究者通过对比学习或交叉注意力将苏木精-伊红（H&E）染色全视野病理切片与转录组学（RNA-seq）测序数据对齐，使模型在仅输入单模态组织切片时即可高精度预测分子表型与临床预后。然而，肿瘤生物学固有的异质性决定了生物学程序并不在所有组学模态中均匀展现：免疫细胞浸润等信号通常能同时在组织形态与基因表达中反映，而染色体不稳定性、通路突变等微观分子事件往往仅存在于测序数据中，在切片图像中并不具有特异性形态对应物。因此，当多模态模型从单一模态给出高准确率预测时，现有的测试集 AUROC 指标根本无法揭示该模型到底学习到了跨模态真实共享的生物学机制、仅局限于单模态的独立生物学特性，抑或是仅仅捕捉到了由测序批次、医疗中心签名、扫描仪伪影或组织纯度等混杂因素诱发的伪相关。

这一困境的核心矛盾在于：模型高预测准确率仅仅是必要条件，而非充分证据；在分布内验证集上表现优异的模型完全可能是出于“错误的理由”做出正确预测。传统的防御手段（如中心保留交叉验证或协变量分层）高度依赖预先已知的特定混杂变量，无法检测未知的批次效应；而标准的对比学习（如 CLIP）天生倾向于纠缠共享信号与单模态信号，即使是因子化表示学习方法此前也未被系统用作诊断工具。更危险的是，由于表征纠缠，更强大的基础模型与更庞大的训练队列反而会以极高的置信度将伪相关和单模态信号误报为“跨模态共享生物学机制”。

针对多模态表征可靠性与临床可转化性之间的这一断层，本文的核心目标是构建一套通用的事后诊断体系，在不重新训练模型、不访问真实潜变量、不依赖已知混杂标签的前提下，对任意多模态表征的预测源头进行严格解构。核心 idea：提出模型无关的事后诊断框架 DECAT，通过构建五项经置换校准的几何与迁移指标，结合四阶段确定性决策树，将冻结的多模态表征针对特定预测任务逐模态分类为跨模态共享生物学（S1）、伪相关混杂信号（S2）、无任务信号（S3）和单模态特异生物学（S4）四类诊断场景，并在证据不足时主动退回不确定（Indeterminate）。

方法详解¶

整体框架¶

DECAT 面向已在训练队列上冻结的多模态编码器，无需微调或修改模型结构，仅输入其在独立验证队列上提取的逐模态表征向量与任务标签。评估流程由两个阶段与四级决策树构成：首先在无任务监督下评估表征空间的跨模态几何对齐度，随后针对具体预测任务，在保留自然组成的参考队列与施加受控偏移的测试队列之间拟合轻量线性探针，通过置换检验对比观测统计量与零假设分布。

整个诊断决策流程按照严格的时序因果逻辑层层推进：从无任务几何检验（Stage I）、任务信号存在性门控（Stage II）、表征成分信号定位（Stage III，仅针对因子化模型）到跨队列稳定性判别（Stage IV），最终输出诊断类别。其中，跨队列稳定性异常优先触发伪相关判定（S2），有效防止混杂特征被误认为跨模态共享机制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：多模态冻结表征<br/>(H&E切片与RNA测序嵌入)"] --> B["Stage I: 结构几何检验<br/>计算跨模态对齐度 A_norm"]
    B --> C["Stage II: 任务信号门控<br/>线性探针置换检验 p值"]
    C -->|p >= 0.05 且无偏移| D["S3: 无有效预测信号"]
    C -->|p < 0.05| E["Stage III: 信号定位 (因子化模型)<br/>共享与私有探针增益 Δ_shared"]
    E --> F["Stage IV: 跨队列稳定性检验<br/>Wasserstein距离 D_quantile 与迁移度 P_transfer"]
    F -->|D_quantile 超出零假设上界| G["S2: 伪相关混杂信号"]
    F -->|稳定 + 共享主导定位| H["S1: 跨模态共享生物学"]
    F -->|稳定 + 单模态特异定位| I["S4: 单模态特异生物学"]
    F -->|置信度不足或边界冲突| J["∅: 不确定 (Indeterminate)"]

关键设计¶

1. 诊断场景定义与零假设校准指标体系：解耦结构对齐与任务预测信号 现有评估方法往往混淆特征对齐与任务因果，DECAT 首先严格定义了四种互斥的预测场景，并设计了五项针对不同断言维度的置换校准统计量： - S1（共享生物学）：信号跨模态可观测且跨队列稳定迁移，支持跨模态临床部署； - S2（伪相关信号）：信号依赖批次效应或代用特征，虽能迁移但在队列组成偏移下极易失效； - S3（无信号）：表征未编码该任务信息； - S4（单模态特异生物学）：信号为生物学真实存在但仅局限于单一模态，不支持跨模态外推。

为诊断上述场景，框架构建了五项指标： 1. 跨模态共享潜变量一致性 $A_{\text{norm}}$：通过打乱样本跨模态配对构建零假设分布，计算真实配对余弦相似度均值与置换均值的差值： $$A_{\text{norm}} = \mathbb{E}_{i}\left[\cos(z_{c}^{(i,m_{1})}, z_{c}^{(i,m_{2})})\right] - \mathbb{E}_{i\neq j}\left[\cos(z_{c}^{(i,m_{1})}, z_{c}^{(j,m_{2})})\right]$$ 该指标作为 S1 的必要结构守卫，用于检验多模态表征是否学习到患者级的一致对齐。 2. 原型跨模态一致性 $B_{\text{norm}}$：以无监督聚类原型衡量解释的跨模态不变性。 3. 预测信号定位差值 $\Delta_{\text{shared}}$：仅适用于因子化解耦模型。在验证队列上分别训练共享成分探针 $f_c$ 与单模态特异成分探针 $f_m$，定义 $\Delta_{\text{shared}} = \text{AUROC}(f_c) - \text{AUROC}(f_m)$，通过标签置换检验与 Bootstrap 置信区间严格区分 S1 与 S4。 4. 跨队列预测迁移度 $P_{\text{transfer}}$：在队列 $A'$ 与队列 $B$ 上分别独立拟合预测探针，评估其在测试队列 $C$ 上患者排序预测得分的 Spearman 秩相关系数，检验模型对患者相对生物学排序的泛化泛用度。 5. 任务对齐队列稳定性距离 $D_{\text{quantile}}^{\text{task}}$：作为 S2 的核心判别器，将受试样本表征沿任务探针法向量方向投影，并以基准队列 $A'$ 的经验累积分布映射为分位数得分，随后计算队列 $B$ 与队列 $C$ 分位数分布之间的 Wasserstein-1 距离： $$D_{\text{quantile}}^{\text{task}} = W_{1}(Q^{B}, Q^{C})$$ 通过洗牌 $B/C$ 队列标签校准零假设分布上限，只要 $D_{\text{quantile}}^{\text{task}}$ 显著超出置换上界，即说明模型严重依赖受队列组成偏移驱动的混杂轴。

2. 四阶段确定性判别流程与保守避险机制：置换检验与极端队列设计 DECAT 摒弃了人工经验阈值，所有判定均转化为统计置换零假设检验（95% 双侧或单侧分位数区间）和 Bootstrap 置信区间的相交逻辑。在决策逻辑编排上，DECAT 采取“保守避险”的保护性设计原则： - 在 Stage IV 中，优先检查混杂风险（S2）。由于混杂效应既可能污染共享潜变量，也可能伪装成单模态特异表征，因此只要 $D_{\text{quantile}}^{\text{task}} \ge \text{null}_{\text{upper}}$，框架直接拦截并判定为 S2，绝不放行进入 S1 或 S4； - 对于无法明确归属或置信区间横跨零边界的样本，决策树主动将其导向“不确定”（Indeterminate），宁可放弃下结论也不输出错误的跨模态部署建议； - 针对实际临床数据中往往缺乏已知混杂标签的困境，提出了极端队列设计（Extreme-C Pool）：无需获知具体的批次或癌症类型，仅依据任务探针预测得分极端位点（如前 10% 高分患者）或连续标签分位数抽样构造测试队列 $C$。这一设计确保了跨队列迁移测试与任务预测方向对齐，使原本隐藏在均匀分布中的非生物学混杂偏移无所遁形。

3. 纠缠模型与因子化模型的表征诊断权衡：假共享生物学主张风险分析 系统性对比了以 CCA、CLIP 为代表的纠缠型模型（单一共享嵌入）与以 JIVE、DisentangledSSL（DSSL）为代表的因子化模型（显式解耦共享成分 $Z_c$ 与私有成分 $Z_s$）。研究发现，纠缠型模型在机制上存在致命盲区： - 纠缠表征缺乏独立的单模态私有分支，跳过了 Stage III 信号定位，将所有探测到的显著预测信号默认归结为共享结构； - 这导致纠缠模型在真实混杂或单模态私有信号存在时，频繁输出极高置信度的假共享生物学主张（False Shared Claim Rate, FSCR）；并且模型表征能力越强、评估队列规模越大，纠缠模型做出假共享宣称的比例反而越高； - 因子化模型虽然由于施加了额外的 $\Delta_{\text{shared}}$ 定位门槛而略微牺牲了对弱共享信号的敏感度（部分边缘情况返回不确定），但将虚假共享主张率（FSCR）压低至接近 0%，为高风险的转化医学与药物靶点发现提供了关键的安全红线。

实验关键数据¶

主实验¶

在受控合成数据集中（基准测量模式，评估样本量 $N_{\text{eval}}=1000$，信号强度 $\alpha \ge 0.5$），评估纠缠模型与因子化模型在四类基准场景下的严格诊断准确率（Strict，正确分配场景）与保守诊断准确率（Conservative，正确或返回不确定），以及在非共享场景下的假共享宣称率（FSCR）。

模型类别	代表架构	共享生物学 S1 准确率 (Strict / Cons.)	混杂伪相关 S2B 准确率 (Strict / Cons.)	单模态特异 S4 准确率 (Strict / Cons.)	无信号 S3 准确率 (Strict)	假共享宣称率 FSCR (非S1误报为S1)
线性纠缠	CCA	95.8% / 96.2%	34.0% / 78.5%	0.0% / 12.0%	95.5%	24.2%
非线性纠缠	CLIP	97.6% / 98.0%	72.5% / 82.0%	0.0% / 18.5%	96.0%	20.4%
线性因子化	JIVE	92.4% / 94.8%	38.5% / 100.0%	94.2% / 99.5%	94.8%	0.2%
非线性因子化	DSSL (弱解耦 $\beta=0.1$)	82.5% / 91.0%	61.0% / 99.0%	68.0% / 92.5%	95.2%	1.8%
非线性因子化	DSSL (强解耦 $\beta=1.0$)	75.0% / 92.5%	78.0% / 99.8%	86.5% / 98.0%	95.0%	0.0%

消融与实证分析：TCGA 泛癌真实数据集混杂检测¶

在包含 8,979 名 TCGA 患者（涵盖 32 种癌症类型，使用 TITAN H&E 嵌入与 Clinical Transformer RNA 嵌入）的数据集上，针对三项不同混杂程度（$\eta^2$ 表示癌症类型对标签方差的解释度）的真实临床生物标志物，对比标准泛癌 AUROC、极端队列下的 DECAT S2 报警率以及混杂剥离后的癌种内加权 AUROC 崩塌程度。

临床任务标签	混杂强度 $\eta^2$ (癌种解释比)	泛癌线性探针 AUROC (未分层)	癌种内分层 AUROC (真实生物学)	真实性能崩塌值 $\Delta_{\text{AUROC}}$	DECAT S2 混杂检出率 (CLIP, $\alpha=0.5$)	传统 AUROC 预警能力
肿瘤突变负荷 $\log(\text{TMB}+1)$	0.44	0.88	0.64	0.24	100.0% (饱和报警)	假阳性高估 (无预警)
TP53 体细胞突变状态	0.34	0.81	0.75	0.06	96.0%	假阳性高估 (无预警)
诊断时患者年龄 (Age)	0.27	0.74	0.66	0.08	64.0% (随 $\alpha$ 递增)	假阳性高估 (无预警)
单模态 KRAS 突变 (CONCH)	0.38	0.83	0.62	0.21	92.0%	假阳性高估 (无预警)
单模态 KRAS 突变 (UNIv2)	0.38	0.79	0.65	0.14	78.0%	假阳性高估 (无预警)

关键发现¶

AUROC 对批次与癌种混杂存在完全盲区：在 TMB 与 TP53 的预测中，由于不同癌症类型本身的突变发生率天然不同，多模态基础模型只需学会识别“组织切片属于哪种癌症”，即可在测试集上刷出超过 0.85 的极高 AUROC；而当使用 DECAT 时，在偏移强度仅为 $\alpha \approx 0.2$（自然混合比例）时便能准确触发 S2 混杂报警，与事后分层验证的 AUROC 性能骤降高度吻合（Spearman 相关系数 $\rho = 0.81 \sim 0.94, p < 0.001$）。
纠缠模型的“数据与能力陷阱”：在 CLIP 和 CCA 中，FSCR 随着测试样本量从 50 提升到 1000 由接近 0% 激增至 22% 以上。更大的样本量提供了更强的数据统计效力，促使纠缠模型更坚定地把单模态私有信号与混杂关联错判为跨模态共享生物学。
因子化模型提供确定性安全防线：JIVE 与 DSSL 凭借 $\Delta_{\text{shared}}$ 门控机制，在合成数据上将假共享宣称率压制在 0% 附近，在 TCGA 强解耦下压制至 12%，错误归因被安全地转化为不确定提示（Conservative 准确率超过 99%）。

亮点与洞察¶

无监督混杂捕获的极端队列构造：巧妙利用任务预测探针本身的打分分位数构造受偏队列 $C$，使得评估人员在完全不需要人工标注中心批次、仪器型号或临床混杂因素的情况下，即可主动激发隐藏的批次脆弱性。
从单一标量性能到四象限诊断：跳出了传统多模态模型以“AUROC/C-index 涨点”为单一评价标准的思维定势，建立了区分“真共享、伪相关、单模态独有、无信号”的严密诊断范式，填补了模型解释与临床部署安全之间的关键规范空白。
单模态切片基础模型的即插即用迁移：仅保留 Stage II 与 Stage IV，DECAT 即可无缝拓展至纯单模态病理基础模型（如 CONCH、TITAN、UNIv2 等），以极低成本排查基因突变预测中的虚假组织学相关性。

局限与展望¶

早期融合（Early Fusion）架构暂不受支持：DECAT 依赖各模态独立的中间层表征嵌入，对于在编码初期即通过深度跨模态注意力互相交织的端到端融合网络无法直接拆解。
线形探针与代用混杂（Proxy）识别瓶颈：实验显示当伪相关通过与队列主偏移正交的代用特征（Proxy）渗透时，线性稳定性探针的敏感度有所下降（5%~20% 严格检出率），未来需引入非线性流形稳定性测度与多向队列探测技术。
诊断类别不等于因果机制图谱：DECAT 能够给出表征是否具有跨模态生物学支撑的高阶归类，但无法进一步指出具体的分子因果通路或具体由哪一块组织形态结构诱发。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出区分跨模态共享、特异与混杂生物学信号的事后诊断框架与评价基准
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2,500+ 组训练表征的合成数据因果仿真与 8,979 例 TCGA 泛癌双模态临床实测
写作质量: ⭐⭐⭐⭐⭐ 论证极其严密自洽，统计指标定义严谨，附录推导与实验细节详实完整
价值: ⭐⭐⭐⭐⭐ 为多模态基础模型向高可靠生物医学与临床落地转化提供了至关重要的安全评估准绳

临床任务标签	混杂强度 \(\eta^2\) (癌种解释比)	泛癌线性探针 AUROC (未分层)	癌种内分层 AUROC (真实生物学)	真实性能崩塌值 \(\Delta_{\text{AUROC}}\)	DECAT S2 混杂检出率 (CLIP, \(\alpha=0.5\))	传统 AUROC 预警能力
肿瘤突变负荷 \(\log(\text{TMB}+1)\)	0.44	0.88	0.64	0.24	100.0% (饱和报警)	假阳性高估 (无预警)
TP53 体细胞突变状态	0.34	0.81	0.75	0.06	96.0%	假阳性高估 (无预警)
诊断时患者年龄 (Age)	0.27	0.74	0.66	0.08	64.0% (随 \(\alpha\) 递增)	假阳性高估 (无预警)
单模态 KRAS 突变 (CONCH)	0.38	0.83	0.62	0.21	92.0%	假阳性高估 (无预警)
单模态 KRAS 突变 (UNIv2)	0.38	0.79	0.65	0.14	78.0%	假阳性高估 (无预警)