Semantic-Anchored Evidential Fusion for Domain-Robust Whole-Slide Survival Analysis¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/YuchengXing99/SAEFS
领域: 医学图像
关键词: 计算病理学, 全视野数字切片, 生存分析, 证据深度学习, 跨中心域偏移

一句话总结¶

针对计算病理全视野数字切片（WSI）跨中心染色与扫描仪域偏移导致的预后泛化崩溃问题，本文提出了语义锚定证据融合生存框架（SAEFS），通过模板化 VQA 提取域不变病理语义锚点并引导局部视觉特征聚合，结合狄利克雷主观逻辑与谨慎信念融合算子建模模态依赖性与不确定性，在四类零样本外部中心上取得了超越纯视觉与传统多模态方法的卓越泛化与校准表现。

研究背景与动机¶

全视野数字切片（Whole-Slide Images, WSIs）是千兆像素（Gigapixel）级的病理数字化扫描组织图像，蕴含着从细胞形态、组织架构到肿瘤免疫微环境的丰富微观信息。基于多示例学习（Multiple Instance Learning, MIL）的弱监督生存分析已成为计算病理挖掘预后标志物与辅助个体化诊疗的主流范式。然而，现有生存模型绝大多数是在单一中心或混合中心内部进行切分训练与验证，忽视了临床部署中极为严苛的跨中心域偏移（Cross-Center Domain Shift）。在真实多中心场景中，各医疗机构的染色试剂配方、切片制备流程与数字化扫描仪硬件迥异，导致切片像素分布产生显著差异。现有先进 MIL 模型（如 TransMIL）在单一数据源（TCGA）训练后零样本迁移至独立外部中心（如 NLST）时，一致性指数（C-index）通常出现暴跌（降幅达 0.19 左右），严重阻碍了模型的临床转化。

传统应对域偏移的方法主要依赖特征级染色归一化或域自适应（Domain Adaptation）。但染色空间变换无法解决深层组织结构与扫描仪成像畸变，而无监督/无源域自适应（UDA/SFDA）强假设在推理前能够批量访问目标域的无标注数据。而在临床实际工作中，跨中心病理切片通常以离散、异步且高度隐私敏感的形式输入，根本无法提前收集目标域数据进行重新对齐。这种迁移失败的核心矛盾在于特征纠缠：现存纯视觉编码器（即便是经由数十万切片自监督预训练的病理大模型）依然不可避免地将预后生物学形态与源域特有的染色深度、色温曲线等混杂特征深度绑定；实验表明病理基础模型编码的切片来源中心特征甚至强于肿瘤生物学信号。相比之下，人类病理学家的诊断专长之所以能在不同医院自由迁移，是因为病理医生依靠高阶抽象的病理语义概念（如肿瘤分级、坏死程度、基质浸润与异型性等级）进行逻辑推理，而非死记低阶像素统计。然而，人工逐张标注高阶病理语义成本高昂且无法规模化。

本文的切入角度是：能否利用病理专用的视觉问答（VQA）模型自动提取结构化的临床语义锚点，用域不变的高阶概念指引视觉特征提取，从而在完全不接触目标域数据的前提下打破跨中心性能断崖？本文的核心 idea 是：利用模板化闭式 VQA 从切片中自动提取高阶域不变病理语义锚点，构建语义引导与全局视觉的互补双分支，并基于主观逻辑将语义和视觉证据映射为狄利克雷信念分布，采用能够抵御模态相关性过度自信的谨慎信念融合准则（Cautious Belief Fusion）实现可靠零样本生存预测。

方法详解¶

整体框架¶

SAEFS 整体架构包含四个紧密协同的环节：模板化语义锚点生成、双流 WSI 证据提取（包含语义引导分支与 WSI 全局分支）、纯语义文本证据提取、以及基于主观逻辑的谨慎信念融合。给定患者的一张或多张 WSI，系统首先利用离线病理 VQA 针对 12 个临床预后模板问题作答，得到受限且抗幻觉的结构化语义锚点；随后通过视觉语言模型（VLM）文本编码器与切片 Patch 图像编码器分别获取语义表征与视觉特征包。双流视觉分支在特征层面分别提取全局视觉上下文与语义交叉注意力聚合特征，并自适应混叠为切片视觉证据向量；同时文本分支直接投射为语义证据向量；最后，两路证据通过狄利克雷主观逻辑转换为信念与不确定性，并经由谨慎合取规则进行保不确定性的证据熔接，输出离散生存区间的累积风险概率。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：患者全视野数字切片 (WSI)"] --> B["模板化 VQA 语义锚点生成<br/>12个预设临床多选题生成结构化描述"]
    A --> C["WSI Patch 特征提取<br/>基础模型提取 N 个 patch 嵌入"]
    B --> D["语义文本嵌入编码<br/>VLM 文本编码器获得 Q 个锚点向量"]

    C --> E["双流 WSI 证据提取<br/>语义引导局部检索 + 全局注意力池化"]
    D --> E
    D --> F["语义分支证据直接映射<br/>均值池化后 Softplus 投射至 K 区间"]

    E --> G["自适应证据混叠<br/>超参数 λ 调节全局与语义引导视觉证据"]

    G --> H["主观逻辑信念与不确定性转化<br/>狄利克雷分布参数映射至 (b, u)"]
    F --> H

    H --> I["谨慎信念融合<br/>公共度函数最小化，抑制模态共线性过度自信"]
    I --> J["输出：校准生存概率与不确定性量化"]

关键设计¶

1. 模板化闭式 VQA 语义锚点提取：构建域不变高阶语义空间

传统端到端纯视觉模型容易过度拟合源域特定的染色和扫描成像特征，而在多中心分布偏移中，形态语义具有天然的跨中心不变性。直接让大语言模型自由生成报告容易诱发幻觉且文本表述方差极大，因此 SAEFS 采用由 GPT 预先精炼的 $Q=12$ 个临床封闭式单选题（涵盖肿瘤异型性、组织学分级、坏死范围、基质密度与炎症浸润等强预后因素，例如询问“切片中细胞异型性程度？A. 轻度 B. 中度 C. 重度 D. 不可评估”）。给定切片后，病理专用 VQA 模型必须在预设选项中选择，从而生成高紧致度、抗幻觉的结构化语义锚点文本 $T_i = [T_i^1, \dots, T_i^Q]$。通过 VLM 文本编码器将其映射为语义嵌入矩阵 $P_i \in \mathbb{R}^{Q \times D}$。经验证，该语义空间在跨中心分布间的最大均值差异（MMD）相比原始视觉特征大幅下降约 73%，为后续模型提供了极具泛化性的鲁棒特征锚。

2. 互补双流视觉证据提取与自适应混叠：平衡局部病理聚焦与全局全景上下文

若单纯依赖文本语义，将丧失切片中细粒度细胞形态与微观微环境的空间统计量；而若单纯依赖传统 MIL，注意力机制极易被目标域未见过的染色伪影带偏。SAEFS 针对视觉 Patch 特征包 $X = [\mathbf{x}_1, \dots, \mathbf{x}_N]^\top \in \mathbb{R}^{N \times D}$ 构筑双流证据提取机制：一方面，利用每个语义锚点向量 $\mathbf{p}^q$ 作为检索 Query，计算与所有 patch 特征的余弦相似度并实施带温度系数 $\alpha$ 的 Softmax 加权聚合： $$\mathbf{f}_{tg}^q = \sum_{i=1}^N \frac{\exp(\alpha \cdot \text{sim}(\mathbf{p}^q, \mathbf{x}_i))}{\sum_{n=1}^N \exp(\alpha \cdot \text{sim}(\mathbf{p}^q, \mathbf{x}_n))} \mathbf{x}_i$$ 将 $Q$ 个引导特征均值池化后经由线性投影与 Softplus 激活函数映射为非负证据向量 $\mathbf{e}_{tg} \in \mathbb{R}_{\ge 0}^K$。另一方面，保留无条件全局注意力分支提取全切片全局上下文特征 $\mathbf{f}^{wo}$ 并投射为 $\mathbf{e}^{wo} \in \mathbb{R}_{\ge 0}^K$。最终引入混叠系数 $\lambda \in [0, 1]$ 组合两者形成最终切片视觉证据：$\mathbf{e}_{\text{path}} = (1-\lambda)\mathbf{e}^{wo} + \lambda\mathbf{e}_{tg}$，既引导注意力收敛于预后关键区域，又保留了全局拓扑信息。

3. 语义分支独立投射：提供稳健的纯文本预后先验

除了作为视觉检索的锚点，语义锚点集合本身蕴含的病理学逻辑能够直接作为独立模态为预后提供支撑。SAEFS 将 $Q$ 个锚点嵌入均值池化，直接通过可学习投影层 $\mathbf{W}^{\text{text}}$ 与偏置 $\mathbf{b}^{\text{text}}$ 映射为文本证据向量： $$\mathbf{e}^{\text{text}} = \text{Softplus}\left( \mathbf{W}^{\text{text}} \left( \frac{1}{Q} \sum_{q=1}^Q \mathbf{p}^q \right) + \mathbf{b}^{\text{text}} \right) \in \mathbb{R}_{\ge 0}^K$$ 该设计在视觉通道遭遇不可预知的严重扫描失效或严重偏色时，能够为模型提供一份不依赖任何像素计算的域不变后验底线。

4. 谨慎信念融合算子：规避模态共线性导致的过度自信

将提取出的视觉证据 $\mathbf{e}_{\text{path}}$ 与语义证据 $\mathbf{e}^{\text{text}}$ 转换为狄利克雷分布参数 $\boldsymbol{\alpha} = \mathbf{e} + 1$，利用主观逻辑计算每个区间的信念质量 $b_k = e_k / S$ 与认识不确定性 $u = K / S$（其中强度 $S = \sum_{k=1}^K \alpha_k$，满足 $\sum_{k=1}^K b_k + u = 1$）。由于视觉引导流正是由语义文本锚点索引得出，两路信息存在高度内生共线性（Inter-modal Dependency）。若使用传统的 Dempster-Shafer 独立组合规则，会盲目重叠双重证据，导致模型在错误预测时产生极度危险的过度自信（Overconfidence）。为此，SAEFS 引入谨慎合取规则（Cautious Conjunction Rule），在公共度函数（Commonality Function）空间 $q_k = b_k + u$ 进行下界约束： $$q_k^{\text{fused}} = \min(q_k^{\text{path}}, q_k^{\text{text}}), \qquad u^{\text{fused}} = \min(u_{\text{path}}, u_{\text{text}})$$ 恢复未归一化信念质量 $\tilde{b}_k^{\text{fused}} = \max(q_k^{\text{fused}} - u^{\text{fused}}, 0)$ 并按常数 $Z = \sum_j \tilde{b}_j^{\text{fused}} + u^{\text{fused}}$ 归一化。该机制的核心优势在于不确定性保真：只要某一模态出现高度不确定或两模态产生严重冲突，融合结果绝不允许另一模态脆弱的盲目自信主导全局，极大提升了跨域生存决策的审慎性。

损失函数 / 训练策略¶

离散时间生存预测将时间划分为 $K$ 个非重叠区间。记第 $i$ 个样本的离散时间为 $y_i \in \{0, \dots, K-1\}$，删失指示符为 $c_i \in \{0, 1\}$（$c_i=1$ 表示右删失）。根据融合后的狄利克雷参数 $\alpha_k^{\text{fused}} = b_k^{\text{fused}} \cdot \frac{K}{u^{\text{fused}} + \epsilon}$，区间预测概率期望为 $p_k^{(i)} = \alpha_k^{(i)} / S^{(i)}$。总损失由负对数似然生存损失与非真实区间 KL 散度正则项构成： $$\mathcal{L} = \mathcal{L}_{\text{surv}} + \lambda_t \cdot \mathcal{L}_{\text{KL}}$$ 其中生存似然损失联合优化未删失事件区间与删失样本的后续区间累积生存率： $$\mathcal{L}_{\text{surv}} = -\sum_{i=1}^N \left( (1 - c_i) \log p_{y_i}^{(i)} + c_i \log \sum_{k > y_i} p_k^{(i)} \right)$$ KL 正则项 $\mathcal{L}_{\text{KL}} = \sum_{i=1}^N \text{KL}(\text{Dir}(\tilde{\boldsymbol{\alpha}}^{(i)}) \parallel \text{Dir}(\mathbf{1}))$ 仅对剔除真实区间证据后的错误区间参数 $\tilde{\boldsymbol{\alpha}}$ 施加向均匀狄利克雷先验收缩的惩罚，避免虚假证据累积。权重 $\lambda_t = \min(1, t / T_{\text{anneal}})$ 在前 $T_{\text{anneal}}$ 步线性退火，确保模型早期能够充分发掘数据证据。

实验关键数据¶

主实验¶

模型仅在源域 TCGA 上训练（涵盖 LUAD、UCEC、KIRC 三种癌种），并在未接触过的四大外部独立中心数据集（CPTAC-LUAD、CPTAC-UCEC、CPTAC-KIRC 与 NLST-LUAD）上进行跨中心零样本测试。评价指标包含 C-index（越高越好）、积分 Brier 分数（IBS，越低越好）与负二项对数似然（INBLL，越低越好）。

方法	类型	CPTAC-LUAD (C↑ / IBS↓)	CPTAC-UCEC (C↑ / IBS↓)	CPTAC-KIRC (C↑ / IBS↓)	NLST-LUAD (C↑ / IBS↓)	平均 C-index ↑	平均 IBS ↓	平均 INBLL ↓
ABMIL	单模态视觉	0.464 / 0.702	0.534 / 0.685	0.600 / 0.814	0.535 / 0.706	0.533	0.727	2.617
TransMIL	单模态视觉	0.500 / 0.946	0.636 / 0.833	0.622 / 0.868	0.516 / 0.908	0.568	0.889	5.136
DSMIL	单模态视觉	0.469 / 0.613	0.607 / 0.662	0.637 / 0.772	0.534 / 0.525	0.562	0.643	1.920
ILRA	单模态视觉	0.519 / 0.974	0.638 / 0.877	0.616 / 0.904	0.596 / 0.865	0.593	0.905	6.567
OTSurv	单模态视觉	0.529 / 0.570	0.612 / 0.702	0.652 / 0.724	0.644 / 0.523	0.609	0.630	1.721
MCAT	多模态拼接	0.440 / 0.286	0.602 / 0.214	0.591 / 0.217	0.460 / 0.266	0.523	0.246	0.828
SurvPath	多模态拼接	0.426 / 0.289	0.572 / 0.220	0.627 / 0.213	0.431 / 0.279	0.514	0.250	0.836
PS3	多模态拼接	0.455 / 0.287	0.666 / 0.218	0.596 / 0.229	0.529 / 0.254	0.562	0.247	0.993
SAEFS (本文)	双流证据融合	0.663 / 0.376	0.682 / 0.270	0.677 / 0.272	0.662 / 0.278	0.671	0.299	0.755

消融实验¶

在四大外部数据集上的平均跨中心零样本消融结果（以完整 SAEFS 模型为基准，$\Delta$ 表示变化量）：

编号	实验配置	C-index ↑ ($\Delta$)	IBS ↓ ($\Delta$)	INBLL ↓ ($\Delta$)	说明
A1	移除语义引导分支 (纯 WSI 全局, $\lambda=0$)	0.5980 (-0.0860)	0.2933 (-0.0098)	0.7452 (-0.0196)	失去高阶语义指引后跨域判别力显著下降
A2	移除全局视觉分支 (纯语义引导视觉, $\lambda=1$)	0.6408 (-0.0432)	0.2964 (-0.0067)	0.7490 (-0.0158)	证实全局形态上下文依然具备必要互补价值
A3	纯文本语义分支 (Text-only)	0.5327 (-0.1513)	0.3769 (+0.0738)	0.9417 (+0.1769)	语义虽域稳定但缺乏像素级微观证据支撑
A4	简单特征拼接融合 (Concatenation)	0.5310 (-0.1530)	0.2119 (-0.0912)	0.7551 (-0.0098)	盲目重叠信息引发过度自信且判别力骤降
A5	传统 Dempster 组合规则	0.5758 (-0.1082)	0.3113 (+0.0082)	0.7824 (+0.0176)	独立性假设被违背导致跨域融合性能受损
Full	SAEFS 完整模型	0.6840 (—)	0.3031 (—)	0.7648 (—)	兼顾判别力与不确定性校准的最优平衡

关键发现¶

高偏移场景下收益最显著：在域偏移最为剧烈的 CPTAC-LUAD 数据集上，所有纯视觉 baseline 的 C-index 均不超过 0.529，而 SAEFS 一举跃升至 0.663（相对最佳基线提升 +0.134），表明高阶语义锚点在极端染色/扫描仪差异下具备极强破局能力。
谨慎融合对相关证据至关重要：A4（特征拼接）虽然在表面上给出了极低的 IBS（0.2119），但其 C-index 仅有 0.5310，校准曲线严重偏离对角线，暴露出朴素融合将相关信号当作双重独立证据导致的虚假过度自信；谨慎合取规则通过取下界有效保留了认识不确定性。
参数极其轻量：SAEFS 可训练模块仅有 27 万参数（270K），对比 TransMIL（2.41M）与 MCAT（2.74M）缩减近 90%；VQA 语义锚点可离线预先缓存，不增加训练与推理阶段的显存压力。

亮点与洞察¶

从低阶像素向高阶病理语义的范式转移：通过 MMD 定量分析首次揭示，即使是当前顶级病理基础模型提取的 WSI 图像特征，其跨中心分布差异依然十分剧烈（MMD=0.1988），而通过模板化 VQA 问询得到的高阶语义特征 MMD 仅为 0.0532（下降 73%），切中人类专家能跨院看病的根本逻辑。
谨慎信念融合破除模态共线性诅咒：首次指出了在视觉语言联合病理表征中直接套用 Dempster-Shafer 规则的理论缺陷，使用谨慎合取规则在公共度空间进行保守熔接，确保模型在面临未知域的不协调输入时保持审慎与高校准度。
免目标域访问的即插即用泛化架构：无需无监督自适应（UDA）对目标中心切片进行耗时重新校准，模型一次训练后即可零样本对任意单切片流式预测，高度契合真实临床应用流。

局限与展望¶

作者指出的局限：目前语义问题数量固定为 12 个闭式模板，虽然保障了抗幻觉和语义紧凑性，但在面对罕见病理变异亚型或非常规浸润模式时表达粒度仍然受限；未来可考虑开放式 VLM 动态追问。
潜在评估局限：当前预后任务集中在肺腺癌、子宫内膜癌与肾透明细胞癌三类癌种，尚缺乏对组织异质性更为复杂的肉瘤或淋巴瘤等病种的泛化验证。
可探索方向：探索具备语义级不确定性输出的 VLM，将 VQA 问答置信度直接联动至主观逻辑先验，构建端到端全链路可信病理决策系统。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性论证了病理跨中心偏移的语义不变性，并创新性引入谨慎信念融合解决共线性证据量化难题。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖三大癌种、四大独立外部中心零样本验证，包含 MMD 分布散度、KM 风险分层与校准曲线深度评估。
写作质量: ⭐⭐⭐⭐⭐ 问题阐述切中痛点，数学推导严密自洽，消融实验设计靶向性极强。
价值: ⭐⭐⭐⭐⭐ 对计算病理模型脱离玩具数据集迈向多中心真实临床落地提供了重要技术范式。

编号	实验配置	C-index ↑ (\(\Delta\))	IBS ↓ (\(\Delta\))	INBLL ↓ (\(\Delta\))	说明
A1	移除语义引导分支 (纯 WSI 全局, \(\lambda=0\))	0.5980 (-0.0860)	0.2933 (-0.0098)	0.7452 (-0.0196)	失去高阶语义指引后跨域判别力显著下降
A2	移除全局视觉分支 (纯语义引导视觉, \(\lambda=1\))	0.6408 (-0.0432)	0.2964 (-0.0067)	0.7490 (-0.0158)	证实全局形态上下文依然具备必要互补价值
A3	纯文本语义分支 (Text-only)	0.5327 (-0.1513)	0.3769 (+0.0738)	0.9417 (+0.1769)	语义虽域稳定但缺乏像素级微观证据支撑
A4	简单特征拼接融合 (Concatenation)	0.5310 (-0.1530)	0.2119 (-0.0912)	0.7551 (-0.0098)	盲目重叠信息引发过度自信且判别力骤降
A5	传统 Dempster 组合规则	0.5758 (-0.1082)	0.3113 (+0.0082)	0.7824 (+0.0176)	独立性假设被违背导致跨域融合性能受损
Full	SAEFS 完整模型	0.6840 (—)	0.3031 (—)	0.7648 (—)	兼顾判别力与不确定性校准的最优平衡