Towards Ultrasound-based Reliable Disease Diagnosis Using Causal Inference¶

会议: AAAI 2026 论文: AAAI 官方页面 · PDF
代码: https://github.com/BoLeiChen/Ceusformer
领域: 医学图像
关键词: 多模态超声、因果推理、后门调整、前门调整、乳腺病灶诊断

一句话总结¶

给定同一病例的一张 B 型超声图像和一段超声造影视频，本文让两路网络在交换形态与灌注信息时，借助参考特征字典和因果调整启发的注意力减轻对偶然关联的依赖，在自建的 486 例乳腺数据集上报告 89.80% 的良恶性分类准确率。

研究背景与动机¶

B 型超声（B-mode ultrasound，BUS）展示病灶形态、边缘和局部回声，超声造影（contrast-enhanced ultrasound，CEUS）视频展示造影剂灌注及随时间变化的微血管表现。医生会把两类信息对照起来，而已有双分支模型通常借助感兴趣区域、亮度曲线或跨模态注意力模仿这种诊断方式。不过，模型关注到某个区域，并不意味着它依赖的是可迁移的病理依据。

本文关注的是有限数据中的特征偏好：明显形态容易被模型利用，细微纹理和微血管变化却可能被忽视；患者构成、标注与采集来源又可能改变特征和标签的关联。作者因此提出把这些偏好放到结构因果模型中处理，而不仅在最终分类分数上修正。核心 idea：在 BUS 与 CEUS 交换信息时，用后门与前门调整启发的字典注意力重新组织传入特征，同时保留时序与局部上下文，以降低模型对偶然关联的依赖。

方法详解¶

整体框架¶

模型希望同时利用病灶的静态形态和造影剂的动态灌注，又减少融合时带入的特征偏好。输入是一张 BUS 图像与同一病例的 CEUS 视频，默认抽取 7 帧：BUS 走 CNN 金字塔，CEUS 走含时间注意力 TA、上下文注意力 CA 的 Transformer，两路在编码过程中通过跨分支交互桥交换表示。

原文图 4 中，Down 将 BUS 特征送入 CEUS 分支，Up 将 CEUS 特征送回 BUS 分支。桥中的后门调整 BACL 或前门调整 FACL 先重新组织待传输的特征，再与接收分支的本地特征拼接。BACL 与 FACL 是两种调整机制，完整模型同时包含它们；不能由此把它们画成必经的串行链，也不能把某一种固定分配给某个方向。

最终 BUS 特征已吸收 CEUS 信息，由分类头预测良恶性；两路另有病灶分割头，训练时接受掩码监督。下图将多层交互展开为一次代表性的 Down/Up 传递，中间阶段是数据流示意，不表示精确层号或循环迭代。实线表示前向数据流，虚线仅表示训练损失的输入。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
  BUS["BUS 单图"] --> CNN["时空特征提取<br/>BUS：CNN"]
  CEUS["CEUS 7 帧"] --> Transformer["时空特征提取<br/>CEUS：TA/CA"]
  CNN --> Down["跨分支交互桥 Down<br/>对齐 + 后门调整 BACL<br/>或前门调整 FACL"]
  Down --> CEUSLater["拼接 CEUS 本地特征<br/>继续 TA/CA 编码"]
  Transformer --> CEUSLater
  CEUSLater --> Up["跨分支交互桥 Up<br/>对齐 + 后门调整 BACL<br/>或前门调整 FACL"]
  Up --> BUSLater["拼接 BUS 本地特征<br/>继续 CNN 编码"]
  CNN --> BUSLater
  BUSLater --> Diagnosis["良恶性分类"]
  BUSLater --> BUSMask["BUS 分割"]
  CEUSLater --> CEUSMask["CEUS 分割"]
  Diagnosis -.-> Loss["仅训练：分类与分割损失"]
  BUSMask -.-> Loss
  CEUSMask -.-> Loss
  Labels["训练标签与真实掩码"] -.-> Loss

关键设计¶

1. 时空特征提取：先让细微线索进入可用表示

两路编码器分工不同。BUS 分支用 \(N\) 个 ResNet 式卷积块形成特征金字塔，随深度增加降低分辨率、增加通道数，保留病灶边缘和局部纹理。CEUS 分支用 \(N\) 个含 TA、CA 和 MLP 的 Transformer 块处理视频。其中 TA 对同一空间 patch 在不同帧上的特征做自注意力：例如比较该位置在造影剂进入前后如何变亮，从而把独立帧组织成灌注变化的表示。

CA 则回答“这个位置与周围组织有什么关系”。它先对 key 做 \(3\times3\) 卷积得到静态上下文，再把编码后的 key 与 query 拼接，用连续两个 \(1\times1\) 卷积生成多头注意力矩阵；该矩阵与 value 相乘得到动态上下文，最后融合静态与动态表示。与只比较孤立 query-key 对的空间注意力相比，CA 在生成权重时就利用了邻域结构，使病灶周边的细微变化能够参与融合。TA 沿时间看变化，CA 在空间中看上下文，两者为后续调整提供互补的特征。

2. 后门调整 BACL：对可显式提取的因素建立字典并加权聚合

BACL 要解决的是：传给另一分支的表示容易被当前病例中最显眼的特征主导，因此先引入一组可参照的因素表示。每个模态分别准备良性、恶性字典，BUS 侧包括形状、边缘、钙化与回声等显著因素，CEUS 侧包括增强类型等因素。图 3 展示了按类别提取、汇聚参考特征的过程；两类字典随后拼接，经全连接投影和 LayerNorm 得到供查询的字典表示。

待传输特征的隐藏表示充当 query，与字典各项计算相似度，softmax 将相似度转为权重，再对映射后的字典特征加权求和。模块把这个聚合结果与当前特征的线性映射相加，经过全连接层和 LayerNorm，输出供交互桥传输的调整后特征。这样，传输内容由“当前病例表示”和“从参考因素中汇总出的表示”共同决定，而不是直接转发原特征。作者采用加性线性近似，是为了避免在输入与因素的联合空间进行昂贵的非线性积分。

其因果动机来自后门调整：若 \(Z\) 是满足后门准则的调整集合，可通过对不同因素取值求平均，阻断 \(X\leftarrow Z\rightarrow Y\) 的混杂影响，将观测条件权重 \(P(z\mid X)\) 换为总体边缘权重 \(P(z)\)：

\[ P(Y\mid do(X))=\sum_z P(Y\mid X,z)P(z). \]

这里需要区分理论目标与实现近似：网络中的注意力权重仍依赖当前 query，因此它是后门调整启发的聚合，并非公式中输入无关的真实 \(P(z)\) 的直接估计。

3. 前门调整 FACL：将当前输入的中介聚合与参考字典聚合分开

对于难以逐项列出的纹理风格和微血管表现，FACL 改为组合两个来源的表示。图 3 上路的中介来自当前待传输特征 \(x\) 本身：线性映射先得到属性表示 \(m\)，再通过自注意力选择、聚合其中的属性，形成输入相关的中介汇总。这里的“候选中介”是当前特征中可被注意力聚合的表示，不是另一套未说明来源的外部样本，也不是人工标注的病灶掩码。

下路查询的是参考字典 \(x'\)：当前特征的另一组投影充当 query，以良恶性隐蔽因素字典提供的参考表示作为 key/value，经过交叉注意力得到参考汇总。正文将相关字典描述为医学预训练模型提取的 BUS 风格纹理与 CEUS 亮度变化表示。它保存的是与隐蔽因素相关的特征，而非逐一测量出的隐变量。上路负责“当前输入中哪些属性值得保留”，下路负责“在参考表示中汇总哪些信息”；两路结果在作者的线性近似下相加，得到 FACL 调整后的传输特征。式 (6) 中 \(g_2\) 对应中介查询，\(g_1\) 对应参考查询，多头注意力实现这些聚合。

这种双重聚合对应前门公式中的两层平均：先考虑当前输入可能产生的中介，再对参考输入分布取平均，以调整中介到输出的关系：

\[ \begin{aligned} P(Y\mid do(X)) &=\sum_m P(m\mid X)\,P(Y\mid do(m)),\\ P(Y\mid do(m)) &=\sum_{x'}P(Y\mid m,x')P(x'). \end{aligned} \]

公式成立需要中介截断输入到输出的所有有向路径、输入到中介不存在未阻断的后门路径，且中介到输出的后门路径能被输入阻断。这些是前门识别的条件；图中的自注意力和交叉注意力给出了计算方式，本身不构成对这些条件的验证。

4. 跨分支交互桥：在融合前调整特征，而不只修正输出

交互桥连接的是 CNN 特征图与 Transformer 表示，首先要解决通道、分辨率和数值尺度不一致的问题。Down 从 BUS 到 CEUS：图 4 将 CNN 特征经过通道变换、平均池化、reshape 和 LayerNorm，转换到可与 CEUS 表示融合的形式；待传输表示接受 BACL 或 FACL 调整后，在 Transformer 侧与本地特征拼接。Up 从 CEUS 到 BUS：Transformer 特征通过 reshape、插值以及通道与归一化操作匹配 CNN 特征图，调整后的表示在 CNN 侧拼接，继续进入卷积计算。桥接设计使用 \(1\times1\) 卷积匹配通道，并以 LayerNorm、BatchNorm 协调两路特征尺度。

两座桥使 BUS 的形态线索进入视频建模，也使 CEUS 的灌注表示在最终分类之前进入 BUS 分支。与只在末端修正类别分数相比，它们改变了后续编码层实际接收的输入。辅助分割进一步提供区域级监督：BUS 接四层 CNN 与上采样解码器，CEUS 输出经 reshape 和一维卷积生成分割预测；真实掩码仅用于训练监督，不是推理输入或 FACL 中介标注。

一个完整示例¶

以一例待判断良恶性的乳腺检查为例，单张 BUS 和抽出的 7 帧 CEUS 都缩放到 \(384\times384\)。BUS 编码器得到一张包含边缘与纹理信息的特征图；CEUS 编码器则为不同位置保留跨帧变化，并结合邻域上下文。下面聚焦一个要经 Up 桥传入 BUS 的 CEUS 特征向量，说明“调整”具体改变什么。

若该处采用 BACL，就用该向量查询 CEUS 显著因素字典。仅为演示加权求和，假设参考池只有两项，softmax 权重为 0.7 和 0.3，那么聚合结果就是第一项映射后特征的 0.7 倍加上第二项的 0.3 倍；这是一个特征向量，不是“70% 恶性”的概率。再把它与当前向量的线性映射相加，投影、归一化，得到要传给 BUS 的新表示。这些权重和字典项数是教学设定，不是论文实验数据。

若改看 FACL，则有两个不同的聚合对象：上路对这段 CEUS 当前特征映射出的属性做自注意力，下路用当前特征查询 CEUS 的隐蔽因素参考字典，再把两个汇总相加。无论考察哪种调整，桥接结果都与 BUS 本地特征拼接，而不是覆盖原有形态表示。良性与恶性字典共同参与查询，测试时无需知道病例真实类别；最终 BUS 分类头使用融合后的表示预测良恶性，两路分割头输出病灶区域。

损失函数 / 训练策略¶

诊断采用二元交叉熵；分割采用交叉熵、Dice、IoU 三种损失，权重为 1:1:1。病例良恶性标签监督分类头，两模态的真实掩码监督分割头。复现交叉验证时，字典应仅由训练折构建或更新，避免验证病例及其标签进入参考池。

实现使用 PyTorch、单张 NVIDIA GeForce RTX 3090、Adam，batch size 为 4，训练 50 epochs，学习率 \(10^{-4}\)；CEUS 嵌入维度 384，注意力头数 8。增强包括水平翻转与旋转。默认 7 帧、\(384\times384\) 输入是参数实验选择的配置；对于单模态实验，作者将同一种模态同时输入两个分支，而不是报告只保留一个分支的性能。

实验关键数据¶

主实验¶

自建 BUS-CEUS 数据集包含 486 名不同患者，其中 237 例良性、249 例恶性，诊断标签来自活检，超声医生提供双模态分割掩码。两模态由 Mindray Resona R9 同步采集，原始图像为 \(550\times582\)；正文称数据来自一家未具名医院。评估采用 4:1 训练/验证划分与五折交叉验证，并提到配对 Student's t 检验（\(p<0.05\)）。

以下原样摘录正文第 2783 页表 3，单位均为 %；不将表中的 ± 自行解释成置信区间。

方法	Acc	Sens	Spec	F1
TSDBN	82.22	80.72	68.42	79.77
DKG	85.31	79.02	72.27	85.03
Huang et al.	82.41	76.76	63.55	81.77
AHAF	84.53±2.72	83.37±1.59	83.90±2.07	79.47±1.93
KAMnet	85.42±2.82	74.19±2.67	89.04±2.83	83.97±2.03
DaST	86.28±2.61	82.79±1.97	79.81±2.73	82.53±1.82
UAC-T	86.33±2.81	81.62±2.49	92.36±3.43	87.28±2.79
本文	89.80±2.58	85.08±1.80	95.83±3.04	89.36±2.00

表内算术比较：相对 UAC-T，本文 Acc 高 3.47、F1 高 2.08 个百分点。但 TSDBN、DKG、Huang et al. 和 DaST 等行的 Acc 高于同一行的 Sens 与 Spec，这与同一混淆矩阵下标准二分类指标的关系不符。跨折汇总方式可能影响该关系，正文未交代足够细节解释差异；此处保留原值，将上述增益视为论文报告值。

单模态证据见同页表 1、2：BUSI 使用 647 张异常乳腺图像，本文 Acc 为 91.6±1.8；SYSU-FLL-CEUS 包含 353 例肝局灶性病变，本文 Acc 为 94.2±1.6。它们是各自数据集内的评估，不是训练于乳腺后直接迁移到肝脏的跨疾病外部验证。

消融实验¶

下表来自表 5。所有配置保留 TA；“基础”使用普通空间注意力，尚未加入 CA。消融未列标准差。

配置	Acc	Sens	Spec	F1
基础：TA	79.25	74.61	84.17	78.83
TA + CA	83.67	78.34	88.83	82.60
TA + CA + B-Down	84.39	79.67	89.01	83.96
TA + CA + B-Down + B-Up	85.03	80.90	90.83	84.79
上述双桥 + FACL	88.37	83.83	94.16	88.40
上述双桥 + BACL	89.07	84.28	94.77	88.96
上述双桥 + BACL + FACL	89.80	85.08	95.83	89.36

关键发现¶

CA 相对基础配置提升 Acc 4.42 个百分点；在 CA 上增加双桥提升 1.36 个百分点。
相对无调整的双桥模型，FACL 单独提升 Acc 3.34、BACL 单独提升 4.04，两者联合提升 4.77 个百分点；联合收益不是两项单独收益相加。
图 5 定性支持 7 帧与 \(384\times384\) 的配置；表 4 报告 63.41M 参数、48.28G FLOPs。这些计算量指标不能代替实测临床延迟。

亮点与洞察¶

将调整放在跨模态传输处，使后续特征提取也能受益，而不只改变末端分数。这是较容易迁移到其他影像融合网络的结构选择。
将显著因素与隐蔽因素分开处理，提供了检查模型信息来源的框架。不过字典注意力有效与因果识别成立，是两个需要分别检验的命题。

局限与展望¶

因果证据边界：分类提升支持这些模块在所测数据上的有效性，但尚不足以证明真实因果识别或临床可靠性。形态、增强等也可能是疾病的结果，将其视为混杂因素是建模假设；还需受控分布偏移、干预数据或识别论证检验因果图、中介条件及字典充分性。
临床验证范围：单中心 486 例数据与随机交叉验证不能替代跨中心验证、概率校准或临床前瞻性评估。
指标表存在内部疑点，需作者提供逐折混淆矩阵、指标实现及不确定性定义，才能可靠解释方法间差距。

阅读与复现边界：本次核对了正文及图 3、图 4，未核验补充材料、代码或数据下载。字典大小、预训练模型、采样与更新规则、逐折隔离方式、完整损失总权重及部分张量变形仍需补充材料或实现确认。这是本笔记的材料边界，不等同于论文缺少这些内容。正文 BACL 段将一组 CEUS 因素称为“inconspicuous”，与前文分类及模块定位不一致，此处保留该措辞歧义。

评分¶

以下为阅读者对论文的主观评价：3 分表示基本充分，4 分表示较强，5 分表示突出；允许半分。写作质量指原论文，价值指研究贡献与潜力，不等同于临床可用性。

新颖性: 4.5/5。将前门、后门调整启发的模块嵌入双向特征交互桥，针对超声融合有明确增量；核心仍是已有因果调整与注意力机制的任务化整合。
实验充分度: 4/5。多数据集、单模态与多模态比较及逐模块消融支持分类收益，但尚未直接验证因果识别，部分指标的内部一致性也影响证据强度。
写作质量: 4/5。双分支图和模块图有助于理解实现，但混杂因素分类、因果公式到网络近似的对应及指标口径仍有歧义。
价值: 4.5/5。中间层调整与跨模态交互的设计值得复现，自建乳腺数据也有研究意义；目前更适合作为方法探索，临床泛化仍待独立验证。