Decoding Multimodal Causality: End-to-End Multimodal Mediation Pathways Inference¶

会议: ECCV2026
官方论文: 3479
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/1616.pdf
领域: 医学图像
关键词: 因果中介分析、多模态学习、概率因果图、路径稳定性、不确定性量化

一句话总结¶

MM-SIGMA 不先固定一张因果图，而是在多模态潜空间中学习候选图集合、筛选稳定中介路径并聚合效应及方差，在论文的端到端合成评测中取得 0.74 的路径恢复率与 0.94 的名义 95% 区间覆盖率，但临床路径仍是依赖识别假设的观察性发现。

研究背景与动机¶

医学多模态预测通常回答“哪些信息有助于预测风险”，因果中介分析则进一步问“暴露通过什么机制改变结局”。例如，睡眠指标、眼底血管表型、体脂和心血管指标来自不同生理系统，即使联合输入能够提高预测精度，也不能据此断定它们构成有方向的中介链。传统中介分析常预先指定路径，再估计直接与间接效应；这在研究者尚不知道哪些跨系统连接值得检验时限制很大。

直接把影像特征拼到表格变量后也不够。普通编码器可能保留重建信息，却丢失中介分析所需的条件依赖关系；结构学习如果只输出一张最优图，又会把不确定的边当成已知事实。随后得到的窄置信区间可能只是忽略了图的不确定性，而不是证据更充分。本文试图把表示、结构、路径筛选和效应估计接起来，主要应用是含眼底影像的 HPP 医学多模态分析。

核心 idea：用保留变量对应关系的潜表示学习一组可能的因果图，只分析在图集合中稳定出现的完整路径，并把同一图内的估计误差与不同图之间的效应分歧一起纳入最终不确定性。

方法详解¶

整体框架¶

输入包括暴露、结局、候选中介、混杂协变量，以及表格和影像两类观测。MM-SIGMA 依次经过因果约束表示、概率结构发现、路径稳定性筛选、效应估计与聚合，输出候选跨模态路径及其效应和区间；它不是直接从图像生成临床因果结论的预测网络。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["表格、影像与<br/>暴露及结局"] --> B["因果约束表示"]
    B --> C["概率结构发现"]
    C --> D["路径稳定性筛选"]
    D --> E["效应估计与聚合"]
    E --> F["候选中介路径<br/>效应与区间"]

分析首先需要明确目标量。自然直接效应比较暴露改变前后、但把中介保持在参考暴露状态时的结局差异；自然间接效应则固定结局模型中的暴露，通过改变中介分布衡量传递效应。将结构化中介与影像中介合记为 \(M\)，论文的自然间接效应定义可紧凑写成：

\[ \mathrm{CM\!\!\!-NIE}(a,a^*)=\mathbb{E}\left[Y(a,M(a))-Y(a,M(a^*))\right]. \]

这里 \(a\) 是目标暴露水平，\(a^*\) 是参考水平，\(M(a)\) 表示相应暴露下的潜在中介。能计算模型中的反事实差异，不代表该差异自动具有因果含义：论文的识别条件包括一致性、可忽略性、正值性，以及影像潜表示对相关结局信息的充分性。结构发现还依赖因果 Markov 与忠实性假设。这些条件是方法成立的前提，而非训练完成后自然获得的性质。

关键设计¶

1. 因果约束表示：尽量不在压缩中混淆变量身份与依赖关系

每个结构化变量使用独立编码器，而不是先把整张表压成一个不可解释向量；影像由 CNN 编码。这样，某个结构化潜变量仍对应原来的睡眠或体脂指标，图中边才有可追溯的对象。影像端只能解释为编码器捕获的相关特征，不能唯一逆推出原图，更不能把一个影像潜节点直接解释成确定的像素级病理机制。

训练除了重建与 KL 项，还加入跨模态互信息对齐以及条件独立约束。后者惩罚指定变量三元组的经验条件互信息，使潜空间尽量保留应有的条件独立关系。三元组来自既有生物医学知识和留出集上的核条件独立检验；原文使用 Bonferroni 校正后 \(p>0.1\) 的筛选规则。关键限制是，未拒绝依赖缺失并不等于证明独立；论文的完整结构保留结论还要求这些约束构成真实图的充分分离集合，不能把该条件省略。

2. 概率结构发现：保留多张可能的图，而不是过早锁定结构

Flow-SEM 为每个潜变量建立由父节点决定均值和噪声尺度的条件模型，并使用独立高斯噪声。训练同时考虑数据似然、连续无环约束和稀疏惩罚，因此不只是学习对称相似度，而是搜索具有方向且无环的依赖结构。连续边权再经 sigmoid 转成边纳入分数，据此进行 Bernoulli 采样，并通过贪心去环得到候选有向无环图（DAG）。

保留图集合的意义在于，某条临床路径可能在一部分合理结构中存在、在另一部分中消失，不能只展示最优图便掩盖这种分歧。另一方面，边分数是变分近似，去环还会改变采样分布，并不等同于精确贝叶斯后验。论文给出了带模型可识别性、入度约束等条件的一致性论述；有限样本下的方向确定性仍需由实验检验，不能仅凭“概率图”称谓得到保证。

3. 路径稳定性筛选：检验整条链是否共同成立

方法在有效 DAG 中枚举暴露到结局的简单有向路径，再计算跨模态路径稳定性分数 CM-PSS。其含义是：在有效候选图中，有多少比例同时包含这条路径的全部边，而不是把若干高置信边单独拿出来拼接。按原文有效图归一化的含义，可写为：

\[ \mathrm{CM\!\!\!-PSS}(\pi)=\frac{1}{N_{\mathrm{valid}}}\sum_{G\in\mathcal{G}_{\mathrm{valid}}}\mathbf{1}\{\pi\subseteq G\}. \]

其中 \(\mathcal{G}_{\mathrm{valid}}\) 是有效候选图集合，\(N_{\mathrm{valid}}\) 是其大小。达到阈值 \(\tau\) 的路径才被保留，再通过编码器对应关系映射回原变量。这个分数度量的是给定模型及候选图分布下的路径稳定性，不是效应大小、临床可信概率，也不能直接当作频率学意义的错误发现率控制。

4. 效应估计与聚合：分清估计对象，再合并图内与图间误差

对于支持同一路径的每张图，方法利用相应父节点集合拟合暴露倾向、中介分布和结局回归，以交叉拟合减少同一数据既训练又评估带来的偏差。暴露—单中介—结局的三节点路径使用扩展有效影响函数（EIF）估计自然效应；更长路径则改用插件估计，并转向干预型间接效应，以避免不断叠加跨世界独立假设。因此，长路径中虽然仍沿用 CM-NIE 名称，估计对象并不与单中介自然间接效应完全相同。

最终使用支持图上的等权模型平均。点估计是各图效应的平均，方差则保留每张图内部的估计不确定性，并加上不同图点估计的离散程度：

\[ \widehat V_{\mathrm{total}}=\widehat V_{\mathrm{within}}+\widehat V_{\mathrm{between}}. \]

第一项为各支持图估计方差的均值，第二项为各图效应相对聚合均值的平方偏差均值，随后用正态近似构造区间。这里的 BMA 实际采用等权聚合，并未逐图计算边际似然。显式公式覆盖的是图内估计与图间差异；不能仅凭“端到端”名称认定表示学习、路径选择等所有有限样本误差都已得到精确校准。

损失函数 / 训练策略¶

表示学习组合重建、KL、因果约束和跨模态对齐；结构学习组合负对数似然、无环性和稀疏性。原文在表示目标中混用对数似然与“loss”命名，符号方向不够清楚，复现时需核对具体优化约定，本笔记不把有歧义的总目标抄成可直接执行的最小化公式。

合成数据通过旋转、亮度、对比度、噪声和标签关联把结构化变量嵌入图像，并构造并行、串行和混合路径。实验对每种配置生成 10 个独立数据集，报告 50 次 Monte Carlo 重复；超参数用网格搜索和 5 折交叉验证选择。基线共享多模态编码器输入层，但这不代表所有方法内部表示与完整训练流程完全相同。

实验关键数据¶

主实验¶

结构发现指标包括邻接 F1、方向 F1 与跨模态边 F1，均越高越好。路径恢复率 PR 定义为“被恢复的真实路径数 / 真实路径总数”，不直接惩罚额外假阳性路径。偏差越低越好；95% 区间覆盖率应接近 0.95，而不是越高越好。下表分别取原文表 2 的结构评测与表 5 的端到端中介评测，不把它们当作同一项任务。

评测设置	指标与方向	MM-SIGMA	对比方法	对比值
合成结构发现，表 2	邻接 F1 ↑	0.487 ± 0.028	MM-DECI	0.412 ± 0.035
合成结构发现，表 2	方向 F1 ↑	0.421 ± 0.032	MM-DECI	0.348 ± 0.039
合成结构发现，表 2	跨模态边 F1 ↑	0.398 ± 0.035	MM-DECI	0.315 ± 0.048
端到端中介评测，表 5	路径恢复率 ↑	0.74 ± 0.04	MM-DECI+EIF	0.64 ± 0.05
端到端中介评测，表 5	NDE 偏差 ↓	0.012 ± 0.008	MM-DECI+EIF	0.039 ± 0.019
端到端中介评测，表 5	NIE 偏差 ↓	0.015 ± 0.009	MM-DECI+EIF	0.037 ± 0.020
端到端中介评测，表 5	95% 区间覆盖率，接近 0.95	0.94 ± 0.02	MM-DECI+EIF	0.90 ± 0.03

跨模态边 F1 绝对提高 0.083，端到端路径恢复率提高 0.10，即 10 个百分点。原文保留的“±”项在可读表注中没有清晰统一说明其统计含义，因此这里按原样报告，不擅自标成标准差或置信区间半宽。

HPP 提供真实医学观察数据：睡眠监测涉及 6,366 名成人、16,812 个夜晚，眼底影像来自 8,467 人；这些是不同模态的采集规模，不等于最终完整配对分析样本量。分析控制年龄、性别、BMI 和吸烟状态，缺失值使用 MICE 处理。已知“睡眠 HRV→PWV→颈动脉 IMT”路径报告 NDE 为 −0.089 ± 0.028、NIE 为 −0.156 ± 0.034；候选“视网膜特征→体脂→血压→IMT”路径的间接效应为 −0.067 ± 0.022。效应正负依赖暴露和结局编码，这些观察性估计不能直接解释成治疗获益。

消融实验¶

以下均来自表 5，默认阈值为 \(\tau=0.5\)。恢复率、NIE 偏差与区间覆盖率分别对应“找回多少真实路径”“效应是否准确”和“不确定性是否校准”。

配置	路径恢复率 ↑	NIE 偏差 ↓	95% 区间覆盖率，接近 0.95
完整模型	0.74 ± 0.04	0.015 ± 0.009	0.94 ± 0.02
去掉因果约束	0.61 ± 0.06	0.034 ± 0.015	0.90 ± 0.03
去掉跨模态对齐	0.65 ± 0.05	0.029 ± 0.013	0.91 ± 0.03
去掉 BMA	0.71 ± 0.05	0.021 ± 0.011	0.87 ± 0.04
阈值 0.3	0.79 ± 0.05	0.027 ± 0.012	0.91 ± 0.03
阈值 0.7	0.68 ± 0.05	0.018 ± 0.010	0.93 ± 0.02

关键发现¶

去掉因果约束，恢复率从 0.74 降到 0.61，减少 13 个百分点；去掉 BMA，覆盖率从 0.94 降到 0.87，减少 7 个百分点。两者分别更直接影响路径保留与区间校准。
把阈值降到 0.3 能提高恢复率，却同时增加 NIE 偏差。只看恢复率会偏好更宽松的筛选，必须结合偏差和覆盖率理解。
原文表 3 的中样本恢复率是 0.487，大样本为 0.512，强噪声为 0.412。这是另一组条件分析，不能与表 5 的 0.74 直接合并或当作自相矛盾的数据。

亮点与洞察¶

路径作为不确定性单位比单边更贴近中介分析。每条边各自稳定，并不能保证整条链在同一候选图中共同成立。
方法将“是否找到机制”和“效应区间是否可靠”分开评测。BMA 消融表明，路径恢复尚可时，忽略结构分歧仍可能明显损害覆盖率。
逐变量编码让结构化端的解释有明确对象。影像端则主动保留“相关特征摘要”的解释边界，避免把潜变量对应关系误说成图像因果机制的唯一恢复。

局限与展望¶

识别依赖不可由观察数据完全验证的可忽略性、潜表示充分性等条件。临床关联文献可以提供动机，但不能证明这些条件或发现的路径成立。
更长路径改变了间接效应的估计对象，且使用插件估计。复现和应用必须分别说明自然效应与干预型效应，不能只保留同一个 CM-NIE 标签。
候选图使用近似采样和贪心去环，最终采用等权平均；95% 区间的实际覆盖率仍为 0.94。论文也指出支持某路径的图过少时，图间方差可能低估。
合成影像使用受控变换，HPP 又缺少可观测的真实因果图，因而不能证明真实高维影像机制已被恢复。最终配对样本数、完整超参数及部分表格误差项的定义还需更清晰报告。

评分¶

新颖性: 4/5。把多模态路径发现和效应不确定性组织为统一框架，创新更多体现在组合与问题定义。
实验充分度: 3/5。具有结构、效应和消融评测，但真实数据无法提供因果真值，报告细节仍有缺口。
写作质量: 3/5。流程清楚，但自然与干预型效应的命名、目标符号及统计误差说明需要更严谨。
价值: 4/5。对含影像的观察性机制分析有方法参考价值，尚不构成经过临床验证的因果决策工具。