SPARC: Scalable Path-Specific Counterfactual Fairness via Causal Conditional Independence¶
会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/CASE-Lab-UMD/SPARC
领域: 因果推理 / 医学图像
关键词: 路径特定反事实公平性、条件互信息、对抗掩码、数据效用、医学影像公平性
一句话总结¶
SPARC 将高维输入上的路径特定反事实公平性转化为标签条件下的敏感属性独立性目标,以互信息预训练保留诊断信息、以条件对抗掩码抑制不公平路径,在三个医学数据集上改善公平性,但相对无约束模型仍存在预测性能代价。
研究背景与动机¶
医学影像中的敏感信息并不只存在于患者资料栏中,模型也能从图像形态和相关模式推断性别等属性。 因此,删去显式敏感字段并不能阻止模型利用这些线索作出诊断。 反过来,要求图像表示完全不含敏感信息也可能过度纠偏,因为某些人口属性与真实疾病风险有关。 例如,当属性通过疾病状态影响影像时,消除这条通路可能同时损害诊断所需的信息。 公平学习需要区分“借敏感线索走捷径”和“识别真实疾病表现”,而不只是让不同群体的输出频率相同。
路径特定反事实公平性(Path-Specific Counterfactual Fairness,PSCF)用因果图表达这种区别:保留被认定为合理的影响,只消除被认定为不公平的路径。 传统实现需要估计潜在结果概率,进而依赖高维条件分布;当输入是胸片而非少数表格变量时,可靠估计这些分布非常困难。 普通对抗去偏和 Group-DRO 可以降低群体差异,但其目标本身不显式区分敏感属性到预测的不同因果路径。 本文因而不是再设计一个疾病分类骨干,而是寻找一个能在影像上训练的 PSCF 充分条件。
作者选择在固定真实标签之后消除敏感属性与输入的额外依赖,再用判别式对抗训练逼近这一条件。 这仍然需要接受论文对因果结构以及公平路径的设定,并不意味着从观察数据自动发现了哪些影响在伦理上合理。 核心 idea:把难以计算的路径特定反事实效应,替换为“给定疾病标签后,处理过的图像不再提供额外敏感信息”的条件独立目标,同时显式保护诊断效用。
方法详解¶
整体框架¶
训练数据包含图像 \(X\)、真实任务标签 \(Y\) 和敏感属性 \(S\),模型输出诊断预测 \(\hat{Y}\)。 生成器 \(g\) 根据图像产生加性掩码,得到 \(\tilde{X}=X\oplus g(X)\);这里的 \(\oplus\) 是带上下界约束的迭代加法,不是异或,也不是简单的二值裁剪区域。 嵌入网络 \(f_\theta\) 将处理后的图像编码为 \(E\),下游头 \(f_h\) 再将其用于预测。 整体依次包含路径约束转化、互信息预训练、条件对抗掩码三个设计,其中第一项提供目标,后两项实现训练。 预训练保护输入与表示之间的信息联系;随后固定预测网络,学习尽量不破坏其任务能力的公平掩码。 真实标签和敏感属性参与训练监督,部署预测并不需要判别器或真实诊断标签。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
Data["图像、标签<br/>敏感属性与因果图"] --> Causal["路径约束转化"]
Causal --> Utility["互信息预训练"]
Utility -->|固定嵌入网络与预测头| Mask["条件对抗掩码"]
Data -->|训练时提供标签与敏感监督| Mask
Mask --> Deploy["部署:生成掩码<br/>编码并预测"]
关键设计¶
1. 路径约束转化:只阻断绕过疾病标签的敏感影响
论文把 \(S\to X\to\hat{Y}\) 视为不公平路径,把 \(S\to Y\to X\to\hat{Y}\) 视为应保留的间接路径。 这里的“直接效应”是相对于疾病标签 \(Y\) 而言的路径特定效应,并不是说因果图中必须存在一条 \(S\to\hat{Y}\) 的单独边。 如果改变属性导致疾病状态改变,疾病再改变影像,这部分信息可以继续用于预测;如果疾病固定后仅凭人口属性线索改变预测,则属于目标中要消除的影响。 第 6 页的定理 1 声称,在所采用的因果设定中,给定标签后输入与敏感属性条件独立,足以使直接效应为零。 把定理中的输入换成模型实际接收的处理后图像,可以将训练目标理解为:
这个目标约束的是同一标签层内的额外敏感信息,而不是要求 \(S\) 与 \(Y\) 本身无关。 因此,即使模型达到了这一理想条件,不同敏感群体仍可能因为疾病分布不同而具有不同的总体阳性预测率。 定理给出的是充分条件,不能反向理解为所有公平预测器都必须消除输入中的全部标签条件敏感信息。 这一条件也可能比只约束最终预测更强:分类器不使用某项敏感信息,并不意味着图像中已经没有它。 缓存未包含附录 A 的证明,正文还明确简化了外生因素,因此笔记不把该命题推广为任意含未观测混杂结构下的结论。
2. 互信息预训练:先让表示保留处理后图像的有效信息
如果只要求敏感属性不可识别,生成器可以把图像破坏到无法诊断,获得形式上容易的去偏结果。 SPARC 先引入数据效用预训练,让编码器在接收掩码图像后仍保留丰富的输入信息。 具体做法是使用 Jensen-Shannon(JSD)互信息估计器,区分真实配对的图像与嵌入,以及通过打乱嵌入构造的负配对。 真实配对来自同一个输入,负配对则将某幅图像与其他样本的表示组合,从而提供可训练的依赖性信号。 编码器和估计器共同最大化这个 JSD 目标,不需要显式拟合完整图像概率密度。
作者将此解释为保护合理间接路径中的任务信息,使表示可以通过下游头适配不同疾病任务。 但输入与表示互信息较高,本身并不等价于已经识别出所有因果上合理的诊断因素;它首先是数据效用代理目标。 所以后续掩码训练仍需要任务保持项,不能只靠预训练就保证准确率不下降。 第 10 页还描述了从肺炎分类预训练出发、微调下游头到八个其他诊断任务的效用评估。 图 3 的逐任务数值未被文本缓存可靠提取,因而不把它们补成精确结果表。
3. 条件对抗掩码:在标签已知时压制额外敏感信息
预训练之后,条件判别器 \(d_Y\) 接收处理后的图像和真实标签,尝试预测敏感属性。 生成器与其交替训练:判别器学习更准确地识别属性,生成器学习修改图像,使这种识别更困难。 关键在于判别器知道 \(Y\),因此对抗目标针对的是疾病标签之外仍由图像泄露的敏感信息。 如果判别器不接收标签,生成器可能为了隐藏属性而连同合理的疾病相关信息一起抹掉。 这正是本文与不区分路径的敏感属性去除目标的主要差别。
生成器目标还包含敏感预测的熵正则项,以避免仅把属性预测简单翻转,以及保护原模型任务准确率的效用项。 权重 \(\alpha\) 控制熵正则,\(\beta\) 控制诊断性能与去偏之间的取舍;掩码强度 \(\eta\) 则限制输入修改程度。 需要注意,条件独立并不要求判别器在所有情况下只能随机猜测:如果 \(Y\) 与 \(S\) 相关,仅凭标签仍可能预测属性。 更准确的目标是图像在标签之外不再增加预测敏感属性的能力,而不是机械追求固定的随机准确率。 有限容量判别器被欺骗也不等于所有敏感信息都已被消除,因此实际训练只能近似这一理想目标。
一个完整示例¶
以同为肺炎阳性的两幅胸片为例,它们可以具有不同的人口属性相关外观。 路径划分要求保留真正支持肺炎诊断的影像信息,同时抑制绕过肺炎状态影响预测的属性线索。 训练时,生成器先为每幅图像产生有界加性掩码,再将修改后的图像送入编码器和诊断头。 条件判别器同时得到肺炎标签和修改后的图像,检查后者还能否提供额外的属性识别依据。 如果它仍能利用这些依据,生成器继续调整掩码;如果调整破坏肺炎预测,任务保持项会对这种更新施加约束。 互信息预训练提供的表示承载能力与这里的任务约束相互补充,而不是两份重复的公平损失。 部署时只有新胸片经过生成器、编码器和诊断头,不把真实肺炎标签输入预测流程。 这个例子说明的是机制,并不是论文额外报告的一项配对患者实验,也不意味着可以仅靠热图认定某处组织必然属于偏差。
损失函数 / 训练策略¶
正文式 (9)、(12) 至 (14) 的文本抽取缺失了部分运算符和项名,无法据此可靠重建作者精确的训练损失。 因此这里只保留可由相邻段落确认的优化角色,不补写一个看似完整但未经核对的公式。 JSD 预训练联合优化编码器和互信息估计器;图 2 说明部署用编码器与预测头在预训练后固定。 公平优化阶段交替更新生成器和条件判别器,判别器更新时将 \(\alpha\) 与 \(\beta\) 设为零。 正文给出的后续实验设置包括 \(\eta=0.2\) 和 \(\alpha=1\),但不同消融表的结果不能据此当作完全相同配置。 模型实现用判别学习绕开高维密度估计,不需要为每幅图像显式生成两个反事实世界并计算潜在结果概率。 第 6 页定理 2 进一步指出,输入层的条件独立足以得到预测层的 Equalized Odds。 这使输出公平指标成为有用的监测量,但输出指标很小不能反向证明输入条件独立或直接效应已经归零。
实验关键数据¶
主实验¶
表 1(第 11 页)在 MIMIC-CXR、CheXpert 和 TCGA-LUAD 上比较统一的 ResNet50 模型,下面保留 Vanilla、Group-DRO 与 SPARC。 主实验使用性别作为敏感属性,表 3 另测以 60 岁为界的二值年龄属性。 ACC 和 AUC 以百分数报告;EOp 是两群体真实阳性率的绝对差,DP 是两群体阳性预测率的绝对差。 本文的 EOd 不是常见的最大 TPR/FPR 差,而采用信息论定义:
表头中的 \(10^{-2}\)、\(10^{-3}\) 是原表缩放单位,所有公平指标越小越好;“±”按原表保留,缓存正文未说明其统计含义或重复次数。
| 数据集 | 方法 | ACC (%) ↑ | AUC (%) ↑ | EOp (\(10^{-2}\)) ↓ | EOd (\(10^{-3}\)) ↓ | DP (\(10^{-2}\)) ↓ |
|---|---|---|---|---|---|---|
| MIMIC-CXR | Vanilla | 85.46 ±0.49 | 63.85 ±0.28 | 5.10 ±0.13 | 10.59 ±0.23 | 6.31 ±0.14 |
| MIMIC-CXR | Group-DRO | 83.20 ±0.39 | 61.45 ±0.27 | 2.90 ±0.08 | 4.40 ±0.13 | 3.62 ±0.09 |
| MIMIC-CXR | SPARC | 84.26 ±0.38 | 62.10 ±0.30 | 2.02 ±0.09 | 2.25 ±0.10 | 3.53 ±0.08 |
| CheXpert | Vanilla | 85.87 ±0.47 | 65.93 ±0.31 | 5.05 ±0.10 | 11.18 ±0.26 | 8.86 ±0.16 |
| CheXpert | Group-DRO | 83.55 ±0.36 | 62.80 ±0.29 | 1.92 ±0.07 | 3.07 ±0.15 | 2.36 ±0.08 |
| CheXpert | SPARC | 85.80 ±0.42 | 64.99 ±0.32 | 0.98 ±0.05 | 1.20 ±0.08 | 1.16 ±0.05 |
| TCGA-LUAD | Vanilla | 98.47 ±0.17 | 98.58 ±0.13 | 3.57 ±0.09 | 7.21 ±0.15 | 11.94 ±0.21 |
| TCGA-LUAD | Group-DRO | 96.65 ±0.24 | 97.05 ±0.18 | 1.78 ±0.08 | 3.12 ±0.10 | 7.30 ±0.12 |
| TCGA-LUAD | SPARC | 97.85 ±0.20 | 98.20 ±0.15 | 1.39 ±0.07 | 1.46 ±0.08 | 6.89 ±0.10 |
在这三个数据集上,SPARC 相对 Group-DRO 的 ACC、AUC 与三项公平指标均更好,但相对 Vanilla 的 ACC、AUC 均较低。 例如 MIMIC-CXR 的 EOd 从 \(10.59\times10^{-3}\) 降到 \(2.25\times10^{-3}\),同时 ACC 从 85.46% 降到 84.26%。 因此应称为更有利的性能与公平性权衡,而不是无代价的全面提升。
消融实验¶
表 4(第 14 页)的 MIMIC-CXR 掩码强度消融直接检验“扰动越强是否越公平”,指标单位与主表相同。
| 掩码强度 \(\eta\) | ACC (%) ↑ | AUC (%) ↑ | EOp (\(10^{-2}\)) ↓ | EOd (\(10^{-3}\)) ↓ | DP (\(10^{-2}\)) ↓ |
|---|---|---|---|---|---|
| 0 | 85.46 | 63.85 | 5.10 | 10.59 | 6.31 |
| 0.1 | 84.75 | 62.90 | 3.48 | 3.98 | 3.75 |
| 0.2 | 84.26 | 62.10 | 2.02 | 2.25 | 3.53 |
| 0.3 | 81.00 | 60.27 | 2.25 | 2.33 | 3.72 |
| 0.4 | 80.70 | 59.95 | 2.67 | 2.59 | 4.50 |
在 \(\eta=0.2\) 之后继续增大扰动,预测性能继续下降,三项公平指标却同时恶化,说明破坏输入并不是有效去偏的替代品。 表 4 的 CheXpert 在 \(\eta=0.2\) 时报告 ACC 84.59%、EOd \(3.68\times10^{-3}\),不同于主表的 85.80% 和 \(1.20\times10^{-3}\);正文不足以解释该配置差异,不强行合并。
关键发现¶
- 表 2(第 12 页)中 CheXpert 的 ViT 将 AUC 提高到 67.53%,但 EOd 为 \(2.51\times10^{-3}\),差于 ResNet50 的 \(1.20\times10^{-3}\),更强骨干不自动意味着更公平。
- 表 6(第 14 页)中 MIMIC-CXR 的 \(\beta=0\) 获得 EOd \(0.98\times10^{-3}\),AUC 却只有 54.65%,说明必须联合报告效用以排除退化预测。
- GradCAM 分离为作者的去偏解释提供定性线索,但热图不重叠不是直接效应消失的独立证明;正文引用的可计算直接效应合成实验位于未提供的附录 D.2。
亮点与洞察¶
- 可扩展性的核心来自目标替换:不估计完整高维反事实分布,而训练一个知道标签的敏感属性判别器。这比仅强调生成器结构更能解释方法贡献。
- 将属性条件化与彻底删除属性信息区分开来,使合理任务相关性可以保留。判别器是否获得标签,是具有因果含义的设计选择。
- 数据效用与公平优化分开处理,让“掩码把图像破坏了”这一退化路径受到约束。强度消融也显示这项约束不能被无限加大扰动取代。
局限与展望¶
- 作者使用简化因果图,并在结论中把更复杂因果结构和更丰富属性定义列为后续方向。未观测因素与标签生成偏差可能影响其充分条件的适用性。
- 将经 \(Y\) 的影响视为合理是建模判断,不是医疗伦理定论;如果诊断标签本身受医疗资源或标注偏差影响,按标签条件化也可能保留不合理机制。
- 有限判别器能力、有限样本和未充分优化,都使经验对抗成功与精确条件独立之间存在差距;观察性指标不能补足这一保证。
- 缓存仅含正文与参考文献,缺少附录 A、C、D,因此不能核验完整证明、训练划分、调参协议、合成 SCM 验证及多属性扩展细节。
- TCGA-LUAD 的正文数据集简介列举基因组与临床数据,但实验又采用 ResNet50 和影像热图;具体影像输入、任务和划分在当前缓存中交代不足。
- 表 5 的文字称增大 \(\alpha\) 会逐渐降低性能,但表中数值并不单调;连同 CheXpert 跨表差异,这些应保留为复现待核项,而非由笔记自行修正。
相关工作与启发¶
- 与 Counterfactual Fairness 相比:Kusner 等的目标消除敏感属性的总体反事实影响;SPARC 采用 PSCF 的路径区分,保留经任务标签传播的影响。
- 与 Chiappa 和 Gillam 的 PSCF 相比:本文继承公平与不公平路径的划分,重点贡献是将高维潜在结果估计改为条件独立约束及其可训练实现。
- 与 AD、FAAP 相比:同样使用对抗思想,但本文将判别器按真实标签条件化,并以路径目标解释掩码;优势依赖因果结构的合理性,而非对抗训练本身。
- 研究启发:值得补做独立敏感信息探针、仅标签判别基线,以及不同标签偏差条件下的测试,以区分判别器失败、条件独立改善和真实路径效应下降;这些是读者建议,不是已报告实验。
评分¶
- 新颖性: 4/5。将 PSCF 的高维可优化性与条件独立联系起来有明确方法价值,具体对抗与互信息模块则复用成熟思想。
- 实验充分度: 3/5。涵盖三个数据集、骨干和参数消融,但证明与合成验证附录缺失,跨表配置及复现细节仍需核对。
- 写作质量: 3/5。主线清晰,但个别概括超出表格趋势,条件独立、可观测指标和因果保证需要更严格地区分。
- 价值: 4/5。为高维医学输入提供可操作的因果公平训练思路,适用前提是认真审查标签、路径假设与效用代价。