Towards Reliable Medical Large Vision-Language Models via Counterfactual Preference Optimization¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/zxgapollo/CoMedPO
领域: 多模态 VLM
关键词: 医疗视觉语言模型, 反事实偏好优化, 模态偏见, 因果推断, 幻觉抑制

一句话总结¶

针对医疗视觉语言模型过度依赖非病灶背景与病理共现等虚假偏倚导致幻觉的问题，本文提出反事实医疗偏好优化框架（CoMedPO），通过因果中介分析解耦有害的背景直接效应与有益的解剖结构间接效应，在不增加推理开销的前提下显著提升了多模态医疗推理的事实性与可靠性。

研究背景与动机¶

医疗大视觉语言模型（Med-LVLMs）在医学视觉问答（Med-VQA）、放射学报告自动生成以及多模态临床决策支持中展现出巨大应用潜力。然而，在以高风险著称的临床诊断场景下，现有模型普遍面临严峻的事实性瓶颈。与自然图像不同，医学影像中的病理改变往往高度局部且形态细微，极易被粗粒度的全局图文对齐所掩盖。这导致模型在优化过程中极易形成模态偏见，过度依赖非病灶背景或文本先验等统计捷径进行回答，进而产生致命的诊断幻觉。

现有方法尝试引入直接偏好优化（DPO）从正负临床反馈对中微调对齐，但大多数框架直接照搬通用域流水线，缺乏针对临床数据的因果解耦机制。一方面，模型在训练集上容易建立与非病灶背景区域（如成像设备型号、扫描伪影、患者体位）的虚假关联，即便仅输入缺失病灶的背景区域也能蒙对诊断标签；另一方面，疾病共现偏见（如胸腔积液与肺部浸润频繁伴随）使模型倾向于根据伴随症状妄断原发病灶。尽管近期工作如 MMedPO 尝试向病灶施加局部噪声以模拟干预，但这种暴力扰动粗暴切断了所有背景交互。在真实的放射学诊断中，背景解剖结构（如胸膜线连续性、肺野对称性、心脏纵隔轮廓）是鉴别诊断必不可少的空间先验，简单滤除或加权样本并不能区分有益的解剖约束与有害的虚假捷径。

为了从根本上厘清病灶证据与解剖背景的复杂交织，本文的切入角度是借助结构因果模型（SCM）对多模态输入与偏好奖励之间的传递通路进行因果中介分解。核心 idea：将多模态偏好对齐构建为反事实中介对比，解耦背景诱导的有害自然直接效应（NDE）并分离出病灶-背景协同的有益总间接效应（TIE），通过构建事实与反事实图像对消除参考策略的固有偏见。

方法详解¶

整体框架¶

CoMedPO 的核心目标是从存在数据偏倚的有偏参考策略 $\pi_{\text{ref}}$ 中学习无偏的临床诊断策略。系统首先利用轻量级医学定位模型（如 Med-SAM）从输入影像中提取病灶区域，构造剔除病灶的背景图像以及施加高斯扰动的反事实病灶图像，并将背景与不同病灶状态拼接为合成图像对以实现受控因果干预。随后，在结构因果模型下将偏好奖励分解为自然直接效应与总间接效应，利用事实与反事实状态下的对称似然差分消除直接背景偏倚。最终，模型将反事实 DPO 损失与标准 DPO 损失联合优化，而在推理阶段则完全恢复为标准的单图与常规临床提示输入，无需任何拼接图像或定位工具介入。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态医疗输入<br/>原始医学影像 I 与临床问询 T"] --> B["反事实图像拼接与对比提示构建<br/>Med-SAM 分割病灶生成背景 Ib 与扰动 Inull<br/>拼接生成事实对 (Ib⊕I) 与反事实对 (Ib⊕Inull)"]
    B --> C["基于结构因果模型解耦总间接效应<br/>建模 I→B→R 与 B/L→E→R 因果通路<br/>以 TIE 形式定义因果奖励 rc(x,y) = Rb,e - Rb,e*"]
    C --> D["对称反事实偏好优化目标<br/>在 Bradley-Terry 模型中推导对称差分<br/>联合标准偏好 L_DPO 与反事实偏好 L_cDPO"]
    D --> E["无偏医疗多模态决策<br/>推理期仅需标准输入 / 彻底消除背景捷径依赖"]

关键设计¶

1. 反事实图像拼接与对比提示构建：在单病例内施加受控病灶干预

在临床数据集中，由于患者招募受限与伦理成本，无法通过真实的随机对照试验（RCT）独立操控病灶与背景。为了模拟干预，本方法引入预训练医学视觉分割工具 Med-SAM 对原始图像 $I$ 进行病灶区域检测与掩码提取。将病灶区域像素置零得到纯背景图像 $I_b$（表征因果图中的背景变量 $B=b$）；同时，对原图病灶区域施加高斯噪声扰动得到反事实病灶图像 $I_{\text{null}}$。随后，将背景与原图拼接构成事实复合视觉输入 $(I_b \oplus I)$，将背景与扰动图拼接构成反事实复合视觉输入 $(I_b \oplus I_{\text{null}})$。为了保持提示词的一致性，设计统一的临床问询提示 $T'$（例如："Both images belong to the same patient. Please analyze each and then provide a joint clinical conclusion"），使模型在相同的解剖背景上下文下，仅根据病灶证据的存在与否进行对比推理。

2. 基于结构因果模型解耦总间接效应：剥离背景直接偏倚并保留解剖先验

现存模型将输入直接映射至奖励，导致捷径通路 $I \to B \to R$ 将设备标记、胸腔轮廓等虚假关联直接注入奖励函数，而良性通路 $B/L \to E \to R$ 承载的解剖对称性与纵隔定位等结构先验却与捷径纠缠在一起。为此，CoMedPO 构建了包含图像 $I$、背景 $B$、病灶 $L$、多模态联合表征 $E$ 以及奖励 $R$ 的结构因果图。将总因果效应（TE）定义为事实奖励与反事实参考奖励的差值 $\mathrm{TE} = R_{b,e}(I) - R_{b^*,e^*}(I)$，纯背景引起的自然直接效应（NDE）定义为 $\mathrm{NDE} = R_{b,e^*}(I) - R_{b^*,e^*}(I)$。通过从总效应中减去直接效应，推导出总间接效应（Total Indirect Effect, TIE）： $$r_c(x, y) = \mathrm{TIE} = R_{b,e}(x, y) - R_{b,e^*}(x, y)$$ 该因果奖励 $r_c$ 严格剥离了由背景直接触发的不合理奖励加分，仅保留了通过联合表征 $E$ 传导的临床病灶-解剖结构交互增益。

3. 对称反事实偏好优化目标：消除参考策略偏倚并实现理论收敛

将 TIE 因果奖励代入 Bradley-Terry 偏好概率模型中，可得偏好样本对 $(y_w, y_l)$ 的因果对比项： $$r_c(x, y_w) - r_c(x, y_l) = \left[R_{b,e}(x, y_w) - R_{b,e}(x, y_l)\right] - \left[R_{b,e^*}(x, y_w) - R_{b,e^*}(x, y_l)\right]$$ 该式具备高度对称性，即正向优质回答 $y_w$ 与负向幻觉回答 $y_l$ 均受到完全相同的因果差分修正。如果仅对正样本去偏，负样本中的残留背景偏倚仍会污染成对奖励差。在无需显式训练独立奖励模型的约束下，利用策略-奖励对偶关系将隐式奖励替换为策略网络与参考网络在事实输入 $x_c = (I_b \oplus I, T')$ 和反事实输入 $x_c^* = (I_b \oplus I_{\text{null}}, T')$ 上的对数似然比，从而构建反事实 DPO 损失： $$\mathcal{L}_{\text{cDPO}} = -\mathbb{E}_{(x_c, x_c^*, y_w, y_l) \sim \mathcal{D}_f}\left[\log \sigma\left(\eta^{-1} \Lambda_{\text{cDPO}}\right)\right]$$ 其中对数优势差分项为： $$\Lambda_{\text{cDPO}} = \left[\log \frac{\pi_\theta(y_w \mid x_c)}{\pi_{\text{ref}}(y_w \mid x_c)} - \log \frac{\pi_\theta(y_w \mid x_c^*)}{\pi_{\text{ref}}(y_w \mid x_c^*)}\right] - \left[\log \frac{\pi_\theta(y_l \mid x_c)}{\pi_{\text{ref}}(y_l \mid x_c)} - \log \frac{\pi_\theta(y_l \mid x_c^*)}{\pi_{\text{ref}}(y_l \mid x_c^*)}\right]$$ 论文证明了在有偏参考策略 $\pi_{\text{ref}}$ 存在 $\delta(x, y)$ 背景偏倚假设下，通过最小化该目标能保证策略在 KL 散度意义下单调逼近因果最优策略 $\pi_c^\star(y \mid x) \propto \pi_{\text{ref}}(y \mid x) \exp(\eta r_c(x, y))$。

一个完整示例¶

以一例胸部 X 光片（CXR）诊断为例： 1. 原始输入：图像 $I$ 包含左下肺野微弱的局部阴影（真实病变为轻度胸腔积液），伴有常见的肺气肿引起的双肺野透光度增高（背景解剖特征）。 2. 基线偏倚表现：普通 Med-LVLM 受训练集共现偏见驱动，由于过度关注宽大的双侧肺底轮廓，误将微弱阴影判断为肺部广泛浸润（Infiltration），并在缺乏病灶证据的纯背景切片上依然输出高置信度的阳性结论。 3. CoMedPO 介入： - Med-SAM 圈出左下肺微小浸润积液区域，置零生成纯胸廓背景 $I_b$；在原病灶位置施加高斯白噪声生成 $I_{\text{null}}$。 - 构造事实组合图 $(I_b \oplus I)$ 与反事实组合图 $(I_b \oplus I_{\text{null}})$，配合统一提问 $T'$ 输入模型。 - 在计算 $\Lambda_{\text{cDPO}}$ 时，若模型基于 $(I_b \oplus I_{\text{null}})$（病灶已被抹杀、仅剩背景解剖）依然给“肺部浸润”回答赋予高对数似然，该项会在减法中直接抵消事实输入下的得分，从而严厉惩罚“凭借背景猜病”的捷径行为。 4. 推理输出：在实际测试部署时，模型接收单张原图 $I$ 与常规提问，模型仅依据真实存在的胸膜线积液特征输出准确的“左侧胸腔积液”诊断，并排除伪影浸润干扰。

损失函数 / 训练策略¶

为了确保模型在学习无偏因果特征的同时保留基于原始单图指令的正常问答与报告生成能力，最终优化目标由标准 DPO 损失和反事实 cDPO 损失加权构成： $$\mathcal{L}_{\text{CoMedPO}} = \mathcal{L}_{\text{DPO}} + \lambda \mathcal{L}_{\text{cDPO}}$$ 其中 $\lambda$ 为平衡超参数，消融实验证明取 $\lambda = 1.0$ 时表现最优。训练过程基于 LoRA（rank=128, alpha=256, dropout=0.05）在 8 卡 NVIDIA A100 上微调 3 个 epoch，学习率为 1e-6（配合余弦退火与 0.03 的 warmup 比例），单卡 batch size 为 2。

实验关键数据¶

主实验¶

论文在医疗视觉问答（SLAKE、VQA-RAD）和放射学报告生成（IU-XRay、MIMIC-CXR）四个基准上进行了全面评估。基模型为 LLaVA-Med-1.5-mistral-7B，评估了直接偏好微调以及经过有监督微调（+SFT）后的效果。

模型设置	SLAKE Open	SLAKE Closed	VQA-RAD Open	VQA-RAD Closed	IU-XRay BLEU	IU-XRay ROUGE-L	IU-XRay METEOR	MIMIC-CXR BLEU	MIMIC-CXR ROUGE-L	MIMIC-CXR METEOR
LLaVA-Med v1.5	47.54	52.99	29.50	64.54	14.56	10.31	10.95	10.25	9.38	7.71
+ DPO	49.84	53.59	32.00	66.53	16.08	12.95	17.13	11.19	9.45	7.80
+ mDPO	51.20	60.29	35.00	68.13	18.43	22.38	26.52	11.55	9.62	7.90
+ SPPO	52.62	67.58	38.50	68.93	21.66	27.30	32.10	12.32	10.19	8.83
+ MMedPO	51.67	58.25	36.50	67.33	23.49	29.52	34.16	12.85	11.13	10.03
+ CoMedPO	53.11	71.17	40.00	71.31	23.78	32.68	35.26	12.65	11.61	10.37
+ SFT 基线	52.62	58.01	31.50	64.14	22.75	28.86	33.66	12.39	10.21	8.75
+ SFT + DPO	53.49	64.23	33.00	64.94	23.82	29.97	34.89	12.37	10.38	9.10
+ SFT + mDPO	53.10	63.88	34.50	67.33	23.57	28.35	33.13	11.77	9.45	8.91
+ SFT + SPPO	58.57	66.99	41.00	73.31	23.78	30.05	34.78	12.87	12.32	9.45
+ SFT + MMedPO	56.60	67.82	37.00	67.73	24.00	30.13	35.17	13.28	13.22	10.20
+ SFT + CoMedPO	62.17	74.40	42.50	74.90	26.23	34.13	38.25	14.91	14.58	12.22

消融实验¶

论文在 VQA-RAD 和 IU-XRay 数据集上针对背景捷径敏感性、跨数据集泛化、损失函数变体以及推理输入一致性进行了详尽的消融与验证分析（全部基于 SFT 增强模型）。

实验组别 / 变体	VQA-RAD Open	VQA-RAD Closed	IU-XRay BLEU	IU-XRay ROUGE-L	IU-XRay METEOR	说明
完整 CoMedPO（SFT）	42.50	74.90	26.23	34.13	38.25	标准完整模型（正态单图推理）
I. 背景捷径敏感性（越低越好）
DPO（仅背景输入）	34.50	63.74	21.56	27.22	32.39	背景依然诱导高阳性率
MMedPO（仅背景输入）	26.50	65.34	15.77	10.36	10.05	依然严重受背景捷径驱使
CoMedPO（仅背景输入）	22.00	53.78	13.29	9.45	10.58	预测准确率大幅下滑，证明去除了背景捷径依赖
II. 跨数据集分布迁移
DPO 迁移（SLAKE→RAD / MIMIC→IU）	32.50 (-0.50)	60.96 (-3.98)	19.82 (-4.01)	23.97 (-6.00)	26.89 (-8.00)	域迁移性能断崖式下跌
MMedPO 迁移	33.50 (-3.50)	62.15 (-5.58)	21.17 (-2.83)	27.26 (-2.87)	31.84 (-3.33)	下跌幅度较大
CoMedPO 迁移	40.50 (-2.00)	72.51 (-2.39)	25.32 (-0.91)	32.43 (-1.70)	36.55 (-1.70)	性能衰减显著最小，具备强泛化韧性
III. 损失函数机制消融
去掉标准 DPO 损失（w/o $\mathcal{L}_{\text{DPO}}$）	29.50	57.77	14.11	10.65	10.37	丧失对原始图像的泛化锚定，全面暴跌
因果加权 DPO（Causal-weighted $\mathcal{L}_{\text{DPO}}$）	37.50	70.52	24.25	28.40	34.64	仅给样本加权优于基线但劣于显式对比
移除反事实问询（w/o Counterfactual Query）	42.00	72.91	26.56	34.02	36.68	提示词敏感度较低，框架保持稳健
IV. 拼接一致性与控制组
仅复合图像输入（无匹配提示）	37.50	69.32	22.35	28.69	32.57	图文失配引入混杂误差
复合图像 + 匹配提示输入	43.43	73.00	25.67	33.62	35.05	与训练格式完全匹配时表现优异
随机切片复合控制组（Random Composite）	37.00	67.33	21.24	27.67	31.82	破坏因果中介机制，增益严重缩水

关键发现¶

有害背景捷径被实质性阻断：在纯背景输入测试下，MMedPO 在 VQA-RAD 封闭题上依然能凭背景取得 65.34% 的高正确率，而 CoMedPO 准确率骤降至 53.78%（IU-XRay ROUGE-L 降至 9.45%）。该指标显著越低代表模型越不依赖非病理背景，直接证明因果差分机制精准剔除了背景捷径。
跨中心域泛化韧性极强：在跨数据集迁移测试中，CoMedPO 在 VQA-RAD Closed 上的衰减仅为 -2.39%（DPO 衰减 -3.98%，MMedPO 衰减 -5.58%）；在 IU-XRay ROUGE-L 上仅衰减 -1.70%（DPO 暴跌 -6.00%），证明剔除中心特定的背景伪影能大幅提高模型在未知临床机构数据上的鲁棒性。
双重目标协同至关重要：消融实验表明，单靠反事实损失 $\mathcal{L}_{\text{cDPO}}$（w/o $\mathcal{L}_{\text{DPO}}$）会导致基础问答性能严重受损（VQA-RAD Open 从 42.50% 跌至 29.50%），必须将事实数据对齐与反事实干预有机结合才能兼顾基础语言理解与无偏推理。

亮点与洞察¶

将反事实因果中介分解与 DPO 对齐打通：通过将总因果效应精细划分为有害的自然直接效应（NDE）与良性的总间接效应（TIE），克服了既往方法一刀切加噪破坏解剖先验的缺陷，推导出具有数学保证的无偏偏好学习损失。
正负样本对称差分消偏机制：证明了仅纠正正样本会导致负样本中的直接背景偏倚泄露，采用对称差分格式同时对 preferred 和 dispreferred 回答进行因果校正，确保模型在梯度更新时彻底屏蔽虚假信号。
训练期干预与推理期零额外开销解耦：虽然在训练构造中借助了 Med-SAM 定位与图像拼接，但在推理阶段直接接收原始单图输入，完全不增加临床部署的显存占用与计算时延。

局限与展望¶

依赖上游病灶分割模型的质量：反事实图像的构造严重依赖 Med-SAM 的定位精度。若病灶极其微小或边界模糊导致漏检，置零背景 $I_b$ 中可能残留病灶信息，从而减弱因果差分的彻底性。
反事实干预仍局限于图像空间简单替换：目前采用高斯扰动与像素置零作为干预算子，在形态学上可能引入一定的人工合成伪影，尚未利用生成式扩散模型合成高度逼真的病理级反事实阴性图像。
未来方向：探索病灶定位模型与多模态偏好策略的端到端联合训练机制，或通过生成式对抗反事实建模更精细的组织级病理反事实。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将结构因果中介分析与多模态反事实偏好优化深度融合，数学推导与理论收敛证明完备。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大主流医疗 VQA 与报告生成基准，并设计了背景敏感性与域外迁移等极具针对性的因果验证实验。
写作质量: ⭐⭐⭐⭐⭐ 论文结构严谨清晰，问题定义切中医疗临床痛点，方法阐述由浅入深。
价值: ⭐⭐⭐⭐⭐ 为大模型在医疗高风险领域的可靠性、去幻觉与临床可信对齐提供了兼具理论与实用的范式。