CRAFT: Causal Responsibility and Failure Tracing in Medical Vision Language Models¶
会议: NeurIPS 2026
arXiv: 2609.38810
代码: https://github.com/zhcz328/CRAFT
领域: 医学图像
关键词: 医疗视觉语言模型, 机械可解释性, 因果归因与干预, 知识冲突, 拒绝回答
一句话总结¶
提出了基于结构因果模型与反事实去混淆的机械可解释性分析框架 CRAFT，首次揭示并因果定位了医疗 VLM 中空间解耦的“仲裁失效”与“刹车失效”注意力头集合，在无需微调的前提下通过稀疏注意力头切除大幅抑制文本越权并恢复不确定性弃权能力。
研究背景与动机¶
医疗视觉语言模型（Medical VLMs）近年来被广泛引入临床辅助诊断与影像问答任务中。然而，与纯文本大语言模型仅处理上下文与参数化记忆之间的两方二元冲突不同，多模态临床场景面临着更为复杂的“三方竞争”因果通路：来自医学影像的视觉锚定通路 \(\mathcal{P}_v\)、来自预训练权重的临床参数知识通路 \(\mathcal{P}_\Theta\)、以及来自外部输入文本的覆盖通路 \(\mathcal{P}_t\)。当输入信号存在矛盾或视觉线索受损时，模型内部会出现两类严重的临床安全失效：其一是仲裁失效（Arbitration Failure），即当具有误导性的文本上下文（如不一致的病历叙述）与清晰正确的医学图像发生冲突时，模型被文本误导而推翻原本正确的图像诊断；其二是刹车失效（Brake Failure），即在关键病灶区域被遮挡、视觉信息严重匮乏的情况下，模型未能适时弃权（Abstain）表示不确定，反而过度自信地给出确诊性回答。
在临床高风险场景中，单纯在输出端观测或黑盒缓解这类失误是远远不够的。现有的黑盒缓解方案（如对比解码、外部检测器引导或启发式置信度拒答）不仅依赖外部辅助模型或后处理超参微调，而且无法解释模型内部的推理究竟在计算图的哪个节点被劫持或失控。更关键的是，传统的机械可解释性分析主要依赖观测性的注意力激活大小排名，但这往往将因果机制与相关性严重混淆：潜在的混杂因子（如文本词汇重叠、视觉语义模糊、跨模态归一化耦合等）会打开后门路径，导致观测到的“高激活头”很可能只是伪相关特征，而非真正驱动决策失控的因果神经元。
为了打破这种观测偏误并厘清多模态证据冲突的内部电路，本文从结构因果模型出发，探索内部组件中是否存在专门调控这两类失效模式的因果通路。核心 idea：将多模态证据竞争抽象为三方因果图，通过干净状态反事实互换切断混杂因子的后门通路，构建双指标 Pareto 寻优定位出在空间层级上完全解耦的仲裁头与刹车头，实现零训练开销下对文本越权与过度自信的针对性外科手术式修复。
方法详解¶
整体框架¶
CRAFT 框架旨在通过双阶段粗到细的因果定位与干预机制，精准排查并修复医疗 VLM 内部的失效电路。第一阶段，框架基于结构因果模型（SCM）引入反事实干净状态激活互换，彻底阻断混杂因子 \(U_c\) 产生的伪相关后门路径；随后通过层级冲突评分在宏观维度圈定关键层区间（Critical Layer Band）。第二阶段，在候选层区间内，针对仲裁失效与刹车失效分别制定平衡“失效缓解增益”与“干净样本能力保真度”的双因果指标，经由 Pareto 前沿选取最稀疏的关键注意力头集合（通常占总头数不足 1%）；在推理期仅需对这些关键头实施常数级缩放/切除干预，即可消除失效表征。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入样本<br/>医学影像 + 临床文本/遮挡"] --> B["反事实干净状态互换<br/>阻断潜变量混杂后门路径"]
B --> C["层级冲突评分定位<br/>层级 S(l) 与 HR(l) 筛选关键层"]
C --> D["双指标因果头筛选<br/>CER/HR 抑制 vs BCP 保真度"]
D --> E["稀疏激活外科手术切除<br/>仲裁头抑制越权 / 刹车头恢复弃权"]关键设计¶
1. 反事实干净状态互换：阻断观测性归因的潜在混杂后门路径
传统注意力头重要性分析基于观测条件期望 \(\mathbb{E}[Y \mid \mathbf{a}_{l,i}]\)，极易受到未观测外生噪声 \(U_c\)（如词汇表面线索、视觉模糊先验）引发的后门路径 \(\mathbf{a}_{l,i} \leftarrow U_c \rightarrow Y\) 干扰，导致高激活往往只是表观相关。CRAFT 基于结构因果模型的模块化特性，对每一个存在证据冲突的样本构建共享相同视觉与问题的无冲突成对反事实输入，并缓存其干净状态隐层激活 \(\mathbf{a}_{l,i}^{\text{clean}}\)。通过执行干预操作 \(\text{do}(\mathbf{a}_{l,i} := \mathbf{a}_{l,i}^{\text{clean}})\)，强制将该注意力头的输出固定为与当前样本 \(U_c\) 实例无关的常数，切断来自混杂因子的入边，在修剪因果图（Mutilated Graph）中严格实现 \(\mathbf{a}_{l,i} \perp U_c \mid \text{do}(\mathbf{a}_{l,i})\)，从而计算出纯净的受控直接效应（Controlled Direct Effect），确保所评估指标反映真正的因果作用。
2. 仲裁失效因果定位：双指标平衡冲突缓解与正常推理保真度
针对误导性文本压制影像证据的仲裁失效，CRAFT 采用偏好边界 \(\delta = \log p(y^{-}) - \log p(y^{+})\) 量化文本劫持强度（\(\delta > 0\) 表示偏向错误答案）。系统首先通过单层激活打补丁计算层级冲突得分： $\(S(l) = |\delta_{\text{conflict}} - \delta_{\text{base}}| - |\delta_{\text{patched}}(l) - \delta_{\text{base}}|\)$ 筛选出分数陡增且持续高位的中间关键层区间 \(\mathcal{W}\)（如 Hulu-Med 4B 的 12–22 层）。随后在 \(\mathcal{W}\) 内部，联合定义冲突效应缩减指标 \(\text{CER}_{\text{exc}}(h) = \delta^{\text{conflict}} - \delta^{\text{excise}(h)}\) 与干净推理保真度扰动指标 \(\text{BCP}_{\text{exc}}(h) = \text{Acc}^{\text{clean}} - \text{Acc}^{\text{excise}(h)}\)，通过 Pareto 边界筛选出满足 \(\text{CER}_{\text{exc}}(h) > \tau_s\) 且 \(\text{BCP}_{\text{exc}}(h) < \tau_d\) 的极稀疏仲裁头集合 \(\mathcal{C}_{\text{arb}}^{*}\)，彻底避免单指标筛选导致的干净诊断严重掉点。
3. 刹车失效因果定位：聚焦深层门控电路以唤醒充分性拒答
当视觉线索严重匮乏（如核心病灶像素被大范围 Mask）时，模型需拒绝诊断并输出弃权标记 \(y^{\text{unk}}\)，而刹车失效表现为模型强行输出确诊结论 \(y^{\text{com}}\)。CRAFT 采用层级衰减系数 \(\beta < 1\) 评估各层对抑制盲目确诊的贡献，定义层级幻觉缓解得分： $\(\text{HR}(l) = p_\theta(y^{\text{unk}} \mid \text{attenuate}(l)) - p_\theta(y^{\text{unk}} \mid \text{original})\)$ 分析表明幻觉缓解信号高度集中于靠近输出的极深层（如第 31–35 层），贡献了全网 78% 以上的缓解效果。在此区间内，联合最大化头级缓解量 \(\text{HR}_{\text{exc}}(h)\) 与最小化干净毁损 \(\text{BCP}_{\text{exc}}(h)\)，定位出控制过度自信与阻断弃权的刹车头集合 \(\mathcal{C}_{\text{brk}}^{*}\)（仅 4–7 个头），揭示出置信度门控与仲裁决策在网络拓扑上的完全解耦。
4. 稀疏注意力头切除干预：零参数微调的外科手术式修正
由于 Transformer 残差流具有天然的加法累加结构： $\(\mathbf{h}_{l,t} = \mathbf{h}_{l-1,t} + \sum_{i=1}^{n_h} \mathbf{W}_O^{l,i}\mathbf{a}_{l,i,t} + \text{FFN}_l(\mathbf{h}_{l-1,t})\)$ 将特定目标头的加法项乘以极小比例因子 \(\alpha_{l,i} = \epsilon \to 0^{+}\)（即切除操作 \(\text{excise}(\mathcal{C})\)）不会破坏其余路径的自适应分布。在推理过程中，针对文本冲突输入仅需抑制 \(\mathcal{C}_{\text{arb}}^{*}\)，便能使偏好边界 \(\delta\) 在中间层回转为负，迫使模型重拾图像证据；针对缺失线索输入仅需切除 \(\mathcal{C}_{\text{brk}}^{*}\)，便能解除深层对弃权标记的压制，恢复不确定性校准，全程无需反向传播或调整权重。
一个完整示例¶
以一例胸部 X 光片诊断为例：图像显示肺部存在明显斑片浸润影（真实答案 \(y^{+}\) 为“肺炎”），但伴随问诊文本输入被恶意注入误导信息“患者无咳嗽与发热主诉，既往健康”（误导答案 \(y^{-}\) 为“无肺炎”）。 未干预前，模型深层残差流在经过第 18–25 层时偏好边界发生符号反转，最终输出偏向文本所称的“无肺炎”（发生仲裁失效，\(\text{CFR} = 44.62\%\)）。 在启用 CRAFT 后： 1. 模型定位出位于中深层（如 Layer 14 Head 3、Layer 16 Head 11 等 6 个仲裁头）构成的关键通路； 2. 推理时在残差流前向传播中将这 6 个头的输出权重乘零切除（\(\alpha \to 0\)）； 3. 文本覆盖通路 \(\mathcal{P}_t\) 的能量流动被阻断，而视觉通路 \(\mathcal{P}_v\) 与参数先验 \(\mathcal{P}_\Theta\) 完好保留； 4. Tuned Lens 轨迹显示偏好边界在 18–25 层始终锁定在负值区间，最终模型抵御了文本干扰，稳定输出正确诊断“肺炎”，且对正常无冲突影像的准确率损伤不足 0.6%。
实验关键数据¶
主实验¶
论文在多模态基准（VQA-RAD、SLAKE、HealMed-VQA）以及多个前沿开源医学 VLM（Hulu-Med 4B/7B/14B、InternVL3.5 4B、Qwen3-VL-8B）上开展评估。核心指标包括冲突遵循率（CFR \(\downarrow\)）、抗冲突率（Resist \(\uparrow\)）、由对变错的附带损伤率（C2W \(\downarrow\)）、由错纠对的修正率（W2C \(\uparrow\)），以及视觉退化下的弃权率（UR \(\uparrow\)）与原本弃权被误改率（U2O \(\downarrow\)）。
| 基准数据集 | 测试模型 | 评估场景 | 方法 | CFR (↓) | Resist (↑) | C2W (↓) | W2C (↑) |
|---|---|---|---|---|---|---|---|
| VQA-RAD | Hulu-Med 4B | 文本冲突 (Before Q) | Baseline | 44.62% | 55.38% | — | — |
| VQA-RAD | Hulu-Med 4B | 文本冲突 (Before Q) | Random Heads | 40.77% | 59.23% | 1.03% | 4.87% |
| VQA-RAD | Hulu-Med 4B | 文本冲突 (Before Q) | CRAFT (Ours) | 14.36% | 85.64% | 0.51% | 30.77% |
| VQA-RAD | InternVL3.5 4B | 文本冲突 (Before A) | Baseline | 60.57% | 39.43% | — | — |
| VQA-RAD | InternVL3.5 4B | 文本冲突 (Before A) | Random Heads | 77.71% | 22.29% | 17.71% | 0.57% |
| VQA-RAD | InternVL3.5 4B | 文本冲突 (Before A) | CRAFT (Ours) | 19.43% | 80.57% | 0.00% | 41.14% |
| SLAKE | Hulu-Med 4B | 文本冲突 (Before A) | Baseline | 87.73% | 12.27% | — | — |
| SLAKE | Hulu-Med 4B | 文本冲突 (Before A) | Random Heads | 91.00% | 9.00% | 4.26% | 0.98% |
| SLAKE | Hulu-Med 4B | 文本冲突 (Before A) | CRAFT (Ours) | 46.32% | 53.68% | 4.91% | 46.32% |
在视觉退化（病灶区域掩码放大 2.0 倍）诱发的刹车失效场景中，CRAFT 对比基线取得了显著的弃权恢复能力：
| 评估基准 | 测试模型 | 评估方法 | UR (↑) | O2U (↑) | U2O (↓) |
|---|---|---|---|---|---|
| SLAKE (Image Degrad.) | Hulu-Med 4B | Baseline | 37.88% | — | — |
| SLAKE (Image Degrad.) | Hulu-Med 4B | Random Heads | 45.45% | 8.33% | 0.76% |
| SLAKE (Image Degrad.) | Hulu-Med 4B | CRAFT (Ours) | 65.15% | 27.27% | 0.00% |
| HealMed-VQA | Hulu-Med 4B | Baseline | 78.44% | — | — |
| HealMed-VQA | Hulu-Med 4B | Random Heads | 86.83% | 10.18% | 1.80% |
| HealMed-VQA | Hulu-Med 4B | CRAFT (Ours) | 98.20% | 19.76% | 0.00% |
| SLAKE (Image Degrad.) | InternVL3.5 4B | Baseline | 22.58% | — | — |
| SLAKE (Image Degrad.) | InternVL3.5 4B | Random Heads | 16.13% | 0.00% | 6.45% |
| SLAKE (Image Degrad.) | InternVL3.5 4B | CRAFT (Ours) | 32.26% | 9.68% | 0.00% |
消融实验¶
为验证双因果指标（抑制增益与保真度）的必要性，论文在候选头数量严格对齐的前提下进行了单指标筛选与联合准则的消融对比：
| 模型架构 | 任务配置 | 选择准则 | 评估指标 1 | 评估指标 2 | 干净附带损伤 | 介入头数 |
|---|---|---|---|---|---|---|
| Hulu-Med 4B | 仲裁失效 (VQA-RAD) | 仅考虑 CER (抑制) | CFR: 6.7% | $ | \Delta \text{CFR} | $: 37.9% |
| Hulu-Med 4B | 仲裁失效 (VQA-RAD) | 仅考虑 BCP (保真) | CFR: 44.4% | $ | \Delta \text{CFR} | $: 0.3% |
| Hulu-Med 4B | 仲裁失效 (VQA-RAD) | Dual (CRAFT 联合) | CFR: 14.4% | **$ | \Delta \text{CFR} | $: 30.3%** |
| InternVL3.5 4B | 仲裁失效 (VQA-RAD) | 仅考虑 CER (抑制) | CFR: 9.7% | $ | \Delta \text{CFR} | $: 12.0% |
| InternVL3.5 4B | 仲裁失效 (VQA-RAD) | Dual (CRAFT 联合) | CFR: 7.4% | **$ | \Delta \text{CFR} | $: 14.3%** |
| InternVL3.5 4B | 刹车失效 (SLAKE) | 仅考虑 HR (缓解) | UR: 61.3% | \(\Delta \text{UR}\): 38.7% | U2O: 21.6% | 7 |
| InternVL3.5 4B | 刹车失效 (SLAKE) | 仅考虑 BCP (保真) | UR: 16.1% | \(\Delta \text{UR}\): -6.5% | U2O: 6.5% | 7 |
| InternVL3.5 4B | 刹车失效 (SLAKE) | Dual (CRAFT 联合) | UR: 32.3% | \(\Delta \text{UR}\): 9.7% | U2O: 0.0% | 7 |
关键发现¶
- 电路空间拓扑严格解耦：仲裁失效的敏感头集中在网络中深层的宽频带（12–22 层），承载多模态特征竞争与融合；而刹车失效的敏感头则高度局限在靠近输出的狭窄末端层（31–35 层），负责证据充分性校验与置信度门控。两组头集合完全空间不重叠。
- 单指标筛选存在严重陷阱：仅依据失效削减指标（CER/HR）选择头，极易选中与正常临床推理高度交织的通用注意力头，导致 InternVL3.5 在刹车任务上出现高达 21.6% 的 U2O 逆向毁损（把原本已正确弃权的样本篡改为错误答案）；而联合双指标 Pareto 筛选能将 U2O 彻底压制为 0.0%。
- 时序探针与 Tuned Lens 验证因果机制：探测器 A（冲突检测）在浅中层即可饱和，而探测器 B（错误遵循）在后 3–5 层才达到峰值；切除仲裁头后，检测器 A 精度不受影响，但预测器 B 准确率大幅下滑，证明 CRAFT 切除的是“决策执行与劫持”电路，而非破坏了特征感知能力。
亮点与洞察¶
- 多模态因果去混淆机制：将传统的静态模态归因推进到基于结构因果模型（SCM）的反事实激活互换，首次在 VLM 中证明了观测性激活大小与真实故障因果性的偏差，提供了具备严格 d-separation 数学保证的因果定位方案。
- 低成本且正交的免训练安全补丁：全过程无需调整任何权重参数、无需前置提示词工程或外挂辅助判别模型，仅凭对不到 1% 的稀疏注意力头施加推理期零化，即可取得超越对比解码（CCD）及参数高效微调（Conflict SFT）的安全收益，且可与微调方法无缝叠加。
- 两类失误的拓扑分立认知：打破了“多模态失调由统一网络退化造成”的直觉猜想，明确了“文本篡改影像”发生在跨模态整合中游，而“盲目过度自信”发生在语言解码下游，为后续针对性防御设计指明了架构层级。
局限与展望¶
- 干预强度的二值化与阈值依赖：当前实验主要采用近零切除（\(\alpha \to 0\)），且关键头的筛选依赖验证集上的 Pareto 经验阈值确定；在异构多变的真实未标注临床环境中，动态自适应缩放因子与自适应头选择机制仍有待探索。
- 复杂推理与自由文本问答的覆盖局限：主干验证主要集中在确定性问答与二元/选项判断，在长文本、开放式推理及多步临床决策链路中，复杂因果路径的跟踪与解纠缠难度将呈指数级增加。
- 未来方向：探索多模态跨层 MLP 与 Attention Head 之间的交互环路（MLP-Attention Circuitry），并将去混淆因果干预机制推广到通用视觉语言大模型和跨模态智能体决策审计中。
相关工作与启发¶
- vs CCD / MARINE (对比解码与外部检测器引导): 外部解码引导方法（如 CCD、MARINE）依赖外挂模型或双路前向计算差异来纠偏，显存开销大且延迟翻倍；CRAFT 属于模型内部电路切除，无外部模型依赖，干预开销几乎为零，且抗冲突效果显著更优（CFR 降至 14.36% vs CCD 31.28%）。
- vs ITI / RepE (特征级表征工程与激活转向): 传统推理期干预（ITI）沿着全局单一的“真实性”粗粒度方向进行激活向量偏移，容易损伤基础生成质量；CRAFT 针对具体失效模式因果定位到离散的注意力头集合，在消除失效的同时将干净样本精度损失控制在最小范围（C2W 接近 0%）。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从机械可解释性与结构因果模型角度严格解构并分立了医疗 VLM 的仲裁与刹车失效电路。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 款开源医疗 VLM、文本/图像双冲突场景、时序探针与 Tuned Lens 轨迹分析，验证全面扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，理论证明与实证分析结合紧密，图表清晰自洽。
- 价值: ⭐⭐⭐⭐⭐ 为临床医疗大模型提供了一种轻量、免微调、即插即用的高安全可解释性干预范式。