Auditing Evidence Use in Medical LLM Diagnosis¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Rosita777/medical-llm-evidence-audit
领域: 医疗 NLP
关键词: 医疗大模型 / 诊断证据审计 / 交互效应挖掘 / 反事实评估 / 差分鉴别诊断
一句话总结¶
针对医疗大模型端到端诊断准确率无法反映临床证据使用合理性的痛点,本文提出一种行为学证据审计框架,通过控制性子集干预与诊断边际交互挖掘,结合诊断相对性证据角色与多重稳定性过滤,有效剥离伪影并定位真实证据误用。
研究背景与动机¶
大语言模型在临床问诊与辅助诊断基准上展现出匹敌人类专家的选择准确率,但聚合准确率指标存在严重的“黑盒表象”。在真实高风险临床场景中,模型完全可能凭借错误的特征捷径(如病史中直白的疾病名称暗示、甚至与疾病无关的无关体征)碰巧选出正确诊断;相反,也可能因为过度放大了临床证据对无关候选病的权重而导致隐性误诊。临床证据并非扁平独立的特征列表,症状、体格检查、既往史、阴性排除项在不同疾病鉴别诊断中承担着截然不同的临床角色。
这种诊断行为的核心矛盾在于:相同的临床表征在面对不同候选疾病时具有高度的“诊断相对性(diagnosis-relative)”。某项阴性检查对于确诊某种疾病是决定性的排除证据,但对于竞争疾病可能完全中立;两项呼吸道症状可能存在临床信息冗余,导致联合效应呈现非加性甚至抵消。现有的模型可解释性工作要么依赖不可靠的模型自由生成思维链(CoT)与注意力热图,要么采用通用的特征归因或全局反事实扰动,将特征简单预设为“全局有害”或“全局无关”,无法适用于错综复杂的差分诊断逻辑。
本文跳出对模型内部潜隐推理链的端到端拟合假设,转而采用纯行为学的控制性干预视角。通过将病例细粒度切分为证据单元,在控制性输入子集下观测候选诊断边际几率的变化,首次系统挖掘并解释超越单特征贡献的低阶证据交互。核心 idea:通过受控子集干预量化候选诊断边际变化,将高阶交互挖掘与诊断相对性角色解耦,先由启发式规则挖掘候选机制,再通过多重稳定性过滤与定向反事实干预确认真实证据失误。
方法详解¶
整体框架¶
本文构建的医疗大模型证据使用审计框架由四个连续阶段组成:病例证据单元化与控制性干预生成、基于候选选项对数几率的诊断边际评分、低阶证据交互挖掘、以及结合诊断相对性角色的机制归因与稳定性验证。框架输入为包含患者临床表现与候选鉴别诊断集合的病例,输出为结构化的证据使用诊断剖面(Profile),明确区分临床合理的鉴别诊断交互与不可靠的模型捷径依赖。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["临床病例输入<br/>患者事实集合与候选鉴别诊断"] --> B["控制性证据干预与诊断边际评分<br/>枚举子集T评估选项对数几率差值"]
B --> C["低阶证据交互挖掘<br/>计算子集S联合效应I_d(S)"]
C --> D["诊断相对性角色标注与机制归因<br/>区分支持/竞争/否定/局部等角色"]
D --> E["多维稳定性过滤与定向反事实校验<br/>提示词/顺序扰动 + 中和消融 + 临床复核"]
E --> F["审计输出剖面<br/>区分合理鉴别诊断与确认失误"]
关键设计¶
1. 控制性证据干预与诊断边际评分:将黑盒诊断偏好量化为可观测的边际差值
针对生成式解释不可靠且多选概率易受格式偏差干扰的问题,审计首先将病例事实拆解为证据单元集合 \(E = \{e_1, \dots, e_n\}\) 和候选诊断集合 \(C = \{c_1, \dots, c_m\}\)。在受控干预下,提示词仅暴露选定的证据子集 \(T \subseteq E\),并要求模型以单字母选择题格式回答。为了避免生成退化并获取细粒度偏好,模型不生成长篇文本,而是直接提取每个候选选项字母 \(c_j\) 的首个 token 对数概率 \(s_T(c_j)\)。对于任意受审诊断 \(d \in C\),其在子集 \(T\) 下的诊断边际定义为它相对于最强竞争候选者的偏好优势:
该边际差值直接反映了在特定证据上下文下模型选择该诊断的相对坚信度,有效抵消了部分全局选项字母先验偏差,为后续组合效应分析提供了统一的博弈论值函数输入。
2. 低阶证据交互挖掘:量化证据组合超越单一特征的联合效应
在临床鉴别诊断中,单一症状往往模糊不清,多项症状的联合呈现才会形成决定性的临床表型。为了捕捉特征之间的非线性依赖,本文引入合作博弈中的交互指数,针对任意非空证据子集 \(S \subseteq E\) 计算其关于诊断 \(d\) 的交互效应:
当阶数 \(|S|=1\) 时,该式退化为单特征相对于全空证据基线的独立边际贡献;当 \(|S| \ge 2\) 时,正的交互值表示这些证据的共同出现产生了协同促进(加强诊断 \(d\)),负值则表示相互抑制或偏向竞争疾病。审计以低阶交互(特别是 \(|S| \le 3\))为主要挖掘目标,既兼顾了指数级子集组合的计算开销,又保证了临床专家可解释与可复核的认知颗粒度。
3. 基于诊断相对性的证据角色标注与机制归因:解耦交互发现与错误判定
传统特征归因常将大幅度的负向交互或非目标特征贡献误判为模型失误,但临床上支持竞争疾病正当拉低目标疾病边际正是鉴别诊断的核心体现。为此,本文建立了“诊断相对性(diagnosis-relative)”角色体系,将证据相对于特定诊断分为支持性证据、竞争支持证据、排除/否定性证据、背景/风险证据以及局部无关证据五大家族。
在归因流程上,算法采用严格的优先级判定:优先触发“候选误用(Candidate Misuse)”筛查,包括显式否定事实产生非预期正向促进(否定误用),以及无关解剖部位特征的非正当迁移(局部证据误用);未命中误用规则的交互则流向合理解释桶,如竞争特征拉低目标边际被归为“鉴别冲突/抵消(Conflict/Cancellation)”,目标特征之间的饱和抑制被归为“目标冗余(Target Redundancy)”。由此将统计显著的交互效应与临床病理学机制相绑定。
4. 多维稳定性过滤与定向反事实校验:剔除伪影并锁定真实证据失误
单次提示词微小的表述变动或选项排列顺序的变化极易产生伪交互信号。为了确保最终报告的失误具有高信度,审计设计了三道稳定性过滤漏斗:提示词句式扰动(临床摘要 vs. 问答问卷)、选项字母排列置换(多次轮转置换选项顺序以检验边际相关性)、以及扰动语义消融(将隐藏证据由“物理移除”替换为“未明确说明 / Not specified”的中和表述,以防模型产生缺失即反面的错误逆推)。
通过过滤的高危证据组合进一步进入定向反事实检验(Targeted Counterfactuals):在完整病例中仅靶向剥离可疑证据家族,重新观测模型边际与排名迁移。该设计成功将全局依赖与局部伪影相分离,例如证实腹股沟疝病例中皮疹特征仅为局部表征扰动并不影响全局排名,而重症肌无力中疾病名称家族史则会引发病理性的置信度过度放大。
实验关键数据¶
主实验¶
评估在五款主流开源医疗及通用指令模型(Qwen2.5-7B-Instruct、OpenBioLLM-8B、MedGemma-4B、BioMistral-7B、Llama3-Med42-8B)上展开,测试集包含结构化基准 DDXPlus(500 例验证集)以及叙述性真实病历基准 CupCase(200 例)和 MedCase(200 例)。
| 模型 | DDXPlus Acc (%) | CupCase Acc (%) | MedCase Acc (%) | 平均准确率 (%) |
|---|---|---|---|---|
| Qwen2.5-7B-Instruct | 65.8 | 87.0 | 40.5 | 64.4 |
| OpenBioLLM-8B | 74.0 | 87.5 | 55.0 | 72.2 |
| MedGemma-4B | 64.0 | 70.5 | 43.5 | 59.3 |
| BioMistral-7B | 54.6 | 80.0 | 44.5 | 59.7 |
| Llama3-Med42-8B | 73.4 | 77.0 | 49.0 | 66.5 |
消融与细粒度机制分析¶
实验首先对 DDXPlus 上挖掘的高强度交互进行机制分布与强度统计,并由五位资深医学博士在双盲设定下对 130 条高强度交互样本进行临床合理性裁决(Fleiss' \(\kappa = 0.82\))。
| 机制类型 | 数量占比 (%) | 强度占比 (%) | 效应均值 | 临床裁决:有效 (Valid) | 临床裁决:存疑 (Quest.) | 临床裁决:失效 (Invalid) |
|---|---|---|---|---|---|---|
| 鉴别冲突 / 抵消 (Conflict/cancel.) | 40.0 | 42.7 | 2.51 | 36 | 4 | 0 |
| 忠实目标支持 (Faithful target) | 37.7 | 36.6 | 2.29 | 29 | 1 | 0 |
| 背景 / 既往史 (Background/history) | 4.1 | 7.9 | 4.55 | 18 | 2 | 0 |
| 弱相关 / 冗余 (Weak/redundant) | 7.1 | 5.3 | 1.76 | — | — | — |
| 目标特征冗余 (Target redundancy) | 3.0 | 4.4 | 3.49 | — | — | — |
| 否定事实误用 (Negated misuse) | 2.5 | 2.2 | 2.12 | 9 | 0 | 11 |
| 对照 / 未明确 (Control/unclear) | 5.6 | 0.9 | — | 19 | 1 | 0 |
| 合计 / 全局 | 100.0 | 100.0 | — | 111 | 8 | 11 |
稳定性过滤在 300 条候选失效队列上的消融表现如下:
| 过滤阶段 | 候选数量 \(n\) | 人工裁决精确率 (Prec.) | 存疑率 (Quest.) | 误报率 (FP) |
|---|---|---|---|---|
| 原始自动规则 (Raw automatic) | 300 | 0.55 | 0.25 | 0.20 |
| + 提示词句式稳定 (Prompt stable) | 220 | 0.65 | 0.20 | 0.15 |
| + 选项顺序稳定 (+ order stable) | 180 | 0.75 | 0.15 | 0.10 |
| + 中和语义扰动 (+ neutralize) | 120 | 0.80 | 0.12 | 0.08 |
| 随机对照样本 (Random control) | 100 | 0.10 | 0.15 | 0.75 |
关键发现¶
- 诊断准确率不能等同于证据使用保真度:各模型在 DDXPlus 上的准确率排序与忠实支持强度或鉴别冲突强度的排序并不一致。例如 OpenBioLLM 准确率最高(74.0%),但其否定误用率仍不可忽视;高准确率模型同样存在被虚假捷径放大的现象。
- 高阶证据交互普遍存在且绝大多数临床正当:在三大数据集上,鉴别冲突与目标支持占据了 86%–94% 的交互强度总量,证明数学上的负向交互多数源自正常的鉴别排除(如肺炎表现正当降低哮喘边际),盲目视负交互为错误会导致极高误报。
- 真实失误高度聚集于极性反转与解剖局部越界:在双盲复核判定的 11 例确诊失效中,全部集中于否定证据误用(占比 55.0%),如“无近期旅行史”反常增强变应性鼻窦炎或格林-巴利综合征的诊断置信度,以及腹股沟疝病例异常依赖皮疹脱屑等解剖不相关体征。
- 稳定性漏斗能将误用检测精确率从 55% 提升至 80%:单纯依靠规则会混入大量提示词位置偏见,多维一致性约束成功将误报率从 20% 压缩至 8%。
亮点与洞察¶
- 解耦交互发现与错误判定:突破了传统归因算法“特征非独立即算法缺陷”的偏见,通过引入诊断相对性证据角色,首次将鉴别诊断学原理融入大模型行为可解释性框架。
- 中和化反事实设计极具实用价值:敏锐地指出在 LLM 提示词中直接“删除”否定事实(如删去“无胸痛”)并不等于该事实缺失,而可能诱发模型默认存在该症状;采用“未明确说明”进行中和,大幅提升了行为审计的因果严密性。
- 诊断剖面范式可迁移至多标签鉴别推理场景:这种基于边际差值博弈展开的低阶交互挖掘不仅适用于临床医学,亦可直接迁移至法律罪名推断、复杂系统故障归因等具有强排他竞争和证据相对性的决策任务中。
局限与展望¶
- 作者承认的局限:方法属于行为学审计(Behavioral Audit),依赖黑盒输出端的多选选项对数几率,无法直接映射到模型内部注意力层或潜隐激活态;计算复杂度随审计证据单元数量呈指数增长,使得单病例目前只能挑选 6–8 个关键单元审计前三阶交互。
- 审读发现的局限:临床角色构建在 DDXPlus 等结构化数据集上较为完备,但对于非结构化的临床自由文本(如 MedCase),精细的否定与竞争角色依然依赖人工或启发式拆解,泛化至跨院真实电子病历时自动化程度受限。
- 后续改进方向:可结合贪心稀疏近似或自适应重要性采样将可审计特征单元扩充至全病历量级;同时将行为学审计的边际约束作为先验惩罚项,反哺到医疗大模型的对齐与强化学习(RLHF/DPO)训练中。
相关工作与启发¶
- vs 传统特征归因与显著图 (Integrated Gradients / SHAP):传统方法计算单特征全局重要性,缺乏对候选竞争类别的相对性建模;本文在组合子集下利用博弈论交互指数建模非加性效应,并根据目标病种赋予特征动态角色。
- vs 思维链忠实度评估 (Chain-of-Thought Faithfulness):CoT 解释存在广泛的“事后合理化(Post-hoc rationalization)”和不可靠性;本文通过受控黑盒边际干预跳过文本表述,以客观可观测的决策偏好作为审计靶标。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出面向医疗差分诊断的诊断相对性行为审计框架,有效解耦交互与失误。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖五大主流模型与三大多样化数据集,包含 130 例专家双盲复核、消融过滤及细粒度反事实。
- 写作质量: ⭐⭐⭐⭐⭐ 概念界定严谨,临床逻辑与数学表述浑然一体,案例论证清晰有力。
- 价值: ⭐⭐⭐⭐⭐ 为高风险医疗大模型的可靠性准入、证据偏差诊断与临床安全性评估树立了标杆。