跳转至

MedQA-MM: Shortcuts Behind Medical Visual Reasoning

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/benluwang/MedQA-MM-EMNLP2026
领域: 视觉语言推理
关键词: 医疗多模态问答、捷径学习、推理虚增、成对修复干预、跨模态基准评测

一句话总结

针对医疗多模态多选题基准将单一准确率错误等同于真实图像推理能力的“推理虚增”问题,本文提出了涵盖候选筛查、模态消融、成对微创修复与临床验证的证据阶梯评测框架,实证揭示了选项形式与非视觉文本等捷径对模型决策的显著驱动作用,并构建了具备残差风险审计的千题级捷径抑制基准 MEDQA-MM。

研究背景与动机

医疗视觉语言模型(Medical VLMs)近年来在各大医学多模态多选题(MCQ)基准上屡创高分,这些基准通常将紧凑的准确率直接解读为模型具备结合复杂病理图像进行临床推理与鉴别诊断的直接证据。然而,基准测试的评分机制仅能忠实记录最终选项输出的对错,却无法区分产生该答案的底层决策路径(Reasoning Routes)。在临床专家面对一道影像病例题时,真正的突破口(Aha! 时刻)来自病变区域的图像征象(如右下叶局灶性气腔实变)与临床机理的结合;但对于多模态大模型而言,决定最终选择的决胜线索往往来自选项长度差异、题干非视觉文本病史偏置、图像内部残留的文字标签、人工标记箭头或手术置入器材等基准保留的浅层捷径。

这种答案一致但推理路径严重脱节的深层矛盾,导致了学术界对模型能力的严重误判,即“推理虚增”(Reasoning Inflation)——未经严密路由审计的基准准确率无法辨别得分到底是源于模型视觉理解能力的提升,还是源于对数据伪影与形式线索更强的捕获倾向。医学多模态选择题天然交织了多重捷径风险:教育测量学中早已警示的选项长度悬殊、绝对化措辞和语法不对称;自然语言处理中常见的假设偏置与浅层启发式;视觉问答领域的纯语言先验;以及医学影像特有的 DICOM 标注、引流管与固定钢板等诊疗痕迹。现有多模态基准大多仅停留在事后榜单分析或简单的盲测对比,缺乏从证据层面对各路捷径进行系统解耦、受控因果验证与安全修复的完整闭环。

针对上述瓶颈,本文并未采取简单粗暴的直接删除策略(这在昂贵稀缺的医学影像数据集中代价极高且可能误伤核心诊疗线索),而是提出了一种基于证据阶梯(Evidence Ladder)的数据中心型审计与修复框架。研究通过规范化跨模态基准的提示词可见字段与元数据、设计部分输入消融探针,并由前沿大模型引导进行保持医学真实性与唯一正确答案不变的成对微创修复(Matched Repairs),从而将表层线索的存在性与模型的实际因果依赖严格区分开来。本文的核心 idea 是构建基于“双重 Aha(Two-Aha)”视角的路径解耦审计与微创修复验证框架,从选项形式、非视觉临床文本及图像侧伪影三个维度量化推理虚增,并通过严格保持医学真值与唯一答案结构的成对干预及临床专家验收,打造低捷径依赖的医疗视觉推理基准 MEDQA-MM。

方法详解

整体框架

本文构建了覆盖“多模态捷径形式化定义 \(\to\) 跨维度候选线索筛查 \(\to\) 部分输入模态消融 \(\to\) 成对微创修复干预 \(\to\) 临床语义多维验收”的闭环审计体系。整个流程将 6 个主流医学多模态 MCQ 基准统一标准化,严格隔离仅供数据溯源的源端元数据与模型可见的提示字段,随后在全输入(Full Input)、无图纯文本(Text-only)、纯选项(Options-only)以及图+选项(Image+Options)四种模态设置下开展探针压力测试。针对暴露出的选项形式偏差、图像人工标记和自然临床上下文线索,方法执行严格约束的成对干预与专家双盲审校,最终提炼出具备端到端追踪日志的捷径抑制基准。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入:多模态医学MCQ<br/>(图像 + 题干 + 选项)"] --> B["1. 证据阶梯评测协议<br/>四模态消融与路径解耦"]
    B --> C["2. 选项形式成对微创修复<br/>长度/空间/绝对词干预"]
    C --> D["3. 图像人工标记与自然线索干预<br/>掩膜修复与SDOH上下文微调"]
    D --> E["4. 临床真值与残差风险验收<br/>专家双盲多维语义核验"]
    E --> F["输出:MEDQA-MM基准<br/>(1,000题捷径抑制测评集)"]

关键设计

1. 证据阶梯评测协议:痛点 -> 机制 -> 效果 传统基准将单一全量输入准确率作为衡量医学视觉推理能力的绝对指标,但高准确率极易被语言先验与表层形式伪影所污染。为此,本文建立了由弱至强的四层证据阶梯(Evidence Ladder):首先通过规则模式或语义判别器标记“候选线索”(Screened Candidate);其次通过部分输入模态消融(Options-only, Text-only, Image+Options, Full input)以及专门训练的轻量诊断猜测器(Diagnostic Guessers)定位“消融支持线索”(Ablation-supported Candidate);进而在保持医学真值不变的前提下施加受控反事实编辑,观察模型决策转移以确认“修复支持线索”(Repair-supported Candidate);最后由高级临床专家进行语义与有效性核定,形成“专家验证线索”(Expert-validated Candidate)。这一分层协议成功将表层线索的“静态存在性”与模型的“行为依赖性”彻底解耦,避免了将临床必要的合理病史或解剖标记误判为非特异性捷径。

2. 选项形式成对微创修复:痛点 -> 机制 -> 效果 选择题选项表层结构极易泄露答案,例如正确选项往往显著长于干扰项(长度差陷阱)、独占解剖方向或测量阈值介词(空间/介词偏置),或干扰项包含过于武断的排他性词汇(绝对词偏置),使得模型仅凭选项字面即可反推正解。为量化这种因果依赖,本文设计了三大成对选项修复集:长度差修复(306对)、空间/介词修复(101对)与绝对/显眼干扰项修复(101对)。以大模型引导在严格安全约束下进行微创改写——仅修改1-2个干扰项(使其长度超过正确项至少5个字符,或赋予其平行的解剖空间描述,或软化绝对化词汇),严禁改动题干、正确选项及选项顺序,且绝不引入同义竞争或新的形式线索。模型在原始题与修改题之间进行多轮成对评测,通过计算改写前后表现差值 \(\Delta_{\text{text}} = \text{Acc}_{\text{edited}} - \text{Acc}_{\text{original}}\) 并追踪选项转移终点(Destination Analysis),有力证实了选项形式偏差直接造成了显著的性能虚增,且预测概率在修改后高度特异性地回流至被修改的干扰项。

3. 图像人工标记与自然线索干预:痛点 -> 机制 -> 效果 医学影像常带有医生人工绘制的病灶指示箭头、圈注线条、彩色高亮,或者在临床病史中包含敏感的社会人口学(SDOH)标签(如种族、职业、居住环境),这些非本质线索极易诱导模型建立虚假的捷径映射,从而绕过图像底层病理征象的细粒度识别。针对图像人工标记,本文从856个高置信线索中筛选出200对样本,提取标记透明掩膜后利用图像修复技术在保持底层病灶结构完好的前提下彻底清除外加标记;针对自然临床线索,本文设计了严格受控的上下文去敏与泛化协议(302对),中和非必须的人口统计学表述。在评价模型依赖度时,定义严格的“恶意使用比率”(Bad/Cue Ratio,即在原始输入中模型依赖该线索答对、而在移除线索后转为答错的比例),清晰揭示了部分开源模型表面看似关注标记、实则并未产生实质性能受损,而另一些紧凑模型则对视觉标记与人口学捷径存在高达15%-20%的致命虚假依赖。

4. 临床真值与残差风险验收:痛点 -> 机制 -> 效果 纯自动化数据清洗极其容易破坏医学多选题严谨的真假排他性,诱发多重答案或临床常识错误,进而摧毁基准测试的基石。为此,本文组建了由两名高资历临床主治医师(三级医院放射科医师与医学院外科专家)及医学背景标注员构成的五人审校委员会。专家团队针对线索合理性、医学真实性、唯一最佳选项保持度以及捷径抑制效果开展双盲审查。在抽样审校中,选项修复集的医学真实性达 94.7%(142/150),捷径改善率达 98.7%(148/150);自然线索中和集与图像标记修复集真实性分别达到 100%(50/50)与 97.8%(45/46)。对于排查发现的手术内固定钢板、支架植入等难以安全擦除的诊疗器材器械线索(已确认9例),果断采取整题剔除而非破坏原图的策略,从而确保入选测试集的高保真度与医学可解释性。

捷径归因与跨模态诊断协议

为了更清晰地阐明捷径在模型推理过程中的非视觉渗透机制,本文制定了跨模态维度消融与猜测器基线协议。该协议规定:在基准准入测试中,任何被采纳的题目必须通过 Options-only 和 Question+Options 盲测审计。如果一个基于纯文本微调的轻量判别模型(如 Qwen3.5-9B Q+O Guesser)在完全无法获取图像像素的前提下,仅凭题干与选项即可达到 50% 以上的准确率,则表明该题目存在严重的非视觉文本外溢或临床综合征固定套路(Illness Scripts)。只有在模态消融下展现出对图像像素强依赖(即无图设置准确率大幅暴跌至随机猜测水平)的条目,方能被核准纳入高置信医学视觉推理评测集。

实验关键数据

主实验

审计涵盖 6 个主流医学多模态 MCQ 基准共 7,706 道题目(AMBOSS、JAMA Clinical Challenge、MMMU Health/Medicine、MedThinkVQA、MedXpertQA-MM、NEJM Image Challenge)。在由 13 种开源模型/模式配置构成的评测面板中,全面评估了各输入模态下的平均表现;同时测试了在无图条件下训练的专有猜测器基准。

输入设置 / 评测模型 AMBOSS JAMA MedThinkVQA MedXpertQA-MM MMMU-HM NEJM 整体平均 / 面板表现
随机基线 (Random Chance, \(1/K\)) 17.24% 24.95% 20.00% 20.00% 25.95% 20.00% 22.13%
纯选项猜测器 (Options-only Guesser) 32.96% 51.66% 57.78% 26.46% 33.93% 34.49% 38.12% (+15.99 pp)
题干+选项猜测器 (Q+O Guesser, 无图) 87.78% 70.16% 54.72% 34.36% 47.67% 56.12% 53.75%
开源多模态面板 (13-Config Mean):
- Options-only (纯选项) — — — — — — 29.71%
- Image+Options (图+选项) — — — — — — 43.84%
- Text-only (纯文本无图) — — — — — — 53.96%
- Full Input (全量多模态输入) — — — — — — 62.63%

消融实验

消融实验聚焦于三类选项形式捷径的成对微创修复干预(共 508 对成对样本,每项配置重复运行 20 次并计算 95% 置信区间),以及在净化后构建的 MEDQA-MM 子集(1,000 题)上的全模态穿透性评测。

实验组别 / 干预条件 样本规模 (\(N\)) 指标定义 平均准确率变化 (\(\Delta\)) 预测转移向修改干扰项 预测转移向未修改项
长度差修复 (Length-gap Repair) 306 对 \(\Delta_{\text{text}}\) (改后 - 改前) -6.58 pp [-7.60, -5.59] +9.47 pp [8.26, 10.75] -2.87 pp [-3.66, -2.11]
空间/介词修复 (Spatial Repair) 101 对 \(\Delta_{\text{text}}\) (改后 - 改前) -4.77 pp [-5.86, -3.70] +2.63 pp [1.28, 4.05] -0.69 pp [-1.85, 0.40]
绝对词修复 (Absolute Repair) 101 对 \(\Delta_{\text{text}}\) (改后 - 改前) -3.50 pp [-5.18, -1.79] +4.07 pp [1.60, 6.35] -1.46 pp [-2.84, 0.00]
MEDQA-MM 捷径抑制子集评测:
- Options-only 盲测探针 1,000 题 准确率 12.33% (大幅压制,低于常态随机) — —
- Text-only 无图探针 1,000 题 准确率 5.21% (彻底阻断纯文本作弊) — —
- Image+Options 探针 1,000 题 准确率 28.47% (高出全量输入 1.88 pp) — —
- Full Input 全量多模态输入 1,000 题 准确率 26.59% (回归真实高难度视觉归因) — —

关键发现

  • 纯文本推理的严重渗透:在 13 种开源多模态模型中,Text-only 设置下的平均准确率达到 53.96%,距离 Full Input 的 62.63% 仅有 8.67 个百分点的差距。无图 Q+O 猜测器在 AMBOSS 上甚至高达 87.78%,证明原基准中大量题目纯靠病史常识即可轻松推导,根本无需查看影像。
  • 选项形式操纵的特异性因果影响:去除最长选项优势直接导致全面板模型平均掉点 6.58 pp,且预测概率以 +9.47 pp 的幅度精准回流至被拉长修改的干扰项,而其余未改动选项概率则净降 2.87 pp;在排除长度混淆的空间介词修复子集中,针对性编辑依然带来 +2.70 pp 的净偏好转移,强有力证明大模型高度依赖选项排版特征做决策。
  • MEDQA-MM 对非视觉捷径的成功阻断:在经过严格筛选与修复的 1,000 题 MEDQA-MM 中,Text-only 准确率断崖式暴跌至 5.21%,Options-only 降至 12.33%,彻底切断了语言先验漏洞;同时,Image+Options(28.47%)略高于 Full Input(26.59%),误差分析表明在 10.7% 的错题中存在“题干干扰(Stem Interference)”效应,即复杂的文本病史反而误导了模型对清晰图像征象的判断。

亮点与洞察

  • 提出了针对多模态评测的“Two-Aha”理论框架,将传统教育测量学(Item-writing Flaws)、NLP 数据伪影和医学成像捷径统一在单一证据阶梯之下,深刻揭示了单凭准确率单指标无法反映真实视觉推理的本质弊端。
  • 建立了以成对微创修复(Matched Repairs)为核心的因果归因机制,摒弃单纯的静态相关性统计,通过严谨的反事实编辑和终点转移分析(Destination Analysis),在保留题目临床内涵的同时为捷径依赖提供了强因果链条证据。
  • 规范了基准发布的新范式:强调应将“捷径抑制(Shortcut-mitigated)”而非虚假宣传的“完全无捷径(Shortcut-free)”作为发布标准,并在基准发布中强制公开各模态消融成绩、修改溯源记录及残差风险日志。

局限与展望

  • 修复规模与临床验证成本:成对反事实改写虽然精准,但极度依赖专家逐项复核以防改变医学真值。本研究仅在大规模样本上完成抽样专家审查,未能做到全量数千题的 100% 资深医师双盲质检。
  • 图像级直接修复的技术瓶颈:对于图像中嵌入的手术固定器材、起搏器及引流管等实体诊疗异物,当前扩散修复工具极易在擦除器械的同时模糊周边解剖纹理或引入虚假伪影,导致此类题目目前只能做剔除处理,限制了该类真实复杂病例的评测保留率。
  • 复杂推理交互下的题干干扰机理:在 MEDQA-MM 上观察到的 Image+Options 优于 Full Input 现象,虽已通过 300 例分析归因为题干干扰与幻觉锚定,但如何在模型端实现鲁棒的跨模态自适应置信度动态加权,仍有待未来算法研究深入突破。

相关工作与启发

  • vs MMMU-Pro / HallusionBench: 现有多模态鲁棒性基准主要采用跨模态置乱或合成干扰图来检验视觉幻觉,而本文专注于医学高利害专业场景下天然存在的形式偏置、临床上下文先验及图像内建标记,开创了成对微创修复验证范式。
  • vs Med-Flamingo / LLaVA-Med: 以往医疗大模型研究倾向于通过在既有 MCQ 基准上的准确率数字论证模型的临床推理能力,本文从测量有效性层面指出这些成绩包含相当比例的“推理虚增”,为医疗领域大模型的训练目标与基准评测规范提供了重要审校依据。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从证据阶梯与成对修复因果视角系统揭露医学多模态MCQ评估中的捷径依赖与推理虚增现象。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 大基准 7,706 道题目、19 种模型配置、多轮重复评测、终点选项转移分析以及高资历专家的抽样双盲质检。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨,理论建模与实证分析高度闭环,概念界定清晰规范。
  • 价值: ⭐⭐⭐⭐⭐ 为多模态评估体系的真实性度量树立了数据中心型审计与修复标杆,对防范 AI 医疗落地中的虚假安全感至关重要。