跳转至

Can MLLMs Perceive and Describe Medical Image Quality Beyond Scores?

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/liujiyaoFDU/MedQ-Bench
领域: 医疗自然语言处理
关键词: 医学图像质量评估, 多模态大语言模型, MedQ-Bench, 感知描述范式, 低层视觉推理

一句话总结

MedQ-Bench 构建了首个涵盖 5 种成像模态、40 余种退化类型及 3,308 张图像的医学图像质量评估(IQA)多模态基准,提出解耦“低层感知辨识”与“专家级诊断描述”的全新范式,评测 23 个前沿 MLLM 揭示出当前模型在轻度退化感知与细粒度成对对比上的严重瓶颈,并尖锐指出医学专用大模型普遍存在“以诊断偏置掩盖质量缺陷”的系统性失效。

研究背景与动机

医学图像质量评估(IQA)是临床 AI 安全部署的核心防线,直接决定了影像数据能否满足放射科医师及下游自动化辅助诊断的可靠性要求。然而,传统的医学图像质量评价方法长期依赖于单一的标量评分机制。无论是基于统计特征提取的无参考(NR)回归模型(如 BRISQUE、NIQE、CNNIQA、MUSIQ),还是依赖标准模板的全参考(FR)保真度指标(如 PSNR、SSIM、LPIPS),都仅仅输出孤立的数值分数。这种量化机制在本质上脱离了真实的临床实践流程:临床医师在审视影像时,绝非给出一个抽象分数,而是经历一个层次分明的认知推理过程——精准识别伪影的具体物理成因(如金属植入物伪影、运动伪影、低剂量噪声)、评估其对局部解剖结构与组织边界的遮挡程度、权衡其对病灶判读的潜在临床影响,并最终形成兼具因果解释的质量决策。标量指标不仅缺乏可解释性,更在面对复杂多变的物理退化时展现出极其脆弱的泛化能力,甚至经常出现“高平滑度对应高分、却彻底抹除病灶纹理”的临床逆淘汰现象。

多模态大语言模型(MLLMs)在通用低层视觉理解与高级医学图像解释任务上的迅猛演进,为彻底重塑医学 IQA 提供了前所未有的技术契机。理论上,MLLM 具备将复杂的质控过程分解为多步思维链(Chain-of-Thought)的潜能:自主定位退化区域、解析伪影物理机理、定量评估严重程度、推演临床可用性,并生成符合放射学规范的自然语言质控报告。然而,学术界与工业界迄今无法回答关键的科学问题:现有的通用与医学专用 MLLMs 是否真正具备跨越不同物理采集原理的细粒度低层视觉感知能力?它们给出的质量陈述究竟是基于对像素级退化机理的深刻理解,还是仅仅依赖语言模型的幻觉与统计捷径?目前的主流多模态基准大多聚焦于自然图像质量评估(如 Q-Bench),或是侧重于医学高级语义问答与疾病诊断(如 GMAI-MMBench、Med-XpertQA),在医学影像质控领域缺乏涵盖真实伪影、物理仿真与生成畸变的系统化评测基准。

针对传统标量评价无法解释成因与现有 MLLM 缺乏针对性医学质控基准的核心矛盾,本文提出了模拟放射学专家认知工作流的“感知—描述(Perception-Description)”新范式,并以此为理论基石构建了首个系统性医学图像质量评估基准 MedQ-Bench。核心 idea:将医学图像质量评估重构为解耦的“低层视觉感知”与“专家级因果描述”双轨评测体系,全面覆盖 5 大模态与 40 余种退化类型,并引入高置信度四维专家裁判协议,对主流 MLLM 展开深度质控能力压力测试与失效机理归因。

方法详解

整体框架

MedQ-Bench 的核心架构并非单一的模型算法,而是一套紧密契合临床质控逻辑的评估方法学体系。该框架由“数据源协同构建”、“解耦双轨评测任务”以及“专家对齐的大模型裁判协议”三大核心模块串联而成,其端到端执行流向如下:首先从真实临床、物理仿真及 AI 生成三类渠道汇聚 5 大模态影像并完成专家标注;随后将样本分流至探测低层视觉属性的 MedQ-Perception 选择题轨迹,以及要求生成完整推导链的 MedQ-Description 开放式与对比式评价轨迹;最后采用经放射学专家校准的四维 LLM-as-a-Judge 协议进行客观自动化打分,全面剖析 MLLMs 的能力边界。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多源医学影像输入<br/>CT / MRI / 病理 / 内窥镜 / 眼底"] --> B["多模态与三源数据协同构建<br/>真实临床 + 物理仿真 + AI生成"]
    B --> C["感知与描述解耦的双轨评测任务<br/>MedQ-Perception + MedQ-Description"]
    C --> D["专家对齐的四维大模型裁判协议<br/>完整性 + 精确性 + 一致性 + 质量准确率"]
    D --> E["23个主流MLLM多维能力诊断<br/>感知瓶颈定位与诊断偏置归因"]

关键设计

1. 多模态与三源数据协同构建:突破单模态局限,覆盖临床与算法退化全谱系

现有医学图像质量研究多局限于单一眼底或 CT 模态,无法涵盖物理成像差异巨大的复合退化。MedQ-Bench 构建了覆盖计算机断层扫描(CT)、磁共振成像(MRI)、内窥镜(Endoscopy)、组织病理学检查(Histopathology)以及眼底照相(Fundus)5 种代表性模态的综合影像库,总计 3,308 张图像,涵盖超过 40 种退化类型。为平衡现实复杂性与变量可控性,研究设计了三源协同采集策略: - 真实临床影像(Authentic, 占比 41.3%):来自 Radiopaedia、MR-ART、EndoCV2020、EyeQ 等临床公开数据库及 5T 超高场强私有临床采集,捕获真实的生理运动、骨骼伪影与复杂病灶; - 物理仿真退化(Simulate, 占比 33.9%):严格遵循成像物理原理引入可控退化。例如,CT 采用 AAPM CT-MAR 基准,运用 SIRT、FBP 和 FISTA 算法仿真有限角度重建、金属射束硬化与稀疏角度伪影;MRI 借助 SigPy 和 TorchIO,基于 DDNM 扩散零空间模型及小波重构算法仿真欠采样与运动伪影; - AI 生成与重构畸变(AI-Generated, 占比 24.8%):利用微调于医学图像的 BAGEL 扩散模型及 HARP 算法,合成前沿超分、风格迁移和重构算法可能诱发的微观结构幻觉与纹理缺失。

2. 感知与描述解耦的双轨评测任务:从低层视觉感知跃迁至专家级诊断推理

针对传统评估无法区分模型是“看不清像素退化”还是“缺乏医学推理能力”的痛点,MedQ-Bench 提出了由浅入深的任务解耦机制: - MedQ-Perception 任务轨(2,600 道多项选择题):专攻模型对像素级低层视觉特征的直接辨识,不涉及高层临床诊断推导。题目涵盖三大题型:二元判别(Yes-or-No,如“是否存在金属伪影”)、多类退化识别(What,从候选退化类型中识别主导缺陷)、严重度分级(How,评估伪影影响强度)。评测空间构建了双正交轴:第一轴正交划分“无退化(23.8%)/ 轻度退化(44.6%)/ 严重退化(31.6%)”,精准考察细粒度感知下限;第二轴解耦“通用质控问题(42.8%)”与“模态专有物理问题(57.2%)”,剥离常识性语言推理与专业成像物理知识。 - MedQ-Description 任务轨(708 个专家标注样本):评估模型端到端生成临床质控报告的认知能力。包含两个子任务:无参考质量描述(No-reference Description),要求模型以 3-5 句规范陈述依次输出模态解剖定位、具体退化类型与严重度、底层物理成因、临床诊断影响推演,以及三级质控决策(Good / Usable / Reject);成对对比描述(Comparison Description),给定两幅具有不同退化程度的图像对 \((I_A, I_B)\),判定优劣偏好 \(P(I_A \succ I_B)\),并按粗粒度(差异显著)与细粒度(微妙结构差异)两级难度要求模型阐明细节对比依据。

3. 专家对齐的四维大模型裁判协议:建立高置信度开放式医学评测标尺

开放式文本生成评测长期面临评估主观与指标脱节的问题,传统 BLEU、ROUGE 等 n-gram 重合度指标完全无法衡量医学逻辑与视觉证据的保真度。为此,MedQ-Bench 构建了严格对齐临床专家标准的 LLM-as-a-Judge 自动评分协议。以 GPT-4o 作为裁判模型,在结构化 Rubric 下对生成回答在四大正交维度上按 3 级标度(0、1、2 分)进行量化,总分上限 8 分: - 完整性(Completeness, 0-2):考察模型是否完全覆盖标准参考文本中的关键低层视觉异常信息; - 精确性(Preciseness, 0-2):惩罚与事实相反的描述(如将运动模糊说成清晰、将严重噪声说成洁净),允许词汇微调但严禁语义矛盾; - 内部一致性(Consistency, 0-2):评估推导链条与最终质量结论的逻辑自洽性,杜绝“陈述了灾难性金属条纹伪影却下达 Good 结论”的逻辑断裂; - 质量准确率(Quality Accuracy, 0-2):评估最终质控评级(Reject < Usable < Good)的序数吻合度,完全匹配得 2 分,相邻等级得 1 分,跨级或反向判定得 0 分。

为杜绝大模型裁判的自偏好偏置并确保医学可信度,研究团队招募 3 名资深医学影像专家实施了 200 例双盲一致性验证。在有序评分下采用二次加权 Cohen's \(\kappa_w\) 计算一致性: $\(\kappa_w = 1 - \frac{\sum_{i,j} w_{ij} O_{ij}}{\sum_{i,j} w_{ij} E_{ij}}, \quad \text{其中} \quad w_{ij} = \frac{(i - j)^2}{(k - 1)^2}\)$ 实测表明,GPT-4o 裁判与人类专家在四大维度上的吻合度分别达到 83.3%(完整性,\(\kappa_w=0.774\))、87.0%(精确性,\(\kappa_w=0.876\))、90.5%(一致性,\(\kappa_w=0.840\))以及 98.0%(质量准确率,\(\kappa_w=0.985\))。此外,跨模型裁判验证(引入 Claude-4-Sonnet、Gemini-2.5-Pro)显示组内相关系数(ICC)均超过 0.95,平均绝对偏差(MAD)低于 0.05,证明该评分系统具备作为专家替代裁判的高稳定性。

评估基准与实验设计

评测体系横跨开源通用大模型(Qwen2.5-VL、InternVL3、Qwen3-VL、Qwen3.5)、质量专用大模型(Q-Instruct、Q-Insight、VisualQuality-R1)、医学专用大模型(BiMediX2、Lingshu、MedGemma)以及闭源商业前沿大模型(GPT-5、GPT-5.4、GPT-4o、Claude-4-Sonnet、Gemini-2.5-Pro、Grok-4 等)共计 23 个代表性系统。全部基准测试在统一的 VLMEvalKit 框架下以纯零样本(Zero-Shot)形式部署于 NVIDIA A100 (80GB) 集群,API 模型统一固定贪婪解码参数(\(T=0\)),开源模型固定 \(top\_p=0.001, T=0.01\),以彻底排除随机解码带来的方差,严格测量纯粹的跨领域泛化下限。

实验关键数据

主实验:感知选择题与无参考质量描述评测

下表展示了各类代表性模型在 MedQ-Bench 感知选择题(MedQ-Perception)与无参考质量描述(MedQ-Description)上的完整基准评测表现:

模型分类 代表模型 (参数量) 感知: Y/N↑ (%) 感知: What↑ (%) 感知: How↑ (%) 感知 Overall↑ (%) 描述 Comp.↑ (0-2) 描述 Prec.↑ (0-2) 描述 Cons.↑ (0-2) 描述 Qual.↑ (0-2) 描述 Overall↑ (0-8)
人类对照 随机猜测 (Baseline) 50.00 28.48 33.30 37.94 - - - - -
非医学专业人员 67.50 57.50 57.50 62.50 - - - - -
医学影像专家 88.50 77.50 77.50 82.50 1.524 1.483 1.887 1.623 6.502
开源通用 Qwen2.5-VL-7B 57.89 48.45 54.40 54.71 0.715 0.670 1.855 1.127 4.367
Qwen2.5-VL-32B 67.38 43.02 58.69 59.31 1.077 0.928 1.977 1.290 5.272
Qwen2.5-VL-72B 78.67 42.25 56.44 63.14 0.905 0.860 1.896 1.321 4.982
InternVL3-8B 72.04 47.67 52.97 60.08 0.928 0.878 1.858 1.317 4.983
InternVL3-38B 69.71 57.36 52.97 61.00 0.964 0.824 1.860 1.317 4.965
Qwen3-VL-235B 55.44 67.82 66.27 62.45 0.946 0.720 1.629 1.471 4.765
Qwen3.5-397B 65.78 67.17 65.46 66.67 0.923 0.733 1.396 1.466 4.518
画质专用 Q-Instruct 78.32 36.43 46.22 58.01 0.398 0.330 1.498 1.167 3.394
Q-Insight 65.05 45.74 61.35 59.85 0.597 0.502 0.340 0.977 2.416
VisualQuality-R1 61.65 46.12 55.01 56.09 0.747 0.665 1.783 1.172 4.367
医学专用 BiMediX2-8B 44.98 27.52 27.81 35.10 0.376 0.394 0.281 0.670 1.721
MedGemma-27B 67.03 48.06 50.72 57.16 0.742 0.471 1.579 1.262 4.054
Lingshu-32B 50.36 50.39 51.74 50.88 0.624 0.697 1.932 1.059 4.312
商业闭源 Claude-4-Sonnet 71.51 46.51 54.60 60.23 0.742 0.633 1.778 1.376 4.529
Claude-Sonnet-4.6 66.67 59.83 58.63 62.99 1.109 0.873 1.498 1.489 4.968
Gemini-2.5-Pro 75.13 55.02 50.54 61.88 0.878 0.891 1.688 1.561 5.018
Gemini-3.1-Pro 66.13 58.32 64.26 63.07 0.765 0.760 1.647 1.557 4.729
Grok-4 73.30 48.84 59.10 63.14 0.982 0.846 1.801 1.389 5.017
GPT-4o 78.48 49.64 57.32 64.79 1.009 1.027 1.878 1.407 5.321
GPT-5.4 64.35 68.03 67.87 66.59 0.977 0.783 1.620 1.453 4.833
GPT-5 82.26 60.47 58.28 68.97 1.195 1.118 1.837 1.529 5.679

对比实验与细粒度退化剖析

下表汇集了成对图像对比描述任务(MedQ-Description Paired)在细粒度与粗粒度下的综合得分分布(Table 9),以及前沿模型在各模态的感知准确率与错误率透视(Table 8 & 10):

评测对象 成对对比: Overall↑ 细粒度对比 (Fine)↑ 粗粒度对比 (Coarse)↑ CT感知率↑ (%) MRI感知率↑ (%) 内窥镜感知率↑ (%) 病理学感知率↑ (%) 眼底照相感知率↑ (%)
人类专家 7.003 - - - - - - -
GPT-5 6.338 6.175 6.900 71.47 75.90 60.89 65.43 70.09
Kimi-K2.5 6.293 - - - - - - -
Qwen3.5-397B 6.015 - - - - - - -
GPT-4o 5.714 5.660 5.900 72.85 64.75 60.44 58.33 66.67
Grok-4 5.662 5.883 4.900 70.14 65.93 64.49 59.37 61.40
Gemini-2.5-Pro 5.594 5.485 5.967 67.04 60.79 60.89 53.40 59.83
InternVL3-8B 5.534 5.233 6.567 60.66 61.87 67.56 51.54 63.25
Claude-4-Sonnet 5.331 5.320 5.367 64.27 55.04 65.33 54.63 65.81
Lingshu-32B 4.654 4.437 5.400 57.89 61.15 50.67 35.19 48.72
Qwen2.5-VL-72B 4.060 3.602 5.633 65.65 74.82 66.22 47.53 64.96
MedGemma-27B 3.504 3.087 4.933 66.57 57.55 56.00 46.60 59.83
BiMediX2-8B 2.173 1.689 3.833 41.99 44.36 38.74 23.38 47.62

关键发现

  • 显著的人机性能鸿沟与梯队分层:人类放射学专家在感知任务上达到 82.50% 的准确率,在描述总分上高达 6.502。最强 AI 模型 GPT-5 在感知上仅达 68.97%,描述总分仅 5.679,仍显著落后于人类专家(落后 13.53%);但 GPT-5 显著超越非专业人类(62.50%)。各梯队表现呈现清晰分化:闭源商业前沿模型处于领先地位,超大开源模型(Qwen3.5-397B 达 66.67%)紧随其后。
  • 医学专用大模型的严重“诊断偏置”失效:医学专用模型在质控评测中遭遇全线崩塌。BiMediX2-8B 在感知选择题上准确率仅为 35.10%,甚至低于随机猜测基线(37.94%);其描述得分低至 1.721。质性案例分析揭示出致命的失效机制:面对由于金属植入物而布满严重发散状伪影、在临床上必须强制报废(Reject)的腹部 CT,BiMediX2-8B 却坚称该图像“清晰显示肝脏组织、对比度优良、无明显伪影,适合临床诊断(Good)”。这证明现有医学微调数据过度侧重疾病诊断与组织识别,使模型产生只关注病灶/器官而忽视严重成像畸变的病态偏置,导致“诊断信心过度膨胀、质控感知彻底失明”。
  • 通用画质模型的医学领域迁移失败:在自然图像画质基准上表现优异的 Q-Instruct、Q-Insight 与 VisualQuality-R1,在 MedQ-Bench 上表现平平(描述分仅 2.416 - 4.367)。这是因为医学影像的退化机理深深植根于物理成像原理(如射束硬化、相位编码失真),通用自然图像上的高斯模糊、色调偏移先验无法迁移至放射学语义。
  • 轻度退化构成感知“暗礁”:在退化严重度测试中,各模型在无退化图像上的平均准确率为 72%,在严重退化图像上为 67%,但在轻度退化图像上断崖式下跌至 56%。微弱的局部对比度下降、细小运动伪影极难被当前的视觉编码器捕获,构成了临床质控中最具隐蔽性的安全隐患。
  • 微观组织与光学模态是最高错误源:对顶级模型 GPT-5 的错误剖析(Table 10)显示,其在内窥镜(错误率 39.11%)和组织病理切片(错误率 34.57%)上的错误率远高于 CT(25.76%)与 MRI(24.10%)。具体伪影分析进一步发现,气泡(Air Bubbles,错误率 95.23%)、镜面强反光(Specularity,错误率 90.48%)和血渍干扰(Blood,错误率 84.62%)是 MLLM 最难辨识的特征,原因是高频纹理与复杂组织背景产生严重混叠。
  • “描述逻辑完整,但底层感知空虚”:全量模型的内部一致性(Consistency)得分普遍偏高(多在 1.7 - 1.9 分之间),表明 MLLM 具备极强的指令遵循与逻辑自圆其说能力;然而其完整性(Completeness,多在 0.7 - 1.2)与精确性(Preciseness,多在 0.6 - 1.1)极度匮乏,证明限制大模型生成高质量质控报告的核心卡点在于“低层视觉感知缺陷”,而非语言推导链条。

亮点与洞察

  • 建立临床对齐的“感知—描述”双轨解耦范式:首次将医学质控从“黑盒打分”提升为具备因果可溯源性的思维链交互,同时设计正交的 MCQA 与开放式结构化报告生成任务,为学术界量化诊断 MLLM 的视觉短板提供了精准解剖工具。
  • 三源数据与物理退化建模构建真实测试集:摒弃单纯依赖开源数据集简单叠加的做法,系统性引入 AAPM CT-MAR、SigPy/TorchIO 等严谨的物理仿真退化,并覆盖超高场强 5T MRI 与生成模型畸变,构建了兼顾临床真实感与严密可控性的 3,308 张全景测试集。
  • 揭穿医学大模型在质控领域的“虚假繁荣”:精准抓住了领域微调的致命漏洞——诊断导向的微调策略反而破坏了模型对底层物理噪声的敏感度,形成了“敢于在废片上强行下诊断”的系统性临床隐患,为未来医学多模态基础模型的预训练数据配比敲响了警钟。
  • 高置信度的四维 LLM-as-a-Judge 评估规约:通过二次加权 Cohen's \(\kappa_w\)、三位放射学专家双盲审阅以及多裁判交叉验证,证实了 GPT-4o 裁判与人类专家的高度吻合度(\(\kappa_w\) 最高达 0.985),确立了一套低成本、高复现性的开放式医学描述自动评测工业级标准。

局限与展望

  • 作者承认的局限:尽管基准涵盖了 5 大模态与 40 余种退化类型,但在超声(Ultrasound)、X射线荧光透视等临床常见检查方式上仍有缺失;当前基准仅在零样本(Zero-Shot)场景下进行压力测试,未探索领域指令微调(SFT)或测试时增强(TTA)所能达到的性能上限。
  • 独立审视的局限:虽然采用了多名放射学专家校验,但开放式评估的核心判决依然依赖 GPT-4o,在极长序列或极端长尾医学案例中可能潜藏判决模型的隐性认知偏置;此外,评测图像主要处理为 2D 切片,对于真实临床中包含空间容积连续性的 3D CT/MRI 序列质控尚未完全覆盖。
  • 未来改进方向:构建能够联合感知容积断层序列的 3D 医疗多模态质控网络;针对医学模型的“诊断偏置”,研发感知解耦的多任务强化学习(RLAIF)策略,迫使模型在形成诊断前必须显式进行物理质控门控。

相关工作与启发

  • 对比传统标量 IQA(BRISQUE、NIQE、CNNIQA、MUSIQ、LPIPS):传统方法只能给出单一标量数值,无法解释退化物理根源与临床影响,且无法应对跨模态分布漂移;MedQ-Bench 推导因果质控语言链,实现了面向临床真实决策的质控跃迁。
  • 对比通用多模态画质基准(Q-Bench、Q-Instruct、DepictQA):通用基准局限于自然场景的降质模式(色彩平衡、自然失焦、JPEG 压缩),无法覆盖射束硬化、有限角度重建、K 空间欠采样等物理退化;MedQ-Bench 填补了专业医学物理成像退化的评价空白。
  • 对比高级医学多模态基准(GMAI-MMBench、PMC-VQA、OmniMedVQA):现有医学基准聚焦于病灶检测与疾病问答等高层语义任务;MedQ-Bench 填补了上游“图像准入把关”与低层物理感知能力的评测空白,是构建可信全流程临床智能体不可或缺的基石。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出医学图像质量评估的感知—描述范式,开创性构建多模态、多源物理退化基准与四维大模型裁判机制。
  • 实验充分度: ⭐⭐⭐⭐⭐ 评测 23 个主流跨类别 MLLM,涵盖 5 大模态、40 余种退化类型,并配备严密的放射科专家双盲对齐实验。
  • 写作质量: ⭐⭐⭐⭐⭐ 论证结构极其严密,概念定义清晰,图表数据完备详实,失效归因深刻切中要害。
  • 价值: ⭐⭐⭐⭐⭐ 揭露了医学专用大模型严重的质控盲区,为可信医疗 AI 质控把关提供了标准基准与关键研究方向。