ECG-Reasoning-Benchmark: A Benchmark for Evaluating Clinical Reasoning Capabilities in ECG Interpretation¶

会议: NeurIPS 2026
arXiv: 2603.14326
代码: https://github.com/Jwoo5/ecg-reasoning-benchmark
领域: Reasoning
关键词: 多模态大模型, 心电图解析, 临床推理评测, 信号溯源定位, 多轮验证基准

一句话总结¶

针对现有多模态大模型（MLLM）在心电图诊断中依赖文本表层关联与幻觉模式匹配的问题，本文提出了包含 6,400 余个多轮样本、覆盖 17 种核心心电诊断的基准评测框架 ECG-Reasoning-Benchmark，通过自动化流水线构建可追溯真实信号证据的 ground-truth，揭示出当前主流模型在全链条临床演绎中近乎归零（<6%）的严重推理缺陷。

研究背景与动机¶

自动化心电图（ECG）分析在判别式深度学习时代取得了媲美心血管专科医生的分类精度，但医疗临床决策对黑盒判别始终存在审慎怀疑，亟需模型提供严密的推导过程与生理证据链条。近期，结合大语言模型的多模态模型（如 PULSE、GEM、OpenTSLM、ECG-R1 等）相继涌现，能够生成连贯流畅的医学诊断报告和临床问答。然而，这些生成式解释隐藏着巨大的幻觉隐患。

现有心电多模态模型的训练集往往借助 GPT-4 根据既有高层诊断标签或机器报告纯文本合成，导致模型学到的只是背诵教科书式的术语组合与语言风格，从未真正将逻辑推理扎根于底层原始生理信号之中。此外，学术界广泛采用的 LLM-as-a-Judge 评估机制只对比生成文本与参考文本的语言学对齐度，而评判大模型自身根本不审视心电原始图像，彻底掩盖了模型脱离波形凭空捏造事实的致命缺陷。

要打破这种“虚假繁荣”，评测必须从主观的文本流畅度打分转向严苛的“临床推理实操考试”。核心 idea：基于波形显式生理特征建立客观透明的因果判定链，通过“标准选择-异常识别-信号溯源-诊断决策”的递归验证闭环，全面检验模型是否真正基于心电图波形做出每一步临床演绎。

方法详解¶

整体框架¶

ECG-Reasoning-Benchmark 包含两大支柱：一是直接从 12 导联连续原始信号中提取可追溯特征的自动化心电分析流水线（Automated ECG Analysis Pipeline）；二是以此构建的四步递归推理验证闭环（4-stage Verification Loop）。

整个评测流程首先向模型抛出初始诊断问题以建立端到端基线能力，随后强行进入多轮单项异常验证循环。针对目标疾病所涉及的每项临床表现，模型必须依次完成诊断标准检索、信号异常检测、三维信号精准定位与当前阶段诊断决策。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始 12 导联 ECG 信号 / 图像输入"] --> B["自动化分析流水线<br/>波形分割与生理特征显式提取"]
    B --> C["层级化临床诊断逻辑图<br/>确定 17 种核心疾病推理路径与金标准"]
    C --> D["初始诊断基线评估 (IDA)"]
    D --> E["四步递归推理验证闭环<br/>(Criterion → Finding → Grounding → Decision)"]
    E -->|每项临床所见逐一过关| F["最终诊断裁决与全链条完成率 (Completion / Depth)"]

关键设计¶

1. 融合生理约束与模板匹配的波形自动化解析流水线 为了避免依赖人工标注带来的波形边界与间歇测量缺失，流水线首先采用 U-Net3+ 架构预测 P 波、QRS 波群、T 波与等电位线背景四类概率图。针对传统深度模型在高度房室传导阻滞等病理状态下极易遗漏“脱落 P 波”的缺陷，流水线引入基于 SciPy 峰值检测与同导联形态模板匹配的靶向恢复算法，根据持续时间（\(\ge 60\text{ ms}\)）与振幅门限（相邻 QRS 振幅的 \(5\%\)）找回漏检波形；同时施加单周期单 T 波生理约束并实施 4 导联时空一致性对齐，为后续特征量化提供精准基石。

2. 从连续生理测量到离散临床表现与层级诊断图谱的映射 在分割得到的波形上，流水线自动化计算 P、QRS、T 波时程、PR/RR/QT 间期、ST 段 J 点偏移幅度、QRS 复合波形态（如 qR、rS、RSR'）及额面电轴等低维连续特征。随后依据心脏病学指南建立硬性规则（如超过半数心搏的 PR 间期 \(>200\text{ ms}\) 即映射为“PR 间期延长”）。针对 17 种核心心电诊断，由内科专科医生审核并形式化建立了因果推导逻辑图，涵盖不同变体路径，使每个诊断结论均拥有无可辩驳的生理证据链。

3. 结构化四步多轮演绎验证闭环 对于样本涉及的每个必要临床征象，评测展开深度探针验证： - Criterion Selection（标准选择）：从引入范畴混淆项（如正常 PR 间期 vs 延长 PR 间期）与在场无关混淆项（当前波形存在但与该病无关的特征）的多选题中挑出目标标准，考察医学先验知识检索； - Finding Identification（异常识别）：询问该特征在当前心电中是否存在，测试基础视觉感知能力； - ECG Grounding（信号溯源）：进一步细分为导联定位（Lead Grounding）、时间段定位（Wave Grounding）和数值范围选择（Measurement Grounding），逼迫模型指出异常波形所在的时空物理坐标与量化区间； - Diagnostic Decision（诊断决策）：判定当前所收集的证据是足以确诊还是“需进一步检查后续特征”。任一环节出错即在该临床所见处截断，并强行注入标准历史记录继续下一轮，从而精确量化推理崩溃的深度。

4. 严苛平衡的多路径采样与抗幻觉评测指标体系 评测集自 PTB-XL 与 MIMIC-IV-ECG 深度清洗提取，严格筛选机器流水线与人类金标准完全一致的样本，并在各疾病的多种不同逻辑推导路径上做均匀采样，最终构建包含超 6,400 个病例、超 51,000 个问答对的大规模基准。在此基础上定义四项量化指标：初始诊断精度（IDA）、全程零容错推理完成率（Completion）、平均推进深度（Depth，满分 4 分）以及在注入真实推理链后的终极诊断精度（GT-RDA），杜绝一切蒙混过关。

一个完整示例¶

以完全性左束支传导阻滞（CLBBB）的一条阳性推导链为例： 1. 初始提问：模型首先回答“该心电图是否提示 CLBBB？”（记录 IDA）； 2. Loop 1（QRS 时限增宽）：模型选出该准则（Step 1 对，+1），确认其存在（Step 2 对，+1），定位对应波形片段（Step 3.1 对，+0.5）但在时限数值区间选错（Step 3.2 错），Loop 1 截断得分 2.5。系统在 prompt 中注入 Loop 1 的完整标准证据，推动进入下一循环； 3. Loop 2（V1/V2 导联呈优势 S 波）：模型完全回答正确各环节，并准确做出“需进一步检查后续特征”的中间决策，得分 4.0； 4. Loop 3（侧壁导联无 Q 波的单相 R 波）：Step 1 正确，但在 Step 2 误判为不存在，得分 1.0； 5. Loop 4（侧壁导联 R 波切迹）：Step 1 与 Step 2 正确，但在 Step 3 导联定位选错，得分 2.0。该样本在单项上的 Depth 得分为 \((2.5+4.0+1.0+2.0)/4 = 2.375\)，而全链条 Completion 判定为失败（0%）。

实验关键数据¶

主实验¶

论文对 14 款代表性多模态大模型进行了横跨 PTB-XL 与 MIMIC-IV-ECG 两个大规模来源集的系统评测，覆盖 ECG 专用模型、通用医学基座模型、通用开源模型及前沿闭源商用模型。

数据集	模型类别	模型名称	IDA (%)	Completion (%)	Depth (0-4)	GT-RDA (%)
PTB-XL	ECG-specific	PULSE (7B)	80.93	5.45	1.24	35.18
PTB-XL	ECG-specific	GEM (7B)	84.37	6.13	1.34	65.66
PTB-XL	ECG-specific	ECG-R1-SFT (8B)	85.12	5.45	1.80	21.76
PTB-XL	ECG-specific	ECG-R1-RL (8B)	85.41	5.90	1.79	22.70
PTB-XL	ECG-specific	OpenTSLM (3B)	54.77	0.65	0.17	37.58
PTB-XL	Medical	Hulu-Med (32B)	57.49	3.21	1.62	99.42
PTB-XL	Medical	MedGemma-1.5 (4B)	42.83	0.68	0.92	85.02
PTB-XL	General	Qwen3-VL (32B)	59.73	5.71	1.63	89.46
PTB-XL	Proprietary	Gemini-2.5-Pro	55.12	3.44	2.01	86.87
PTB-XL	Proprietary	Gemini-3-Flash	65.86	6.26	2.09	91.76
PTB-XL	Proprietary	GPT-5.2	67.80	5.84	1.97	85.70
MIMIC-IV	ECG-specific	PULSE (7B)	72.10	4.76	1.22	30.01
MIMIC-IV	ECG-specific	GEM (7B)	76.27	5.30	1.30	57.01
MIMIC-IV	ECG-specific	ECG-R1-RL (8B)	80.17	5.81	1.71	22.95
MIMIC-IV	Medical	Hulu-Med (32B)	51.62	3.36	1.53	97.20
MIMIC-IV	General	Qwen3-VL (32B)	54.30	5.03	1.59	88.00
MIMIC-IV	Proprietary	Gemini-3-Flash	60.64	5.72	2.07	91.25
MIMIC-IV	Proprietary	GPT-5.2	63.41	5.27	1.93	83.83

消融与流水线验证实验¶

在 LUDB 数据集上对底层波形检测与分割模块进行的消融对比验证（容差 150 ms）：

方法 / 配置	P 波 Recall	P 波 Precision	QRS Recall	QRS Precision	T 波 Recall	T 波 Precision	说明
ecgpuwave (经典信号处理)	0.872	0.818	0.993	0.998	0.890	0.983	传统导联差分算法
NeuroKit2 (开源工具包)	0.969	0.762	0.861	0.854	0.781	0.908	经典神经信号库
UNet3+ (基准深度学习模型)	0.972	0.942	0.999	0.999	0.983	0.993	未加针对性后处理
Ours (UNet3+ 与后处理完整流水线)	0.978	0.934	1.000	1.000	0.997	0.993	找回无标注脱落P波导致查准率轻微名义下降

关键发现¶

全链条推理完成率近乎溃败：即便最强的 Gemini-3-Flash 或微调过的 ECG-R1-RL，在多步严格验证闭环下的 Completion 均低于 6.3%，显露出当前模型无法维持完整推导链。
深度瓶颈在信号溯源而非医学常识：各模型的 Depth 指标普遍处于 1.0~2.0 区间，说明模型能准确在 Step 1 挑选医学准则（记忆性良好），却在 Step 2（异常识别）和 Step 3（导联、波形及数值定位）迅速折戟。
ECG 专用模型存在严重的表面拟合伪推理：非专有通用大模型在引入标准推理链后诊断精度飙升（如 Hulu-Med 32B 从 57.49% 跃升至 99.42%）；相反，PULSE 和 ECG-R1 等心电专用模型拥有高初始诊断分（IDA >80%），但在提供标准推导链（GT-RDA）后反而崩溃到 20%~35%，坐实了它们仅是在记忆全局文本波形标签的快捷关联，完全不具备基于逐步生理证据进行归纳推理的能力。

亮点与洞察¶

评测视角的范式转移：从“依赖没有眼睛的 LLM 裁判为语言流畅度打分”，彻底转变为“依赖底层波形提取的严密四步闭环实操考核”，揭开了 MLLM 假装懂心电的幻觉外衣。
反直觉的伪推理现象剖析：首次定量证明专有心电大模型的高准确率来源于快捷路径（shortcut learning），当强迫其根据前序物理证据推导时，其判别体系与临床推理逻辑严重冲突。
端到端客观可信的数据生成体系：通过将深度分割网络、时空一致性约束与专科医生确认的逻辑流程图编织成流水线，实现了零人工文本污染的大规模结构化评测基准。

局限与展望¶

边界与不确定性样本的剔除：为了保证 ground-truth 具备绝对数学与临床确定性，基准排除了灰色边缘病例；未来需引入不确定性度量与临床疑难会诊机制。
顺序刚性限制与临床直觉折衷：当前基准要求模型必须穷尽遍历所有必要特征；而资深临床医生往往依赖特征显著性早停确诊。未来可升级为具备权重因子的动态逻辑图，允许高置信度关键征象提前终止推理。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立基于底层信号硬性特征的心电图临床推理四步验证基准。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 14 款代表性大模型、跨越双数据源与 17 种疾病，验证透彻。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，理论阐述清晰，图表数据自洽。
价值: ⭐⭐⭐⭐⭐ 深刻揭示了多模态医疗模型表面虚高的根源，对可信医疗 AI 发展具备关键指引意义。