EHRNote-ChatQA: A Benchmark for Evidence-Grounded Multi-Turn Clinical Question Answering over Longitudinal Discharge Summaries¶

会议: NeurIPS 2026
arXiv: 2606.15735
OpenReview: https://openreview.net/forum?id=J8cq4kNTbz
代码: https://github.com/ji-youn-kim/EHRNote-ChatQA
领域: 医疗 LLM
关键词: 电子病历问答、多轮对话、证据溯源、出院小结、大语言模型评测

一句话总结¶

针对临床真实查房复核中跨多份出院小结迭代提问与证据追溯的需求，构建了首个涵盖 967 名患者、16,072 个医护全量校验 QA 对的多轮证据溯源基准 EHRNote-ChatQA，评测揭示模型在溯源题上准确率大幅落后于内容回答且错误在轮次间显著级联传播。

研究背景与动机¶

出院小结（Discharge Summary）是记录患者从入院到出院完整诊疗过程的核心临床文书，详尽记载了主诉诊断、用药演变、手术操作、化验检查以及出院随访规划。在患者再入院评估、纵向慢性病照护和临床鉴别诊断决策中，医护人员必须反复查阅并综合患者历史上的多份出院小结。然而，出院小结往往由不同轮转医生书写，格式缺乏统一度，且充斥大量缩写与非结构化长文本；更关键的是，单名患者随多次入院会积累多份小结，导致临床信息高度分散且存在时间维度的演变。医护人员调取与核实具体细节面临沉重的查阅负担。

虽然大语言模型在临床问答场景展现出巨大潜力，但要在真实临床工作流中安全部署，必须同时满足两个核心条件：一是准确响应医护人员前后关联、层层递进的多轮迭代提问；二是生成的每个回答都必须可回溯至原始病历文书中的精准证据片段，防范可能危及患者安全的幻觉输出。现有临床问答评测基准严重脱节：MedQA、MedMCQA 等侧重医考单选题与通用医学常识，脱离具体病历上下文；而 emrQA、EHRNoteQA、DiSCQ 等基于真实病历的基准则全数停留在单轮问答，且缺乏要求定位支持段落的证据溯源（evidence-grounding）评测，无法反映临床纵向复核的动态交互特征。

本文针对这一认知与评测盲区，联合多名资深临床医师与护士，基于 MIMIC-IV 纵向出院小结构建了首个面向真实临床长程交互的基准。核心 idea：将多轮临床问答与最小充分证据溯源深度解耦成成对的五选一交互（内容问答紧跟溯源定位），通过融合细粒度病历实体-关系结构模式与临床专家多轮提问模板，构建真实反映临床纵向查房思维、具备跨轮次错误级联与抗实体表面匹配能力的基准数据集。

方法详解¶

整体框架¶

EHRNote-ChatQA 的构建与评测流程围绕“真实临床复核逻辑”展开。系统输入为单名患者的完整出院小结序列（涵盖 1 至 5 次入院记录），在多轮对话中交替提出两类问题：奇数轮次为针对患者临床细节或跨入院演变的内容问题（Content Questions），偶数轮次为紧随其后的证据溯源问题（Evidence-Grounding Questions），要求从全部病历中选出支撑上一轮内容回答的最小且充分的 ⟨小结序号, 小结章节标题⟩ 集合。整体构建分为四个核心环节：病历结构化模式与临床多轮模板设计、两阶段大模型受控生成、多策略干扰项与陷阱设计、以及 12 位资深临床专家的逐条质检与修订。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["患者纵向出院小结序列<br/>1-5 份 MIMIC-IV 记录"] --> B["病历结构化图式与多轮模板<br/>19 类实体 + 23 类关系 + 80 套模板"]
    B --> C["提示引导受控问题生成<br/>Gemini 2.5 Pro 联合生成问答与证据溯源"]
    C --> D["双源临床干扰项与语义陷阱设计<br/>知识/病历干扰 + 跨轮链式传播 + 最小充分证据"]
    D --> E["12 位临床专家全量审核修订<br/>11 位医师与 1 位护士历时三周人工复核"]
    E --> F["EHRNote-ChatQA 评测集<br/>967 患者 / 16,072 QA 对 (8 大领域)"]

关键设计¶

1. 病历结构化图式与多轮模板：解构复杂临床实体关系并复现真实查房问询链路

以往临床抽取规范往往将不同概念粗暴折叠（例如将诊断、症状、阳性体征统称为“Problem”，将手术与用药混为“Treatment”），丢失了指导高阶临床推理的关键属性。本文与 4 位临床专家（3 位医师和 1 位护士）共同制定了高度细化的出院小结模式，涵盖 19 类临床实体（例如 Diagnosis、Medication、Microbiology_Organism、Vital_Sign、Instruction 等）、每类实体配有 3 至 10 个精细属性（如 Medication 包含 strength、dosage、route、assertion、time 等；区分主诊断标识 is_main），以及 23 类实体间语义与因果关系（严格区分表示期望疗效的 resulted_in 与表示不良反应/并发症的 causes，以及 switched_to、administered_for、reveals 等）。

在此图式基础上，针对诊断、症状、手术、用药、微生物、临床评估、临床结局、出院规划等 8 个临床常见复核主题，专家设计了 80 套多轮问答模板（8 类别 × 单/多小结 2 种设置 × 5 套模板）。多小结模板专门捕捉跨入院的疾病演化、用药方案调整及出院指导依从性失效等纵向复杂链条。这些模板并非作为硬编码槽位填充规则，而是作为典型临床探索模式的种子样例，引导生成模型理解真实医生如何从“发现异常”步步深入到“归因推理”与“方案修正”。

2. 提示引导受控问题生成：兼顾临床自然度、多轮上下文依赖与跨小结覆盖

在生成初始样本时，提示 Gemini 2.5 Pro 输入整位患者的所有出院小结及模式模板，严格按优先级遵守三项约束：最高优先级是临床自然度，严禁生成仅凭外部医学常识即可回答的考试题，强制要求结合患者实际病程，多提问“为何选择该治疗”或“指标异常如何改变临床决策”等因果机制题；第二优先级是多轮强依赖性，后续轮次必须深度引用或依赖前序问题的提问背景或结论，避免多轮退化为彼此独立的单轮片段；第三优先级是跨病历覆盖，对多次入院患者优先提问跨住院对比（如出院带药与下次入院用药衔接），但坚决杜绝为了覆盖而拼凑非自然的生硬提问。在生成问题的同时，模型同步显式输出答案证据三元组与原始文本片段定位，作为后续构建标准答案与溯源选项的客观支点。

3. 双源临床干扰项与语义陷阱设计：构建跨轮错误级联与防表面匹配机制

为了防止模型利用浅层实体共现或关键词重叠走捷径，干扰项生成分为内容问答干扰与证据溯源干扰两套深度机制： - 在内容选项构建上（Step 2–3），定义了六类高质量干扰方向，并融汇两种证据源：一种是基于病历内部信息的错误关联（如实体属性混淆、因果颠倒、跨入院时间错位），另一种是病历未提及但从临床病理生理角度极具迷惑性的合理解释（如针对相同症状开具另一种同类常见药物）。同时引入两大机制：跨轮错误级联（Cross-turn error chaining），若模型在上一轮选中了某个错误诊断，后续轮次的干扰项会顺理成章地沿着该错误推演下游用药与预后，使错误像真实临床失误一样滚雪球式累积；共享实体干扰（Shared-entity choices），多个选项包含完全相同的疾病和药品名称，但限定词、剂量或时序因果不同，彻底破坏单纯依靠实体检索的做题策略。 - 在证据溯源选项构建上（Step 4），每道题选项为 ⟨小结序号, 章节标题⟩ 集合。正确选项严格受“最小且充分（Minimal-yet-sufficient）”原则约束，即所选章节必须完全覆盖内容回答的全部事实细节，且移除任何冗余章节后信息不再完整。错误选项设计了四种失效模式（全部不相关、仅覆盖部分事实、混合部分相关与无关、以及在完整正确集上额外追加无关章节），并特别构造语义陷阱（Semantic traps）（例如内容涉及干预措施时，故意加入章节名为 Major Surgical or Invasive Procedure 但实际内容与该处置无关的标题），强制模型必须深入阅读章节实质内容，而非单纯做标题字面匹配。

4. 12 位临床专家全量审核修订：建立严格的数据质量守门机制

所有由大模型生成的 1,000 份患者样本（含 16,000+ QA 对）均未直接采信，而是由 12 位具备执业资质的专业医护团队（10 位主治/副主任级别专科医师、1 位专科培训 Fellow、1 位资深病房护士，执业经验跨度 3 至 13 年，平均 8.5 年）通过定制开发的 Streamlit 交互界面开展了为期三周的逐题人工核验。审核执行四大铁律准则：整体问答不符合临床思维或脱敏异常无法定位时直接剔除（共过滤删除 33 份样本，最终保留 967 份）；表述不自然的问题手工重写（修正 1.6%）；参考答案存在事实偏差或证据不足的坚决纠正（修订 1.3% 正确项、0.5% 干扰项）；对于容易产生争议的证据溯源选项，重点修正最小充分边界与章节归属（修订 5.3% 的正确溯源项与 5.2% 的干扰项），确保了基准的临床真实性与黄金标准信度。

一个完整示例¶

以一名因肉眼血尿伴右侧腰痛入院、经历腹腔镜右肾根治性切除术的患者为例，展示多轮交互与证据溯源的协同机制： - Turn 1（内容问答）：Q1 询问“在 chartdate1 接受右肾根治切除术期间，是否记录了任何感染迹象或采取了预防措施？”
正确选项依据病程记录回答“术前术中预防性使用了抗生素，术后未发生活动性感染”。 - Turn 2（证据溯源）：Q2 紧跟提问“在患者出院小结中，支持上述回答的最小确切来源是什么？”
正确答案为 ⟨Note 1, Brief Hospital Course⟩ 与 ⟨Note 1, Discharge Medications⟩。设置的语义陷阱选项包含 ⟨Note 1, Instructions for Discharge⟩——该章节表面指导患者出院后注意伤口发红化脓等感染征象，看似与“感染”高度相关，但实际并未记录住院期间是否给药与体温体征，模型若只做标题匹配即会掉入陷阱。 - Turn 3（跨轮依赖追问）：Q3 进阶提问“针对上述未感染且愈合良好的手术切口，术后病理报告确认的最终肿瘤分期与出院后随访规划是什么？”
该问题紧扣前两轮建立的手术事实展开，干扰项中设计了因术后感染而延长抗生素疗程的链式推演选项，精准探测模型在纵向语境中的逻辑自洽性。

实验关键数据¶

主实验¶

评测涵盖 24 款代表性大语言模型（含闭源前沿模型、开源通用大模型及医学专用微调模型）。核心指标包括内容准确率（Content）、证据溯源准确率（Source）以及内容与证据同时答对的成对准确率（Paired）。汇总粒度包含 QA 级微平均（QA-level）、样本级宏平均（Sample-level mean）以及要求整场多轮所有问题全部答对的严苛样本级全对率（Sample-level 0/1）。外加基线对比单轮出院小结问答基准 EHRNoteQA。

模型	参数量 (激活/总数)	QA: Content (%)	QA: Source (%)	QA: Paired (%)	Sample(0/1): Paired (%)	EHRNoteQA (%)
gpt-5.4	—	98.28	88.38	87.39	38.47	95.43
gpt-5.4-mini	—	92.36	75.68	70.69	9.93	92.00
gemini-3-flash-preview	—	97.91	93.22	91.69	52.12	92.00
Qwen3-Next-80B-A3B-Instruct	3B / 80B	95.87	78.99	76.54	17.37	93.76
Llama-4-Scout-17B-16E-Instruct	17B / 109B	92.78	78.45	73.71	13.75	93.35
DeepSeek-R1-Distill-Llama-70B	70B	94.84	75.12	72.05	11.27	94.80
Qwen3-30B-A3B-Instruct-2507	3B / 30B	92.82	70.97	66.90	6.00	94.39
gemma-3-27b-it	27B	89.91	75.25	68.67	9.93	92.52
medgemma-27b-it (医学专有)	27B	88.10	70.71	63.03	5.79	91.16
Qwen3-4B-Instruct-2507	4B	88.84	59.13	53.57	2.48	92.31
Ministral-3-8B-Instruct-2512	8B	91.09	66.03	60.86	4.14	90.75
DeepSeek-R1-Distill-Qwen-14B	14B	87.42	58.31	52.48	1.96	92.62
Phi-4-mini-instruct	3.8B	71.42	41.36	30.49	0.31	85.24
MediPhi-Clinical (医学专有)	3.8B	70.69	40.07	28.80	0.31	83.89
DeepSeek-R1-Distill-Qwen-7B	7B	43.29	31.55	15.51	0.00	78.90

消融与特征分析实验¶

为验证多轮对话中的错误级联效应、出院小结数量压力，以及多选形式与自由文本生成的对齐度，论文开展了系统的条件切片与开放式 LLM-judge 评测。

1. 跨轮次错误传播（前序回答正确与否对后序内容准确率的影响）与病历篇数衰减

分析维度	测试配置 / 切片条件	全模型平均 Content (%)	全模型平均 Source (%)	全模型平均 Paired (%)
轮次依赖条件	前序内容题回答正确 (\(Q_{t-1}^{\text{cont}}\) 正确)	83.33	—	—
轮次依赖条件	前序内容题回答错误 (\(Q_{t-1}^{\text{cont}}\) 错误)	74.94	—	—
依赖差距	错误级联差值 (\(\Delta = \text{正确} - \text{错误}\))	+8.40 pp	—	—
病历篇数压力	1 份出院小结	84.1	65.2	59.8
病历篇数压力	5 份出院小结	75.2 (-8.9 pp)	59.7 (-5.5 pp)	51.1 (-8.7 pp)

2. 开放式自由文本生成评估（在 200 个样本/3,286 QA 对上由 gpt-5.4 实施 0-2 分裁判）

模型	QA: Content (%)	QA: Source (%)	QA: Paired (%)	Sample(0/1): Paired (%)	多选题对应 Paired (%)
gemini-3-flash-preview	87.92	87.07	65.49	7.50	91.69
gpt-5.4-mini	85.54	78.27	55.57	3.00	70.69
Qwen3-Next-80B-A3B-Instruct	79.55	74.13	44.80	0.50	76.54
Ministral-3-14B-Instruct-2512	76.20	71.55	42.73	0.00	60.69
DeepSeek-R1-Distill-Llama-70B	74.68	68.93	37.80	0.50	72.05
Llama-4-Scout-17B-16E-Instruct	75.72	66.68	36.46	0.00	73.71
medgemma-27b-it (医学专有)	65.95	59.53	35.73	0.50	63.03
gemma-3-27b-it	69.11	59.98	29.52	0.00	68.67
Qwen3-30B-A3B-Instruct-2507	71.18	52.31	14.67	0.00	66.90
Qwen3-4B-Instruct-2507	65.55	51.31	17.35	0.00	53.57
DeepSeek-R1-Distill-Qwen-7B	13.66	8.34	1.16	0.00	15.51

关键发现¶

内容回答与证据溯源存在显著能力鸿沟：虽然 QA 级内容准确率与溯源准确率呈现高度秩相关（Spearman \(\rho = 0.90\)），但在全部 24 款模型中，溯源准确率平均比内容准确率低 22.0 个百分点。顶尖模型如 gemini-3-flash-preview 和 gpt-5.4 差距控制在 4.7 pp 和 9.9 pp，而中小模型差距剧烈扩大（Ministral-3-3B 差距达 38.2 pp，Phi-3.5-mini 达 35.1 pp），表明模型普遍存在“凭模糊记忆或常识能蒙对答案，却无法在非结构化长文档中准确定位证据”的严峻缺陷。
跨轮次错误引发显著级联放大：所有 24 款模型的条件准确率差距 \(\Delta\) 均为正值，前序回答错误导致后序回答准确率断崖式下跌 8.40 pp。而在要求多轮全部答对的 Sample-level (0/1) Paired 终极指标下，即便是综合表现最佳的 gemini-3-flash-preview 也仅有 52.12%，开源最佳模型 Qwen3-Next-80B 仅得 17.37%，大量中轻量模型接近归零。
医学领域专用微调未带来优势转移：在基线测试中，经过医学语料预训练与指令微调的专业小模型并未表现出超越同源通用模型的能力。例如 medgemma-27b-it（QA Content 88.10%）明显落后于基于相同基座微调的通用模型 gemma-3-27b-it（89.91%）；medgemma-4b-it（62.08%）落后于通用 gemma-3-4b-it（66.69%）及 Qwen3-4B（88.84%）；MediPhi 各变体相比 Phi-3.5-mini-instruct 亦未展现明显增益。这表明面对长文本上下文理解与精细证据定位时，通用的长程推理与指令遵循能力比单纯注入医学专业词表与常识更为关键。
多选题形式与开放式裁判高度自洽：在 200 个样本的自由生成测试中，由 gpt-5.4 担任裁判的开放式打分与客观多选评测展现出极高的相关性（内容问答 Pearson \(r=0.948\), 证据溯源 Pearson \(r=0.934\)）。这有力证明客观五选题足以作为大规模、低成本评估临床多轮问答系统的坚实代理。

亮点与洞察¶

解耦式配对问答架构与语义陷阱机制：将“事实回答”与“最小充分证据追溯”严格解耦为成对交替的对话轮次，配合故意布设的章节标题与内容不符的语义陷阱，精准杜绝了大模型利用表层关键词重叠产生侥幸预测的评测漏洞。
结构化图式与专家模板驱动的受控合成闭环：通过细粒度临床实体关系模式与真实查房多轮模板引导高质量前沿模型合成，并由 12 位持证医师全量审校兜底，既保证了千万级复杂语料生成的效率，又筑牢了临床真实性与准确性的红线。
单轮与通用指标向临床多轮部署的不可迁移性：实验实证了在单轮考试题或单篇小结上高分的模型在长程交互中会迅速出现疲劳和错误级联，为医疗 AI 产品从“单点问答工具”走向“临床对话助理”提供了至关重要的基准参照尺。

局限与展望¶

单中心数据源与病历文书类型受限：数据集完全基于波士顿单一医疗机构的 MIMIC-IV 数据库，难以完全涵盖跨地域、不同 EHR 厂商间格式多样的真实病历风格；同时目前仅聚焦出院小结，尚未包含日常病程记录（Progress Notes）、护理交班记录、放射影像全篇报告及结构化检验数值宽表。
单专家单审的权衡妥协：鉴于 16,072 个问答对的庞大规模和资深临床专家资源的极端稀缺性，每个样本仅由一名医学专家完成审核，未能引入多专家双盲打分并计算 Cohen's Kappa 一致性系数。
未来改进方向：可进一步将基准拓展至多中心异构 EHR 跨模态数据流，并结合自动化检索增强生成（RAG）管道，探索长程临床交互中的主动澄清追问与可信拒答能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出针对纵向多篇出院小结的多轮证据溯源临床问答基准，任务与评测维度极具开创性。
实验充分度: ⭐⭐⭐⭐⭐ 评测了包含前沿闭源、开源通用及医学专用的 24 款主流大模型，多轮依赖、病历篇数压力及开放式 LLM-judge 验证详尽扎实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，图式定义详实，附录完整公开了 80 套临床模板及完整评测协议。
价值: ⭐⭐⭐⭐⭐ 填补了临床大模型在纵向多轮交互与可信证据可溯源评测领域的空白，对安全医疗辅助系统的落地具有重大指导意义。