Lung-R1: A Knowledge Graph-Guided LLM for Pulmonary Diagnostic Reasoning¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM推理
关键词: 肺科诊断推理, 知识图谱, 强化学习, GRPO, 电子病历推理
一句话总结¶
针对大语言模型在医学领域中孤立记忆知识、无法贴合真实电子病历开展病理推导的“知识-诊断鸿沟”,本文构建了首个面向肺科诊断推理的结构化知识图谱 LungKG,并通过图谱约束思维链微调与图谱导向强化学习提出了 Lung-R1,显著提升了病历诊断的准确性与临床一致性。
研究背景与动机¶
肺部疾病的临床诊断是一项极具挑战性的综合推理任务,需要医师在表型高度多样化以及跨疾病临床、影像表现重叠的复杂环境下,综合集成异构临床表现、放射影像、肺功能测试与病原学证据。尽管通用与医学专用大语言模型在医学知识问答、单项医学影像理解和信息抽取任务中取得了显著进展,但真实场景下的呼吸科诊断依赖于针对特定患者电子病历(EMR)证据的精细关联推理,而非孤立教科书知识的死记硬背。
这种现有医疗语言模型与实际临床需求脱节的根源,在于广泛存在的“肺科知识到诊断鸿沟”(Pulmonary Knowledge-to-Diagnosis Gap)。在传统的医学预训练或微调中,肺科医学事实多以静态单选题、考试型问答对或割裂的文本指令呈现;然而在实际诊疗中,相同的医学事实必须作为环环相扣的证据链,锚定到特定患者的病历线索上进行差异化排查。现有检索增强生成(RAG)或通用思维链仅在推理期引入外部知识,缺乏训练阶段的结构化关系监督与奖惩引导机制,致使模型极易忽视关键核心重症指征或发生无关并发症的机械枚举。
为了弥合这一鸿沟,本文认为应当将知识图谱所蕴含的有向病理关系直接内化到大模型的推理对齐与策略优化过程中。核心 idea:构建包含5.9万节点、16.4万边的肺科专用结构化诊断图谱 LungKG,以反向尾度采样和图约束思维链构建 SFT 监督语料,并结合诊断正确性、图忠实度及关系路径一致性设计三元组混合奖励进行 GRPO 强化学习,让模型在训练阶段内化基于证据链的临床鉴别推理能力。
方法详解¶
整体框架¶
Lung-R1 的整体架构围绕将结构化肺科关系转化为病历驱动的可靠推理链条展开,分为 LungKG 构建、图约束思维链监督微调(SFT)以及图导向强化学习(KG-guided RL)三大阶段。系统首先从权威临床指南、教科书及真实病历提炼出包含 15 类实体与 112 种关系的结构化知识图谱 LungKG;接着通过反向尾度采样构建长尾与判别性图谱问答,并结合真实脱敏病历的锚点扩展生成自然语言诊断推理链进行全量 SFT;最后,模型在不依赖推理期检索检索库的前提下,使用基于组归一化优势估计(GRPO)的强化学习,通过涵盖结果正确性、图谱忠实度和关系路径一致性的综合奖励函数全面对齐临床诊断逻辑。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["权威肺科指南 / 临床文献 / 脱敏病历"] --> B["构建结构化肺科知识图谱 LungKG<br/>59,038 节点 / 164,308 边 / 15 类实体 / 112 类关系"]
B --> C["图谱约束思维链构建与监督微调<br/>反向尾度采样 KGQA + 病历证据子图扩展 EMR-CoT"]
C --> D["图谱导向强化学习对齐<br/>GRPO 组优势优化 + 诊断正确性/忠实度/路径一致性奖励"]
D --> E["端到端病历诊断推理输出<br/>肺科多任务评测 Choice / QA / EMR Diagnosis"]
关键设计¶
1. 结构化肺科诊断知识图谱 LungKG:知识孤岛与表型重叠 -> 关系导向的结构化拓扑组织 -> 为模型训练提供可靠病理基底 传统的通用医学知识库缺乏专属于肺科重叠表型的鉴别关系组织,难以支撑病因、症状、影像与禁忌症的链式传导。LungKG 专门针对肺科诊断需求构建,融合了 15 类实体(包含西医用药 11,544、其他治疗 10,976、疾病 8,448、药物 6,481、症状 5,120、检查 4,098、流行病学 3,090、病原体 2,804 等)和 112 种关系类型。图谱着重固化四大核心诊断关系:病原体与感染类型及并发症关系、症状与鉴别诊断排查关系、影像及肺功能检查对假设病症的支撑关系,以及药物使用禁忌与高危风险关系。标注一致性经临床专家复核达到实体 F 值 88.2% 和关系 F 值 83.8%,为后续监督数据构建与强化学习提供了严谨的拓扑证据源。
2. 图谱约束思维链构建(KG-Constrained CoT):通用幻觉与长尾覆盖缺失 -> 逆向度采样与病历证据子图扩展 -> 获得无检索依赖的连贯临床内化推理链 现有微调语料常因频率偏差偏向常见病,且容易产生脱离医学证据的虚假推断。本文设计了两路图约束思维链构建方案:第一路针对图谱自身,采用基于逆向尾度的反向采样策略,针对度数小于等于中位数 \(\tau\) 的尾部节点赋予更高采样概率 \(P(v) \propto 1/(\text{deg}(v) + \varepsilon)\),抽取子图社区后通过严格受控提示词生成 11,578 条涵盖判别式与长尾问题的 KGQA 样本;第二路针对 3,569 例脱敏真实病历,通过实体识别将主诉与检查指标映射为图锚点 \(A_x = \text{Match}(x, \text{LungKG})\),再向参考诊断 \(d\) 广度优先扩展出最小约束证据子图 \(g_x = \text{Expand}(A_x, d; \text{LungKG})\),最后在不暴露图检索痕迹的约束下将结构化关系转化为自然连贯的诊断推理思维链 \(r_x = \text{GenEMR-CoT}(x, d, \text{Serialize}(g_x))\)。此过程让模型在 15,147 例混合语料上掌握了遵循病理拓扑的临床直觉,测试时不需额外输入图谱。
3. 图谱导向多维强化学习(KG-Guided RL):纯结果奖励导致的临床逻辑断裂 -> 结果对齐结合图保真度与路径一致性三元奖励 -> 驱动长思维链逼近医师鉴别标准 单纯依赖最终诊断匹配的稀疏奖励容易诱导模型生成投机性虚假推理,或列出一堆看似合理的并发症却掩盖主诊断。Lung-R1 在 SFT 基础上引入基于 GRPO 的组归一化强化学习,对于每个输入 \(x\) 采样 \(G\) 个候选回答 \(\{y_i\}_{i=1}^G\),并构建由三个归一化分量构成的综合奖励函数 \(R_i = \lambda_1 R_{\text{dx}}(y_i) + \lambda_2 R_{\text{graph}}(y_i) + \lambda_3 R_{\text{path}}(y_i)\)(权重分别设为 0.50、0.25、0.25): $\(R_{\text{dx}}(y_i) = \frac{s_{\text{dx}}}{5}\)$ $\(R_{\text{graph}}(y_i) = \frac{N_{\text{sup}} + 0.5 N_{\text{partial}}}{\max(N_{\text{claim}}, 1)}\)$ $\(R_{\text{path}}(y_i) = \frac{N_{\text{valid}}}{\max(N_{\text{path}}, 1)}\)$ 其中 \(s_{\text{dx}} \in \{0,\dots,5\}\) 基于严格诊断评分细则打分;\(R_{\text{graph}}\) 惩罚缺乏 LungKG 证据支撑的虚构断言;\(R_{\text{path}}\) 考核推理链所引用的诊断步骤是否符合真实肺科有向路径(如症状到检查、检查到病原体推断)。策略通过裁剪目标函数 \(J(\theta) = \mathbb{E}[\min(r_i \hat{A}_i, \text{clip}(r_i, 1-\epsilon, 1+\epsilon)\hat{A}_i)]\) 优化,使得模型不仅能在复杂病情中准确切中核心危重病,还能保持逻辑严密的临床溯源路径。
损失函数 / 训练策略¶
模型以 Qwen2.5-7B-Instruct 和 Qwen2.5-14B-Instruct 为初始权重基座。SFT 阶段设置学习率 \(2 \times 10^{-6}\),余弦退火策略(warmup 比率 0.03),AdamW 优化器,全局批次大小 64,截断长度分别为 2048 (7B) 和 3072 (14B)。分布式训练采用 DeepSpeed ZeRO-3 与 BF16 精度。强化学习阶段固定奖励超参数 \(\lambda_1 = 0.50, \lambda_2 = 0.25, \lambda_3 = 0.25\),使用 GRPO 算法在非评测集的训练提示词上迭代演进,完全将测试集物理隔离,确保评估无信息泄露。
实验关键数据¶
主实验¶
评测集包含 250 道单选/多选题(Choice)、250 道经过专家审校的肺科问答题(Pulmonary-QA)以及 300 例真实脱敏病历诊断用例(EMR Diagnosis,由 5 款前沿大模型构成 LLM-as-Judge 评审团打分,并计算与资深呼吸科主任医师裁决评分的二次加权 Kappa 一致性 QWK)。
| 模型类别 | 模型名称 | Choice 总体准确率 (%) | Pulmonary-QA 均分 (0-5) | Pulmonary-QA QWK | EMR Diagnosis 均分 (0-5) | EMR Diag QWK | EMR Micro R |
|---|---|---|---|---|---|---|---|
| 小型模型 | Qwen2.5-7B | 58.40 | 3.660 | 0.8863 | 3.7007 | 0.8116 | 0.7281 |
| 小型模型 | Qwen2.5-14B | 63.20 | 3.996 | 0.8727 | 3.7709 | 0.7322 | 0.7931 |
| 小型模型 | Qwen3-30B-A3B | 64.80 | 4.292 | 0.8630 | 3.3617 | 0.6904 | 0.8249 |
| 通用闭源/前沿模型 | Gemini-3-Pro | 67.20 | 4.396 | 0.8460 | 4.0688 | 0.5431 | 0.7056 |
| 通用闭源/前沿模型 | DeepSeek-V3.2 | 66.80 | 4.256 | 0.8394 | 4.0573 | 0.6371 | 0.8489 |
| 通用闭源/前沿模型 | DeepSeek-R1 | 63.60 | 4.264 | 0.8847 | 3.9891 | 0.7129 | 0.8103 |
| 通用闭源/前沿模型 | Claude-Sonnet-4.5 | 60.40 | 4.396 | 0.9046 | 4.2107 | 0.5887 | 0.8753 |
| 通用闭源/前沿模型 | GPT-5.1 | 54.00 | 4.1488 | 0.9182 | 4.2075 | 0.6120 | 0.7868 |
| 医疗专用模型 | ClinicalGPT-R1 | 59.20 | 3.588 | 0.8598 | 3.7449 | 0.7452 | 0.7958 |
| 医疗专用模型 | HuatuoGPT-o1-7B | 62.80 | 3.636 | 0.8686 | 3.3687 | 0.8278 | 0.6578 |
| 医疗专用模型 | Baichuan-M2 | 62.40 | 4.016 | 0.8822 | 3.9339 | 0.7271 | 0.8196 |
| 本文模型 | Lung-R1-7B | 67.20 | 4.120 | 0.9123 | 4.3550 | 0.8295 | 0.8939 |
| 本文模型 | Lung-R1-14B | 67.60 | 4.416 | 0.9239 | 4.3583 | 0.8275 | 0.8939 |
消融实验¶
论文系统消融了训练数据源类型、显式思维链(CoT)表示格式以及图导向强化学习(KG-guided RL)对最终推理性能的具体影响。
| 实验组别 | 模型变体配置 | Choice 准确率 (%) | Pulmonary-QA 评分 | EMR Diagnosis 评分 | 核心结论与表现说明 |
|---|---|---|---|---|---|
| SFT 数据源消融 (7B) | Qwen2.5-7B (Base) | 58.4 | 3.660 | 3.7007 | 基础未针对肺科图谱对齐的基线模型 |
| 7B w/o EMR (仅使用 KGQA) | 61.2 | 4.084 | 3.4949 | 问答得分上升但无法迁移到真实病历推断 | |
| 7B w/o KGQA (仅使用 EMR) | 62.0 | 3.664 | 4.2626 | 病历诊断分提升显著,但通识知识问答明显薄弱 | |
| 7B Full SFT (混合双源) | 64.1 | 4.112 | 4.3471 | 知识问答与临床推导实现双向正迁移 | |
| CoT 格式消融 (SFT-only) | 7B w/o CoT (直接输出诊断) | 63.8 | 4.172 | 4.1918 | 缺失推理轨迹导致复杂鉴别诊断能力下滑 (-0.155) |
| 7B w/ CoT (显式思维链) | 64.1 | 4.112 | 4.3471 | 显式推理链有效引导复杂病案排查 | |
| 14B w/o CoT | 65.5 | 4.244 | 4.3041 | 14B 缺少 CoT 同样显著降低病历诊断得分 | |
| 14B w/ CoT | 67.2 | 4.298 | 4.3575 | 显式长思维链为诊断决策提供扎实依据 | |
| 强化学习消融 (14B CoT) | 14B w/o KG-RL (仅完成 SFT) | 67.2 | 4.298 | 4.3575 | SFT 已具备强劲性能 |
| 14B w/ KG-RL (完整方案) | 67.6 | 4.416 | 4.3583 | 强化学习进一步巩固图谱一致性与知识问答质量 |
关键发现¶
- SFT 数据源具有高度互补性:若仅采用纯图谱转换的 KGQA 训练,EMR Diagnosis 得分由 4.3471 骤降至 3.4949,证明纯结构化问答不能直接外推至真实复杂病历;反之,若仅用 EMR 数据训练,Pulmonary-QA 仅为 3.664。只有双源混合微调才能兼顾专科医学知识与临床证据链落地。
- 显式推理链(CoT)是复杂鉴别诊断的决定性因素:消融思维链后,7B 和 14B 模型在 EMR Diagnosis 上的得分分别下降 0.1553 与 0.0534,且在病案判别中极易陷入将次要影像表现(如肺水肿、胸腔积液)平铺直叙列出的误区,缺乏对主要病因的定性推理。
- 与临床医师的高度对齐性:在 EMR 诊断评测中,主流商用闭源大模型(如 Claude-Sonnet-4.5、Gemini-3-Pro)虽然语言流畅,但在与专家评判打分的 QWK 上仅徘徊在 0.54~0.64 之间;而 Lung-R1 达到了 0.827 以上的高一致性,大幅降低了非典型病症判断中将轻型表象与重症主诉混淆的风险。
亮点与洞察¶
- 训练期知识图谱内化取代推理期检索(GraphRAG):传统思路倾向于在推理时外挂图谱做 RAG,不仅受限于实体匹配延迟,而且对于上千字的复杂病历极易引入噪声图子结构。Lung-R1 将图谱约束置于 SFT 推理链构造和 RL 奖励设计中,使模型在推理阶段完全零额外检索即可输出结构规范、逻辑缜密的诊断路径。
- 逆向度采样(Inverse-Degree Sampling)破局长尾医学分布:在构造 KGQA 时基于图节点度数的中位数设置自适应采样概率,大幅避免了模型对常见感染与常规药物的过度拟合,使得模型在少见肺部真菌感染、间质性肺病长尾变异上的诊断覆盖率显著改善。
- 多维度细粒度奖励设计:将强化学习奖励拆解为标称诊断分、医学陈述图谱可追溯比例(忠实度)以及诊断路径节点间因果有向性(路径一致性),有效防范了“虽蒙对最终病名但中间推演满篇虚构”的 Reward Hacking 现象。
局限与展望¶
- 模态纯文本输入的局限:真实肺科诊断高度依赖胸部高分辨率 CT (HRCT) 原生图像序列、床旁听诊呼吸音以及动态血气指标的时序变化。当前 Lung-R1 仅处理脱敏文本 EMR,未来需拓展多模态视觉-呼吸音-病历联合图谱推理能力。
- 任务局限于诊断分类:当前框架集中于疾病确诊与鉴别诊断,尚未进一步涵盖个体化抗生素用药阶梯选择、危重症插管撤机策略及药物相互作用安全性前瞻评估。
- 评测疾病分布受限于单中心真实分布:评测集 ICD-10 标签主要集中于肺炎(J09–J18,占比 64.7%)和慢性下呼吸道疾病(J40–J47,占比 19.1%),后续需要引入更多跨区域多中心罕见肺病队列以验证泛化性。
相关工作与启发¶
- vs ClinicalGPT-R1 / HuatuoGPT-o1-7B: 现有医疗推理大模型多依赖广义通用医学教科书或通识问答集进行蒸馏强化,缺乏对专科疾病(如重叠性肺部病变)细粒度拓扑关系的强约束。Lung-R1 表明,在专科垂类领域中,深耕具备 112 种专科关系的细分图谱并辅以路径奖励,远比无约束的通用医疗 CoT 能够更稳定地抓住危重病症核心。
- vs GraphRAG (Edge et al., 2024): GraphRAG 在推理端动态检索并串联社区总结,计算开销大且受输入上下文长度限制。Lung-R1 提供了一种轻量高效的替代方案:利用图谱重塑离线训练集并充当自动化强化学习判别器,实现“图谱知识向模型参数权重”的高效蒸馏迁移。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出面向肺科病历鉴别推理的专用知识图谱与图约束双阶段自适应训练对齐流程。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 20 款主流开源与闭源前沿模型横向对比,包含客观单选、主观问答及 300 例真实病历诊断,引入五评委与主任医师双重打分及 QWK 分析。
- 写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨,附录公开了完整的采样算法、打分细则与典型病例的各模型输出对比。
- 价值: ⭐⭐⭐⭐⭐ 为垂类专科医疗大模型的构建提供了从图谱工程、语料合成到多维过程奖励 RL 的完整可复现落地范式。