PhysicianBench: Evaluating LLM Agents in Real-World EHR Environments¶

会议: NeurIPS 2026
arXiv: 2605.02240
论文: https://arxiv.org/abs/2605.02240
代码: https://healthrex.github.io/PhysicianBench/
领域: LLM Agent
关键词: 临床智能体, 电子健康记录 (EHR), FHIR标准, 复杂临床工作流, 基准评测

一句话总结¶

斯坦福大学团队提出 PhysicianBench 基准，基于真实多专科电子会诊构建 100 个长程临床任务，部署于符合国际标准 FHIR R4 的交互式 EHR 环境中，通过 670 个细粒度检查点实现执行落地验证，揭示顶尖模型（GPT-5.5）仅达 46.3% 单次成功率和 28% 可靠一致性。

研究背景与动机¶

近年来，大语言模型在医学知识考试和单步临床问答中展现出了优异性能，医疗 AI 的落地范式也正从被动的静态知识问答，加速迈向能自主规划、调用系统工具、与复杂软件交互并执行连续临床决策的智能体（LLM Agents）。在真实的临床诊疗场景中，医生的大量精力被耗费在电子健康记录（Electronic Health Records, EHR）系统的复杂操作上——医师需要跨就诊批次检索异构病历、综合实验室指标与病程记录进行诊断推理、下达检验与处方医嘱并撰写合规病历，EHR 的交互负担已成为全球临床医师职业倦怠的核心诱因。如果智能体能够可靠分担此类工作流，将极大释放医疗生产力；然而，要衡量这一迈向临床自主代理的关键进程，亟需一个真正对齐真实医疗系统复杂度与严谨性的评测基准。

然而，现存的医疗 AI 与智能体评测体系存在三大严重缺陷：其一，多数基准仍停留在静态知识选择题（如 MedQA、PubMedQA）或多轮医患闲聊对话（如 AgentClinic），忽略了多步骤、长视野（long-horizon）的真实系统交互；其二，少数涉及系统调用的基准（如 MedAgentBench）往往仅评估单步原子操作（例如读取单项检验值或下达单项简单医嘱），且绝大多数仅评估动作“意图”（intent）文本，缺乏对底层数据库状态真实变更的执行落地验证（verifiable execution）；其三，评测任务多依赖合成病历模拟器或执业考试题，剥离了真实病患复杂共病、非结构化长程追踪以及临床专科转诊的真实上下文。

为了打破这种“纸上谈兵”式的评测瓶颈，本文构建了首个扎根真实专科就诊与标准 EHR 生产环境的长程智能体基准。核心 idea：以真实临床电子会诊（e-consult）为蓝本并经资深专科医师严格闭环校验，在符合国际标准 FHIR R4 的交互式独立容器环境中部署 100 个复合长程任务（平均每任务需 27 次工具调用），通过解耦出 670 个覆盖检索、推理、执行与文档撰写的细粒度检查点，实现对临床智能体端到端决策与数据库落地变更的可验证评测。

方法详解¶

整体框架¶

PhysicianBench 将智能体在电子病历系统中的临床诊疗行为形式化为一个部分可观测马尔可夫决策过程（POMDP），其七元组为 \((\mathcal{S}, \mathcal{A}, T, \mathcal{O}, \Omega, I, C)\)。其中状态空间 \(\mathcal{S}\) 包含底层 FHIR 数据库中的全部患者临床资源、智能体新建的资源实体以及本地工作区文件；动作空间 \(\mathcal{A}\) 封装了 14 个严格遵循国际临床数据交换标准的结构化工具；观测空间 \(\mathcal{O}\) 为检索返回的 FHIR JSON 资源包或写入确认；观测函数 \(\Omega\) 限制智能体无法一次性俯瞰全景，必须像真实医生一样通过关键词或编码主动发掘相关病史；转移函数 \(T\) 确保写操作真实持久化到数据库；\(I\) 为自然语言临床任务指令，而 \(C\) 为该任务绑定的结构化评测检查点集。

整体系统的运转流程分为三层支撑体系：首先由真实临床电子会诊和斯坦福 STARR 真实病历经差分扰动去标识后构建多专科任务，并由人类医师团队进行闭环修订与终审；随后将任务装载至基于 Docker 的独立 HAPI FHIR JPA 服务器中，智能体以平均 27 次工具调用与系统交互推进状态转移；最终，评测套件通过 670 个检查点，综合代码直查数据库、混合抽取比对和大模型专家裁决三种机制，对智能体的各阶段表现实施可验证诊断。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["真实电子会诊病例与STARR病历<br/>21个专科·隐私扰动去标识化"] --> B["真实病例驱动的任务构建与医师在环闭环校验<br/>初审Checklist→Diff修订→专家终审"]
    B --> C["基于FHIR R4的真实交互式EHR环境与动作空间<br/>独立Docker·HAPI JPA·14类标准API"]
    C --> D["智能体自主交互决策<br/>平均27次工具调用·POMDP环境转移"]
    D --> E["细粒度临床检查点与执行落地验证评测体系<br/>670个检查点·代码/混合/LLM三类评判"]
    E --> F["评测产出与多维诊断<br/>Pass@1 / Pass^3 / 4类错误归因"]

关键设计¶

1. 真实病例驱动的任务构建与医师在环闭环校验：彻底摒弃合成病历的虚假表象

过往医疗基准最致命的问题在于脱离实际临床情境，合成数据往往过于整洁且缺乏真实的病理矛盾。PhysicianBench 从斯坦福健康系统真实的电子会诊（e-consult）档案中筛选提炼出 100 个高保真任务，覆盖内分泌科、血液科、消化科、心血管科、肾内科等 21 个临床二级专科（聚合为 8 大专科大类），涵盖诊断与结果解读、处方开具、长期治疗规划以及风险分层 4 类工作流。底层患者数据源自斯坦福 STARR 数据库，研发团队采用了严格的去标识与差分扰动算法：对连续型检验值添加维持在生理正常或预期异常区间的随机噪声，对分类代码随机剔除并注入同一医学本体的干扰项，非结构化病程则由本地隔离的 SecureGPT 重写以清除所有隐私保护信息（HIPAA Safe Harbor）。

为保障任务在医学逻辑上的绝对准确，11 位来自全科、内科、心脏科及精神科的资深专科医师参与了多轮审校流程： - 阶段一（初审）：医师依据包含指令清晰度、临床推理逻辑、方案完备性、病患安全性及 EHR 数据一致性五大维度的严格清单进行审查并记录批注； - 阶段二（智能体修订）：LLM 智能体根据医师评审意见，跨任务指令、病历资源与检查点代码输出精确的结构化 Diff 与修改理据； - 阶段三（差异终审）：医师在可视化审查界面中逐项比对修改前后的代码与文本差异，一票否决潜在医疗安全隐患，循环迭代直至全部任务通过最终验收。

2. 基于 FHIR R4 的真实交互式 EHR 环境与动作空间：全真还原生产级医院系统

真实医疗信息系统的异构性与规范性要求极高。PhysicianBench 依托国际通行的 FHIR R4 规范，为每个任务实例化一个完全隔离的 Docker 容器，内嵌基于 H2 持久化数据库的 HAPI FHIR JPA 服务器，严格预载标准化医学术语（如实验室指标与生命体征的 LOINC 编码、诊断与疾病的 ICD/SNOMED 编码）。智能体交互的动作空间 \(\mathcal{A}\) 严谨定义为 14 个标准化工具： - 读操作工具（9 类 GET 请求）：覆盖患者基本人口学（Patient）、既往诊断与问题列表（Condition）、化验结果与生命体征及社会史（Observation 细分三类）、当前用药医嘱（MedicationRequest）、已完成检查与手术记录（Procedure）、非结构化临床病程与随访笔记（DocumentReference）以及既有服务申请（ServiceRequest）； - 写操作工具（4 类 POST 请求）：包括新开药物医嘱（MedicationRequest）、新建诊断检验或专科转诊申请（ServiceRequest）、门诊或检查预约（Appointment）以及患者沟通记录（Communication）； - 工作区辅助工具（1 类）：本地文件读写工具（write_file），供智能体输出最终会诊备忘录和临床管理计划。

框架外围内嵌了四项鲁棒性护栏：工具报错以结构化 JSON 返回允许模型自我修正；工具返回值超出 10,000 字符时自动实施尾部截断并附带过滤检索提示；设定连续 5 次同错或同参调用的防循环卡死检测机制；单任务交互上限设为 100 轮（实际模型平均交互 27 轮）。

3. 细粒度临床检查点与执行落地验证评测体系：穿透中间过程的多层级可验证诊断

传统基准只按最终文本回答做整体比对，极易掩盖“检索遗漏”、“推理失误”与“执行缺失”之间的因果传递。PhysicianBench 将 100 个复杂任务科学解耦出 670 个临床检查点，遵循真实的临床决策链条划分为四大能力类别： - 数据检索（Data Retrieval）：检验智能体是否精确调取了支撑后续决策的关键历史数据（如特定检验值或既往过敏史）； - 临床推理（Clinical Reasoning）：包含计算临床量表（如基于人口学与合并症计算 CHA2DS2-VASc 评分）、综合异常表现、鉴别诊断决策以及应用临床实践指南四大子项； - 动作执行（Action Execution）：验证智能体是否在 FHIR 数据库中真正创建了符合剂量、频次与适应症的标准资源； - 文档撰写（Documentation）：评估最终输出的临床笔记在逻辑自洽性、完整性与禁忌症规避上的表现。

为实现客观与多维兼顾，670 个检查点由三类专有评判器协作完成裁决： - 代码评判器（Code Graders）：直接向 FHIR 服务器发起查询，过滤时间戳仅比对智能体在任务开始后所写入资源（如核验药物名称、剂量范围与用法是否达标），完全排除格式多变对动作验证的干扰； - 混合评判器（Hybrid Graders）：用于基准真值客观明确但表达自由的场景（如临床评分），先由程序从 EHR 结构化数据中精确推导标准真值，再由 LLM 从智能体文本中抽取得分进行等值比对； - LLM 裁决器（LLM-judge Graders）：针对非结构化推理与文档完整性，依据医师预设的三级精细量规（pass / partial / fail）实施阶梯化审核。

损失函数 / 训练策略¶

作为纯推理阶段的标准评测基准，PhysicianBench 本身不涉及模型微调与参数更新。所有被测模型均置于统一的轻量级智能体调度框架中，通过标准化 Function-calling 接口与 FHIR 服务器交互。对于具备显式推理参数的模型（如 o 系列或具备 reasoning_effort 的模型），统一设置为高推理预算（high），最大步数截断阈值设定为 100 步。

评测采用三套互补指标全面审视智能体能力： - \(\text{Pass@1}\)：单次运行中任务全部检查点完全通过的任务百分比； - \(\text{Pass@3}\)：基于 \(k=3\) 次独立试验计算的无偏估计概率 \(\text{pass@}k = 1 - \binom{n-c}{k} / \binom{n}{k}\)（其中 \(n\) 为试验总数，\(c\) 为成功次数），衡量模型在多次尝试下的上限求解潜力； - \(\text{Pass}^3\)：衡量智能体确定性与稳定性的严格指标，即 \(\text{Pass}^3 = c^k / n^k\)（即全部 3 次运行均成功的概率）。

实验关键数据¶

主实验¶

评测涵盖 12 款前沿闭源商业模型与开源模型，在统一环境与全量 14 种 FHIR 工具支持下进行 3 次独立全量评测，核心结果如表 1 所示。

模型	模型类型	Pass@1 (%)	Pass@3 (%)	Pass^3 (%)	平均工具调用轮数 (#Turns)
GPT-5.5	商业闭源	46.3 ± 1.2	57.4	28.0	41.9
Claude Opus 4.6	商业闭源	31.7 ± 2.3	41.5	18.0	25.2
Claude Opus 4.7	商业闭源	29.3 ± 2.5	37.9	18.0	16.2
GPT-5.4	商业闭源	27.7 ± 1.5	37.7	13.0	39.8
Claude Sonnet 4.6	商业闭源	23.0 ± 2.6	33.2	9.0	22.3
DeepSeek V4-Pro	开源模型	18.7 ± 2.9	27.9	6.0	35.3
Kimi-K2.6	开源模型	17.0 ± 2.6	26.3	5.0	42.4
MiMo-v2.5-Pro	商业闭源	16.7 ± 4.0	23.6	6.0	29.5
Qwen3.6-Plus	商业闭源	13.7 ± 4.0	22.6	2.0	28.0
MiniMax M2.7	商业闭源	8.7 ± 1.2	15.9	1.0	29.7
Gemini Pro 3.1	商业闭源	6.0 ± 1.0	9.3	3.0	30.4
Grok-4.20	商业闭源	5.3 ± 3.2	9.7	1.0	16.7

错误归因分析¶

基于 670 个细粒度检查点的失败记录，表 2 统计了各模型在四大能力维度上的错误分布占比（%），揭示了阻碍智能体自主落地的深层次原因。

模型	数据检索 (Data Retrieval)	临床推理 (Clinical Reasoning)	动作执行 (Action Execution)	文档撰写 (Documentation)
GPT-5.5	10.0	42.5	19.4	28.1
Claude Opus 4.6	10.0	50.4	17.4	22.2
Claude Opus 4.7	14.2	48.3	14.3	23.2
GPT-5.4	10.3	46.1	20.6	23.0
Claude Sonnet 4.6	11.8	50.2	18.8	19.2
MiMo-v2.5-Pro	12.6	52.2	17.5	17.7
Qwen3.6-Plus	11.6	53.8	19.3	15.3
MiniMax M2.7	13.7	50.4	20.0	15.9
Gemini Pro 3.1	15.2	50.1	19.7	15.0
Grok-4.20	13.6	54.4	18.7	13.4
DeepSeek V4-Pro	12.4	58.3	15.3	14.0
Kimi-K2.6	11.9	50.3	19.1	18.7
全模型平均	12.4	50.4	18.8	18.4

关键发现¶

临床自主应用存在巨大鸿沟：即便是综合表现最佳的商业模型 GPT-5.5，其单次完整任务通过率也仅有 46.3%，而要求 3 次试验完全可复现的严格可靠性指标 \(\text{Pass}^3\) 更是骤跌至 28.0%；开源领头羊 DeepSeek V4-Pro 的 Pass@1 仅为 18.7%，表明当前大模型距离临床独立执业仍有极其遥远的距离。
临床多步推理是全行业共同的最大瓶颈：全模型平均超过半数（50.4%）的失误发生在“临床推理”阶段。细粒度排查显示，模型极少给出“全盘荒谬”的病理结论，而往往是“差之毫厘”（Near-miss）——如遗漏了关键用药剂量阈值、监测频率或特定禁忌症排查。
“知行脱节”（Output Gap）普遍存在：动作执行失误在所有模型中占比稳定在 15%~20%，最典型的表现是模型在最终撰写的病历文本中明确建议了转诊或检查，却完全遗漏了向底层 FHIR 服务器发送对应的 ServiceRequest 或 MedicationRequest 写入请求。
深入探索与精准比对造就领先优势：GPT-5.5 相较于第二名 Claude Opus 4.6 的领先（46.3% vs 31.7%）并非源于先验医学常识的悬殊，而在于其调用轮数显著更多（41.9 vs 25.2）、检索病历的深度更广，且严格对齐了原病历中的具体数值与用药事实，规避了事实捏造与过度概括。
工作流难度差异悬殊：在四类工作流中，“治疗规划”（Treatment Planning）难度最高，非 GPT-5.5 模型的平均通过率仅约 23.5%；而在专科维度上，内分泌科任务表现相对较优（GPT-5.5 达 59.0%），而肾脏与泌尿外科（Nephrology/Urology）则是全模型的通病重灾区（最高仅 33.3%）。

亮点与洞察¶

真正可验证的执行落地闭环：突破了以往医学评测“仅评语义相似度”的局限，基于真实 HAPI FHIR JPA 引擎构建了状态可检测的闭环环境，开创了医疗领域端到端智能体沙盒评测的新标杆。
专科医师人机协作的高保真构建管线：将 11 位三甲级医院资深专科医生置于审校回路核心，通过“Checklist 初审 \(\to\) 智能体精准 Diff \(\to\) 专家一票否决”的人工智能辅助审查流水线，确保了百项复杂任务的医学严谨性与安全性。
对复合智能体系统设计具有普适启发：论文明确揭示了智能体“说到了却没做（未发请求）”以及“多源线索推理遗漏边界条件”是复杂系统调用的通病，为后续医疗智能体引入反思校验（Reflection）、结构化表单自省及强制动作对齐机制指明了攻坚方向。

局限与展望¶

工作流场景局限：目前任务主要源自门诊电子会诊（e-consult）情境，尚未覆盖重症监护室（ICU）连续动态监测、急诊实时分诊、住院出院小结全流程以及高频床旁操作等更为紧急复杂的医疗场景。
交互维度受限：当前智能体采用纯单机自主决策范式，缺乏与真实或模拟人类医师、护理人员及病患之间的多轮动态博弈与医患共同决策（Shared Decision-Making）。
模态与外部知识库拓展空间：目前病历主要聚焦于结构化检验与非结构化文本，尚未原生融合高分辨率放射学影像（DICOM）、心电图波形以及联网实时药典（如 RxNorm、UpToDate）等动态临床知识检索支持。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次构建基于真实电子会诊与 FHIR R4 标准环境的长程医疗智能体可验证评测基准。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 12 款主流前沿模型、21 个专科大类、670 个检查点并实施细粒度错误归因。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰、形式化严密、流程图与消融数据详实全面。
价值: ⭐⭐⭐⭐⭐ 为临床自主智能体的研发与安全性落地提供了不可或缺的高水准权威度量衡。