跳转至

GPAgentBench-2K: Benchmarking Large Language Model Agents in Complex Clinical Action Space

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/jianing-lab/GPAgentBench
领域: 医学自然语言处理
关键词: 临床智能体, 约束马尔可夫决策过程, 动作空间扩展, 全科诊疗决策, 安全弃权转诊

一句话总结

针对现有临床评测过度简化动作空间且无法约束安全风险的缺陷,本文构建了首个基于约束马尔可夫决策过程(CMDP)的全科智能体基准 GPAgentBench-2K,涵盖 6 项基础动作拓扑与安全弃权转诊机制,揭示了前沿大模型在复杂动作空间下严重的“质量-安全鸿沟”,并提出了基于拉格朗日松弛的约束策略优化基准 C-GRPO。

研究背景与动机

大语言模型作为自主临床智能体展现出巨大潜力,能够模拟问诊交互、调用诊断工具并进行多步医学推理。然而,现有的临床评估基准大多采用静态预测设定(如直接基于结构化电子病历给出诊断),跳过了主动收集病史与体格检查的核心推理过程。即使是近期引入马尔可夫决策过程(MDP)的交互式环境(如 DoctorAgent-RL 或协同多智能体框架),也普遍将智能体的动作空间高度压缩为极简的二元动作(仅限 ask 提问与 diagnose 确诊),或者将不同职责硬性拆解到多智能体流水线中,使单个智能体完全脱离了真实初级诊疗(全科全貌)所面临的复杂交互环境。

更严峻的核心矛盾在于,现存交互环境通常被建模为无约束的单目标 MDP,智能体的终极目标被单一化地设定为命中正确疾病名称。即便部分工作考虑了检查开支等次要指标,也仅将其作为软性加权惩罚项加入标量奖励中。但在真实全科门诊中,医疗决策本质上是一个严格受限的约束马尔可夫决策过程(CMDP):在证据不充分时盲目下达处方、开具冗余且昂贵的检查项目、或是未能识别高危红旗征象而漏转重症患者,均属于不可接受的临床安全违规。这些高危失误造成的临床危害具有严重不对称性,绝不能通过下游诊断命中的额外奖励进行跨期事后补偿。

为了弥合这一认知与评测鸿沟,评估体系必须将决策空间完整还原到包含体查、辅助检验和分流转诊的全流程,同时建立不可逾越的安全红线。核心 idea:将全科临床决策形式化为包含问诊、体查、检查、诊断、治疗和转诊六类基础动作的约束马尔可夫决策过程(CMDP),引入专家拓扑先验动作掩码与拟真患者画像,并将安全弃权(转诊)与就地诊治确立为一等公民决策结果,以硬性安全与成本约束全面衡量临床智能体在复杂动作空间中的真实决策边界。

方法详解

GPAgentBench-2K 旨在全面评测并引导智能体在面临复杂临床动作空间时的审慎决策能力。该系统基于全科真实门诊病历构建,由拟真患者模拟器、带专家拓扑掩码的 CMDP 交互环境,以及双重对偶优化的 C-GRPO 强化学习基线共同构成。

整体框架

在每个交互回合中,环境从专家验证的 2,428 例全科病历中抽取病例,并与涵盖性格、语言能力、病史回忆保真度和认知清晰度维度的多面患者画像相结合,构建具备沟通阻碍的初始状态 \(s_0\)(隐去真实诊断与分流去向)。智能体作为全科医生,在受专家拓扑先验动态掩码约束的动作集合 \(M(s_t)\) 中选择行动。智能体可递归执行信息采集动作(向患者问诊 ask、执行物理查体 body_exam、开具检验检查 test)。当证据充分时,智能体面临关键的分流抉择:若属于高危重症,采取安全弃权动作 refer 终止回合;若属于可安全处置疾病,则执行 diagnose 后进入终结动作 treat。环境对输出轨迹计算临床质量奖励(诊断准确率 \(R_{\text{Dx}}\)、治疗匹配分 \(R_{\text{Tx}}\) 与处置正确率)以及安全性与经济性成本(漏转诊成本 \(C_{\text{safe}}\) 与检查开销 \(C_{\text{diag}}\))。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["患者初始就诊陈述<br/>多维画像注入与病历脱敏"] --> B["多维画像拟真患者交互<br/>情绪/语言/回忆保真度干扰"]
    B --> C["六元动作空间与专家拓扑先验掩码<br/>动态约束证据收集与处置流向"]
    C --> D["双终结分支临床处置评估<br/>安全弃权转诊 vs 就地诊断治疗"]
    D --> E["双重约束对偶策略优化 C-GRPO<br/>拉格朗日乘子解耦安全违规与任务奖励"]
    E --> F["评估输出:临床质量-安全-效率三维评测"]

关键设计

1. 多维画像拟真患者交互:突破传统病历直接静态暴露的理想假设
传统基准通常假定病历信息是现成结构化的,或者虚拟患者会毫无保留地准确回答全部症状,掩盖了真实门诊中患者沟通能力的异质性。针对这一痛点,本文在 2,428 例真实脱敏门诊数据的基础上,为虚拟患者注入四维人格特征:包括性格特征(不耐烦、过度焦虑、啰嗦、不信任、迎合轻描或中立)、语言能力(初级、中级或高级)、病史回忆保真度(高或低)以及认知定向障碍程度(正常、中度或高度)。这种设计迫使智能体必须具备高超的沟通引导技巧;例如面对低保真度或认知混乱的患者,直接提问可能会遗漏关键既往史,智能体必须主动针对性追问和澄清。由高级临床医师进行的双盲人工审计表明,该模拟器在事实一致性(96.9%)、临床逼真度(93.8%)以及画像依从性(87.5%)上均达到极高水准(\(\kappa \ge 0.81\))。

2. 六元动作空间与专家拓扑先验掩码:遏制无序跃迁与动作空间爆炸
将动作空间从简单的“问诊-诊断”二元动作扩展到全科全场景后,智能体面临严重的无效动作探索与虚构诊断风险。本文构建了涵盖 ask(问诊)、body_exam(6 大核心系统体查)、test(584 种跨血液、影像、功能和病理检查)、diagnose(确诊)、treat(处方建议)与 refer(转诊专家)的完整动作全集 \(\mathcal{A}\)。为避免模型在未问诊前直接开药或在确诊后回退到检查,系统引入由医学专家制定的状态依赖型拓扑先验动作掩码 \(M(s_t) \subseteq \mathcal{A}\)。在证据收集阶段,模型仅能递归执行信息收集动作;唯有下达 diagnose 之后方可解锁 treat 终止动作;而 refer 动作则赋予智能体随时安全退出的能力。此项掩码作为环境控制机制强制执行,消除了因语法解析失败或非法流程跃迁带来的评测混淆,精准量化模型面对庞大医学候选空间时的决策推理质量。

3. 双终结分支临床处置评估:将安全弃权转诊确立为一等公民决策
传统医疗评测强迫模型必须猜测出确切疾病并给药,直接助长了模型的过度自信倾向,导致在面对超出全科能力的复杂危重症时盲目尝试本地治疗。本文将临床结局显式分流为“就地诊疗(diagnose-and-manage)”与“安全弃权转诊(abstain-and-refer)”两条并行轨迹。对于数据集中占比 45.1% 的全科可处理病症(如慢性紧张性头痛),模型应完整执行诊治闭环;而对于占比 54.9% 且横跨 29 个专科的长尾重症(如直肠占位或转移性肾细胞癌),模型的核心职责是及时察觉红旗指标并触发转诊。评估体系将安全成本定义为分流决策错误的二值指示函数: $\(C_{\text{safe}} = \mathbf{1}_{\text{mgmt\_wrong}} \in \{0, 1\}\)$ 从而将危害极大的重症漏转率(Miss-Refer)与造成医疗挤兑的过度转诊率(Miss-GP)作为核心安全指标,破除了“唯准确率论”的评测偏见。

4. 双重约束对偶策略优化 C-GRPO:解耦安全惩罚避免标量补偿坍塌
若使用标准强化学习算法(如 GRPO),将安全性与经济性作为加权负奖励加入标量奖励,策略网络极易通过贪婪拉高诊断奖励来抵消安全扣分,出现“即使漏转高危病患也能凭偶尔猜中病名获得高回报”的危险对冲行为。为提供可靠的对齐基线,本文引入基于拉格朗日松弛的约束群相对策略优化(C-GRPO)。针对第 \(g\) 组采样的每条轨迹 \(\tau_{i,g}\),分别在组内独立计算标准化的质量奖励优势 \(Z_R(\tau_{i,g})\) 与约束成本优势 \(Z_{C_k}(\tau_{i,g})\),并通过对偶变量 \(\lambda_k\) 线性组合形成约束相对优势: $\(\hat{A}^c_{i,g} = Z_R(\tau_{i,g}) - \sum_{k \in \mathcal{K}} \lambda_k Z_{C_k}(\tau_{i,g})\)$ 其中对偶变量依据经验违规程度采用投影梯度上升更新:\(\lambda_k \leftarrow [\lambda_k + \eta_\lambda (\hat{C}_k - \epsilon_k)]_+\)。为防止极端高危漏诊导致对偶变量失控爆炸,设定安全惩罚乘子上限 \(p_{\text{mgmt}} = 6\)。这种机制在策略更新中硬性拉开安全成本与任务得分的梯度方向,使模型在探索中学会严格尊重临床安全底线。

损失函数 / 训练策略

C-GRPO 在 PPO 风格的裁剪目标函数下更新策略参数 \(\theta\): $\(\mathcal{J}_{\text{C-GRPO}}(\theta) = \mathbb{E}\left[ \min\left( \rho^m_{i,g,t}(\theta) \hat{A}^c_{i,g}, \, \text{clip}\left(\rho^m_{i,g,t}(\theta), 1-\epsilon_c, 1+\epsilon_c\right)\hat{A}^c_{i,g} \right) - \beta D_{\text{KL}}\left(\pi^m_\theta(\cdot \mid s_t) \parallel \pi^m_{\text{ref}}(\cdot \mid s_t)\right) \right]\)$ 其中 \(\rho^m_{i,g,t}(\theta)\) 为经掩码 \(M(s_t)\) 重新归一化后的策略概率比值。超参数配置设定诊断准确率权重 \(w_{\text{diag}} = +5\)、治疗匹配度权重 \(w_{\text{treat}} = +3\)、安全违规阈值 \(\tau_{\text{safety}} = 0\)(乘子上限 6)、诊断检查成本预算阈值 \(\tau_{\text{cost}} = 0.2\)(折合 100 美元),非允许流向违规惩罚 \(c_{\text{workflow}} = 5.0\),单回合交互步数上限为 10 步(超时惩罚 \(c_{\text{timeout}} = 5.0\))。

实验关键数据

主实验

在由 284 例就地管理病例与 201 例转诊病例组成的严格分层测试集上,评测了 16 款主流大模型及专有模型的零样本表现(GPT-5.4 作为自动化裁判,与人类专家高度一致 \(\kappa \ge 0.89\))。

模型类别 模型名称 诊断准确率 (Dx Acc. %) 治疗得分 (Tx Score %) 处置决策率 (Mgmt Acc. %) 漏转诊率 (Miss Refer %) ↓ 漏本地管理率 (Miss GP %) ↓ 平均轮次 (Turns) ↓ 检查成本 (USD) ↓
商业前沿 CLAUDE OPUS 4.7 70.0 (2.5) 46.0 (2.0) 55.9 (2.3) 67.2 (3.3) 27.8 (2.7) 5.57 (0.06) $253 (13)
商业前沿 GEMINI 3.1 PRO 66.8 (3.1) 41.6 (2.0) 55.9 (2.3) 47.8 (3.5) 41.5 (2.9) 6.07 (0.07) $231 (12)
商业前沿 GPT-5.4 64.1 (2.8) 53.2 (2.4) 56.3 (2.3) 51.2 (3.5) 38.4 (2.9) 6.91 (0.07) $147 (10)
商业前沿 CLAUDE SONNET 4.6 61.7 (1.6) 36.0 (1.8) 60.2 (2.2) 77.1 (3.0) 13.4 (2.0) 6.57 (0.05) $218 (11)
通用开源 DEEPSEEK-V4-PRO 59.5 (2.8) 41.2 (2.0) 56.7 (2.3) 57.2 (3.5) 33.5 (2.8) 6.98 (0.07) $146 (10)
通用开源 KIMI K2.6 56.7 (4.1) 49.2 (3.5) 41.2 (2.2) 40.3 (3.5) 71.8 (2.7) 8.74 (0.08) $34 (5)
通用开源 MINIMAX M2.7 60.0 (2.5) 31.3 (1.9) 53.0 (2.3) 78.1 (2.9) 25.0 (2.6) 6.95 (0.07) $278 (14)
通用开源 QWEN2.5 (72B) 54.1 (3.2) 25.4 (1.8) 46.4 (2.3) 54.7 (3.5) 52.8 (3.0) 6.86 (0.09) $473 (20)
通用开源 QWEN2.5 (7B) 40.4 (2.5) 18.4 (1.3) 47.4 (2.3) 89.6 (2.2) 21.1 (2.4) 6.27 (0.09) $445 (20)
医学专用 HUATUO-O1 (72B) 62.3 (3.5) 33.2 (2.4) 48.5 (2.3) 39.3 (3.5) 60.2 (2.9) 6.79 (0.08) $325 (13)
医学专用 MEDGEMMA (27B) 49.5 (3.4) 29.7 (2.2) 52.0 (2.7) 65.7 (4.0) 35.2 (3.4) 8.51 (0.08) $145 (12)
医学专用 DOCTORAGENT-RL (7B) 41.0 (3.5) 22.4 (2.0) 15.7 (1.7) 89.1 (2.2) 81.0 (2.3) 9.44 (0.06) $89 (9)

消融与强化学习对齐实验

针对策略优化方法,对比了基础模型 Qwen2.5 (7B) 在无约束标量化 GRPO 与约束 C-GRPO 下的微调效果;同时探究了动作空间从 2 项动作逐步扩展至 6 项动作时的性能衰退情况。

策略 / 动作空间配置 诊断准确率 (Dx Acc. %) 治疗得分 (Tx Score %) 处置决策率 (Mgmt Acc. %) 漏转诊率 (Miss Refer %) ↓ 漏本地管理率 (Miss GP %) ↓ 平均检查成本 (USD) ↓
Qwen2.5 (7B) 基模 40.4 18.4 47.4 89.6 21.1 $445
GPAgent (GRPO) 48.5 (+8.1) 20.0 (+1.6) 48.7 (+1.3) 83.6 (-6.0) 28.5 (+7.4) $438 (-7)
GPAgent (C-GRPO) 52.2 (+11.8) 20.5 (+2.1) 51.0 (+3.6) 82.1 (-7.5) 26.1 (+5.0) $435 (-10)
动作空间消融: 2 动作 (Dx, Tx) ~58.2 ~24.2 - - - -
动作空间消融: 3 动作 (+ ask) 54.1 (-4.1) ~23.5 - - - -
动作空间消融: 4 动作 (+ test) 47.1 (-7.0) ~22.0 - - - -
动作空间消融: 6 动作 (Full: + body_exam, refer) 40.4 (-6.7) 18.4 (-3.6) 47.4 89.6 21.1 $445

关键发现

  • 动作空间扩展导致断崖式性能衰退:随着动作空间从极简的 2 项扩展到完整的 6 项,所有模型的诊断准确率单调剧烈下降(平均降幅高达 17-21 个百分点)。其中引入 ask 导致准确率平均骤降 4.1 pp(任务由静态填空变为动态交互),而引入 test 导致准确率骤降 7.0 pp(候选检查空间组合爆炸),证明在多步探索空间中维持推理一致性极其困难。
  • 不可调和的临床“质量-安全鸿沟”:当前模型在决策标定上呈现两极分化。顶尖商业模型(如 Claude Opus 4.7 与 Claude Sonnet 4.6)展现出严重的“过度自信偏见”,极端热衷于就地治疗,导致在需要转诊的危重症患者中漏转率高达 67.2% 至 77.1%;而 Kimi K2.6 与 Huatuo-o1 (72B) 则陷入“过度谨慎偏见”,频繁将简单常见病向外转诊,本地漏诊率(Miss GP)高达 60.2% 至 71.8%。
  • 单纯参数缩放无法自发弥合安全鸿沟:将 Qwen2.5 参数从 7B 扩展至 72B 虽带来诊断准确率的提升(40.4% \(\to\) 54.1%),但漏转率仍高达 54.7%,且出现了盲目大包围开具高额检查项目的“猎枪式医疗(shotgun medicine)”现象,检查成本暴增至全场最高的 $473。
  • 窄动作空间 RL 迁移性崩塌:在仅支持两项动作(提问与确诊)环境中训练的 DoctorAgent-RL (7B) 迁移至全空间后,由于无法适应真实体查与开单检查,陷入死循环重复提问的“絮叨效应(rambling effect)”,其步级重复提问率高达 36.7%,平均交互轮次逼近上限(9.44 轮),处置准确率仅为 15.7%。
  • C-GRPO 显著优于标量 GRPO,但绝对安全赤字仍存:C-GRPO 依靠对偶变量解耦约束,在诊断准确率(+11.8 pp)与转诊决策准确率(+3.6 pp)上全面超越标量 GRPO,同时保持了接近前沿模型的低重复提问率(1.0%)。然而,其漏转率仍高达 82.1%,印证了在复杂动作空间中达成临床级安全底线仍是开放性难题。

亮点与洞察

  • 将安全弃权提升为一等公民临床目标:跳出了传统诊断基准“必须给出病名”的执念,建立了真实世界全科医生“识不可为而转诊”的审慎分流评价框架。
  • 双重约束解耦规避标量化对冲陷阱:在策略梯度中将临床安全红线和检查资源成本作为硬性约束单独对偶建模,防止大模型利用其擅长的答题套路“用高诊断得分稀释高危失误”。
  • 可复用的临床智能体沙盒规范:基于专家拓扑先验的动作掩码机制,既保护了流程合规性,又保留了智能体自主探索分支的决策自由度,为后续具身/工具型医学智能体研发提供了标准化规范。

局限与展望

  • 语言与医疗体系的单一性:基准目前完全基于英语门诊记录构建,未涵盖多语言、跨地域多元文化以及不同国家分级诊疗体制下差异化的转诊规范。
  • 环境模拟器的人工保真度边界:尽管通过专家拓扑掩码与审计确保了基准的确定性和可复现性,但虚拟患者智能体(GPT-4o-mini)的言语反馈相较于真实世界病患仍存在一定的行为简化。
  • 安全约束保证的形式化缺口:C-GRPO 采用拉格朗日松弛与上限截断,本质上仍是经验性软约束逼近,尚无法在理论层面对高危医疗决策提供 100% 的不可违背硬性形式化安全验证。

相关工作与启发

  • vs DoctorAgent-RL (Feng et al., 2025): DoctorAgent 仅支持 ask 和 diagnose 两项动作,将复杂临床扁平化;本文扩展至六元全科动作空间,并证明在狭窄动作空间微调的模型迁移到全动作空间时会出现严重的重复发问与决策崩溃。
  • vs LA-CDM (Bani-Harouni et al., 2025): LA-CDM 虽引入检查选择,但仅将开单成本作为标量奖励中的加权惩罚项且缺乏双向转诊机制;本文采用严格的 CMDP 约束形式化与拉格朗日双重对偶优化,杜绝性能与安全的恶意对冲。
  • vs AgentClinic (Schmidgall et al., 2024): AgentClinic 关注多模态临床对话与多科室探索,但未将全科决策界定为带有安全弃权分流阈值和检查预算约束的 CMDP 问题。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 构建首个覆盖六元全谱动作与安全弃权转诊机制的全科临床 CMDP 基准。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 16 款商业与开源大模型,提供全面的动作空间消融、步级行为质量分析及 C-GRPO 对齐基线。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念界定严谨,形式化建模清晰,实验分析深刻且具有临床批判性。
  • 价值: ⭐⭐⭐⭐⭐ 深刻揭示了前沿大模型在临床决策中的质量-安全鸿沟,为构建可信医疗决策智能体奠定了里程碑式的评测基石。