MedEvoEval: Evaluating Continual Evolution of Doctor Agents through Simulated Clinical Episodes¶

会议: NeurIPS 2026
arXiv: 2606.28900
OpenReview: https://openreview.net/forum?id=Ja5320z9Vi
代码: https://github.com/huizhang-ai/MedEvoEval
领域: 医疗 LLM
关键词: 医生智能体, 动作门控评测, 持续演进, 跨轮经验重用, 临床决策评测

一句话总结¶

提出了一个基于动作门控门诊模拟的医生智能体持续演进评测框架 MedEvoEval，通过角色分离视图与细粒度事件日志，不仅揭示了最终答案准确率所掩盖的交互轮数、检查滥用及无效动作等过程成本，更首次系统评测了跨病例经验记忆沉淀对未见病例的迁移增益与反向性能保留。

研究背景与动机¶

大语言模型驱动的医生智能体正从单轮问答生成器演进为长期临床决策系统。在真实的门诊诊疗场景中，医生智能体不仅需要面对信息不完全的初始主诉，自主决定问诊策略、开具针对性辅助检查、在必要时发起多学科联合会诊（MDT），还必须判断何时现有证据足以支撑最终诊断与治疗方案。更重要的是，随着记忆增强、反思沉淀及检索机制的引入，智能体在后续诊疗中的决策行为势必会受到过往就医经历的动态影响。因此，对医生智能体的评测目标必须从单纯考察单次医学答案的正确性，跃迁到考察其在动态交互中不断演进的临床决策过程。

然而，现现有的评测范式远远无法满足这一需求。以 MedQA 和 MedMCQA 为代表的静态医学考试基准通常在一开始就向模型全量提供完整的病例病历，仅仅对比最终诊断答案与参考标准的吻合度；这种全知输入完全抹杀了主动获取患者特异性证据、动作合法性约束以及诊断过程资源开销的考量空间。尽管近期涌现出一些模拟医院环境、交互式问诊与工具调用的医疗模拟基准，但绝大多数仍然局限于单次孤立会话或静态运行，缺乏衡量跨病例经验如何驱动后续决策行为变化的评估协议。当智能体具备反思与写回能力时，我们既无法了解其经验积累是否能在未见病例上实现正向迁移，也无法判断后续更新是否会诱发对早期阶段能力的灾难性遗忘。

这两个层面的评估痛点紧密交织：在单轮病例内部，评测系统必须严密监控智能体如何按需获取证据、消耗检查与对话资源、规避无效操作；在跨病例纵向流中，评测系统必须量化经验积累是否优化了后续行为、是否具有泛化迁移性，以及后续更新是否保持了系统稳定性。本文的核心 idea 是：构建一套动作门控的角色三视图门诊模拟与执行日志追踪框架，将单病例内的细粒度动作痕迹与跨病例的结构化规则经验写回相耦合，首次在统一基准下对医生智能体进行过程成本、经验沉淀、未见迁移与反向保留的纵向系统评测。

方法详解¶

整体框架¶

MedEvoEval 将每个临床案例解构为三个严格隔离的角色视图：患者视图、检查视图与主管医师（评测者）视图。智能体在运行时仅能看到简短的初始主诉，必须通过合法的显式动作逐步揭开患者细节并按需申请辅助检查；在动作预算耗尽或完成诊疗时，智能体提交最终诊断、支持证据与处方方案，由主管医师对照隐秘金标准进行结构化评分。该执行过程产生的结构化事件轨迹不仅用于多维度打分与过程效用计算，还可通过轻量化规则卡片写回记忆库，供后续病例决策时检索复用。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["结构化临床源病例"] --> B["角色视图解构与访问控制<br/>患者/检查/主管视图分离"]
    B --> C["动作门控证据获取<br/>ASK/REQUEST_TEST/CALL_MDT"]
    C --> D["结构化事件追踪与主管评分<br/>诊断/证据/方案打分+过程成本"]
    D --> E["跨病例经验写回与检索<br/>成功与纠错规则卡库"]
    E --> F["纵向持续演进评测<br/>迁移增益/更新响应/反向保留BWT"]

关键设计¶

1. 角色视图解构与访问控制：彻底根除静态全知信息泄露

针对传统医疗基准预先向模型暴露全部病史导致无法评测临床信息收集能力的缺陷，MedEvoEval 将原始病例 $c_i$ 严格拆解为三元组： $$c_i = (V_i^{\text{patient}}, V_i^{\text{exam}}, V_i^{\text{manager}})$$ 其中患者视图 $V_i^{\text{patient}}$ 封装了患者人口统计学信息、主诉、现病史与既往史，仅当医生发起定向问诊时才吐露相应事实；检查视图 $V_i^{\text{exam}}$ 映射了标准化检查目录及其对应的实际检测结果，所有检查项默认隐藏，仅在医生发出精准请求且病例包含该项时返回真实结果；主管视图 $V_i^{\text{manager}}$ 包含参考确诊疾病、可接受别名、核心证据评分点与治疗方案要点，全程对智能体不可见，仅在诊疗终结后用于客观打分与反馈。这一设计使得信息可观测性完全由智能体动作触发，真实还原了门诊首诊的渐进式推理环境。

2. 动作门控证据获取：建立规范动作空间与资源边界

为规范交互并捕获临床行为细节，医生智能体的动作空间被严格约束在四个标准化算子内： $$\mathcal{A} = \{\texttt{ASK}, \texttt{REQUEST\_TEST}, \texttt{CALL\_MDT}, \texttt{FINALIZE}\}$$ $\texttt{ASK}$ 向患者模拟器发起针对性提问（单轮最多提 2 个问题）；$\texttt{REQUEST\_TEST}$ 向检查系统申请特定目录测试，若开具不存在或不匹配的检查则记录为无效请求；$\texttt{CALL\_MDT}$ 允许引入第三方多学科专家给出鉴别诊断与检查建议；$\texttt{FINALIZE}$ 终结会话并强制提交诊断、支持证据链、处置方案及随访安排。环境设置了硬性动作预算（默认 $B=10$）和最大检查数上限（默认 $E_{\max}=3$），智能体的每一次语法解析失败或格式错误均计为错误轮次并扣除预算，使动作合法性与决策边界变得透明可测。

3. 结构化事件追踪与主管评分：将过程成本与诊疗质量联合度量

以往单纯依赖最终答案准确率的评分掩盖了医疗资源的滥用。MedEvoEval 在事件日志（JSONL）中实时记录轮次索引、动作类型、查询内容、接口返回状态、MDT 建议、终结原因等全流程轨迹。病例结束时，主管模型给出归一化综合质量分： $$S_i = 0.5 S_i^{\text{diag}} + 0.3 S_i^{\text{evi}} + 0.2 S_i^{\text{plan}}$$ 其中诊断分 $S_i^{\text{diag}} \in \{1.00, 0.75, 0.50, 0.25, 0.00\}$ 采用五级阶梯评定；证据分 $S_i^{\text{evi}}$ 和方案分 $S_i^{\text{plan}}$ 引入惩罚项，对幻觉证据扣减 $\lambda_{\text{evi}}=0.5$、对危险违规处置扣减 $\mu_{\text{plan}}=1.0$。在此基础上，系统定义了联合过程开销的复合效用指标（Composite Utility）： $$U_i = 0.6 S_i - 0.2 \left(\frac{T_i}{C_T}\right) - 0.1 \left(\frac{E_i}{E_{\max}}\right) - 0.1 R_i$$ 其中 $T_i$ 为有效问诊与错误交互轮次总和（归一化因子 $C_T=B=10$），$E_i$ 为申请检查数，$R_i$ 为无效检查率（无结果项占总申请项的比例）。该指标将盲目大开检查单、冗长无效问诊及格式崩溃等过程代价直接反映在综合收益中。

4. 跨病例经验写回与检索：支持跨会话记忆演进与稳定性量化

为支持持续学习与经验复用评测，框架在诊疗结束后允许主管医师自动生成紧凑的规则卡片。记忆库划分为成功经验卡（IF ... THEN ...）与错误纠错卡（IF ... AVOID ...），记录特定病症下的最佳问诊动作、检查推荐或诊断鉴别要点。在后续病例推理时，系统采用 TF-IDF 检索与当前患者表征最匹配的 Top-$K$ 张规则卡（默认 $K=3$）注入提示词。评测体系横向支持四种纵向演进指标： - 序列记忆成熟度对比（E0 无记忆、E1 空白在线写回、E2/E3 连续多轮沉淀）； - 未见测试集迁移增益 $\mathrm{ET}(Z) = \bar{Z}_{H_3} - \bar{Z}_{H_0}$； - 更新阶段瞬时响应 $\Delta_{\text{upd}}(Z) = \bar{Z}_{\text{upd}} - \bar{Z}_{\text{pre}}$； - 针对早期阶段的反向保留度（Backward Transfer）评估灾难性遗忘： $$\mathrm{BWT}(Z) = \frac{1}{K-1} \sum_{j=1}^{K-1} \left(A_{K,j}^{(Z)} - A_{j,j}^{(Z)}\right)$$ 从而首次为免微调、基于记忆库演进的医疗智能体建立了完整的稳定性评测标尺。

实验关键数据¶

主实验¶

在由 80 个共享门诊真实案例构成的基准子集上（关闭记忆与 MDT），MedEvoEval 对四款主流大模型（Qwen-Turbo、Qwen3.5-122B-A10B、GLM-5、Kimi-K2.5）进行了全面横向评测，患者模拟器统一为 Qwen-Turbo，主管评测模型为带思考能力的 Kimi-K2.5。实验清晰展示了过程成本如何重塑单纯看答案准确率的评价格局：

模型	严格准确率 (Strict) ↑	综合质量分 ($S$) ↑	复合效用 ($U$) ↑	交互轮数 (Turns) ↓	检查数量 (Tests) ↓	无效检查率 (Invalid) ↓
Qwen-Turbo	0.100	0.304	0.014	5.713	1.388	0.077
Qwen3.5-122B-A10B	0.150	0.378	0.036	7.975	0.900	0.010
GLM-5	0.375	0.622	0.205	4.463	2.225	0.050
Kimi-K2.5	0.263	0.579	0.128	5.725	2.575	0.192

在 200 个完全独立的未见测试案例（Held-out）上，对比无记忆基线 $H_0$ 与经历 500 个病例流沉淀并保持在线写回的成熟记忆条件 $H_3$，系统经过严格的 Holm 多重假设检验校正：

评测端点	无记忆基线 ($H_0$)	成熟记忆写回 ($H_3$)	配对差值 ($\Delta$)	95% 置信区间	原始 $p$ 值	Holm 校正后 $p$ 值
复合效用 ($U$) ↑	0.019	0.068	+0.0483	[0.0185, 0.0784]	0.003	0.017
交互轮数 (Turns) ↓	6.645	5.730	-0.915	[-1.290, -0.540]	$3.74\times 10^{-6}$	$2.62\times 10^{-5}$
综合质量分 ($S$) ↑	0.335	0.385	+0.049	[0.005, 0.094]	0.120	0.370
通过率 (Pass Rate) ↑	0.180	0.255	+0.075	[0.010, 0.140]	0.040	0.200
严格准确率 (Strict) ↑	0.260	0.295	+0.035	[-0.035, 0.105]	0.392	0.711
检查数量 (Tests)	1.305	1.355	+0.050	[-0.060, 0.160]	0.355	0.711

消融实验¶

在机制验证子集（100 个病例）与纵向序列上，对记忆内容构成（成功+失败 vs 仅失败）以及检索卡片数量 $K_{\text{ret}}$ 进行消融实验：

记忆与检索配置	综合质量分 ($S$)	复合效用 ($U$)	通过率 (Pass)	交互轮数 (Turns)	检查数 (Tests)	严格准确率 (Strict)
成功 + 失败卡 ($K_{\text{ret}}=3$)	0.2627	-0.0217	0.09	6.21	1.22	0.13
仅失败纠错卡 ($K_{\text{ret}}=3$)	0.2668	-0.0179	0.09	5.99	1.32	0.09
检索规模 $K_{\text{ret}}=1$	0.3015	0.0068	0.13	5.68	1.38	0.15
检索规模 $K_{\text{ret}}=3$	0.2763	-0.0122	0.08	6.28	1.21	0.12
检索规模 $K_{\text{ret}}=5$	0.3110	-0.0013	0.17	6.39	1.34	0.18

此外，在 450 个配对样本的反向保留分析中，终期记忆快照与原始阶段相比，综合质量分差异为 $\mathrm{BWT}_S = -0.0087$（95% CI: $[-0.034, 0.017]$，$p=0.920$），效用差异为 $\mathrm{BWT}_U = -0.0099$（95% CI: $[-0.027, 0.008]$，$p=0.736$），表现出极小且未达统计显著的反向性能退化。

关键发现¶

最终答案打分存在严重盲区：GLM-5 取得了最高的终末得分（$S=0.622$）与复合效用（$U=0.205$），且轮数最少（4.463 轮）；Kimi-K2.5 虽然终末得分逼近（$S=0.579$），但伴随了极高的无效检查率（0.192）和检查总数（2.575），在真实世界中意味着昂贵的非必要检查开支；Qwen3.5-122B 虽然无效检查极少（0.010），却因为接口格式错误高达 88.75% 浪费了大量轮次（均轮 7.975），导致效用被大幅惩罚。
MDT 会诊的本质是资源再分配而非诊断提升：无论是弱医生（Qwen-Turbo）引入会诊，还是强医生（GLM-5）自会诊，MDT 显著增加了会话轮数（GLM-5 轮数增加 1.33 轮，$p<0.001$）并减少了实验室检查（GLM-5 检查减少 0.56 项，$p<0.001$），但在经过严格多重校正后，均未带来显著的诊断正确率跃升。
跨病例经验累积显著提升效率而非单纯拉高上限：在 200 个独立测试病例上，成熟记忆（$H_3$）最显著的统计学贡献在于大幅压降了问诊交互轮数（减少 0.915 轮，Holm 校正后 $p<10^{-4}$），从而使复合效用显著提高 0.0483（Holm $p=0.017$）。这表明规则记忆使医生能更快抓住鉴别关键，精简了试探性低效问诊。

亮点与洞察¶

解耦“动作门控探索”与“最终静态准确率”：通过构建三视图执行环境与包含 4 类原子算子的严格动作空间，论文提供了一种可审查、可审计的真实门诊决策流水线，使接口解析错误、过度化验与证据幻觉显式化。
构建了基于规则卡片的外挂式演进评测协议：避免了医疗模型昂贵的端到端持续微调，将经验沉淀为可解释的 IF-THEN / IF-AVOID 规则卡，同时设计了未见迁移（ET）与反向保留（BWT）双向检验机制，为 Agentic RAG 与反思型智能体提供了规范的评测范本。
发布高保真、可复现的完整工件套件：配套开源了包含 700 个中国医考衍生病例的结构化数据集、包含 3,103 条完整交互轨迹的日志、可离线复算全部统计检验与置信区间的复现脚本，并经过了双盲执业医师的人工金标准一致性抽检（Kappa = 0.824）。

局限与展望¶

作者承认的局限：门诊交互仍属于标准化模拟环境，检查结果和患者回答基于预设视图和模型扮演，无法完全模拟真实人类病人的多变表达与复杂多合一检查；当前评测主要基于 4 款 API 模型，缺乏对开源权重模型家族的系统性规模扩展实验。
独立观察的局限：当前经验记忆采用简单的 TF-IDF 检索与无上限追加策略，当运行成千上万个病例后可能面临提示词污染或冗余规则竞争问题；此外，复合效用函数中各项权重的设定带有一定的主观偏好（尽管作者通过 66 组权重敏感性网格验证了排名鲁棒性）。
改进方向：引入更具辨别力的动态记忆修剪机制（如遗忘率衰减或规则聚类）；将纯文本检验单扩展至包含医学影像、心电图等多模态检查项的统一动作门控基准。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出将单病例动作门控过程成本与跨病例经验演进/遗忘统一评测的框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种模型对比、MDT 影响、500 轮纵向流、200 轮未见迁移、BWT 遗忘分析与两名医师双盲审核，统计检验完备。
写作质量: ⭐⭐⭐⭐⭐ 协议形式化定义严密，实验设计逻辑环环相扣，图表与附录细节极度详实。
价值: ⭐⭐⭐⭐⭐ 为临床医生智能体从“静态做题家”迈向“反思进化的长期临床助手”树立了极其关键的评测基础设施。

评测端点	无记忆基线 (\(H_0\))	成熟记忆写回 (\(H_3\))	配对差值 (\(\Delta\))	95% 置信区间	原始 \(p\) 值	Holm 校正后 \(p\) 值
复合效用 (\(U\)) ↑	0.019	0.068	+0.0483	[0.0185, 0.0784]	0.003	0.017
交互轮数 (Turns) ↓	6.645	5.730	-0.915	[-1.290, -0.540]	\(3.74\times 10^{-6}\)	\(2.62\times 10^{-5}\)
综合质量分 (\(S\)) ↑	0.335	0.385	+0.049	[0.005, 0.094]	0.120	0.370
通过率 (Pass Rate) ↑	0.180	0.255	+0.075	[0.010, 0.140]	0.040	0.200
严格准确率 (Strict) ↑	0.260	0.295	+0.035	[-0.035, 0.105]	0.392	0.711
检查数量 (Tests)	1.305	1.355	+0.050	[-0.060, 0.160]	0.355	0.711

记忆与检索配置	综合质量分 (\(S\))	复合效用 (\(U\))	通过率 (Pass)	交互轮数 (Turns)	检查数 (Tests)	严格准确率 (Strict)
成功 + 失败卡 (\(K_{\text{ret}}=3\))	0.2627	-0.0217	0.09	6.21	1.22	0.13
仅失败纠错卡 (\(K_{\text{ret}}=3\))	0.2668	-0.0179	0.09	5.99	1.32	0.09
检索规模 \(K_{\text{ret}}=1\)	0.3015	0.0068	0.13	5.68	1.38	0.15
检索规模 \(K_{\text{ret}}=3\)	0.2763	-0.0122	0.08	6.28	1.21	0.12
检索规模 \(K_{\text{ret}}=5\)	0.3110	-0.0013	0.17	6.39	1.34	0.18