Fathom-Vaidya: Advancing Medical Reasoning with Rubric-Based Rewards¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 推理
关键词: 医疗推理, 强化学习, 多维度评估细则, 诊断推理, 临床交互
一句话总结¶
针对医疗大模型在聚合性封闭诊断与开放式多轮临床交互中的能力割裂,Fathom-Vaidya 提出无监督链式思考的序列化强化学习范式,结合 MedBullets 规则/错误细则两阶段 RL 与 Actor-Critic 合成临床细则奖励,使 30B 模型在 HealthBench-Hard 上达到 50.1% 的全球最佳表现。
研究背景与动机¶
大语言模型在医疗健康领域的落地部署,对模型的严谨推理与交互决策能力提出了严苛要求。然而,真实的临床决策并非单一维度的文本生成,而是天然解耦为两类互补的认知模式:其一是诊断推理(Diagnostic Reasoning),即基于患者症状、体征及检验指标进行证据收敛与因果推导,最终锁定确定性诊断结论;其二是临床医疗交互推理(Clinical Healthcare Reasoning),即在缺乏唯一标准答案的多轮医患沟通过程中,权衡诊断不确定性、主动探寻上下文缺失信息、识别急诊分流时机并因人施策进行通俗化医患沟通。现有主流开源与专有模型往往顾此失彼,在复杂真实场景下面临严峻挑战。
这一困境的核心痛点源于传统强化学习(RL)训练信号与真实临床决策逻辑的深层脱节。既有医疗强化学习研究(如 II-Medical、Huatuo-o1)主要依赖基于可验证规则的二元结果奖励(如选择题正误),仅奖励最终答案的一致性,无法惩罚推理轨迹中的虚假因果、医学幻觉或遗漏关键鉴别维度的隐性缺陷;而在开放式临床对话场景中,标准答案客观缺失,传统稀疏标量奖励彻底失效。近期虽有 Baichuan-M2 等工作探索基于主观准则的细则强化学习,但其依赖脱敏数据合成且评估维度过度偏向单一的正确性与交流流畅度,普遍缺失针对追问探寻(Context-seeking)、决策完备性(Completeness)与急危重症转诊规范等关键临床维度的密集监督信号。
面对诊断与交互双重维度的监督信号匮乏,本研究提出了两阶段序列化强化学习训练范式,彻底摆脱对昂贵人工微调思维链(SFT CoT)数据的依赖。研究团队首先利用高质量临床专科题库 MedBullets,结合规则正误与在线错误细则惩罚,激活并提纯基座模型的诊断推理链条;随后构建基于多智能体 Actor-Critic 闭环的合成多轮临床场景与细则生成框架,赋予模型密集的多维度标量奖励。核心 idea:将医疗推理显式拆解为「规则/错误双阶段诊断 RL」与「基于 Actor-Critic 合成多维度细则的多轮临床交互 RL」两阶段序列化课程,通过多轴连续分值细则为非可验证临床决策提供高保真密集奖励信号。
方法详解¶
整体框架¶
Fathom-Vaidya 的端到端训练管线分为诊断推理能力奠基与临床交互推理进阶两大核心阶段。输入为基础医学题库(MedBullets、MedQA 等)与 MedRedQA 患者真实问答种子,输出为具备深层次临床推理能力的系列模型(FV-4B、FV-8B、FV-30B-A3B)。在诊断推理阶段,模型首先经历基于规则奖励的初阶强化学习,再通过大模型 Judge 在线剖析解题轨迹生成严重度加权的错误细则(Error Rubrics)进行二阶段对齐;在临床交互阶段,框架通过 Actor-Critic 双循环合成覆盖 7 大主题的多轮拟真医患对话与多维度评估细则数据集 Vaidya-Rubrics,最终依托群组序列策略优化(GSPO)完成端到端策略迭代。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入:医学题库与临床真实问答种子"] --> B["规则引导强化学习<br/>难度过滤 + GSPO 二元正误奖励"]
B --> C["在线错误细则强化学习<br/>三类临床错误严重度加权惩罚"]
C --> D["Actor-Critic 临床对话与细则合成<br/>人格化多轮交互 + 极性反转校验"]
D --> E["多维度细则引导临床交互 RL<br/>多轴连续打分 + 系统提示词对齐"]
E --> F["输出:Fathom-Vaidya 医疗推理模型"]
关键设计¶
1. 规则引导强化学习:基于难度梯度的无监督思维链激发 针对传统医疗模型依赖昂贵人工标注 CoT 微调导致的模式僵化与过拟合痛点,本文首先设计了基于纯强化学习的诊断冷启动策略。系统采集 MedBullets 平台的 7,801 道高质量五选一专业题目(全面覆盖 USMLE Step 1/2 及骨科专科,兼具详尽选项解析),并结合 MedQA 和 MedMCQA 构建题目池。为了使强化学习获得最富信息量的探索梯度,本文在训练前通过基座模型(如 Qwen3-8B)在温度 1.0 下对每个样本采样 8 次推理轨迹,计算平均正确率 \(\bar{s}_i\)。样本被严格分流:\(\bar{s}_i \in (0.4, 0.7]\) 的中等难度样本被分配至规则强化学习阶段,而 \(\bar{s}_i \in [0.1, 0.4]\) 的高难度样本保留至细则微调阶段。在训练过程中,算法直接以二元答案正误赋予标量奖励(正确为 1,错误为 0),利用群组序列策略优化(GSPO)驱动模型自主探索并强化内在的长思维链推理模式,无需提供任何人工书写的思维链轨迹。
2. 在线错误细则强化学习:基于轨迹解构与严重度惩罚的诊断修正 针对二元结果奖励只能奖惩最终选项、无法纠正推理链内部逻辑硬伤与隐性幻觉的局限性,本文在规则 RL 得到的模型检查点(FV-8B-Diag 雏形)之上,引入在线错误细则强化学习。每次策略生成 Rollout 轨迹后,引入高水平推理模型作为裁判智能体,实时剖析候选轨迹并将其归类为三类结构性临床缺陷:医学知识错误(Knowledge Errors,如生理病理幻觉)、因果推理缺陷(Faulty Causal Reasoning,如混淆因果关联与伴随症状)及上下文理解错误(Context Errors,如遗漏病历核心体征)。裁判对每类缺陷标注严重度(重大错误严重度为 2,轻微错误严重度为 1),并汇总单条轨迹的总严重度惩罚,构建连续型细则奖励: $\(R_{\text{rubric}} = \frac{15 - \sum \text{severity}}{15}\)$ 其中 15 为基于经验标定的惩罚归一化阈值(Qwen3-8B 随机抽样平均严重度为 11.4)。最终奖励函数通过系数 \(\alpha\) 动态权衡细则质量与答案正确性: $\(R_{\text{final}} = \alpha \cdot R_{\text{rubric}} + (1 - \alpha) \cdot R_{\text{accuracy}}\)$ 消融实验表明,当取 \(\alpha = 1.0\) 时,模型能够最大限度地压制推理轨迹中的逻辑裂痕,在不破坏解题准确性的前提下显著提升推理链条的医学可解释性。
3. Actor-Critic 临床对话与细则合成:拟真多轮交互生成与极性反转 为弥补真实临床交互数据严重匮乏且无直接答案可验证的瓶颈,本文提出基于双智能体的 Vaidya-Rubrics 数据集合成架构。在对话生成阶段,针对不确定性决策与信息探寻主题,以真实医患交流数据集 MedRedQA 为种子;针对急诊转诊、全科健康与健康数据解读等主题,利用 HealthBench-Easy 锚点样本引导生成。为确保患者提问真实多元,生成模型被显式注入结合「内向-外向」与「逻辑-情绪」正交维度的 4 种典型患者人格。Critic 模型从完整性(检查是否存在未填写的占位符或缺失数据)与医学一致性(筛除逻辑荒谬病例)两方面进行最多 3 轮交互审查。在细则构建阶段,Critic 进一步对生成的连续评分细则(评分范围 \([-10, +10]\))进行单项独特性校验与得分合理性审查。为了防止模型在强化学习期间通过产生谄媚言论或通用套话投机取巧,框架以 10% 的概率将正面细则反转为负面极性(例如将「必须建议立即呼叫救护车,+8分」转换为「未建议立即呼叫救护车,-8分」)。数学证明表明,引入负极性反转严格杜绝了模型在忽略关键医学底线时的逃逸可能,构成了包含 5,351 个多轮样本的高难度密集监督空间。
4. 多维度细则引导临床交互 RL:非可验证开放对话的标量归一与策略优化 在获得具备强大鉴别诊断能力的模型基座后,框架转向开放式医患对话策略优化。针对多轮对话的最终回复,LLM 裁判对该对话关联的全部 \(M_i\) 条细则逐一判定其是否达成(以示性变量 \(\mathbf{1}\{r_{ij}\}\) 标识)。针对每个样本,系统通过正向可能得分的上限归一化计算最终连续标量奖励: $\(s_i = \frac{\sum_{j=1}^{M_i} \mathbf{1}\{r_{ij}\} p_{ij}}{\sum_{j=1}^{M_i} \max(0, p_{ij})}\)$ 式中 \(p_{ij} \in [-10, 10]\) 代表准则的固有分值。该得分被直接作为序列级奖励接入 GSPO 算法。为了克服多轮长文本下目标分散的难题,研究团队协同构建了覆盖沟通规范、指令遵循、医学准确、情境感知与决策完整性五大轴向的系统提示词(System Prompt),明确告知模型在回答时遵循的临床规范与风险底线。在每轮训练周期初始,算法同样基于 8 次采样的平均表现动态保留得分在 \([0.15, 0.7]\) 区间内的高收益样本,确保梯度更新持续作用于模型的认知有效边界。
损失函数 / 训练策略¶
在策略优化阶段,全线模型均采用群组序列策略优化(GSPO)并在 verl 分布式强化学习框架下运行。对于给定上下文,从旧策略 \(\pi_{\theta_{\text{old}}}\) 采样 \(K\) 条候选完整序列轨迹构筑群组 \(G\),通过减去群组均值并除以标准差计算出归一化优势值 \(\hat{A}(k)\)。策略目标采用带重要性截断的序列级目标函数:
$\(\mathcal{L}(\theta) = \mathbb{E}_{G} \left[ \frac{1}{K} \sum_{k=1}^K \min \left( r_\theta(\tau^{(k)}) \hat{A}(k), \, \text{clip}(r_\theta(\tau^{(k)}), 1-\epsilon, 1+\epsilon) \hat{A}(k) \right) \right]\)$
全流程采用 bfloat16 混合精度计算,批大小为 32。诊断 RL 阶段最大生成长度为 10,000 tokens;多轮临床交互 RL 阶段上下文窗口扩展至 20,000 tokens,最大补全长度设为 16,000 tokens。优化器采用 AdamW(\(\beta_1=0.9, \beta_2=0.95\)),学习率经 5 步线性预热后按余弦衰减至峰值 \(1\times 10^{-6}\)。FV-4B 与 FV-30B 训练 3 个 epoch,FV-8B 根据收敛情况充分迭代 5 个 epoch。
实验关键数据¶
主实验¶
论文在极具挑战性的专家级多选基准 MedXpertQA 以及面向多轮复杂临床交互的权威评测集 HealthBench-Hard 上进行了深入评估,涵盖多种主流开源医学模型与闭源前沿推理模型。
| 数据集 | 指标 | 本文 (FV-30B-A3B / FV-8B) | 对比基线 (同量级 / 代表性模型) | 相对/绝对提升 |
|---|---|---|---|---|
| MedXpertQA (Text) | Accuracy (%) | 28.3 (FV-8B) | 17.4 (Qwen3-8B) / 25.0 (II-Medical-8B) | 相比 Qwen3-8B 提升 +10.9% |
| MedXpertQA (Text) | Accuracy (%) | 27.9 (FV-8B-Diag) | 27.8 (Baichuan-M2-32B) | 8B 规模超越 32B 专有医学模型 |
| HealthBench-Hard (w/ Sys) | Accuracy (%) | 50.1 (FV-30B-A3B) | 23.42 (Qwen3-30B-A3B) / 43.79 (GPT-5-thinking) | 相比基座提升 +26.68%,创全球新高 |
| HealthBench-Hard (w/ Sys) | Accuracy (%) | 41.15 (FV-8B) | 13.1 (Qwen3-8B) / 37.92 (Baichuan-M2) | 8B 规模超越 Baichuan-M2 强基线 |
| HealthBench-Hard (w/o Sys) | Accuracy (%) | 37.75 (FV-30B-A3B) | 18.7 (Qwen3-30B-A3B) / 31.6 (OpenAI o3) | 零提示词下超越 OpenAI o3 与 gpt-oss-120B |
| HealthBench-Professional | Accuracy (%) | 39.8 (FV-30B-A3B) | 23.2 (Qwen3-30B) / 36.1 (Grok-4.2) | 提升 +16.6%,逼近人类医师基线 (43.7) |
| GPQA-Biology | Accuracy (%) | 70.52 (FV-30B-A3B) | 69.20 (Qwen3-30B) | 提升 +1.32% |
消融实验¶
为了剖析诊断推理阶段细则权重 \(\alpha\) 的作用机理、以及临床交互阶段 Vaidya-Rubrics 合成数据的具体效能,论文进行了严谨的消融对比。
| 配置 | 核心指标 (MedXpertQA / HealthBench-Hard) | 说明 |
|---|---|---|
| FV-8B-Ru1 (\(\alpha = 1.0\)) | 27.76% (MedXpertQA) | 诊断阶段完全基于错误细则严重度惩罚优化 |
| FV-8B-Ru0.7 (\(\alpha = 0.7\)) | 27.31% (MedXpertQA) | 错误细则惩罚与二元准确率混合奖励 |
| FV-8B-Ru0 (\(\alpha = 0\)) | 27.24% (MedXpertQA) | 完全退化为二元正确率奖励,缺乏推理错误精细纠偏 |
| Qwen3-8B + HealthBench-Easy 训练 | 30.2% (HealthBench-Hard, w/ Sys) | 仅在公开基准简单子集上微调,泛化迁移受限 |
| Qwen3-8B + Vaidya-Rubrics (FV-8B) | 41.15% (HealthBench-Hard, w/ Sys) | 合成细则数据带来超 +10.95% 的实质性绝对增益 |
| Qwen3-30B + HealthBench-Easy 训练 | 38.6% (HealthBench-Hard, w/ Sys) | 缺少高难度多样化主题与人格模拟,上限受阻 |
| Qwen3-30B + Vaidya-Rubrics (FV-30B) | 50.10% (HealthBench-Hard, w/ Sys) | 完整模型展现强大缩放效应,绝对提升 +11.50% |
关键发现¶
- 错误细则消除隐性推理缺陷:单纯依赖准确率奖励(\(\alpha=0\))容易促使模型投机性蒙对选择题,而以错误严重度主导奖励(\(\alpha=1.0\))不仅没有破坏正确率,反而使 MedXpertQA 得分达到最高的 27.76%,表明消除虚假因果与病理幻觉是提升深层医疗推理能力的核心驱动力。
- 临床多维度细则对弱势轴向的显著补足:在 HealthBench-Hard 的五大评测轴向分析中,Fathom-Vaidya 在决策完整性(Completeness)与情境感知(Context Awareness)上取得了最为显著的飞跃,绝对指标提升高达 25%–30%,准确性提升约 15%。
- 向高难度医师日常任务的强泛化:在完全未参与训练的医生日常辅助评测集 HealthBench-Professional 上,FV-30B-A3B 斩获 39.8%,超越通用旗舰模型 Grok-4.2(36.1%),并显著逼近执业医生水平(43.7%),证明该范式培养的是通用临床思维逻辑,而非对评测集的过拟合。
亮点与洞察¶
- 摆脱 SFT CoT 的纯 RL 医疗认知进化:传统医疗大模型高度依赖昂贵的人工多轮问诊或思维链标注,易陷入分布固化与幻觉继承。本文证明仅需通过难度过滤的精选习题,辅以规则与错误细则双阶 RL,基座模型内在的临床推理潜能即可被彻底激发,实现了 10% 以上的跨越式自举。
- 负向细则反转的防作弊约束机制:在主观评价主导的多轮交互中,LLM 极易利用冗长套话或迎合性表述获取正向奖励。作者提出以 10% 概率反转细则极性并给予惩罚,从数学层面严格证明了反转操作能收紧得分上界,迫使模型在开放对话中牢固恪守临床安全边界。
- 全流程临床医师共识金标验证:合成数据并非未经检验的模型幻觉堆叠,8 位临床资深医生对 500 个合成案例与 5570 条细则进行了严格盲审,对话临床合理性达 99.4%,细则相关性达 97.7%,GPT-5 裁判与医生判断的一致性高达 92.2%,确立了合成临床数据的医学可信度。
局限与展望¶
- 模型架构覆盖局限于 Qwen3 单一家族:当前所有实验均在 Qwen3 系列模型(4B、8B、30B-A3B)上开展,共享相同的分词器与预训练先验,该两阶段 RL 范式在 LLaMA 或 DeepSeek 等其他开源架构上的可迁移性仍有待验证。
- 纯文本模态对真实诊疗场景的简化:真实临床工作流往往深度依赖超声、CT、病理切片等医学影像及多源时序监护数据。当前评测局限于纯文本问答与对话,未能触及多模态临床综合决策。
- 在线错误细则的算力与调用开销:在第一阶段在线 RL 中,依赖 GPT-5 (thinking) 对每一次 Rollout 进行实时错误解构和定级,推理调用成本与延迟较高,未来可探索轻量级医学裁判模型的自蒸馏训练。
相关工作与启发¶
- vs Baichuan-M2: Baichuan-M2 利用公开脱敏数据合成单/多轮对话并用自研 Evaluator 打分,但主要局限于确定性诊断,细则覆盖偏向正确性与表达。本文不仅覆盖全科、急诊等 7 大复杂主题,还显式引入情境探寻与反转负极性惩罚,在开放对话评测 HealthBench-Hard 上以 30B 规模(50.1%)全面超越 Baichuan-M2-32B(37.92%)。
- vs II-Medical-8B / Huatuo-o1: 后者侧重利用大量 SFT 数据或仅基于规则验证的简单强化学习,依赖外部标注知识蒸馏。本文证明完全放弃 SFT CoT,仅依靠精选 MedBullets 题目的两阶段规则/细则强化学习,即可在 MedXpertQA 上领先同尺寸开源模型 3%–11%。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [将规则/错误细则诊断RL与Actor-Critic多维临床交互细则序列化串联,设计精巧]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖MedXpertQA、HealthBench双子集及医生盲审,消融深入,数据说服力强]
- 写作质量: ⭐⭐⭐⭐⭐ [数学推导自洽,系统提示词与提示工程细节完备,逻辑层次清晰透彻]
- 价值: ⭐⭐⭐⭐⭐ [大幅刷新开源医疗大模型在复杂临床交互基准上的SOTA,具极高工业落地与学术参考价值]