Fathom-Vaidya: Advancing Medical Reasoning with Rubric-Based Rewards¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 医学自然语言处理
关键词: 医疗大语言模型, 临床推理, 评分细则奖励, 强化学习, 多轮医患对话
一句话总结¶
提出两阶段强化学习与评分细则生成框架 Fathom-Vaidya,结合规则 RL 与细粒度错误细则优化诊断推理,并通过 Actor-Critic 闭环合成 5.3k 真实多轮临床对话与多维细则引导 GSPO 训练,使 30B 模型在 HealthBench-Hard 达 50.1% 并超越 GPT-5 Thinking。
研究背景与动机¶
大语言模型在医疗领域的部署面临着两类截然不同却高度互补的推理挑战:其一是确定性、循证驱动的诊断推理(Diagnostic Reasoning),要求模型从检查指标、主诉与既往史等复杂临床数据中推导收敛出准确的单一诊断结论;其二是更具开放性与导航性质的临床交互推理(Clinical Healthcare Reasoning),它涵盖信息不确定下的追问、上下文感知、同理沟通以及紧急转诊决策等,并不存在唯一的标准答案。以往主流工作大多聚焦于医学资格考试或单选题基准,依赖确定性规则或稀疏二元答案奖励进行强化学习,导致模型在应对复杂临床主诉时频繁出现逻辑跳跃、事实幻觉及机械应答,无法应对多维交织的真实诊疗场景。
现有的强化学习与偏好对齐范式在这两类推理任务上均暴露出严重的适应性断层。对于诊断推理,简单的二元正确性奖励无法提供足够的密集反馈以修正因果推理漏洞与隐性知识错误,而昂贵的专家思维链(Chain-of-Thought, CoT)标注又极难大规模扩展;而在更广阔的临床交互推理中,现有基准如 HealthBench 揭示了主流商业模型在面对非结构化患者交互时的系统性脆弱。部分前序探索尝试引入主观评分细则(Rubrics),但往往仅覆盖狭窄的诊断场景,缺乏对背景挖掘、回答完整性以及指令遵循等维度的全面刻画,且无法在没有昂贵人工专家介入的前提下生成具备临床真实感的多轮医患交互与精细分值体系。
面对真实医疗对话非可验证答案与密集奖励稀缺的双重瓶颈,关键切入点在于将专家评估标准拆解为可计算、带极性与维度的评分细则,并通过多轮博弈式框架实现高质量临床场景与细则的自举合成。核心 idea:构建一套融合规则与细则的两阶段强化学习框架 Fathom-Vaidya,首先基于 MedBullets 难题通过规则与错误细则 RL 夯实模型内部的诊断推理逻辑,进而借助 Actor-Critic 反馈回环自举生成覆盖多重人格与主题维度的 5.3k 临床对话及多维连续评分细则,通过序列级策略优化(GSPO)引导模型在无需监督思维链数据的前提下全面对齐复杂临床交互与严密诊断思维。
方法详解¶
Fathom-Vaidya 采用两阶段渐进式训练路线,分别针对“收敛型诊断推理”与“发散型临床交互推理”展开强化学习优化。在第一阶段,框架从 MedBullets 等平台提炼极具区分度的诊断试题,依次实施基于二元正确性的规则 RL 与基于专家级错误归因的细则 RL;在第二阶段,针对非可验证答案的多轮交互任务,框架构建了基于 Actor-Critic 的双循环自举机制,生成兼具情境真实感与严格评分约束的 Vaidya-Rubrics 数据集,最终通过群体序列策略优化(GSPO)完成全流程能力对齐。
整体框架¶
整体处理管线由数据构建、诊断推理两阶段 RL,以及临床交互细则驱动 RL 三大模块构成,其端到端执行流程如下图所示:
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入:MedBullets / MedQA 试题与真实患者主诉"] --> B["阶段 1:基于 MedBullets 难度过滤的二阶段诊断推理 RL<br/>规则二元过滤 + GPT-5 Thinking 错误细则惩罚"]
B --> C["阶段 2:Actor-Critic 闭环临床对话与多维细则自举合成<br/>5.3k 多轮多性格对话 + 双重检验与正负极性细则"]
C --> D["阶段 3:基于评分细则的群体序列策略优化 (GSPO)<br/>连续细则打分加权 + 系统提示引导与动态难度过滤"]
D --> E["输出:Fathom-Vaidya 医疗推理模型 (4B / 8B / 30B-A3B)"]
关键设计¶
1. 基于 MedBullets 难度过滤的二阶段诊断推理 RL:解决单一二元奖励无法纠正深层临床因果谬误与缺乏密集反馈的问题 传统的医学单选题 RL 往往仅依赖 0/1 正确性反馈,模型在遇到长链条、跨系统的鉴别诊断时容易通过捷径记忆答案,而非掌握扎实的临床逻辑。为此,研究团队从 MedBullets 平台爬取了 7,801 道包含 USMLE Step 1/2 及骨科专项的高难度题目,覆盖基础科学(35%)、器官系统(30%)与病理机制(20%),并结合 MedQA 和 MedMCQA 构建题目池。在训练前,使用基础模型在采样温度 1.0 下对每道题进行 8 次采样评估,计算平均正确率 \(\bar{s}_i\)。丢弃极端简单与过难样本后实施分流训练:正确率处于中间难度 \(\bar{s}_i \in (0.4, 0.7]\) 的题目分配给基于 GSPO 的二元规则 RL;而难度极高且模型容易犯错的区间 \(\bar{s}_i \in [0.1, 0.4]\) 则进入第二阶段的在线细则强化学习(FV-8B-Diag)。在第二阶段中,利用 GPT-5 Thinking 剖析模型生成的思考轨迹,将推理缺陷精准归类为知识错误、因果逻辑谬误与上下文理解错误,分别赋予轻度(1 分)与重度(2 分)扣分,构建归一化细则奖励: $\(R_{\text{rubric}} = \frac{15 - \sum \text{severity}}{15}\)$ 该细则奖励与答案正确性奖励 \(R_{\text{accuracy}}\) 进行线性加权融合 \(R_{\text{final}} = \alpha \cdot R_{\text{rubric}} + (1 - \alpha) \cdot R_{\text{accuracy}}\)(消融实验证明 \(\alpha=1.0\) 最优),使模型在完全无需专家精标思维链的条件下,自主涌现出严密的因果鉴别诊断能力。
2. Actor-Critic 闭环临床对话与多维细则自举合成:突破非结构化真实医疗交互数据匮乏与细则主观评分不一致的瓶颈 真实世界中的医患交互涉及多轮对话、模糊主诉与情绪波动,无法直接套用可验证的问答机制进行打分。为此,框架设计了双重 Actor-Critic 生成管线。对于“不确定性应对”与“上下文追问”等核心临床主题,利用真实患者问答数据集 MedRedQA(源自 r/askdocs)作为种子案例,由评论模型 \(M_{\text{critic}}\)(Grok-3)确定对话轮数与结构演进,再由行动模型 \(M_{\text{actor}}\)(GPT-5 Thinking)结合“内向-外向”、“逻辑-情感”四大患者性格轴合成生动的多轮交互;对于急诊转诊、全科健康等主题,则基于少样本上下文学习直接生成。对话生成后需通过 \(M_{\text{critic}}\) 的真实性检验与完整性检验(最多迭代 3 轮)。在对应细则构建上,\(M_{\text{actor}}\) 针对对话的主题-评价轴(涵盖准确性、完整性、上下文感知、沟通质量与指令遵循)生成至多 5 条包含具体标准与 \([-10, +10]\) 连续分值的细则,并经 \(M_{\text{critic}}\) 进行语义完备性与分值合理性核验。特别地,系统以 10% 的概率对正面细则执行极性反转(如将“建议呼叫救护车”反转为“未建议呼叫救护车并扣分”),论文从数学上证明了反转细则在标准化得分中能够单调降低容错上限,从而有效提升了合成基准 Vaidya-Rubrics(共 5,351 条优质样本)的挑战性。
3. 基于评分细则的群体序列策略优化 (GSPO):消除端到端文本评估中的二元化粗粒度信号并保证长程交互对齐 在第二阶段临床推理训练中,针对非可验证最终回复,系统采用 LLM-as-a-judge(GPT-4.1)对模型生成的长程医疗建议逐一判定各细则准则是否达成。对于样本 \(i\) 的第 \(j\) 条细则,记达成指示变量为 \(\mathbf{1}\{r_{ij}\}\),该细则对应的分值为 \(p_{ij} \in [-10, 10]\) 且 \(p_{ij} \neq 0\),则该次交互的综合归一化标量得分为: $\(s_i = \frac{\sum_{j=1}^{M_i} \mathbf{1}\{r_{ij}\} p_{ij}}{\sum_{j=1}^{M_i} \max(0, p_{ij})}\)$ 将该得分作为序列级奖励,在采样群体大小为 \(K\) 的轨迹组内计算相对优势 \(\hat{A}(k)\),通过截断重要性权重更新策略网络 \(\pi_\theta\)。此外,在训练过程中动态施加阐明五大细则轴定义的系统提示词(带来 3-5% 的泛化增益),并在每个训练轮次之初执行动态难度过滤,严格保留模型 8 次采样均分落在 \([0.15, 0.7]\) 区间的有效探索样本,确保策略更新梯度始终集中在有信息量的认知前沿。
损失函数 / 训练策略¶
全套训练依托 verl 分布式强化学习框架展开,统一采用 bfloat16 混合精度与 Adam 优化器(\(\beta_1 = 0.9, \beta_2 = 0.95\)),峰值学习率设为 \(1\times 10^{-6}\),配置 5 步余弦预热。具体训练配置如下: 1. 诊断强化学习阶段:以 Qwen3-8B 为基座,批大小 32,最大生成长度 10,000 tokens。首先基于二元 GSPO 优化多选试题,随后接续 1 轮带有 GPT-5 Thinking 错误归因的细则优化(FV-8B-Diag)。 2. 临床交互强化学习阶段:在 FV-8B-Diag 基础上接续训练 5 个 epochs;同时将此流程独立迁移至 Qwen3-4B 与 Qwen3-30B-A3B(各训练 3 个 epochs),以检验细则 RL 在跨尺度模型上的扩展性。该阶段将上下文窗口扩充至 20,000 tokens,最大补全长度提升至 16,000 tokens,以充分容纳复杂长程临床对话轨迹。
实验关键数据¶
主实验¶
论文在两类主流基准上进行了细致评测:诊断推理测试集 MedXpertQA-Text(2,450 道专家级多选题)以及代表复杂非受限临床交互的 HealthBench-Hard(1,000 例多轮真实医患困难场景)。评测对比了主流开源专用模型与商业思考型大模型。
表 1:MedXpertQA 与 HealthBench-Hard 主实验性能对比
| 模型类别 | 模型名称 | 参数量 | MedXpertQA 准确率 (%) | HealthBench-Hard (无 Prompt) | HealthBench-Hard (带 Prompt) |
|---|---|---|---|---|---|
| 开源通用/医学基线 | UltraMedical-3.1 | 8B | 17.2 | - | - |
| 开源通用/医学基线 | Qwen3-8B (Base) | 8B | 17.4 | 10.20 | 13.10 |
| 开源通用/医学基线 | Huatuo-o1 | 8B | 18.9 | - | - |
| 开源通用/医学基线 | II-Medical-8B | 8B | 25.0 | 13.20 | 17.95 |
| 开源通用/医学基线 | Baichuan-M2 | 32B | 27.8 | 34.70 | 37.92 |
| 开源通用/医学基线 | Qwen3-30B-A3B | 30B (A3B) | 23.3 | 18.70 | 23.42 |
| 开源通用/医学基线 | Qwen3-Next-80B-A3B | 80B (A3B) | 32.5 | 26.20 | 30.49 |
| 开源通用/医学基线 | GPT-oss-120B | 120B | 36.8 | 27.50 | 35.52 |
| 商业思考型闭源模型 | o4-mini | - | - | 17.60 | 23.20 |
| 商业思考型闭源模型 | o3 | - | - | 31.60 | 35.10 |
| 商业思考型闭源模型 | gpt-5-thinking | - | - | 39.95 | 43.79 |
| 商业思考型闭源模型 | gpt-5.2-thinking | - | - | 38.58 | 43.60 |
| 商业思考型闭源模型 | gpt-5-mini-thinking | - | - | 41.15 | 44.60 |
| 本文家族 (Ours) | FV-4B | 4B | - | 31.44 | 35.30 |
| 本文家族 (Ours) | FV-8B-Diag | 8B | 27.9 | - | - |
| 本文家族 (Ours) | FV-8B | 8B | 28.3 | 30.30 | 41.15 |
| 本文家族 (Ours) | FV-30B-A3B | 30B (A3B) | - | 37.75 | 50.10 |
表 2:其他诊断与临床泛化基准(MedQA, MedCase, DiagArena, GPQA-Bio, Hb-Pro)评测
| 模型 | MedQA 准确率 (%) | MedCase 准确率 (%) | DiagArena 准确率 (%) | GPQA-Bio 准确率 (%) | HealthBench-Pro 准确率 (%) |
|---|---|---|---|---|---|
| Qwen3-4B | - | - | - | 56.14 | 15.90 |
| FV-4B (Ours) | - | - | - | 62.82 (+6.68) | 28.60 (+12.70) |
| Qwen3-8B | 79.80 | 32.00 | 33.10 | 61.53 | 17.40 |
| FV-8B-Diag (Ours) | 85.40 (+5.60) | 32.20 (+0.20) | 36.30 (+3.20) | - | - |
| FV-8B (Ours) | 86.20 (+6.40) | 35.00 (+3.00) | 37.50 (+4.40) | 64.10 (+2.57) | 29.40 (+12.00) |
| Qwen3-30B-A3B | - | - | - | 69.20 | 23.20 |
| FV-30B-A3B (Ours) | - | - | - | 70.52 (+1.32) | 39.80 (+16.60) |
消融实验¶
研究团队对诊断 RL 阶段中的细则权重比例 \(\alpha\) 以及训练数据来源进行了独立消融验证:
表 3:诊断推理在线细则权重 \(\alpha\) 消融(MedXpertQA 基准)
| 模型变体 | 细则权重设置 (\(\alpha\)) | 正确率权重 (\(1-\alpha\)) | MedXpertQA 评测得分 | 说明 |
|---|---|---|---|---|
| FV-8B-Ru1 | \(\alpha = 1.0\) | \(0.0\) | 27.76 | 完全依赖细则惩罚驱动探索,有效规避捷径 |
| FV-8B-Ru0.7 | \(\alpha = 0.7\) | \(0.3\) | 27.31 | 细则与答案正确性混合奖励 |
| FV-8B-Ru0 | \(\alpha = 0.0\) | \(1.0\) | 27.24 | 仅依靠二元正确率奖励,对推理逻辑惩罚不足 |
表 4:训练数据源消融(HealthBench-Hard 评估,带系统提示)
| 模型规模 | 基座模型得分 | 仅在 HealthBench-Easy 上训练 | 训练于 Vaidya-Rubrics (Ours) | Vaidya-Rubrics 相对 Easy 增益 |
|---|---|---|---|---|
| 4B | 8.56 | ~28.0 | 35.30 | 绝对提升 ~7.3% |
| 8B | 13.10 | ~30.5 | 41.15 | 绝对提升 >10.6% |
| 30B-A3B | 23.42 | ~39.2 | 50.10 | 绝对提升 >10.9% |
关键发现¶
- 细则奖励彻底优于单一正确性反馈:在诊断任务消融中,纯细则奖励 (\(\alpha=1.0\)) 达到了最佳的 27.76 分。通过 GPT-5 Thinking 提取逻辑与事实因果错误,提供了稠密且有方向性的惩罚,引导模型走出局部最优,这一机制使得无需预先标注任何 SFT 思考链即实现了 10% 以上的跨越。
- 多维细则有效弥补模型盲区:在 HealthBench-Hard 的五维轴线分析中,FV 提升幅度最显著的维度是“完整性”(Completeness)与“上下文感知”(Context Awareness),绝对得分提升达 25–30%;而在主题分类中,应急转诊、全球健康与不确定性应对等维度的提升幅度均突破 30%。
- 真实医疗对话自举显著击败静态基准微调:仅基于公开 HealthBench-Easy 训练的模型在困难集上的泛化严重受限,而由 MedRedQA 种子激发的 Vaidya-Rubrics 合成数据赋予了模型超越千亿开源模型与顶尖专有思考模型的深层临床决策力。
亮点与洞察¶
- 无 SFT 的纯 RL 涌现医疗推理能力:绝大多数医疗模型(如 Huatuo-o1、MedReason)严重依赖昂贵的医学专家精标思维链进行冷启动,而 Fathom-Vaidya 证明了仅需设计合理的难度梯度与因果细则惩罚,强化学习能够直接激活基座模型体内潜藏的深层医学知识库并梳理严谨因果。
- 正负极性反转的理论与工程巧思:在合成细则中以 10% 概率反转正面细则并配套严格数学证明,直接封堵了模型通过泛泛表态、堆砌客套医学词汇“刷分”的漏洞,迫使模型时刻保持警惕,杜绝高危临床漏诊与延误处置。
- 30B 架构反超前沿闭源思考模型:FV-30B-A3B 在 HealthBench-Hard 上斩获 50.1% 的全球最高分,在真实医师日常助手基准 Healthbench-Professional 上逼近人类医师基线(43.7% vs 39.8%),充分证明高密度、多维度的细则信号可以大幅抹平参数规模鸿沟。
局限与展望¶
- 基座模型族谱较为单一:论文所有主干实验均局限在 Qwen-3 系列架构(4B、8B、30B-A3B),共享了相同的分词器和预训练语料偏置,该细则生成与两阶段 RL 策略在 LLaMA 或其他架构上的普适性仍待进一步验证。
- 局限于纯文本模态的交互:真实临床诊疗重度依赖放射影像、检验报告单原件及生理电信号,论文评测主要依托 MedXpertQA-Text 和纯文本对话,尚未涉足多模态临床决策支持系统。
- 合成细则的判决模型依赖:训练期间的细则打分与轨迹错误归因分别依赖闭源顶尖模型(GPT-4.1 和 GPT-5 Thinking),未来应探索如何训练小尺寸自评分判别器(Self-Rewarding Verifier)以实现全开源闭环。
相关工作与启发¶
- vs Baichuan-M2:Baichuan-M2 利用临床评估器针对去隐私患者数据生成细则训练 32B 模型,但其细则主要强调基础诊断正确性与沟通流畅度,忽略了背景追问、信息完整性与指令跟随维度,且应用场景偏重常规门诊;Fathom-Vaidya 则系统性覆盖了急诊、全球健康与不确定性决策,并通过 GSPO 与极性反转提供了更紧致的策略优化界限。
- vs II-Medical-8B / Beyond Distillation:两者均尝试在医疗问答上探索极简规则 RL,但均局限于带有确定性客观答案的多选题;Fathom-Vaidya 通过两阶段解耦,先用规则与错误细则攻克客观诊断难题,再无缝衔接至非确定性多轮医患交互,构建了完备的临床推理演进路径。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙提出融合诊断与交互的两阶段 RL 范式,首创 Actor-Critic 多维连续分值临床细则自举与极性反转机制。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 MedXpertQA、MedQA、MedCase、DiagArena、HealthBench-Hard 及专业医师实测,实验设计严谨且消融完备。
- 写作质量: ⭐⭐⭐⭐⭐ 叙述条理清晰,动机与临床场景剖析深刻,附录提供了详尽的数学证明与临床医师评估一致性数据。
- 价值: ⭐⭐⭐⭐⭐ 展现了不依赖人工 CoT 标注即可通过细则奖励大幅提升模型临床深层推理的可行路径,对下一代医疗具身助手演进具有重要参考意义。