CARE: Causally-Aligned Reasoning Exploration for Medical Large Language Models¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4809
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/7543.pdf
领域: 医学多模态推理
关键词: 因果充分性、最近发展区、组相对策略优化、自验证、经验回放

一句话总结¶

CARE 不再奖励所有“答对”的医学推理轨迹，而是同时检查答案、可学习难度和推理独立复现能力，再结合在线探索与困难经验回放，使 Hulu-Med-7B 在 PMC-VQA、MedQA、MMMU-Med 的平均得分从 63.9 提升至 65.4，并在共同答对的 MedQA 子集中达到 86.2% 的专家认可有效推理比例。

研究背景与动机¶

医学大模型需要把影像或病例信息转化为有依据的判断，但高质量专家推理标注既昂贵又难以规模化。用已有问答标签进行强化学习看起来更经济：只要最终答案正确，就奖励模型生成的整段解释。然而，自回归模型既可能根据解释得出答案，也可能绕过解释，从原始问题中的关键词或预训练记忆直接猜对。结果奖励无法区分这两条路径，错误的解释也可能随正确答案一起被强化。

问题还不只是奖励不够精细。同一医学训练集中可能同时出现模型已经熟记的识别题和极度不确定的诊断题。前者重复训练的增益有限，后者即使偶然答对，也可能带来难以稳定利用的学习信号。作者因此把问题从“怎么继续提高答题正确率”转向“哪些自生成经验值得进入下一轮训练”，同时约束经验的解释质量和当前模型对它的掌握程度。

CARE 的切入点是不额外训练专家验证器，而是让模型在看不到原题时，仅凭自己生成的推理重新作答，再用近期轨迹的负对数似然分位数筛掉过易和过难经验。核心 idea：只有答案正确、处于当前可学习窗口、且推理能够独立复现该答案的轨迹，才获得正向准入奖励并进入经验回放。

方法详解¶

整体框架¶

训练输入是带标准答案的医学问题，可以包含影像和文本，也可以只有文本；不要求专家提供推理过程。策略模型为每个问题生成一组“推理文本 + 最终答案”，经过结果与难度筛选、推理自验证后得到二值准入信号。该信号一方面参与当前整组候选的相对优势计算，另一方面决定哪些历史经验可进入回放池，最终共同更新同一个策略模型。

这是一套训练框架，不是部署时必须串联多个外部医生代理的系统。自验证使用当前模型的推理模式；在线轨迹与回放轨迹是两种训练数据来源，不是两个独立回答模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["医学问题与标准答案"] --> Rollouts["策略模型生成<br/>每题 8 条候选"]
    Rollouts --> Window["结果与难度筛选"]
    Window -->|通过| Verify["推理自验证"]
    Window -->|未通过：准入为 0| Online["双流优化<br/>在线组相对更新"]
    Verify -->|一致为 1，否则为 0| Online
    Verify -->|仅一致轨迹入池| Replay["双流优化<br/>困难经验回放"]
    Online --> Update["合并损失并更新策略"]
    Replay --> Update

关键设计¶

1. 结果与难度筛选：让正确经验落在模型当前能有效学习的范围

CARE 先用规则从生成文本中抽取最终答案，与标准答案比较，因此它并不是没有标签的自学习。答案错误的候选直接失去准入资格。接下来检查整条回答的长度归一化负对数似然，即模型生成这条轨迹时平均每个 token 的意外程度；长度归一化避免仅因解释更长就把它判为更难。这里衡量的是模型自身的不确定程度，而不是由医生定义的疾病复杂性，也不等同于直接计算整个输出分布的熵。

\[ \mathcal L_{\mathrm{seq}}(y\mid x;\theta) =-\frac{1}{|y|}\sum_{t=1}^{|y|}\log\pi_\theta(y_t\mid x,y_{<t}). \]

作者维护最近 2,000 个 NLL 值的 FIFO 历史缓冲区，以第 0.2 和第 0.9 分位数确定窗口上下界，只有落在窗口内的候选才能继续。低于下界表示模型已经相当熟悉，高于上界表示轨迹过于不确定；与固定阈值不同，分位数会随策略能力与近期数据变化而移动。同一个任务在训练早期可能太难，之后可能进入有效学习区间，进一步掌握后又可能变得不值得反复训练。

窗口首先是一种经验筛选规则。论文用梯度方差上界和非消失信号解释它，但 NLL 有界本身并不能在缺少额外假设时保证所有参数梯度有界，容易样本也不必然是捷径。更稳妥的理解是：作者提出了可执行的动态难度代理，并通过后面的区域隔离实验检验其价值，而不是证明所有落窗经验都具有医学意义上的高信息量。

2. 推理自验证：隐藏原题，检查解释能否独立支持同一个答案

即使答案正确、难度适中，推理仍可能只是伴随答案生成的装饰。CARE 从候选中拆出推理文本，将其放进“仅依据以下推理给出诊断”式验证提示，隐藏原始影像和问题，再由当前模型在推理模式下预测一个新答案。新答案与原候选的答案一致才通过；原候选已经通过正确性检查，因此不是两个相同的错误答案互相背书。算法先做正确性和难度检查，再调用自验证，未通过前两关的轨迹不必执行这次额外推理。

用 \(\hat a\) 表示只读推理得到的答案，\(\mathcal M\) 表示规则答案抽取器，实际准入条件可以整理为：

\[ \Phi(x,y)= \mathbb I[\mathcal M(y)=a^*]\, \mathbb I[\tau_{\mathrm{low}}\leq\mathcal L_{\mathrm{seq}}\leq\tau_{\mathrm{high}}]\, \mathbb I[\hat a=a]. \]

这个乘积明确表达了三个条件的“且”关系，而不是可以互相补偿的加权分数。它会拒绝“答案恰好正确，但解释拿掉原题后无法支持该答案”的经验。论文称其为因果充分性检验，并将隐藏输入类比为 do-intervention；不过实际执行的是条件输入删减。推理可能直接泄露答案，也可能包含一致但错误的医学陈述，同一模型还可能共享同一种偏差。因此，通过检验说明的是操作性的一致性，不能直接等同于临床因果链已经被验证。

3. 双流优化：用当前候选学习相对偏好，用历史好经验巩固能力边界

在线分支保留每个问题的完整候选组，用准入值而非仅答案正确性计算组内标准化优势。通过筛选的轨迹获得相对正向信号，未通过的轨迹可能获得负向信号；因此“不能入回放池”不等于“从在线优化中完全消失”。这一点比简单挑出所有成功样本再做监督学习更细：模型要学习同一问题下哪些回答相对更值得生成，而且不需要另一个价值网络。

\[ A^{(i)}=\frac{\Phi^{(i)}-\mu(\Phi)}{\sigma(\Phi)+\epsilon}, \qquad \mathcal L_{\mathrm{CARE}}=\mathcal L_{\mathrm{on}}+\lambda\mathcal L_{\mathrm{rep}}. \]

在线目标还包含相对参考策略的 KL 惩罚，限制更新偏离过大。回放分支则仅从通过全部检查的历史轨迹中取样，强化这些轨迹的生成概率，并按长度归一化 NLL 在回放批内做 Softmax 权重，让尚不熟练的合格经验占更大比重。方法概述写成权重与 NLL 成比例，实施细节明确为 Softmax 归一化，本笔记以实施细节为准。它不是无条件追逐最难样本，因为入池前已经筛掉过难轨迹。

两条流也存在互补关系：若一个候选组全部通过或全部失败，组内准入值相同，上式给出的优势为零，当前组不能提供偏好区分；历史回放仍可能提供学习信号。这是根据优势公式作出的机制分析，不是论文额外测量的消融结果。缓存中的式 (14)、(15) 存在 PDF 文本抽取缺损，无法可靠确认完整排版和符号，本笔记不臆补损失展开式、PPO 裁剪项或实现细节。

一个完整示例¶

考虑一条带影像的医学选择题，标准答案为选项 A，模型按论文设置生成 8 条候选。以下仅演示控制流程，不是假称原文病例：一条候选回答 A，但其解释过于不确定、NLL 超过窗口上界，因此准入为 0；另一条回答 A 且落在窗口内，却在隐藏原题后被模型从解释中推导为 B，也被拒绝。只有答案为 A、落窗且自验证仍输出 A 的候选获得准入 1，并进入回放池。

本轮全部 8 个准入值共同决定在线优势，而不是只对入池候选计算均值。下一次回放时，历史合格轨迹根据模型对其当前 NLL 获得批内权重。这里没有虚构具体 NLL 或通过数量，因为原文没有提供该病例级轨迹；例子强调的是“结果正确”在 CARE 中只是第一道门槛。

损失函数 / 训练策略¶

主骨干为 Hulu-Med-7B，另在 HuatuoGPT-V 7B 上验证迁移。训练混合 PMC-VQA、SLAKE、PathVQA、MedMCQA 和 PubMedQA，作者声明训练样本与评测测试集不重叠。硬件为 8 张 A100，rollout batch size 为 128，update batch size 为 64，每题采样 8 条轨迹；这些批大小沿用原文术语，不自行推断它们具体按问题还是序列计数。

回放损失权重 \(\lambda=1.0\)，固定回放比例为 50%，KL 系数为 0.04；只有 batch Pass@1 达到 35% 后才启动基于经验的优化与回放池。原文同时用 \(\beta\) 指窗口上分位数 0.9 和 KL 系数 0.04，本笔记通过名称区分，避免把二者当成同一超参数。上述热启动门槛也意味着方法依赖已有一定任务能力的骨干，而非从完全不会作答的模型开始。

实验关键数据¶

主实验¶

下表摘录原文表 1、表 2，得分按原表百分制列出，越高越好；增益为相对同骨干 Hulu-Med-7B 的百分点差，不是相对百分比。MedXQA 在多模态表和文本表分别出现，二者不能混成一个结果。

评测	Hulu-Med-7B	CARE-7B	增益（百分点）
OmniVQA	84.2	85.6	+1.4
PMC-VQA	66.8	68.2	+1.4
VQA-RAD	78.0	79.3	+1.3
SLAKE	86.8	88.1	+1.3
PathVQA	65.6	67.1	+1.5
MedXQA（多模态）	29.0	31.2	+2.2
MMMU-Med	51.4	53.0	+1.6
MMLU-Pro-Med	60.6	62.4	+1.8
MedXQA（文本）	19.6	22.1	+2.5
PubMedQA	77.4	78.6	+1.2
MedMCQA	67.6	69.1	+1.5
MedQA	73.5	75.0	+1.5
MMLU-Med	79.5	81.1	+1.6

这些结果支持同骨干上的稳定改善，但不是所有模型、所有任务上的全面领先。例如表 1 中 Gemini-2.5-Flash 的 MMMU-Med 为 76.9，高于 CARE 的 53.0。换用 HuatuoGPT-V 7B 后，PMC-VQA 从 53.1 到 54.6、MedQA 从 52.9 到 54.6，说明收益不只出现在 Hulu 骨干上，但已验证的迁移范围仍是这两个 7B 医学 VLM。

消融实验¶

原文表 3 的所有配置从 Hulu-Med-7B 出发；平均分保留论文的一位小数。

配置	PMC-VQA	MedQA	MMMU-Med	平均分
基础 SFT	66.8	73.5	51.4	63.9
标准 GRPO，仅结果奖励	67.2	73.8	51.8	64.3
CARE 去掉因果充分性	67.5	74.2	52.1	64.6
CARE 去掉可学习窗口	67.8	74.4	52.4	64.9
CARE 去掉困难经验回放	68.0	74.7	52.6	65.1
完整 CARE	68.2	75.0	53.0	65.4

相对完整模型，三个移除实验的平均损失分别为 0.8、0.5、0.3 个百分点，自验证在这组评测中的影响最大。CARE 比标准 GRPO 高 1.1 个百分点，比 SFT 高 1.5 个百分点。注意 \(\lambda=0\) 是移除整个回放分支，不能据此单独量化 Softmax 困难加权相对均匀回放的价值。

关键发现¶

原文图 3 的干扰测试向 MedQA 问题注入无关症状和噪声，提供了比干净测试集得分更明显的差异。

MedQA 配置	原始准确率（%）	加噪准确率（%）	下降（百分点）
SFT 基础模型	73.5	60.2	13.3
标准 GRPO	73.8	58.5	15.3
CARE	75.0	71.2	3.8

人工分析随机抽取两种方法都答对的 500 条 MedQA 测试题，由 3 名专家多数投票。标准 GRPO 有 45.0% 的解释被归为伪相关捷径，CARE 有 86.2% 被归为有效因果推理；这两个数属于不同类别，不能相减当作同一指标的提升，也不能把条件子集上的 86.2% 当作全测试集可靠性。

自验证对正确轨迹的拒绝率从 48.5% 降至 15%，与有效推理比例提升同时出现。仅使用不同 NLL 区域经验的隔离训练中，原文报告过易区增益 +0.4%、窗口内 +5.2%、过难区 -1.2%；缓存未明确这些增益对应的具体评测汇总口径，因此保留作者记法，不把 +5.2% 移作 MedQA 或主表平均增益。梯度范数图与训练曲线支持稳定性改善，但缓存不能提供可靠的逐点曲线数值。

亮点与洞察¶

奖励对象从答案转向可用经验。 同一准入信号同时管理在线奖励与回放入口，使“推理是否支持答案”真正影响参数更新，而不只是输出后的解释评分。
动态难度有两层作用。 窗口先去掉不适合学习的两端，再在合格历史经验中偏重相对困难者；筛选与加权分别控制可接受范围和训练关注点。
干扰鲁棒性比小幅平均分提升更有说服力。 标准 GRPO 在干净 MedQA 上略有改善，加噪后却比 SFT 更差，提醒我们不能仅凭答对率判定推理质量。

局限与展望¶

一致不等于因果正确。 以下是笔记的批判性判断：推理中泄露答案、保留题目捷径或同一模型的共同偏差，都可能让自验证通过。可加入答案遮蔽、事实扰动及独立专家盲评，区分复述能力与医学推导能力。
理论保证需要更完整的假设。 缓存中的证明较简略，未充分建立“一致性过滤必然消除全部捷径”以及“NLL 窗口必然保证梯度方差上界”的一般性；实验支持机制有效，不等于验证了无条件定理。
评测范围与统计不确定性仍有限。 500 条人工样本只覆盖共同答对的子集，缓存未报告专家一致性系数、重复实验方差或置信区间；加噪 MedQA 也不能替代真实跨医院、跨人群前瞻验证。
复现和成本细节不足。 缓存未给出完整训练时长、验证调用开销、回放池容量与历史轨迹重验证策略，也未单独消融均匀回放。应在等算力条件下比较，并检查旧经验随着策略变化是否仍满足窗口与自验证要求。

评分¶

新颖性: 4/5。将推理自验证、动态难度窗口和双流训练联成明确的经验准入机制，组合有针对性，但因果措辞强于实际检验。
实验充分度: 3/5。覆盖多模态、文本、第二骨干、组件消融与人工分析，但缺少方差、成本公平性和真实临床外部验证。
写作质量: 3/5。方法流程和超参数较清楚，理论宣称与可验证证据的边界不够谨慎；缓存公式抽取损坏另计为本笔记的复现限制。
价值: 4/5。提供了值得复用的训练经验筛选思路，干扰鲁棒性结果突出，但不能据此视为已达到临床部署要求。