Dementia-R1: Reinforced Pretraining and Reasoning from Unstructured Clinical Notes for Real-World Dementia Prognosis¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/hangeol/dementiar1
领域: 医疗 LLM
关键词: 临床预后、非结构化病历、强化学习、可验证奖励、纵向推理
一句话总结¶
提出两阶段强化学习框架 Dementia-R1,第一阶段利用群组相对策略优化(GRPO)结合带容差的可验证临床指数奖励预测中间病程指标,第二阶段微调端到端二分类预后,在 Asan 真实非结构化病历(84.02% AUROC)与帕金森痴呆跨病种队列(78.37% AUROC)上显著超越 10 倍参数量级的大模型。
研究背景与动机¶
电子病历(EHR)系统的普及沉淀了跨越数月乃至数年的海量患者纵向随访数据。然而,医疗系统中超过 80% 的关键临床记录以非结构化自由文本(如医生病程记录、SOAP 门诊记录)形式存在,患者的行为表征、细微功能退化与非单调症状轨迹往往隐式嵌于叙述性文本中。现有面向疾病轨迹的时间序列深度学习框架(如 RNN、时间事件基础模型 MOTOR 等)大多仅能处理规整的结构化表格数据,无法直接解析非结构化临床叙事文本;而近期医疗大语言模型(如 HuatuoGPT-o1、MedGemma)又多局限于静态快照式的问答场景(如 MedQA),严重缺乏显式的长期时序因果推理机制。
纵向疾病预后(以痴呆为例)的核心难点在于真实临床轨迹具有高度非单调性与波动性——患者的认知与日常功能评估常因情绪波动、暂时性谵妄、急性躯体疾病或测量误差而出现暂时升降,导致终点二分类标签(是否进展为痴呆)具有极高的延迟性和稀疏性。若直接采用传统监督微调(SFT),模型通常需要依赖昂贵且难以保证时序一致性的人工专家 CoT 思维链推理标注;若直接使用端到端强化学习,稀疏二元奖励极易导致策略在隐式推理空间中陷入次优探索或死记硬背。
本文的切入角度是:虽然远期预后标签极其稀疏,但在患者的历史病程记录中,每一次随访客观检查(如 MMSE 认知筛查、GDS 总体衰退分期、CDR 临床痴呆评定量表)都天然构成了离散且客观可验证的中间物理状态锚点。核心 idea:抛弃依赖人工 CoT 标注的监督冷启动,提出基于可验证中间临床指数预测的 Cold-Start RL 预训练,利用 GRPO 引导模型在非结构化文本中自主涌现时序因果推理原语,再衔接端到端稀疏奖励微调完成最终痴呆预后。
方法详解¶
整体框架¶
Dementia-R1 将纵向临床预后建模为从非结构化自由文本病历历史 \(H_{<T} = \{x_1, \dots, x_t\}\) 到目标锚点时刻 \(T_{\text{anchor}}\) 临床状态的映射推理过程。整个框架由数据可验证预处理、第一阶段冷启动强化学习预训练(Stage 1: Cold-Start Pre-training)和第二阶段下游任务强化学习微调(Stage 2: Task Fine-tuning)两个阶段构成:
- 病历序列格式化与可验证数据构建:将患者历史 SOAP 病历按就诊时间先后拼接,并由辅助提取器从目标时刻文本中抽取客观临床评分指标构建预训练数据集。
- 第一阶段冷启动预训练(Stage 1):以历史病历为上下文,提示模型在
<think>中推演认知波动轨迹,并在<answer>中输出预测的目标临床分数(如 MMSE、GDS、CDR),采用带容差区间的可验证奖励通过 GRPO 优化。 - 第二阶段任务微调(Stage 2):继承 Stage 1 习得的纵向时序推理能力,将预测目标切换为终点二分类痴呆预后,采用正确性稀疏奖励继续进行 GRPO 策略优化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["患者历史非结构化病历<br/>H<t = [x1, x2, ..., xt]"] --> B["阶段 1:冷启动预训练<br/>预测可验证临床指数"]
B --> C["阶段 2:任务强化学习微调<br/>预测最终痴呆预后"]
C --> D["端到端预后决策输出<br/>二分类诊断与结构化证据链"]
关键设计¶
1. 阶段 1:冷启动预训练:利用病程内生客观指标替代人工思维链标注
传统强化学习推理模型(如 DeepSeek-R1)在冷启动阶段高度依赖专家编写或大模型蒸馏的 CoT 轨迹,而在纵向临床场景下,编写符合跨年度病程因果逻辑的专家解释成本极高且主观性大。本文发现,病历中的客观神经心理学测验评分构成了密集的内生监督信号。通过设计统一的提示规范,引导模型在 <think> 标签内推演历次测验的演变趋势、用药变更与日常活动受损程度,并在 <answer> 标签内以 \boxed{} 形式预测锚定就诊时的具体临床分值。
为了适应不同临床量表的测量特性与测量误差,模型设计了带容差的阶跃奖励函数 \(R_{\text{cold}}\)。设真实得分为 \(s_t\),模型预测值为 \(\hat{s}_t\),误差容限为 \(\delta\): $\(R_{\text{cold}} = \mathbb{I}(|\hat{s}_t - s_t| \le \delta)\)$ 对于 30 分制的细粒度 MMSE 测验,遵循临床公认的最小可靠变化指数(Reliable Change Index)设定容限 \(\delta = 2\);对于分级较粗的量表(GDS 为 1–7 级,CDR 为 0–3 级),则强制要求精确匹配(\(\delta = 0\))。
2. 阶段 2:任务强化学习微调:将连续轨迹演化能力迁移至端到端稀疏预后 在 Stage 1 预训练赋予模型敏锐的时序轨迹推理原语后,Stage 2 将其迁移到下游临床核心任务:预测患者在目标观察期后是否进展为痴呆(Dementia vs. Non-Dementia,在 Asan 队列中以 GDS \(\ge 4\) 判定为阳性;在 HPH 帕金森队列中综合认知障碍、ICD-10 F02.3 与促认知药物处方判定 PDD)。由于最终标签是延迟且高阶的二元分类,Stage 2 采用任务结果奖励 \(R_{\text{task}}\): $\(R_{\text{task}} = \begin{cases} 1, & \text{若预测标签与真实诊断一致} \\ 0, & \text{预测错误} \end{cases}\)$ 得益于 Stage 1 建立的隐式状态演进表征,模型无需密集的中间人工标签,便能在仅有 0/1 终点奖励的情况下稳定收敛,自主学习区分短暂症状波动与不可逆病理恶化。
3. 群组相对策略优化(GRPO)与自动样本过滤机制 两阶段优化均采用 GRPO 算法以摆脱对高显存开销的 Critic Value 网络的依赖。对于每个病历查询 \(q_t\),当前策略 \(\pi_\theta\) 采样 \(G\) 个候选推理输出 \(\{o_1, \dots, o_G\}\),计算基于组内均值与标准差归一化的优势函数 \(A_i\): $\(A_i = \frac{R(o_i) - \text{mean}(\{R(o_j)\}_{j=1}^G)}{\text{std}(\{R(o_j)\}_{j=1}^G)}\)$ 该优势计算在应对病历噪声时展现了极其巧妙的自适应鲁棒性:若提取器产生极度偏离病程事实的伪标签或存在病历噪声,由于预训练模型固有的先验分布,采样的 \(G\) 条轨迹均无法命中该错误目标,使得所有候选输出的奖励均为 0(即 \(R(o_i) = \bar{R} = 0\))。此时组内优势值 \(A_i\) 恒等于 0,该样本的策略梯度自动归零。实验证明,该机制天然形成了抗噪过滤门控,即便 Stage 1 注入高达 70% 的超容差随机标签噪声,最终下游预后 AUROC 降幅仍小于 0.5 个百分点。
损失函数 / 训练策略¶
模型策略网络 \(\pi_\theta\) 的整体训练目标为典型的 PPO-clip 变体: $\(\mathcal{L}(\theta) = \mathbb{E}_{q_t, \{o_i\}} \left[ \frac{1}{G} \sum_{i=1}^G \min \left( \frac{\pi_\theta(o_i|q_t)}{\pi_{\theta_{\text{old}}}(o_i|q_t)} A_i, \; \text{clip}\left(\frac{\pi_\theta(o_i|q_t)}{\pi_{\theta_{\text{old}}}(o_i|q_t)}, 1-\epsilon, 1+\epsilon\right) A_i \right) - \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}}) \right]\)$ 实现采用 DeepSpeed ZeRO-3 与 vLLM 共置(colocate)推理加速,单卡批大小为 1,梯度累积步数为 2,组采样大小 \(G = 8\)(有效组批大小 8),最大序列补全限制为 2000 tokens,在 4 张 NVIDIA H100 80GB GPU 上基于 Open-R1 框架以 Bfloat16 精度训练 5000 步。
实验关键数据¶
主实验¶
在真实世界非结构化临床病历(首尔峨山医院 AMC 队列,约 3000 名神经认知障碍患者)的主实验中,Dementia-R1(以 Qwen2.5-7B-Instruct 为骨干)显著超越了包括通用大模型、医疗专用大模型以及各类两阶段对比模型在内的所有基线。
| 模型 | 参数量 | Accuracy (%) | Precision (%) | Recall (%) | F1 score (%) | AUROC (%) | AUPRC (%) |
|---|---|---|---|---|---|---|---|
| HuatuoGPT-o1 | 8B | 67.53 | 71.33 | 60.63 | 65.53 | 73.89 | 74.81 |
| MedGemma | 27B | 67.27 | 62.42 | 89.79 | 73.64 | 74.14 | 71.06 |
| Qwen2.5-7B-Instruct | 7B | 72.81 | 74.37 | 71.13 | 72.71 | 78.59 | 79.24 |
| Qwen2.5-32B-Instruct | 32B | 62.03 | 57.67 | 95.63 | 71.95 | 79.93 | 79.33 |
| Qwen2.5-72B-Instruct | 72B | 74.46 | 70.60 | 85.42 | 77.30 | 83.41 | 83.44 |
| Llama-3.3-70B-Instruct | 70B | 67.27 | 62.14 | 91.39 | 73.98 | 80.70 | 81.11 |
| SFT w/o Stage 1 | 7B | 64.68 | 60.97 | 85.13 | 71.05 | 71.65 | 69.82 |
| GRPO w/o Stage 1 | 7B | 72.15 | 70.19 | 78.74 | 74.21 | 79.88 | 80.46 |
| SFT \(\to\) SFT | 7B | 74.97 | 73.65 | 79.16 | 76.30 | 77.15 | 72.41 |
| SFT \(\to\) GRPO | 7B | 73.60 | 71.00 | 81.58 | 75.92 | 77.75 | 72.69 |
| Dementia-R1 (本文) | 7B | 77.45 | 79.26 | 75.46 | 77.31 | 84.02 | 85.73 |
在海云台白医院(HPH)独立跨病种帕金森病痴呆(PDD)预测队列中,Dementia-R1 同样取得最佳的 78.37% AUROC 和 51.03% AUPRC(大幅领先 Qwen2.5-72B 的 72.37% 和 SFT \(\to\) GRPO 的 74.75%);在结构化基准 ADNI 上,Dementia-R1 在所有 LLM 中位居第一(83.17% AUROC),远超直接微调与通用开源大模型。
消融实验¶
消融实验深入验证了 Stage 1 预训练阶段、临床指标推理目标选择以及推理阶段指标掩码对下游预后表现的影响:
| 训练与输入配置 (AMC 队列) | 预测窗口 | AUROC (%) | AUPRC (%) | 说明 / 结论 |
|---|---|---|---|---|
| Dementia-R1 (完整模型) | 全范围 | 84.02 | 85.73 | 两阶段 GRPO \(\to\) GRPO 完整架构 |
| w/o Stage 1 (单阶段 GRPO) | 全范围 | 79.88 | 80.46 | 缺少中间临床指标预训练,AUROC 显著下降 4.14% |
| SFT \(\to\) GRPO (传统 CoT 替代 Stage 1) | 全范围 | 77.75 | 72.69 | 依赖教师蒸馏 CoT 的冷启动效果弱于指标强化学习 |
| 仅纯文本病历 (Note Only) | 18–24m | 76.20 | 83.10 | 缺乏结构化检验辅助时仍具备扎实自由文本推理力 |
| 仅结构化指标 (Index Only) | 18–24m | 71.50 | 78.20 | 缺少主诉/查体叙述导致长窗口预后预测显著断崖 |
| 文本 + 指标联合 (Note + Index) | 18–24m | 78.51 | 86.15 | 叙事文本与客观指标互补,长跨度稳居第一 |
| 推理掩码: 遮盖 MMSE (-M) | 全范围 | 79.41 | 80.65 | MMSE 携带最强预后区分度,遮盖后掉点最多 (-4.09%) |
| 推理掩码: 遮盖全部指标 (-ALL) | 全范围 | 78.07 | 78.25 | 全无指标时仍大幅领先零先验基线,证明内化了时序推理 |
关键发现¶
- 非单调波动轨迹的强健判读:在 AMC 队列中筛选出 209 例 GDS 评分反复跨越痴呆阈值(如 \(3 \to 4 \to 3\))的冲突性病例子集,Dementia-R1 依然斩获 77.72% AUROC,相比直接单阶段 GRPO(70.37%)扩大了 7.35% 的领先优势;定性分析证实模型能通过配偶主诉好转与用药调整识别暂时性波动,避免像 32B/72B 基线那样因单次指标抬升而盲目判定恶化。
- 临床指标的信息权重异质性:指标敏感度分析表明,在真实医院队列(AMC、HPH)中,MMSE 类认知筛查指标对预后贡献最大;而在 ADNI 科研队列中,CDR-SB 则主导了预后区分力。
- 神经专科医生盲审高度认可:双盲对照试验中,两名执业神经内科专科医生评估表明,Dementia-R1 相比 Qwen2.5-32B 在临床总体实用性上取得了 68% 的胜率,在证据锚定与相关证据选择上均取得 72% 胜率,在时序推理准确性上达到 95% 的 Win/Tie 率,彻底消除了基线大模型将抗痴呆药易倍申(美金刚)误认为多奈哌齐、将 GDS 痴呆分期混淆为抑郁量表等危险幻觉。
亮点与洞察¶
- 以临床客观测量内化推理原语:巧妙利用病历中天然存在的神经心理学测验分值构建带容差阶跃奖励,彻底解决了临床时序任务缺乏密集监督信号与专家 CoT 标注成本极高的死结。
- 组内优势归一化自带梯度自过滤:发现并证明了 GRPO 组内归一化算法在遇到系统性伪标签或严重文本噪声时组内优势恒等于 0 的特性,使得强化学习策略对高达 70% 的提取噪声展现出天然免疫力。
- 长时序泛化与跨病种迁移验证扎实:不仅在阿尔茨海默病连续认知衰退中表现优异,还在独立医疗中心帕金森病向 PDD 转化的复杂跨病种随访数据中实现了零先验良好泛化。
局限与展望¶
- 单国别数据源与语言依赖:当前评估的非结构化病历均源自韩国两家大型三甲医院,虽然原始病历经由安全私有化大模型译为英文构建上下文,但在跨种族、多语言体系以及欧美临床文本写作惯例下的普适性仍待进一步直接验证。
- 预后定义局限于二元分类:当前任务将结局严格划分为痴呆与非痴呆,简化了轻度认知障碍(MCI)等具有重要临床干预价值的过渡前驱期,且尚未细分阿尔茨海默病、血管性痴呆、路易体痴呆等亚型。
- 真实生物标志物确认的缺失:终点标签主要基于门诊随访诊断分级、ICD 编码与药物处方,未完全结合脑脊液 Tau/A\(\beta\) 淀粉样蛋白病理活检或 Tau-PET 金标准进行确诊比对。
相关工作与启发¶
- vs. HuatuoGPT-o1 / MedGemma: 后者聚焦于静态临床试题问答与单次病例推理,无法捕捉横跨数年的纵向症状渐进恶化;Dementia-R1 证明通过两阶段临床指标预训练能够唤醒小参数模型处理动态非单调长时序病历的能力。
- vs. CARE-AD / MOTOR: 传统深度学习与多智能体框架强依赖结构化实验室数值且容易忽略叙述性病程细节;Dementia-R1 实现了自由文本叙述与数值量表的无缝端到端协同建模。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出以病历内生客观临床指标驱动强化学习冷启动替代人工思维链,构思精巧。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖两家三甲医院真实病历与 ADNI 基准,包含消融、抗噪测试、抗冲突测试及执业医生双盲评审。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨清晰,实验设计环环相扣,临床医学与强化学习机制结合极其自然。
- 价值: ⭐⭐⭐⭐⭐ 为大模型在慢病长期管理、多模态时序演化与真实非结构化医疗文本分析开辟了极具推广价值的范式。