跳转至

RASPER: Reward-Aligned Summarization of Clinical Notes for EHR Outcome Prediction

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/aryahm1375/RASPER
领域: 医疗NLP
关键词: 电子病历, 临床出院总结, 强化学习, 预测反馈对齐, 多模态医疗建模

一句话总结

本文提出面向电子健康档案(EHR)临床结局预测的端到端框架 RASPER,通过多模态软提示编码结构化代码并将其与文本总结联合建模,并首创基于下游预测损失反馈的强化学习(RLPF)策略优化总结器,促使模型保留互补于结构化代码的关键患者证据,在再入院预测与用药推荐任务上显著优于现有基线。

研究背景与动机

电子健康记录(EHR)包含结构化医疗编码(如诊断、手术、处方)与非结构化出院总结(Discharge Notes)两大多模态视图。结构化编码天然具备标准化、群体层面的疾病模式(Cohort-level Patterns),但常常丢失患者特异性的症状严重度、治疗动态响应与临床观察细节;而非结构化文本记录着极其详实的个性化临床轨迹。然而,临床出院小结在撰写初衷上旨在满足临床归档与行政交接,而非直接面向下游预测建模,导致原始文本普遍存在冗长冗余、充斥文档模板噪音且极易受到不同科室或医生书写风格变异的影响,直接输入预测模型往往稀释有效预测信号。

为了降低冗余度,现有常见折中方案采用大语言模型(LLM)对出院文本进行通用摘要压缩。然而,现行通用的文本摘要目标严重偏向语言流畅度、表面语法连贯性与通用内容覆盖率,这种独立于下游任务的数据预处理机制陷入了严重的“目标错配”:通用摘要模型往往倾向于删减那些对特定临床决策起到决定性作用的关键偶发指征或隐性危险信号,转而机械保留大段通顺却对预测毫无增量信息价值的常规背景。更本质的是,不同临床结局(如 30 天再入院与下一次多标签用药推荐)所依赖的病理特征截然不同,缺乏下游预测导向的摘要不仅无法过滤语义噪声,更无法与已有的结构化编码形成信息互补。

本文认为,出院笔记的压缩摘要不应被割裂为独立的无监督预处理流水线,而必须与下游临床预测目标实现端到端任务对齐。由此,本文提出了核心 idea:构建一个基于预测损失反馈强化学习(RLPF)的动态总结器,将结构化代码转化为软提示注入预测器作为患者临床先验,以多模态联合预测损失对个体历史损失基准的相对改善作为奖励信号,反向驱动总结策略模型保留真正互补于结构化编码的患者特异性预测证据。

方法详解

整体框架

RASPER 的整体架构由两大交互模块组成:可微调的大语言模型总结器(Tunable LLM Summarizer)与 LLM 感知的临床结局预测器(LLM-Aware Outcome Predictor)。面对患者纵向历史就诊序列,首先由总结器将每次就诊的原始出院笔记提炼为结构化格式的就诊级摘要,并按“最近就诊在前、历史就诊在后”的时间逆序拼接为完整的患者级摘要文本;同时,纵向 EHR 编码器抽取历史结构化诊断、用药与手术序列的上下文表征,并通过投影层转化为连续软提示嵌入。预测器 LLM 拼接软提示与摘要文本嵌入,输出下游预测概率并计算交叉熵损失。训练流程上,系统先经过两阶段预热(GPT 知识蒸馏的总结器 SFT 与预测器冷启动),随后由冻结权重的预测器利用每名患者的预测损失相对历史基线的降低幅度生成即时标量奖励,在 PPO 强化学习框架下优化总结器的 LoRA 参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    A["患者纵向就诊数据<br/>{V_i,t, S_i,t}"] --> B["纵向结构化代码序列 V_i,t"]
    A --> C["原始非结构化出院笔记 S_i,t"]
    subgraph DES1["1. 结构化代码软提示投影与多模态联合预测"]
        direction TB
        B --> D["RETAIN 纵向双层注意力编码器<br/>就诊级 + 变量级时序聚合"]
        D --> E["线性投影层 Proj_ehr<br/>映射为 P 个连续软提示向量 E_i"]
        C --> F["可调总结器生成患者摘要 S_hat_i<br/>时间逆序拼接:最近就诊置顶"]
        E --> G["LLM 联合输入表征 I_i = [E_i; Embed(S_hat_i)]"]
        F --> G
        G --> H["Gemma-2-2B 预测器前向计算<br/>Avg-Pooling + 预测头 → y_i"]
        H --> I["下游预测损失 L_Pred (BCE)"]
    end
    subgraph DES2["2. 教师蒸馏初始化与两阶段温和启动策略"]
        direction TB
        J["GPT-5.4-mini 生成伪黄金摘要 G_i,t"] --> K["总结器 SFT 阶段:极小化 NLL 损失<br/>学习规范化临床摘要格式 (10 epochs)"]
        K --> L["预测器独立预热 Warm-up (20 epochs)<br/>锁定总结器,优化预测器 LoRA 建立基线"]
    end
    subgraph DES3["3. 预测反馈强化学习与患者级自适应基准对齐"]
        direction TB
        I --> M["计算患者个体化奖励<br/>对比历史前 5 最低损失基准:r_i = l_bar_5 - l_i"]
        M --> N["Mini-batch Z-score 归一化与限幅 [-2, +2]"]
        N --> O["PPO 裁剪策略优化 + Value Head 回归<br/>冻结参考模型 KL 散度约束 + 熵正则"]
        O -.更新 LoRA 参数.-> F
    end
    I --> P["最终临床预测结局<br/>再入院概率 / 下次处方药物集合"]

关键设计

1. 结构化代码软提示投影与多模态联合预测:解决模态割裂与简单文本线性拼接的信息稀释

以往联合建模工作常常仅采用硬提示(Hard Prompting)将离散代码粗暴拼接成冗长文本,或者使用复杂图网络使得两模态相互脱节。RASPER 设计了一种轻量级软提示对齐机制:首先利用 RETAIN 双层注意力机制(反向时间 GRU 分别捕捉就诊重要度 \(\alpha\) 与变量特征权重 \(\beta\))编码患者完整的结构化诊断与手术轨迹,得到群体级上下文表征 \(h^{\text{ehr}}_i\);接着利用连续投影模块 \(\text{Proj}_{\text{ehr}}\) 将其转化为 \(P\) 个连续可学习的软提示 Token \(E_i \in \mathbb{R}^{P \times D}\)。这些软提示向量与总结器输出的患者级摘要文本嵌入 \(\text{Embed}(\hat{S}_i)\) 在序列维度无缝拼接,共同送入被 LoRA 微调的 Gemma-2-2B 预测器中。这不仅大幅缩短了跨模态上下文长度,而且将标准化群体知识直接注入预测器首层,为下游任务决策提供了稳固的临床先验锚点。

2. 教师蒸馏初始化与两阶段温和启动策略:解决长文本临床摘要强化学习冷启动坍塌与奖励噪声

直接从未微调的语言模型出发执行临床强化学习极易引发策略崩溃,源于长篇医学出院文本的输出空间极其庞大,而下游预测二元标量反馈信号极其稀疏。为此,RASPER 引入渐进式两阶段对齐。第一阶段通过调用 GPT-5.4-mini 在结构化抽取 Prompt 下批量生成高质量标准就诊摘要 \(G_{i,t}\),并利用负对数似然损失对本地总结器模型进行 \(Q_{\text{SFT}}=10\) 个 Epoch 的有监督微调(SFT),使其稳固掌握临床格式范式(主诉、入院指征、治疗方案、出院转归)。第二阶段为了防止初始欠拟合预测器提供紊乱颠簸的梯度反冲,强制设定预测器先单独训练 \(Q_{\text{warm}}=20\) 个 Epoch,在建立稳定的判别边界与可靠置信度后再启动 RLPF 联合协同,彻底避免了弱判别器将总结模型引向不可逆模式退化的陷阱。

3. 预测反馈强化学习与患者级自适应基准对齐:驱动摘要自适应保留互补于结构化代码的关键患者证据

为了促使摘要脱离泛化压缩、转向捕捉对预测最敏感的特异性线索,RASPER 建立了以端到端预测损失为驱动的 RLPF 强化学习范式。若直接将绝对损失取负作为奖励,因不同患者的基础病情严重度差异巨大,跨样本方差会导致策略梯度剧烈抖动。为此,RASPER 在预测器预热阶段记录并维护每位患者历史观测中表现最优的 5 个最低损失的滑动平均值 \(\bar{\ell}^{(u)}_{i,5}\) 作为个性化强基准,定义即时奖励为其相对该基准的超越量:

\[r^{(u)}_i = \bar{\ell}^{(u)}_{i,5} - \ell^{(u)}_i\]

由此,唯有生成的摘要相较于历史最佳预测进一步消解了不确定性、提升了预测准确度时,策略才获得正向回馈。该奖励在 Mini-batch 内部经过均值方差归一化与 \([-2.0, 2.0]\) 截断处理,通过 PPO 算法与价值网络 Advantage 估计反向调节总结策略,并引入针对初始 SFT 冻结参考模型的 KL 散度惩罚与信息熵正则,确保了摘要生成在激进探索预测敏感证据的同时始终不脱离真实医学文本的语义分布。

损失函数 / 训练策略

整个框架采用交替分段优化策略: 1. 预测器损失:在所有阶段均最小化二元交叉熵损失: $\(\mathcal{L}_{\text{Pred}} = \text{BCE}(\hat{Y}_i, Y_i)\)$ 其中预测器仅更新 RETAIN 编码器、软提示投影层、预测头及预测器骨干网络的 LoRA 适配层。 2. PPO 阶段总结器综合损失:当 \(e \ge Q_{\text{warm}}\) 时,总结器通过 AdamW 独立优化 PPO 复合目标: $\(\mathcal{L}_{\text{PPO}} = \mathcal{L}_{\text{policy}} + \lambda_v \mathcal{L}_{\text{value}} - \lambda_H \mathbb{E}[H^{\ell}_{i,t}] + \lambda_{\text{KL}} \mathcal{L}_{\text{KL}}\)$ 其中 \(\mathcal{L}_{\text{policy}}\) 为带有阈值 \(\epsilon_{\text{PPO}}=0.2\) 的裁剪替代目标;价值网络估计头以 MSE 拟合裁剪归一化奖励 \(\hat{r}^{(u)}_i\)(权重 \(\lambda_v=0.5\));KL 散度惩罚项权重 \(\lambda_{\text{KL}}=0.02\);探索熵增益权重 \(\lambda_H=0.01\)。总结器单次最大生成长度为 128 tokens,患者整体拼接摘要最大截断为 512 tokens。

实验关键数据

主实验

论文在两大数据集 MIMIC-III 与 MIMIC-IV 上系统评测了再入院预测(二分类,以 AUROC 和 PRAUC 评估)与用药推荐(多标签分类,以 F1 和 Jaccard 相似度评估)任务,全流程基准对比结果如下:

模型分类 模型名称 MIMIC-III 再入院 AUROC MIMIC-III 再入院 PRAUC MIMIC-III 用药 F1 MIMIC-III 用药 Jaccard MIMIC-IV 再入院 AUROC MIMIC-IV 再入院 PRAUC MIMIC-IV 用药 F1 MIMIC-IV 用药 Jaccard
传统深度模型 Deepr 0.671 0.702 0.255 0.160 0.621 0.651 0.228 0.189
传统深度模型 RETAIN 0.657 0.678 0.253 0.156 0.673 0.698 0.349 0.255
传统深度模型 GRASP 0.618 0.635 0.153 0.096 0.535 0.578 0.267 0.195
传统深度模型 AdaCare 0.645 0.687 0.235 0.133 0.615 0.644 0.251 0.184
传统深度模型 StageNet 0.678 0.705 0.239 0.139 0.659 0.690 0.278 0.202
传统深度模型 Adore 0.665 0.698 0.152 0.125 0.615 0.643 0.206 0.165
传统深度模型 ARCI 0.648 0.669 0.283 0.184 0.668 0.698 0.303 0.246
LLM 增强模型 GraphCare 0.665 0.705 0.294 0.195 0.688 0.711 0.355 0.259
LLM 增强模型 LINKO 0.674 0.711 0.304 0.202 0.695 0.715 0.367 0.264
LLM 增强模型 RePrompT 0.682 0.718 0.312 0.206 0.702 0.723 0.375 0.273
本文方法 RASPER 0.704 0.738 0.326 0.218 0.725 0.742 0.388 0.282

消融实验

为了严格厘清结构化模态注入、摘要生成机制以及 RLPF 强化对齐的各自增益,论文在同等配置下测试了变体消融性能:

消融变体配置 MIMIC-III 再入院 AUROC MIMIC-III 再入院 PRAUC MIMIC-III 用药 F1 MIMIC-III 用药 Jaccard MIMIC-IV 再入院 AUROC MIMIC-IV 再入院 PRAUC MIMIC-IV 用药 F1 MIMIC-IV 用药 Jaccard
RASPER w/o EHR 编码器 0.661 0.698 0.288 0.187 0.685 0.704 0.353 0.258
RASPER w/o 摘要(输入原始笔记) 0.674 0.712 0.298 0.191 0.691 0.713 0.363 0.262
RASPER w/o RL(仅保留 GPT 摘要) 0.689 0.725 0.309 0.201 0.708 0.723 0.371 0.272
RASPER w/o RL(仅保留 SFT 总结器) 0.684 0.721 0.305 0.198 0.701 0.718 0.367 0.269
RASPER 完整模型 0.704 0.738 0.326 0.218 0.725 0.742 0.388 0.282

骨干模型替换敏感性分析

在保持框架其余结构不变的前提下,替换总结器与预测器底层的不同规模开源模型:

LLM 骨干架构 MIMIC-III 再入院 AUROC MIMIC-III 再入院 PRAUC MIMIC-III 用药 F1 MIMIC-III 用药 Jaccard MIMIC-IV 再入院 AUROC MIMIC-IV 再入院 PRAUC MIMIC-IV 用药 F1 MIMIC-IV 用药 Jaccard
Qwen2.5-0.5B 0.697 0.730 0.315 0.209 0.716 0.731 0.379 0.276
Llama-3.2-1B 0.701 0.734 0.321 0.214 0.722 0.737 0.384 0.278
Gemma-2-2B 0.704 0.738 0.326 0.218 0.725 0.742 0.388 0.282

关键发现

  • 结构化代码是临床预测不可或缺的基石:消融实验中去掉结构化 EHR 编码器(w/o EHR encoder)导致了断崖式的性能跌落(MIMIC-III 再入院 AUROC 从 0.704 直降至 0.661,MIMIC-IV 从 0.725 降至 0.685),衰退幅度甚至大幅超过移除 RL 对齐。这印证了标准诊断/手术代码构成了临床基线不可替代的群体先验。
  • 原始出院笔记的直接输入充斥毁灭性噪声:对比 w/o Summarization 与完整模型,直接喂入截断的原始笔记在 MIMIC-III 再入院任务上仅能录得 0.674 AUROC,显著差于基于通用 GPT 压缩的变体(0.689),说明临床非结构化文本的“Note Bloat”问题确实会破坏注意力集中度,压缩降噪是必需步骤。
  • 任务导向强化对齐打破通用摘要瓶颈:相比通用 GPT-5.4-mini 摘要(0.689)以及本地 SFT 总结器(0.684),RLPF 强化训练分别带来了约 1.5% - 2.4% 的全指标持续增益。这有力证明了基于预测损失构建的奖励信号能够成功逼迫总结器“学会取舍”,丢弃与预测无关的套话,沉淀出对特定结局具备强判别力的文本证据。
  • 计算复杂度与推理延迟代价可控:在 12 位患者组成的批次推理延迟分析中(表 6),传统纯代码深度模型(如 RETAIN 0.06s,StageNet 0.11s)极快;而 RePrompT 因引入 LLM 预测耗时 1.38s;RASPER 串联两阶段 LLM 生成耗时 1.87s。虽然略微增加推理时长,但换取了高达 2.3% 以上的判别力飞跃,在离线临床辅助决策场景中具有极高性价比。

亮点与洞察

  • 将下游任务损失逆向转化为上游摘要的强化学习奖励:传统预处理管线中摘要生成与下游建模彼此隔离,而 RASPER 将端到端预测损失作为直接评价环境,利用自身预测器的反馈信号自动指导上游提炼最互补的特征。
  • 患者自适应滑动基准(Historical Best-5 Loss Baseline)的稳健设计:避免了强化学习直接使用全局绝对损失导致的高方差与不平稳,精准以“该特定患者历史最佳预测表现的增量改善”度量摘要贡献,设计极为老练扎实。
  • 软提示融合架构兼顾了轻量化与跨模态交互:采用 RETAIN 压缩纵向代码并投影为 8 个软连续提示,相比于暴力的代码文本序列化,大幅节约了昂贵的注意力上下文窗口并保留了结构化本体特征。

局限与展望

  • 单中心数据集来源局限性:实验目前仅在 MIMIC-III 与 MIMIC-IV(均源自 Beth Israel Deaconess Medical Center)上完成闭环验证。对于跨院区、跨异构 EHR 软件系统(如 Epic 或 Cerner)以及不同地区临床撰写习惯的泛化迁移能力仍需进一步跨中心临床数据验证。
  • 动态长度与结构化 Prompt 格式的超参空间尚未充分穷尽:当前模型固定了每就诊生成最多 128 tokens、拼接总长 512 tokens,未能根据不同患者病情的复杂急骤程度自适应调节摘要粒度,后续可探索基于置信度的动态变长摘要输出机制。
  • 临床可解释性与幻觉安全护栏有待强化:总结器为了追求极端降低预测损失,理论上存在放大或微调某些边缘特异性词汇从而诱发临床幻觉的潜在风险。未来应加入基于医学知识库的实体事实一致性奖励(Factuality Reward)以双重约束生成文本的医学严谨度。

相关工作与启发

  • vs RETAIN / StageNet 等纯结构化代码深度模型:传统方法专注于多级注意力与时序衰减建模,但彻底抛弃了非结构化笔记。RASPER 通过出院笔记动态摘要补充了个性化细节,显著突破了结构化代码的性能天花板。
  • vs GraphCare / LINKO 等知识图谱与外部医学知识增强方法:此类方法侧重于利用外部知识图谱与医学本体进行图神经网络传播,建模复杂度极高且容易引入外部概念噪声。RASPER 紧扣病历内部非结构化出院笔记的原始多模态富矿,通过软提示直接融合,实现机制更加轻巧原生。
  • vs RePrompT (Moghaddam et al., ACL 2026):RePrompT 同样尝试利用提示工程融合 RETAIN 与 LLM,但其出院笔记采用静态摘要且未经预测目标重塑。RASPER 提出了革命性的 RLPF 反馈优化回路,证明了“预测引导的动态对齐”显著优于“静态通用摘要”。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [将下游预测损失转化为 PPO 强化学习奖励指导上游临床笔记摘要生成,立意极具开创性]
  • 实验充分度: ⭐⭐⭐⭐⭐ [在 MIMIC-III/IV 上的多任务对比、丰富消融、骨干模型与推理时间分析一应俱全]
  • 写作质量: ⭐⭐⭐⭐⭐ [问题提出切中痛点,数学建模与训练算法层层递进,表达清晰缜密]
  • 价值: ⭐⭐⭐⭐⭐ [成功打通非结构化医疗文档与结构化预测任务的自适应对齐通道,具备极高的学术与落地参考价值]