Learning Personalized Prompts for Healthcare Guidance¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/CGCL-codes/PPL
领域: 医疗 LLM
关键词: 个性化提示学习, 离散提示优化, 强化学习, 临床健康指导, 电子病历建模
一句话总结¶
本文提出面向医疗指导的个性化提示学习框架 PPL,通过融合自身历史病历预测与相似病例协同信息构建个性化提示,并基于强化学习以医生实际诊疗建议为奖励信号进行离散词级优化,使闭源商业大模型无需微调即可生成高度个性化的专业医疗指导。
研究背景与动机¶
随着大语言模型(LLM)在医疗健康领域的深入应用,医院与患者对借助系统解读纵向个人健康体检记录并提供定制化诊疗建议的需求与日俱增。然而,现有的医疗大模型系统普遍存在显著局限:绝大多数研究仅针对单一特定疾病(如糖尿病、前列腺癌等)微调轻量级开源模型,其个性化能力仅仅体现在患者输入检查数值的微弱差异上,本质上学到的是特定病种的通用诊疗套路,根本无法应对真实世界中患者病情的异质性与多种并发症共存的复杂场景。这种病种级而非患者级的泛化机制,严重制约了医疗模型在实际临床随访与全周期健康管理中的落地效果。
这种困境的核心矛盾在于:一方面,真实临床场景需要模型具备跨多病种的广博医学常识与深厚推理能力,而这类能力往往高度集中于不可微调且参数不公开的顶尖商业大模型(如 GPT-4、Gemini 1.5 Pro 等);另一方面,现存的提示工程方案主要依赖人工编写固定模板并将有限的体检数据直接填充进去,这种静态方法完全无法根据动态演化且长度不一的多期检验指标、复杂的同伴临床经验以及不同下游大模型的响应特性进行自适应调整。直接向外部商业接口传输未经提炼的繁琐原始病历,不仅容易带来患者隐私泄露风险,还会因提示词缺乏针对性导致模型给出千篇一律、缺乏临床实操价值的“泛化废话”。
本文切入的角度是:将大模型的参数冻结,转而在外部构建一个针对个体患者与目标下游模型联合优化的自适应离散提示生成引擎。核心 idea:提出个性化提示学习框架(PPL),联合利用基于自身病历微调的模型预测(Self-informed)与临床相似病例先验(Peer-informed)构建个性化粗提示,并以实际临床医生手写的针对性建议为对齐目标,利用强化学习在离散词级自适应删减与重构提示词,在无需修改商业闭源模型任何参数的前提下驱动其生成高临床一致性的定制化医疗指导。
方法详解¶
整体框架¶
PPL 框架由三个紧密配合的阶段组成:个性化信息提取、粗粒度个性化提示构建以及强化学习驱动的细粒度提示词优化。给定患者 \(x_i\) 包含多期体检指标的纵向时间序列记录,首先通过预训练的预测器提取患者自身的病情倾向(Self-informed),同时通过特征编码器将多期指标投影后利用协同过滤在历史病例库中检索 Top-\(k\) 相似病例的真实出院诊断(Peer-informed)。随后,将这两类异构的临床信息填入结构化模板,生成涵盖患者自身预测状态与同伴先验的粗粒度个性化提示 \(s_0\)。最后,引入基于马尔可夫决策过程(MDP)构建的策略网络,将提示词编码为离散文本序列,在每一步迭代中结合全局语义与患者病历嵌入计算词级删除概率,连续执行 \(n\) 步词级离散编辑生成细粒度个性化提示 \(P\)。该文本提示直接输入给商业大模型 \(\mathrm{LLM}_r\) 生成个性化医疗建议 \(\hat{r}\),并以真实主治医师手写建议 \(r\) 之间的 BERTScore 相对增益作为奖励信号进行策略梯度更新。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["患者纵向多期体检记录<br/>(35 项连续数值型指标)"] --> B["自身纵向病历预测<br/>(微调 LLaVA-1.5-7B 预测当前状态)"]
A --> C["相似病例协同检索<br/>(MLP 编码器映射 + 余弦相似度 Top-k)"]
B --> D["粗粒度个性化提示构建<br/>(组合任务背景 + 自身预测 + 同伴先验)"]
C --> D
D --> E["强化学习词级离散提示细化<br/>(BERT 编码 + MLP 策略网络 n 步删减)"]
E --> F["下游商业大模型黑盒推理<br/>(GPT-4 / Gemini 生成最终指导建议)"]
F --> G["医生临床真值奖励反馈与策略更新<br/>(BERTScore 增益计算奖励 + REINFORCE 优化)"]
关键设计¶
1. 自身与同伴双源个性化信息提取:解决长时序病历异质性与临床相似经验复用难题 针对真实患者体检次数 \(N_{x_i}\) 差异大、序列长度不一的问题,PPL 采用双重路径提取个性化信息。在自身信息(Self-informed)路径中,将多期检验指标组织为时间序列文本指令,通过 LoRA 微调 LLaVA-1.5-7B 作为统一预测器 \(\mathrm{LLM}_p\),输出对目标患者当前病情的预测状态 \(\hat{Y}_i = \mathrm{LLM}_p(x_i)\);实验表明,该微调大模型在序列补齐数据上的表现显著超越了传统 LSTM、CNN 与 Transformer 时序分类器。在同伴信息(Peer-informed)路径中,为了借鉴具有相似生理特征的历史病例经验,框架使用 2 层 MLP 编码器将填充后的变长指标拼接待测向量映射至 \(d=128\) 维的潜在表征空间 \(\hat{x}_i \in \mathbb{R}^{1 \times d}\)。随后在训练库中计算目标患者与历史患者 \(x_j\) 之间的余弦相似度: $$ w_{ij} = \frac{\hat{x}_i \cdot \hat{x}_j}{|\hat{x}_i|_2 |\hat{x}_j|_2} $$ 筛选出相似度最高的前 \(k\) 位患者,提取其确认的出院真实诊断标签与相似度分值,与目标患者的预测结果共同组装成个性化的粗粒度文本提示 \(s_0\)。
2. 融合患者特征的词级 MDP 离散提示精炼:突破固定模板与语义粗糙度瓶颈 现有的提示优化算法大多针对具体分类任务微调共享通用前缀,无法针对每一个具有独特病情的个体动态调整。PPL 将提示优化建模为具有 \(n\) 步编辑的马尔可夫决策过程 \(S=\{s_0, s_1, \dots, s_{n-1}\}\)。由于不同患者构建的初始提示长度 \(N_s\) 各不相同,PPL 采取精细的词级单步删除机制。在第 \(i\) 步状态 \(s_i\) 下,首先使用 BERT 提取提示中所有词的词嵌入 \(E = \mathrm{BERT}(s_i) = (e_1, e_2, \dots, e_{N_s})\) 并计算全局平均语义向量 \(\bar{E} = \frac{1}{N_s}\sum_{j=1}^{N_s} e_j\)。为了防止纯文本嵌入脱离患者本身临床特征,模型将每个候选词嵌入 \(e_j\)、提示全局语义 \(\bar{E}\) 与患者病历编码 \(\hat{x}\) 拼接输入 3 层 MLP 策略网络 \(f(\cdot)\),计算各词的删除概率分布: $$ \pi(e_j \mid s_i) = \frac{\exp(f(e_j \parallel \bar{E} \parallel \hat{x}))}{\sum_{k=1}^{N_s} \exp(f(e_k \parallel \bar{E} \parallel \hat{x}))} $$ 每步依据 \(\pi(e \mid s_i)\) 采样一个词索引并将其从当前提示中剔除,重复执行 \(n\) 步得到最终的个性化精炼提示 \(P = s_{n-1}\)。该设计使得策略网络能够根据个体生化指标的全局几何特征,自适应裁剪冗余或引起大模型误导的提示词。
3. 基于真实医生建议对齐的相对奖励与黑盒策略梯度:无侵入赋能闭源顶级 LLM 在医疗场景下,大模型的输出必须严格对齐专业主治医师的真实决策与行文逻辑。PPL 将精炼后的文本提示 \(P\) 直接输入下游黑盒商业大模型 \(\mathrm{LLM}_r\) 得到指导建议 \(\hat{r} = \mathrm{LLM}_r(P)\)。为了消除初始提示基础质量对奖励的偏移影响,框架采用相对 BERTScore 差值作为强化学习奖励信号: $$ \mathrm{Reward} = \mathrm{BS}(\hat{r}, r) - \mathrm{BS}(\hat{r}0, r) $$ 其中 \(\hat{r}_0 = \mathrm{LLM}_r(s_0)\) 是下游模型对初始粗提示的回复,\(r\) 是该患者在临床上由医生撰写的个性化参考建议,\(\mathrm{BS}(\cdot, \cdot)\) 衡量生成文本与真实医嘱之间的语义相似度。策略网络的损失函数基于 REINFORCE 算法定义为: $$ \mathcal{L} = -\sum $$ 由于所有操作均在离散文本空间上进行,整个训练过程完全无需访问或修改下游 }^{n-1} \log(\pi(e_{j_i} \mid s_i)) \cdot \mathrm{Reward\(\mathrm{LLM}_r\) 的梯度与内部权重,使得前沿闭源商用模型能够即插即用地获得极高的临床对齐精度。
损失函数 / 训练策略¶
PPL 训练过程包含两个解耦阶段:第一阶段在训练集上利用 LoRA 对预测器 \(\mathrm{LLM}_p\) 进行有监督指令微调(SFT);第二阶段联合优化 MLP 患者编码器与 MLP 策略网络。策略网络采用 3 层全连接层(隐藏层维度 256,Dropout 为 0.4,输出维度 1),编码器为 2 层全连接层(输出维度 128)。优化器选用 Adam,学习率设为 0.005。在超参数选择上,相似患者数量设为 \(k=10\),离散提示修改步数设为 \(n=10\)。推理阶段对于测试集患者,直接利用训练集先验构建初始提示并经过策略网络单向推理 \(n\) 步后送入商业大模型完成生成。
实验关键数据¶
主实验¶
实验基于武汉及周边多家医院 2020-2022 年收集的真实妇产科纵向病历数据集展开,包含 2,373 位孕妇的 38,817 条检查记录(涵盖 35 项核心体检指标)以及对应的真实医生出院指导。基线涵盖主流商业大模型直接生成(Gemini 1.5 Pro、GLM-4、GLM-4-plus、GPT-3.5-turbo、GPT-4)以及在全量训练集上监督微调的轻量级开源医疗大模型(Llama-3-8B、GLM-4-9B、Qwen-2-7B、LLaVA-1.5-7B)。
| 模型 / 方案 | BLEU-4 | ROUGE-1 | ROUGE-2 | ROUGE-L | BS-Precision | BS-Recall | BS-F1 |
|---|---|---|---|---|---|---|---|
| Gemini 1.5 Pro (Direct) | 6.49 | 27.57 | 6.19 | 15.46 | 62.79 | 65.15 | 63.94 |
| Gemini 1.5 Pro + PPL | 10.65 | 37.01 | 13.67 | 22.39 | 69.54 | 70.75 | 70.13 |
| GLM-4 (Direct) | 8.39 | 30.93 | 9.95 | 19.46 | 63.06 | 64.95 | 63.99 |
| GLM-4 + PPL | 9.42 | 34.67 | 11.57 | 21.31 | 66.80 | 69.51 | 68.12 |
| GLM-4-plus (Direct) | 7.79 | 33.15 | 10.48 | 15.45 | 59.43 | 63.26 | 61.26 |
| GLM-4-plus + PPL | 9.04 | 36.22 | 11.96 | 18.47 | 65.20 | 69.58 | 67.31 |
| GPT-3.5-turbo (Direct) | 8.73 | 29.48 | 9.69 | 20.08 | 65.56 | 64.90 | 65.19 |
| GPT-3.5-turbo + PPL | 9.39 | 32.41 | 10.49 | 22.84 | 69.25 | 68.59 | 68.89 |
| GPT-4 (Direct) | 7.76 | 28.62 | 9.38 | 15.49 | 61.03 | 64.59 | 62.75 |
| GPT-4 + PPL (本文方案) | 10.88 | 39.03 | 14.30 | 22.69 | 69.80 | 71.21 | 70.50 |
| 微调 Llama-3-8B | 9.56 | 38.44 | 14.12 | 23.52 | 65.61 | 65.93 | 65.77 |
| 微调 GLM-4-9B | 8.79 | 36.40 | 12.02 | 19.72 | 64.37 | 64.29 | 64.33 |
| 微调 Qwen-2-7B | 8.03 | 36.64 | 12.18 | 19.78 | 64.38 | 64.22 | 64.30 |
| 微调 LLaVA-1.5-7B | 7.45 | 33.26 | 13.59 | 16.61 | 61.30 | 63.29 | 62.28 |
消融实验¶
在基于 GPT-4 的核心框架下,针对自身个性化信息(Self-informed Personalization, SP)、同伴个性化信息(Peer-informed Personalization, PP)以及强化学习提示精炼(Prompt Refinement, PR)三个核心组件进行消融验证。
| 配置 | BLEU-4 | ROUGE-1 | ROUGE-2 | ROUGE-L | BS-Precision | BS-Recall | BS-F1 | 说明 |
|---|---|---|---|---|---|---|---|---|
| PPL 完整模型 | 10.88 | 39.03 | 14.30 | 22.69 | 69.80 | 71.21 | 70.50 | 完整模型,性能最优 |
| w/o 自身信息 (SP) | 8.42 | 34.01 | 10.85 | 18.39 | 61.10 | 65.01 | 62.99 | 缺失自身病情预测,语义对齐度急剧下滑 |
| w/o 同伴信息 (PP) | 9.29 | 34.54 | 11.51 | 21.38 | 65.92 | 68.61 | 67.24 | 缺失相似病例诊断,降幅较小但仍明显受损 |
| w/o 提示精炼 (PR) | 7.91 | 33.07 | 10.39 | 17.68 | 63.62 | 66.09 | 64.83 | 仅使用初始粗提示,BLEU-4 下降达 2.97 |
关键发现¶
- 商业模型加持 PPL 全面超越轻量级微调模型:在 BERTScore 等语义一致性指标上,PPL + GPT-4 达到了 70.50% 的 F1,显著优于微调轻量模型(Llama-3-8B 微调版为 65.77%)。轻量模型仅在依赖字面精确匹配的 ROUGE-L 上微弱领先(23.52 vs 22.69),主要由于其过拟合了训练集中医生书写的固定套话,而在临床逻辑的深度推理与丰富性上不及通用大模型。
- 提示精炼(PR)是性能提升的核心引擎:消融实验显示,去掉强化学习提示精炼(PR)后,BLEU-4 从 10.88 骤降至 7.91,ROUGE-1 下降近 6 个点,说明直接拼接信息构建的粗粒度提示包含过多冗余噪声,必须经由 RL 在离散空间做针对性精简。
- 同伴信息起到了关键的个性化分流作用:案例分析显示,对于三位同样被诊断为胎膜早破(PROM)的孕妇,由于同伴检索模块分别提取到了子宫瘢痕、妊娠期高血压与单纯胎膜早破的历史群组,PPL 生成的提示词驱动 GPT-4 给出了截然不同的差异化并发症防范建议;而未经过提示优化的原始 GPT-4 与 GLM-4 则倾向于将正常的生理波动解读为潜在疾病,产生泛化且错误的建议。
- 专业医生人工双盲盲审具压倒性优势:由 25 名专业医学人员(包含 7 名执业妇产科医生)开展的 100 组双盲临床可用性评估中,PPL 赢得了 97 场对比,投票占比达到 86.12%,压倒性超越 GPT-3.5(2 胜,8.32%)与 GLM-4(1 胜,5.56%)。
亮点与洞察¶
- 将连续病历特征与黑盒大模型提示在词级离散空间桥接:规避了直接微调商业大模型的不可行性,创新性地使用策略网络执行文本词级动态删减,将强化学习离散提示优化的应用边界从通用分类拓展到高难度的纵向医疗指导场景。
- 医生真实诊疗医嘱驱动的相对收益对齐:使用相对 BERTScore 收益消除粗提示的基础语义偏差,使得强化学习奖励信号精准量化每次提示词删减带来的边际临床对齐改善。
- 自适应隐私保护与极轻推理开销:在实际交互中避免直接向第三方商用 API 发送未经处理的敏感原始多期病历指标,仅以精炼后的精简指令与状态陈述交互,兼顾了临床隐私保护与计算成本。
局限与展望¶
- 单中心专业数据局限:模型当前仅在武汉地区的妇产科真实病历上验证,虽然覆盖了 2,373 位患者及 38,817 次记录,但尚未在心血管、肿瘤等多中心、多科室数据上检验跨病种泛化能力。
- 单向删除式的离散编辑空间受限:目前每轮迭代仅支持单一单词的删除操作,无法执行同义词替换、临床术语重写或条件插入,可能在删减过多时导致部分提示句子存在语法不连贯现象。
- 多指标时序缺失与文本化表达依赖:依赖零填充(Zero Padding)处理缺失检查指标,未能充分挖掘连续生化指标之间的非线性生理动力学关联。
相关工作与启发¶
- vs 单病种微调医疗模型(如 Benary et al., 2023; Yang et al., 2023):传统方法针对特定单病种(如糖尿病或前列腺癌)微调开源小模型,缺乏跨病种适应能力且受限于小模型医学通识能力;本文通过离散提示学习激活闭源通用大模型的医学潜力,以统一架构灵活适配 12 种孕产期并发症。
- vs 通用离散提示优化(如 RLPrompt, Deng et al., 2022; GrIPS, Prasad et al., 2023):通用提示优化通常针对特定下游任务在全局寻找单一固定模板;本文首次将离散提示学习个性化至“患者级别”,策略网络输入显式融合了个体生理表征与历史相似病例先验。
- vs 外部检索增强临床问答(RAG):传统 RAG 仅做原始文本检索拼接,极易引入无关干扰文本;PPL 引入强化学习策略网络充当精细“过滤器”,让提示词自适应匹配下游大模型的认知偏好。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ [首次提出将强化学习离散提示优化引入医疗个性化多病种指导,方案构思巧妙完整]
- 实验充分度: ⭐⭐⭐⭐⭐ [涵盖真实临床纵向数据集、多款闭源与微调大模型对比、多模块消融及25人专业医生双盲评估]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密,MDP 形式化建模清晰,实验分析与案例展示充分]
- 价值: ⭐⭐⭐⭐⭐ [为安全、合规、个性化利用商业大模型辅助临床全周期健康管理提供了切实可行的工程与技术范式]