Learning Personalized Prompts for Healthcare Guidance¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/CGCL-codes/PPL
领域: 医疗 LLM
关键词: 医疗大模型、个性化提示学习、强化学习、协同过滤、硬提示优化
一句话总结¶
提出 PPL(Personalized Prompt Learning)框架,结合目标患者历史体检时序预测与同质病例协同过滤生成粗粒度提示,再利用强化学习以医生历史真实指导语为奖励信号迭代优化离散词级提示,在无需修改或微调闭源商业大模型参数的前提下实现高质量端到端个性化医疗建议生成。
研究背景与动机¶
随着大语言模型在医疗健康领域的深入应用,越来越多的医院与患者希望借助 LLM 解读纵向个人健康体检记录并提供日常医疗保健指导。然而,现有的医疗大模型系统大多依赖泛化医学知识或仅针对单一疾病(如糖尿病、前列腺癌等)进行参数微调。这类方案所谓的“个性化”主要源于患者输入文本的浅层差异,模型内部缺乏跨多疾病自适应调优的机制,既无法灵活应对具有个体异质性的复杂体检指标演变,也难以捕捉临床医患交互中细致入微的个体化指导需求。
实现细粒度临床个性化指导面临两大核心瓶颈:其一是在保持多疾病泛化能力的同时精准契合患者个体差异。临床真实场景中患者体检记录往往呈现非等长时序特征且多病并发,单纯为特定单病种训练轻量级模型难以兼顾综合健康管理。其二是提示词自适应构建的自动化难题。现有方法通常通过人工编写固定模板填充有限的患者生理指标,无法根据下游底座模型的输出偏好动态演进,亦受限于专有闭源大模型(如 GPT-4、Gemini-1.5-Pro)无法微调权重的黑盒壁垒。
面对上述挑战,本文的核心切入点是不改动下游能力强大的专有大模型权重,转而在离散文本提示空间中学习患者专属提示。核心 idea:提出个性化提示学习框架 PPL,通过融合患者自身时序预测的自信息与相似同质病历的同伴信息构建粗粒度文本提示,并设计以医生真实医嘱为对齐奖励的离散词级强化学习编辑策略,使黑盒商业大模型输出高忠实度且符合临床个体特异性的医疗指导。
方法详解¶
整体框架¶
PPL 的整体架构包含两大核心支柱:个性化信息提取(Personalized Information Extraction)与个性化提示生成与精炼(Personalized Prompt Generation and Refinement)。系统输入为目标患者跨多时间节点的纵向生理体检时序指标及训练集历史病历库,输出为下游商业大语言模型生成的个性化医疗指导文本。
首先,针对目标患者体格检查次数不一的非等长时序数据,自信息提取模块采用参数高效微调的 LLaVA-1.5-7B 作为疾病预测器预测其当前健康状态;同时通过双层 MLP 编码器将标准化体检向量映射至潜在空间,利用协同过滤检索余弦相似度最高的前 \(k\) 位同伴病例,将自身预测状态与同伴确诊信息拼接成粗粒度个性化提示。随后,策略网络以 BERT 提取的局部词嵌入、全局语义特征以及患者生理表征为综合条件,在马尔可夫决策过程下执行 \(n\) 步离散删词编辑;最终将精炼后的微观提示输入下游冻结权重的商业 LLM 中,计算生成文本与专业医生真实指导语之间的 BERTScore 增量作为强化学习奖励,反向传播优化策略网络。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["患者纵向体检记录<br/>非等长多期指标数据"] --> B["自信息个性化提取<br/>LoRA 微调 LLaVA-1.5 预测疾病状态"]
A --> C["同伴信息协同过滤<br/>MLP 向量化映射检索 Top-k 相似病历"]
B --> D["粗粒度个性化提示构建<br/>融合自身预测 + 历史真实病例先验"]
C --> D
D --> E["离散词级提示精炼网络<br/>结合局部词特征、全局语义与患者表征"]
E -->|MDP 迭代执行 n 步单词删除| F["精细化个性化硬提示"]
F --> G["下游商业大语言模型<br/>GPT-4 / Gemini-1.5-Pro / GLM-4"]
G --> H["个性化医疗指导输出"]
H -->|医生真实指导语 BERTScore 增量| I["强化学习奖励驱动策略优化<br/>Adam 梯度回传更新策略网络"]
I -.->|更新策略参数| E
关键设计¶
1. 自信息与同伴信息双轨个性化提取:兼顾个体纵向时序演化与同质群体临床先验
针对患者就诊及体检频次各异、历史时序长度不一的问题,直接堆叠特征会导致严重的对齐损失。PPL 提出了双轨信息提取设计。在自信息个性化分支中,将体检指标的时序演变视作状态序列,采用 LoRA 针对性微调 LLaVA-1.5-7B 作为预测器 \(\text{LLM}_p\): $\(\hat{Y} = \text{LLM}_p(X)\)$ 实验证明多模态架构在文本输入模式下相较传统时序模型(LSTM、ROCKET)能更稳健地抵抗补零填充带来的噪声。在同伴信息个性化分支中,经两层 MLP 编码器将填充后的体检特征映射为统一维度的紧凑表征 \(\hat{x}_i \in \mathbb{R}^{1 \times d}\),并利用协同过滤计算目标患者与训练集中已有明确出院诊断患者的余弦相似度: $\(w_{ij} = \frac{\hat{x}_i \cdot \hat{x}_j}{\|\hat{x}_i\|_2 \cdot \|\hat{x}_j\|_2}\)$ 系统筛选 Top-\(k\) 个最相似患者的历史确诊与干预结果,将其作为循证参照。这种设计既保留了目标个体自身的异常病理趋势,又引入了临床相似亚群体的群智先验,有效弥补了单一患者孤立指标信息的不足。
2. 患者表征条件化的离散提示编辑策略网络:打破纯文本语义依赖的细粒度提示搜索
为适配封闭源代码商业大模型,PPL 采用完全由离散文本构成的硬提示(Hard Prompt)方案,将优化过程严谨形式化为有限步马尔可夫决策过程(MDP)。状态集合定义为 \(S = \{s_0, s_1, \dots, s_{n-1}\}\),其中 \(s_0\) 为拼接后的初始粗粒度提示。以往基于强化学习的离散提示搜索算法(如 RLPrompt)仅依靠预训练词向量推导转移概率,极易导致搜索出的提示虽然语法流利但丢失患者特异性。
为此,PPL 构建了三元特征联合调控的策略网络。在当前状态 \(s_i\) 下,先使用 BERT 提取全部候选词的词嵌入序列 \(E = (e_1, e_2, \dots, e_{N_s})\),并计算整句全局均值池化向量 \(\bar{E} = \frac{1}{N_s}\sum_{j=1}^{N_s} e_j\)。策略网络在计算各词删除概率时,强制拼接词向量 \(e_j\)、提示全局上下文 \(\bar{E}\) 与患者体检表征 \(\hat{x}\): $\(\pi(e_j|s) = \frac{\exp(f(e_j \,\|\, \bar{E} \,\|\, \hat{x}))}{\sum_{m=1}^{N_s} \exp(f(e_m \,\|\, \bar{E} \,\|\, \hat{x}))}\)$ 其中 \(f(\cdot)\) 为三层 MLP 策略网络。该机制让策略网络在执行 \(n\) 步渐进式删词搜索时,紧扣患者实际生理特质与整体语义环境,自适应地剔除冗余修饰词或误导性信息,沉淀出最能激发下游大模型个性化潜能的关键短语序列。
3. 医生真实医嘱驱动的相对收益奖励函数:面向下游黑盒模型特性的无侵入对齐
在策略梯度的目标引导上,传统的无监督或规则奖励无法衡量个性化临床指导的优劣。PPL 直接以妇产科专家医生在实际临床中为该患者撰写的个性化出院医嘱文本 \(r\) 作为黄金参考(Ground Truth)。
为解决下游黑盒大语言模型 \(\text{LLM}_r\) 初始输出即具有较强语义流利度的基准偏移问题,PPL 采用相对增益奖励函数(Reward): $\(\text{Reward} = \text{BS}(\hat{r}, r) - \text{BS}(\hat{r}_0, r)\)$ 其中 \(\text{BS}(\cdot)\) 代表语义评估指标 BERTScore,\(\hat{r} = \text{LLM}_r(P)\) 是终态精炼提示 \(P = s_{n-1}\) 生成的回复,而 \(\hat{r}_0 = \text{LLM}_r(s_0)\) 则是未经微观精炼的粗粒度初始提示生成的基础回复。这一差分设计有效过滤掉了底座模型自带的通用常识分值,惩罚退化编辑,极力奖赏能够促使 LLM 生成贴近医生实际个体医嘱的修饰行为。策略网络损失函数定义为: $\(L = -\sum_{i=0}^{n-1} \log(\pi(e_{j_i}|s_i)) \cdot \text{Reward}\)$ 通过 Adam 优化器完成反向更新,全过程无需下游大模型提供任何内部梯度。
损失函数 / 训练策略¶
PPL 训练阶段分步推进:首先使用患者体检特征及标注的 12 种真实临床诊断标签对预测器 \(\text{LLMp}\)(LLaVA-1.5-7B)进行 LoRA 指令微调,微调超参数严格遵循标准配置;随后冻结预测器与下游大模型 \(\text{LLMr}\),对两层 MLP 编码器(输出维度 128、Dropout 0.4)与三层 MLP 策略网络(隐层维度 256、Dropout 0.4)使用 Adam 进行策略梯度联合端到端优化。学习率设为 0.005,同伴病历检索数量 \(k\) 设为 10,离散删词步数 \(n\) 设为 10,整个强化学习循环在包含 38,817 条记录的妇产科真实队列上训练收敛。
实验关键数据¶
主实验¶
在真实妇产科数据集上,对比不同商业大模型在应用 PPL 前后的文本生成质量,并与在训练集上直接针对医生回复微调(Fine-tuning)的开源轻量级 LLM 进行横向对比。评价指标涵盖词重叠指标(BLEU-4、ROUGE-L、ROUGE-1、ROUGE-2)与语义相似度指标(BERTScore Precision、Recall、F1)。
| 模型类别 | 模型名称 | 优化状态 | BLEU-4 | ROUGE-L | ROUGE-1 | ROUGE-2 | BERTScore F1 |
|---|---|---|---|---|---|---|---|
| 商业大模型 | Gemini-1.5-pro | 引入前 | 6.49 | 15.46 | 27.57 | 6.19 | 63.94 |
| 商业大模型 | Gemini-1.5-pro | 引入后 (PPL) | 10.65 | 22.39 | 37.01 | 13.67 | 70.13 |
| 商业大模型 | GLM-4 | 引入前 | 8.39 | 19.46 | 30.93 | 9.95 | 63.99 |
| 商业大模型 | GLM-4 | 引入后 (PPL) | 9.42 | 21.31 | 34.67 | 11.57 | 68.12 |
| 商业大模型 | GLM-4-plus | 引入前 | 7.79 | 15.45 | 33.15 | 10.48 | 61.26 |
| 商业大模型 | GLM-4-plus | 引入后 (PPL) | 9.04 | 18.47 | 36.22 | 11.96 | 67.31 |
| 商业大模型 | GPT-3.5-turbo | 引入前 | 8.73 | 20.08 | 29.48 | 9.69 | 65.19 |
| 商业大模型 | GPT-3.5-turbo | 引入后 (PPL) | 9.39 | 22.84 | 32.41 | 10.49 | 68.89 |
| 商业大模型 | GPT-4 | 引入前 | 7.76 | 15.49 | 28.62 | 9.38 | 62.75 |
| 商业大模型 | GPT-4 | 引入后 (PPL) | 10.88 | 22.69 | 39.03 | 14.30 | 70.50 |
| 微调轻量级 | LLaMA-3-8B | 全参数/LoRA微调 | 9.56 | 23.52 | 38.44 | 14.12 | 65.77 |
| 微调轻量级 | GLM-4-9B | 全参数/LoRA微调 | 8.79 | 19.72 | 36.40 | 12.02 | 64.33 |
| 微调轻量级 | Qwen-2-7B | 全参数/LoRA微调 | 8.03 | 19.78 | 36.64 | 12.18 | 64.30 |
| 微调轻量级 | LLaVA-1.5-7B | 全参数/LoRA微调 | 7.45 | 16.61 | 33.26 | 13.59 | 62.28 |
消融实验¶
以 GPT-4 作为下游底座模型,对 PPL 的核心组成模块:自信息提取(Self-informed Personalization, SP)、同伴信息提取(Peer-informed Personalization, PP)以及强化学习提示精炼(Prompt Refinement, PR)进行系统性消融。
| 配置编号 | 自信息 (SP) | 同伴信息 (PP) | 提示精炼 (PR) | BLEU-4 | ROUGE-L | ROUGE-1 | ROUGE-2 | BERTScore F1 |
|---|---|---|---|---|---|---|---|---|
| 1 | ✗ | ✓ | ✓ | 8.42 | 18.39 | 34.01 | 10.85 | 62.99 |
| 2 | ✓ | ✗ | ✓ | 9.29 | 21.38 | 34.54 | 11.51 | 67.24 |
| 3 | ✓ | ✓ | ✗ | 7.91 | 17.68 | 33.07 | 10.39 | 64.83 |
| 完整模型 | ✓ | ✓ | ✓ | 10.88 | 22.69 | 39.03 | 14.30 | 70.50 |
在 25 位专业医学评审员(含 7 名执业妇产科医生、3 名博士生与 15 名医学硕士)进行的盲审评估中,随机抽取 100 例样本对比,PPL 获得 86.12% 的总投票得票率并赢得 97 场胜局(Wins),基线 GLM-4 仅胜 1 场(得票率 5.56%),GPT-3.5-turbo 仅胜 2 场(得票率 8.32%)。
关键发现¶
- 提示学习赋能商业黑盒模型全面超越微调模型:PPL 作用于 GPT-4 后 BERTScore F1 达到 70.50,全面优于直接在医疗语料上微调的 LLaMA-3-8B(65.77)。尽管微调轻量级模型在 ROUGE-L 上凭借死记硬背医生常用语习惯略微领先(23.52 vs 22.69),但在语义匹配度与临床合理性上,结合了强基座推理能力与个性化提示的 PPL 优势巨大。
- 强化学习提示精炼模块贡献最大:消融去 PR 模块(仅保留粗粒度拼接提示)后,BLEU-4 从 10.88 骤降至 7.91,BERTScore F1 从 70.50 跌至 64.83,这证实了原始指标和相似病例如果未经动态筛选压缩,其冗余文本会严重稀释商业大模型的注意力。
- 超参数具备清晰的收益拐点:检索近邻数 \(k\) 与删词步长 \(n\) 均呈先升后降的倒 U 型分布。当 \(k > 10\) 时,引入的相关度较低病历会带来噪声干扰;当 \(n > 10\) 时,过度删除词汇导致提示语法破碎,损害下游 LLM 的上下文解析能力。
亮点与洞察¶
- 无侵入黑盒赋能范式:通过将个性化控制解耦到外部硬提示优化器,避开了医疗大模型训练中千亿参数微调的算力负担与专有商用 API 不开放权重的商业阻碍。
- 多模态时序状态表征的精妙迁移:发现针对图文指令微调的 LLaVA-1.5-7B 在纯文本纵向体检序列上作为状态分类器表现优异(Macro-F1 达 74.13),大幅超越传统时序模型(Transformer 的 24.58 与 LSTM 的 5.51),验证了前沿大模型对非齐整稀疏临床时序的强大模式表征力。
- 迁移推广空间广阔:这种由“自身预测器 + 相似群体检索 + 离散策略删词精炼”组成的架构,可直接推广到个性化金融理财建议、教育自适应辅导和复杂法律咨询等同样依赖私域历史记录与闭源商用强底座的领域。
局限与展望¶
- 实验评估集中于单中心妇产科场景:由于公开医疗基准极其缺乏同时涵盖多轮纵向生理检验指标与医生真实个性化医嘱的配对数据,本研究主要在武汉及周边地区三家医院的妇产科数据集上验证,泛化至肿瘤、心血管等慢性病综合场景的普适性仍需跨中心多病种数据检验。
- 离散编辑动作空间相对单一:当前策略网络仅采用单一的单词删除(Deletion)操作以约束搜索空间稳定性,无法执行词语插入、短语改写或医学同义词替换,有时可能生成在人类阅读视角下稍显不连贯的碎片化提示。
相关工作与启发¶
- vs 单病种微调大模型(如 Yang et al., 2023):以往工作为糖尿病或癌症专门在小模型上做指令微调,仅依靠患者输入的数值差异做浅层适应,多病种泛化差且受限于小模型参数容量。PPL 保持通用底座不动,通过硬提示学习将医疗先验内化为提示词调控。
- vs 任务级离散提示优化(如 RLPrompt, Deng et al., 2022; GrIPS, Prasad et al., 2023):传统离散提示学习旨在为整项任务(如情感分类)搜索一套通用的任务静态前缀。PPL 提出了实例级(Instance-level)的个性化搜索,将患者生理特征动态注入到策略转移分布中,实现了“千人千面”的定制化提示。
评分¶
- 新颖性: ⭐⭐⭐⭐ [首次将离散硬提示强化学习与临床同质病历协同过滤融合用于医疗个性化生成]
- 实验充分度: ⭐⭐⭐⭐⭐ [涵盖真实临床 3.8 万条纵向体检、多款商业大模型对比及 25 位医学专业人员双盲评审]
- 写作质量: ⭐⭐⭐⭐⭐ [方法推导形式严谨,动机与系统框架图结构清晰明了]
- 价值: ⭐⭐⭐⭐⭐ [为受限于数据隐私与 API 权限的闭源大模型在严谨医疗场景落地提供了切实可行的解决方案]