Teaching LLMs to Recommend and Defer in Underrepresented Epilepsy Care¶

会议: NeurIPS 2026
arXiv: 2606.31036
代码: https://github.com/roychowdhuryresearch/Manana
领域: 其他
关键词: 临床决策支持, 抗癫痫药物方案, 提示词学习, 贝叶斯模型平均, 选择性预测与转诊

一句话总结¶

针对低资源地区儿科癫痫诊疗专业资源匮乏且易受西方处方先验偏差影响的问题，提出无参数更新的提示词学习框架 Manana 与贝叶斯提示词平均（BPA），通过多智能体错误归纳与轨迹集成实现精准药物推荐与不确定性转诊。

研究背景与动机¶

全球有超过 5000 万人受到癫痫困扰，其中近 80% 生活在低收入和中等收入国家（LMIC）。然而在这些医疗资源匮乏的地区，儿科神经专科医生极其匮乏，绝大多数患儿的初级诊疗和长期随访不得不落在基层全科医生肩上。基层医生在纵向管理抗癫痫药物（ASM）时面临着极其复杂的现实约束：缺乏脑电图（EEG）和神经影像支持、基层药品常态化短缺或断货、患者依从性不稳定以及多种合并症交织。临床大语言模型（LLM）理论上能够提供廉价且可普及的辅助诊疗，但现有的医疗 AI 基准大多建立在欧美高资源医院结构化电子病历（如 MIMIC）上，完全脱离了资源受限诊所的实际处方习惯。

直接将通用大模型应用于乌干达儿科癫痫门诊记录时，虽然能取得一定的处方匹配率，但经专科神经医生深入审计后发现其错误呈现出高度系统性的偏差：通用模型内嵌了强烈的西方高资源处方先验（如优先推荐昂贵或需复杂冷链的新药），而完全忽视了当地国家处方集供应现状、儿童按体重递增的阶梯式联合用药以及热带感染（如疟疾发热）引发惊厥时的特殊处理逻辑。更关键的是，高风险医疗决策要求模型必须具备自知之明，在缺乏诊断依据或处方边界模糊时主动识别不确定性，将患者转诊给宝贵的专科专家，而非盲目自信地给出行医建议。

解决这一矛盾的核心难点在于：如何在无法承受参数微调算力开销、缺乏专家逐条标注错误轨迹的前提下，仅凭极少量的本地非结构化病历记录矫正模型的处方偏见，并将学习过程中的认知动态转化为可靠的不确定性度量。核心 idea：构建基于多智能体反思的非参数化提示词学习框架 Manana，通过预测-审计-架构师循环将诊疗错误凝练为抗过拟合的可解释记忆，并利用学习轨迹上的提示词状态执行贝叶斯提示词平均（BPA），在实现处方对齐的同时建立置信度感知的专家转诊机制。

方法详解¶

整体框架¶

Manana 旨在无需修改底层大模型权重的前提下，仅利用极小规模（例如 50 例患者）的本地纵向非结构化门诊病历与医生真实处方对，使模型自动掌握本地用药规范与随访决策逻辑。整个系统分为两个核心阶段：自适应学习阶段（Adaptation）与贝叶斯推断阶段（Inference）。在学习阶段，系统采用由三个大模型角色协同组成的闭环：预测器（Predictor）根据患者当前病史提出候选处方；审计员（Inspector）对比真实处方进行结构化归因并提出候选经验；架构师（Architect）维护防过拟合的共享记忆（在单智能体版本中维护全局规则列表，在多智能体版本中动态调度专科提取器群体）。在推断阶段，学习过程中沉淀的提示词状态序列构成天然的模型集成，通过贝叶斯提示词平均（BPA）为候选方案分配后验概率质量，实现高置信度直接推荐与低置信度转诊专科的协同。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["纵向病历与历史用药输入<br/>多轮门诊非结构化文本"] --> B["Predictor 提出候选处方<br/>输出 Top-3 候选药物组合"]
    B --> C["Inspector 处方对比与归因<br/>对比真实处方生成候选经验"]
    C --> D["证据缓冲区 Append-Only<br/>保留经验来源与跨病例支持"]
    D --> E["Architect 显式记忆更新<br/>法定人数验证: 规则或专家体"]
    E -->|形成学习轨迹状态序列| F["贝叶斯提示词平均 BPA<br/>验证集边际似然赋权集成"]
    F --> G{"预测后验置信度判断"}
    G -->|高置信度: 大于阈值| H["直接输出推荐处方方案"]
    G -->|低置信度: 小于阈值| I["主动转诊神经专科复核"]

关键设计¶

1. Predictor–Inspector–Architect 多智能体提示词学习循环：解耦错误归因与记忆沉淀

针对直接提示词优化（如 TextGrad 或反射型 Agent）容易将偶发罕见病例过度泛化为脆弱全局规则的缺陷，Manana 将处方反思与记忆更新显式解耦为三个专业分工的角色。在每个批次 \(\mathcal{B}_t\) 中，Predictor 在当前记忆状态 \(m_{t-1}\) 的指导下，仅依赖处方开具前的累积病史 \(x_i\)，输出 3 个候选用药方案 \(\hat{y}_{i,1:3}\)。随后，Inspector 获得真实医生处方监督 \(y_i\)，生成包含匹配状态、根因剖析和遗漏临床信号的结构化诊断报告 \(\rho_i\)，并提炼出一条扎根于当前病例的候选经验 \(c_i\)。该经验并不直接写入记忆，而是存入只增证据缓冲区 \(\mathcal{C}\)，保留其病例溯源索引。最后，Architect 审阅当前批次的诊断报告 \(\mathcal{R}_t\) 与全局证据缓冲区 \(\mathcal{C}_t\)，执行带约束的记忆跃迁：

\[m_t = \mathrm{Arch}(m_{t-1}, \mathcal{C}_t, \mathcal{R}_t)\]

该设计的精髓在于防止模型“一错即改、改即全局”，迫使记忆更新建立在多病例可复现的临床共性之上。

2. 单/多智能体双重记忆结构与法定人数准则：兼顾紧凑规则与多视角特征解耦

为了适应不同算力场景与可解释性需求，Manana 设计了两种差异化的记忆架构。在 Manana-Single 中，记忆表现为有序的全局处方修正规则列表 \(m_t = (r_1, \dots, r_{L_t})\)。Architect 在每个学习轮次最多追加一条新规则或保持不变（\(|m_t| - |m_{t-1}| \le 1\)），且新规则必须满足法定人数准则（Quorum Rule）——即在证据缓冲区中必须至少获得来自 \(N=2\) 个独立患者病例的候选经验支持，有效剔除孤立特例噪声。在 Manana-Multi 中，记忆演进为一个动态活跃的专科智能体集合 \(m_t = \{s_{\ell,t} : \ell \in \mathcal{A}_t\}\)。专科智能体并非独立决策者，而是纯粹的临床信号提取器（如癫痫发作半学分类、抗癫痫药依从性与血药浓度合理性、当地药物供应状态、体重增长与儿科剂量递增等）。Predictor 汇总所有活跃专科的观察结果后再行处方推断。Architect 在每轮通过 spawn、edit、prune 三类动作维护专科群体，并硬性设置最大容量 \(\mathcal{A}_{\max} = 5\)，强制剪枝冗余或越权干涉处方生成的专科，保持记忆的高度精炼与透明可查。

3. 贝叶斯提示词平均（BPA）：基于学习轨迹后验加权的不确定性量化与转诊机制

传统提示词工程通常仅挑选验证集指标最高的单一终态提示词，丢弃了学习演化过程中蕴含的丰富认知不确定性。BPA 将优化轨迹 \(m_1, \dots, m_T\) 视为有限候选假设空间，从验证集 \(\mathcal{D}_{\mathrm{val}}\) 估计每个状态的后验支持度。保留验证边际似然最高的 Top-\(K\) 个状态（实验取 \(K=5\)），利用温度参数 \(\tau\) 归一化计算后验权重 \(w_k \propto \exp\{\ell_k / \tau\}\)。为了将大模型无校准的排位输出映射为真实概率，BPA 从训练子集中拟合经验贝叶斯位置先验 \(\pi = (\pi_1, \pi_2, \pi_3) = (0.85, 0.11, 0.04)\)，并在共轭 Beta 先验 \(\mathrm{Beta}(1,1)\) 下解析积分出状态 \(m_k\) 在验证集上的边际似然：

\[p(\mathcal{D}_{\mathrm{val}} \mid m_k) = \pi_1^{c_{k,1}} \pi_{>1}^{c_{k,>1}} B(h_k + 1, u_k + 1)\]

其中 \(c_{k,1}\) 为第 1 候选命中数，\(c_{k,>1}\) 为第 2/3 候选命中数，\(u_k\) 为未命中数，\(h_k = c_{k,1} + c_{k,>1}\)。最终方案 \(y\) 的后验预测概率为：

\[p_{\mathrm{BPA}}(y \mid x) = \sum_{k=1}^K w_k \sum_{j=1}^3 \pi_j \mathbf{1}[\hat{y}_{k,j} = y]\]

该概率分布直接提供了选择性预测（Selective Prediction）的置信度度量：当后验质量低于安全阈值时，系统主动触发转诊信号，将疑难复杂病例转交由资深神经专科医生复查，从而在基层资源约束下筑牢安全防线。

实验关键数据¶

主实验¶

实验基于乌干达两个独立儿科癫痫专科中心队列展开（队列 A 含 332 例患者/1040 次就诊，队列 B 含 367 例患者/1509 次就诊）。模型在队列 A 的 50 例患者（150 次就诊）上进行小样本非参数自适应，并在队列 A 留出集及跨中心的队列 B 上进行前向评估。评价指标为主药方案 Top-3 精确匹配率（EM@3, %）。

队列	方法类别	模型方法	单药方案 V1	单药方案 V2	单药方案 V3	多药方案 V1	多药方案 V2	多药方案 V3
Cohort A	专家系统	EpiPick	52.9	49.1	51.3	—	—	—
	传统机器学习	Naive Bayes	71.3 ± 2.1	67.2 ± 3.7	74.9 ± 2.9	35.8 ± 1.1	40.0 ± 0.9	37.7 ± 2.3
	传统机器学习	XGBoost	70.2 ± 1.0	64.1 ± 1.1	71.1 ± 0.3	33.6 ± 2.7	40.3 ± 1.6	43.1 ± 2.0
	直接提示词	Base Prompt (0-learning)	44.4 ± 1.8	56.4 ± 1.3	59.3 ± 0.3	10.1 ± 1.9	29.3 ± 3.3	30.2 ± 1.3
	直接提示词	Single-agent (医生编写)	78.4 ± 1.1	84.5 ± 1.9	90.3 ± 2.4	14.5 ± 1.2	40.2 ± 0.7	42.3 ± 2.5
	提示词优化	DSPy (GEPA)	87.1 ± 1.8	91.3 ± 4.1	95.0 ± 3.2	24.5 ± 0.9	58.7 ± 2.9	70.2 ± 3.4
	提示词优化	ExpeL	67.2 ± 2.4	81.0 ± 3.9	82.7 ± 3.7	18.9 ± 1.1	28.3 ± 1.4	42.9 ± 2.5
	提示词优化	TextGrad	87.4 ± 2.3	88.1 ± 5.2	87.3 ± 4.4	21.9 ± 4.1	50.7 ± 4.3	57.6 ± 3.0
	本文方法	Manana-Single	87.0 ± 0.4	92.1 ± 2.5	93.2 ± 2.1	25.3 ± 1.0	57.0 ± 5.6	64.1 ± 3.9
	本文方法	Manana-Multi	89.7 ± 3.2	95.3 ± 2.8	97.0 ± 2.1	30.8 ± 1.9	61.7 ± 8.4	72.6 ± 11.1
Cohort B	专家系统	EpiPick	58.0	61.4	58.1	—	—	—
	传统机器学习	Naive Bayes	37.7 ± 2.6	40.9 ± 3.2	38.2 ± 2.5	4.4 ± 1.2	2.5 ± 0.5	4.0 ± 1.3
	传统机器学习	XGBoost	41.5 ± 2.6	45.5 ± 2.2	45.3 ± 2.3	10.4 ± 1.4	7.1 ± 0.6	4.6 ± 0.3
	直接提示词	Base Prompt (0-learning)	53.1 ± 0.5	57.6 ± 0.7	58.4 ± 1.1	24.8 ± 3.6	29.1 ± 1.6	30.4 ± 1.6
	直接提示词	Single-agent (医生编写)	76.7 ± 0.6	82.6 ± 2.3	83.8 ± 2.4	39.4 ± 2.4	49.4 ± 1.4	54.0 ± 1.1
	提示词优化	DSPy (GEPA)	81.8 ± 4.2	93.3 ± 2.1	94.8 ± 1.1	44.8 ± 0.8	59.6 ± 3.7	62.7 ± 2.9
	提示词优化	ExpeL	83.1 ± 3.8	88.5 ± 4.8	86.5 ± 4.5	32.0 ± 2.6	56.2 ± 3.3	64.3 ± 4.6
	提示词优化	TextGrad	74.0 ± 9.9	87.7 ± 4.7	87.3 ± 4.2	39.0 ± 3.3	52.4 ± 8.6	57.3 ± 8.5
	本文方法	Manana-Single	82.2 ± 5.0	92.8 ± 2.7	92.2 ± 2.2	48.2 ± 1.7	65.2 ± 3.8	66.4 ± 4.7
	本文方法	Manana-Multi	87.3 ± 2.9	95.1 ± 1.6	93.2 ± 1.9	40.2 ± 4.6	61.1 ± 5.8	69.8 ± 7.5

消融实验¶

组件消融实验考察证据缓冲区（Buffer）、审计员（Inspector）、架构师（Architect）、法定人数门槛（Quorum）以及上下文示例对总体 EM@3 (%) 的影响。

变体架构	消融配置	队列 A V1	队列 A V2	队列 A V3	队列 B V1	队列 B V2	队列 B V3	说明
Single	Full model	73.8	83.8	84.5	72.1	83.0	82.4	完整单智能体记忆框架
	in-context	69.4	70.0	57.9	61.1	82.4	76.5	仅堆叠原始训练样本，缺乏提炼记忆
	w/o buffer	71.8	77.6	82.0	69.8	80.7	76.0	移除跨轮次缓冲区，仅用当批次反馈
	w/o inspector	71.8	80.4	81.2	65.5	80.4	80.5	移除审计员，直接将原始三元组喂给架构师
	w/o architect	72.6	81.6	83.2	70.6	80.1	72.4	移除架构师，所有候选经验直接盲目追加
	w/o quorum	71.8	79.8	82.7	61.2	72.7	78.8	移除至少2个独立病例支持的门槛限制
Multi	Full model	77.1	87.3	89.6	73.4	83.0	84.3	完整多智能体记忆框架
	w/o buffer	70.6	77.6	80.9	71.1	81.2	80.8	缺乏多轮经验累积，专科群体演化滞后
	w/o inspector	66.1	76.9	84.0	72.8	81.2	80.6	缺乏细粒度根因诊断，专科职责定位模糊
	w/o quorum	67.7	82.5	80.6	69.4	76.8	77.4	允许孤立病例触发增删专科，导致泛化骤降

此外，选择性预测与转诊实验（Beta-Binomial BPA）展示了置信度感知转诊机制的实用价值：

保留置信度阈值 / 子集	队列 A Top-1 精度	队列 A 保留覆盖率	队列 B Top-1 精度	队列 B 保留覆盖率
置信度 \(\ge 0.95\)	97%	14%	99%	18%
置信度 \(\ge 0.90\)	94%	33%	96%	40%
置信度 \(\ge 0.85\)	86%	56%	92%	56%
前 25% 最高置信度病例	96%	25%	99%	25%
前 50% 最高置信度病例	90%	50%	95%	50%
全量病例（不转诊）	70%	100%	75%	100%

关键发现¶

法定人数准则（Quorum Rule）是抵御过拟合的基石：在单智能体与多智能体中，去掉 \(N=2\) 的独立病例支持门槛后，模型在队列 B（分布外迁移）上的首诊匹配率分别剧烈下跌 10.9% 和 4.0%，证实了个别偶发特殊病例在没有法定人数过滤时极易演变为具有破坏性的通用误导规则。
动态修正能力优于简单惯性复制：在发生处方实质性变更的复诊病例（Change-only V2/V3）上，Manana-Multi 在队列 B 上取得了 55.6% 的高匹配率，显著优于 TextGrad（41.7%）与单智能体基线（47.3%），证明其真正学到了何时联合增药、何时按体重调换药物的演化逻辑，而非单纯记忆“沿用上一轮处方”。
BPA 实现了临床极具价值的选择性转诊：在不增加额外推理成本的前提下，利用学习轨迹计算的后验置信度与真实处方准确率高度校准。在队列 B 上，系统在保留最高置信度的前 50% 病例时能够达到 95% 的极高精确率，前 25% 病例精度更是达到 99%，将剩余半数不确定病例稳妥转诊给专家，显著优化了稀缺医疗资源的配置。

亮点与洞察¶

多智能体角色解耦与文本梯度单元的范式革新：不同于 TextGrad 等将整个 Prompt 视作黑盒变量通过文本反向传播频繁整段重写的做法，Manana 显式区分了“病例级错误归因（Inspector）”与“群体级规则裁决（Architect）”，将更新单元限制在具备跨患者共性支持的紧凑规则或观察型专科体，保障了临床自适应的稳健性。
将学习演化轨迹变废为宝作为不确定性源泉：常规优化仅保留终态提示词，丢弃了探索过程中的历史状态；BPA 敏锐地意识到自适应轨迹中不同检查点反映了不同程度的证据积累，将其自然构造为贝叶斯模型平均（BMA）的假设分布，以极简形式导出了高保真的后验置信度。
专科智能体作为“信号提取器”而非“处方裁定者”：Manana-Multi 严格限制专科智能体只能输出客观临床观察，最终处方决策权收敛于 Predictor，避免了多专科体直接投票时常见的“责任分散”和过度激进用药倾向，显著增强了医生复核时的认知可解释性。

局限与展望¶

缺乏前瞻性临床转诊闭环验证：当前的置信度阈值与转诊曲线属于回顾性验证，尚未在真实门诊交互工作流中建立“转诊-专科复核-反馈回传”的线上闭环测试。
处方匹配目标未直接等同于长期临床治愈：当前的监督信号严格绑定于开药医生的处方决策，虽然符合当地实践，但本地医生受制于药品断货或经济负担开出的方案未必是患儿神经学意义上的最优解；未来需结合患者长达数年的无发作率（Seizure Freedom）等客观预后进行强化对齐。
重度耐药性癫痫（DRE）多轮建模不足：儿科癫痫中约三成属于难治性耐药病例，需要经历复杂的多轮试验与特殊生酮/手术评估，现有前三轮就诊窗口仍难以完全刻画深层次的耐药切换轨迹。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出将提示词自适应轨迹重构为贝叶斯模型平均的先验分布，首次实现无参数更新的医疗 LLM 不确定性量化与转诊。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖乌干达两个独立真实中心队列、多轮就诊与单/多药细分、详尽消融及神经专科医生定性双盲审计，并完成 MIMIC-IV 跨域验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密，问题定义高度切中全球健康与医疗公平性痛点，方法公式推导与临床意义阐述融会贯通。
价值: ⭐⭐⭐⭐⭐ 为大模型在发展中国家低资源医疗场景的稳健落地与专家协同转诊树立了标杆范式。