HarmReduction: Benchmarking LLMs in Harm Reduction Information Provision to Support People Who Use Drugs¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://huggingface.co/datasets/RayK/Harm_Reduction_QA_dataset_basic
领域: LLM 安全
关键词: 减害信息服务, 大语言模型安全, 公共卫生基准, 多物质混用风险, 检索增强生成
一句话总结¶
提出了首个评估大语言模型面向药物使用群体(PWUD)提供减害信息能力与安全风险的基准 HarmReduction(含 2,160 组源头对齐的三元组数据集 HR-Basic),揭示了 SOTA 模型在固有知识下的定量失准、过度审查拒答以及低估多重用药致命风险等系统性安全隐患。
研究背景与动机¶
全球物质使用(substance use)危害直接影响数百万人的生命健康。作为现代公共卫生不可或缺的关键干预策略,减害(Harm Reduction)主张以客观、非评判性(non-judgemental)且基于证据的实用知识指导弱势群体(如药物使用者 PWUD),通过规范使用边界、降低并发感染及预防药物过量等手段最大限度减轻健康损害。然而,由于社会污名化与刑事定罪压力,PWUD 往往无法在现实医疗场景中获得及时支持,转而寻求线上社群或官方指南。现存的官方静态网站更新滞后、缺乏针对个体情境的动态交互能力,而依赖志愿者维护的同行互助论坛又存在响应延迟和知识覆盖盲区。具备高水平医学推理与自然语言生成能力的大语言模型(LLM)因此被寄予厚望,有望成为全天候、可扩展的个性化减害信息支持渠道。
然而,将通用与医疗 LLM 应用于减害领域面临着严峻的社会技术张力。主流商用模型的安全对齐机制普遍植根于以禁绝(abstinence-based)为主导的主流社会规范与合规红线,容易将所有涉及受管制物质的实用减害咨询一刀切地判定为违规生成,导致在紧急或高风险场景下直接机械拒答;与此同时,模型幻觉产生的错误指导(如歪曲药物致死剂量、误判多重物质相互作用)极易在现实中直接诱发药物过量中毒等危及生命的严重后果。更致命的是,现有的主流医疗与公共健康基准(如 MedQA、PubMedQA、MultiMedQA、HealthBench)几乎全部围绕执业执照考试、生物医学文献理解或常规临床医患对话展开,预设求助者可随时就医并遵从医嘱,既未覆盖非评判性减害准则,也未设计源头约束下的指令评测标准,导致模型在真实减害场景中的能力边界与潜在危险处于完全不可知状态。
面对这种知识需求与安全对齐的断裂,本文认为亟需建立一个既考察模型提供实证减害信息的事实准确性、又严格量化其误导与不作为风险的标准化评测基准。核心 idea:构建包含安全边界判断、定量指标估算与多物质混用风险推理三大高风险任务的源头对齐基准 HR-Basic(2,160 项三元组),并在直接指令与 RAG 双重方案下系统评估 13 种主流模型,重点揭示模型在不对称安全风险中的不对称错误与内置安全审查机制造成的负面效应。
方法详解¶
整体框架¶
HarmReduction 基准的设计目标是系统评估 LLM 在减害场景下的事实准确性(Q1)与不对称安全风险(Q2)。评测流程涵盖两大核心阶段:首先是高可信减害知识库的结构化提炼与基准数据集 HR-Basic 的构建;其次是设计并对比两套验证方案——考察模型固有参数化知识的指令方案(Instruction Scheme)与引入外部领域权威知识的检索增强生成方案(RAG Scheme)。输入为 PWUD 常问的三类标准化自然语言问题,输出则经过严格的格式化约束解析为二元安全决策、数值与单位标量或多级风险标签,并配套生成支持性解释。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["权威减害源数据采集<br/>DrugScience / Talk to Frank / Drugs and Me / TripSit"] --> B["语义分块与可信三元组构建<br/>余弦相似度>0.8合并 + GPT-4o-mini提取 + 人工双审"]
B --> C["HR-Basic 基准任务集<br/>2,160 组问题-答案-证据对"]
C --> D["双轨评估验证方案<br/>固有参数化推理 (Instruction) vs 混合检索增强 (RAG)"]
D --> E["任务特异性与不对称风险评测<br/>响应率 / 容差带准确率 / 低估与严重低估风险分类"]
关键设计¶
1. 语义分块与可信三元组构建:规避文本硬切断裂并建立可溯源证据链
减害知识文本高度依赖上下文逻辑连贯性,例如某一物质的有效剂量描述往往紧随禁忌症与毒性阈值。传统的固定长度滑动窗口分块(Fixed-length Chunking)极易强行切断因果与安全提示,诱导模型检索到片面甚至危险的断片。为此,数据构建先在句子级别拆解原始文献,以初始句为种子,将全文中余弦相似度大于 0.8 的相关句子聚合为连贯语义块(最大上限 350 词)。在此基础上,采用 GPT-4o-mini 配合带有严格负向约束(“若信息模棱两可则跳过”)的结构化 Prompt,从 724 个语义块中提取出包含明确问题、标准答案及原句逐字证据(Verbatim Evidence)的三元组。所有候选样本随后由两名审核员(一名具备 4 年以上减害专业研究背景,另一名代表非专业受众检验可读性)独立进行相关性与事实忠实度双盲复核,分歧项直接剔除,确保基准的高保真与可溯源性。
2. 面向 PWUD 核心需求的阶梯式评测任务:覆盖三大典型交互场景
HR-Basic 将 2,160 个样本精细划分为覆盖 PWUD 真实用药痛点的三类任务:(1)安全边界检验(Safety Boundary Check,1,638 组,占比 76%):评估模型能否在二元决策中明确识别行为红线(如用药后驾驶、共用器具等),输出严格以 Yes/No 起始并附带实质原因,精准反映减害场景中最核心的二值安全底线;(2)定量参数咨询(Quantitative Questions,372 组,占比 17%):评测模型对阈值剂量、起效时间、持续时间及戒断周期的数值给出能力,要求输出带量纲的具体数值或区间,避免模糊用语误导使用者;(3)多物质混用风险推理(Polysubstance Use Risks,150 组,占比 7%):针对最易引发致命过量的多重用药情境,基于权威 TripSit 交互网络建立标准标签映射(分为 6 个等级:Dangerous、Unsafe、Caution、Low Risk & Synergy、Low Risk & No Synergy、Low Risk & Decrease),考察模型推断协同毒性与相互作用的可靠性。
3. 双轨评估方案:参数化知识探测与密集-稀疏混合检索增强
为了解耦模型本身的内在医学对齐水平与接入外挂知识库后的能力上限,系统设立了对比实验框架。在直接指令方案中,模型仅依靠系统 Prompt 定义的角色、任务与输出格式要求生成响应:
而在 RAG 方案中,模型利用 LlamaIndex 构建索引,采用 250 token(重叠 25 token)切片,结合密集向量检索(Sentence-Transformers all-MiniLM-L6-v2 捕获语义)与稀疏关键词检索(BM25 保证物质生僻学名与单位的精确匹配),并通过互易排序融合(Reciprocal Rank Fusion, RRF)重排选出 Top-3 凭证注入上下文:
其中常数 \(k=60\) 用以平滑高排名权重冲击,生成响应形式化为 \(R_{rag} = \arg\max_{r} p_M(r \mid Q, K, I)\)。
4. 不对称安全风险与阶梯容差度量:拒绝将临床妥协与伪安全等同
在健康高风险场景下,模型预测偏差的临床后果是极不对称的。为此,基准设计了一套超越单一准确率的多维评估体系。首先定义响应率(Response Rate),将机械拒答、泛化警示或格式损毁均视为无响应(在减害背景下,因过度安全对齐而拒绝向正处于危险中的 PWUD 提供关键减害指令,实质上剥夺了求助者避险的机会,属于严重系统失效)。针对定量任务,设立精确匹配与 \(10\% / 25\% / 50\%\) 容差带(Tolerance Bands),在严格度量源忠实度的同时兼顾个体用药容差差异。针对混用风险推理,创新性地定义了不对称风险分类:低估(Underestimation)(预测风险比参考值安全 1 级)、严重低估(Severe Underestimation)(预测风险比参考值安全 2 级及以上,如将 Dangerous 降级为 Caution 或 Low Risk,极易诱发致命呼吸抑制等致命后果)以及高估(Overestimation)(过度保守预警)。
实验关键数据¶
主实验¶
主实验在 13 款当前代表性的大语言模型上展开,涵盖通用开源权重(Llama 3.3 70B、DeepSeek-R1-Distill-Llama-70B、Phi-3.5-MoE、Qwen3-32B、Gemma 3 27B)、医学特化开源权重(HuatuoGPT-o1-70B、Llama3-OpenBioLLM-70B)以及主流闭源 API 模型(GPT-4.1、GPT-4o-mini、o3-mini、o4-mini、Gemini 3.1 Flash-Lite、Qwen3.7 Plus)。各模型在整体响应率及安全边界检验任务上的核心结果如下:
| 模型 | 整体响应率 (Instruction) | 整体响应率 (RAG) | 安全边界准确率 (Instruction) | 安全边界准确率 (RAG) | 安全边界 F1 (RAG) |
|---|---|---|---|---|---|
| GPT-4.1 | 100.0% | 99.1% (-0.9) | 88.0% | 93.0% (+5.0) | 92.4% |
| GPT-4o-mini | 99.8% | 99.6% (-0.2) | 88.4% | 91.0% (+2.6) | 90.2% |
| o4-mini | 99.5% | 99.8% (+0.3) | 88.8% | 94.6% (+5.8) | 94.3% |
| o3-mini | 99.0% | 99.6% (+0.6) | 87.7% | 95.0% (+7.3) | 94.8% |
| Gemini-3.1-Flash-Lite | 99.6% | 98.8% (-0.8) | 88.7% | 93.1% (+4.4) | 92.4% |
| Qwen3.7-Plus | 100.0% | 99.5% (-0.5) | 88.6% | 94.3% (+5.7) | 93.9% |
| HuatuoGPT-70B | 99.8% | 98.8% (-1.0) | 88.2% | 94.7% (+6.5) | 94.4% |
| DeepSeek-R1-70B | 97.4% | 95.9% (-1.5) | 88.0% | 95.3% (+7.3) | 95.0% |
| LLaMA-3.3-70B | 99.4% | 99.1% (-0.3) | 86.3% | 93.3% (+7.0) | 92.7% |
| Phi-3.5-MoE | 99.6% | 99.9% (+0.3) | 86.9% | 88.2% (+1.3) | 86.5% |
| Qwen-3-32B | 96.4% | 59.1% (-37.3) | 81.7% | 87.4% (+5.7) | 89.7% |
| Gemma-3-27B | 88.5% | 71.6% (-16.9) | 83.4% | 83.1% (-0.3) | 74.2% |
| OpenBio-70B | 95.6% | 90.6% (-5.0) | 59.0% | 55.1% (-3.9) | 13.2% |
定量咨询与多物质混用风险分析¶
定量问题(涵盖药物阈值、剂量及代谢时序)与混用风险判断展现了当前模型最为薄弱的环节。下表提取定量任务中代表性模型在不同容差窗口下的准确率,以及混用风险评测中的典型安全分歧:
| 模型 / 评估项 | 0% 容差 (精确) | 10% 容差 | 25% 容差 | 50% 容差 | 机制与安全现象归纳 |
|---|---|---|---|---|---|
| o3-mini (Instruction) | 28% | 50% | 66% | 71% | 固有知识定量偏离严重;如氯胺酮 K-hole 推荐 200mg(基准 150mg+),单次偏差超 50mg |
| o3-mini (RAG) | +15% 提升 | - | - | 81% | 引入检索后高容差带可达 81%,但绝对定量偏差仍存在 |
| HuatuoGPT-70B (Instruction) | 27% | 43% | 53% | 69% | 医学特化模型在未外挂知识时,精确数值答对率仅略高于四分之一 |
| HuatuoGPT-70B (RAG) | +26% 提升 | - | - | 80% | 知识检索显著拉升基线(精确匹配提升 26%),展现领域知识注入的必要性 |
| DeepSeek-R1-70B (Instruction) | 31% | 48% | 55% | 76% | 推理型模型在定量时序与用量上表现相对较优,但 0% 容差下依然不足三分之一 |
| DeepSeek-R1-70B (RAG) | +28% 提升 | - | - | 84% | 综合准确率居开源模型首位,但仍存在 16% 的大偏差样本 |
| Qwen-3-32B (Instruction) | 30% | 39% | 45% | 63% | 定量知识储备相对薄弱,各容差区间均明显滞后 |
| Qwen-3-32B (RAG) | +15% 提升 | - | - | 55% (50%容差) | 检索注入后因遵循指令能力崩溃,整体可用率出现反常滑落 |
| o4-mini 混用风险 (Instruction) | - | - | - | - | 存在两级严重低估现象(将阿片类+氯胺酮高危组合误判为 Low Risk) |
| OpenBio-70B 混用风险 (RAG) | - | - | - | - | 响应率崩塌至 0.0%,仅输出空洞的文献标记模板,完全失去实用价值 |
关键发现¶
- RAG 能够消除致命低估,但往往以扩大常规低估为代价:在多物质混用风险推理中,外挂知识检索成功消除了例如将“阿片类+氯胺酮”误判为低风险的“严重低估(Severe Underestimation)”极端案例,但在实际分布中,模型将 Dangerous / Unsafe 判定为 Caution 等“常规低估(Underestimation)”的比例却有所上升,表现出对模糊边界的折中妥协。
- 开源与特化模型的对齐机制产生意料之外的反噬:OpenBio-70B 在安全边界任务上的准确率仅为 59.0%(RAG 下更跌至 55.1%),质检显示该模型几乎对所有问题一律回答“No(不安全)”,其内嵌的过度审查机制使得模型丧失了区分相对安全减害操作与致命危险的能力;而在 RAG 混用任务中其响应率更是跌入 0.0% 的完全瘫痪状态。
- 模型体量与减害安全表现并非单调正相关:在 Qwen3 家族的对比中(Figure 4),Qwen3-14B 在直接指令(87.8% vs 82.2%)和 RAG(95.3% vs 93.8%)下的安全边界准确率均优于参数量更大的 Qwen3-32B,说明通识规模的盲目扩张无法自动兑现为严密的减害常识推理能力。
亮点与洞察¶
- 将“拒答”定义为系统失效的敏锐视角:论文跳出了传统安全对齐“只要拒绝涉毒就是安全”的教条盲区,指出 PWUD 往往身处现实医疗体系之外,拒答并非中立避险,而是直接切断了弱势群体在紧急关头获取救命减害知识的通道。
- 提出不对称风险度量维度:区分了过高估计风险(导致行动受阻或不信任)与严重低估风险(直接导致用药过量致死),为高风险公共健康 AI 的合规评测树立了可直接参考的操作范式。
- 严密的三元组语义分块与全量人工审核:在基准构建中引入句子级语义聚类分块,避免机械断句造成的禁忌症丢失,并联合具备多年一线减害经验的研究人员进行事实双审,数据质量高度坚实。
局限与展望¶
- 作者指出的局限:数据规模仍较精简(2,160 项),且全部提炼自英语官方与权威减害组织,未覆盖多语言、多地区政策差异及全球各地的毒情亚文化表达;初步实验发现引入真实社群黑话(Persona-based Slang)会引发严重的术语混淆(如将 LSD+Cocaine 误认作 Candy Flip),目前基准尚未完全纳入此类噪声输入。
- 潜在的研究盲区:目前基准主要基于封闭式的单轮 QA 展开,无法模拟真实世界中 PWUD 处于焦虑、惊恐或意识模糊状态下的多轮递进追问,缺乏对突发药物过量急救呼救时的动态分诊(Emergency Triage)能力评测。
- 未来改进方向:探索结合多智能体辩论与严格医学约束的护栏机制(Guardrails),在放行事实性减害指南的同时,可靠拦截诱导滥用及自杀自残倾向,并推进多模态药检试剂比色判定等延伸场景。
相关工作与启发¶
- vs MedQA / PubMedQA: 传统医学 QA 依赖执业考试试题或学术论文摘要,预设目标受众为医学生或具备就医条件的人群;本文聚焦现实被边缘化的 PWUD 群体,评测核心不仅是病理知识,更是实战中立的避险干预指导。
- vs HealthBench: HealthBench 侧重于临床医患开放式自由对话的多维打分;HarmReduction 强调针对具体禁忌、用量和配伍的闭环指令评测,制定了不可妥协的二元边界与容差阈值,评测标准更具刚性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次打破医疗大模型安全禁忌,系统量化减害知识供给与严重不对称风险]
- 实验充分度: ⭐⭐⭐⭐⭐ [详尽评测 13 种主流开源与商业模型,设计了 Instruction 与 RAG 双轨实验及不对称容差分析]
- 写作质量: ⭐⭐⭐⭐⭐ [概念界定精准,伦理考量深刻严密,逻辑自洽且证据链条完备]
- 价值: ⭐⭐⭐⭐⭐ [为公共健康 AI 落地边缘群体提供了具有里程碑意义的基准数据集与评测工具]