Deceptive Grounding: Entity Attribution Failure in Clinical Retrieval-Augmented Generation¶
会议: NeurIPS 2026
arXiv: 2607.09349
OpenReview: https://openreview.net/forum?id=PL3EWYRq36
领域: 医疗 LLM
关键词: 临床检索增强生成、实体归因失效、欺骗性扎根、幻觉评测、AI安全
一句话总结¶
揭示临床检索增强生成（RAG）中真实文献被错配给查询实体的“欺骗性扎根（Deceptive Grounding）”失效现象，建立两阶段权限门控机制，并在13个模型和真实生产环境中验证了评测隐形性与实体归因验证防护。
研究背景与动机¶
临床决策支持系统正广泛引入检索增强生成（RAG）技术，以基于最新循证医学文献辅助医生回答疑难病症的治疗方案。当前主流评估流程深度依赖幻觉检测、忠实度（Faithfulness）评分以及引用来源校验，假设只要生成的医学陈述在检索文档中有据可查、事实无误且附带真实临床试验编号，系统输出就是可信的。
然而这一假设存在致命的安全盲区：现有忠实度指标仅校验命题级蕴含关系（即正文陈述能否被检索片段逻辑支持），并不检验该证据所指向的核心药物实体是否就是医生查询的目标实体。当临床文献检索系统在罕见病或新药场景中发生检索漂移、返回了同一疾病下其他相似药物的真实临床试验时，大模型会极其顺畅地将其他药物（如 garetosmab）的临床终点数据与真实试验编号（如 NCT03188666）原样转述，却在主语上直接嫁祸给被查询药物（如 rituximab）。这种现象能够完美通过全部主流自动化检查：没有编造任何数字，完全忠实于上下文，文献引用确凿存在，但临床结论却颠倒错配。
这种失效的核心矛盾在于：临床大语言模型在微调中学会了高度敏感的药理分类结构与病症关联，但在生成端缺乏严格的实体归因纪律；同时现行自动化评测框架默认将“文档可支撑”等价于“临床正确”。本文的核心 idea 是形式化定义实体归因失效的“欺骗性扎根（Deceptive Grounding, DG）”，揭示其背后的两阶段权限门控机制，并提出能够精准拦截该失效率达 98.7% 的实体归因验证（EAV）准则。
方法详解¶
整体框架¶
本文构建了系统化研究欺骗性扎根的完整评测与分析体系。整个研究管线包含三个核心支柱：首先是受控的二维因子基准测试（2D Factorial Benchmark），通过正交操纵查询药物 \(X\) 的检索完备度与干扰药物 \(Y\) 文档的证据补全度，系统测量 13 款主流通用及医学大模型的 DG 易感性；其次是微观机制解析，结合激活补丁（Activation Patching）、表征探测（Class Probing）以及互补信息消融，证明两阶段门控的因果流；最后是构建自动化实体归因验证（Entity-Attribution Verification, EAV）机制并在真实临床系统部署中开展前瞻性风险测定。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["临床查询 Q(X, C)<br/>药物 X 在疾病 C 中的疗效"] --> B["二维因子检索操纵<br/>Cx 轴(X 完备度) × Cy 轴(Y 内容度)"]
B --> C["两阶段权限门控分析<br/>阶段 1: 药理先验激活 | 阶段 2: 路径选择"]
C -->|存在补全信息 CIT| D["欺骗性扎根 DG (Tier 1)<br/>文献真实但实体错配"]
C -->|缺失补全信息 CIT| E["先验知识虚构 PKC (Tier 3)<br/>退化为纯文本胡诌"]
D --> F["实体归因验证 EAV<br/>逐句检验断言主语与证据实体一致性"]
F --> G["生产环境风险审计与定向防护"]关键设计¶
1. 二维因子检索基准设计：精确解耦检索完备度与证据诱导力
为了定量测定大模型在何种检索病态下会诱发实体归因失效，作者构建了涵盖自身免疫、血液、肿瘤、儿科与罕见病 5 大临床亚领域的 264 组 \((X, C, Y)\) 药物-疾病-候选干扰三元组，并设计了 \(3 \times 5\) 的二维正交因子检索矩阵。
横轴 \(C_x\) 控制查询药物 \(X\) 的检索完备度：分为 absent（无 \(X\) 专属文献）、partial（仅包含作用机制与背景，无试验临床终点）和 complete（完备包含试验名、NCT 编号与疗效数据）。纵轴 \(C_y\) 控制干扰药物 \(Y\) 文档的信息结构：从 null_control（无关疾病）、class_proximate（同药理分类但无终点）、context_adjacent（同疾病但不同机制），延伸至 prior_completing（高度契合模型先验的临床终点信息 CIT）以及 synthetic_Y（合成虚构药名但保留真实临床证据）。通过将补全信息目标（Completing Information Targets, CIT，包含试验名称、NCT 编号、患者组别与响应率）进行模块化控制，严密隔离模型是因为“缺少 \(X\) 的上下文”还是“受到了 \(Y\) 丰富证据的诱导”而走向归因错误。
2. 两阶段权限门控机制：揭示领域微调反常加剧失效的因果根源
跨模型实测展现出巨大的失效差异（峰值 DG 率跨越 8% 到 86.7%），作者提炼出两阶段权限门控理论并给出了因果证明：
- 阶段 1（门控开启）：当输入 prompt 中查询药物 \(X\) 与疾病 \(C\) 建立上下文关联时，大模型内部的药理学分类表征会被强力激活。对模型隐藏状态进行药理学分类探测（Class Probing）发现，在 99.4% 的探测层中，药物名称位置的表征对“药理类别”的聚类纯度显著压倒“疾病适应症”；在 L1-16B-A3B 模型第 13 层（48% 深度）进行针对性激活补丁（Activation Patching），将同类药表征注入残差流可使错配归因率显著提升 \(+13.7\) 个百分点（McNemar 检验 \(p < 0.001\)）。这解释了为何医学微调模型（如 OpenBioLLM-70B 达 86.7%）比通用模型更容易中招——领域微调强化了药理类别表征的聚集度，反而让模型在阶段 1 更轻易地把同类药物 \(Y\) 视同可互换证据。
- 阶段 2（路径分流）：当检索文档输入后，模型决定走哪条错误路径。如果检索到的干扰文档包含了高置信度的补全信息（CIT），模型即执行实体偷换，产出表面高度扎实、有依有据的欺骗性扎根（DG）；若将文档中的 CIT 全部剔除，DG 发生率直接从 67.0% 归零（\(0.0\%\)），但总错误率依然高达 98.1%，全数转入无依据的先验知识虚构（Prior Knowledge Confabulation, PKC）。这表明两阶段门控各自独立，阶段 2 的本质是“证据重定向”，依赖的是文档的语义信息密度而非识别 \(Y\) 的实体标签。
3. 实体归因验证机制：弥补 RAG 自动化安全评估的维度缺失
传统评估框架（RAGAS、FActScore、ARES）只能校验文档与生成句子的蕴含关系，面对“句子被文档蕴含，但主语与查询实体脱钩”的结构完全失效。作者提出了针对性的事后命题级校验协议 EAV：
针对生成文本中的每一条临床事实断言，算法执行三元组判决：首先定位其支撑的检索文档来源 \(d_i\)；其次从文档中抽取引导的核心主体药物 \(e(d_i)\)；最后严格判定 \(e(d_i) \stackrel{?}{=} e(Q)\)。若 \(e(d_i) \neq e(Q)\) 且该陈述在生成中被包装为关于查询实体 \(e(Q)\) 的结论，则直接标定为实体归因失效（EAF/DG）。该机制不依赖自定义参数训练，使用结构化提示由 Kimi-K2.5 作为评测裁判时展现出 97.0% 的高精确率与 98.7% 的 EAF 召回率，对干净控制组的假阳性率坚守 0.0%。
损失函数 / 训练策略¶
本论文为实证评测、机理探索与评估基准研究，无专门训练目标函数。所有被测模型推理均使用 vLLM 部署于 NVIDIA B200 GPU 集群（单卡运行被测模型，8 卡运行评测裁判模型），评测温度设为 \(T=0\) 以保证输出确定性。在基准刺激源标定时，采用基础临床模型 L1-16B-A3B 在 \(T=0.7\) 下对每个药-病对采样 \(k=8\) 次以引出模型先验中的 CIT 临床证据集（试验名称、NCT号等）。
实验关键数据¶
主实验¶
在受控二维因子基准（10-tool 架构，264 组三元组）下，基准模型 L1-16B-A3B 在不同检索完备度与干扰内容下的 DG 失效率如下表所示。只有当查询实体拥有完备检索（complete \(C_x\)）时，欺骗性扎根才会被彻底压制在 6.4% 以下；而在部分检索（partial）或缺失检索（absent）时，具有互补证据的文档会引发灾难性的高失效率。
| 干扰文档条件 (\(C_y\)) | \(C_x\) 缺失 (absent) | \(C_x\) 部分完备 (partial) | \(C_x\) 完全完备 (complete) |
|---|---|---|---|
| null_control (无关疾病) | 26.5% | 0.0% | 0.0% |
| class_proximate (同类无数据) | 49.2% | 1.1% | 0.4% |
| context_adjacent (同病异机制) | 32.6% | 3.4% | 1.1% |
| prior_completing (契合先验终点) | 67.0% | 37.1% | 3.0% |
| synthetic_Y (虚构药名同终点) | 73.1% | 43.9% | 6.4% |
在涵盖 13 款主流模型的横向峰值对抗测试（absent \(C_x \times\) synthetic_Y）与跨模型表现中，医学专用模型显著暴露出更高的脆弱性：
| 模型名称 | 训练类型 | 峰值 DG 发生率 | \(C_x\) 保护比率 (\(abs/comp\)) | 行为剖面分类 |
|---|---|---|---|---|
| OpenBioLLM-70B | Biomedical | 86.7% | \(29\times\) | P4 (身份融合) |
| L1-16B-A3B | Medical | 73.1% | \(11\times\) | P1 (先验主导) |
| Qwen2.5-14B | General | 67.0% | \(35\times\) | P1 (先验主导) |
| Qwen2.5-7B | General | 66.3% | \(44\times\) | P1 (先验主导) |
| Qwen2.5-72B | General | 58.3% | \(53\times\) | P1 (先验主导) |
| Qwen2.5-32B | General | 53.8% | \(49\times\) | P1 (先验主导) |
| Llama-3.1-70B | General | 40.9% | \(2.8\times\) | P3 (虚构占优突峰) |
| Med42-70B | Medical | 25.0% | \(3.9\times\) | P5 (合理化辩解) |
| Gemma4-27B-A4B | General | 18.9% | \(2.8\times\) | P6 (门控严密) |
| Qwen3.5-122B | General | 17.8% | \(2.9\times\) | P3 (虚构占优突峰) |
| Gemma4-31B | General | 13.6% | \(2.0\times\) | P6 (门控严密) |
| GPT-OSS-120B | General | 12.1% | \(1.1\times\) | P2 (上下文倒置) |
| GPT-OSS-20B | General | 8.0% | \(1.2\times\) | P2 (上下文倒置) |
消融实验¶
为了严格证明阶段 2 的驱动因素是“补全信息的临床语义实体”，而非“干扰药 \(Y\) 的字面实体名称”，作者执行了互补信息（CIT）剔除消融以及实体名称匿名化置换测试。
| 实验配置 | 欺骗性扎根 (DG/EAF) | 事实虚构率 (PKC) | 整体错误率 | 核心机制结论 |
|---|---|---|---|---|
| 完整 prior_completing (\(C_y\)) | 67.0% | 0.0% | 67.0% | 基准：文献证据充分诱导实体错配 |
| 移除互补临床证据 (w/o CIT) | 0.0% | 98.1% | 98.1% | CIT剔除导致DG完全归零，错误全数转向胡诌 |
| 置换为匿名代号 "XC-9941" | 56.8% (+29.9 pp) | 1.9% | 58.7% | 抹去真实药名反而消除了抑制作用，DG显著激增 |
| 实体显式锚定提示干预 (P1) | 5.7% (-30.7 pp) | 0.0% | 5.7% | 强提示可大幅压制参数先验型模型的阶段1门控 |
关键发现¶
- 领域微调的双刃剑效应：生物医药专门微调使模型对药理学层次关系理解更深，但因缺乏实体间严格隔离的训练目标，使得 OpenBioLLM-70B 的 DG 峰值达到 86.7%，比基线通用模型平均水平高出 20-30 个百分点。
- 真实药名的轻微抑制效应：在干扰文档中使用真实药物名称时，模型有时能感知到它不是查询药物；但若将干扰药名换成合成词或代号（如 XC-9941），模型的警惕性彻底瓦解，静默实体归因失效在 13 款模型中一致显著激增（Wilcoxon 检验 \(p < 0.001\)）。
- 真实生产环境的暗流涌动：在部署的真实临床决策支持系统（740 个预注册药-病对）中，欺骗性扎根总体发生率为 7.8%；而在检索索引最稀疏的“新获批药物”子集中，DG 发生率飙升至 13.6%。
亮点与洞察¶
- 重新定义了 RAG 安全盲区：指出了“既真实、又扎根、却完全错误”的第三类失效（Deceptive Grounding），直击现存忠实度度量标准（RAGAS 等）仅看命题逻辑蕴含而不看实体归属的系统性缺陷。
- 两阶段权限门控的机制解释力：巧妙地通过神经表征探测、因果激活补丁和 CIT 移除实验，把表面上复杂的模型错觉拆解为“先验药理知识打开大门”与“文档互补信息决定分流”两步，逻辑链条严丝合缝。
- 低成本且高精度的防御方案：提出的 EAV 准则无需对模型进行重训，以模块化即插即用的方式切入临床 RAG 评估流，实现 97.0% 精度与 98.7% 召回，彻底弥补现有安全屏障。
局限与展望¶
- 作者承认的局限：受控因子基准属于对抗性极端设计，其绝对失效率（最高 86.7%）反映的是系统易感性上限，与实际自然检索环境存在约 5.5 倍的差距；神经中介分析因样本规模（\(N=8\)）受限，未能在统计上将药理轮廓系数确立为唯一的因果中介。
- 潜在的研究边界：当前 EAV 依赖于高水平审判 LLM（Kimi-K2.5）对临床文本实体的细粒度解析，在极高吞吐的工业级实时流式问答中，每次请求逐句校验可能会引入可观的推理延迟与成本。
- 未来改进方向：探索在检索阶段施加硬性实体过滤约束（强制剔除缺少主查询实体的文献），以及在微调阶段引入跨实体负例对比训练，使大模型在权重层面具备内生的实体归因纪律。
相关工作与启发¶
- vs RAGAS / FActScore / ARES: 传统 RAG 评估主要解决“模型是否胡说（幻觉）”以及“论据是否在文档中（忠实度）”，面对借由他人文献说自己故事的欺骗性扎根完全失明；本文提出的 EAV 为自动化评测补齐了核心拼图。
- vs 知识冲突（Knowledge Conflicts）研究: 以往知识冲突工作聚焦于“模型内部记忆与检索内容相互矛盾时大模型信谁”，而欺骗性扎根发生于模型先验与外部文档高度契合、仅实体身份发生漂移的盲区中，拓展了记忆与检索交互的研究范畴。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性形式化并命名临床 RAG 中的欺骗性扎根现象，视角极具颠覆性。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 13 款主流模型、真实部署环境、神经探测与因果消融，论证极其扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，术语精准规范，论点清晰且极具临床现实意义。
- 价值: ⭐⭐⭐⭐⭐ 对医疗高危领域的 AI 安全落地具有直接且迫切的指导警示价值。