跳转至

ColdDDI: Evaluating Knowledge Utilization in Cold-Start Drug-Drug Interaction Prediction

会议: NeurIPS 2026
arXiv: 2610.05590
代码: https://github.com/0217ljh/ColdDDI-NeurIPS2026
领域: 计算生物
关键词: 冷启动DDI预测、生物医学知识图谱、知识利用率诊断、药代与药效学分层、大语言模型微调

一句话总结

本文提出基于 DrugBank 5.1.13 构建的冷启动药物相互作用诊断基准 ColdDDI,通过将冷启动设定(S0/S1/S2)与药理学机制(PK/PD)及知识中介实体可用性(Type A/B)正交解耦,揭示了完全冷启动失败的主因在于知识图谱中介实体的缺失而非单纯药物新颖性,并首次对 8 种传统模型与 13 种大模型进行了知识利用度而非单纯知识访问度的深度因果探测。

研究背景与动机

多药联合治疗(Polypharmacy)中潜在的药物相互作用(DDI)是临床严重不良反应、治疗失效与非预期住院的重要诱因。由于化学药物组合空间极其庞大,耗时耗力的临床湿实验无法穷举所有配对,计算模型因而成为不良相互作用筛查的核心工具。然而,针对全新上市化合物或罕见药物进行预测时,现有评估机制暴露出了严重的评估协议脱节问题:主流基准(如 TWOSIDES、DeepDDI、OGBL-DDI)长期依赖边级(pair-level)随机切分,使得测试集中的两端药物频繁在训练集中暴露历史互作先验,严重掩盖了真实场景下的泛化缺陷。

这一困境的核心矛盾在于:近期的冷启动基准(如 GMPNN-CS、DDI-Ben)虽然形式化了药物级的不相交划分(S0双方均见过、S1单侧冷启动、S2双侧全新冷启动),但所有评估依然停留在全局边预测分数的宏观对比上,掩盖了不同药理学机制下的异质性失败模式。缺乏相互作用历史时,模型必须依赖药物层级的分子结构、生物医学知识图谱(KG)与药理文本进行归纳推理。然而,宏观指标将“药理先验知识是否客观存在”与“模型预测是否真正依赖并利用了该证据”混为一谈——一个声称融合了知识图谱的多模态模型,可能仅是在记忆药物名称或过拟合拓扑捷径,而在关键中介通路被遮蔽或扰动时毫无反应。

本文的切入角度是打破将评估指标整合成单一标量数字的黑盒范式,在形式化冷启动划界之上植入具有药理学可解释性的机制细分层与因果扰动探针。核心 idea:将冷启动药物对严格按照药理学机制(PK 药代动力学 vs. PD 药效学)与图谱中介证据可用性(Type A 具显式共享中介 vs. Type B 无直接中介)进行正交分层,并结合跨通道遮蔽、实体替换敏感度与注意力干预,将冷启动评估从单纯的准确率排名转变为对模型“知识利用”能力的严谨因果诊断。

方法详解

整体框架

ColdDDI 的构建与诊断框架围绕数据清洗重构、机制与中介正交分层、多推理范式与微调设置,以及多粒度因果探测四个阶段展开。输入为 DrugBank 5.1.13 权威生物医学数据库,经过小分子筛选、有效 RDKit SMILES 验证、批准上市药物限定、互作模板正规化、低频类型与无机金属化合物过滤以及低度数节点剪枝七步严密管线,最终提取出 1,900 种批准小分子药物、565,731 条真实正样本边及 215 类交互模板。

在获得基准数据集后,ColdDDI 采用药物维度的严格不相交切分构造 \(S_0\)(全已知)、\(S_1\)(单侧冷启动)、\(S_2\)(双侧全冷启动)评估环境;随后根据交互文本模板进行 PK/PD 药理分类,并依托底层生物医学知识图谱(酶、转运蛋白、靶点)检索是否存在功能相符的共享桥梁实体,将样本正交映射至 PK-A、PK-B、PD-A、PD-B 四个亚型;最后,基准部署五类提示模板(P1 零样本至 P5 二跳机制少样本)与 LoRA 微调,并通过输入级掩码(R0–R7)、药物替换敏感度(KPS-F)、通道不对称性(KSAI)与内部注意力权重置零等多层次干预探测模型的知识归因流向。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["DrugBank 5.1.13<br/>17,430 个条目"] --> B["七步数据清洗过滤<br/>去除无机/金属/无SMILES/低频边"]
    B --> C["基础数据与三级切分<br/>1,900药物 / 56.5万边 (S0/S1/S2)"]
    C --> D["双轴机制分层体系<br/>PK/PD 机制 × Type A/B 桥梁中介"]
    D --> E["模型微调与多模态提示<br/>8种基准 + 13类LLM (P1-P5范式)"]
    E --> F["多层次因果敏感度诊断<br/>输入掩码 R0-R7 / KPS替换 / 注意力置零"]

关键设计

1. 双轴机制分层体系:解耦药理学路径与图谱证据可用性

针对传统评估粗暴混淆机制差异的问题,ColdDDI 提出了首个“药理机制 × 证据中介”的双轴标签矩阵。第一轴为药理学驱动分类:药代动力学(PK)关注药物在体内的吸收、分布、代谢与排泄(ADME)过程,改变血药浓度或暴露量;药效学(PD)则关乎药物在受体、靶点或下游生理通路上的协同/拮抗效应。系统对 215 种模板执行关键词自动化匹配,并在冲突时遵循药理学第一原理实行“初始诱因优先”的 PK 抢占仲裁(如吸收改变引起不良反应加剧判定为 PK)。

第二轴为知识图谱直接中介可用性(Type A vs. Type B):对于 PK 交互,检索两药在知识图谱中是否共享代谢酶或转运蛋白,且角色符合生物学因果作用对(如底物-抑制剂、底物-诱导剂);对于 PD 交互,检索是否共享直接药理靶点并具备相容作用模式(如拮抗剂-拮抗剂、激动剂-激动剂)。两药拥有上述兼容中介链的记为 Type A,反之缺乏直接单跳共享实体的记为 Type B。该设计划分出四大子区间:PK-A(29.6%)、PK-B(22.6%)、PD-A(3.8%)与 PD-B(43.9%)。双盲药理学专家审计验证表明,自动化 PK/PD 标注一致性达 \(\kappa=0.842\),Type A/B 标注符合率高达 \(93.8\%\)。

2. 知识利用敏感度指标:量化真实依赖度而非形式输入

针对传统消融实验仅在宏观数据集上剔除整通道、无法明确具体实体依赖的问题,ColdDDI 设计了一套微观因果探测指标体系。药物替换敏感度(Knowledge Prediction Sensitivity under Drug Replacement, KPS-F)首先构建双全冷对换测试集合 \(\mathcal{C}_b\):对于任意 \(S_2\) 真实相互作用正样本对 \((u, v)\),在冷启动池 \(G_2\) 中选取使真实标签翻转的候选替代冷药物 \(u'\),度量模型在保持其余条件一致时因药物更换引起的输出概率位移:

\[\mathrm{KPS\text{-}F}_m(b) = \frac{1}{|\mathcal{C}_b|} \sum_{(u,v,u') \in \mathcal{C}_b} \bigl|P_m(u,v) - P_m(u',v)\bigr|\]

为了进一步探测多通道模型内部的信息补偿机制,ColdDDI 定义了通道交互不对称性指标(Knowledge Sensitivity Asymmetry Index, KSAI):

\[\mathrm{KSAI}_m(b) = \mathrm{KPS\text{-}KG}_m^{\text{name-masked}}(b) - \mathrm{KPS\text{-}KG}_m^{\text{name-present}}(b)\]

即通过交叉对比在名称可见(\(R_0\) vs \(R_2\))与名称被 [DRUG_A/B] 掩蔽(\(R_1\) vs \(R_3\))两种状态下移除图谱实体带来的预测偏离幅度。当 \(\mathrm{KSAI} > 0\) 时,表明药物名称通道具有显著的代偿效应;而在 Type A 样本中较小的 KSAI 则揭示了显式图谱中介的主导性作用。

3. 多范式上下文推理与因果注意力干预

为探究大语言模型在不同知识表达形态下的归纳泛化,ColdDDI 设计了涵盖信息密度与形式维度的五种提示模板(P1 纯名称零样本、P2 基于 SMILES 相似性的少样本、P3 结构化一跳三元组、P4 语义线性化的一跳知识文本序列、P5 沿图谱二跳共享蛋白质检索的机理少样本),严格剔除任何互作结果描述与泄漏线索。

更为关键的是,为了穿透黑盒验证模型内部的真实回路,研究在 Transformer 注意力层引入可控因果阻断机制:在保留模型权重的情况下,提取末位预测 Token 对前文各 Token 类别的注意力矩阵,并在前向传播中针对特定类别(如知识图谱实体 Token 或药物名称 Token)实施预 Softmax 负无穷(\(-10^4\))截断惩罚,从而在注意力机制的内部物理通路层面对“知识利用”与“浅层记忆”做出无可辩驳的因果解耦。

实验关键数据

主实验

基准在全量 1,900 种药物(56.5 万条边)上系统对比了 8 种传统基准模型与最佳微调大模型 Llama-3.2-1B(采用 P4 语义化一跳图谱序列,3 次随机种子平均 \(\pm\) 标准差)。

模型类别 模型名称 \(S_0\) AUC-ROC \(S_1\) AUC-ROC \(S_2\) AUC-ROC \(S_0\) 召回率 \(S_1\) 召回率 \(S_2\) 召回率
相似度矩阵 DeepDDI (PNAS 2018) 0.997 ± 0.000 0.819 ± 0.003 0.672 ± 0.009 0.964 ± 0.001 0.682 ± 0.012 0.509 ± 0.030
分子图 GNN SSI-DDI (Brief. Bioinform. 2021) 0.829 ± 0.010 0.706 ± 0.006 0.627 ± 0.003 0.771 ± 0.007 0.628 ± 0.015 0.580 ± 0.040
分子图 GNN DSN-DDI (Brief. Bioinform. 2023) 0.950 ± 0.038 0.827 ± 0.056 0.711 ± 0.063 0.936 ± 0.028 0.731 ± 0.038 0.696 ± 0.095
分子图 GNN HDN-DDI (BMC Bioinform. 2025) 0.853 ± 0.006 0.736 ± 0.003 0.645 ± 0.002 0.789 ± 0.026 0.659 ± 0.004 0.589 ± 0.036
纯图谱 GNN EmerGNN (Nat. Comput. Sci. 2023) 0.980 ± 0.001 0.799 ± 0.000 0.707 ± 0.006 0.939 ± 0.009 0.712 ± 0.003 0.619 ± 0.014
图谱融合 TIGER (AAAI 2024) 0.976 ± 0.002 0.771 ± 0.027 0.630 ± 0.015 0.918 ± 0.008 0.595 ± 0.065 0.426 ± 0.101
多模态融合 MKG-FENN (AAAI 2024) 0.999 ± 0.000 0.703 ± 0.005 0.563 ± 0.007 0.987 ± 0.002 0.566 ± 0.051 1.000 ± 0.001*
预训练 LM TextDDI (EMNLP 2023) 0.996 ± 0.002 0.786 ± 0.005 0.658 ± 0.004 0.971 ± 0.007 0.680 ± 0.023 0.497 ± 0.023
大语言模型 Llama-3.2-1B (LoRA 微调, P4) 0.916 ± 0.026 0.806 ± 0.038 0.764 ± 0.006 0.839 ± 0.021 0.710 ± 0.034 0.652 ± 0.004

*注:MKG-FENN 在 \(S_2\) 上出现严重的预测饱和伪影,将 99.96% 的测试对判定为正例(精确率仅为 0.500)。DSN-DDI 跨种子方差极大(\(\pm 0.063\)),表现极不稳定。微调大模型在全冷启动 \(S_2\) 下取得了最优的鲁棒综合性能。

机制细分与消融分析

下表呈现了 800 药物代表性子集上 \(S_2\) 全冷启动测试集中各模型按机制与中介(PK-A, PK-B, PD-A, PD-B)分层的召回率(Recall)及 A–B 差距。该实验确证了区分全冷启动性能好坏的关键在于图谱中介可用性(Type A vs. Type B),而非药理类型(PK vs. PD)。

模型名称 PK-A 召回率 PK-B 召回率 PD-A 召回率 PD-B 召回率 A–B 召回率差距
DeepDDI 0.515 ± 0.038 0.370 ± 0.012 0.614 ± 0.021 0.508 ± 0.092 +0.125 ± 0.053
SSI-DDI 0.558 ± 0.201 0.349 ± 0.129 0.692 ± 0.069 0.538 ± 0.047 +0.182 ± 0.031
DSN-DDI 0.533 ± 0.014 0.465 ± 0.041 0.608 ± 0.111 0.541 ± 0.022 +0.067 ± 0.063
HDN-DDI 0.734 ± 0.052 0.440 ± 0.147 0.762 ± 0.042 0.626 ± 0.087 +0.215 ± 0.077
EmerGNN 0.777 ± 0.037 0.308 ± 0.039 0.743 ± 0.086 0.436 ± 0.109 +0.388 ± 0.078
TIGER 0.457 ± 0.054 0.443 ± 0.025 0.617 ± 0.067 0.489 ± 0.067 +0.071 ± 0.052
TextDDI 0.573 ± 0.117 0.474 ± 0.061 0.810 ± 0.039 0.651 ± 0.012 +0.129 ± 0.048
LLM-FT (P4) 0.890 ± 0.089 0.397 ± 0.113 0.926 ± 0.043 0.622 ± 0.129 +0.398 ± 0.105

针对 LLM-FT(Llama-3.2-1B, P4)进行的输入实体与名称遮蔽(Masking)以及内部注意力阻断(Attention Zeroing)消融实验进一步证实了知识通道的真实因果性:

干预机制 PK-A \(\Delta\)AUC PK-B \(\Delta\)AUC PD-A \(\Delta\)AUC PD-B \(\Delta\)AUC 机制主导通道
掩码: 仅遮蔽中介实体 (\(R_0 \to R_2\)) -0.080 ± 0.027 +0.004 ± 0.018 -0.029 ± 0.025 -0.016 ± 0.004 Entity 实体主导
掩码: 仅遮蔽药物名称 (\(R_0 \to R_1\)) +0.015 ± 0.015 -0.044 ± 0.004 -0.006 ± 0.010 -0.034 ± 0.012 Name 名称主导
内部阻断: 置零所有 KG 注意力 -0.219 -0.061 -0.191 -0.081 KG 物理通路截断
内部阻断: 置零所有名称注意力 +0.000 -0.040 -0.002 -0.036 名称物理通路截断

关键发现

  • 性能暴跌跨越一切模型架构:从矩阵相似度、分子图 GNN 到微调 LLM,所有模型从 \(S_0\) 到 \(S_2\) 的 AUC-ROC 均产生 15–44 点的断崖式下跌,证明所谓 SOTA 很多时候严重依赖于训练时见过的历史互作拓扑。
  • 冷启动的真正鸿沟是“图谱中介是否可用”,而非 PK 还是 PD:LLM-FT 在有直接共享中介的 PK-A 和 PD-A 上召回率分别达到 89.0% 与 92.6%,但在缺乏显式中介的 PK-B 和 PD-B 上骤降至 39.7% 与 62.2%,产生高达近 40 个百分点的 A–B 鸿沟;而在 PK 与 PD 之间的均值差异则微乎其微。
  • 拥有知识(Access)绝对不等于利用知识(Utilization):在同样输入生物医学知识图谱的情况下,TIGER 和 MKG-FENN 的 A–B 替换敏感度差距仅为 +0.008 与 -0.007,对中介实体的存在与否几乎完全盲目;仅有具备双向流消息传递机制的 EmerGNN(+0.170)与微调大模型(+0.145)表现出强烈的显式中介依赖性。
  • 开箱即用的大模型在冷启动下完全失效:未微调的 11 种开源大语言模型在 \(S_2\) 下 AUC 徘徊在 0.45–0.58 之间(接近随机猜测),并频繁崩塌为单一类别的模式输出;即使 GPT-4o(AUC 0.710)与 Claude Sonnet 4.6(AUC 0.751)直接提示推理,也全面落后于仅 1B 参数的微调小模型(AUC 0.776),证明提示词无法替代基于药理图谱上下文的目标微调。

亮点与洞察

  • 评测维度的正交化解耦:将不可见药物划界(S0/S1/S2)与生物医学现实(PK/PD 机制、Type A/B 中介链)融合,打破了宏观 AUC 指标掩盖结构性缺陷的局面。
  • 知识访问与知识利用的严格因果鉴别:通过 KPS-F 实体替换、KSAI 交叉代偿度量与注意力层前向截断三种由外至内的扰动工具,为生物医学机器学习提供了判别“模型是否真学到了机理”的通用因果审查范式。
  • 大模型并非全能药理推理机:明确界定了微调大模型在冷启动场景下的能力边界——当外部上下文给出明确酶/靶点桥梁时,它能高效对齐并完成逻辑跳接;但在缺失显式桥梁、需要多跳隐式生理推理的 Type B 场景下,其推理能力依然受限。

局限与展望

  • 数据源单一与不完全世界假设:基准完全脱胎于 DrugBank 5.1.13,标签和中介路径受限于该数据库的人工审校偏见;某一药物对在数据库中缺乏共享中介(Type B),并不等同于生理学上绝对不存在桥梁机制。
  • 二分类任务对细粒度临床分级的简化:虽然附录拓展了 215 类细粒度互作事件预测,但主基准仍聚焦于二元存在性判定,未能完全刻画药物联用的剂量依赖与严重度分级。
  • 未来方向:研究缺乏显式桥梁时模型的多跳隐式路径聚合能力(如依托 KEGG 通路层面的证据汇聚),开发面向 Type B 互作的图谱补全辅助与多模态自适应融合架构。

相关工作与启发

  • vs DDI-Ben (Bioinformatics 2025):DDI-Ben 首次规范了 \(S_1/S_2\) 药物切分,但仅从事件频次角度做粗粒度拆分,未触及 PK/PD 药理机理与图谱中介有无的深层归因。
  • vs LLM-DDI (Knowledge-Based Systems 2026):LLM-DDI 评估了 18 类大模型在 DDI 上的提示效果,但采用的是随机划分,且缺乏对中介实体利用度的因果诊断。
  • vs OpenDDI (arXiv 2026):OpenDDI 汇总了多源超大规模互作对,但在全冷启动划分与生物医学知识的定向归因探测上,缺乏 ColdDDI 这样精细的单跳/多跳解耦设计。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [首次实现冷启动DDI预测的药理机制解耦与知识利用度因果探测]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖8种经典基线与13类大模型,包含掩码、替换、注意力截断与跨源图谱增强]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑极其严密,概念定义清晰,对高分假象与真实机制进行了犀利剖析]
  • 价值: ⭐⭐⭐⭐⭐ [确立了冷启动生物医药模型评估的新规范,防止多模态模型陷入浅层虚假相关]