DegradeQuery: Counterfactual Tuple Pretraining for Context-Aware PROTAC Degradation Prediction¶
会议: NeurIPS 2026
arXiv: 2608.10595
OpenReview: https://openreview.net/forum?id=kkmgMw3XBB
领域: 计算生物
关键词: 靶向蛋白降解, PROTAC降解活性预测, 反事实元组预训练, 自监督学习, 上下文感知
一句话总结¶
针对PROTAC公共数据库中大量降解测量标签缺失但分子-靶标-E3三元组上下文完整的痛点，DegradeQuery提出无需伪标签的反事实元组预训练框架，通过对比真实记录与负采样替换生物组件的元组学习上下文关联，在PROTAC-8K基准上显著超越现有半监督与监督SOTA。
研究背景与动机¶
蛋白降解靶向嵌合体（PROTAC）作为一种双功能小分子，通过诱导靶标蛋白与E3泛素连接酶的近邻化结合，促成三元复合物形成并进而诱发靶蛋白的泛素化降解。这种诱导近邻的催化降解机制突破了传统占位驱动型小分子抑制剂的成药局限，为不可成药靶点带来了革命性的治疗机遇。然而，PROTAC的作用机制决定了其降解效应并非单分子维度的静态物理化学性质，而是高度依赖于降解剂分子、靶标蛋白、募集的E3连接酶以及细胞微环境共同决定的系统级上下文结果；同一个分子在不同靶标或E3连接酶环境中往往表现出截然不同的降解活性。
现有计算方法与公共PROTAC数据库面临的核心矛盾在于：尽管数据库中收录了数千条结构化的降解剂小分子、靶蛋白与E3连接酶记录，但定量降解活性测量（如半数降解浓度 \(DC_{50}\)、最大降解率 \(D_{\max}\)）在实验测定上极其耗时昂贵，导致绝大多数元组记录缺乏明确的降解标签。现有监督方法只能直接舍弃这部分标签缺失的数据，浪费了海量的化学-生物配对关系；而现有半监督模型（如DegradeMaster）则依赖教师模型或记忆库生成降解伪标签，将未标记记录当作潜在的有监督样本处理，这不仅引入伪标签噪声，而且本质上误解了未标记元组的核心价值——未标记记录中最可信的信号并非未知的二值活性，而是该分子与特定靶标、E3连接酶共同出现的真实设计上下文证据。
针对这一问题，本文的核心 idea 是将未标记 PROTAC 记录视为结构化的“分子-靶标-E3”上下文观测而非待打伪标签的样本，通过替换靶标或 E3 连接酶构建反事实元组并进行对比排序预训练，使模型在无需任何活性伪标签、蒸馏或集成的前提下习得强大的上下文表征。
方法详解¶
整体框架¶
DegradeQuery包含两个核心阶段：自监督反事实元组预训练（Counterfactual Tuple Pretraining, CTP）与有监督微调分类。模型首先在包含有标签与无标签数据的训练集元组集合上进行预训练，通过分别抽取分子图/指纹、靶标序列特征与E3连接酶序列特征，并在统一的特征融合模块中显式建模两两交叉交互，计算出标量元组合理性得分；随后构建负样本反事实元组计算InfoNCE排序损失。微调阶段则基于预训练参数，在有标签数据上结合细胞系检测描述符进行二分类焦点损失优化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入数据<br/>PROTAC分子 m, 靶蛋白 t, E3酶 e"] --> B["多组件独立编码<br/>分子残差MPNN+指纹, 蛋白序列特征"]
B --> C["角色条件交互融合<br/>显式拼接, 两两哈达玛积与差分"]
C --> D["反事实元组预训练<br/>真实元组 vs 替换靶标/E3负采样"]
D --> E["辅助分子自监督<br/>分子图结构掩码/SMILES增广一致性"]
D --> F["下游有监督微调<br/>融合细胞系上下文, 焦点损失分类"]关键设计¶
1. 角色条件交互融合网络：解耦各组件角色并显式捕捉协同作用
针对靶蛋白与E3连接酶在降解机制中扮演完全不同角色的机制特性，模型首先通过两个独立分支进行编码：分子编码器 \(f_m\) 结合了3层基于15维原子特征的残差消息传递神经网络（MPNN）与2048位Morgan分子指纹（半径2），两分支投影到256维后相加并LayerNorm；蛋白编码器 \(f_p\) 将150维序列特征（氨基酸组成、序列长度、未知残基、128维哈希二肽/三肽计数）映射到256维空间。关键在于，靶蛋白嵌入 \(h_i^t\) 与E3连接酶嵌入 \(h_i^e\) 在经过同一编码器处理后保持解耦状态，并通过融合模块 \(\phi_\theta\) 显式建模三者独立特征、两两哈达玛积以及靶蛋白与E3的绝对差： $\(z_i = \phi_\theta \left( h_i^m \parallel h_i^t \parallel h_i^e \parallel h_i^m \odot h_i^t \parallel h_i^m \odot h_i^e \parallel h_i^t \odot h_i^e \parallel |h_i^t - h_i^e| \right)\)$ 该融合结构构成了预训练与监督微调的共享主干拓扑，使模型在特征底层具备区分降解剂对靶标和E3亲和偏好的结构归纳偏置。
2. 反事实元组预训练机制：基于采样空间对比学习上下文关联
以往半监督方法强行给未标记数据分配降解活性伪标签，容易引入虚假监督信号。DegradeQuery将未标记记录视为观察到的设计上下文证据，提出反事实元组预训练目标。对于训练集中的真实观测元组 \(u_i^+ = (m_i, t_i, e_i)\)，模型通过从训练集经验分布中独立随机替换靶标、替换E3连接酶或同时替换两者，构造包含 \(R\) 组替换负样本的候选集合 \(\mathcal{N}_i\)： $\(\mathcal{N}_i = \bigcup_{r=1}^R \left\{ (m_i, \tilde{t}_{i,r}, e_i), (m_i, t_i, \tilde{e}_{i,r}), (m_i, \tilde{t}_{i,r}, \tilde{e}_{i,r}) \right\}\)$ 预训练通过对比排序损失驱动打分头 \(q_\theta(z_i)\) 为观测到的真实元组赋予相对更高的合理性得分： $\(\mathcal{L}_{\mathrm{tuple}} = -\frac{1}{|\mathcal{B}|} \sum_{i \in \mathcal{B}} \log \frac{\exp(s_\theta(u_i^+) / \tau)}{\exp(s_\theta(u_i^+) / \tau) + \sum_{u^- \in \mathcal{N}_i} \exp(s_\theta(u^-) / \tau)}\)$ 该目标并不假定负样本在生物学上绝对无效，而是一种噪声对比估计过程，使模型学习记录元组相较于随机搭配的统计关联，完全避免了伪标签带来的偏差。
3. 辅助分子一致性正则化与有监督微调：多粒度自监督结合防退化优化
仅依赖元组对比可能忽略单分子化学图拓扑的内在不变性，因此模型引入了轻量级分子对比学习目标 \(\mathcal{L}_{\mathrm{mol}}\)。通过对分子结构实施子图掩码或SMILES枚举增广，利用投影头 \(\rho_\theta\) 和NT-Xent对比损失对齐相同分子的不同视角，形成总预训练损失 \(\mathcal{L}_{\mathrm{pre}} = \mathcal{L}_{\mathrm{tuple}} + \lambda_{\mathrm{mol}} \mathcal{L}_{\mathrm{mol}}\)。在微调阶段，将预训练权重迁移后，接入细胞系描述符 \(c_i\) 得到完整描述符感知向量 \(\tilde{z}_i = \psi_\theta(z_i, c_i)\)，并采用类别加权的焦点损失（Focal Loss）进行有监督优化： $\(\mathcal{L}_{\mathrm{sup}} = -\frac{1}{|\mathcal{D}_L|} \sum_{i \in \mathcal{D}_L} \alpha_{y_i} (1 - p_i^*)^\gamma \log p_i^*\)$ 在官方划分不平衡数据（469活跃 / 733非活跃）下，焦点损失与自适应权重能有效抑制易分类负样本的梯度主导，强化边界样本的判别精度。
损失函数 / 训练策略¶
预训练阶段采用AdamW优化器，学习率设为 \(3 \times 10^{-4}\)，权重衰减 \(1 \times 10^{-4}\)，batch size为64，训练60个epoch，采样负样本数 \(R=3\)，温度参数 \(\tau_{\mathrm{tuple}} = \tau_{\mathrm{mol}} = 0.1\)，损失权重系数 \(\lambda_{\mathrm{mol}} = 0.1\)。监督微调阶段学习率设为 \(1 \times 10^{-4}\)，最大训练120个epoch，焦点损失参数 \(\gamma = 1.0\)，正负类权重根据类别频次自动分配（官方划分下 \(\alpha_1=0.6098, \alpha_0=0.3902\)）。所有无标签数据严格限制在预训练阶段作为元组观测使用，推理决策阈值固定为0.5，严禁在测试集上微调阈值。
实验关键数据¶
主实验¶
在DegradeMaster官方PROTAC-8K基准划分（1502条有标签记录，7134条未标注记录，测试集300条）下评估二分类降解活性（Active/Inactive），DegradeQuery在无需伪标签、蒸馏或集成的前提下取得了最高的准确率与AUROC指标：
| 方法 | 未标注数据利用机制 | 准确率 (Accuracy) | AUROC | 相对提升 (vs Sup) |
|---|---|---|---|---|
| DeepPROTACs | None | 0.5821 | 0.7107 | - |
| DeepPROTACs | Semi-supervised | 0.5902 | 0.7171 | - |
| PROTAC-STAN | None | 0.7934 | 0.7986 | - |
| PROTAC-STAN | Semi-supervised | 0.7825 | 0.7896 | - |
| DegradeMaster | None | 0.8141 | 0.8541 | - |
| DegradeMaster | Pseudo-labeling | 0.8366 | 0.8825 | - |
| DegradeQuery-Sup | None | 0.8133 | 0.8827 | 基准 |
| DegradeQuery-CTP | 元组预训练 (Tuple pretraining) | 0.8500 | 0.9065 | +0.0367 Acc / +0.0238 AUROC |
消融实验与未标注信号归因¶
在官方划分上开展组件消融及仅使用无标签记录的受控归因实验（Table 2 & Table 3），证实性能提升纯粹源于元组预训练对未标记上下文的成功建模，且可与预训练蛋白质语言模型（ESM2-650M）形成强互补：
| 配置 / 预训练策略 | 蛋白表征来源 | AUROC (均值±标准差) | 准确率 (均值±标准差) | 说明 |
|---|---|---|---|---|
| Sup (n=5) | 原始序列特征 (150-dim) | 0.8777 ± 0.0031 | 0.7840 ± 0.0072 | 仅用标签微调基准 |
| Molecule-only SSL (n=3) | 原始序列特征 | 0.8910 | 0.8289 | 仅做单分子图对比学习 |
| Tuple-only pretraining (n=3) | 原始序列特征 | 0.8943 | 0.8056 | 仅做反事实三元组预训练 |
| Full CTP (n=5) | 原始序列特征 | 0.8996 ± 0.0039 | 0.8233 ± 0.0058 | 完整三元组+分子联合预训练 |
| Unlabeled-only CTP (n=5) | 原始序列特征 | 0.9007 ± 0.0032 | 0.8267 ± 0.0097 | 完全剥离有标签数据预训练 (7134条纯无标记录) |
| Frozen ESM2-650M + Sup (n=3) | 冻结ESM2-650M | 0.8863 ± 0.0010 | 0.7933 ± 0.0067 | 引入强蛋白语言模型但无CTP |
| ESM2-650M last-layer FT + Sup (n=3) | ESM2末层微调 | 0.8907 ± 0.0034 | 0.8144 ± 0.0150 | 有监督下微调ESM2末层 |
| Frozen ESM2-650M + CTP (n=3) | 冻结ESM2-650M | 0.9032 ± 0.0020 | 0.8322 ± 0.0107 | CTP持续为强蛋白表征提供显著增益 |
关键发现¶
- 未标注信号的独立有效性：在预训练中剔除所有有标签行（仅保留7134条纯无标签记录，Unlabeled-only CTP），在5次独立重复实验中依然达到了 \(0.9007 \pm 0.0032\) 的AUROC，相对于Sup取得 +0.0230 的稳定配对增益，证明未标注记录中蕴含的“分子-靶标-E3”拓扑共现结构自身就是充足的自监督信号源。
- 与蛋白大模型的正交互补性：即便引入强大的ESM2-650M大模型提供靶标与E3特征，冻结ESM2+CTP相比冻结ESM2+Sup仍将AUROC从0.8863推升至0.9032，甚至超过了端到端微调ESM2最后一层的监督基线（0.8907），表明元组级交互信号无法被通用的单蛋白序列预训练完全替代。
- 外推与少样本自适应：在严苛的生物学分布偏移测试中，骨架留出测试（Scaffold Holdout）上CTP使得AUROC从0.8681提升至0.8858，表明模型没有死记硬背常见骨架；在靶标分组留出（Target–E3 Group Holdout）中平均AUROC提升从0.6769增至0.7064，但方差较大（95%置信区间为 \([-0.0219, 0.0810]\)）；在少样本靶标迁移评估中（\(K=2\)），CTP使MCC指标从0.1263急剧跃升至0.3521。
亮点与洞察¶
- 重塑无标注数据范式：放弃主流半监督依赖伪标签对二值活性“强行填空”的易错做法，转而将无标注记录定义为“已验证的分子-靶标-E3设计上下文”，通过噪声对比估计捕捉多实体共现模式，思路极为清晰巧妙。
- 无信息泄漏与极简单模型：不依赖教师模型生成伪标签，不进行模型蒸馏或集成，推理结构完全与监督基线一致，且严格执行负样本拒绝规则（防止将留出测试组的靶标-E3组合作为负样本采样），评测严谨度极高。
- 跨领域启发：这种将多实体绑定系统（如药物-靶标相互作用、分子胶、多组分催化复合物）转化为反事实元组负采样的预训练思路，可直接推广到高通量生物网络配对中大量存在“仅有组合记录而缺乏定量终点测量”的预测场景。
局限与展望¶
- 作者承认的局限：数据库收录的元组本身存在文献报道、药化设计倾向等固有选择偏差；随机替换生物组件采样的反事实负样本在生物学上不排除属于未经验证但实际可行的有效组合。
- 机制机理层面的局限：模型属于纯数据驱动预测器，未直接引入三元复合物空间构象、泛素化位点暴露度、膜通透性或不同细胞系内E3酶实际表达量等动态生物物理机理建模。
- 未来改进方向：引入考虑结合口袋相容性与结构对接的生物学反事实硬负样本采样策略，并拓展至跨数据库的外部实验湿法前瞻性验证。
相关工作与启发¶
- vs DegradeMaster: DegradeMaster使用等变图神经网络并基于记忆库分配活动伪标签；DegradeQuery指出无标签数据最可靠的是元组共现而非伪活性，改用反事实元组预训练，在模型结构更轻量的前提下指标更优。
- vs PROTAC-STAN: PROTAC-STAN利用结构驱动的三元注意力机制建模物理相互作用，但在缺乏结构与活性标签的数据上难以充分预训练；DegradeQuery专注于序列与拓扑级上下文预训练，两者可形成互补。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [颠覆伪标签思路，首次将无标注PROTAC数据构建为反事实元组自监督预训练任务]
- 实验充分度: ⭐⭐⭐⭐⭐ [官方基准、5-seed受控归因、无标注纯净对照、ESM2协同与跨分布分组测试极为完备]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，对生物机理与自监督假设边界的论述客观严谨]
- 价值: ⭐⭐⭐⭐⭐ [为靶向蛋白降解及多组分药物设计提供了一种高度实用、无需伪标签的预训练新范式]