ScreenShot: A Foundation Model for Few-Shot Combination Drug Screening¶

会议: NeurIPS 2026
arXiv: 2608.12219
OpenReview: https://openreview.net/forum?id=f1jlqYKqL6
代码: https://github.com/tansey-lab/screenshot
领域: 自监督学习
关键词: 药物组合筛选, 上下文学习, 基础模型, 层次化 Transformer, 主动学习

一句话总结¶

ScreenShot 是一个在 40 个泛癌种筛选数据集上预训练的层次化 Transformer 基础模型，直接基于药物-剂量-细胞活力功能测量在少样本上下文下零样本微调预测联合用药响应，并结合基于嵌入的目标导向主动学习大幅缩减实验筛选成本。

研究背景与动机¶

药物联合治疗能够协同阻断多条旁路信号通路，有效克服单一靶向疗法的耐药性难题，并在三阴性乳腺癌、纤维板层肝细胞癌和急性髓系白血病等难治性癌症中展现出显著临床价值。然而，高通量组合药物筛选面临着严重的组合爆炸瓶颈：若穷举数千种候选药物在多种浓度梯度下的两两或高阶组合，实验所需的细胞耗量、耗材成本与时间周期均呈指数级飙升。更为严峻的是，在真实的临床精准医疗场景中，患者手术切除或穿刺活检获取的原代肿瘤组织及类器官样本量极其有限，往往仅能支持几十至数百孔反应，完全无法支撑大规模组合筛选实验。

现有的计算药物反应预测方法大多严重依赖患者样本的高通量多组学分子特征（如全转录组测序、全外显子基因突变或表观遗传谱）。这种范式在临床原代模型中存在显著阻碍：多组学测序周期长、费用高昂，且原代样本常伴随极高的批次效应与组织异质性；同时，传统迁移学习通常需要针对每个新患者样本重新微调模型参数，极易因少样本过拟合或超参数敏感情报失真。部分尝试采用大语言模型先验的方法则要求目标样本在现有文献中有先验记载，彻底丧失了对全新临床未知样本的泛化可能；而传统协同预测模型仅预测二元协同标签，无法输出精细的连续剂量-响应曲面。

为了彻底摆脱对组学特征与繁琐微调的依赖，本文提出不再强求获取静态分子剖析，而是直接将实验筛选系统本身作为功能性探针。通过将少量真实测得的药物-剂量-细胞活力观测值作为 Prompt 上下文，利用自监督预训练的上下文学习机制直接在注意力前向传播中推断新样本的潜在表型与响应流形。核心 idea：将药物筛选数据的自然嵌套拓扑解构为“单药组合-响应曲线-样本聚合”三级层次化 Transformer，在大规模泛癌种功能性测量语料上自监督预训练上下文学习能力，并通过预测治疗指数加权的聚类主动学习实现高效的少样本实验发现。

方法详解¶

整体框架¶

ScreenShot 将药物组合筛选数据形式化为少样本上下文学习问题。给定来自新患者样本 \(s\) 的少量已测观测集 \(\mathcal{D}_s = \{(\mathbf{d}_j, \boldsymbol{\delta}_j, y_j)\}_{j=1}^n\)（其中 \(\mathbf{d}\) 为药物标识索引，\(\boldsymbol{\delta}\) 为给药连续浓度，\(y \in [0, 1]\) 为测得的细胞相对活力），模型目标是在完全不接触组学特征且不更新网络权重的前提下，直接预测未测扰动条件 \((\mathbf{d}', \boldsymbol{\delta}')\) 对应的活力值 \(\hat{y}\)。

整体架构围绕筛选实验天然的嵌套分组结构设计为三级层次化 Transformer：第一级针对单次扰动中的药物与浓度进行组合内自注意力建模；第二级针对待测 Query 组合与上下文中的已知活力观测值进行组内交叉注意力检索；第三级在样本层面对所有扰动的响应表征进行自注意力全局信息交互，最终经线性层与 Sigmoid 激活输出活力预测。这种层次化分解避免了传统扁平注意力机制在长序列上的二次方开销。在推理阶段，ScreenShot 进一步驱动多轮主动学习流水线，以最小的实验批次预算高效命中高选择性抗癌组合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: Query扰动 (d',δ')<br/>+ 少样本上下文 D_s"] --> B["药物组合编码器<br/>傅里叶连续编码 + 组内自注意力"]
    B --> C["响应交叉编码器<br/>扰动分组上下文检索 + 活力增广"]
    C --> D["样本全局聚合编码器<br/>跨扰动自注意力传播 + CLS池化"]
    D --> E["目标导向主动学习<br/>预测治疗指数加权 k-means++ 采样"]
    E -->|选定新批次测定| A

关键设计¶

1. 药物组合编码器：解构单药交互与连续浓度流形

在传统药物筛选模型中，处理不同药物数量的组合（单药、双药或三药）往往需要特制的架构分支或化学分子指纹拼接，这限制了模型对未知结构的通用性，且分子图往往无法反映未知的系统生物学体内机制。为了直接对功能性扰动空间进行统一建模，ScreenShot 将固定药物库中每个药物索引 \(d_k \in \{1, \dots, M\}\) 映射为可学习的功能嵌入向量 \(\mathbf{e}_{d_k} \in \mathbb{R}^D\)（\(D=256\)），对于预训练库外的未知化合物，设计了专门的联合预训练 UNK 占位嵌入。对于连续给药浓度 \(\delta_k\)，模型放弃传统的标量缩放，采用可学习的连续傅里叶特征编码 \(\phi(\delta)\) 进行升维：

\[\phi(\delta) = W [\sin(\delta \cdot \boldsymbol{\omega}), \cos(\delta \cdot \boldsymbol{\omega})] + \mathbf{b}\]

其中 \(\boldsymbol{\omega} \in \mathbb{R}^F\)（频数 \(F=64\)），\(W \in \mathbb{R}^{D \times 2F}\) 与偏置 \(\mathbf{b} \in \mathbb{R}^D\) 均为端到端可训练参数。每个单药 token 的表征通过两者相加获得 \(\mathbf{h}_k = \mathbf{e}_{d_k} + \phi(\delta_k)\)。随后将包含 \(q\) 个药物的 token 序列送入第一级 Transformer 编码器（5 个自注意力层，8 头），通过自注意力机制显式建模药物分子间的协同或拮抗交互效应，并经过掩码平均池化聚合为单次扰动的组合嵌入向量 \(\mathbf{c} \in \mathbb{R}^D\)。由于自注意力通过 padding 掩码天然支持可变长度序列，该设计无需任何改动即可统一无缝处理单药 (\(q=1\))、双药 (\(q=2\)) 以及高阶组合。

2. 响应交叉编码器：按扰动曲线解耦的上下文注意力检索

在少样本适应阶段，如果将上下文中的所有单点观测展开为平坦的长序列进行全局注意力计算，不仅会导致二次方计算复杂度 \(\mathcal{O}(n^2)\)，而且会打碎药物筛选数据固有的“同一组合在不同浓度下的剂量-响应曲线”聚合结构。ScreenShot 针对这一痛点设计了第二级响应编码器（Response Encoder）。首先，上下文观测被显式增强了其真实的细胞活力响应标量：

\[\tilde{\mathbf{c}}_j = \mathbf{c}_j + \phi_y(y_j)\]

其中 \(\phi_y\) 为独立的活力傅里叶特征映射。随后，模型将上下文中的 \(n\) 个观测按唯一的药物组合划分为 \(p\) 个扰动组（每个组包含同一药物组合在不同浓度下的 \(m\) 个活力点）。对于给定的未测 Query 组合嵌入 \(\mathbf{c}'\)，模型分别对每个扰动组内的观测子集独立执行多头交叉注意力（Cross-Attention）。Query 仅在组内观测间检索最相关的剂量梯度证据，生成针对该特定扰动组的条件化表征 \(\mathbf{r}'_g\)。这种分解将上下文注意力检索成本大幅降低至 \(\mathcal{O}(n)\)，不仅严格贴合剂量响应曲线的局部平滑物理先验，而且在处理多达几千个上下文测定点时保证了前向计算的极端轻量与高吞吐。

3. 样本全局聚合编码器：跨通路表型上下文的信息传递

获得针对 \(p\) 个扰动组的条件表征序列 \((\mathbf{r}'_1, \dots, \mathbf{r}'_p)\) 后，模型需要推断样本在全基因组信号网络层面的潜在脆弱性（例如对特定靶点的敏感性往往暗示着下游通路其他靶点的易感性）。第三级样本编码器（Sample Encoder）通过 5 层全局多头自注意力机制，允许这些扰动表征之间跨药物家族、跨靶标通路自由交换上下文信息，完成样本级表型的隐式聚合。在序列首位添加可学习的 CLS token 以获得整份样本的全局池化状态。最后，针对目标 Query 的聚合向量经过单层线性投影与 Sigmoid 激活函数映射为最终的连续细胞活力预测值 \(\hat{y} \in [0, 1]\)。整个前向过程只需一次前向传递，相比参数微调完全免去了反向传播、梯度优化与超参数调优的脆弱性。

4. 目标导向主动学习：预测选择性加权的实验设计策略

为了将少样本预测能力转化为切实可行的实验筛选工具，本文构建了一套自适应多轮主动学习策略，彻底解决“初始测什么”与“后续补什么”的决策困境。在无任何实验数据的冷启动阶段，算法在第一级编码器输出的预训练药物-浓度几何空间内执行 \(k\)-medoids 聚类（利用 OneBatchPAM 算法），以最大化候选空间的功能覆盖度与多样性，选出初始批次（如总预算的 33%）。进入自适应轮次后，模型依据已知上下文预测未测药物在肿瘤样本与其对照基准样本之间的差异活力 \(\Delta_t = \hat{y}_t^{(\text{target})} - \min_{c \in \mathcal{C}} \hat{y}_{c, t}\)。强负值的 \(\Delta_t\) 代表该组合对肿瘤具有极高杀伤力而对正常细胞毒性低。不同于以降低全局不确定度为目标的传统主动学习，ScreenShot 采用以目标选择性为导向的加权机制 \(w_t = \max(-\Delta_t, 0)\)，在第三级编码器提取的样本上下文嵌入空间上执行加权 \(k\)-means++ 播种采样，并将历史已选样本作为固定冻结中心。这一机制既强力聚焦于潜在的高效选择性命中靶点，又利用距离排斥确保了候选药物在表示空间上的结构多样性。

损失函数 / 训练策略¶

ScreenShot 在覆盖 40 个数据集的泛癌种药物筛选图谱上进行自监督元训练（Meta-training），总共包含约 3000 万个细胞活力测量值、3700 种药物与 6000 个生物学样本（含癌细胞系、患者原代体外培养与类器官）。预训练严格模拟下游少样本在位推理的分布模式：

在每个训练 step，随机采样一个生物样本 \(s \sim \mathcal{S}_{\text{train}}\) 及其观测全集 \(\mathcal{D}_s\)，从中均匀随机抽取上下文子集 \(\mathcal{D} \subset \mathcal{D}_s\) 与监督查询子集 \(\mathcal{Q} \subset \mathcal{D}_s\)。为了有效应对高通量药物筛选中常见的实验故障、孔板气泡或边缘效应等技术噪声，网络摒弃了对离群值极度敏感的均方误差，采用平均绝对误差（MAE）作为优化目标：

\[\mathcal{L}(\theta) = \mathbb{E}_{s, \mathcal{D}, \mathcal{Q}} \left[ \frac{1}{|\mathcal{Q}|} \sum_{(\mathbf{d}, \boldsymbol{\delta}, y) \in \mathcal{Q}} \left| f_\theta((\mathbf{d}, \boldsymbol{\delta}), \mathcal{D}) - y \right| \right]\]

在预训练阶段，每个 batch 随机将一部分（\(\alpha \sim \text{Uniform}[0, 0.2]\)）药物索引替换为 100 个可训练的 UNK 占位 token 之一，迫使模型学会仅根据上下文观测推断未知药物的功能特征。模型基于 Adam 优化器，学习率设为 \(10^{-5}\)，梯度裁剪设为 1.0，在单张 NVIDIA H100 GPU 上经历约 400K 次迭代（100 个 epoch）完成预训练。

实验关键数据¶

主实验¶

评估在四个严格独立的留出验证集上进行，涵盖成对组合药物筛选（NCI-ALMANAC、GDSC-SQ、BATCHIE）以及纯单药患者原代类器官筛选（PDO-Breast）。重点评估预测精度（Pearson 相关系数 \(r\)）以及实际筛选的核心临床目标——治疗指数选择性命中召回率（Top-10% Hit Recall @ Top-20% Predictions）。

下表列出各方法在四个留出数据集以及跨场景平均下的性能对比（少样本上下文预算包含 \(n=10, 100, 300\) 观测点，推理耗时为单次完整实验的平均端到端秒数）：

数据集	方法	Pearson \(r\) (n=10)	Pearson \(r\) (n=100)	Pearson \(r\) (n=300)	Hit Recall (n=10)	Hit Recall (n=100)	Hit Recall (n=300)	耗时 (s)
PDO-Breast	XGBoost	0.18	0.70	0.82	40.8%	70.1%	89.9%	192
(纯单药类器官)	TabPFN	0.13	0.72	0.82	46.4%	70.7%	90.7%	127
	MLP (target-only)	0.07	0.45	0.69	50.7%	57.3%	84.0%	1156
	MLP-FT (预训练微调)	0.73	0.79	0.82	79.5%	86.4%	93.3%	1180
	ScreenShot (本文)	0.78	0.82	0.85	78.7%	87.7%	96.0%	8
BATCHIE	XGBoost	0.12	0.54	0.73	29.2%	44.0%	55.0%	196
(大规模两两组合)	TabPFN	0.16	0.50	0.69	33.9%	37.2%	49.3%	432
	MLP (target-only)	0.15	0.45	0.66	33.7%	55.3%	68.7%	1152
	MLP-FT (预训练微调)	0.62	0.75	0.80	45.9%	59.7%	68.7%	1142
	ScreenShot (本文)	0.75	0.83	0.87	63.9%	72.6%	76.0%	22
NCI-ALMANAC	MLP-FT	0.51	0.61	0.67	34.6%	40.6%	49.5%	726
(60种癌细胞系组合)	ScreenShot (本文)	0.58	0.68	0.74	44.5%	54.8%	63.0%	68
GDSC-SQ	MLP-FT	0.51	0.68	0.76	38.9%	54.8%	66.0%	737
(多癌种组合筛选)	ScreenShot (本文)	0.60	0.73	0.78	39.8%	54.4%	60.6%	64
跨数据集归一化均值	XGBoost	0.23	0.71	0.88	0.54	0.74	0.89	9.5×
(以ScreenShot为1.0)	TabPFN	0.28	0.67	0.85	0.61	0.71	0.86	13.6×
	MLP-FT	0.87	0.92	0.95	0.87	0.89	0.94	57.0×
	ScreenShot (本文)	1.00	1.00	1.00	1.00	1.00	1.00	1.00×

消融实验¶

1. 层次化网络架构消融¶

为了验证三级层次化设计的必要性，作者在 BATCHIE 与 PDO-Breast 上对比了截断不同层级后的模型（指标为 Top-hit Recall %）：

架构变体	BATCHIE (n=10)	BATCHIE (n=100)	BATCHIE (n=300)	PDO-Breast (n=10)	PDO-Breast (n=100)	PDO-Breast (n=300)	推理耗时与缩放表现
ScreenShot (完整三级层次)	63.9%	72.6%	76.0%	78.7%	87.7%	96.0%	线性复杂度，长上下文耗时极平缓
扁平全局注意力 (Flat Attention)	60.3%	68.6%	72.3%	76.3%	86.9%	94.7%	二次方爆炸（3000点时耗时从5.0s激增至28.6s）
去除样本层自注意力 (No Level 3)	59.5%	70.9%	75.6%	75.5%	87.7%	95.2%	缺少跨扰动信息传递，组合空间掉点明显
仅保留交叉注意力 (No Level 1 & 3)	51.0%	55.0%	54.7%	77.1%	77.9%	78.4%	严重欠拟合，在复杂组合筛选下性能崩溃

2. 主动学习筛选策略对比¶

在 BATCHIE 数据集上评估不同实验设计策略对命中召回率（Hit Recall %）的影响：

实验设计策略	预算 100	预算 200	预算 300	达到随机 300 预算效果所需实验量
随机筛选 (Random)	71.6%	74.4%	75.8%	300 (基准)
冷启动聚类 (k-medoids 100%)	72.9%	75.1%	76.1%	~280
自适应主动学习 (33% 冷启动 + 1 轮 Δ 加权)	77.3%	81.2%	84.0%	~110
自适应主动学习 (33% 冷启动 + 2 轮 Δ 加权)	77.5%	83.0%	84.8%	~100 (仅需 1/3 预算)
替换为不确定度加权 (MC Dropout)	74.4%	77.4%	78.6%	~220 (偏向全局探索，命中率低 6.2%)
贪心 Top-k 选择 (无多样性聚类)	71.4%	77.4%	80.2%	~170 (容易陷入局部冗余区域)

关键发现¶

极低预算下的断层式优势：在极端严苛的少样本条件（\(n=10\)）下，ScreenShot 表现出远超传统方法的泛化先验。在 BATCHIE 上，其命中召回率达到 63.9%，相较于需要重新微调的最强基线 MLP-FT（45.9%）高出 18 个百分点，相较于非预训练基线高出超过 30 个百分点。
纯推理计算效率革命：无需针对新样本进行迭代梯度更新，ScreenShot 单次实验完成推断仅需 8 至 68 秒，比传统需要数万步微调的 MLP-FT 提速 50 倍以上，且比同为 in-context 推理但采用全特征扁平自注意力的 TabPFN 提速 5 至 20 倍。
目标导向 vs 不确定度探索的解耦：消融实验揭示了主动学习中全局预测误差与高价值目标命中之间的分离：使用 MC Dropout 不确定度加权虽然取得了更低的全局 MAE，但其 Top-hit 召回率在 BATCHIE 预算 300 下比本文的差分选择性加权低了整整 6.2 个百分点。主动学习只有紧扣真实临床效用（选择性杀伤指数）才能最大化实验转化效率。
未知药物与 UNK 机制的稳健性：在 BATCHIE 测试集包含的 22 种全新未见化合物中，使用预训练 UNK 占位嵌入使得模型能稳定依托少样本观测完成推断，其 MAE 显著优于随机分配已知药物 token，验证了模型解耦学习通用响应几何的能力。

亮点与洞察¶

无组学纯功能性基础模型范式：模型打破了癌症计算生物学长久以来对转录组/外显子组分子特征的硬性依赖，直接将微量实验观测构成的“功能表型流形”作为唯一输入，彻底解决了临床微小活检样本无组学数据可用的现实瓶颈。
物理先验驱动的层次化注意力工程：巧妙利用“单药组合-剂量曲线-细胞样本”三级层级对注意力进行结构性因式分解，既保留了同一药物多剂量间的曲线连续性物理约束，又将长序列注意力的二次方计算复杂度彻底解耦为轻量线性阶。
表型嵌入指导的主动实验闭环：通过将自监督模型深层表征与带权 \(k\)-means++ 几何采样无缝串联，模型不仅能当“预测器”，还能直接作为“实验规划师”，在仅需 1/3 实验成本下达到全量筛选的同等发现能力。

局限与展望¶

药物库闭集与分子结构先验缺失：模型目前依赖约 3700 种药物的预训练功能嵌入，虽然设计了 UNK token 兜底，但对于完全未知的全新化学骨架，无法像图神经网络或化学基础模型那样直接利用 3D 分子立体化学特征推断初始性质。
对照样本的代理选择假设：在缺乏健康非肿瘤细胞对照的筛查数据集中，算法将全盘平均活力最高的细胞系作为对照代理。虽然统计上高抗药性细胞与非癌细胞行为高度吻合，但在机制复杂的特定抗癌靶点上可能引入选择性评估偏差。
更高阶组合与体内微环境建模：当前评估主要集中于单药和两两组合，对于三药及以上高阶协同的探索仍受限于公共基准数据体量；同时体外细胞系与类器官筛选仍无法完全反映免疫微环境和药物在体代谢毒性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将 In-Context Learning 基础模型范式成功引入无组学约束下的连续剂量药物组合筛选与主动实验设计。
实验充分度: ⭐⭐⭐⭐⭐ 在 40 个数据集预训练，并在 4 个严格独立的留出多中心数据集上完成全维度预测与主动学习闭环验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，方法形式化精确，层次化架构设计与物理动机阐述极为透彻。
价值: ⭐⭐⭐⭐⭐ 直击临床肿瘤原代样本量匮乏与高阶筛选组合爆炸的痛点，具有极高的转化医学与自动化实验室落地价值。