AssayBench: An Assay-Level Virtual Cell Benchmark for LLMs and Agents

会议: NeurIPS 2026
arXiv: 2605.10876
代码: https://github.com/Genentech/AssayBench
领域: LLM评测
关键词: 虚拟细胞、表型筛选预测、CRISPR 筛选、连续排序评测、前沿大语言模型

一句话总结

AssayBench 汇聚 1,920 项人类 CRISPR 筛选并统一为表型端点基因排序任务，引入校正随机基线偏差的连续指标 AnDCG，系统揭示了通用前沿大模型虽显著优于生物专用小模型与可训练基线，但距离经验性能上限仍有巨大鸿沟。

研究背景与动机

虚拟细胞（Virtual Cell）旨在构建能够全景模拟细胞行为与扰动响应的计算系统，是加速现代药物早期发现的关键愿景。在药物研发真实决策管线中，核心诉求往往并非高维单细胞分子状态的精确重构，而是针对特定表型终点（如肿瘤增殖、耐药性消除、病毒感染抑制或特定通路报告基因表达）高效筛选并优先排序最具潜力的功能扰动靶点。然而，现有细胞扰动基准绝大多数局限于单细胞转录组分子层级，无法直接映射真实实验中复杂且非均匀的表型终点决策。

阻碍表型筛选预测基准化的核心瓶颈在于：公共筛选数据来源极其异构，不同实验室针对截然不同的细胞系、文库工艺、刺激条件和统计显著性阈值（log-fold change 与 p 值混合、单尾与双尾检验交错）制定了完全不相容的显著基因判定标准，传统固定 schema 的结构化模型难以直接适用；同时，由于不同实验体系难度差异极大，传统离散击中指标在跨实验横向比较时存在严重基线偏差。

本文构建了覆盖五大生物表型类别的全流程基准平台，结合时间切分模拟严苛的领域外时间分布偏移。核心 idea：将异质性 CRISPR 实验统一建模为自由文本驱动的表型基因重排序任务，并提出校正随机基准偏置的连续排序评估指标 AnDCG，为大模型与智能体担任“虚拟细胞表型筛选代理”确立系统化的衡量标尺。

方法详解

整体框架

AssayBench 的核心流程由“数据清洗与显著性归一化”、“时间分布外拆分”、“大模型/代理提示词重构”以及“基于校准排序指标的系统评测”四个阶段构成。输入为实验元数据描述（包括细胞系、扰动文库、处理条件与显著性规则），输出为模型预测的 Top-100 基因排序列表，并由连续且无偏的校准排序指标进行质量评定。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始 BioGRID ORCS 筛选与最新文献<br/>1971 项人类全基因组 CRISPR 筛选"] --> B["数据清洗与连续相关性评分构建<br/>百分位几何均值几何融合 + ROC-AUC 质控"]
    B --> C["时序拆分与 LaTest 隔离集合<br/>Train: 1349, Val: 218, Test: 334, LaTest: 19"]
    C --> D["端点排序提示词生成<br/>细胞系/文库/刺激条件自由文本表征"]
    D --> E["前沿大模型与基线系统推理<br/>Zero-shot / SFT+GRPO / 进化集成"]
    E --> F["校正归一化折损累积增益评估<br/>AnDCG@k / Precision@k / dFDR@k"]

关键设计

1. 连续相关性评分与表型方向解耦：消除异构筛选标准的统计壁垒

为了将不同实验室采用的复杂筛选标准转化为统一、连续的真实标签（ground-truth relevance），研究团队建立了一套统计归一化流水线。设某项筛选对 \(G\) 个测试基因评估了 \(K\) 种统计指标（如 fold-change、\(p\)-value 等），记为 \(\{\mathbf{s}_k \in \mathbb{R}^G\}_{k=1}^K\)。系统首先根据规则解析判断各指标的方向性，将其转化为基因在全筛选中的显著性百分位秩 \(\mathbf{p}_k \in [0, 1]^G\)。针对多指标复合规则（\(K > 1\)），通过几何均值融合成初步相关性得分：

\[\tilde{\mathbf{y}} = \exp\left( \frac{1}{K} \sum_{k=1}^K \log\left(\max(\mathbf{p}_k, 10^{-10})\right) \right)\]

通过计算 \(\tilde{\mathbf{y}}\) 相对原实验离散 hit 标签的 ROC-AUC，剔除 ROC-AUC \(< 0.95\) 的不一致筛选。最终将非 hit 基因得分置零，保留稀疏向量 \(\mathbf{y} \in [0, 1]^G\)。对于既包含促进表型基因又包含抑制表型基因的双向筛选，将其解耦为正向、负向两个独立分支条目及合并条目，反向显著基因赋予负相关性分数，使得模型若将反向基因误排在前列会受到数值惩罚。

2. 压缩与随机基线校准的连续折损累积增益（AnDCG）：跨实验横向可比的评价准则

传统 nDCG 在评估大语言模型输出时存在两大痛点：首先，LLM 并不预先知晓某项实验中究竟测了哪些基因，若将未测基因（unassayed genes）直接判定为假阳性，会严重误惩罚通用生物知识；其次，某些筛选因击中比例高或底噪大，随机猜测也能取得很高的 raw nDCG，破坏跨实验可比性。

针对未测基因，本文设计了“先截断再压缩（condensation after truncation）”机制：对模型输出的前 \(k\) 个基因判定状态，若未在当前筛选中测试则记为 MISSING，将其原地过滤剔除而不由列表深处基因补充填位，得到长度为 \(k' \le k\) 的压缩序列 \(\mathbf{x}'\)。计算常规折损累积增益 \(\text{DCG}@k = \sum_{i=1}^{k'} \frac{x'_i}{\log_2(i+1)}\)。在此基础上，通过推导均匀随机排列下的理论期望基线 \(\text{nDCG}_{\text{rand}}@k = \frac{\text{DCG}@k((\bar{r}, \dots, \bar{r}))}{\text{IDCG}@k}\)（其中 \(\bar{r} = \frac{1}{N}\sum_{i=1}^N r_i\)），提出校准指标：

\[\text{AnDCG}@k = \max\left( \frac{\text{nDCG}@k - \text{nDCG}_{\text{rand}}@k}{1 - \text{nDCG}_{\text{rand}}@k}, \; 0 \right)\]

该指标严格锚定 0 为随机猜测水平，1 为理想排序上限，实现了跨越异构细胞类型与表型的无偏性能对比。

3. 时序严格外推切分与 LaTest 记忆探针：分离知识泛化与预训练数据记忆

为严密评估模型在真实科研场景下的预测泛化能力并防止测试集泄露，基准采用以 2021 年为界的严格时序划分：2021 年前为训练集（1,349 项），2021 年为验证集（218 项），2021 年后为测试集（334 项）。

更为关键的是，鉴于前沿通用大模型预训练语料深度覆盖了 2024 年前的公开学术文献，本文额外手工收集了 2025 年 9 月至 2026 年 4 月间最新发表的高水平人类 CRISPR 筛选作为独立的“LaTest”子集（19 项）。通过对比模型在历史 Test 与全新 LaTest 上的性能衰减幅度，并结合论文引用量回归分析，精确度量模型到底依赖预训练记忆还是真正的机制性生物逻辑推理。

4. 贝叶斯互惠排名融合（RRF）与进化集成架构：兼顾多模型优势并规避时序过拟合

在模型优化探索中，针对直接监督微调（SFT）与传统 Few-shot 在跨分布测试中容易性能回退的问题，研究团队引入基于贝叶斯优化的互惠排名融合（Reciprocal Rank Fusion, RRF）集成机制。算法以顶级大模型预测排名为输入，计算每个基因的综合置信分：

\[S(g) = \sum_{m} \frac{w_m}{K_{\text{RRF}} + \text{rank}_m(g) + 1} \times \prod_{c} \text{Bonus}_c\]

其中 \(K_{\text{RRF}} = 6.808\)，当超过 2 个或 3 个大模型共同提名单一基因时分别施加 1.181 与 1.290 的一致性奖励加权。通过剔除容易导致过拟合的训练集 kNN 软增强先验，单纯保留 Gemini 3 Pro、GPT-5.4 与 Gemini 3 Flash 三大主力，实现了全基准最强且鲁棒的跨分布排序性能。

损失函数 / 训练策略

对于基准中探索的开源可训练模型与神经表征基准： 1. GPT-OSS-120B 后训练：首先在时序训练集（1,349 条）上执行标准多任务监督微调（SFT），学习自由文本到规范 HGNC 基因符号排名的输出映射；随后引入群体相对策略优化（GRPO），直接以生成列表在对应筛选上的 AnDCG@100 作为标量奖励信号展开强化学习对齐。 2. 神经基因相关性预测器（DeepSet）：使用 1536 维 text-embedding-3-small 拼接 4 维表型方向独热向量作为实验上下文表征，基因输入由 43 种生物预训练嵌入（每种 128 维）加可学习位置编码组成，通过 DeepSet 置换不变池化后连接 MLP，采用 AdamW 优化器在连续相关性分数上最小化均方误差（MSE Loss），依据验证集 AnDCG@100 挑选最佳 Checkpoint。

实验关键数据

主实验

基准在严格时序测试集（Test split，334 项筛选）上对闭源前沿大模型、开源优化大模型、生物专用模型及传统基线进行了全面对比（\(k=100\)）。

模型类别	模型名称	AnDCG@100 (↑)	Precision@100 (↑)	dFDR@100 (↓)
经验上限	Oracle kNN（最佳匹配训练集筛选）	0.2918	0.3798	0.0037
集成优化	LLM Ensemble (Gemini 3 Pro + GPT-5.4 + Flash)	0.1631	0.2196	0.0178
通用前沿大模型	Gemini 3 Pro (Zero-shot)	0.1570	0.2226	0.0164
通用前沿大模型	GPT-5.4 (Zero-shot)	0.1470	0.1980	0.0206
通用前沿大模型	Gemini 3 Flash (Zero-shot)	0.1446	0.2009	0.0180
优化前沿大模型	Gemini 3 Pro (Few-shot 10-shot)	0.1537	0.2134	0.0213
优化前沿大模型	Gemini 3 Flash (GEPA 提示词优化)	0.1406	0.1987	0.0214
开源大模型微调	GPT-OSS-120B (SFT + GRPO)	0.1293	0.1699	0.0252
开源大模型微调	GPT-OSS-120B (SFT)	0.1224	0.1738	0.0255
开源基础大模型	GPT-OSS-120B (Base Zero-shot)	0.1211	0.1757	0.0223
生物专用模型/代理	Biomni A1 (Claude 4 驱动的生物智能体)	0.1079	0.1701	0.0176
生物专用模型/代理	C2S-Scale (Gemma-2B 单细胞微调)	0.0355	0.0863	0.0218
神经/频率基线	基因频率先验 Gene-frequency (按表型统计)	0.1334	0.2204	0.0292
神经/频率基线	文本检索 Embedding kNN	0.0646	0.1062	0.0226
神经/频率基线	神经相关性回归模型 (DeepSet)	0.0565	0.1577	0.0306
开源小模型	Qwen3.5-2B	0.0284	0.0755	0.0216

消融与时序外推（LaTest 与技术重复验证）

为探究模型是真正理解机制还是死记硬背历史文献，并在真实生物噪音下寻找理论上限，研究对比了技术重复实验上限以及全新出版物（LaTest，2025年9月后）上的外推表现。

实验/消融设置	评测场景	AnDCG@100	Precision@100	核心结论与机制剖析
技术重复实验上限	真实生物实验技术重复互测	~0.3000	--	技术重复 AnDCG 接近最佳大模型的两倍，证实当前模型离生物实验内在确定性上限仍有很大距离
Oracle kNN	时序测试集 (Test)	0.2918	0.3798	即使仅做完美训练集检索，性能也高出最佳大模型 86%
Oracle kNN	全新文献 (LaTest)	0.2307	0.3079	时序漂移下历史实验相关性降低，但依然保有强检索基底
Gemini 3 Pro	时序测试集 (Test)	0.1570	0.2226	历史测试集上表现优异
Gemini 3 Pro	全新文献 (LaTest)	0.1113	0.2340	性能发生明显回落（下降约 29%），表明文献记忆在历史测试中提供了加成
GPT-OSS-120B (SFT+GRPO)	全新文献 (LaTest)	0.1012	0.2525	经强化学习对齐后，在 LaTest 上的相对留存率与 Precision 表现超越未优化模型
GPT-OSS-120B (Base)	全新文献 (LaTest)	0.0826	0.2497	开源基座在无先验新实验上能力明显不足（AnDCG 仅 0.0826）
Biomni A1 Agent	全新文献 (LaTest)	0.0728	0.0214	外部检索与生信工具调用在面对全新未发表筛选时 Precision 暴跌至 0.0214

关键发现

• 通用前沿大模型碾压领域专用模型：Zero-shot 下的通用前沿大模型（Gemini 3 Pro、GPT-5.4、Gemini 3 Flash）全面大幅领先经过专门生物/单细胞微调的模型（C2S）或具备生信工具链的自主代理（Biomni），印证了大规模预训练注入的通用生物医学因果推理与上下文理解显著强于小规模专用微调。
• 经验天花板遥不可及：当前最佳单模型（Gemini 3 Pro，AnDCG 0.1570）即使加上多模型 RRF 进化集成（0.1631），依然只有真实实验技术重复（Technical Replicates）和 Oracle kNN 经验性能（~0.30）的一半左右，当前大模型距实用级“虚拟细胞”仍有巨大鸿沟。
• 表型先验驱动显著：按表型统计的击中基因频率基线（Gene-frequency）取得了高达 0.1334 的 AnDCG，甚至超越了基础开源 120B 大模型。深入分层分析表明，这一现象绝大部分由“细胞生长活力/增殖（Viability/Proliferation）”表型贡献，因为人体关键必选基因（essential genes）具有极强的泛跨度共通性；而在宿主-病原体响应或特定通路报告基因表型中，频率基线失效，高度依赖大模型对具体生物学上下文的推理。
• 预训练记忆效应显著但并非全部：协变量回归分析证明，论文历史被引次数（Citation count）与大模型预测准确度高度正相关，且在全新发表的 LaTest 筛选上模型普遍出现性能滑坡；然而在 LaTest 上前沿模型依然大幅击败随机基线和专用小模型，且 Qwen 家族同参数量跨代迭代展现出稳步上升趋势，表明模型内部确已沉淀出可压缩的生物机制逻辑推断能力。
• 系统性生物学认知偏差：大模型预测存在鲜明的家族式生物偏倚：GPT 系列系统性过度预测细胞周期相关基因（Cell-cycle），Gemini 系列过度偏向发育生物学相关基因（Developmental-biology），而所有模型无一例外均显著超额推荐疾病相关基因（Disease-associated genes），折射出预训练语料中疾病与癌症研究文本密度过高带来的表征失真。

亮点与洞察

• 表型端点基因重排序范式：不同于以往关注单细胞测序表达谱恢复的生成任务，AssayBench 直击药物研发决策靶点筛选的实际场景，将高难度、异构的多模态生物物理实验转化为统一规范的基因排序问题，契合大模型与 Agent 处理长上下文和复杂语义的长处。
• 消除未测惩罚与基线偏置的 AnDCG 设计：创新性地设计了“先截断后压缩”与“解析化减去随机期望”的数学框架，既保证了模型预测未测基因不被误判为假阳性，又使跨越五大表型类别的异构实验具备完全同质的数值对比标尺，具备极高的指标复用价值。
• 以进化集成突破单模型泛化瓶颈：通过贝叶斯优化学习多模型互惠排名权重与一致性加成奖励，并果断剪除带来过拟合的训练集 kNN 先验，成功在严苛的时序外推测试集中创下当前最高的 0.1631 排序表现。

局限与展望

• 经验性能上限评估偏向保守：由于公开数据库 BioGRID 未对技术重复实验做显式元数据标注，本基准通过匹配实验属性识别出 32 项技术重复，若其中存在实验批次扰动差异，则真实的理论生物学性能上限比当前测得的 0.30 还要更高，大模型差距更大。
• 微调数据规模受限与外推泛化：当前仅在 1,349 项历史筛选上微调易陷入任务过拟合（如 GEPA 提示词优化在验证集领先但在测试集回退）。未来需引入通用扰动因果推理、生物通路层级拓扑推演等辅助预训练任务，并探索表型筛选领域的专用缩放定律（Scaling Laws）。
• 学术公开数据的记忆性污染挑战：公共 CRISPR 筛选文献在互联网高度公开，使得通用大模型无法彻底免除数据泄露嫌疑。尽管 LaTest 提供了有效探针，但建立常态化、按季度滚动的最新未公开/最新发表实验自动评估流，是保持虚拟细胞基准生命力的必要保障。

相关论文

• [NeurIPS 2026] Calibrating LLMs with Semantic-Level Reward
• [NeurIPS 2026] PhysElite: How Far Are LLMs from Solving Olympiad-Level Physics Problems?
• [ICLR 2026] DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents
• [NeurIPS 2026] AI Evaluation Should Require Standardized Item-Level Data Releases
• [ICLR 2026] ResearchRubrics: A Benchmark of Prompts and Rubrics For Evaluating Deep Research Agents