BioXArena: Benchmarking LLM Agents on Multi-modal Biomedical Machine Learning Tasks¶

会议: NeurIPS 2026
arXiv: 2605.15766
代码: https://github.com/bioxarena/bioxarena
领域: LLM评测
关键词: 生物医学机器学习, 大语言模型智能体, 自动化模型构建, 多模态基准评测, 代码生成评测

一句话总结¶

针对现有生物医学智能体基准仅停留在问答推理或局限于狭窄管道、无法评测端到端机器学习建模的痛点，BioXArena 提出了涵盖 9 大领域 76 项端到端机器学习任务的标准化多模态评测基准，并在统一定量标准与沙箱资源下对 18 种主流智能体与基座组合进行了系统性基准测试。

研究背景与动机¶

大语言模型驱动的自主智能体（LLM Agents）正快速从被动的问答助手演进为可探索文件系统、撰写与调试代码、调用外部工具及执行完整科学实验流程的主动研究者。在通用数据科学与机器学习领域，以 MLE-bench 为代表的基准测试已经能够系统量化智能体从数据探索、特征工程到模型训练、调优与私有集预测的自动化能力。生物医学计算对模型构建的专业度与异构性要求极高，涵盖小分子性质、单细胞表达谱、医学影像、蛋白质三维结构以及临床表型等多维度数据。若能构建能够自主完成此类多模态复杂任务的生物医学机器学习智能体，将极大加速精准医疗与新药研发进程。

然而，现现有的生物医学智能体评测体系存在显著的断层与盲区。一类是侧重生物学知识理解、文献问答与分析链路编排的推理评测（如 LAB-Bench、BixBench、BioProBench、BiomniBench 等），它们仅评估智能体回答选择题、生成实验步骤或撰写生物信息分析脚本的能力，并不要求智能体真实训练预测模型并提交私有测试集推断；另一类是现有的生物医学机器学习编程基准（如 AIRS-Bench 或 BioML-bench），其任务规模较小（如 BioML-bench 仅 24 项任务），领域覆盖窄，且数据输入以常规的表格特征或 Kaggle 格式为主，多模态与多数据源任务占比极低，无法反映真实生物医学研究中多组学融合、空间坐标匹配、序列与结构共模建模等复杂异构接口。

为了弥合这一差距，研究团队联合机器学习专家与计算生物学学者，构建了一个全面对齐真实科研环境的生物医学机器学习端到端编程基准。本文的核心 idea 是：构建覆盖 9 大生物医学核心领域的 76 项端到端机器学习建模任务基准 BioXArena，以高比例的多源与多模态输入（60.5% 多模态、88.2% 多源）还原真实科研数据接口，并通过沙箱隔离执行、私有标签与生物学感知度量评测，全面揭示通用代码智能体、专业生物医学智能体及搜索演化框架在完整建模链路中的能力边界。

方法详解¶

整体框架¶

BioXArena 的整体评测系统由专家清洗标准化的高保真任务胶囊（Public Task Capsules）、统一的无网隔离沙箱运行器（Controlled Sandboxed Runner）以及独立私有的评测判分服务（Held-out Evaluator & Metric Converter）构成。每个任务胶囊为智能体提供结构化的训练与测试输入、任务说明文档 description.md 以及提交格式样例 sample_submission.csv；所有智能体在完全受控的统一算力配额（1 张 NVIDIA A100 GPU、16 核 CPU、96 GB 内存及 2 小时运行限时）下自主探索数据、撰写 solution.py、执行模型训练并导出预测结果；最后由私有评测器对预测标签进行生物学感知的指标打分并统一定标映射至 $[0, 100]$ 分值区间。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["76 项权威生物医学任务数据源<br/>(序列/单细胞/结构/网络/化生/扰动/表型/影像/文本)"] --> B["1. 高异构多模态任务胶囊标准化<br/>公开数据/描述与私有测试标签隔离封装"]
    B --> C["2. 统一沙箱执行与容错交互环境<br/>受控算力(A100+16核+96GB)与2小时执行预算"]
    C --> D["3. 18 种智能体-基座组合自主建模<br/>Minimal/通用编程/生物专业/搜索演化框架"]
    D --> E["4. 生物学感知对齐评测与指标统一映射<br/>私有判分/相关系数线性定标/非正常预测惩罚"]

关键设计¶

1. 高异构多模态任务胶囊标准化：还原真实生物医学复杂数据接口
传统基准常将输入规整为纯二维表格，掩盖了生物计算中数据格式碎片化和异构对齐的天然难点。BioXArena 筛选自 40 余个核心学术数据库与顶会期刊，涵盖 9 个主要领域：序列分析（10项）、单细胞组学（10项）、大分子三维结构（8项）、网络生物学（8项）、化学生物学（8项）、细胞扰动动力学（8项）、临床表型与疾病（8项）、医学影像（8项）以及文本整合多模态（8项）。其中 88.2%（67/76）的任务为多源任务，60.5%（46/76）为严格跨模态家族任务（结合表格、图像、文本、DNA/RNA/蛋白质序列、单细胞表达谱稀疏矩阵、空间坐标或 PDB 三维分子构型）。数据存储包含 CSV、H5AD（AnnData）、NPZ/NPY、PDB/mmCIF、WFDB 波形文件以及压缩 JSONL 等。所有任务胶囊剔除私有标签，仅保留脱敏后的特征与元数据，并通过严格的同源聚类划分（如 MMseqs2 30% 同源过滤、Butina 分子聚类划分）避免训练集与测试集信息泄露。

2. 统一沙箱执行与容错交互环境：兼顾可复现性与执行链路审计
针对智能体运行时网络波动与环境漂移问题，评测流水线将代码执行严格限制在无外部互联网访问的独立 Docker / Slurm 沙箱中。所有被评测的 18 种智能体框架（包括 Minimal 极简修复器、OpenCode、Codex、Claude Code 命令行工具，以及 Biomni、STELLA、MLMaster2 和 MLEvolve）均在完全一致的资源配额（单卡 A100-80GB、16 核 CPU、96 GB RAM、2 小时硬性超时时间）下串行运行。评测器不仅记录最终生成的 submission.csv，还捕获完整的模型调用轨迹、生成的 solution.py、运行日志、推理训练时间消耗以及输入输出 Token 统计。Minimal 基线提供至多 3 次 API 代码纠错机会，用最小控制流分离基座模型纯代码生成能力与复杂脚手架的系统增益。

3. 多样化智能体架构评测阵列：覆盖极简、通用、生物垂直与搜索演化四大家族
为了深入解耦“基座模型内在能力（LLM Backbone）”与“智能体脚手架（Scaffold）”对最终性能的影响，评测覆盖了 18 种系统配置：
- 极简代码修复基线（Minimal）：固定相同的三步式提取-执行-反馈循环，接入 7 种不同大模型基座（GPT-5.6-sol、Opus 4.6、Gemini-3.1-Pro、GLM-5.1、Qwen3.6-Plus、Gemma-4-31B、DeepSeek-V3.2），实现基座能力的纯净横向对比；
- 成熟通用编程智能体（Generic Coding Harnesses）：基于 CLI 交互、自带工具链与自我反思调优机制的 OpenCode、Codex 与 Claude Code，分别搭配 GPT-5.6-sol、GPT-6 Astra、Opus 4.6、Opus 5 及 Opus 5.5；
- 生物专业智能体（Biomedical Agents）：具备领域工具与专业规划模块的 Biomni（搭配 Sonnet 5）与 STELLA（多智能体协作架构，搭配 Sonnet 5）；
- 机器学习演化搜索智能体（ML-oriented Search Agents）：基于长程树搜索与候选程序遗传演化的 MLMaster2（搭配 DeepSeek-V4-Pro）与 MLEvolve（基于蒙特卡洛图搜索 MCGS 与 Draft/Improve/Debug/Evolution/Fusion 五大子智能体，搭配 Gemini-3.1-Pro）。

4. 生物学感知对齐评测与指标统一映射：建立无偏公平的标量评价准则
生物医学机器学习任务的标签分布极度不均衡且具有特殊物理意义，单一准确率容易产生严重误导。BioXArena 针对每类生物任务量身匹配了 9 种评估指标：回归任务采用 Pearson 线性相关系数或 Spearman 秩相关系数；极不平衡正负样本检测（如转录因子结合位点、蛋白质界面残基）采用 AUPRC；多分类与表型分型采用 Macro-F1 或 Macro ROC-AUC；生存分析采用 C-index；三维结构与影像分割分别采用 TM-score 与 mean Dice。为便于全景排行榜汇总，所有指标被线性映射至统一的 $[0, 100]$ 分值区间。其中原值域为 $[-1, 1]$ 的 Pearson 和 Spearman 相关系数 $r$ 按照下式线性缩放： $$S = \frac{r + 1}{2} \times 100$$ 使得 $r=0$（无相关性）映射为 50 分，$r=-1$ 映射为 0 分，$r=1$ 映射为 100 分。而对于输出常数导致分母方差为 0、预测值含 NaN/Inf、文件格式错位或超时的无效提交，严格判为 0 分惩罚（Penalized Score），避免通过简单输出常数刷取基准均值。

实验关键数据¶

主实验¶

在全部 76 个任务的全量评测中（惩罚未完成任务为 0 分），成熟通用编程智能体展现出了最卓越的端到端稳健性与预测质量。Codex（搭配 GPT-6 Astra）与 Claude Code（搭配 Opus 5.5）分别以 73.91 分与 73.79 分领跑全场排行榜，显著超越所有专业生物智能体与极简基线。

智能体配置 (Scaffold + Backbone)	提交成功数 (OK / 76)	失败数 (Fail)	成功任务均分 (Succ. Mean)	全任务惩罚均分 (Penalized)	平均耗时 (min)
Codex + GPT-6 Astra	76	0	73.9	73.91	16.4
Claude Code + Opus 5.5	72	4	77.9	73.79	28.0
OpenCode + GPT-5.6-sol	75	1	69.6	68.69	18.6
Codex + GPT-5.6-sol	76	0	68.7	68.67	7.7
Claude Code + Opus 5	63	13	79.1	65.59	70.8
Minimal + GPT-5.6-sol	75	1	66.2	65.35	4.8
Claude Code + Opus 4.6	69	7	71.1	64.55	45.3
MLEvolve + Gemini-3.1-Pro	74	2	65.0	63.27	120.0
Biomni + Sonnet 5	67	9	69.0	60.86	13.5
Minimal + GLM-5.1	72	4	64.1	60.70	25.8
OpenCode + Opus 4.6	63	13	72.8	60.38	58.3
Minimal + Gemini-3.1-Pro	72	4	62.2	58.88	3.9
Minimal + Opus 4.6	67	9	66.3	58.41	49.9
STELLA + Sonnet 5	60	16	69.6	54.98	25.9
Minimal + Qwen3.6-Plus	71	5	58.9	54.99	9.4
MLMaster2 + DeepSeek-V4-Pro	63	13	64.6	53.53	120.0
Minimal + Gemma-4-31B	55	21	63.0	45.57	31.7
Minimal + DeepSeek-V3.2	55	21	55.0	39.81	8.7

消融实验¶

1. 固定基座模型（DeepSeek-V3.2）对比不同脚手架¶

为了消除基座模型强度的干扰，实验在统一使用 DeepSeek-V3.2 的前提下评测了 5 种不同脚手架架构。MLEvolve 凭借系统化的解空间搜索在全任务与成功任务上均取得最高分；而 STELLA 由于多智能体协调开销极大、极易触及 163k 上下文上限，导致 9 项任务因超出上下文而失败，最终惩罚得分甚至低于最简单的 Minimal 基线。

脚手架配置 (固定 DeepSeek-V3.2)	成功任务数 (OK / 76)	成功任务均分	全任务惩罚得分	核心瓶颈 / 失败主因
MLEvolve (MCGS 搜索)	69	63.5	57.62	耗尽完整 120 分钟预算，但解生成与修复最稳定
Biomni (A1 ReAct 智能体)	60	58.8	46.42	依赖生物工具，部分任务工具调用报错或空返回
MLMaster2 (MCTS 搜索)	49	63.5	40.93	内部代码训练迭代耗时过长，27 项任务超时
Minimal (3次重试代码提取器)	55	55.0	39.81	缺乏工具与反思，简单语法/依赖错误后无法恢复
STELLA (多智能体协作)	49	55.5	35.77	多智能体上下文迅速膨胀（9项超上下文），多项提前退出

2. 时间预算拓展消融：MLEvolve 2小时 vs 12小时¶

在化学生物学与表型疾病两个领域上，将 MLEvolve（Gemini-3.1-Pro）的搜索时间预算从 2 小时延长至 12 小时：

领域	2 小时得分	12 小时得分	提升幅度 ($\Delta$)	提升任务比例	最大单项增益
化学生物学 (Chemical biology)	63.4	78.1	+14.7	8 / 8	BACE1 亲和力 (+87.0，2h时超时失败得0分)
表型疾病 (Phenotype–disease)	59.5	60.0	+0.5	3 / 8	乳腺癌亚型 (+12.1)

关键发现¶

通用编程脚手架压制垂直专业智能体：Codex 与 Claude Code 凭借卓越的终端工具使用、上下文管理和动态代码纠错能力，在综合表现上压制了内置专用生物工具库的 Biomni 和 STELLA。这表明在复杂端到端 ML 建模中，精准的代码排错与工程闭环能力比死记硬背领域特定 API 更为关键。
失败模式集中在执行鲁棒性：在全部 1,368 次评测中共出现 143 次失败，其中无提交（45.5%）和超时（37.8%）合计占到了 83.2%，仅有极少数属于 NaN/Inf（0.7%）或格式解析错误。很多模型并非没有算法构思能力，而是卡在数据读取依赖、CUDA 显存溢出或死循环中。
单细胞是整体最易领域，文本多模态整合最难：跨所有智能体来看，单细胞任务平均得分最高（73.0），得益于 Scanpy / AnnData 生态极度标准化；而文本整合任务（46.4）与结构任务（54.7）表现最差，反映出当前智能体在同时处理长文本提示、高维图像特征及 PDB 三维坐标时，多模态特征融合与非标准化格式加载仍存在严重短板。
模型选型偏好两极分化：统计智能体最终采纳的模型方案显示，在化学生物学和表型分类等小样本表格任务中，智能体压倒性地倾向于选择 LightGBM/XGBoost 等梯度提升树；而在序列和单细胞等任务中，则偏好微调预训练 Transformer 或自建深度网络（DNN/MLP）。

亮点与洞察¶

多模态与多源任务的高占比突破：与以往多为纯表格清洗竞赛的基准不同，BioXArena 超过 60% 的任务涉及跨模态特征融合，真实反映了当前计算生物学面临的复杂数据接口。
去污染对照验证设计巧妙：通过对 10 个具有明显来源线索的 CSV 任务执行显式源信息与样本 ID 遮盖消融实验，发现遮盖前后宏平均得分仅相差 +0.85 分，有效排除了模型仅依靠记忆公开数据集元数据作弊的疑虑。
Best-per-task 上限揭示巨大整合空间：通过聚合各任务上表现最好的单项模型得分，构建的虚拟上限均分达到 79.63 分，比单一最佳系统 Codex-GPT-6 Astra（73.91）高出 5.72 分，说明不同架构在特定模态和领域上各具独特优势，混合智能体路由或模型融合将是未来的重要突破方向。

局限与展望¶

计算资源限制与单次采样方差：受限于极其昂贵的评测开销（每个智能体需跑 76 个各 2 小时的任务），主榜单各配置仅执行单次运行，虽然附录进行了小规模三轮稳定性复测，但难以完全排除特定随机种子或网络偶然重试造成的轻微位次波动。
对前沿基础模型微调的算力受限：2 小时硬性超时时间迫使智能体更倾向于选择轻量级机器学习模型（如树模型或浅层 MLP），而在需要对 ESM-2、scGPT 或大型病理 Foundation Model 进行深度微调的大规模多模态任务上时间不足。
缺乏交互式生物湿实验与动态闭环：当前评测仍属于回顾性（retrospective）预测，无法评估智能体在真实生物发现中迭代提议假说、设计湿实验扰动并根据真实反馈调整方向的前瞻性科研能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首个大规模涵盖 9 大领域与多模态复杂数据接口的端到端生物医学机器学习编程基准。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 18 种不同基座与脚手架的系统性全量评测，包含固定基座消融、时间预算拓展、去污染分析及模型类型解构。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨清晰，指标设计科学自洽，附录统计详实全面。
价值: ⭐⭐⭐⭐⭐ 极大推动了 AI for Science 领域中自动化科研智能体的标准化量化评测，对真实生物医药研发具有高指导意义。