RxnOptBench: Benchmarking LLMs for Reaction-Condition Optimization in Organic Methodology¶

会议: NeurIPS 2026
arXiv: 2610.02242
OpenReview: https://openreview.net/forum?id=nRZPOomuFO
代码: https://github.com/Lingli-Ge/RxnOptBench
领域: LLM 评测
关键词: 化学反应条件优化, 湿实验条件筛选表, 大语言模型评测, 组合决策, 连续效用函数

一句话总结¶

基于 2025 年顶刊发表的 552 张真实有机合成湿实验条件筛选表构建首个反应条件推荐基准 RxnOptBench，评测 12 款前沿与化学专属大模型，揭示出模型在单变量与全条件联合决策间存在显著组合脆弱性。

研究背景与动机¶

有机合成方法学的核心推动力不仅在于新键形成模式的发现，更依赖于催化剂、配体、溶剂、添加剂、温度和时间等协同参数的最佳组合，以实现高产率与高立体选择性。传统基于贝叶斯优化或高通量实验（HTE）的计算工具通常局限于预先设定的反应模板与封闭候选集，难以推广到全新报道的催化体系；而基于海量文献训练的大语言模型虽已开始作为自主化学智能体的决策核心，其在真实实验情境下推荐反应条件的可靠性却从未得到系统检验。

现有化学基准如 USPTO-50k、Pistachio 或 ORD 普遍将反应记录为孤立样本，缺失了筛选实验中成对对比与条件微调的局部决策上下文；而 ChemLLMBench、ChemBench 等近期评测体系主要聚焦于分子性质预测、逆合成路线或 SMILES 语法转换等知识检索型任务，无法考察模型在面对候选条件集时做出比较性与最优化决策的能力。真实文献中的条件筛选表恰好提供了专家精心探索的成对对照数据，但此前缺乏可信的抽取流水线与科学评测体系将其转化为标准基准。

为此，研究团队聚焦于从 2025 年 16 个顶级化学期刊正文与支持信息中挖掘真实条件筛选表，结合专家人工全量审核与产率/选择性联合连续效用评分，并引入成对先例设计消除参数化记忆干扰。核心 idea：将有机方法学论文中的湿实验条件筛选表转化为单变量与全条件选择的多项选择及填空题，构建首个基于真实实验数据且综合产率与立体选择性连续分数的反应条件优化基准 RxnOptBench。

方法详解¶

整体框架¶

RxnOptBench 的构建管线包含从 2025 年顶刊文献中半自动化提取条件筛选表、化学结构与条件规范化、专家级人工审核以及题目构造四大阶段。输入为来自 16 本化学旗舰期刊的 232 篇论文原生 PDF 与 Supporting Information，输出为覆盖 8 种子任务、包含 4,773 道题目的多项选择（MC）与填空题（FIB）评测集。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["文献输入<br/>232篇2025年顶刊PDF与SI"] --> B["文献筛选与表格理解<br/>短语初筛与跨页重构"]
    B --> C["分子解析与结构绑定<br/>Mask R-CNN分割与GTR-VL识别"]
    C --> D["反应记录构建与专家审核<br/>单元格类型推断与硕士博士核验"]
    D --> E["题型构造与成对设计<br/>MC/FIB单轴与全轴组合+先例对照"]
    E --> F["连续相对效用评测<br/>结合产率、ee、dr、rr综合打分"]

关键设计¶

1. 四阶段人机协同表格抽取流水线：突破实验文献解析瓶颈

针对化学筛选表排版多样、跨页断裂以及结构式以图表与代码标签（如 1a、L1）混合呈现的难题，设计了端到端抽取系统。第一阶段结合正则与视觉大模型（Kimi-K2.6）过滤非筛选表格并重构跨页表格元数据；第二阶段使用 DECIMER-Segmentation（基于 Mask R-CNN）定位分子图像，调用基于 GTR-VL 的 MinerU.Chem 识别分子并由 RDKit 验证，再通过 VLM 将文本代号绑定至规范 SMILES；第三阶段由 VLM 分解单元格角色，解析脚注与反应式箭头并借助 PubChem 统一试剂命名；第四阶段引入 4 名硕士与 2 名博士化学专业人员进行一对一人工核验，纠正或剔除错误条目。最终从 911 张候选表中保留 552 张优质表格与 5,451 条反应记录，涵盖 20 类主要转化反应与 341 种独特目标产物分子。

2. 层次化题型设计与成对先例控制：解耦单轴推理与联合决策

针对化学实验决策的局部探索与全局配置需求，设计了两大响应形式与八个评测子集。多项选择包括锁定其他变量仅优化单个轴的 MC_single，以及在所有观测到的真实组合行中挑选最优解的 MC_all；填空题 FIB 则要求模型针对每个变化轴输出候选索引，仅当组成的多元组与文献中实际测试的某一行完全一致时才计为有效命中（Hit）。为剥离模型单纯依靠参数化记忆文献答案的干扰，针对 MC_single、MC_all 与 FIB 分别构造了包含 2-5 个低中产率真实实验行作为上下文参考的 _precs 变体及其严格同构的无先例对照组（_precs_paired），且先例实验中绝对隐去全局最优解，使得通过先例引入的增益 \(\Delta r = r_{\text{precs}} - r_{\text{noprec}}\) 能纯粹衡量模型利用实验趋势进行外推的能力。

3. 连续综合效用函数：融合产率与多维立体选择性

传统评测通常仅以产率为单一指标或采取二值准确率，忽略了真实方法学对对映选择性（ee）、非对映比（dr）与区域异构比（rr）的极度依赖以及次优条件的实用价值。定义单条条件的基准综合有效效用 \(\text{effective}(s)\)：

\[\text{effective}(s) = \text{yield} \cdot f_{\mathrm{enantio}} \cdot f_{dr} \cdot f_{rr}\]

其中当报告对映体过量时 \(f_{\mathrm{enantio}} = (100 + |ee|)/200\)；若报告比例则取归一化主对映体分数；未报告的选择性轴则采用中性因子 1。对于题目 \(q\) 中的所有可评分候选集合 \(\mathcal{O}_q\)，候选条件 \(o\) 的相对得分 \(r_q(o)\) 归一化为：

\[r_{q}(o) = \mathrm{clamp}\left(\frac{\text{effective}(o)}{\max_{o' \in \mathcal{O}_q} \text{effective}(o')}, 0, 1\right)\]

该定义保证了模型即使未选出绝对全局最优，只要选出实验性能接近的次优解亦可获得合理局部权重。

损失函数 / 训练策略¶

RxnOptBench 作为一个冻结测试基准，不直接包含模型训练环节。评测覆盖 6 款开源通用大模型（DeepSeek-V4-Pro、Kimi-K2.6、GLM-5.1、Qwen3.5-397B-A17B、Intern-S1-Pro、MiniMax-M2.7）、3 款顶级商业闭源模型（Claude-Opus-4.7、GPT-5.5、Gemini-3.1-Pro）以及 3 款化学专用模型（ChemLLM、ChemDFM、ChemVLM）。所有模型评测统一关闭采样（temperature=0 或贪婪生成模式），使用固定的输入 Prompt 模板与一致的随机种子打乱候选顺序。在填空题中，评测指标分别输出有效行命中率（Hit）、严格最优准确率（StrictAcc）以及仅在命中行上计算的相对效用分（\(\text{Score}\mid\text{Hit}\)）。

实验关键数据¶

主实验¶

在无先例（no-precedents）设置下，12 款模型在单变量多选（MC_single）、全条件多选（MC_all）和填空（FIB）上的表现如下表所示。统一随机基线（Uniform random）设定了任务的理论底线（Score 在 0.540 至 0.669 之间）。

模型	MC_single 准确率	MC_single 得分	MC_all 准确率	MC_all 得分	FIB 命中率	FIB 严格准确率	FIB 得分\|Hit
Uniform random	36.5%	0.669	17.8%	0.540	28.1%	5.9%	0.540
ChemLLM	36.1%	0.666	20.7%	0.545	25.2%	6.6%	0.554
ChemDFM	36.7%	0.670	20.5%	0.547	33.5%	7.6%	0.557
ChemVLM	41.4%	0.712	23.6%	0.602	27.7%	6.7%	0.610
Intern-S1-Pro	43.4%	0.734	27.9%	0.644	41.7%	9.6%	0.576
Qwen3.5-397B-A17B	42.2%	0.711	32.2%	0.681	42.2%	10.7%	0.615
Kimi-K2.6	41.3%	0.707	31.9%	0.674	40.9%	13.0%	0.637
GLM-5.1	44.6%	0.729	32.2%	0.675	44.9%	13.6%	0.646
MiniMax-M2.7	43.1%	0.729	26.8%	0.656	42.8%	12.1%	0.666
DeepSeek-V4-Pro	44.6%	0.745	32.4%	0.676	47.5%	13.6%	0.672
GPT-5.5	45.4%	0.754	32.4%	0.674	49.1%	16.1%	0.699
Gemini-3.1-Pro	46.8%	0.760	35.0%	0.709	49.6%	15.0%	0.675
Claude-Opus-4.7	48.6%	0.764	36.8%	0.725	44.4%	14.3%	0.683

消融实验¶

在 MC_single 模式下针对不同化学条件维度展开细粒度消融分析，各类别表现体现了不同实验变量的优化难度差异：

评估维度 (Key)	测试题数	ChemLLM (%)	DeepSeek-V4-Pro (%)	GPT-5.5 (%)	Claude-Opus-4.7 (%)	表现特征分析
反应试剂 (rea)	227	33.5	42.3	43.2	44.9	候选空间大，化学先验要求高
溶剂选择 (sol)	201	30.8	38.8	42.3	42.3	极性与配位效应敏感
催化剂 (cat)	145	29.7	35.9	40.7	42.8	全模型跨格式性能瓶颈
反应温度 (T)	104	41.3	52.9	50.0	45.2	连续数值梯度易于启发式判断
反应时间 (t)	95	40.0	47.4	41.1	52.6	动力学与分解平衡较难判断
光源条件 (hv)	73	35.6	61.6	61.6	64.4	候选选项少（小基数），区分度偏高
反应氛围 (atm)	48	47.9	50.0	41.7	64.6	惰性/空气二选一，相对简单
配体选择 (lig)	40	35.0	42.5	55.0	57.5	空间位阻与电性匹配依赖深层化学直觉

关键发现¶

任务整体饱和度低：最强闭源模型 Claude-Opus-4.7 在全变量多选中的准确率仅为 36.8%，而在填空题中即使是表现最佳的 GPT-5.5，严格最优准确率也仅有 16.1%，距离实际可用工具存在显著差距。
化学专用模型陷入随机基线：ChemLLM、ChemDFM 和 ChemVLM 在 MC_all 上的得分仅为 0.545–0.602，紧贴统一随机基线（0.540），未展现出预训练化学语料带来的实质优势，且在错例分析中暴露出显著的零位索引（Index-0）选择偏置。
开源大模型显著逼近闭源前沿：DeepSeek-V4-Pro 在单变量多选上取得 44.6% 准确率与 0.745 得分，在全变量多选上与 GPT-5.5 持平（32.4%），在填空题上的 Hit 达到 47.5%，开源与商业前沿差距已缩减至微小区间。
组合脆弱性（Combinatorial Brittleness）：模型在单变量优化上的准确率普遍在 40–48%，但当要求跨多个轴联合决策时（MC_all 与 FIB），性能出现断崖式下跌，表明模型缺乏对不同化学因子协同相互作用的系统建模能力。

亮点与洞察¶

真实湿实验筛选表落地：彻底摒弃传统合成数据集只记录单一成功结果的缺陷，从 2025 年最新文献中直接提取包含失败与次优对照的筛选表，构建出高保真的局部决策空间。
巧妙的成对先例实验设计：通过在相同选项空间中引入隐去最优解的 2–5 个真实先例行，实现了上下文利用能力与模型固有参数化记忆的完全解耦。
揭示前沿模型核心短板：量化了当前大模型在化学条件优化中的瓶颈不在于单个因子的常识记忆，而在于多变量空间下的条件协同与联合推理。

局限与展望¶

作者承认的局限：文献样本集中于 2025 年且主要覆盖热反应、光催化等主流有机方法学，电化学、流动化学及生物催化等亚领域样本覆盖尚显不足；当前填空题评测采用严格字符串/索引匹配，未引入化学等价物无序判定机制。
自行发现的局限：文献中报告的筛选表本身存在正向偏差（未能展示实验室中所有尝试过的负样本），且未报告的条件组合无法验证其真实物理可行性，只能在封闭的文献观测空间内计算相对效用。
改进方向：引入化学图神经网络或量化计算工具构建开放式反应条件模拟器；扩展主动学习与检索增强模块，赋予模型根据初期试错动态修正后续条件的能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从有机方法学筛选表中提炼真实决策基准，成对先例设计精巧
实验充分度: ⭐⭐⭐⭐⭐ 评测 12 款主流前沿与化学模型，涵盖多题型与多维度消融
写作质量: ⭐⭐⭐⭐⭐ 论文逻辑清晰严密，对评测边界与潜在偏差的论证十分诚实
价值: ⭐⭐⭐⭐⭐ 为自主化学实验智能体（AI Chemist）的决策评估提供了关键测试基准