URSA: Chemistry-Aware Benchmark for Utilitarian Retrosynthesis Assessment¶

会议: NeurIPS 2026
arXiv: 2607.04688
OpenReview: https://openreview.net/forum?id=3WEHvL562O
代码: https://github.com/insilicomedicine/URSA
领域: 计算生物
关键词: 逆合成路线规划, 化学合理性评测, Solv-N形式化体系, 计算机辅助合成设计, 真实药物候选集

一句话总结¶

针对逆合成路线评测长期受限于起始原料可达性（Stock Termination）与已知路线精确复现（Route Reproduction）两极的困境，本文提出了融合 ChemCensor 化学先例验证与标准化路线解析的 URSA 评测基准，首次在 Solv-2 化学合理性边界下系统量化了经典 CASP 求解器与前沿大语言模型的真实规划能力。

研究背景与动机¶

计算机辅助合成规划（Computer-Aided Synthesis Planning, CASP）旨在为目标分子设计可行的化学反合成路径，是药物发现与有机化学的核心挑战。半个多世纪以来，绝大多数 CASP 算法都将逆合成建模为以商业可得原料库为叶子节点的前驱体树搜索，并以“是否找到终止于库存的前驱体路径”（即通用的可解性 Solvability）作为主流衡量指标。然而，这种基于库存终止的评价标准存在极大的化学局限：其得分高度依赖原料库定义边界，更关键的是原料终止完全无法保证路径中的每一步单步反应具备化学合理性，导致许多在拓扑上连通但实际化学中存在严重官能团冲突或选向性错误的荒谬路线获得高分。

另一方面，诸如 PaRoutes 等以实验已知路线复现为目标的基准虽然提供了高质量的真实信号，但其判定标准过于严苛与保守，无法认可与文献参考路线不同却完全化学可行的创新合成方案。现有评测体系因此陷入“形式化库存终止纵容不合理创新，而精确路线复现排斥合理创新”的测量鸿沟。近期提出的 Solv-N[task] 形式化体系将合成路线质量划分为语法有效性（Solv-0）、拓扑与模板有效性（Solv-1）、化学与选择性合理性（Solv-2）以及实验可执行性（Solv-3）。在这一层级中，如何在无需昂贵低速的人工专家盲审的前提下，对复杂多步路线在关键的 Solv-1/Solv-2 边界建立高保真、可拓展的自动化判别协议，成为当前从“可搜索时代”迈向“化学有效性时代”的紧迫技术空白。

本文切入的角度在于：引入基于化学先例（Synthetic Precedents）的确定性反应合理性评测器 ChemCensor，并配合统一的多系统路线标准化与子树重构策略，构建兼顾药物化学实际需求与严格选择性检验的评测基准。本文的核心 idea 是：构建首个聚焦于 Solv-1/Solv-2 化学合理性边界的逆合成路线评测框架 URSA，通过统一标准化异构路线表示、结合子树聚合与 ChemCensor 反应中心先例校验，在包含前沿批准药物与未公开专家设计路线的真实分子集上全面评测端到端 CASP 模型与主流 LLM。

方法详解¶

整体框架¶

URSA 的整体评测流程旨在对异构规划系统（包括基于规则/神经引导的经典 CASP 算法以及输出自然语言或结构化文本的 LLM）生成的候选逆合成路线进行端到端的标准化、拓扑校验与逐反应步化学合理性审查。输入为目标分子与各模型预测的逆合成候选路线，输出为经清洗验证的路线有向无环图（DAG）、分级 Solv-N 达标状态以及量化的 ChemCensor 合理性得分。

评测流由四个核心阶段构成：首先，将各系统非统一格式的输出转换为统一的 RetroCast 规范路线表示；其次，执行主完整性校验与商业可得起始原料（CABBs）库存终止过滤；接着，针对文献反应步记录粒度不一的问题，通过子树生成（Subtree Generation）对单组分反应步进行合理解压缩与聚合，消除由于脱保护或试剂制备粒度引起的先例匹配偏差；最后，调用 ChemCensor 计算每个反应中心的先例匹配置信度并聚合为整条路线的综合评分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：目标分子 + 异构规划系统路线<br/>(经典 CASP 工具 / LLM 提示输出)"] --> B["阶段 1：路线标准化与拓扑校验<br/>RetroCast 统一格式转换与 RDKit 语法过滤"]
    B --> C["阶段 2：商业原料库存终止过滤<br/>25.5万 Enamine/ASKCOS/eMolecules 原料核验"]
    C --> D["阶段 3：子树生成与反应粒度折叠<br/>单组分步消除与多步操作等价对齐"]
    D --> E["阶段 4：ChemCensor 先例合理性校验<br/>反应中心(RC1-RC4)提取与 516维官能团指纹匹配"]
    E --> F["输出：分层评价指标<br/>Solv-0 / Solv-1 / Solv-2 / CC* 路线分级报告"]

关键设计¶

1. 路线标准化与拓扑语法验证：统一异构生成系统的规范表示 不同逆合成系统输出的路线格式极度碎片化，经典工具输出树状图对象，而大语言模型输出自定义 JSON 或行内文本。URSA 利用 RetroCast 作为底层统一协议，将所有系统生成的预测结果映射为无歧义的有向无环图（DAG）。通过 RDKit 严格检验路线上所有节点的 SMILES 语法有效性与原子价态，剔除悬挂节点、死循环与冗余中间体，确保路线在进入化学审查前满足基础拓扑结构自洽（Solv-0/Solv-1 初筛）。

2. 子树生成与反应粒度对齐：消除专利数据库多步记录与单步展开的度量偏差 在 USPTO 等大规模公开反应数据库中，许多实验步骤常被归纳合并为一个单反应记录（例如 Boc 保护基脱除紧接酰胺缩合，或原位制备格氏试剂后直接亲核加成），而细粒度逆合成模型往往会将脱保护等步骤展开为显式的单组分反应。如果直接比对，单步展开的精确操作会因缺失孤立中间体而在先例库中脱靶。URSA 引入子树生成机制，自动识别并折叠单组分反应节点，合并相邻反应步生成等价的子路径视图，从而消除由于数据记录粒度不一致导致的评测惩罚，确保模型预测与化学先例库的公平对比。

3. ChemCensor 反应中心与官能团特征校验：实现 Solv-2 级的确定性选择性仲裁 区别于依赖大模型黑盒或仅比对已知反应模板的初级校验，URSA 选用基于化学先例的 ChemCensor 引擎作为 Solv-2 仲裁器。对于路线中的每个反应步，系统首先通过 RxnMapper 建立原子-原子映射并提取发生反应的动态原子核心，构建从最小局部环境到含环/芳香取代基环境的嵌套反应中心表示（RC1 至 RC4，对应置信等级 LC 1 到 4，完全精确匹配为 5）。同时，利用 516 种经专家整理的官能团 SMARTS 模式构建非参与官能团签名（FG signature），并引入针对亲电芳香取代（SEAr）的专项定位上下文检查。若反应中心在 140 万条 USPTO 反应库（U2）或扩展的 490 万条 Pistachio 库（U2P2）中具备先例，且分子的非反应官能团与先例签名的容忍模式兼容，该步反应方判定为化学合理。

整条路线的最优选择规则优先挑取满足 Solv-2 = 1（即所有步骤均通过合理性检验）的路径；若有多条满足，则依据最佳平均 ChemCensor 反应得分 $CC^*$ 排序： $$CC^* = \frac{1}{M}\sum_{t=1}^{M}\left(\frac{1}{|r^*(t)|}\sum_{i\in r^*(t)} CC_i\right)$$ 其中 $M$ 为目标分子总数，$r^*(t)$ 为分子 $t$ 的最优选定路线，$|r^*(t)|$ 为路线步数，$CC_i \in [0, 5]$ 为第 $i$ 步反应的 ChemCensor 评分。

4. 真实药化导向的目标评测集构建：平衡前瞻挑战度与临床相关性 为摆脱传统 USPTO-190 基准中结构高度同质化、充斥大量同系物与前驱体重复的弊端，URSA 针对性地建立了两个面向真实药物研发场景的评测集： - URSA-Expert-2026：包含由专业合成化学家挑选评估的新型、未实际合成复杂靶标分子，结构多样性高达 0.859，专门测试模型在全新未见化学空间中的前瞻探索与严苛合成规划能力； - URSA-drugs&clinicals-2026：精选 100 种近期获批药物及高潜力临床候选分子，代表真实药物化学项目日常面对的核心骨架，填补了简单专利片段与不可行极端难题之间的实用基准空白。

损失函数 / 训练策略¶

URSA 是一套独立的评测基准框架，不引入新的网络训练目标。在模型评测配置中，所有 LLM 采用默认推理配置（如 DeepSeek-V3.2、Qwen3.5、Kimi K2.5、GPT-5 系列、Claude 系列等），针对每篇分子给出多达 10 条候选路径；经典 CASP 工具（如 Retro*、AiZynthFinder、RetroChimera、DMS 系列、ASKCOS 等）设置最大搜索深度与相同商业原料库（共 255,365 种原料，整合 Enamine、ASKCOS Buyables 与 eMolecules Tier 1/2 现货）。

实验关键数据¶

主实验¶

在评测路线规划前，作者首先评估了 ChemCensor 与主流前沿 LLM 作为“单步反应合理性判别裁判”的可靠性。在由专业化学家标注的 1000 个反应（500 个合理，500 个不合理）构成的基准集上，结果显示 LLM 普遍倾向于高估反应可行性（假阳性率高，召回率 0.90-0.96 但特异性极差），而 ChemCensor 取得了压倒性的一致性优势：

模型 / 判别器	准确率 (Accuracy)	马修斯相关系数 (MCC)	假阳性倾向说明
ChemCensor v1.2.0	0.96	0.92	局部规则+先例匹配，双向均衡无偏差
Gemini 3.1 Pro	0.83	0.67	召回率高，但对不合理反应特异性弱
GPT 5.5	0.76	0.57	常见选择性错误漏检，假阳性显著
Grok-4.3	0.75	0.53	对官能团容忍度存在结构性误判
Claude Opus 4.8	0.73	0.52	复杂芳环定位与副反应判别不足

在整条路线的规划评测中（URSA-minor-1.1.0-U2 配置），各经典 CASP 系统与大语言模型在两个目标分子集上的表现如下表所示（数值为百分比 % 或平均得分）：

模型体系	模型名称	URSA-expert Solv-0	URSA-expert Solv-2	URSA-expert CC*	Drugs&Clin Solv-0	Drugs&Clin Solv-2	Drugs&Clin CC*
经典 CASP	RetroChimera-MCTS	99	32	1.53	100	60	2.25
经典 CASP	AZF-MCTS (AiZynthFinder)	65	29	1.61	80	54	2.29
经典 CASP	*Retro-0-LR	53	22	1.40	58	29	1.86
经典 CASP	ASKCOS	23	12	1.39	60	44	2.40
经典 CASP	DMS-Wide	85	15	1.96	87	43	2.59
经典 CASP	DreamRetroer	95	9	0.96	97	39	1.44
闭源前沿 LLM	GPT 5.5	63	21	1.62	75	35	2.43
闭源前沿 LLM	Gemini 3.1 Pro	54	13	1.46	70	38	2.42
闭源前沿 LLM	Claude Opus 4.8	55	10	1.30	75	27	1.99
闭源前沿 LLM	Grok-4.1	67	7	1.22	75	24	2.01
开源前沿 LLM	Kimi K2.5	97	5	1.44	98	10	1.78
开源前沿 LLM	Qwen3.5-397B	53	2	1.00	67	15	1.70
开源前沿 LLM	GLM-5	64	2	1.00	70	10	1.48
开源前沿 LLM	DeepSeek-V3.2	11	0	0.85	13	1	1.06

消融实验¶

为了检验化学先例数据库规模对 Solv-2 评测结论的影响，作者对比了开放版 U2（USPTO ~1.4M 先例）与闭源增强版 U2P2（整合 Pistachio ~3.5M 先例，合计 4.9M）下的模型排名与绝对得分（部分代表性模型）：

规划系统	评测集	U2 配置 Solv-2 (%)	U2P2 配置 Solv-2 (%)	绝对增益 (% pts)	排名变动情况
RetroChimera-MCTS	URSA-expert	32	41	+9	保持第 1
AZF-MCTS	URSA-expert	29	37	+8	保持第 2
GPT 5.5	URSA-expert	21	29	+8	闭源 LLM 第 1
Gemini 3.1 Pro	URSA-expert	13	24	+11	显著获益先例覆盖
RetroChimera-MCTS	Drugs&Clinicals	60	71	+11	保持第 1
AZF-MCTS	Drugs&Clinicals	54	66	+12	保持第 2
GPT 5.5	Drugs&Clinicals	35	45	+10	保持主流水平

关键发现¶

形式化可解与化学合理性存在巨大断层：在单纯的起始原料终止（Solv-0）指标上，众多模型表现极为抢眼（例如 DreamRetroer 达到 95%，Kimi K2.5 达到 97%），但经过严格的 Solv-1 拓扑和 Solv-2 先例校验后，其合理路线比例断崖式下跌至 9% 和 5%。这表明高连通性搜索往往依赖于严重不合化学常识的反应步。
经典 CASP 系统在长程有效性上显著优于 LLM：在最具挑战性的 URSA-expert 复杂目标集上，专用 CASP 系统（RetroChimera-MCTS 达 32%，AZF-MCTS 达 29%）全面击败所有大语言模型；在相对熟悉的临床药物集上，经典系统依然以 60% vs 38% 稳居第一梯队。
单步判别能力与全局多步规划能力完全解耦：虽然各前沿 LLM 在单步反应合理性测试中展现出尚可的辨别力（AUC/Accuracy 约 0.73-0.83），但在端到端的多步路线规划中，却极难维持多步连续自洽的化学轨迹。逆合成规划的本质瓶颈在于长程化学约束下的树搜索与全局一致性维护，而非孤立单步预测。
性价比维度的显著差异：结合推理能耗与成本分析，轻量级的传统搜索工具（如基于 CPU 的 AiZynthFinder）每次评测成本不足 0.1 美元，而前沿大模型每次规划评测成本高达数十美元，却输出了更多不可行的虚假化学步骤。

亮点与洞察¶

评测维度的范式转移：URSA 明确将逆合成评测从粗糙的“原料能否闭环”（Navigability）推向深层的“反应是否合理”（Validity），打破了以往依赖已知路线复现率导致的“惩罚创新”困境。
先例驱动的确定性 Solv-2 评测引擎：将 ChemCensor 结合子树展开策略，兼顾了局部反应核心特征与全局非活性基团容忍度，提供了一种可自动化、低成本、可复现的专家级路线审查替代方案。
揭示大语言模型在严密科学推理中的致命假阳性偏置：详实论证了 LLM 作为化学裁判时容易产生“看似合理即放行”的系统性倾向，指出了单凭自然语言理解无法替代严密化学信息学规则的本质壁垒。

局限与展望¶

尚未触及 Solv-3 级实验可执行性：当前基准仅停留在化学合理性（反应中心与官能团相容性）阶段，未对具体的反应温度、溶剂、催化剂配体、纯化难度及分离收率进行精细化评分。
先例数据库的固有覆盖偏差：ChemCensor 的打分质量高度依赖底层反应数据库的完整度，在较小且偏向专利数据的开放库（U2）中，部分前沿新兴合成方法可能因缺少足够专利记录而被低估。
仅聚焦于单条最优路线指标：主指标基于各模型输出的最佳单一路线进行聚合，未充分刻画规划器在生成多样化候选路线时的排名能力与候选解空间分布质量。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次构建面向多步逆合成 Solv-2 边界的系统化自动化化学合理性基准
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1000 步专家标注反应、100 个临床药物与数十个前瞻分子，横跨 10+ 传统工具与 15+ 主流 LLM
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构缜密严谨，图表表达清晰详实，附录化学机理剖析深厚
价值: ⭐⭐⭐⭐⭐ 为 AI 辅助合成规划设立了极具实操意义的评测新范式，对计算化学与药物发现领域具有里程碑意义