MOF-VERIFY: A Failure-Aware Agentic Harness for MOF Hypothesis Verification¶
会议: NeurIPS 2026
arXiv: 2610.03056
代码: https://github.com/IMMS-Ewha/MOF-Verify-Benchmark
领域: 其他
关键词: AI for Science、材料智能体、金属有机框架、假设验证、机器学习原子势
一句话总结¶
本文针对 MOF 科学假设验证中同物异名、合成条件敏感、证据不充分及缺乏计算支持等瓶颈，构建了四类诊断任务基准 T-MOF-1–4 与 \(3 \times 3\) 评估矩阵，并开发了融合规则解析与计算验证的故障感知智能体框架 MOF-Verify。
研究背景与动机¶
金属有机框架（MOFs）由于金属节点与有机配体的模块化组合而具有极广阔的设计空间，在气体分离、碳捕集、催化与能源存储等前沿场景中展现出重要应用前景。近年来，大语言模型与科学智能体（如 ChemCrow、Coscientist）被广泛引入材料研发全流程，用于合成条件挖掘、性质预测乃至闭环自主研发。然而，在以 LLM 作为核心推理组件的“AI 助研（Co-Scientist）”系统中，假设验证的端到端输出往往存在极大的不可靠性，使得科研人员难以采信其科学判断。
这种不可靠性在 MOF 领域尤为棘手，其核心症结体现在四个维度：第一，结构标识歧义，同一框架在文献中常对应不同别名或不同晶体学数据库编号（如 CSD refcode）；第二，实验敏感性极高，材料合成产物对反应温度、时间、溶剂与调节剂极其敏感，文献证据难以机械对齐；第三，文献证据存在局限与矛盾，不同文献在表征手段与制备批次上的结论经常冲突，单一文献不足以支撑全局判断；第四，部分科学假设无法仅依赖文献文本得出结论，必须依赖可靠的底层科学计算（如机器学习原子间势 MLIP）。以往基准往往只评测最终端到端准确率，未能细粒度归因模型是在知识缺失、文献检索、逻辑推理还是计算执行阶段发生错误。
为了破解这一黑盒评估与验证失真难题，本文提出了针对验证全流程的故障诊断与框架重构方案。核心 idea：通过构建涵盖结构锚定、合成条件、证据充分性与 MLIP 计算的四维诊断基准 T-MOF-1–4，并基于错误归因构建集成身份解析、结构提取、文献抽取、证据充分性检验与确定性裁决路由的故障感知智能体框架 MOF-Verify，实现严谨的证据溯源与主动弃权。
方法详解¶
整体框架¶
MOF-Verify 的设计理念是保持基础大语言模型（Base LLM）冻结，通过模块化外挂专用工具链与规则路由来消除验证瓶颈。系统输入为自然语言科学假设，依次流经身份解析（Identity Resolution, IR）、结构证据提取（Structural Evidence, SE）、文献证据抽取（Literature Evidence, LE）、证据充分性评估（Evidence Sufficiency, ES）以及计算证据验证（Computational Evidence, CE），最终由确定性裁决路由器（Verdict Routing, VR）基于强类型证据链给出确定的裁决（Yes、No、Uncertain、Re-run 或 Human-review）。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
IN["输入科学假设<br/>(自然语言命题)"] --> IR["1. 身份解析 (IR)<br/>规范化别名表与 CSD 锚点匹配"]
IR --> SE["2. 结构证据提取 (SE)<br/>实验晶体结构 CIF 与哈希校验"]
SE --> LE["3. 文献证据抽取 (LE)<br/>本地全文摘要比对与精准温区核验"]
LE --> ES["4. 证据充分性评估 (ES)<br/>多源冲突检测与限制条件判定"]
IN -.->|需计算验证命题| CE["5. 计算证据生成 (CE)<br/>SevenNet-Omni MLIP 结构弛豫"]
ES --> VR["6. 确定性裁决路由 (VR)<br/>来源门控与置信度检验 (Yes/No/Uncertain)"]
CE --> VR
VR --> OUT["输出裁决结果<br/>(附带完整证据溯源链)"]关键设计¶
1. 规则驱动的确定性材料身份解析与结构锚定（IR & SE）：杜绝幻觉结构引入
针对 T-MOF-1 中模型将具有相似配体或同拓扑不同骨架的晶体混淆的痛点，IR 与 SE 模块采用完全免 LLM 调用（Zero-model-call）的规则查表与哈希校验机制。IR 模块维护了一套版本化 MOF 别名映射词典；当遇到复杂别名时，即使允许底层 LLM 提出候选名称，也必须经过预存元数据词条的严格二次校验，否则直接标记为未解析，防止虚假标识注入下游证据流。紧接着，SE 模块将确定的规范身份映射到经过专家审核的 CIF 晶体结构文件，并通过 SHA-256 摘要比对确保结构完整性。SE 在排序中严格保持“实验实测结构优先于模拟结构（如 QMOF）”，从源头截断因检索错误结构导致的验证假阳性。
2. 预检哈希与模式约束的双阶段文献证据抽取（LE）：捕捉单参数细微摄动
针对 T-MOF-2 中合成条件因细微扰动（如仅置换溶剂、反应温度漂移 \(\pm 10\,^{\circ}\mathrm{C}\)）而导致模型误判的挑战，LE 模块在离线状态下提前将同行评审文献与其哈希摘要本地化存储。推理时，LE 首先验证本地文献文件的完整性摘要，若文件缺失或校验不通过则直接阻断模型调用；随后在温度为 0 的确定性采样下，对正文与补充材料执行单次抽取，并根据预设 Schema 校验温度、时间、反应物和调节剂等字段。若某项数值（如反应温度 \(|T_{\text{claimed}} - T_{\text{extracted}}| > 5\,^{\circ}\mathrm{C}\)）超出容差，或正文与表格间存在矛盾数值，LE 明确上报冲突标记而非盲目拟合。
3. 多源可溯源度与条件依赖性的证据充分性评估（ES）：抑制过度承诺
在科学争议或实验条件受限场景（T-MOF-3）中，直接检索常使 LLM 将部分符合当成全盘肯定。ES 模块针对证据的可追溯性、互相印证度以及材料接地状态建立综合评级。若文献中对某一现象的解释存在多种微观机制（如晶态消融与玻璃化相变导致相同的粉末 X 射线衍射 Bragg 峰衰减），或实验结论仅在特定高压/特定溶剂活化下成立，ES 将生成显式的证据缺失（Evidence Gap）或冲突记录，严禁智能体在证据链不闭环时强行生成二元结论。
4. 基于 SevenNet 的 MLIP 计算验证闭环（CE）：为非文献假说提供第一性计算锚点
对于无法直接从现有文献中查明晶格弛豫稳定性或特定力学/能量性质的假说（T-MOF-4），CE 模块将其转化为标准化执行规范（包含晶胞参数、计算精度、随机数种子与收敛阈值 \(f_{\max}\) 等），调用 SevenNet-Omni 通用晶体机器学习势开展自动化分子动力学/能量最小化计算。计算状态被严格区分为收敛成功（Yes）、未达步数阈值（Re-run）以及物理量超出计算器定义域（Human-review）。计算结果附带规范级哈希与确定性指纹，使数值物理计算与文献逻辑证据同等纳入判定。
5. 确定性裁决路由器（VR）：强类型门控机制下的审慎判定
作为系统的中枢中继，VR 并不由 LLM 自由发挥生成判词，而是遵循确定性的门控状态机逻辑：只有当证据来源受信任、数据源无未决冲突、必要计算执行成功且容差满足物理定义时，才发放明确的 Yes 或 No 裁决。若前序模块中任何一环抛出未解析实体、文献缺失或证据不充分标记，VR 均一律输出 Uncertain 或 Human-review，从根本上克服了大模型在证据不足时的过度承诺（Over-commitment）顽疾。
一个完整示例¶
以 T-MOF-2 中的真实命题为例：“在 Cryst. Growth Des. 2015（DOI 10.1021/acs.cgd.5b00140）中，HKUST-1 涂层 B 是否通过铜阳极与均苯三甲酸在乙醇/水溶液中于 \(99\,^{\circ}\mathrm{C}\) 下制备？”
- LE 阶段：输入 DOI 后，系统核对本地 PDF/SI 的 SHA-256 摘要无误，执行温度为 0 的抽取，根据预定义 Schema 提取出文献实际记录的条件：“\(49\,^{\circ}\mathrm{C}\)，乙醇/水混合溶剂”，同时捕获对应出处的原始语句。
- 比较阶段：比对假设中的 \(99\,^{\circ}\mathrm{C}\) 与抽取的 \(49\,^{\circ}\mathrm{C}\)，计算温差 \(|99 - 49| = 50\,^{\circ}\mathrm{C}\)，显著超出系统设定的 \(\pm 5\,^{\circ}\mathrm{C}\) 容许误差，虽然溶剂一致但温度明显冲突。
- VR 阶段：VR 汇集结构化冲突证据包，阻断二元肯定，直接判定最终结论为
No，并输出带有文献 DOI 及精确原文佐证句的解释链。
实验关键数据¶
主实验¶
基准评测包含 1,270 个精心构建的测试用例（含 50% 对抗对照用例），在 10 款主流前沿模型（涵盖 OpenAI GPT 系列、Anthropic Claude 系列、Google Gemini、Qwen 与 DeepSeek）上对比直接闭卷推断（Closed-book）、简单检索增强（RAG）、理想完美证据输入（Oracle）以及本文提出的 MOF-Verify。
评估采用针对三类输出平衡加权的三分类 Macro-F1： $\(F1_{\mathrm{macro}} = \frac{1}{3}\sum_{c\in\{\text{Yes},\text{No},\text{Uncertain}\}} \frac{2P_{c}R_{c}}{P_{c}+R_{c}}\)$
下表汇报了各任务在全模型平均下的 Macro-F1（%）表现：
| 评估任务 | 闭卷基线 (Closed) | 基础检索 (RAG) | 理想证据 (Oracle) | 本文框架 (MOF-Verify) | 相对 RAG 提升 |
|---|---|---|---|---|---|
| T-MOF-1 (结构身份) | 13.06 | 61.97 | 79.46 | 78.31 | +16.34 |
| T-MOF-2 (合成条件) | 24.30 | 53.64 | 62.08 | 50.60 | -3.04 |
| T-MOF-3 (证据充分性) | 55.70 | 48.60 | 60.46 | 58.70 | +10.10 |
| T-MOF-1–3 平均 | 31.02 | 54.66 | 67.26 | 62.82 | +8.16 |
| T-MOF-4 (计算验证) | 5.74 | – | – | 56.97 | +51.23 |
在以 GPT-5.6 Sol 为底座的单模型评测中，MOF-Verify 在 T-MOF-1 上达到 78.31，在 T-MOF-3 上达到 63.75（超越 Oracle 的 61.13），展现了优异的归纳验证能力。
消融与错误归因分析¶
通过定义知识获取差距 \(\Delta_{\text{access}} = F1_{\text{RAG}} - F1_{\text{Closed}}\) 与检索能力瓶颈 \(\Delta_{\text{retrieval}} = F1_{\text{Oracle}} - F1_{\text{RAG}}\)，并统计不同错误形态所占比例（结构错误率 \(R_{\text{struct}}\)、合成条件误读率 \(R_{\text{synth}}\)、证据不充分误判率 \(R_{\text{evidence}}\) 及过度承诺率 \(R_{\text{over}}\)）：
| 诊断指标 | 闭卷 (Closed) | 检索 (RAG) | 理想 (Oracle) | 全设置平均 | 物理含义与实验结论 |
|---|---|---|---|---|---|
| \(R_{\text{struct}}\) (%) | 98.05 | 99.44 | 87.12 | 94.87 | 错误中高达 94.87% 源于晶体结构指代混淆 |
| \(R_{\text{synth}}\) (%) | 99.07 | 94.40 | 87.84 | 93.77 | 错误中 93.77% 是遗漏或错读关键合成条件参数 |
| \(R_{\text{evidence}}\) (%) | 56.63 | 61.35 | 76.01 | 64.66 | 面对冲突时近 65% 的错误在于未能识别证据缺口 |
| \(R_{\text{over}}\) (%) | 79.31 | 75.62 | 88.61 | 81.18 | 81.18% 的“不确定”黄金案例被基准模型武断裁决 |
关键发现¶
- 朴素 RAG 在证据充分性判断上面临负迁移：在 T-MOF-3 任务中，引入通用 RAG 检索不仅没有提升性能，平均 Macro-F1 反而从闭卷的 55.70 暴跌至 48.60（\(\Delta_{\text{access}} = -7.10\)）。多源文献的细微矛盾反而干扰了大模型的逻辑判断，引发严重幻想。
- 过度承诺是 LLM 科学问答的最严峻漏洞：在原本应判定为 Uncertain 的样本中，各基线模型在 81.18% 的情况下强行给出 Yes 或 No。MOF-Verify 引入确定性 VR 路由器后，有效将此类过度承诺大幅遏制。
- 纯规则解析可大幅超越概率推断：在结构检索与匹配（T-MOF-1）上，免模型调用的 IR+SE 管道取得了 78.31 的 Macro-F1，不仅比 RAG 高出 16.34 点，甚至逼近专家直接提供黄金线索的 Oracle 表现（79.46）。
亮点与洞察¶
- 诊断维度由终点转为链路解耦：不仅给出一个综合分数，而是将科学助研智能体的失败归结为结构身份错误、合成条件误读、证据不充分过度承诺以及计算不可达四个明确断点，为科学 Agent 的可解释评测树立了标杆。
- 确定性规则与概率大模型的巧妙权衡：在晶体结构匹配与裁决输出两端坚决使用强类型、确定性规则与哈希拦截，仅将大语言模型约束在本地文本的结构化 Schema 抽取与无偏理解中，极大压缩了幻觉空间。
- 面向 AI4S 的跨学科通用范式：将真实物理计算工具（SevenNet MLIP）无缝挂载为一级证据源，解决了科学假设“文献无法证明即无解”的死锁，为分子、合金及催化等领域的自动化假设验证提供了可复用范式。
局限与展望¶
- 合成条件复杂性依然受限：MOF-Verify 在 T-MOF-2（合成条件验证）上的表现（50.60）略逊于基础 RAG，主要瓶颈在于现实文献中合成步骤嵌套、配比隐晦，目前单一的 Schema 规则抽取难以完全覆盖多步后处理及溶剂热微环境。
- 高阶多尺度物理计算能力待扩充：T-MOF-4 目前仅覆盖了基于 SevenNet-Omni 的结构弛豫，对于需要大尺度巨正则蒙特卡洛（GCMC）吸附模拟或高精度密度泛函理论（DFT）自洽场计算的科学假说，计算耗时与工作流编排挑战极大。
- 未来方向：探索引入交互式文献问答代理与图谱推理机制，解决长链合成路线的准确析取，同时接入异构高性能算力集群，支持计算假设的自适应多保真度验证。
相关工作与启发¶
- vs Coscientist & ChemCrow: 既有化学智能体强调调用检索与合成 API 实现全流程实验规划，但在命题真伪判断上缺乏对文献不一致性与细微条件差异的容错机制；MOF-Verify 聚焦于验证环节的严谨性与拒答/弃权能力。
- vs MaScQA & GPQA: 传统基准测试多为选择题形式，缺乏材料晶体学身份的细粒度混淆对照项；本文的 T-MOF-1–4 专为 MOF 真实研究中的结构同分异构与条件敏感性定制，诊断价值更高。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次系统剖析 MOF 假设验证全链路的四大故障机制并提出针对性 Agent 解决方案]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 10 款主流模型，建立 1,270 个标注完备的对照用例，包含细致的错误归因指标]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，严谨清晰，架构图与形式化分析完备]
- 价值: ⭐⭐⭐⭐⭐ [对 AI for Science 领域构建可靠、高置信度的科学助手具有极强的指导与工程实用意义]