Can AI Agents Synthesize Scientific Conclusions?¶

会议: NeurIPS 2026
arXiv: 2606.11337
OpenReview: https://openreview.net/forum?id=mWOGkdnMZp
代码: https://github.com/hayoungjungg/SciConBench
领域: LLM Agent
关键词: 科学结论综合, AI Agent 评测, 数据泄露防护, 事实精准率与召回率, 循证医学

一句话总结¶

论文提出了包含 9,110 道循证医学系统评价问答对的大规模动态评测基准 SciConBench、隔离真实文献的无污染沙箱 SciConHarness 以及经专家校准的原子事实评测管线，系统评估了 8 款前沿模型与深度研究 Agent，揭示了在杜绝数据泄露的真实科研综合场景下当前 Agent 的事实 F1 仅有 0.337 的严峻短板。

研究背景与动机¶

AI Agent 正在迅速改变人类获取和应用科学知识的范式。传统的搜索引擎（如 Google Search）仅负责检索相关文档，将证据鉴别、冲突权衡与归纳综合的认知负担完全留给人类用户；而具备工具调用能力的前沿智能体系统（如 Anthropic Claude Research、OpenAI Deep Research、Google DeepMind 等）则能够自主从开放网络抓取多源证据、过滤不可靠来源、调和相互矛盾的实验结论，并最终生成段落级的长篇专家科学结论。这一长程证据综合任务在临床健康与循证医疗领域尤为关键，每天有数以千万计的普通公众与一线临床医生依赖 AI 助手探索症状、辅助诊疗决策或生成专家意见，任何事实偏差都可能带来不可逆的高风险后果。

然而，现有学术基准严重缺乏对开放网络环境下“端到端生成长篇科学结论”这一完整长程任务的客观评测。过去的评估工作多割裂于中间环节——例如单独评估检索准确率与引用溯源、文档摘要压缩、短文本事实核查或医学单选题，未能真实反映现实中跨多篇异构文献进行质量分级和综合推演的复杂性。近期虽有部分基准尝试切入开放网络综合任务，但受限于昂贵的人工标注成本，评测规模极小（\(N \le 100\)），且缺乏动态更新机制；更为致命的是，它们普遍忽视了严重的基准数据泄露问题——开放网络环境下的 Agent 极易直接搜到人类学者写好的现成系统评价结论，从而把极其复杂的跨文献归纳推理降水为简单的关键词检索与搬运。

面对这一困境，研究团队意识到必须建立一套能够持续动态更新、具备严密防泄露隔离机制、并能对长篇科学结论进行细粒度事实级量化检验的评测体系。本文的核心 idea 是以循证医学公认黄金标准 Cochrane 系统评价为数据源构建动态评测基准 SciConBench，通过在网络交互层拦截目标文献的 SciConHarness 沙箱杜绝捷径检索，并将结论解耦为自包含原子事实以计算事实精准率与事实召回率，真实度量 AI Agent 的端到端科学结论综合能力。

方法详解¶

整体框架¶

评测框架由三个核心基础设施协同运转：动态基准数据集构建（SciConBench）、受控沙箱交互环境（SciConHarness）以及专家校准的细粒度事实评测管线。整个评测流程涵盖从循证问题生成、沙箱环境下的多轮开放网络探索，到多阶段原子事实解构与 LLM-as-a-Judge 自动化判决的全链路闭环。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入临床研究问题<br/>（PICO 结构化转化）"] --> B["SciConHarness 沙箱交互<br/>执行受控多轮搜索与浏览"]
    B -->|中间检索结果| C["防泄露过滤中间件<br/>拦截 Cochrane 域名/标题/衍生文献"]
    C -->|纯净开放文献证据| D["AI Agent 综合推理<br/>生成长篇科学结论"]
    D --> E["原子事实拆解管线<br/>分句/解构/去上下文/改写/过滤"]
    E --> F["细粒度事实质量评测<br/>计算事实精准率与事实召回率"]
    F --> G["最终评测报告<br/>Factual Precision / Recall / F1"]

关键设计¶

1. 动态基准构建与 PICO 问题生成：消除静态评测的时效衰退

基准的源数据采掘自循证科学领域的国际公认金标准——考克兰系统评价数据库（Cochrane Database of Systematic Reviews, CDSR）。每一篇系统评价均由临床专家针对明确的医学假设，系统筛查数篇至数百篇同行评议文献，评估偏倚风险后凝聚出高度浓缩的作者结论（Authors' Conclusions）。为将陈述式的研究目标转化为符合人类医生真实咨询习惯的问答对，该设计基于 PICO 框架（研究对象 Participants、干预措施 Interventions、对照组 Comparisons、临床结局 Outcomes），利用模型将系统评价的 Objectives 转化为句式自然的临床疑问句，对应提取 Authors' Conclusions 作为真实标注答案。基准总计收录 9,107 篇有效系统评价，覆盖新生儿护理至肾脏疾病等数十个临床亚专业，并建立月度动态追踪机制纳入新发表的系统评价，从而彻底打破传统静态数据集易被模型预训练污染的物理宿命。经医学博士独立双盲抽样核验，生成的 PICO 问题在真实性、要素完整性与可回答性上分别达到 92%、92% 和 96% 的专家符合率。

2. SciConHarness 受控沙箱与防泄露过滤：切断直接检索作弊捷径

为了评测 Agent 真正的跨文献综合与归纳推理能力，而非利用搜索引擎直接搬运人类专家的最终综述结论，系统构建了基于模型上下文协议（MCP）的受控执行沙箱。沙箱向模型提供三种标准工具：基于 Serper API 的 google_search、基于 Jina API 并由小模型压缩超长正文的 web_browse，以及基于 Semantic Scholar 全文索引的 paper_search。核心创新在于嵌入工具输出与模型上下文之间的防泄露过滤中间件（Clean-Room Middleware）。中间件在毫秒级执行多维度审查拦截：首先硬性过滤所有来自 CDSR 官方域名（如 cochrane.org、cochranelibrary.com）的网页 URL；其次匹配并拦截标题或正文中包含关键词 "cochrane" 或与待测综述标题高度重合的检索结果；再次利用元数据时间戳阻断目标系统评价发表日期之后发布的所有网页与衍生新闻报道。人工抽检表明，该拦截机制对直接目标文献的过滤率达到 100%，对间接衍生泄露的综合查准率达 93.3%、查全率达 97.2%，有效防止了 Agent 将高阶科学综合偷换为低阶信息搬运。

3. 细粒度原子事实解构与专家对齐评测管线：实现可靠的自动化质量裁判

科学结论具有高度的语义信息密度，直接使用整体打分极易产生幻觉与偏见。评测系统提出了一套分阶段的原子事实（Atomic Facts）解构与检验机制。针对生成的结论文本与专家参考答案，管线依序执行：分句预处理、原子事实拆解（将复合句拆分为单一信息元的陈述，并消除作者元叙述）、去上下文消歧（补全代词与缩略语指代）、不完整事实补全（填补缺失的比较基准与触发条件）、问题相关性过滤（剔除无关客套与背景噪声）以及冗余事实去重。解构后的原子事实集合 \(\varepsilon_x\)（生成结论）和 \(\varepsilon_A'\)（专家参考结论）送入经数轮临床医生标注对准的 LLM 裁判。评测指标严密定义为事实精准率、事实召回率及两者的调和平均数：

\[\text{Factual Precision} = \left( \frac{1}{|\varepsilon_x|} \sum_{e \in \varepsilon_x} \mathbf{1}[e \text{ is Supported by } R] \right) \cdot \left( 1 - \frac{1}{|\varepsilon_x|} \sum_{e \in \varepsilon_x} \mathbf{1}[e \text{ is Contradicted by } R] \right)\]

\[\text{Factual Recall} = \frac{1}{|\varepsilon_A'|} \sum_{e' \in \varepsilon_A'} \mathbf{1}[e' \text{ is Supported by } x]\]

\[\text{Factual F1} = \frac{2 \cdot \text{Factual Precision} \cdot \text{Factual Recall}}{\text{Factual Precision} + \text{Factual Recall}}\]

其中 \(R\) 代表可信的 CDSR 全文摘要与简明语言总结，\(x\) 代表 Agent 生成的最终结论。精准率公式独创性地在正向支持率后引入惩罚因子 \((1 - \text{Contradiction Rate})\)，对输出致命医学矛盾事实的行为实施严厉乘法惩罚。通过在早期成型阶段部署强推理模型、在分类过滤阶段复用轻量模型，该管线在将单例解构成本由 0.35 美元降至 0.13 美元的同时，实现了与人类资深临床医生比肩的高判断一致性（与专家评判的一致率与 AC1 分数甚至超越了人类专家彼此间的平均一致性）。

实验关键数据¶

主实验¶

在涵盖 268 篇最新发表于模型知识截止日期之后的 CDSR 系统评价测试集上，评测了 8 款主流前沿模型与深度研究系统在纯参数基座（Base）、开放工具交互（SciConHarness）以及受控清洁沙箱（SciConHarness + clean-room）三种配置下的表现：

模型 / 系统	评测环境设置	事实精准率 (Precision)	事实召回率 (Recall)	事实 F1 (F1)	工具增益 \(\Delta_{\text{Tools}}\text{F1}\)	沙箱降幅 \(\Delta_{\text{Clean}}\text{F1}\)
gpt-5.1	Base (无工具)	0.366	0.382	0.332	–	–
claude-sonnet-4.5	Base (无工具)	0.464	0.270	0.291	–	–
gemini-3-pro	Base (无工具)	0.339	0.246	0.239	–	–
gpt-5.1	SciConHarness (无沙箱)	0.329	0.446	0.344	+0.012	–
claude-sonnet-4.5	SciConHarness (无沙箱)	0.435	0.409	0.382	+0.091	–
gemini-3-pro	SciConHarness (无沙箱)	0.311	0.222	0.213	-0.025	–
sonar-reasoning-pro	SciConHarness (无沙箱)	0.547	0.363	0.392	–	–
o4-mini-deep-research	DR (无沙箱)	0.593	0.386	0.427	–	–
o3-deep-research	DR (无沙箱)	0.628	0.483	0.508	–	–
gpt-5.1	SciConHarness + clean-room	0.294	0.408	0.300	–	-0.044
claude-sonnet-4.5	SciConHarness + clean-room	0.350	0.329	0.297	–	-0.085
gemini-3-pro	SciConHarness + clean-room	0.294	0.206	0.194	–	-0.020
sonar-reasoning-pro	SciConHarness + clean-room	0.384	0.205	0.220	–	-0.172
DR Tulu	DR + clean-room	0.259	0.168	0.145	–	-0.030
o4-mini-deep-research	DR + clean-room	0.467	0.298	0.315	–	-0.113
o3-deep-research	DR + clean-room	0.441	0.342	0.337	–	-0.170

消融实验¶

评测进一步对各系统生成结论中的致命错误率（包含至少一条矛盾事实的结论比例、包含至少一条未获证实事实的结论比例）以及真实商用临床问答系统进行了系统审计：

模型 / 临床 Agent 类型	评测配置	包含 \(\ge 1\) 矛盾事实的结论比例 (%)	包含 \(\ge 1\) 未证实事实的结论比例 (%)	生成事实被证据支持率 (%)	权威参考事实被覆盖率 (%)
gpt-5.1	Base (无工具)	77.2	100.0	36.6	38.2
claude-sonnet-4.5	Base (无工具)	56.7	100.0	46.4	27.0
gpt-5.1	Harness (无沙箱)	84.0	100.0	36.9	45.4
o3-deep-research	DR (无沙箱)	55.2	95.9	60.9	44.6
claude-sonnet-4.5	Harness + clean-room	73.9	100.0	36.4	33.3
o3-deep-research	DR + clean-room	73.1	99.6	45.0	31.5
Google AI Overview	商用消费端 (无沙箱)	56.3	98.9	52.4	33.6
Google AI Mode	商用消费端 (无沙箱)	59.0	99.6	46.8	35.2
OpenEvidence	临床专业端 (无沙箱)	50.8	100.0	59.8	51.7

关键发现¶

真实科研综合能力极其薄弱：在受控的清洁沙箱环境（clean-room）下，最顶尖的深度研究系统 o3-deep-research 的综合事实 F1 仅有 0.337，开源方案 DR Tulu 更是低至 0.145，印证了现存前沿 Agent 在面对跨文献综合时的严重局限。
开放环境存在严重的虚假性能繁荣：对比无过滤环境与清洁沙箱，所有模型的事实 F1 发生了 0.020 至 0.172 的显著雪崩。例如 sonar-reasoning-pro 和 o3-deep-research 的 F1 降幅分别高达 0.172 与 0.170。数据分析表明，各模型在开放搜索时高频命中 Cochrane 原文，高达 49.6% 至 81.8% 的 Google 搜索请求实质上在直接检索真值文献；沙箱一旦切断此捷径，Agent 便显露出整合真实分散证据的乏力。
商用临床 Copilot 潜藏重大安全风险：即便是允许自由访问权威综述的商用端系统，Google AI Overview 与专业医疗助手 OpenEvidence 生成的结论中，依然分别有 56.3% 和 50.8% 的回答包含了与权威医学共识直接背道而驰的矛盾事实，在涉及剂量、治疗效果方向性判断上频繁出现反转，暴露了极大的临床安全隐患。

亮点与洞察¶

构建了评测长程科学结论综合的无污染沙箱体系：跳出传统的局部事实核查与多选题评测思路，通过拦截权威域名、标题相似度匹配以及时间戳截断三层过滤，首次将“真正的证据综合推理”与“作弊式的综述检索搬运”在物理层面剥离。
提出了兼顾医学惩罚因子与语义解耦的细粒度度量标准：将自然语言段落拆解为独立、自包含的原子事实元，并在精准率中采用乘法惩罚矛盾事实，解决了自由长文本评估中“长篇大论冲高召回率却夹带致命错误”的评估顽疾。
揭示了“检索增益不等于综合能力”的工程事实：实验证明盲目增加网页检索次数并不能线性提升归纳质量（如 Gemini-3-Pro 引入搜索工具后 F1 甚至出现下滑），有效的证据归纳高度依赖智能体对文献偏倚的鉴别与跨源一致性校验机制。

局限与展望¶

作者承认的局限：评测集目前主要聚焦于循证医学与临床公共卫生领域的 Cochrane 综述，未完全覆盖物理、材料、计算机等缺乏中心化黄金标准系统评价的其他自然科学门类；同时，LLM-as-a-Judge 裁判虽然高度贴合人类专家，但在处理高度复杂的隐晦临床同义表述或极端专业缩略语时仍可能出现小概率的词面漏判。
实际观察到的局限：评测沙箱为了严密防泄露，过滤规则相对保守，存在少量误杀相关背景网页（查准率约 93.3%）的情况；此外，评测对于 Agent 检索过程中耗费的超长推理 Token 成本与端到端延迟权衡尚未给出统一的工程优化范式。
未来改进思路：可进一步将研究结论综合框架拓展至生物医药预印本动态辩论场景，并在沙箱中引入针对文献实验方法严谨度（如双盲、样本量、随机化方案）的显式评估工具，促使下一代科研 Agent 具备超越纯文本归纳的方法论批判能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出面向开放网络长篇科学结论综合的无污染沙箱评测体系与细粒度原子事实判定指标，开辟了科学智能体评估的新范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 9.11K 大规模动态数据集、8 款主流模型与前沿深度研究 Agent、多位资深医生跨多轮双盲验证与误差分析，实验扎实完备。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨，问题陈述一针见血，数学指标形式化精确，分析深入且洞察深刻。
价值: ⭐⭐⭐⭐⭐ 对科研自动化与严肃临床 AI 的落地提供了至关重要的客观度量工具和安全警示，影响深远。