Evaluating AI-based Scientific Knowledge Synthesis with Epidemiological Systematic Reviews¶

会议: NeurIPS 2026
arXiv: 2603.22327
代码: https://github.com/oxrml/agent-slr
领域: 社会计算
关键词: 系统文献综述, 流行病学, 大语言模型评测, 结构化数据抽取, 双边图匹配

一句话总结¶

本文联合帝国理工学院流行病学评审组（PERG）构建了针对世卫组织优先病原体的大规模系统文献综述评测基准 AgentSLR，解耦检索、多阶段筛选和模式约束抽取等环节，揭示了前沿推理模型在流行病学结构化抽取上的普遍瓶颈。

研究背景与动机¶

系统文献综述（Systematic Literature Reviews, SLRs）是循证医学与公共卫生决策的核心基石，需要研究人员检索、筛选数以千计的学术文献并精确抽取定量证据。尽管大语言模型（LLMs）在基础科学问答和代码生成上进展迅速，但在端到端真实科研工作流中的可靠性仍然存疑。在以往的文献筛选中，模型容易产生不可逆的假阴性漏检；而在摘要和结论生成中，模型常抹去关键限定条件，导致研究结论过度泛化。当多个大模型串联形成复杂多智能体工作流时，早期的系统误差会逐级复合放大，对高风险公共政策制定构成严重潜在威胁。

传染病流行病学为检验大模型科学知识综合能力提供了极其严苛的试金石。与一般生物医学文本抽取不同，流行病学综述需要从高度异构的原始论文中抽取基本再生数（$R_0$）、潜伏期、代际时间、传播动力学模型与暴发规模等关键定量参数。同一个参数指标在不同研究中可能按年龄段、地理区域或临床严重程度高度离散拆分呈现，既包含点估计又承载复杂的置信区间与不确定度。以往基准多停留在简单问答、句子级证据检索或粗粒度二元筛选，缺乏能与流行病学专家真实人工评审标注对齐的端到端、细粒度评测体系。

本文切入这一挑战，联合开展世卫组织（WHO）优先病原体系统综述的帝国理工学院病原体流行病学评审组（PERG），基于同行评审专家的真实标注标准构建标准化基准。核心 idea：构建包含完整自动化工作流与 16,248 篇专家标注文献评测基准的 AgentSLR，通过阶段解耦与模式约束工具调用，并引入基于 Jonker-Volgenant 双边匹配的记录级与字段级评测指标，系统诊断大模型在传染病科学证据综合全生命周期中的细粒度能力边界。

方法详解¶

整体框架¶

AgentSLR 评测框架完整复现了流行病学专家实施系统综述的标准证据处理管线。系统输入为领域特定的布尔检索式与多源文献库，中间经过检索去重、初筛、格式解析、全文严筛以及三类结构化数据的多阶段工具调用抽取，最终输出严格符合模式规范的流行病学知识库。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["文献检索与多源去重<br/>OpenAlex / PubMed / Europe PMC"] --> B["阶段化文献筛选策略<br/>题录摘要初筛与全文严格复筛"]
    B --> C["高保真文档解析<br/>OCR渲染与结构化Markdown生成"]
    C --> D["模式约束多阶段工具调用抽取<br/>参数/模型/暴发三类流行病学实体"]
    D --> E["基于双边图匹配的解耦评测协议<br/>Flagging / Count / Extraction"]
    E --> F["下游报告生成与专家审计<br/>合成伪迹与人机协作工作流验证"]

评测管线由五个核心模块构成： 1. 多源检索与去重：针对埃博拉、拉沙热、SARS、寨卡、MERS、马尔堡、尼帕等病原体，在 PubMed、Europe PMC 和 OpenAlex 上执行覆盖传播动力学、时间延迟与严重度的布尔检索式，采用 DOI、PMID、PMCID、OpenAlex ID 和标题-年份五级分层策略完成去重。 2. 阶段化筛选（Screening）：基于改进的 ScreenPrompt 模板，在题录摘要阶段执行二元粗筛；对通过初筛的文献执行全文严格复筛，剔除综述、元分析及感染人数不足 10 例的个案报告。 3. 高保真文档解析：将全文 PDF 逐页高精度栅格化后调用专业 OCR 模型解析，生成完整保留层级、表格与 LaTeX 数学公式的结构化 Markdown。 4. 模式约束多阶段抽取：设计符合 PERG REDCap 规范的严格 JSON Schema，通过工具调用强约束输出格式，涵盖流行病学参数、传播动力学模型与已结束暴发三类实体。 5. 解耦评测协议：针对单篇文献中存在多条无主键对应记录的复杂情况，提出 Flagging、Count 与基于加权 Jaccard 相似度的双边图最优匹配评测体系。

关键设计¶

1. 阶段解耦的证据留存与筛选策略设计

在循证医学与流行病学系统综述中，筛选阶段的假阴性具有灾难性后果——任何被错误排除的关键文献都会在后续抽取中永久丢失。传统单步大模型评测往往将端到端错误归咎于抽取能力，忽视了筛选环节的证据截断。AgentSLR 将文献筛选显式拆分为题录摘要筛选和全文筛选两个独立单元，并在全文筛选中对比三种控制策略：AI 两阶段筛选（AI 摘要初筛 $\rightarrow$ AI 全文复筛）、专家协同两阶段筛选（专家摘要初筛 $\rightarrow$ AI 全文复筛）和 AI 直接全文筛选（绕过摘要直接处理全文）。该设计将文献流转构造成漏斗状过滤网，使得评测不仅能度量 Macro $F_1$，更能够精确量化不同筛选决策树对上游真实文献存活率的控制机制。

2. 模式强约束的多阶段工具调用抽取机制

流行病学数据抽取存在严重的模式异质性与维度灾难。以流行病学参数为例，涵盖 9 大类、47 种子类型（如基本传染数 $R_0$、有效再生数 $R_t$、代际时间、潜伏期、病死率等），每项参数不仅包含数值本身，还涉及取值类型、统计推断方法、单侧或成对不确定度区间（如 95% CI），以及极其精细的受试人群上下文（年龄段、性别、样本类型、地理区域等）。为防止大语言模型自由发挥生成非标文本，AgentSLR 引入两阶段工具调用（Tool-Calling）机制：第一步先执行存在性标记（Presence Flagging），识别文献中实际报告的数据模态与参数类别；第二步根据检测到的类别动态挂载强类型的 JSON Schema 工具，强制模型以受限枚举（Enum）和严格浮点数、数组结构调用函数。这种机制彻底消除了生成层面的格式错误，将评测焦点完全聚焦于模型对科学事实的信息捕获与上下文理解。

3. 基于 Jonker-Volgenant 双边图匹配的无锚点记录级评测协议

在真实流行病学文献中，一篇论文往往报告同一参数在不同亚群、不同时间段的多个离散估计值，但模型输出的记录集合与人类专家标准标注之间没有预设的唯一对应主键（Primary Key），也无法直接使用字符串精确匹配。若简单按顺序对齐或全排列惩罚，会导致局部微小偏差引发整篇文献抽取分数的雪崩。针对这一痛点，AgentSLR 构建了三层解耦评估体系： - 存在标记（Flagging）：在 $\langle\text{文献}, \text{数据类型}\rangle$ 二元对上评测模型是否成功探测到对应证据类型，度量证据识别灵敏度。 - 抽取容量（Count）：度量抽取记录总量的精确度与过量抽取倾向。若参考集合含 $n$ 条记录，模型生成 $\hat{n}$ 条记录，则定义部分得分公式： $$\mathrm{TP} = \min(n, \hat{n}), \quad \mathrm{FP} = \max(0, \hat{n} - n), \quad \mathrm{FN} = \max(0, n - \hat{n})$$ 该机制确保过量抽取只扣除容量惩罚分，不会污染后续字段级内容准确率。 - 字段级精确抽取（Extraction）：建立真值记录 $E$ 与生成记录 $\hat{E}$ 之间的加权相似度矩阵。对关键字段集合 $\mathcal{F}$ 与归一化权重 $w_k$（$\sum_{k} w_k = 1$），成对相似度定义为： $$s(E, \hat{E}) = \sum_{k \in \mathcal{F}} w_k d_k(E[k], \hat{E}[k]), \quad d_k(v, \hat{v}) = \frac{|v \cap \hat{v}|}{|v \cup \hat{v}|}$$ 其中单值字段退化为单元素集合 Jaccard 相似度（即匹配指示函数）。构建成本矩阵 $C = 1 - s$ 后，采用修正的 Jonker-Volgenant 线性分配算法（SciPy 线性求和分配）求解最优一对一匹配 $\pi^*$，最大化总相似度： $$\pi^* = \arg\max_\pi \sum_i s(E_i, \hat{E}_{\pi(i)})$$ 在完成最优记录锚定后，才分别计算单值与多值字段的 Precision、Recall 和 $F_1$。这一设计实现了过量抽取惩罚、漏抽惩罚与字段提取误差的严格解耦。

一个完整示例¶

以一篇包含埃博拉病毒传播模型的文献为例：人类专家标准标注（PERG）包含 2 个模型记录： - 参考记录 $M_1$：类型为 SIR，干预措施包含 Vaccination； - 参考记录 $M_2$：类型为 SEIR，干预措施包含 Quarantine; Vaccination。

大模型生成了 3 个候选记录： - 模型 $\hat{M}_1$：类型为 SIR，干预措施包含 Vaccination； - 模型 $\hat{M}_2$：类型为 SIR，干预措施包含 Treatment； - 模型 $\hat{M}_3$：类型为 SEIR，干预措施包含 Quarantine; Vaccination。

评测系统运行过程如下： 1. 容量统计：$n=2, \hat{n}=3$，因此 $\mathrm{TP}=2, \mathrm{FP}=1, \mathrm{FN}=0$。模型捕获了全部容量并产生 1 个多余记录。 2. 相似度矩阵计算：字段权重均分（类型权重 0.5，干预措施 Jaccard 相似度权重 0.5）。计算矩阵 $S$： - $s(M_1, \hat{M}_1) = 0.5 \times 1.0 + 0.5 \times 1.0 = 1.00$ - $s(M_1, \hat{M}_2) = 0.5 \times 1.0 + 0.5 \times 0.0 = 0.50$ - $s(M_1, \hat{M}_3) = 0.5 \times 0.0 + 0.5 \times 0.5 = 0.25$ - $s(M_2, \hat{M}_1) = 0.5 \times 0.0 + 0.5 \times 0.5 = 0.25$ - $s(M_2, \hat{M}_2) = 0.5 \times 0.0 + 0.5 \times 0.0 = 0.00$ - $s(M_2, \hat{M}_3) = 0.5 \times 1.0 + 0.5 \times 1.0 = 1.00$ 3. 最优双边匹配：求解分配算法，建立最优对应关系 $M_1 \leftrightarrow \hat{M}_1$（相似度 1.00）与 $M_2 \leftrightarrow \hat{M}_3$（相似度 1.00），达到总相似度 2.00；多余的 $\hat{M}_2$ 保持未匹配。在字段级抽取评估中，已匹配对的字段准确率为 100%，而 $\hat{M}_2$ 仅在 Count 阶段被计为 1 次假阳性，不会污染字段级抽取质量。

实验关键数据¶

主实验¶

评估涵盖五款具有代表性的前沿大模型：gpt-oss-120b（开源权重）、GPT-5.2、DeepSeek-V3.2、Kimi-K2.5 和 GLM-4.7，并在 16,248 篇真实文献中执行全流程评测。实验覆盖参数（Parameters）、传播模型（Models）与暴发事件（Outbreaks）三类任务的 Flagging、Count 与 field-level Extraction。

模型	参数抽取 Flagging / Count / Ext ($F_1$)	动力学模型 Flagging / Count / Ext ($F_1$)	暴发事件 Flagging / Count / Ext ($F_1$)	全局平均抽取 $F_1$	运行总成本 (USD/病原体)
gpt-oss-120b	0.66 / 0.59 / 0.54	0.91 / 0.68 / 0.67	0.61 / 0.69 / 0.79	0.64	$13.9
GPT-5.2	0.66 / 0.50 / 0.59	0.90 / 0.72 / 0.67	0.66 / 0.80 / 0.84	0.67	$1,348.2
DeepSeek-V3.2	0.60 / 0.56 / 0.50	0.87 / 0.92 / 0.65	0.65 / 0.78 / 0.75	0.61	$73.6
Kimi-K2.5	0.72 / 0.62 / 0.56	0.92 / 0.81 / 0.68	0.64 / 0.87 / 0.78	0.65	$277.0
GLM-4.7	0.72 / 0.61 / 0.54	0.93 / 0.93 / 0.68	0.68 / 0.72 / 0.77	0.64	$811.0

注：Claude Opus 4.5 与 Sonnet 4.5 在测试中因流行病学敏感词触发安全策略出现持续流式拒绝（streaming refusals），无法完成全量自动化抽取评测。

消融实验¶

基于基准性能最优且开源可复现的 gpt-oss-120b，研究人员针对全文本筛选的三种操作策略进行了深入消融，评估不同人机协作流程对证据召回与系统吞吐的影响：

筛选操作配置	查准率 (Precision)	查全率 (Recall)	Macro $F_1$	运行耗时 (Hours)	OCR 阶段成本 (USD)	策略特征与代价
人机混合筛选 (专家初筛 $\rightarrow$ AI 全文复筛)	0.83	0.92	0.87	4.16	$36.6	最优证据保留，前端专家把关避免漏检
完全自动化两阶段 (AI 摘要初筛 $\rightarrow$ AI 全文复筛)	0.75	0.81	0.77	4.16	$36.6	模拟传统全自动漏斗，初筛漏检永久截断
AI 直接全文筛选 (跳过摘要直接筛选全文)	0.68	0.89	0.73	9.55	$303.2	消除摘要信息瓶颈，算力与 OCR 成本激增 8.3×

关键发现¶

结构化抽取是全工作流的核心瓶颈：在五大前沿模型中，没有任何模型的平均字段级抽取 $F_1$ 能跨越 0.67 的门槛。即使模型在文章级存在性标记（Flagging）上能达到 0.72-0.80 的平均 $F_1$，一旦进入需要深入解析复杂表格与多重约束的字段抽取，性能均发生显著骤降。
能力特化与“无绝对赢家”现象：基准评测表明大模型科学综合能力并非单一维度能力。Kimi-K2.5 在题录摘要筛选（$F_1=0.77$）和参数标记中拔得头筹；gpt-oss-120b 在全文筛选（$F_1=0.77$）中凭借高召回率称雄；GLM-4.7 在传播动力学模型抽取中总体领先（综合 $F_1=0.85$）；而 GPT-5.2 则在暴发事件抽取上展现出最高准确率。
性能与成本严重脱节：成本增加并不带来线性的抽取质量提升。gpt-oss-120b 以极具性价比的单病原体全流程成本（13.9 美元）取得了与商业顶级模型媲美的综合表现（平均 $F_1=0.70$）；相比之下，GPT-5.2 的调用成本高达 1,348.2 美元（相差逾 96 倍），但其平均 $F_1$ 仅为 0.69。该成本膨胀主要源于复杂参数抽取时商业模型生成的超大规模输出 token。
人机专家审计界定部署边界：6 位资深流行病学专家对系统抽取结果进行的独立双盲审核显示，专家感知能力评分在 1-7 分制中，参数抽取为 4.23，暴发抽取为 3.90，均处于“中度监督下可作为初稿工具”的实用区间；而数学传播模型抽取仅得 2.80 分，专家普遍反馈大模型极易混淆“当前论文新拟合模型”与“引用的历史前人工作”。

亮点与洞察¶

真实高风险领域的严苛闭环基准：AgentSLR 摆脱了传统合成测试集对学术综述形式化的表层模仿，首次直接对标世卫组织优先病原体的权威同行评审 SLR 标注，填补了公共卫生与流行病学科学综合评测的空白。
双边最优匹配破除评估伪缺陷：设计加权 Jaccard 与 Jonker-Volgenant 线性分配相结合的评测协议，在无天然主键的复杂多实体抽取场景下，实现了过量抽取与字段错误的正交解耦，为无序结构化评测树立了方法学典范。
开源本地化部署的战略价值证明：商业模型因过于宽泛的内容安全审查策略对高致病性病原体研究文本实施无差别流式拒绝，证实了在生物医学与公共卫生等关键科学基础设施中，具备版本固化与本地可控性的开源前沿权重（如 gpt-oss-120b）具有不可替代的学术生命力。

局限与展望¶

证据获取源与语种覆盖局限：受限于开放获取（Open Access）版权协议，评测集覆盖了 PERG 整体文献库中约 27.0% 的合法可公开下载子集，且当前筛选与抽取策略严格基于英文文献，排除了非英语国家的本地流行病学报告。
未覆盖统计荟萃分析与报告撰写：评测终点设立在结构化表格抽取与校验阶段，尚未包含将离散参数整合为效应量合并的 Meta 分析（如随机效应模型拟合）以及综合报告撰写评测。
未来方向：探索异构多模型路由架构，利用不同模型在初筛、复杂代码推理和细粒度实体抽取的互补优势；进一步开发实时在线文献流的人机协作交互校对界面。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次针对传染病流行病学系统文献综述建立专家级真实评测体系与双边图匹配度量标准。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1.6 万篇文献、跨越 7 种重大致命病原体，对比 5 款前沿模型并附带 6 位资深流行病学家的真实盲测。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰严密，从评估构念（Construct Validity）到误差溯源层层推导，图表数据详实。
价值: ⭐⭐⭐⭐⭐ 明确界定了 AI 在循证医学高风险决策中的能力边界，提供了完全开源可复现的评测工具链。

筛选操作配置	查准率 (Precision)	查全率 (Recall)	Macro \(F_1\)	运行耗时 (Hours)	OCR 阶段成本 (USD)	策略特征与代价
人机混合筛选 (专家初筛 \(\rightarrow\) AI 全文复筛)	0.83	0.92	0.87	4.16	$36.6	最优证据保留，前端专家把关避免漏检
完全自动化两阶段 (AI 摘要初筛 \(\rightarrow\) AI 全文复筛)	0.75	0.81	0.77	4.16	$36.6	模拟传统全自动漏斗，初筛漏检永久截断
AI 直接全文筛选 (跳过摘要直接筛选全文)	0.68	0.89	0.73	9.55	$303.2	消除摘要信息瓶颈，算力与 OCR 成本激增 8.3×