跳转至

ABDATABENCH: Evaluating AI Agents for Evidence-Grounded Antibody Record Construction

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/GAIR-NLP/ABDataBench
领域: LLM Agent
关键词: 科学数据构建, 抗体记录基准, 多智能体协同, 证据溯源, 技能积累

一句话总结

提出了首个面向科学文献与专利中完整抗体记录构建的基准评测 ABDATABENCH(44 篇文档、279 条记录、22 字段三级加权模式与非对称惩罚),并构建了以抗体记录为中枢的多智能体框架 ABCURATOR,通过确定性工具与技能演化工作流在专有与开源模型上分别取得 78.3 与 76.0 的高分。

研究背景与动机

AI 智能体正被广泛部署以加速科学发现,但其核心价值不仅在于假设生成,更受制于一个更为基础的数据瓶颈:将分散在异构科学文献中的非结构化证据转化为直接面向下游 AI 模型的高保真数据集。在治疗性抗体工程中,这一瓶颈尤为突出。无论是抗体结构预测、从头分子设计,还是基于蛋白质语言模型的亲和力成熟,其下游模型的参数缩放与泛化能力都高度依赖于将序列与功能严格配对的高质量监督数据。然而,抗体的关键生物证据——包括重轻链可变区序列(VH、VL)、互补决定区(CDRH3)、重轻链配对关系、靶点与表位、结合动力学常量(\(K_D\)、\(k_{on}\)、\(k_{off}\))、交叉反应性与体内疗效——广泛离散在学术论文、专利权利要求、补充附表、对齐多图以及外部序列或结构数据库中,极难被整合成结构化记录。

生物抗体数据的管理对提取精度具有近乎苛刻的要求。单个氨基酸残基的替换即足以彻底改变抗体的功能命运,而一个误配的平衡解离常数(\(K_D\))或 \(EC_{50}\) 则会将完全错误的亲和力属性绑定到一个原本正确的分子上。传统生物医学信息抽取大多假定在句子或摘要层级执行平面实体关系抽取,严重忽视了跨页、跨模态、异构图表与外部数据源的联合证据链。更为棘手的是,生物文献中抗体命名存在大量别名漂移、测量单位跨度极大(如 pM 到 \(\mu\)M 的换算),且序列对齐图块常因排版被切分断裂。现有的通用智能体基准或科学问答基准多关注代码生成或粗粒度任务复现,完全无法评估跨模态证据融合、分级字段重要性以及对幻觉和漏抽的差异化惩罚。

本文的切入角度是打破传统以文档或实体为中心的抽取范式,将单个抗体记录确立为规划、丰富与检验的原子协调单元,并将纯确定性操作(正则、格式校验、PDB/GenBank 数据解析)剥离给可复现工具。核心 idea:构建首个面向文献与专利完整抗体记录构建的基准评测 ABDATABENCH(结合匈牙利算法记录对齐、三级模式权重与混合评审),并设计以抗体记录为中枢的多智能体框架 ABCURATOR 与专家反馈驱动的技能积累循环,系统性攻克长程科学信息抽取与证据绑定难题。

方法详解

整体框架

ABCURATOR 框架将非结构化的 OCR Markdown 文本、附录表格及图表输入转化为面向下游工程的结构化抗体数据。整个流程围绕“抗体记录”为中枢单元运转,串联文档预处理、分页骨架抽取、并行证据增补、生物规则校验与有界审查循环。其执行流程包含两层闭环:内层为抽取-校验-修正的即时迭代,外层则将专家人工质检发现的残余错误蒸馏为版本化提示技能模块,实现智能体能力的持续共进化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["文献输入<br/>OCR Markdown + 专利 + 图表"] --> B["文档预处理与导引<br/>格式修复与正则信标扫描"]
    B --> C["分页骨架构建<br/>候选抗体实体与基础记录生成"]
    C --> D["并行多路证据增补<br/>表格 + 图像VLM + PDB数据库"]
    D --> E["生物学确定性校验与有界审查<br/>规则硬约束拦截与针对性重抽"]
    E --> F["专家技能积累工作流<br/>错误蒸馏与版本化Prompt演进"]
    F --> G["标准化抗体记录输出<br/>22字段分级结构化数据"]

关键设计

1. 记录为中枢的分页骨架抽取:实体边界漂移与长程上下文丢失 -> 增量分页生成与去重追踪 -> 确立抗体记录原子单元并防止重复生成 在面对动辄数十页的专利和复杂文献时,通用大模型容易发生上下文截断或多实体属性混淆。ABCURATOR 将抽取对象明确定义为单一抗体记录(包含分子名称、靶点、测定条件、数值与直接支持引文)。框架利用 Skeleton Agent 采用分页受限调用机制,单次推理仅至多发射 \(k\) 个候选记录,同时在状态空间中维护已覆盖抗体名称列表,严格杜绝同一抗体在不同章节被重复生成相互冲突的分裂记录。同时,在骨架生成前执行文档导引分析,预先识别核心抗体与对照参考抗体,确立优先抽取顺序。

2. 确定性优先的异构多路证据增补:多模态异构证据难以单步对齐 -> 专用多通道并行检索与优先级合并 -> 解耦推理与计算并保证高保真回填 文献中的抗体序列往往出现在多序列比对图片中,动力学常数位于附表,而三维结构则仅提供 PDB ID。ABCURATOR 针对性解耦了通用推理与专用计算:对文本表格利用确定性 Python 解析器提取;对外部数据库(PDB、GenBank)调用专用 API 工具提取高精度链信息,并由专用规则过滤连接子(Linker)与标签干扰;对对齐图像由 Vision-Language Model 专门转录氨基酸序列。所有多源异构证据在回填至抗体记录骨架时遵循严格的局部归属优先级,必须具备局部实体名称锚定方可合并,杜绝无依据的属性跨记录广播。

3. 生物规则硬校验与有界重试审查:大模型不可控幻觉与格式漂移 -> 生物学有效性验证与定向修正回路 -> 构建鲁棒的信息闭环过滤 为了确保下游工程可用性,框架在模型生成后串联了 rule-driven Validator 确定性检查器。校验器针对氨基酸合法字符集、合理重轻链长度包络区间、CDRH3 序列锚点逻辑一致性以及跨记录重复性执行判定,输出 pass、warn 或 fail 裁决。一旦触发 fail,Reviewer Agent 将生成精准到字段级的修改指令,由 Orchestrator 启动定向重抽机制。重试流程设置了严格的步数预算限制,在保证低成本的前提下迫使模型在受限局部上下文中自洽纠错。

4. 专家闭环技能积累工作流:静态提示词难以应对长尾学术文献异常 -> 残余错误模式分类与版本化技能沉淀 -> 实现免重训练的能力单调跃迁 传统的 Prompt 工程往往是单次手工调整,难以系统性维护。ABCURATOR 设计了专家协同进化外环:在每一轮基准评测结束后,领域科学家对剩余失败样本进行复盘,将高频错误(如断裂 OCR 行合并、PDB 中 scFv 单链误当 VH 序列、多图比对行乱序等)提炼为标准操作规程(SOP),并固化为版本化的技能模块(如 ocr-format-repair、sequence-image-extraction、pdb-postprocess 等)。在后续抽取轮次中,相应智能体按需动态加载经过验证的技能模块,从而在无需重新微调模型权重的前提下实现系统性能的持续递增。

评估基准与实验设计

ABDATABENCH 包含来自 27 篇同行评审期刊(PubMed)和 17 件发明专利(USPTO、EPO)的 44 篇长文档,共经双盲专家独立标注生成 279 条高保真抗体记录,跨越病毒(SARS-CoV-2、HIV-1)、肿瘤(HER2、EGFR、PD-L1)及寄生虫(疟原虫)等关键靶点。

基准定义了 22 个标准化评估字段,划分为三个重要度层级: - Core 核心层(权重 2.0):CDRH3 序列、VH 完整序列、VL 完整序列、结合动力学 \(K_D\)。 - Standard 标准层(权重 1.0):靶点名称(Target_Name)、结合表位(Epitope)、抗体类型(Antibody_Type)、作用机制(Mechanism_of_Action)、实验方法(Experiment)、\(k_{on}\)、\(k_{off}\)、\(EC_{50}\)、结构数据(Structure)。 - Auxiliary 辅助层(权重 0.5):来源种属(source)、参考文献(Reference_Source)、靶点类别(Target_Type)、同种型(Antibody_Isotype)、交叉反应性(Cross_Reactivity)、补充定量指标(Quantitative_Metric)、体内半衰期(In_Vivo_Half_Life)、体内疗效(In_Vivo_Efficacy)、热稳定性 \(T_m\)。

评估流水线通过匈牙利算法执行无序记录匹配,匹配相似度公式为: $\(\text{sim}(\hat{a}, a) = 0.85 \bar{N}(\hat{a}, a) + 0.15 C(\hat{a}, a)\)$ 其中 \(\bar{N}\) 为最长公共子序列抗体名归一化相似度,\(C\) 为涵盖 Target_Name (0.45)、Antibody_Type (0.25) 等 5 字段的上下文相似度得分,阈值 \(\tau=0.5\)。字段级评分优先采用确定性规则(序列规范化容差、数值 \(\le 10\%\) 相对误差判为 1.0,\(\le 3\) 倍差异判为 0.5),语义字段由经过校验校准的 LLM-as-Judge(Gemini-3.1-Pro)判定。最终文档得分引入非对称惩罚项: $\(S_d = \frac{\sum_{a} R(a)}{|A_d|} \times 100 \times \max\left(0, 1 - 0.01 \lfloor n_{FP}/5 \rfloor - 0.05 n_{FN}\right)\)$ 该机制将漏抽惩罚系数(\(\lambda_{FN}=0.05\))设为多抽误报惩罚(\(\lambda_{FP}=0.01\) / 5篇)的数倍,强力牵引智能体追求科学证据的高召回与全覆盖。

实验关键数据

主实验

在 ABDATABENCH 的 44 篇完整文档(279 条记录)上,对 4 种专有大模型与 4 种开源大模型作为骨干的完整 ABCURATOR 框架进行了端到端评测。

模型 抗体查准率 (%) ↑ 抗体查全率 (%) ↑ 序列命中率 (%) ↑ \(K_D\) 命中率 (%) ↑ 综合基准得分 ↑
专有模型
Claude-4.6-Opus 45.5 86.4 69.9 79.6 78.3
Claude-4.6-Sonnet 36.8 87.1 67.4 76.1 76.4
GPT-5.5 29.6 84.6 62.7 66.4 72.7
Gemini-3.1-Pro 29.4 75.3 41.0 44.2 63.1
开源模型
GLM-5.1 31.7 97.8 66.8 55.8 76.0
DeepSeek-V4-Pro 49.6 84.9 64.2 67.3 75.5
Qwen3.5-Plus 35.3 84.6 46.4 47.8 70.8
MiniMax-M2.7 32.5 80.3 41.8 34.5 59.5

消融实验

各模型骨干在不同模块剔除配置下的综合评测得分对照如下:

配置 / 消融项 专有均值 开源均值 全体平均得分 相比完整管线降幅 说明
完整 ABCURATOR 管线 72.6 70.7 71.6 - 完整框架与全部技能集
仅骨架抽取 (Skeleton-only) 63.3 61.8 62.6 -9.0 仅依靠文本上下文单步生成
去除并行证据增补 (w/o Enrichment) 66.7 64.2 65.4 -6.1 缺乏图像、表格与外部 PDB 支持
去除规则校验与重试 (w/o Validation/Retry) 71.8 69.4 70.7 -0.9 去除确定性生物检查与重试回路
去除积累的技能提示 (w/o Skills) 66.1 64.2 65.1 -6.4 剥离专家错误蒸馏的 SOP 提示

关键发现

  • 增补模块与技能沉淀是性能台阶的关键基石:消融数据显示,仅依靠单步骨架抽取会导致平均得分暴跌 9.0 分,而剥离积累的领域技能提示(w/o Skills)与去除并行增补分别导致 6.4 分与 6.1 分的显著滑坡。这证明了外部工具增强与专家经验系统化编码是解决长程异构抽取的决定性要素。
  • 高查全率与低查准率的普遍张力:所有大模型的抗体查准率(29.4%–49.6%)均大幅低于查全率(75.3%–97.8%)。模型倾向于将阴性对照、野生型母本、商业化参考抗体甚至流式门控标签过度抽取为独立新抗体,表明智能体对研究文献的实验设计边界理解依然脆弱。
  • 开源骨干表现抢眼:GLM-5.1 展现了惊人的 97.8% 抗体查全率,总分达 76.0,逼近 Claude-4.6-Sonnet;DeepSeek-V4-Pro 则以 49.6% 的查准率和 67.3% 的 \(K_D\) 命中率在所有模型中呈现最严谨的属性绑定精度,且平均处理单篇文档成本仅 0.15 美元,性价比极其优异。

亮点与洞察

  • 将科学数据抽取重塑为“记录级对齐”评估:跳脱出传统 NLP 粗糙的词粒度 F1 评估,引入生物学重要度分级权重、确定性公差与非对称惩罚项,使得评测体系能够真实映射下游分子建模对数据的容忍阈值。
  • “推理与计算解耦”的混合架构实践:将模糊上下文识别与语义归一化交由大语言模型,而将序列正则匹配、单位换算、PDB 结构拉取与氨基酸合法性约束收敛进确定性纯 Python 模块,既提升了抽取稳定性,又极大压降了 API 幻觉风险。
  • 闭环技能积累范式(Co-evolution):开创性地提出将评测残余缺陷转化为版本化技能模块的工作流。通过外环人工专家归纳、内环智能体模块化加载,实现了免微调条件下的工程能力单调递增。

局限与展望

  • 依赖上游 OCR 质量:文档预处理重度依托 MinerU 等视觉解析工具。在低分辨率扫描件、破损多栏表格或模糊的凝胶电泳/比对图中,字符识别错误将直接在序列字段引发级联失败。
  • 缺乏湿实验最终生物功能闭环:当前基准仅对比专家标注的一致性保真度,尚未将智能体抽取的抗体记录实际送入亲和力成熟设计等湿实验流程中进行生物有效性终验。
  • 领域通用性迁移成本:22 字段模式高度针对抗体与免疫学场景深度定制。若要推广至小分子药物设计、酶催化工程或基因治疗载体,需重新制定领域模式与判定规则。

相关工作与启发

  • vs SciREX / BioRED / TDMS-IE:以往科学信息抽取基准局限于摘要或单句级别的简单三元组或扁平多元关系抽取,缺乏跨模态长程关联。ABDATABENCH 首次以包含 22 个多层级关联字段的完整实体记录为基本评价单元。
  • vs ScienceAgentBench / PaperBench:近年涌现的科学智能体基准大多评测端到端代码复现或假说提出等开放任务,指标主观且难以精准归因。ABDATABENCH 聚焦于底层高保真结构化记录沉淀,提供了细粒度、确定性高的标尺。
  • vs SAbDab / Thera-SAbDab / OAS:现有成熟抗体数据库主要记录序列或晶体结构,功能动力学(亲和力、结合速率、体内保护率)往往高度匮乏。ABCURATOR 展现了利用 AI 智能体低成本大规模补全海量文献功能数据的可行路径。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次建立严格考虑记录对齐、分级权重与漏抽重罚的抗体数据抽取基准,提出专家反馈技能积累闭环。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 款顶尖专有与开源模型、详尽消融分析、典型错误剖析以及 4.8 万篇真实文献的规模化验证。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密,术语严谨,图表完备,附录提供了完整的打分公式、提示词细节与资源开销审计。
  • 价值: ⭐⭐⭐⭐⭐ 成功连接了语言模型智能体与计算生物学数据工程,为自动化科学数据挖掘设立了高水平基准。