AgentHop: A Diagnostic Benchmark for Agentic Multi-Hop Scientific Question Answering¶
会议: NeurIPS 2026
arXiv: 2609.34428
代码: https://github.com/JohnnyNLP/agenthop
领域: 其他
关键词: 智能体基准, 多跳文献推理, 诊断评测, 资源受限沙盒, 归因分解
一句话总结¶
AgentHop 构建了基于 7,205 篇真实 arXiv 论文引文拓扑的 1,011 道多跳科学问答诊断基准与 7 工具受限沙盒,将单一准确率解耦为检索、综合、工具调用指纹与资源管理四大轴向,系统性揭示了 19 个主流模型在长程学术探索中的能力瓶颈与家族行为特征。
研究背景与动机¶
基于大语言模型的自主智能体(Language Agent)通过多轮调用外部工具并感知环境反馈,在开放信息空间中搜集证据以求解复杂问题。在科学文献研读与学术多跳问答任务中,智能体需要在庞大的学术拓扑网络中自主导航、检索相关论文、精读具体段落,并跨越多篇文献提炼出深层逻辑结论。然而,这类多步交互任务的执行链路极其复杂,系统失败可能发端于检索迷航、跨文档逻辑综合断裂、工具死循环调用,或是上下文与步数预算耗尽。每一个阶段的缺陷都需要截然不同的后训练算法或架构调整手段来修复,但在缺乏细粒度分解的情况下,开发者难以确定哪一项子能力构成了特定模型的致命短板。
现有的智能体评测基准(如科学文献领域的 OpenScholar、复杂环境下的 WebArena、GAIA 以及代码领域的 SWE-bench 等)绝大多数沿袭了传统自然语言处理时代的单一标量准确率排名,将整条交互轨迹的成败浓缩为一个胜负分。这种粗粒度排名虽然直观,却掩盖了底层的失败机制:它无法区分一个模型是因为“搜寻到了关键文献却缺乏逻辑推导能力”(综合瓶颈),还是因为“具备极强的推理能力却困在检索死胡同里”(检索瓶颈),抑或是在输出答案前因无节制的低效调用被系统的硬性资源预算提前截断。现存的一些探索分解性评测的基准往往仅关注单一维度(例如仅分析跳数几何结构的 AgenticRAGTracer,或仅检验单步函数调用语法的 TRAJECT-Bench),无法捕捉跨能力的深层交互效应。
为了打破单一排名的黑盒迷雾,系统化评估智能体在长程学术交互中的各项核心能力,本文提出了四维解耦的诊断性评测体系。核心 idea:构建基于 7,205 篇真实 arXiv 论文、45 万余条引文边并经八阶段严密过滤的 1,011 道多跳科学问答基准 AgentHop,并在包含 7 个文献与控制工具以及 20 轮次、200K Token、30 点积分三重硬性预算的沙盒中,将模型表现显式解耦为检索召回率、证据转化率、工具调用流模式与资源管理上限四维指标,为大模型智能体提供精准的归因诊断与家族指纹画像。
方法详解¶
整体框架¶
AgentHop 的系统框架由八阶段基准构建流水线、七工具受限交互沙盒,以及四维解耦评测诊断体系三大部分紧密衔接而成。在评测过程中,智能体接收种子论文标识、待解答的学术问题以及 A–D 四个选项。包含真实答案的黄金论文隐匿在以种子为起点的两跳引文网络中(平均每个题目的局部引文邻域包含 311 篇候选论文)。智能体必须在严格受限的资源总额(20 个交互轮次、200K 累积 Token 上限、30 点工具调用积分)下,自主规划使用文献检索、引文遍历、章节定位、深度阅读以及私有思考等 7 个工具,收集完备证据并最终提交答案。评测系统记录整个轨迹的每一步工具调用与资源变动,计算检索与综合解耦指标,并在发生截断时精细归因。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入:种子论文ID + 待解问题 + 四选一选项"] --> B["八阶段引文链生成与双重对抗过滤<br/>4阶段拓扑生成 + 4阶段模型集成与人工审计"]
B --> C["非对称消耗受限沙盒<br/>7类文献与控制工具 + 20轮次/200K Token/30分预算"]
C --> D["四维解耦评估指标体系<br/>检索召回 + 综合转化 + 调用流指纹 + 资源熔断归因"]
D --> E["输出:选项判定与模型家族能力瓶颈画像"]
关键设计¶
1. 八阶段引文链生成与双重对抗过滤:从 7,205 篇论文构建 1,011 道硬核多跳评测集 为了杜绝数据污染、捷径泄漏与事实失真,AgentHop 确立了四阶段链式生成与四阶段过滤审计的对称构建体系。生成阶段首先从 9 个计算机顶会(NeurIPS、ICML、ICLR、ACL、EMNLP、NAACL、CVPR、ECCV、SIGIR,2022–2025)中分层抽取 953 篇种子论文,按出链引用展开一跳(BFS 单目标)与两跳(DFS 多目标)引文拓扑,通过 Jaccard 引用重叠率(\(\ge 0.08\))与大模型好奇心跳数判别(\(\ge 4\) 分)筛选出 17,983 条强关联学术链;随后由 GPT-5.4 生成深度依赖引文证据的问答对,并严格禁止在题干中泄漏目标论文标题与专属方法词;接着为每道题生成三种极具混淆性的对抗干扰项(仅从种子论文推导的干扰项、邻近非目标论文的干扰项、以及纯参数化无上下文生成的虚假项)。过滤阶段引入由 GPT-4.1、Claude Sonnet 4.6 与 DeepSeek-chat 组成的三模型集成,执行捷径检测(剔除仅凭种子论文即可解答的 68 道泄漏题)与一致性验证(剔除即使获得全部论文模型也无法达成共识的 434 道弱证据题);随后经拓扑完整性校验(剔除断链或正文缺失的 71 道题)、7 名硕博专家通过专用 Gradio 界面逐题人工审计(剔除正文提取残缺或对齐不合的 35 道题),以及长文本异常过滤(剔除解析坍缩合并不合理章节的 27 道题),最终保留 1,011 道高质量多选题。
2. 非对称消耗受限沙盒:以细粒度工具积分与三维硬上限逼出真实资源管理策略
为还原真实工业界和科研场景下对计算开销与延迟的严格限制,沙盒配置了 7 个具备明确开销权重的函数工具。其中 5 个为文献环境交互工具:keyword_search(基于关键词检索论文库匹配的标题与摘要,开销 1 点)、get_paper_info(获取指定论文的元数据与摘要,开销 1 点)、get_references(获取论文参考文献列表及其在正文中的上下文引用句,开销 1 点)、list_sections(列出论文各章节标题、别名及字符数,开销 1 点)以及 read_section(读取指定章节全文,开销 5 点);另外包含 2 个无消耗控制工具:think(记录模型内部思考轨迹)与 submit_answer(提交选项并结束任务)。通过将返回庞大正文的 read_section 设为 5 点高昂代价,沙盒强迫模型必须先通过低成本工具定位关键段落,惩罚盲目泛读;同时施加 20 轮交互限制、200K 总 Token 上限以及 30 点总积分池的三重硬性红线。任何超支调用均会被沙盒驳回并告警,连续违规或触发任一硬约束均直接熔断判错,从而有效暴露各模型在长程任务中的资源自控能力。
3. 四维解耦评估指标体系:彻底分离检索召回、证据综合与工具调用指纹
为了告别笼统的准确率,基准确立了四大正交诊断维度:
- 检索轴(Search Axis):计算论文召回率(Paper Recall, \(r_i \in \{0, 1\}\)),要求智能体必须成功调用 read_section 阅读该题所有黄金目标论文的至少一个章节;同时提供更为严苛的段落召回率(Section Recall),要求阅读章节必须精确覆盖专家标注的核心事实段落。
- 综合轴(Synthesis Axis):提出条件转化率(Conversion Rate),其定义为在成功达成论文召回的有效样本集合内,模型最终回答正确的比例:
$\(P(c_i = 1 \mid r_i = 1) = \frac{\sum_{i=1}^N c_i \cdot r_i}{\sum_{i=1}^N r_i}\)$
该指标排除了因检索失败盲猜带来的随机噪音,纯粹检验模型在关键证据摆在面前时,能否克服对抗干扰项并完成跨文档推理。
- 工具调用模式轴(Tool-use Pattern Axis):统计平均每轮工具调用数(Calls per Turn),刻画模型是单步串行(\(=1.0\))还是批量并行(\(>1.0\));同时统计动作二元组(Bigrams)与家族三元调用指纹(Trigrams),揭示深层调用习惯。
- 资源管理轴(Resource Axis):测算平均消耗的 Token、轮次与积分点数,并将未提交失败归类为 Max Tokens 截断、Max Turns 步数耗尽与 Max Budgets 积分超支,精准锁定模型在执行层面的崩溃根因。
损失函数 / 训练策略¶
作为纯评测基准,本工作不涉及模型权重的反向传播训练,但在沙盒运行协议与统计显著性判定上设计了严谨的约束控制与计算策略:
1. 预算超支驳回与惩罚机制:当单次工具调用所需积分超过剩余积分池时,沙盒不扣减积分,返回带有警告的驳回消息:“REJECTED: Insufficient budget”,允许智能体在下一轮自适应纠错;若模型连续两次发起超支工具调用,则直接触发 terminated_by = "budget" 并终止交互。
2. 多维硬性熔断判定:
- 上下文总 Token 数在每轮生成后计算,一旦累积突破 \(200,000\) 立即强行终止并标记为 token_limit;
- 交互轮数达到 20 轮仍未发起 submit_answer 则强制熔断为 max_turns;
- 所有非提交(Non-submission)样本准确率一律计为 \(c_i = 0\)。
3. 配对显著性检验:针对模型转化率的细微差距,在两模型共同达成召回的样本交集上执行双侧精确麦克尼马尔检验(Exact McNemar Test),通过不一致对(Discordant Pairs)的二项分布检验,确保转化率优势具有严格的统计显著性(\(p < 0.05\))。
实验关键数据¶
主实验¶
在涵盖商业闭源前沿(Closed Frontier)、开源前沿(Open Frontier)及轻量高效(Compute-Efficient)三层梯队的 19 个主流模型上进行了全量 1,011 题的对比评测,核心指标如下表所示:
| 模型梯队与名称 | 检索召回 (ST/MT) | 章节召回 (ST/MT) | 转化率 (ST/MT) | 调用/轮 | 平均Token (k) | 失败率 Tok/Turn/Bud (%) | 最终准确率 (%) |
|---|---|---|---|---|---|---|---|
| Closed Frontier | |||||||
| Gemini-3 Pro | 0.868 / 0.752 | 0.859 / 0.655 | 0.957 / 0.970 | 1.05 | 92.4 | 4.4 / 0.1 / 0.0 | 89.1 |
| GPT-5.3 codex | 0.812 / 0.623 | 0.775 / 0.470 | 0.896 / 0.902 | 1.44 | 69.5 | 0.3 / 0.0 / 0.7 | 82.5 |
| GPT-5.4 | 0.808 / 0.643 | 0.752 / 0.454 | 0.878 / 0.846 | 1.74 | 67.5 | 0.3 / 0.0 / 4.9 | 79.0 |
| Claude Opus 4.6 | 0.873 / 0.777 | 0.854 / 0.639 | 0.871 / 0.855 | 1.25 | 110.5 | 6.7 / 0.0 / 0.0 | 77.5 |
| Claude Sonnet 4.6 | 0.798 / 0.600 | 0.773 / 0.479 | 0.936 / 0.891 | 1.32 | 95.8 | 3.5 / 0.9 / 0.0 | 76.6 |
| Gemini-3 Flash | 0.724 / 0.501 | 0.680 / 0.386 | 0.625 / 0.644 | 1.01 | 180.3 | 27.7 / 2.1 / 0.2 | 54.7 |
| Open Frontier | |||||||
| GLM-5.1 | 0.768 / 0.673 | 0.734 / 0.506 | 0.830 / 0.768 | 1.20 | 102.0 | 3.2 / 1.6 / 3.2 | 69.6 |
| DeepSeek-reasoner | 0.720 / 0.558 | 0.667 / 0.436 | 0.760 / 0.717 | 1.00 | 128.6 | 5.2 / 1.2 / 0.0 | 59.6 |
| DeepSeek-chat | 0.773 / 0.623 | 0.743 / 0.506 | 0.706 / 0.670 | 1.00 | 156.7 | 12.2 / 2.2 / 0.0 | 56.4 |
| Kimi-K2.5 | 0.764 / 0.569 | 0.720 / 0.463 | 0.613 / 0.504 | 1.08 | 115.5 | 3.6 / 3.9 / 2.5 | 44.1 |
| MiniMax-M2.7 | 0.667 / 0.553 | 0.604 / 0.334 | 0.636 / 0.465 | 1.33 | 84.3 | 1.0 / 1.4 / 4.8 | 41.3 |
| Compute-Efficient | |||||||
| Gemma-4-31B | 0.621 / 0.521 | 0.579 / 0.348 | 0.788 / 0.861 | 1.01 | 87.6 | 2.4 / 0.1 / 0.0 | 64.8 |
| Qwen3.5-27B | 0.678 / 0.589 | 0.623 / 0.404 | 0.691 / 0.617 | 1.00 | 100.6 | 7.1 / 2.1 / 0.6 | 48.2 |
| Qwen3.6-35B-A3B | 0.505 / 0.302 | 0.456 / 0.174 | 0.672 / 0.657 | 1.00 | 109.5 | 11.2 / 3.7 / 0.8 | 38.1 |
| Qwen3.5-35B-A3B | 0.576 / 0.472 | 0.514 / 0.291 | 0.517 / 0.450 | 1.00 | 110.4 | 9.3 / 2.4 / 1.5 | 32.0 |
| Gemma-4-26B-A4B | 0.352 / 0.158 | 0.236 / 0.093 | 0.425 / 0.557 | 1.01 | 163.7 | 37.0 / 6.9 / 0.3 | 23.6 |
| Gemma-3-27B | 0.139 / 0.054 | 0.106 / 0.025 | 0.342 / 0.250 | 1.00 | 33.6 | 0.1 / 0.0 / 0.0 | 18.6 |
| Qwen3-30B-A3B | 0.470 / 0.460 | 0.423 / 0.309 | 0.318 / 0.225 | 1.00 | 101.7 | 4.8 / 6.4 / 0.3 | 16.0 |
| Qwen3-32B | 0.153 / 0.090 | 0.130 / 0.059 | 0.517 / 0.225 | 1.02 | 37.6 | 0.6 / 0.2 / 0.0 | 13.3 |
消融实验¶
为了量化模型对引文拓扑导航与关键词搜索的真实依赖度,研究在三个代表性模型上进行了工具消融分析(无工具闭卷 Zero-tool vs. 仅引文拓扑无搜索 No-search vs. 完整工具箱 Full-tool):
| 模型名称 | 闭卷基线 Zero-tool (%) | 沙盒增益 \(\Delta_{\text{tools}}\) (pp) | 仅引文导航 No-search (%) | 搜索增益 \(\Delta_{\text{kw}}\) (pp) | 完整沙盒 Full-tool (%) |
|---|---|---|---|---|---|
| DeepSeek-chat | 18.3 | +35.0 | 53.3 | +3.1 | 56.4 |
| Gemma-4-31B | 31.7 | +23.1 | 54.8 | +10.0 | 64.8 |
| GPT-5.3 codex | 48.6 | +30.7 | 79.3 | +3.2 | 82.5 |
关键发现¶
- 停止策略的家族指纹显著分化:面对多目标检索,GPT 家族倾向于过早提交(Premature Commit,GPT-5.3 codex 在 47% 的单目标和 67% 的双目标上读完即交,并在 34%–44% 的失败案例中提前终止);Anthropic 家族(Opus/Sonnet 4.6)与 GLM-5.1 展现了“验证后提交”(Verify before commit)特征,几乎所有提交均先调用
think审视证据;而 DeepSeek、Kimi 与 Flash 则表现为“过度搜索”(Over-search),在找到目标后仍反复翻阅,Flash 在多目标失败案例中高达 42% 迷失在第二跳搜索中。Gemini-3 Pro 表现最为均衡,整体准确率达 89.1%。 - 检索与综合存在独立的能力瓶颈:解耦指标揭示出截然相反的模型短板。MiniMax-M2.7 与 Kimi-K2.5 具备优秀的检索能力,但多目标综合转化率大幅暴跌 11–17 pp,属于典型的“综合瓶颈型”;反观 Gemma-4-31B,虽然多目标检索召回率仅 0.521,但一旦命中目标论文,转化率高达 0.861,达到顶尖前沿水准,属于典型的“检索瓶颈型”。
- 模型升级存在潜在能力置换(Trade-off):Qwen 稀疏 MoE 家族从 3.5 升级到 3.6 时,表面上综合准确率从 32.0% 提升至 38.1%,但分解指标显示这一微增完全由单篇转化率驱动,而多目标检索召回率反而从 0.472 断崖式退步至 0.302,说明升级过程中牺牲了核心的多篇引文图谱导航能力。
- 引文图谱导航承担了绝大部分检索重任:消融实验表明,脱离了关键词搜索、仅依靠出链引用遍历的 No-search 模式贡献了 +23 到 +35 pp 的超高跨度增益,而补上
keyword_search仅带来 +3.1 到 +10.0 pp 的微小边际提升,证明文献学术图谱本身即可作为高效自足的信息检索结构。
亮点与洞察¶
- 解耦指标打破了排行榜单一分数遮蔽:将准确率正交拆分为检索召回与条件转化率,使得模型开发者能够一眼看清模型究竟是“找不着文献”还是“读不懂长文”,为定向数据合成与强化学习奖励设计提供了精准抓手。
- 高频调用二元组具备极强的因果收益关联:序列分析表明,
read_section -> think带来平均 +13.6 pp 的准确率增益,think -> submit_answer带来 +12.6 pp 增益;反之,缺少思考的连续阅读read_section -> read_section会导致 −11.5 pp 的显著性能惩罚,量化证实了 ReAct 范式在学术智能体中的实证价值。 - 受限预算逼出了真实的架构脆弱性:设定 30 点细粒度积分与 200K Token 上限成功撕碎了部分开源模型“靠无限轮次堆砌性能”的假象,如 Gemma-4-26B-A4B 因无节制的稀疏激活长输出导致高达 37% 的 Token 熔断率,揭示了长程自约束控制的必要性。
局限与展望¶
- 作者承认的局限:评测语料局限于 2022–2025 年的 9 个计算机科学顶会论文,格式均为四选一选择题,尚未覆盖生物医学等长尾领域或开放式论述题;生成问题主要基于 GPT-5.4,存在潜在的模型自偏好风格重叠。
- 自身观察与环境外延:尽管基准对工具调用施加了非对称积分,但实际学术研究中论文通常包含图表、数学附录与开源代码仓库,纯文本章节读取工具尚无法完全还原多模态与代码级学术探索的复杂全貌。
- 改进与拓展方向:未来可将沙盒工具库扩展至包含 PDF 视觉图表解析器与代码运行环境,并将评估范式迁移至论文综述自主撰写与新颖科研 Idea 自动证伪等长程生成任务中。
相关工作与启发¶
- vs OpenScholar: OpenScholar 针对科学文献进行检索增强生成(RAG),但评测聚焦于给定证据后的开放式问答;AgentHop 要求智能体在未告知目标论文的前提下自主沿引文图谱跨跳检索并完成严格受限的决策闭环。
- vs AgenticRAGTracer: AgenticRAGTracer 首次尝试分解 RAG 检索失败,但仅按跳数几何结构(哪一跳出错)进行粗糙切分;AgentHop 将检索、综合推理、工具使用习惯与资源耗尽四个正交维度完全解耦,诊断粒度更精细。
- vs GAIA & WebArena: 通用网页端智能体评测缺少严苛的资源积分预算机制,倾向于直接以结果判定成败;AgentHop 引入非对称成本沙盒与上限截断归因,深度揭示了各模型家族在执行层面的行为指纹。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出多维度解耦的大模型学术智能体诊断基准,成功将准确率拆解为检索、综合、工具模式与资源约束。
- 实验充分度: ⭐⭐⭐⭐⭐ 跨闭源前沿、开源与轻量级梯队详尽评测 19 个主流模型,覆盖 1,011 道全量题,配合同步消融与稳定性复测。
- 写作质量: ⭐⭐⭐⭐⭐ 论文动机清晰明确,实验设计精巧严密,数据图表详实且极具洞察力。
- 价值: ⭐⭐⭐⭐⭐ 为智能体后训练(Post-training)、长程上下文管理策略优化以及学术文献交互系统设计提供了重要标杆。