GISA: A Benchmark for General Information Seeking Assistant¶

会议: NeurIPS 2026
arXiv: 2602.08543
代码: https://github.com/RUC-NLPIR/GISA
领域: 信息检索/RAG
关键词: 搜索智能体, 基准评测, 信息检索, 确定性评测, 人类搜索轨迹

一句话总结¶

针对现有搜索智能体评测中“由答案逆向构题”、“缺乏纵深与广度结合”、“静态答案易受预训练污染”及“LLM打分不稳定”等痛点，提出由人类正向构建的通用信息搜索基准 GISA，涵盖四种结构化答案格式与动态实时子集，并提供完整人类真实搜索轨迹以支持过程级监督。

研究背景与动机¶

大语言模型（LLM）驱动的搜索智能体（Search Agent）已成为新一代信息获取系统的核心支柱，从被动单轮问答演进为自主规划、多轮网页浏览和动态信息聚合的复杂系统（如 OpenAI Deep Research 和 Gemini Deep Research）。然而，评估通用信息搜索能力的基准评测体系却面临严重的结构性缺陷。以 BrowseComp 为代表的多数既有基准普遍采用“逆向工程”构题范式——先挑选特定冷门事实或目标答案，再倒推拼凑出问题。这种模式虽然能人为制造高难度，但所生成的问题严重脱离人类真实搜索场景，甚至在正向自然搜索中根本不可解。

与此同时，现存基准往往陷入“非深即广”的片面评测困局：InfoDeepSeek、xbench-DeepSearch 等聚焦于多跳超链接下钻的垂直纵深搜索，而 WideSearch 则偏向于并行的原子信息搜集与表格整理，二者缺乏有机统一。更为严峻的是，传统基准多依赖静态答案集，随着前沿基座模型预训练数据截止日期的不断推进，模型凭借参数记忆即可答题，严重污染了纯粹搜索能力的测试；而在评测手段上，依赖 LLM 作为裁判又引入了巨大的随机性与主观偏差。

本文的切入角度是：一个真实的通用信息搜索基准必须从人类真实的浏览好奇心出发，正向设计兼具横向广度聚合与纵向深度推理的复杂任务，并用结构化数据格式实现确定性客观评分。核心 idea：通过“头脑风暴-正向提炼-真机采集-严格质检”四阶段管线构建涵盖 373 个高质量真实查询的 GISA 基准，统一单项、集合、列表、表格四类结构化格式实现无模型偏见的确定性指标评测，划分静态与动态月更子集对抗记忆污染，并首度为全量查询提供人类真实搜索轨迹日志。

方法详解¶

整体框架¶

GISA 的构建是一套以人类认知为中心、兼顾挑战性与现实性的全流程系统工程。整体架构由四阶段构建流水线、兼顾深度与广度的结构化任务规范、以及基于模式解析的客观指标评测体系构成。输入端从人类专家在 10 大主题领域的自由探索发散，中间经过多层级去污染与可行性筛选，输出端则规范为统一的 TSV 格式并计算确定性匹配度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["真实网页浏览与探索"] --> B["阶段1：正向好奇心激发与种子问题构思"]
    B --> C["阶段2：任务规范化与四类结构化格式约束"]
    C --> D["阶段3：真机浏览器扩展采集人类搜索轨迹与答案"]
    D --> E["阶段4：一致性筛查、事实交叉验证与预训练记忆过滤"]
    E --> F["确定性客观评测与过程级行为分析"]

关键设计¶

1. 认知启发式正向构题与深广度双重任务提纯 针对逆向拼题导致任务失真且正向不可解的痛点，GISA 借鉴认知心理学中“接触信息引发求知欲”的模型，组织 15 位信息检索专业研究生在政治、科技、艺术、历史等 10 大领域自由浏览真实网页，记录自然涌现的求知需求。在查询规范化阶段，标注员必须对种子问题执行前置可行性搜索，严格剔除在单一网页或搜索引擎结果摘要中已预先聚合的平庸事实。例如，不直接询问“韩国历任总统总人数”，而是要求整理“历任总统及其任内是否宣布过戒严令的完整表格”。该设计强制要求智能体首先进行水平维度的广度收集（枚举所有总统全集），随后对每一个实体展开垂直维度的深度推理与多源考证（逐一核实戒严史实），将横向汇总与纵向深挖自然融于同一任务之中。

2. 四类结构化答案格式与无裁判确定性评测 为根除 LLM-as-a-Judge 评分带来的主观幻觉、格式容错差和不稳定性，GISA 将所有查询的目标输出严格约束为单项（Item）、集合（Set）、列表（List）和表格（Table）四种结构化类型。所有被测模型必须以 Markdown 代码块内的 TSV 格式返回结果，评测管道自动执行小写转换、空白清理、数值符号剥离和浮点数截断归一化。在评分指标上，除通用严格完全匹配（Exact Match, EM）外，针对集合采用集合 $F_1$ 分数；针对列表，分离内容准确度与顺序准确度，基于最长公共子序列原理设计顺序匹配度指标： $$\text{Order Score} = \frac{2M}{T}$$ 其中 $M$ 为兼顾内容与位置的匹配元素总数，$T$ 为两列表元素总数之和。对于表格型复杂输出，则同时评测行级行完全符合度（Row-level $F_1$）与单元格级细粒度正确率（Item-level $F_1$），实现了兼具高信息密度与纯算法确定性的客观评测。

3. 动态时效划分与预训练参数记忆去污染 为确保基准长期有效并阻断模型依靠内部参数“背题”，GISA 引入时效性双子集架构。标注员将问题严格区分为三年内保持不变的稳定子集（Stable，共 223 题）以及动态演进的实时子集（Live，共 150 题），后者由维护团队承诺进行月度真值追踪与更新。此外，在数据入库前实施闭卷过滤：采用 DeepSeek-V3.2 在彻底切断网络搜索与思维链思考模式的纯参数记忆状态下作答，凡能被基座模型仅凭内部知识完全答对的题目均视作预训练数据已污染，直接予以剔除。最终留存的 373 个问题（包含 22 个 Item、50 个 Set、48 个 List 和 253 个 Table）构成了必须调用外部检索才能求解的纯净评测集。

4. 过程级人类搜索轨迹捕获与行为特征解耦 针对以往基准仅有黑盒端到端输入输出、缺乏可解释过程基准的问题，GISA 开发了定制化后台浏览器插件，全流程、毫秒级记录人类专家求解每个查询时的真实搜索轨迹。日志完备记录了人类输入的 Google 查询词、搜索引擎结果页（SERP）快照、网页点击流以及各阶段停留时间，同时强制人工忽略搜索页面附带的 AI 摘要以确保原生人类搜索行为。这套轨迹一方面经过多轮质检验证所有任务在开放互联网上的真实可达性与答案可推导性，另一方面产出了查询相似度（Search Similarity）、查询多样性（Search Diversity）和网页浏览重合度（Browsing Similarity）三项行为解耦指标，为搜索智能体提供了宝贵的过程奖励建模（PRM）和人类模仿学习黄金参考。

实验关键数据¶

主实验¶

论文对多款前沿 LLM 构建的 ReAct 智能体（配备 Google Serper 与 Jina Reader，上限 30 次工具调用）以及主流商业搜索/深度研究系统进行了系统评估。所有系统提示词与输入约束一致。

模型 / 系统类别	架构模式	Item EM (%)	Set F1 (%)	List Order (%)	Table Row-F1 (%)	Overall EM (%)	平均工具调用 (Search / Browse)
Claude 4.5 Sonnet	ReAct (thinking)	63.64	64.86	56.42	49.92	19.30	7.57 / 4.63
Qwen3-Max	ReAct (thinking)	59.09	63.45	64.08	48.48	17.96	11.50 / 8.94
Claude 4.5 Sonnet	ReAct (non-thinking)	59.09	60.87	57.78	47.85	16.36	10.11 / 5.67
GPT-5.2	ReAct (thinking)	63.64	62.70	53.17	43.04	15.82	8.14 / 13.78
Kimi K2.5	ReAct (thinking)	68.18	61.71	48.81	45.19	15.55	13.02 / 7.89
Gemini 3 Pro (high)	ReAct (thinking)	50.00	62.66	60.12	47.01	15.28	11.87 / 5.79
DeepSeek-V3.2	ReAct (thinking)	63.64	60.79	60.41	43.44	14.47	12.14 / 12.35
Google Search AI Mode	商业检索系统	31.82	46.34	39.36	31.15	9.38	- / -
OpenAI o4-mini DeepResearch	商业深度研究	18.18	63.03	52.59	36.78	7.78	69.88* / -
Perplexity Sonar Pro Search	商业检索系统	22.73	47.04	33.16	34.76	7.51	- / -
GPT-4o Search Preview	商业检索系统	13.64	38.70	36.00	29.59	5.63	1.00* / -

消融与深度分析实验¶

论文针对推理时思考模式（Thinking vs Non-thinking）、时效性子集表现差异、以及测试时计算扩展（Inference-time Scaling）进行了多维度分析。

分析维度 / 模型	对比配置 / 条件	关键指标及数值	核心结论与机制说明
思考模式增益 (Claude 4.5)	non-thinking vs thinking	Overall EM: 16.36% → 19.30%	显式推理链有效提升规划与自修正能力，且调用工具更为节制精确
思考模式增益 (DeepSeek-V3.2)	non-thinking vs thinking	Overall EM: 11.53% → 14.47%	开启 thinking 后模型在复杂表格与列表整理中的行准确度显著改善
数据污染验证 (Kimi K2.5)	Stable 子集 vs Live 子集	Overall EM: 18.39% vs 11.33%	训练截止期较新的模型在静态题上有明显预训练记忆红利，Live集显著挤干水分
数据污染验证 (Claude 4.5)	Stable 子集 vs Live 子集	Overall EM: ~19% vs ~19%	预训练期较早的模型两子集无明显差距，充分证明其实力源自纯搜索行为
搜索策略差异 (人类 vs 模型)	专家人类 vs Claude 4.5 (T)	检索数: 3.53 vs 7.57; 浏览数: 19.03 vs 4.63	人类倾向于“少搜深读”，智能体倾向于“频搜浅读”；人类相邻查询重合度更高 (0.31 vs 0.22)
测试时计算扩展 (Qwen3-Max)	$k=1$ 至 $k=16$ (Best@k)	Best@k: 8.90% → 22.22% (提高 2.5×)	模型具备解答复杂查询的潜在搜索路径，但单次试错容易陷入次优局部解

关键发现¶

复杂信息检索任务面临天花板：即使业内顶尖的 Claude 4.5 Sonnet (thinking) 在 GISA 上的整体 EM 仅为 19.30%，在占据绝大多数的复杂表格任务（Table）上 EM 骤降至 13.04%，暴露出当前智能体在长程规划、多层超链接跳转和宽表综合组织上的巨大缺陷。
商业闭源研究系统并未领跑：商业 Deep Research 产品（如 o4-mini DeepResearch、Perplexity Sonar Pro）在格式严格遵循上频发错误，导致确定性指标折损；而单轮搜索的 GPT-4o Preview 完全无法应对复杂多跳多源任务。
工具调用并非越多越好：Claude 4.5 凭借平均 7.57 次 Search 与 4.63 次 Browse 即登顶榜首，平均单题成本控制在 $1.37；而 DeepSeek-V3.2 和 GLM-4.7 调用了 20 余次工具、消耗超过 50 万输入 Token，却因海量无序上下文引入过多噪声而导致准确率下滑。

亮点与洞察¶

正向好奇驱动打破逆向死局：通过真实浏览刺激自然构题，彻底终结了“先选答案、倒推拼题”带来的虚假难度与正向不可解问题，建立了真正贴近人类使用场景的基准标杆。
结构化输出抹平裁判偏见：将复杂信息组织沉淀为单项、集合、列表和表格，引入严格清洗规则与 Sequence Matcher 顺序度量，无需昂贵且易波动的 LLM Judge 即可实现完全客观、确定性极高的代码化复现评测。
人类金牌轨迹开启过程可解释性先河：全程捕获专家人类真实的检索词迭代与网页深读流向，揭示了“人类深读浏览 vs 智能体盲目重搜”的核心认知鸿沟，为未来训练具备长程规划能力的搜索智能体提供了宝贵的监督与偏好对齐数据。

局限与展望¶

规模与模态边界：由于全流程高度依赖高质量人类专家（每题需耗费 1 小时以上打磨与验证），目前规模为 373 题，适于精准基准测试但难以直接作为大规模 SFT 训练集；此外评测完全局限于纯文本网页交互，未覆盖多模态图表、视频及 GUI 界面的直接操作。
固定调用步数截断：基准实验统一设置了 30 次工具调用上限，少量极具广度的巨型表格任务因轮次耗尽未能收集完全部实体信息，未来需探索动态预算分配策略。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 彻底解决逆向题虚假难度与LLM裁判不稳定的痛点，并提供全量人类搜索轨迹。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 11 款主流开源/商业模型及商业搜索产品，兼顾思考模式、时效污染与人类对齐分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，四阶段流水线规范清晰，指标数学表达准确。
价值: ⭐⭐⭐⭐⭐ 为搜索智能体迈向实用化深广度研究提供了坚实而客观的评测标杆与轨迹数据财富。