Benchmarking Aggregation Queries over Unstructured Text¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/luck-seu/AGGBench
领域: 信息检索/RAG
关键词: 聚合查询、非结构化文本、AGGBench、检索增强生成、完整性评估
一句话总结¶
针对现有检索增强与智能体系统在开放文本上“只找部分支撑证据、缺乏全局完备覆盖”导致系统性漏数的缺陷,本文形式化了语料库受限的实体级文本聚合查询任务,构建了涵盖金融与科研领域 498 道多/单约束聚合查询基准 AGGBench,并通过 15 种代表性系统的系统评测揭示了现有范式在实体召回与证据密度稀疏场景下的根本瓶颈。
研究背景与动机¶
在大规模非结构化文本集合中执行分析型聚合查询(例如统计整个语料库中满足若干复杂自然语言约束条件的实体数量),是金融研报分析、法律合规审查、学术文献综述以及调查性新闻分析等场景的核心需求。然而,不同于传统开放域问答只需检索到单个可信答案即可满足需求(“找一个”),文本聚合查询要求系统在整个目标语料库中完整穷举所有满足条件的实体(“找全部”),并进行去重和计数。现有的两阶段预处理方案试图先将非结构化文本转化为关系型数据库或知识图谱再执行 Text-to-SQL,不仅预处理代价极其高昂,且不可避免地遭遇抽取噪音与模式僵化;而基于语义算子的系统仍依赖预定义模式,无法应对自由多样的非结构化实体条件。
与此同时,以检索增强生成(RAG)和自主智能体(Agent)为代表的免建库方法,天然是针对标准问答任务设计的。标准 RAG 的稠密检索器以语义相关度为优化目标,受限于固定的 top-\(k\) 截断窗口,一旦满足条件的实体在语料库中分布广泛或提及次数超过 \(k\),大量长尾或低相关度证据块就会在检索阶段被永久丢弃,直接引发系统性的漏数(undercounting)。更严峻的是,评测基准存在长期空白:HotpotQA 和 2WikiMultiHopQA 等多跳基准中聚合问题占比不足 5%,DROP 等数值推理数据集仅聚焦局部段落的算术四则运算,而 WideSearch 等大规模搜索基准面向不可控的开放互联网而非有边界、可逐项核验事实证据的固定语料集合。缺乏完备且具备证据级支撑的评测基准,导致学术界无法对文本聚合系统的真实瓶颈进行归因分析。
构建此类基准面临严苛的数据工程挑战:在数十万乃至上百万字符的真实语料中穷举所有合法实体并标注每一个实体的文本出处支撑证据,纯人工标注成本极高且极易遗漏。针对这一挑战,本文的设计切入点是建立一套人机协同、证据锚定的规范化流水线:从领域聚焦文本中提取高频实体类别与判别性约束条件,利用 LLM 进行海量候选预标注再结合人工全量精校,进而通过布尔逻辑组合生成多约束查询并严格推导 Gold 答案集合。核心 idea:将非结构化文本聚合查询严格形式化为语料库受限的实体级计数问题,构建首个具备证据级标注且覆盖单/多布尔约束的 498 题评测基准 AGGBench,并对 15 种代表性 RAG 与 Agent 系统展开完备性与计数偏差的系统评测。
方法详解¶
整体框架¶
本文首先形式化了语料库受限的实体级聚合查询任务:给定语料库 \(\mathcal{C}\) 和聚合查询 \(q = (T, \Phi, \Gamma)\),其中 \(T\) 为目标实体类型,\(\Phi = \{\phi_1, \dots, \phi_m\}\) 为由布尔谓词构成的约束集合,\(\Gamma\) 为聚合算子(聚焦 COUNT,即 \(\Gamma(\cdot) = |\cdot|\))。系统必须识别所有类型为 \(T\) 且使得 \(\Phi(e) = \text{true}\) 具备明确文本证据的实体 \(e \in \mathcal{E}(\mathcal{C})\),最终计算满足条件的实体去重总数。围绕该任务,AGGBench 的构建流水线包含四个紧密衔接的阶段:语料收集与切块、单约束查询生成与过滤、人机协同证据对齐与双盲质检、以及基于集合代数的多约束逻辑查询推导。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["领域聚焦语料库<br/>15份SEC 10-K研报 + 44篇顶会论文"] --> B["单约束查询生成<br/>实体类型/属性值约束抽取与自然语言泛化"]
B --> C["人机协同证据对齐<br/>LLM全语料预标注 + 人工双阶段复核与仲裁"]
C --> D["布尔逻辑查询组合<br/>合取AND交集 / 析取OR并集推导Gold答案"]
D --> E["多维度评测诊断<br/>ACE绝对误差 + NACE归一化误差 + 实体/证据块召回"]
关键设计¶
1. 单约束查询生成:语料锚定的实体类型与判别性约束抽取 为了防止生成的查询退化为全语料仅有单个孤立实体的假聚合问题,系统不能依赖高度异构的杂乱网页,而必须采用具有高度概念复现性的领域聚焦语料(涵盖金融 15 家巨头科技企业的 2025 年 SEC Form 10-K 研报,以及 44 篇 2019–2025 年顶会论文)。在固定 1000 字符切块与 200 字符重叠划分后,流水线首先提示 LLM 从各切块中抽取实体提及及其候选类型 \(m = (n, T, d_i, c_j)\),经过小写转换与空白符规范化合并同名实体,并强制滤除规范实体数少于 5 个或文档/切块覆盖数少于 2 处的边缘类型,由人工剔除边界模糊或过于宽泛的类型。随后,流水线针对保留类型 \(T \in \mathcal{T}\) 收集其关联文本切块,提示 LLM 抽取属性-值限定短语作为候选约束 \(\phi\)。为了确保聚合任务具备鉴别度,流水线严格滤除出现频次低于 2 次的冷僻约束,同时剔除几乎覆盖该类型所有实体的无区分度泛化属性(如“important”或“large”)。最终由 LLM 将通过人工校验的实体类型-约束对 \((T, \phi)\) 泛化表述为自然的聚合提问语句 \(q\)(例如针对 \(T = \text{dataset}\) 与 \(\phi = \text{“used for multi-hop question answering”}\),生成“How many datasets are used for multi-hop question answering?”),产出高质量的单约束基准查询集 \(Q_{\text{single}}\)。
2. 人机协同证据对齐:LLM 全局预标注与双阶段双盲人工裁决 针对单约束聚合查询的 Gold 答案标注存在极高的漏标风险这一痛点,该流水线设计了兼顾高吞吐与严谨性的双阶段人机协同标注与质检机制。在第一阶段,利用 LLM 对所有“查询-文本块”候选对进行全覆盖预筛选,抽取候选实体名称、出处文档与切块 ID,仅作为粗筛线索而不直接作为真值,从而大幅减轻人工通读万级文本块的疲劳;在第二阶段,5 名经过专业训练的标注人员对分配文档进行逐字通读,执行双重审查:既严格核实 LLM 提议实体是否真正被原文切块直接支撑(排除外部先验常识与主观推断),又全面搜寻 LLM 遗漏的合法实体。质量控制体系引入了双人独立背靠背标注机制:针对产生分歧的样本,正向标注者必须提供精确的支撑文本跨度(evidence span)及上下文语境开展交叉复核;若两人仍无法达成共识,则标记为未决样本。基准制定了严格的淘汰规则:凡是被至少两对独立标注人员判定为未决的模糊查询,直接从基准中予以物理剔除(共剔除 15 道争议查询)。在最终保留的基准子集上,标注一致性在独立初审阶段达到 90.23% 的原始一致率与 \(\kappa = 0.496\) 的 Cohen's Kappa 系数,经仲裁复审后正样本一致率跃升至 79%,总计耗费约 300 人时,最终在 117 道单约束查询上固化了 5,110 条具备证据溯源的高质量 Gold 实体条目。
3. 布尔逻辑查询组合:基于集合代数的无歧义多约束衍生 真实业务分析场景中的聚合查询往往交织着复杂的复合限制条件,单纯依靠人工重新标注多条件文本在经济上不可行且极易引入标注漂移。为此,本文设计了基于集合代数的布尔组合算子机制:对具有相同实体类型 \(T\) 的任意两个已验证单约束查询 \(q_i = (T, \{\phi_i\})\) 与 \(q_j = (T, \{\phi_j\})\),分别运用逻辑合取(AND)与析取(OR)构建复合查询: $\(q_{ij}^{\land} = (T, \{\phi_i \land \phi_j\}), \quad q_{ij}^{\lor} = (T, \{\phi_i \lor \phi_j\})\)$ 其对应的 Gold 实体答案集直接由底层的集合运算无损导出:合取查询的答案集定义为两单约束答案集的交集 \(\mathcal{A}_{q_i} \cap \mathcal{A}_{q_j}\),析取查询的答案集则对应其并集 \(\mathcal{A}_{q_i} \cup \mathcal{A}_{q_j}\),且所有生成实体的证据块指针直接继承自原始单约束标注。所有组合约束经 LLM 自然语言表述后,人工审查剔除语义不通畅、存在逻辑歧义、或答案集为空的无效问题,最终推导出 381 道多约束聚合查询(包含 51 道合取查询与 330 道析取查询),使得 AGGBench 涵盖由浅入深的丰富逻辑复杂度。
4. 多维度评测诊断:结合计数偏差与实体/切块双层召回的度量体系 针对聚合查询既要求最终计数值准确、又要求底层证据完备挖掘的双重特性,本文确立了细粒度的评测度量体系。对于预测数量 \(\hat{y}\) 与 Gold 真实数量 \(y\),定义绝对计数误差 \(\text{ACE} = |\hat{y} - y|\) 以及归一化绝对计数误差 \(\text{NACE} = |\hat{y} - y| / (y + \epsilon)\),其中引入微小常数 \(\epsilon\) 保障数值稳定性;全库统计采用中位数以排除极端异常值的干扰。为深入诊断模型是“算错了”还是“没找到”,评测体系进一步配套了双层召回诊断信号:实体级召回率 \(\text{Recall}_{\text{ent}} = |\hat{\mathcal{E}} \cap \mathcal{E}| / |\mathcal{E}|\) 用于测度系统找全满足条件实体集合的能力,证据块级召回率 \(\text{Recall}_{\text{chunk}}\) 用于量化检索或阅读模块捕获 Gold 证据切块的覆盖比例。通过计数误差与双层召回的联合透视,评测体系能够彻底解耦“检索阶段漏证据”与“推理阶段合并去重错误”两种不同来源的系统缺陷。
实验关键数据¶
主实验¶
在统一统一切块语料库(金融 7,611 块、科研 4,755 块)与统一评测基准(498 题)上,论文系统评估了三类主流技术路线共 15 种代表性方法。以 GPT-4o-mini 为默认骨干模型的主实验对比如下表所示。
| 范式类别 | 代表方法 | 金融 NACE(med) ↓ | 金融 ACE(med) ↓ | 金融 Recall(ent) ↑ | 金融 Recall(chk) ↑ | 科研 NACE(med) ↓ | 科研 ACE(med) ↓ | 科研 Recall(ent) ↑ | 科研 Recall(chk) ↑ |
|---|---|---|---|---|---|---|---|---|---|
| 基础 RAG | Naive RAG | 0.737 | 9.500 | 0.138 | 0.054 | 0.429 | 3.000 | 0.194 | 0.033 |
| 基础 RAG | FLARE | 0.857 | 10.000 | 0.311 | 0.114 | 0.769 | 5.000 | 0.351 | 0.065 |
| 基础 RAG | RAT | 0.606 | 7.000 | 0.254 | 0.100 | 0.429 | 3.000 | 0.389 | 0.036 |
| 基础 RAG | DeepNote | 0.823 | 10.000 | 0.203 | 0.045 | 0.750 | 5.000 | 0.227 | 0.012 |
| 结构化/模式优先 | HippoRAG | 0.750 | 9.500 | 0.144 | 0.057 | 0.500 | 3.000 | 0.220 | 0.042 |
| 结构化/模式优先 | LightRAG | 0.667 | 7.000 | 0.170 | 0.058 | 0.364 | 2.000 | 0.223 | 0.029 |
| 结构化/模式优先 | PageIndex | 0.800 | 9.500 | 0.143 | — | 0.750 | 5.000 | 0.080 | — |
| 结构化/模式优先 | Palimpzest | 0.833 | 5.000 | 0.178 | — | 0.556 | 5.000 | 0.475 | — |
| 智能体框架 | Naive Agent | 0.586 | 6.000 | 0.214 | 0.074 | 0.500 | 3.000 | 0.306 | 0.032 |
| 智能体框架 | ReAct | 0.616 | 7.000 | 0.210 | 0.063 | 0.429 | 3.000 | 0.238 | 0.015 |
| 智能体框架 | ReadAgent | 0.500 | 7.000 | 0.398 | — | 0.667 | 4.000 | 0.273 | — |
| 智能体框架 | Multi Agent | 0.594 | 6.000 | 0.220 | 0.076 | 0.500 | 3.000 | 0.290 | 0.026 |
| 智能体框架 | Smolagents | 0.768 | 8.000 | 0.186 | 0.069 | 0.538 | 3.000 | 0.260 | 0.049 |
| 智能体框架 | Search-o1 | 0.667 | 8.000 | 0.162 | 0.054 | 0.875 | 7.000 | 0.317 | 0.044 |
| 智能体框架 | Claude Code | 0.579 | 7.000 | 0.180 | — | 0.444 | 3.000 | 0.237 | — |
消融与深度分析:检索窗口 Top-\(k\) 扩增实验¶
针对“基础 RAG 是否仅凭扩大检索召回窗口 top-\(k\) 就能解决聚合漏数问题”的直觉假设,论文在 AGGBench 科研领域上系统测试了检索窗口从 5 递增至 50 时各模型的指标演变:
| 方法 | 检索窗口 Top-\(k\) | NACE (Mean) ↓ | NACE (Med) ↓ | Chunk Recall ↑ |
|---|---|---|---|---|
| Naive RAG | \(k = 5\) | 0.446 | 0.429 | 0.033 |
| Naive RAG | \(k = 10\) | 0.419 | 0.333 | 0.050 |
| Naive RAG | \(k = 20\) | 0.711 | 0.333 | 0.077 |
| Naive RAG | \(k = 50\) | 1.406 | 0.417 | 0.121 |
| LightRAG | \(k = 5\) | 0.450 | 0.364 | 0.029 |
| LightRAG | \(k = 10\) | 0.418 | 0.375 | 0.044 |
| LightRAG | \(k = 20\) | 0.434 | 0.333 | 0.076 |
| LightRAG | \(k = 50\) | 0.463 | 0.375 | 0.123 |
| DeepNote | \(k = 5\) | 0.621 | 0.667 | 0.015 |
| DeepNote | \(k = 10\) | 0.785 | 0.667 | 0.037 |
| DeepNote | \(k = 20\) | 0.963 | 0.615 | 0.049 |
| DeepNote | \(k = 50\) | 0.920 | 0.556 | 0.094 |
关键发现¶
- 检索深度无法直接兑现为聚合精度:增大检索深度 top-\(k\) 虽可使证据块召回从 0.03 显著提升至 0.12 以上,但 Naive RAG 的平均归一化计数误差反而从 0.446 剧烈恶化至 1.406。这证实了 RAG 的长文本上下文极易被低信噪比文本干扰,造成实体辨别和去重逻辑紊乱。
- 证据极度稀疏构成首要系统瓶颈:AGGBench 中全库有效证据块密度极低(科研中位数 0.294%,金融仅 0.145%)。现有系统的证据切块召回普遍徘徊在 0.01–0.11 的超低区间,实体级召回亦罕见超过 0.40,系统性严重少算(undercounting)是所有基线的共同失效特征。
- 骨干模型规模不是万灵药:在不同骨干模型(Claude-Haiku-4.5、Gemini-3.5-Flash、DeepSeek-V3.2、Qwen3-32B 等)横向评测中,更大参数量虽在 ReAct 等框架中带来了边际上的召回收益,但调用成本成倍跃升(例如 ReadAgent 达到近 8 美元单域成本,Palimpzest 达 38.9 美元),且最终计数准确率并未发生质的突破;架构级别的完备性探索机制比单纯堆砌模型规模更为决定性。
- 复合逻辑引发误差倍增效应:析取(OR)查询因真实答案集显著庞大(金融平均 Gold 达 14.7 个实体),绝对计数误差(ACE)在中位数上达到 9 到 16,远高于合取(AND)查询的 2 到 4,漏检实体在并集操作下呈累加式放大。
亮点与洞察¶
- 问题形式化极具前瞻性:首次将非结构化长文本检索从以局部语义匹配为中心的“找单点证据”提升为语料库受限的“全域实体集穷举与聚合计数”,精准切中了企业级分析型场景中普遍存在却被传统 QA 基准掩盖的系统性缺陷。
- 低成本、高质量的布尔代数基准构建方案:巧妙利用形式化单约束的交并集代数推导多约束查询真实答案,既避免了多约束文本下重复人工标注的指数级膨胀,又保证了逻辑复合查询答案的数学级自洽与精确证据追溯。
- 对 RAG 范式“盲目扩大上下文”的有力祛魅:实验严密证明了单纯增大 top-\(k\) 或堆砌长上下文并不能拯救聚合任务,反而引入了上下文膨胀与噪声幻觉,指明了未来需要专门研究“面向完备性的探索型与状态化检索机制”。
局限与展望¶
- 算子类型相对单一:当前 AGGBench 仅聚焦于 COUNT 这一种聚合算子,尚未扩展支持文本数值型实体的 SUM、AVERAGE、MAX/MIN 以及基于分组的 GROUP-BY 等高级分析操作。
- 语料领域覆盖仍有局限:目前的评测语料集中于金融研报和计算机科研论文两个垂直领域,未来亟待扩充至法律合同族群、临床电子病历、政企公文归档等更多需要高精度完备聚合分析的专业场景。
- 缺少主动完备性保障的算法提出:本文的主要贡献在于形式化问题、构建基准并全面揭示现有系统短板,尚未提出专门针对证据稀疏长文本完备性聚合的全新检索与推理架构。
相关工作与启发¶
- vs HotpotQA / 2WikiMultiHopQA / MuSiQue: 传统多跳问答数据集的核心在于多步推理链的跳步合成,支持事实通常局限于 2 到 4 个文本块,问题本质上属于聚焦特定实体的“找单点”;而 AGGBench 面向全库全量满足条件的实体集合穷举,单题支持证据广泛分布于海量文本切块中,专门评测完备覆盖度。
- vs DROP: DROP 主要测试 LLM 在单个段落内的局部离散数值抽取与算术运算能力(如比较数字大小或做减法);AGGBench 则是语料库级别的实体发现与集合运算,瓶颈在于极度稀疏上下文下的证据检索召回与跨文档实体去重。
- vs WideSearch / DeepWideSearch: 广度搜索基准聚焦于动态开放互联网环境下的自主 Agent 网页搜寻,无法界定闭卷真值范围;AGGBench 坚持严格的语料库受限(corpus-bounded)原则,所有答案与证据块均经过多重校验,支持确定性集合代数对账与精细的误差因果归因。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统形式化非结构化文本的完备聚合查询任务,填补了文本分析型评测的重要学术空白。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 15 种涵盖基础 RAG、结构化方案、自主智能体的代表性系统与 5 大主流骨干 LLM,消融与诊断剖析极其深入。
- 写作质量: ⭐⭐⭐⭐⭐ 问题建模严谨,流水线逻辑清晰,指标定义完备且可视化与统计检验扎实。
- 价值: ⭐⭐⭐⭐⭐ 对非结构化数据管理、企业级复杂分析型 Agent 以及下一代完备性检索架构的设计具有重要的指导意义。