Retrieval-Augmented Generation with Retrieval-optimized TRA Structure¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Tiabet/TRA-RAG
领域: 信息检索/RAG
关键词: 检索增强生成, 知识图谱, 多跳推理, 查询分解, 混合检索
一句话总结¶
针对传统图RAG中三元组结构导致的语境割裂与层级缺失问题,本文提出以实体为中心的层次化TRA(Title-Relations-Attributes)数据结构与原子化事实索引空间,结合查询分解、互惠排序融合(RRF)与双轨证据重排,在简单与多跳问答基准上取得全面SOTA。
研究背景与动机¶
检索增强生成(RAG)通过引入外部知识库缓解了大语言模型内部知识陈旧和产生幻觉的弊端。为了捕获纯语义匹配或关键词检索无法发现的深层实体关联,基于图的RAG(Graph-based RAG)应运而生。现有主流方案多利用大语言模型从语料中自动提取(主语,谓词,宾语)三元组并构建知识图谱,依靠图连接性或实体游走来辅助多跳推理。然而,这种以三元组为底座的图数据库面临着天然的信息表达瓶颈:真实语料中丰富的事实往往具有复合结构与层次嵌套关系,强行打散成孤立的三元组会导致严重的语境损失与结构僵化。例如,对于“某演员在某电影中饰演了某角色,且这是他的首个反派角色”这一复杂事件,模型往往会将其拆分为彼此解耦的三元组,使得角色与具体电影之间的语义从属关系彻底碎裂。
现有的补救方案要么走向粗粒度,要么走向过度压缩。直接使用原始文档或分块作为检索空间会导致检索单元过大、噪声过多;而基于层次化聚类摘要的方法(如 RAPTOR)则容易在多层压缩过程中丢失精准多跳回答所需的细微事实。另一方面,尽管诸多工作在图游走算法或复杂检索路径上大做文章,却很少有人重新审视最底层的检索目标与索引单元本身。如果底层检索空间的结构表示不够紧凑且割裂了上下文,上层再复杂的图遍历算法也难以在长推理链条中保持高召回率与低延迟。
本文的切入视角是回归实体关系(ER)模型与结构化元数据的本质设计:不再把所有关联都拆解为扁平无序的三元组,而是以中心实体为轴心组织其多维属性与外部关系。核心 idea:提出层级化 TRA(Title-Relations-Attributes)结构重构语料,将「标题+顶层键+值」序列化为兼顾语义上下文与细粒度检索的 Fact 单元,配合依赖感知的查询分解、RRF 混合检索与双轨重排,无需昂贵图遍历即可实现精准高效的多跳推理。
方法详解¶
整体框架¶
TRA-RAG 由离线结构化索引与在线多阶段检索推理两大核心阶段组成。在离线阶段,系统通过提示大模型将原始非结构化文本语料解析为严格的层次化 JSON 格式 TRA 结构,涵盖主体标识(Title)、实体特征(Attributes)以及与其他实体的关联(Relations)。随后,系统将 TRA 结构切分为“标题 + 顶层属性/关系键 + 完整取值”的 Fact 单元,并采用模板转化为自然语言伪文本,分别建立稠密向量与 BM25 稀疏索引。在在线阶段,针对多跳复杂问题,系统首先执行查询分解并生成带依赖关系的子问题链,随后在每个子问题步迭代执行基于 RRF 的 Fact 混合检索与顺序生成;最后通过兼顾全局相关性与子问题特异性的双轨重排机制筛选高纯度事实与源段落,输入生成器合成最终回答。对于简单问答,则跳过分解与重排,直接执行一步混合检索并作答。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入非结构化语料"] --> B["TRA 结构构建<br/>提取 Title / Attributes / Relations 层次 JSON"]
B --> C["Fact 原子化索引<br/>序列化为伪自然语言 + 稠密与稀疏混合索引"]
C --> D["查询分解与依赖链构建<br/>多跳问题拆解为显式依赖的子问题序列表"]
D --> E["顺序子问题求解与上下文串联<br/>逐步检索 Fact 并传递历史问答对"]
E --> F["双轨证据重排与最终合成<br/>融合全局核心证据与子问题特异证据"]
F --> G["最终紧凑答案输出"]
关键设计¶
1. TRA 结构构建:克服三元组割裂与结构僵化的层次化表示 针对传统三元组过度简化文本结构、丢失从属关系与复合细节的缺陷,本文借鉴实体关系(ER)模型与元数据机制,设计了 TRA(Title-Relations-Attributes)结构。该结构采用具有深层嵌套能力的 JSON 对象来封装单个段落的内容:Title 作为段落所围绕的中心实体或主对象;Attributes 组织中心实体的固有属性、数值指标、嵌套子事件(如上映年份、分集剧情、角色演员表);Relations 则记录该实体指向外部其他实体的关系三元组。这种结构保留了复杂事实内部的自然归属关系(例如将演员名、角色名与作品名在同一嵌套字典中关联绑定),不仅杜绝了事实割裂,还消除了代词歧义,为后续检索提供了保真度极高的数据基座。
2. Fact 原子化索引:平衡语义完整性与细粒度检索的搜索空间设计
直接对整个 TRA JSON 进行稠密编码会面临编码器无法有效解析深层括号结构且检索粒度过粗的问题,而打散至最底层键值对又会重蹈三元组语义断裂的覆辙。为此,本文将检索的基本单元定义为原子化 Fact,其范围界定为「Title + Top-level Key + entire Value」。为了使现代文本嵌入模型能够精准捕获结构化语义,系统利用模板化展平方式将其序列化为伪自然语言字符串(如 "Key of Title is Sub-Key-1 is Sub-Value-1, Sub-Key-2 is Sub-Value-2..."),而对 Relations 则简化为 "Title + Key + Value"。随后,对所有生成的 Fact 分别构建稠密向量索引(OpenAI text-embedding-3-small)与稀疏 BM25 索引(预处理中去除停用词),以互补捕捉语义泛化与精确关键词匹配。
3. 依赖感知查询分解与顺序解答:规避图游走语义漂移的长链推理策略
多跳问答中各推理跳的语义往往与主问题存在显著差异,直接基于图的随机游走或全局相似度检索容易发生跳步漂移。TRA-RAG 采用显式依赖建模的查询分解(Query Decomposition, QD)策略,提示大语言模型将主问题拆解为具备 DAG 依赖关系的简单子问题序列 \(\{q_1, q_2, \dots, q_n\}\),并在后续子问题中使用占位符(如 [SQ1_Answer])标识对前序答案的依赖。在推理时采用顺序解答机制,第 \(i\) 步子问题的答案 \(a_i\) 由前序问答历史 \(H_{i-1} = \{(q_1, a_1), \dots, (q_{i-1}, a_{i-1})\}\)、当前子问题检索到的上下文 \(R_i\) 联合条件驱动生成:
前序上下文的串联注入不仅为当前检索提供了明确的实体锚点,还保证了推理逻辑链条在多步推进中的连贯性。
4. RRF 混合检索与双轨重排:解决分值统治与细粒度线索遗失 在每个检索阶段,系统采用互惠排序融合(Reciprocal Rank Fusion, RRF)对稠密检索排序 \(r_d(f)\) 与 BM25 排序 \(r_{bm}(f)\) 进行归一化打分,平滑常数设为 \(k=60\),稠密权重 \(w_d=1.3\),稀疏权重 \(w_{bm}=1.0\):
直接按绝对得分汇聚可能导致某个得分偏高的子问题掩盖其他子问题的关键证据(即分值统治问题)。为此,TRA-RAG 设计了双轨证据筛选机制,将最终上下文构建为全局相关集合与子查询特异性集合的并集:
第一轨为全局相关筛选(Global Relevance Selection),汇总所有子问题检索出的 Fact,按 RRF 分值挑选 Top-\(F_i\) 个事实(\(F_{\text{seed}}\),默认 20 条)及其对应的 Top-\(P_i\) 个原始段落(\(P_{\text{seed}}\),默认 3 篇);第二轨为子查询特异性重排(Sub-Query Specificity Selection),针对各个独立子问题,对剩余候选事实按 Min-Max 归一化后的加权分 \(\text{Score}_{\text{re}}(f, q_{\text{sub}}) = w_d \cdot \hat{s}_d(f, q_{\text{sub}}) + w_{bm} \cdot \hat{s}_{bm}(f, q_{\text{sub}})\) 进行二次筛选,挑选出专属细节 \(F_{\text{re}}\)(默认 10 条)与对应段落 \(P_{\text{re}}\)(默认 2 篇),确保多跳推理既不缺失宏观背景,又不遗漏局部转折证据。
一个完整示例¶
以复杂多跳问题“与 Helvetia 处于同一个县的城市,其市议会议员的任期是多长?”为例:
1. 查询分解:分解为 \(q_1\):“Helvetia 位于哪个县?”;\(q_2\):“哪个城市与 [SQ1_Answer] 共享同一个县?”;\(q_3\):“[SQ2_Answer] 的市议会议员任期是多久?”。
2. 第一跳检索与作答:根据 \(q_1\) 检索到关于“Helvetia, Arizona”的 Fact:“County of Helvetia, Arizona is Pima County”,LLM 给出答案 \(a_1 = \text{Pima County}\)。
3. 第二跳依赖填充与检索:将 \(a_1\) 代入 \(q_2\) 形成具体问题,检索到关于“Tucson, Arizona”的 Fact:“County seat of Tucson, Arizona is Pima County”,得到 \(a_2 = \text{Tucson}\)。
4. 第三跳求解与双轨汇聚:将 \(a_2\) 代入 \(q_3\),检索 Tucson 市政府组织结构的 Fact:“The government structure of Tucson, Arizona is council members term is four-year terms”。系统通过双轨重排整合包含 Helvetia 与 Tucson 的 5 篇源文档及 30 个高分事实,最终回答直接综合得出准确结论:“four years”。
实验关键数据¶
主实验¶
评估在两个 Simple QA 数据集(NQ, PopQA)与四个 Multi-Hop QA 数据集(HotpotQA, 2WikiMultiHopQA, MuSiQue, LV-Eval)上展开,基线涵盖纯模型、无结构传统检索、三元组图RAG(GraphRAG, LightRAG, PathRAG, HippoRAG, HippoRAG2, LinearRAG, HyperGraphRAG)以及多步迭代检索方法(Iter-RetGen, Self-Ask, Self-RAG)。所有对比方法统一采用 gpt-4o-mini 作为生成底座、text-embedding-3-small 作为嵌入模型,问答生成时输入 5 篇段落。
| 方法分类 | 方法 | NQ (F1 / Acc) | PopQA (F1 / Acc) | HotpotQA (F1 / Acc) | 2Wiki (F1 / Acc) | MuSiQue (F1 / Acc) | LV-Eval (F1 / Acc) | 平均 (F1 / Acc) |
|---|---|---|---|---|---|---|---|---|
| 无检索 | Pure-LLM | 51.2 / 57.9 | 28.2 / 35.0 | 36.8 / 45.9 | 29.9 / 35.0 | 17.1 / 17.8 | 8.0 / 7.3 | 28.5 / 33.1 |
| 无检索 | Oracle (理想上限) | 68.5 / 70.4 | 57.9 / 64.4 | 75.3 / 85.7 | 60.5 / 66.1 | 52.0 / 56.3 | - / - | 62.8 / 68.6 |
| 传统检索 | Cosine-Sim | 58.7 / 60.1 | 59.7 / 68.1 | 56.2 / 65.1 | 39.3 / 42.7 | 24.5 / 26.2 | 2.9 / 0.8 | 40.2 / 43.8 |
| 传统检索 | Hybrid (RRF) | 59.5 / 61.7 | 60.3 / 69.3 | 56.4 / 66.0 | 37.3 / 40.4 | 20.8 / 21.7 | 2.9 / 0.8 | 39.5 / 43.3 |
| 结构增强 | GraphRAG | 39.0 / 42.0 | 39.5 / 48.8 | 60.8 / 72.0 | 43.5 / 47.4 | 24.7 / 27.3 | 14.0 / 12.1 | 36.9 / 41.6 |
| 结构增强 | LightRAG | 37.0 / 40.0 | 33.5 / 42.8 | 42.1 / 50.8 | 40.4 / 44.3 | 21.7 / 26.5 | 12.4 / 11.3 | 31.2 / 35.9 |
| 结构增强 | RAPTOR | 47.0 / 50.0 | 52.0 / 61.3 | 64.2 / 74.1 | 46.6 / 52.3 | 27.8 / 30.9 | 9.3 / 7.3 | 41.1 / 46.0 |
| 结构增强 | LinearRAG | 55.7 / 58.4 | 57.4 / 67.2 | 68.9 / 79.1 | 56.1 / 64.7 | 34.2 / 39.6 | 14.8 / 13.0 | 47.9 / 53.7 |
| 结构增强 | HyperGraphRAG | 46.5 / 49.5 | 34.0 / 43.3 | 66.1 / 77.6 | 49.9 / 56.6 | 36.0 / 45.9 | 17.1 / 16.1 | 41.6 / 48.2 |
| 结构增强 | HippoRAG2 | 60.1 / 63.8 | 61.0 / 70.2 | 66.3 / 78.1 | 55.9 / 64.6 | 38.5 / 43.1 | 8.6 / 5.6 | 48.4 / 54.2 |
| 多步迭代 | Self-Ask | 57.3 / 60.7 | 59.6 / 68.8 | 64.7 / 74.4 | 52.8 / 58.7 | 29.3 / 31.2 | 3.7 / 1.6 | 44.6 / 49.2 |
| 本文方法 | TRA-RAG | 65.7 / 66.6 | 65.1 / 73.4 | 71.2 / 81.8 | 70.7 / 78.2 | 48.8 / 53.4 | 15.1 / 16.1 | 56.1 / 61.6 |
下表展示主要多跳数据集的底层检索指标对比(Recall@5 与完全召回所有支撑事实的 Hit-All@5):
| 方法 | HotpotQA (Rec@5 / Hit-All) | 2Wiki (Rec@5 / Hit-All) | MuSiQue (Rec@5 / Hit-All) | 平均 (Rec@5 / Hit-All) |
|---|---|---|---|---|
| Naive Hybrid | 81.9 / 65.7 | 69.7 / 38.4 | 52.1 / 16.3 | 63.9 / 40.1 |
| HippoRAG2 | 87.3 / 75.9 | 86.5 / 67.1 | 62.0 / 31.7 | 71.6 / 58.2 |
| LinearRAG | 88.3 / 76.2 | 87.4 / 72.3 | 62.9 / 32.1 | 72.7 / 60.2 |
| Self-Ask | 86.8 / 75.9 | 89.3 / 76.8 | 62.8 / 32.0 | 69.9 / 61.6 |
| TRA-RAG | 89.8 / 81.6 | 97.5 / 94.5 | 72.2 / 43.5 | 78.7 / 73.2 |
消融实验¶
在 2WikiMultiHopQA 上针对检索组件、重排机制、上下文传递及证据量预算进行系统消融:
| 配置 / 变体 | F1 | LLM-Acc | Recall@5 | Hit-All@5 | 说明 |
|---|---|---|---|---|---|
| TRA-RAG 完整配置 | 70.7 | 78.2 | 97.5 | 94.5 | 默认混合检索 + RRF + 双轨重排 + 上下文传递 |
| 仅稠密检索 (w/ Cosine) | 70.3 | 77.6 | 96.9 | 94.2 | 仅用向量相似度,缺乏关键词硬匹配能力 |
| 仅稀疏检索 (w/ BM25) | 69.5 | 77.0 | 95.7 | 90.4 | 仅用 BM25,复杂同义表达召回略微下滑 |
| 移除重排器 (w/o Reranker) | 69.3 | 76.8 | 96.5 | 92.6 | 去除子查询特异性重排,细粒度证据略受干扰 |
| 移除前序上下文 (w/o Prev. Context) | 66.2 | 73.6 | 97.1 | 93.9 | 检索维持高位,但生成时丢失前序推理链致错误答题 |
| 单步基线 (w/o QD) | 48.0 | 51.5 | 71.2 | - | 移除查询分解、顺序回答与重排,退化为单步检索 |
下表展示最终回答阶段注入的事实数量(#Facts)与段落数量(#Passages)对 2WikiMultiHopQA F1 表现的敏感性分析:
| #Facts \ #Passages | 0 篇段落 | 3 篇段落 | 5 篇段落 (默认) | 10 篇段落 |
|---|---|---|---|---|
| 0 条事实 | - | 57.3 | 59.8 | 66.5 |
| 10 条事实 | 48.5 | 61.5 | 67.5 | 68.6 |
| 30 条事实 (默认) | 58.5 | 66.2 | 70.7 | 70.5 |
| 50 条事实 | 57.2 | 68.1 | 70.1 | 69.3 |
关键发现¶
- 逆超 Oracle 的事实级增益:在 2WikiMultiHopQA 上,TRA-RAG 取得了 70.7 F1,显著超越仅提供金标原始段落的 Oracle 上限(60.5 F1)。其原因在于 TRA 导出的结构化 Fact 不仅提供了近乎完美的证据覆盖率(97.5% Recall@5),还将长段落中的杂乱叙述提炼为紧凑键值对,大幅降低了大语言模型在长文本中定位关键跳步的认知负担。
- 结构化表示完胜三元组与超边:在基于 1,000 个段落的 LLM-as-a-judge 评估中,TRA 结构对比三元组的胜率达 87.25%(总体均分 4.907 vs. 4.198),对比超边结构的胜率达 98.55%(4.971 vs. 3.894),尤其在结构清晰度(Structural Clarity)与原子粒度(Atomic Granularity)上优势最为悬殊。
- 信息过载拐点效应:消融实验表明,当提供 30 个 Fact 和 5 篇段落时问答效果达到峰值;单纯继续增加上下文(如 50 个 Fact 或 10 篇段落)会导致性能回落,表明在 RAG 最终生成阶段,精准筛选最具辨别力的结构化证据远胜于盲目填充长上下文。
- 推理与索引开销大幅缩减:相较于 LightRAG 与 HyperGraphRAG 多次实体抽取与“信息拾遗(gleaning)”迭代(消耗 \(2\times\) 至 \(3\times\) 输入词元),TRA-RAG 仅需单次 LLM 提取即可完成离线建库;在简单检索时无需任何运行时 LLM 调用,单次检索耗时仅 0.75 秒,远低于 HippoRAG2(1.53 秒)与 Self-RAG(8.45 秒)。
亮点与洞察¶
- 将图结构重构为实体中心化的键值层次:放弃无约束的全局图连边和割裂的三元组,转而依托 ER 模型的实体中心原则组织结构,既保留了复杂叙述的嵌套语义,又使索引单元天然具备高信息密度与自包含性。
- 伪自然语言扁平化索引技巧:通过简单的模板拼接(
"Key of Title is...")规避了嵌入模型直接编码原生嵌套 JSON 时的结构失效问题,以近乎零成本实现了对通用稠密检索器的高度兼容。 - 去图遍历化的轻量级多跳管线:实验证明,只要底层事实单元经过检索优化,配合简单的查询分解与上下文串联,其多跳推理能力便可大幅超越复杂的图随机游走算法,打破了“多跳问答必重度依赖图遍历”的固有认知。
局限与展望¶
- 长文本实体边界模糊:当输入篇幅显著拉长时,单段落内涌现的实体数量激增,如何确定哪一个实体作为主“Title”将变得极具歧义,目前仍依赖段落级或实体预定义切分。
- 全局语料综合性任务欠缺:当前设计主要针对实体级多跳问答(Local / Multi-Hop QA),对于需要通盘把握全局宏观趋势的总结类任务(Query-Focused Summarization),尚需结合层级聚合或社区报告机制。
- 领域覆盖限于维基百科:当前评测基准全部源于 Wikipedia,在金融、法律、医学等高度专业化或术语密集型长文档场景下的迁移表现与提示敏感度仍待进一步验证。
相关工作与启发¶
- vs. GraphRAG / LightRAG: 后者依赖三元组提取、图聚类摘要或双层实体-关系检索,建库与检索均涉及昂贵的多轮大模型推理;TRA-RAG 通过单次提取生成层次化 TRA 并索引原子化 Fact,检索阶段直接使用 RRF,运行速度提升数倍且有效避免了三元组割裂。
- vs. HippoRAG / HippoRAG2: 后者将三元组与段落建立异构图,通过神经生物学启发的个性化 PageRank(PPR)实现关联检索;TRA-RAG 证明了在检索单元经过结构化优化后,无需维持复杂的全局图拓扑或运行时图遍历,仅靠查询分解与 RRF 即可获得更为优异的多跳召回率。
- vs. RAPTOR: RAPTOR 采用树状递归文本摘要构建索引,但在抽象压缩过程中不可避免地丢失具体实体属性;TRA-RAG 坚持无损结构化提取原则,完整保留精确数值、角色从属与属性细节。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ [打破传统三元组图RAG范式,创新性提出面向检索优化的层次化 TRA 事实结构]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 6 大主流问答基准,包含详尽的结构评测、组件消融、开销与长语料鲁棒性分析]
- 写作质量: ⭐⭐⭐⭐⭐ [动机明确、逻辑闭环严密、图表详实且消融切中核心命题]
- 价值: ⭐⭐⭐⭐⭐ [为知识密集型 RAG 系统的底层知识表示提供了极具实用价值与工业落地可行性的新范式]