跳转至

Beyond Retrieval: Structuring Evolving and Inconsistent External Knowledge with Proposition Relations for RAG

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/norikinishida/kapipe
领域: 信息检索/RAG
关键词: 检索增强生成、时序问答、命题图、知识演化、冲突消解

一句话总结

针对外部知识随时间演化、过时信息与事实冲突频发的难题,ProStruct-RAG 提出将外部知识在检索前组织为带时间戳的命题图,离线挖掘 updates、contradicts 和 supports 有向关系,并在推理阶段通过命题锚点检索与一跳关系邻域扩展将结构化证据呈现给大模型,显著超越无命题间关系的基准。

研究背景与动机

大语言模型依靠参数内部记忆来回答时效性问题时,极易受到知识过时和幻觉的困扰。虽然持续微调或定位参数编辑可以在一定程度上更新参数知识,但反复更新模型权重极易导致灾难性遗忘,难以维护知识库全局的长期一致性。因此,在推理时检索外部知识库的检索增强生成(RAG)成为主流路线。然而,真实的外部知识库并不是静态一致的,随着时间推移,无序累积的文档中大量充斥着过时的陈述、互相矛盾的论断以及虚假信息。

面对这种混杂冲突的上下文,近期的长上下文模型与推理型智能体大多试图将信息整合与矛盾化解的负担完全推给推理阶段。但经验表明,随着上下文窗口膨胀,LLM 在混杂了时序更新、事实冲突与误导信息的长文本中极易迷失,甚至推理表现显著退化。现有的预检索知识组织尝试,要么仅按时间线简单平铺事实,要么独立给每个原子命题打上真实性标签,抑或仅在实体层级构建关系图。然而,时序上的状态更替(updates)、事实排斥(contradicts)和证据支撑(supports)本质上是发生在具体命题事实之间,而非孤立实体之间;孤立的命题和简单的时间戳,无法让模型直接判定一条新声明到底是覆盖了旧事实、反驳了竞品论断,还是为前文提供了新证据。

本文的切入点在于反思推理期与检索前的计算分工:既然在推理期让 LLM 独自理顺复杂的时序矛盾成本高昂且脆弱,就应当将整合知识的重担部分前移至离线的检索前组织阶段。核心 idea:将动态演化的外部文档解耦为带时间戳的自包含命题,并在命题粒度显式挖掘 updates、contradicts 和 supports 关系构建命题图;推理期检索查询相关的命题子图并做一跳邻域扩展,将其序列化为结构化证据辅助 LLM 准确解题。

方法详解

整体框架

ProStruct-RAG 的设计宗旨是将演化且潜在冲突的外部文档库持久化维护为一个结构化图,把事实验证与时序消解的大部分计算做在检索前。整个框架包含四个核心步骤:① 命题提取(Proposition Extraction),从文档中抽取出脱敏、自包含并带有发布日期的原子事实;② 命题间关系抽取(Inter-Proposition Relation Extraction),通过稠密检索筛选候选对,并用 LLM 判定更新、矛盾、支撑等有向关系以构建全局命题图;③ 子图检索(Subgraph Retrieval),推理阶段针对用户问题检索 top-k 锚点命题,并沿着图中的出边与入边做一跳邻域扩展,捕获完整的更新链与证据对;④ 答案生成(Answer Generation),将抽取的子图按时间拓扑线性化为自然语言关系条目,连同思维链(rationale)指引一起交由 QA 模型生成答案。前两步在索引期离线持久化构建,后两步在推理期在线轻量执行。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入文档集合<br/>含发布时间戳 YYYY-MM-DD"] --> B["1. 命题提取<br/>LLM抽取消解指代的原子命题并继承时间戳"]
    B --> C["2. 命题间关系抽取<br/>检索候选对+两阶段分类 updates/contradicts/supports"]
    C --> D[("全局命题图 G=(V,E)<br/>节点为命题,边为有向关系")]
    E["用户时序问题 q + 目标日期"] --> F["3. 子图检索<br/>Contriever检索top-k锚点 + 一跳出入度邻域扩展"]
    D --> F
    F --> G["4. 结构化上下文构建与答案生成<br/>按时间拓扑线性化关系文本 + LLM生成思维链与答案"]
    G --> H["输出最终答案 a"]

关键设计

1. 命题提取:解耦实体指代的原子事实表征

传统 RAG 以固定长度文本块(Chunk)为检索单元,其中夹杂了大量跨句代词、修饰语及不相干事实,直接增加了后续时序矛盾比对的噪声。ProStruct-RAG 借鉴命题化思想,将文档分解为极简、自包含(self-contained)的陈述句。针对文档中的指代词(如“他”、“该公司”),使用少样本指导的 LLM(如 GPT-4o-mini)将其替换为完整实体名称,使得每个提取出的命题脱离源文档后仍具备独立语义可解释性。每个命题直接继承其源文档的公开发布日期(格式为 YYYY-MM-DD)。虽然客观事件的实际发生时间与报道时间可能存在偏移,但文档发布日期可稳定自动抽取,是真实海量无结构文本演化最可靠的时间基准。

2. 命题间关系抽取:两阶段剪枝与关系细化机制

如果对知识库中所有命题对进行全量两两比对,计算复杂度将呈二次方爆炸(\(O(|V|^2)\)),在大规模文档集合下完全不可行。为此,本文设计了“检索剪枝 + 批量分类 + 强模型精炼”的高效流水线。对于每个命题(作为 Subject),首先利用预训练稠密检索器(Contriever)在其相同或更早时间戳的命题库中,仅检索语义最相关的 Top-20 个命题作为候选 Object。这保证了有向边永远从较新的时间节点指向较旧或相同的时间节点,符合时序因果律。随后,将同一 Subject 的候选对打包进入提示词,由 GPT-4o-mini 批量初筛为四类标签之一: - updates:Subject 报告了同一实体或状态在更新时间下的新取值,部分或完全覆盖 Object; - contradicts:Subject 与 Object 针对同一时期的同一状态做出了互斥陈述,二者不可同时为真; - supports:Subject 为 Object 的论断提供了证据、实验数据、原因或前提; - NOREL:无明显直接逻辑关系或仅为冗余改写。

针对初筛非 NOREL 的关系,再由更强的裁判模型(GPT-4o)进行二阶段细化复核(Refinement),剔除误检并校正标签,确保构建出高质量命题图 \(G=(V, E)\)。实验统计显示,初筛保留的非 NOREL 关系占比约 11%–19%,精炼后最终保留 10%–14%,极大压缩了图构建成本。

3. 子图检索:基于一跳出入度的关系邻域扩展

在时序问答中,纯基于语义相似度的检索往往存在盲区:用户提问往往能搜到与问题语义高度重合的历史旧命题,但后续推翻该旧命题的新公告或反驳陈述,由于句式或表述差异,其语义相似度得分可能排在 top-k 之外。ProStruct-RAG 提出了两阶段图检索策略:首先利用 Contriever 根据问题 \(q\) 检索出 top-\(k\) 个相关命题作为锚点节点集 \(A_q\);接着在图 \(G\) 中获取所有与锚点相连的一跳邻域节点(无论边是入边还是出边)——既包含锚点命题所更新、反驳或支撑的旧命题,也包含后续更新、反驳或支撑该锚点的新命题。将锚点与其邻居合并得到查询特定节点集 \(V_q\),并提取其内部诱导子图的边集 \(E_q\),构成紧凑的时序因果证据子图 \(G_q=(V_q, E_q)\)。

4. 结构化上下文构建与答案生成:时序拓扑与双向关系线性化

由于下游大模型无法直接输入图网络拓扑,ProStruct-RAG 将诱导子图 \(G_q\) 转化为对模型友好的结构化文本。在全局层面,所有选入的命题按时间戳严格从小到大(升序)排序,并分配唯一的命题编号(如 [P122]),清晰展现事实演变的时间线。在局部层面,每个命题不仅列出日期与陈述句,更将入度与出度关系翻译为带有明确因果指向的自然语言描述(如“本声明更新了以下较早命题:P104”、“本声明被以下较新命题所更新:P151”、“本声明由以下较新命题支撑:P513”)。QA 模型在接收到带有时间锚点的提问时,依照指导提示首先生成一段包含证据取舍逻辑的推理链(Rationale),再给出最终选项,从而避免直接从零碎检索片段中臆测答案。

实验关键数据

主实验

论文在三个开源时序 QA 基准上展开评测:真实新闻时序基准 CLARK-News、长达14年跨度的新闻时序基准 StreamingQA,以及为彻底杜绝预训练数据污染而全新生成的虚构世界基准 Asteria。评测指标为多选准确率(Accuracy, %),采用 GPT-4o、o3 以及开源的 Llama-3.1-70B-Instruct 作为生成骨干。

数据集 检索规模 k No Context Chunk RAG Prop RAG Prop RAG + Time ProStruct-RAG (本文) + Neighborhoods (本文全开)
CLARK-News (GPT-4o) k=10 34.7 54.9 44.6 58.5 54.9 70.5
CLARK-News (GPT-4o) k=100 34.7 53.9 54.4 84.5 85.0 85.0
CLARK-News (GPT-4o) k=1000 34.7 49.2 47.7 76.2 82.4 * (超长)
StreamingQA (GPT-4o) k=10 74.0 79.5 84.0 84.0 84.5 85.0
StreamingQA (GPT-4o) k=100 74.0 89.0 86.5 89.0 89.5 90.0
StreamingQA (GPT-4o) k=1000 74.0 86.0 87.5 88.0 88.5 * (超长)
Asteria (GPT-4o) k=10 36.7 - 37.8 74.4 82.8 87.2
Asteria (GPT-4o) k=100 36.7 - 36.1 65.6 88.3 89.4
Asteria (GPT-4o) k=400 (全集) 36.7 - 41.1 58.9 86.1 86.1
全基准平均 (GPT-4o Avg.) - 48.5 68.8 57.7 75.5 82.4 84.7
全基准平均 (o3 Avg.) - 62.7 83.3 64.1 82.9 85.0 86.2
全基准平均 (Llama-3.1-70B Avg.) - 44.9 51.3 52.7 70.2 76.1 79.1

消融实验

消融实验在无数据污染的 Asteria 数据集上进行(固定检索规模 k=400,骨干模型为 GPT-4o),逐项检验关系精炼、关系语义标签以及各类关系类型的必要性。

配置 准确率 (%) 相对变化 说明
ProStruct-RAG (Full) 86.1 - 完整结构化方法
w/o Refinement (二阶段精炼) 83.8 -2.3% 仅用初筛关系,噪声边显著干扰生成
w/o Relation Labels (关系标签) 82.2 -3.9% 边退化为无语义连接,证明拓扑连接不足以消歧
w/o updates Relations 81.7 -4.4% 去掉时序更新关系,无法捕捉状态覆盖
w/o contradicts Relations 83.3 -2.8% 去掉冲突矛盾关系,无法剔除虚假伪造信息
w/o supports Relations 80.6 -5.5% 去掉证据支撑关系,降幅最大,证据链丢失严重

关键发现

  • 命题拆解本身不带来时序增益,时间戳与关系结构缺一不可:对比 Chunk RAG 与 Prop RAG,仅分解命题在时序问答上准确率甚至下降(CLARK-News k=10 从 54.9% 跌至 44.6%);加入时间戳后(Prop RAG + Time)性能发生质的飞跃(CLARK-News k=100 跃升至 84.5%)。而进一步引入命题间关系后,平均准确率从 75.5% 进一步大幅提升至 82.4%(带邻域扩展达 84.7%),说明仅有孤立时间点不足以理顺更新与冲突,逻辑拓扑才是关键。
  • 关系邻域扩展有效弥补纯语义检索召回盲区:在小检索预算 \(k=10\) 时,邻域扩展(+ Neighborhoods)效果最为惊艳,CLARK-News 从 54.9% 暴涨至 70.5%(+15.6%),Asteria 从 82.8% 提升至 87.2%,强力证明了语义相似命题往往伴随着未被检索到但具有关键纠错作用的时序关联命题。
  • 长上下文恶化抵御能力极强:基线方法在检索数量从 \(k=100\) 增加到 \(k=1000\) 时常发生严重性能滑坡(如 CLARK-News 上 Llama-70B 的 Prop RAG + Time 从 77.7% 断崖式跌落至 49.2%),而 ProStruct-RAG 凭借结构化图序列化保持了极高稳定性(维持在 75.1%),说明结构化信息有效过滤了非结构化长上下文造成的“大海捞针”噪声。
  • 虚假陈述诊断分析:在 Asteria 虚构事实分析中,57.6% 的虚假命题在图中成功接收到了入度的 updates 或 contradicts 边,且虚假命题主要被 contradicts 边链接,正常命题主要被 updates 边链接,表明该图结构在无监督下自发具备了伪证隔离与标记能力。

亮点与洞察

  • 将知识整合的重担从推理期前置到索引期:不同于长上下文暴力堆叠让 LLM 在生成时做多跳逻辑对齐,ProStruct-RAG 在离线阶段构建全局命题有向图,推理时仅需拓扑投影与局部子图线性化,极大地降低了推理时出现逻辑冲突幻觉的概率。
  • 以命题而非实体为关系承载主体:传统知识图谱(KG)多聚焦于实体与属性关系,无法精细刻画“Lorcaserin 批准”到“Lorcaserin 因致癌风险被撤回”这类事实事件级别的时序覆盖与证伪;以命题为节点、以 updates/contradicts/supports 为边,完美契合了动态知识更新的本质语义。
  • 两阶段检索打通长程因果与纠错链条:通过稠密向量初筛锚点搭配一跳出入度图遍历,用极其轻量的图操作解决了传统稠密检索“只看字面相关、不看因果更新”的经典缺陷。

局限与展望

  • 依赖新闻流式假设与领域泛化局限:实验数据集中在新闻报道及类似新闻动态的虚构宇宙,其更新和矛盾规律清晰;对于更专业的领域(如医学试验协议迭代、法律文书修订或大规模复杂代码库),命题边界的界定与时序矛盾判定将更具挑战。
  • 子图线性化仍属折中方案,未探索图原生推理:当前方法仍是将子图展平成带有描述的前缀文本交由标准 LLM 解读,一旦扩展到二跳邻域即面临上下文长度爆炸问题;未来结合 Graph Chain-of-Thought(Graph-CoT)或图状态机遍历将是更优的发展方向。
  • 离线构图代价与维护开销:在流式实时更新场景下,每个新文档需提取命题并检索历史候选做二阶段 LLM 分类(在 StreamingQA 上离线耗时达十余小时),对于读多写少的系统性价比极高,但对于高频写入低频读取的场景成本较为昂贵。

相关工作与启发

  • vs Chunk-based Long-Context RAG (Li et al., 2024; Du et al., 2025):长上下文 RAG 寄希望于模型原生超长窗口吸收全部演化切片,但在存在事实冲突时常出现“先入为主”或注意力分散;本文证明结构化过滤与关系锚定比单纯堆砌上下文长度更鲁棒。
  • vs Dense X / Proposition Retrieval (Chen et al., 2024; Li et al., 2025):Dense X 证明命题比块更具检索原子性,CLARK-News 尝试给每个命题打独立真值标签;本文指出命题脱离相互关联无法自证真伪,必须通过命题间 updates/contradicts/supports 关系显式建模动态相对真值。
  • vs GraphRAG (Edge et al., 2024; Nishida et al., 2026):常规 GraphRAG 抽取实体与实体关系并做层次聚类,适合宏观主题概括;ProStruct-RAG 聚焦微观事实命题的时序有效性判定,填补了细粒度时序冲突消解的技术空白。

评分

  • 新颖性: ⭐⭐⭐⭐☆ (打破实体图局限,首次系统性在命题粒度建模 updates/contradicts/supports 关系并应用于时序 RAG)
  • 实验充分度: ⭐⭐⭐⭐⭐ (覆盖真实长周期新闻与虚构防污染数据集,对比 Chunk/命题/时间戳各阶段,并使用三大主流模型与详尽消融)
  • 写作质量: ⭐⭐⭐⭐⭐ (叙述清晰精炼,图表详实,问题链条层层递进)
  • 价值: ⭐⭐⭐⭐☆ (对企业动态知识库、时效问答及长上下文 RAG 架构设计具有重要工程指导与学术借鉴意义)