BeyondAtoms: Benchmarking and Verifying Relational Factuality Beyond Atomic Facts¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/lzy248/beyondatoms
领域: NLP 理解
关键词: 关系级事实核查, 原子事实局限, 双向关系对齐, 基准评测, 无需训练验证
一句话总结¶
针对传统事实核查与原子事实分解盲目信任实体/事件重叠而忽略逻辑拓扑连接的缺陷,本文提出了首个专注于关系级扰动的评测基准 BEYONDATOMS,并设计了完全无需训练、基于声明锚定抽取与双向结构对齐的轻量级核查框架 CARVE。
研究背景与动机¶
随着大语言模型在复杂推理任务中的广泛应用,思维链(Chain-of-Thought)等推理输出日益将分散的原子事件编织成复杂的逻辑拓扑网络。然而,生成文本的真实性不仅仅取决于孤立事实单元的准确性,更取决于连接这些事件的因果、时序或条件逻辑关系的保真度。当前的主流事实核查范式主要存在严重结构盲区:全句级推理(如 NLI 模型)极易受到词汇与实体高度重叠的浅层启发式偏见(Entity-Overlap Bias)误导;而以 FActScore 为代表的细粒度原子事实分解范式,在将长文本切碎为独立命题子句时,系统性地割裂并丢弃了跨事件的逻辑依赖关系。
这种结构盲视带来了一种危险的虚假安全感:只要命题包含的基本事件在证据中均属实,核查器便会误将其判定为完全支持(Support),从而对关系伪造、条件缺失或因果颠倒视而不见。另一方面,现有的关系感知基准(如 DiscInfer、LoReFact)主要采取语义驱动视角,仅分类语言学连接词类别并聚焦于简单的关系替换,未能系统覆盖拓扑连接上的完整扰动空间。
为了填补这一评测空白并根治结构盲视,本文认为评测必须完全剥离实体级幻觉,单纯隔离关系拓扑畸变,同时验证框架应摆脱昂贵且不透明的黑盒端到端推理,将结构依赖显式解耦为确定性对齐规则。核心 idea:通过构建严格保持基本事件不变、仅施加四种拓扑扰动(注入、省略、重锚定、替换)的关系核查基准 BEYONDATOMS,并提出解耦逻辑拓扑与实体事件、采用确定性双向关系对齐的无需训练框架 CARVE,实现高效且鲁棒的关系事实核查。
方法详解¶
整体框架¶
CARVE(Claim-Anchored Relational Verification over Evidence)是一个无需参数训练的事实核查框架,旨在解决现有模型因实体共现而忽视关系错误的问题。其核心思想是将待核查声明(Claim)与证据(Evidence)分别解析为显式的事件-关系图结构,并通过双向拓扑对齐机制精准定位关系层面的事实畸变。
CARVE 的整体流程包括四个阶段: 1. 保关系规范化:平滑前置从句与代词指代等表层句法扰动,统一规范化为标准逻辑句式; 2. 声明锚定非对称抽取:先从声明中解析出关系三元组与独立事件作为验证锚点集合,随后在证据端严格限定在与锚点重叠的句子范围内抽取证据关系池,彻底隔绝无关文本的背景噪声; 3. 双向关系对齐与诊断:通过「声明到证据」的前向对齐检测关系注入、重锚定与替换,再通过「证据到声明」的逆向扫描捕获前提条件缺失的省略错误; 4. 辅助事件核查与受限 LLM 兜底:利用轻量模型对孤立事件进行基础真实性兜底,并在句法解析歧义或连接词未识别时代替规则进行局部语义仲裁。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入:声明 (Claim) 与 证据 (Evidence)"] --> B["1. 保关系规范化<br/>平滑前置从句句式,解析局部代词指代"]
B --> C["2. 声明锚定非对称抽取<br/>抽取声明三元组锚点,约束证据关系候选池"]
C --> D["3. 双向关系对齐与诊断<br/>声明到证据检测边冲突,证据到声明检测条件遗漏"]
D --> E["4. 辅助事件核查与受限 LLM 兜底<br/>轻量级原子事实校验与异常连接词语义仲裁"]
E --> F["输出:判定结果与细粒度错误类型"]
关键设计¶
1. 保关系规范化:消除表层句法变体对确定性解析的干扰
在自然语言中,相同的逻辑关系往往具有高度多样的表层语序与连接形式。例如前置因果状语从句(如“Because A, B”)、跨句子连接标记以及连接词附近的局部代词,会导致基于句法依存树的确定性规则解析出现切分假象或跨句断裂。为此,CARVE 在结构抽取前对输入执行严格的标准化转换:将前置从句调整为主句在前的规范语序(“B because A”),并对连接词周边的局部代词进行同义指代消解。该模块严格遵循保关系准则,只规整现有句法结构而不引入任何先验语义关系,为后续精确抽取奠定了结构一致的基础。
2. 声明锚定非对称抽取:以声明结构为锚点约束证据检索边界
在整篇长证据文档上盲目构建全局事件关系图不仅计算开销极大,而且会引入海量与声明无关的关系噪声。CARVE 提出非对称的两阶段抽取策略: 首先解析规范化后的声明,提取显式关系三元组集合 \(T_c = \{(u, r_c, v)\}\)(其中 \(u, v\) 为成分事件,连接词 \(r_c\) 具备方向性),以及不被任何连接词绑定的独立事件集合 \(I_c\)。两者共同构成声明锚点集 \(\mathcal{A}(c) = T_c \cup I_c\)。随后在证据侧处理时,CARVE 严格以 \(\mathcal{A}(c)\) 为检索条件,仅保留与声明锚点存在充分实词重叠的证据句子,并仅在这些候选句中提取局部关系三元组构成紧凑证据池 \(P_E(c)\)。这种受控抽取机制确保了核查完全由声明目标驱动,免受证据域外关系的干扰。
3. 双向关系对齐与诊断:正反双路拓扑校验覆盖全谱扰动
CARVE 将关系核查转化为 \(T_c\) 与 \(P_E(c)\) 之间的结构匹配,通过双向判定逻辑实现确定性诊断: - 声明到证据对齐(Claim-to-Evidence Alignment):针对声明中的每个关系 \((u, r_c, v) \in T_c\),在证据池 \(P_E(c)\) 中同时检索正反方向的事件匹配。若证据存在 \((u, r_e, v)\) 且 \(r_e\) 与 \(r_c\) 属于同义语义族(如 because/since),判定为支持;若证据为反向 \((v, r_e, u)\) 且 \(r_e\) 为语义反义词对(如 before/after),判定为支持;若事件相反但连接词方向未变 \((v, r_e, u)\),判定为重锚定(Re-anchoring);若事件匹配但连接词属于不同语义族(如因果换成转折),判定为替换(Substitution);若证据中仅存在 \(u\) 与 \(v\) 的事实共现而无任何连接边,判定为注入(Injection)。 - 证据到声明逆向对齐(Evidence-to-Claim Alignment):针对省略(Omission)错误中声明完全缺失连接词的隐蔽特性,CARVE 对证据池 \(P_E(c)\) 执行反向扫描,检索所有未在声明中匹配的条件关系(如 \((x, r_e, y)\),其中 \(r_e\) 为 if/when 等条件词)。若证据中某个条件事实的推论事件 \(y\) 在声明中被当作无条件事实断言,而必要前提 \(x\) 被完全剔除,系统即刻触发省略错误报警。
4. 辅助事件核查与受限 LLM 兜底:解耦结构与语义的双重保障
在完成关系维度的结构对齐后,CARVE 执行底层的事件级事实核查,调用轻量级模型对独立事件集合 \(I_c\) 及通过关系对齐的成分事件参数进行蕴含检验,防止出现逻辑连接成立但底层实体事件失实的情形。若底层事件未获支持,赋予 fact_unsupported 标签。同时,针对复杂嵌套长句导致的依存句法解析失败或生僻连接词超出预设词族字典的情况,CARVE 引入受限的 LLM 局部回退机制(默认采用轻量开源 Qwen3.5-4B)。LLM 不参与端到端黑盒核查决策,仅作为局部的句法结构解析器和语义等价判定助手,在保证框架高吞吐与强可解释性的同时兼顾长尾表达的语义灵活性。
实验关键数据¶
主实验¶
论文在提出的关系基准 BEYONDATOMS(包含替换 Sub.、重锚定 Re-anch.、注入 Inj.、省略 Omi. 四大操作)、语篇基准 DiscInfer(比较 Comp.、权变/因果 Cont.、时序 Temp.)以及传统事实核查基准 FEVER 上进行了系统评估。BEYONDATOMS 和 FEVER 报告 Macro-F1(%),DiscInfer 报告准确率(%)。
| 模型类别 / 模型 | BEYONDATOMS 平均 | BEYONDATOMS (Sub. / Re-anch. / Inj. / Omi.) | DiscInfer 平均 | FEVER Macro-F1 |
|---|---|---|---|---|
| 传统 NLI / 细粒度模型 | ||||
| NLI-DeBERTa-v3-Large | 45.65 | 49.91 / 46.12 / 40.30 / 46.27 | 60.36 | 91.74 |
| MiniCheck-DeBERTa | 48.61 | 57.31 / 49.35 / 47.99 / 39.79 | 88.33 | 89.85 |
| FActScore (原子分解) | 46.09 | 55.04 / 49.44 / 36.97 / 42.92 | 77.93 | 91.70 |
| FDSpotter (语篇微调) | 75.44 | 89.03 / 75.49 / 82.01 / 55.21 | 84.63 | 94.22 |
| 通用提示词 LLM | ||||
| Qwen3.5-4B | 58.09 | 66.04 / 75.24 / 49.39 / 41.67 | 56.99 | 94.40 |
| Qwen3.5-9B | 61.96 | 71.63 / 78.56 / 55.11 / 42.55 | 69.83 | 94.58 |
| Qwen3.5-4B-Thinking | 72.18 | 81.73 / 90.37 / 64.86 / 51.76 | 78.78 | 94.32 |
| Qwen3.5-9B-Thinking | 76.70 | 84.75 / 90.79 / 74.37 / 56.88 | 81.42 | 94.12 |
| GPT-5-mini | 80.85 | 85.06 / 83.68 / 82.25 / 72.41 | 99.01 | 94.53 |
| 本文方法 | ||||
| CARVE (Qwen3.5-4B 辅助) | 90.87 | 91.60 / 82.88 / 96.25 / 92.77 | 97.07 | 92.63 |
在披露分类体系的高成本提示词(Taxonomy-Revealed, TR)参考设置下,Qwen3.5-9B-Thinking-TR 平均达 96.72%,Qwen3.5-4B-Thinking-TR 达 94.89%。CARVE 在无需推理链思考与昂贵计算开销的前提下,在通用设置中大幅超越所有基线。
消融实验¶
论文在 BEYONDATOMS 上对 CARVE 核心模块进行了系统消融(各项报告 Macro-F1 %):
| 配置 | 平均 Macro-F1 | 注入 (Inj.) | 省略 (Omi.) | 重锚定 (Re-anch.) | 替换 (Sub.) | 说明 |
|---|---|---|---|---|---|---|
| 完整 CARVE | 90.87 | 96.23 | 92.77 | 82.88 | 91.60 | 完整双向对齐管线 |
| w/o 规范化 (Norm.) | 88.66 | 93.23 | 91.58 | 80.59 | 89.23 | 缺乏句式平滑,各子项均匀掉点 |
| w/o 双向对齐 (Bi-dir.) | 76.38 | 96.23 | 35.70 | 82.34 | 91.23 | 仅单向匹配,省略错误彻底失效 (-57.07%) |
| w/o 受限 LLM 兜底 (LLM FB) | 88.63 | 93.61 | 92.77 | 80.88 | 87.26 | 失去局部语义解析,替换子集掉点最明显 |
关键发现¶
- 双向对齐是省略错误检测的生命线:去掉逆向对齐后,Omission 维度的 Macro-F1 出现灾难性崩塌(从 92.77% 暴跌至 35.70%)。因为省略错误中声明根本不包含逻辑词,常规「由声明找证据」的前向核验根本无法察觉缺失的条件约束,必须从证据侧反向扫描触发警报。
- 原子事实分解对关系结构具有破坏性:FActScore 在 BEYONDATOMS 上仅取得 46.09% 的极低 Macro-F1,甚至低于部分基线 NLI 模型。分解操作将句子拆分为孤立实体命题,天然丢失了关系边,对 Injection 的 F1 仅 36.97%(召回率低至 3.76%)。
- 推理模型的通用盲区与极高计算代价:未显式告知错误类型的通用推理模型(Qwen3.5-9B-Thinking)在省略错误上召回率极低(仅 25.13%),总 Macro-F1 为 76.70%,且推理耗时高达上万秒;而 CARVE 以 4B 小模型作为辅助,在 90.87% 的高准确率下推理速度相比推理模型实现了超过 40 倍的加速。
亮点与洞察¶
- 从操作拓扑而非语言学语义重新定义关系错误:打破了以往按因果/时序等语义分类的局限,从图论拓扑操作出发提出注入、省略、重锚定、替换四种原语,在严密保全基础事实事件的前提下精准隔离出关系盲区。
- 将复杂的逻辑关系核验编译为确定性结构对齐:避开了盲目依赖大模型端到端生成的黑盒推理陷阱,利用声明锚定的局部剪枝与正反双向拓扑比对,以极低的计算开销实现了极高的查全与查准。
- 可复用的启发:细粒度事实核查不能只做命题切分,必须引入包含有向边的知识拓扑图;针对隐蔽的「条件缺失」类幻觉,必须采用「证据向声明」反向扫描的非对称校验机制。
局限与展望¶
- 依赖显式连接词,难以捕获隐式逻辑关系:CARVE 主要依赖表层显式连接标记(如 because, if, after),面对缺乏显式连接词但语义蕴含因果/时序关系的文本(如“道路结冰。汽车打滑。”)容易出现解析遗漏。在真实新闻摘要 FRANK 数据集分析中,CARVE 76.47% 的错误源于此类隐式关系。
- 受限于规则解析器的固有脆弱性:确定性依存句法解析面对口语化、长距离跨句依赖或非标准句式时可能出现错误切分,导致上游抽取误差向后级联传播;若频繁触发 LLM 兜底,则会削弱框架的吞吐优势。
- 未来方向:探索引入轻量化图神经网络或隐式语义关系表征模型,将隐式句间逻辑关系无缝融入双向对齐管线,进一步增强对真实复杂自然语言的泛化能力。
相关工作与启发¶
- vs FActScore / WiCE: 后者采用原子命题分解范式,假设文本真实性等于各孤立原子命题的真实性交集;本文证明该范式完全破坏了跨子句逻辑边,CARVE 通过显式保留并校验逻辑关系拓扑补齐了这一致命断层。
- vs DiscInfer / LoReFact: 前者采用语义学逻辑分类且主要测试关系替换(Substitution);BEYONDATOMS 则构建了完整的操作级拓扑扰动空间(涵盖注入、省略、重锚定等),且 CARVE 避免了黑盒大模型的高昂推理开销。
- vs FDSpotter: FDSpotter 依赖微调语篇一致性分类器,在分布内的替换任务上表现尚可,但在前提省略(Omission)任务上负例召回严重不足(仅 55.21%);CARVE 凭借双向逆向扫描规则彻底解决了条件缺失检测难题。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从拓扑扰动视角系统评测关系级事实核查,并设计了创新的双向结构对齐验证框架。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖自建 BEYONDATOMS、外部 DiscInfer/FEVER 及真实世界 FRANK 数据集,对比了 NLI、原子分解、通用 LLM 及思维链模型。
- 写作质量: ⭐⭐⭐⭐⭐ 结构清晰,问题剖析透彻,定性错误案例详实生动。
- 价值: ⭐⭐⭐⭐⭐ 为大模型长程推理生成内容的事实核查提供了关键的评测基准与高效实用的落地验证方案。