InFi-Check: Interpretable and Fine-Grained Fact-Checking of LLMs on Grounding Documents¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Phosphor-Bai/InFi-Check
领域: 大模型推理
关键词: 事实核查, 幻觉检测, 细粒度分类, 可解释性, 弱监督合成
一句话总结¶
针对现有基于基准文档的大模型事实核查仅输出二元标签且缺乏可解释性的瓶颈,本文提出 InFi-Check 框架,通过可控数据合成管线构建包含显式证据、6大细粒度错误类型、思维链归因与精准修正的 15.6k 训练集与高质量评测基准 InFi-Check-FG,训练出的 InFi-Checker 模型在平衡准确率上显著超越 GPT-4o 与 o3,并在句子级定位与跨任务泛化中展现卓越可靠性。
研究背景与动机¶
大语言模型(LLMs)在问答、摘要与检索增强生成(RAG)等以文档为依托的生成任务中取得了突破性进展,但模型生成与源文档冲突或无依据信息的“幻觉”(Hallucination)问题依然广泛存在,严重削弱了生成式人工智能在医疗、法律等高风险领域的可靠性与落地可行性。为了规避幻觉带来的隐患,学术界致力于研发以基准文档为支撑的事实核查技术(Fact-Checking on Grounding Documents),相继涌现了基于文本蕴含(NLI)、问答一致性(QA)、原子事实分解(FActScore)以及合成数据微调等评测方案。然而,这些既有模型大多将事实核查过度简化为“有幻觉 / 无幻觉”的二元分类任务,输出单个孤立判断,导致其诊断能力停留于表面。
这种粗粒度建模方式面临两项根本性痛点。首先是缺乏可解释性:黑盒式的二元判断无法指出具体哪一句话、哪个成分发生了偏离,无法提供源文档中的支撑证据或逻辑归因,使得终端用户无法验证判定依据,下游编辑系统亦难以执行针对性的文本修正。其次是缺乏细粒度错误类型辨析:语言学层面的幻觉形态具有高度异构性,从命题内部的谓词篡改、实体混淆、情境颠倒,到跨句子的共指错误、因果反转,再到纯粹的外源注入,其产生机制与危害程度截然不同。将异质性错误强行压缩为单一负标签,抹杀了幻觉在语义与篇章维度的本质差异,阻碍了研究人员开展深入的模型行为诊断和针对性的对齐优化。
为了打破二元黑盒核查的瓶颈,亟需建立一套能够覆盖丰富语言学层级、兼具证据溯源与文本纠错能力的细粒度核查范式。然而,人工标注大规模细粒度错误和可解释推理链的成本高昂,且大模型在自然生成中极难稳定覆盖长尾的篇章与因果逻辑缺陷。本文的切入点在于利用结构化思维链引导强模型执行反事实干预,实现高保真、多层级的受控幻觉注入。核心 idea:构建一套涵盖 6 大类、9 种策略的可控数据合成管线,协同生成事实主张、基准证据、细粒度错误类型、思维链归因理由与修正建议,并基于该数据微调具备句子级细粒度诊断与纠错能力的 InFi-Checker 模型。
方法详解¶
整体框架¶
InFi-Check 框架包含两项核心基础设施:一套系统性的受控数据合成管线,用于生成兼备可解释性构件与细粒度标签的训练集 InFi-Check-TR 和基准评测集 InFi-Check-FG;以及基于该数据训练的端到端事实核查模型 InFi-Checker。整个系统以原始文档(Document)与待验证主张(Claim)为输入,并在句子级别联合输出四大要素:源文档证据句子(Evidence)、细粒度错误标签(Fine-Grained Label)、错误归因解析(Justification)以及精准修正文本(Correction)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["源文档 Document 与初始文本"] --> B["多模型交叉验证的基底主张与证据抽取"]
B --> C["分层细粒度幻觉受控注入体系"]
C --> D["思维链引导的结构化归因与修正合成"]
D --> E["双重保守质量过滤与基准构建"]
E --> F["端到端可解释事实核查模型 InFi-Checker"]
关键设计¶
1. 多模型交叉验证的基底主张与证据抽取:解决源主张与文档对齐不严谨与自偏见问题
现有合成数据方法往往直接采用外部抓取的主张或弱对齐摘要,导致原始主张本身即包含未标注的偏离。针对此问题,InFi-Check 从干净的源文档出发直接条件生成核心事实主张,并建立严密的基底校准流程。系统首先利用先进大模型(如 GPT-4o 或 DeepSeek-R1)基于文档生成高度压缩的摘要式主张,随后通过大模型抽取每个句子在原文中严格对应的证据句子(Grounding Sentences)。为消除单一模型“自产自评”的认知偏见(Self-Preference Bias),框架引入了三模型集成多数投票机制(如联合 Claude-3.7-Sonnet、Qwen-2.5 与 Gemini-1.5/2.0)。若某主张句子无法获得一致性的充分支撑判定,则触发重写模型依据提取的证据进行受约束重写,直至所有句子均被多数裁定为完全事实支撑(YES)。该设计从源头上确保了基底数据的 100% 事实保真度,为后续反事实注入提供了无噪对照。
2. 分层细粒度幻觉受控注入体系:突破浅层实体替换局限以覆盖全谱系语言学错误
为了摆脱以往合成数据仅关注简单命名实体替换的局限,InFi-Check 基于框架语义学(Frame Semantics)与篇章分析理论,构建了涵盖 6 大类别、9 种生成策略的细粒度幻觉体系,覆盖命题内部语义、跨句子篇章以及外源扩展三个层次:
- 语义级错误(Semantic-Level):
- 谓词错误(PredE):采用关系替换(Swap Relation)或改写预测态(Modifying Predictions,将推测性情态动词如 "forecast/might" 强制修改为已发生的事实断言)。
- 实体错误(EntE):采用语境实体置换(Swap Entities)或词组过度压缩(Compressing Phrases,将具有特定限定范围的技术术语泛化为宽泛概念,如将“母公司应占净利润”压缩为“净利润”)。
- 情境错误(CircE):情境成分置换(Swap Circumstances,如调换时间、地点、数量或主体修饰关系)。
- 篇章级错误(Discourse-Level):
- 代词共指错误(CorefE):代词混淆(Swap Pronouns,将实体匿名化为代词后交换指代)或句子合并(Merging Sentences,将属于不同主体的动作强行归因于单一主语)。
- 篇章关联错误(LinkE):逆转逻辑关系(Reverse Logic,颠倒事件间的先后时序或因果联系)。
- 外源错误(Extrinsic-Level / OutE):
- 外源信息注入(Add Extrinsic Information,植入无法在源文档中寻得任何依据的虚构实体、事件或数值属性)。
3. 思维链引导的结构化归因与修正合成:提供端到端透明可溯源的诊断闭环
传统方法仅生成扰动文本,模型无法习得“为何错误”以及“如何纠错”。InFi-Check 在向大模型输入目标错误策略时,强制要求模型遵循结构化思维链(Chain-of-Thought, CoT)依次输出:(a) 目标句中的关键分析点(Chosen Element);(b) 具体的语义或逻辑干预动作(Modification Explanation 与 Modified Element);(c) 篡改后引入的具体错误描述(Wrong Information);(d) 结合原文证据的逻辑成因分析(Explanation)。由于修改前后的正反样本完全对称,系统能够自动将未修改的原始主张作为标准修正(Correction),连同对应提取的原文证据,打包成统一的 JSON 诊断结构。这种端到端结构化合成让模型不仅能判定错误类别,更能同步掌握从“定位错误”到“逻辑说理”再到“还原事实”的全链路推理能力。
4. 双重保守质量过滤与基准构建:兼顾大规模训练吞吐与高置信评测标杆
为构建高可信评测基准并避免合成噪声污染,InFi-Check 采用了数据隔离与双重质量控制策略。研究团队从不同来源文档中独立切分,构建出包含 15,660 条样本的大规模训练集 InFi-Check-TR,以及 519 条经严格质量控制的测试基准 InFi-Check-FG。在 InFi-Check-FG 构建中,首先由独立的强裁判模型(GPT-4.1)对生成样本进行全方位保守过滤,逐项检查主张瑕疵、未支撑证据、假阴性错误以及标签不匹配等问题,任何存在疑点的样本直接剔除(遵循高精度优先于高召回原则)。在此基础上,由专家标注员进行全面复核。人工抽样验证表明,InFi-Check-FG 的错误标签一致性高达 98.6%,所有幻觉实例均 100% 符合其细粒度类别定义,确保了评测基准的严谨权威。
损失函数 / 训练策略¶
模型训练采用端到端监督微调(Supervised Fine-Tuning, SFT)。输入为结构化格式的源文档与待测主张,输出为句子级 JSON 数组,包含证据、是否支持、归因理由、错误类型及修正文本。以交叉熵损失函数在完整输出序列上计算 token-level 损失:
$\(\mathcal{L}_{\text{SFT}}(\theta) = -\sum_{t=1}^{T} \log P_\theta(y_t \mid x, y_{<t})\)$
其中 \(x\) 为文档与主张提示词拼接序列,\(y\) 为规范化的诊断输出结构。基于 Llama-3.1-8B-Instruct 与 Qwen3-8B 两个开源基座模型,InFi-Checker 在 InFi-Check-TR 上微调 3 个 epoch,批大小设为 32,优化器采用 Adam,学习率采用余弦退火策略(峰值 \(1\times 10^{-5}\) 下降至 \(1\times 10^{-6}\)),预热步数比例设为 0.1。值得注意的是,InFi-Checker-Qwen 采用了标准生成模式(即关闭思考区 <think> 的 no-think 设定),强制模型将推理与归因内嵌在结构化的 JSON 字段中输出,确保解析格式一致且评测开销可控。
实验关键数据¶
主实验¶
在 InFi-Check-FG 基准上,评估采用各错误类别准确率及所有类别平均的平衡准确率(Balanced Accuracy, BAcc)。对比基线包括前沿闭源旗舰大模型(零样本与单样本提示)以及基于开源基座的标准模型。
| 模型 | PredE | EntE | CircE | CorefE | LinkE | OutE | NoE | BAcc (%) |
|---|---|---|---|---|---|---|---|---|
| Llama-3.1-8B-Instruct (0-shot) | 18.82 | 9.52 | 31.03 | 3.13 | 0.00 | 0.00 | 61.11 | 17.66 |
| Llama-3.1-8B-Instruct※ (1-shot) | 32.94 | 4.76 | 13.79 | 26.56 | 0.00 | 0.00 | 88.49 | 23.79 |
| Qwen3-8B (0-shot) | 76.47 | 52.38 | 44.83 | 50.00 | 0.00 | 50.00 | 61.90 | 47.94 |
| Qwen3-8B※ (1-shot) | 76.47 | 52.38 | 24.14 | 70.31 | 0.00 | 50.00 | 80.16 | 50.49 |
| Claude-3.7-Sonnet※ (1-shot) | 68.24 | 71.43 | 34.48 | 21.88 | 23.33 | 78.95 | 46.03 | 49.19 |
| DeepSeek-V3.2-NoThink※ (1-shot) | 75.29 | 71.43 | 55.17 | 15.62 | 13.33 | 89.47 | 94.05 | 59.19 |
| GPT-4o※ (1-shot) | 84.71 | 61.90 | 44.83 | 75.00 | 0.00 | 94.74 | 91.67 | 64.69 |
| GPT-4.1※ (1-shot) | 85.88 | 76.19 | 41.38 | 56.25 | 3.33 | 68.42 | 80.95 | 58.91 |
| GPT-5※ (1-shot) | 63.53 | 61.90 | 51.72 | 45.31 | 13.33 | 47.37 | 41.27 | 46.35 |
| o3※ (1-shot) | 81.18 | 57.14 | 58.62 | 56.25 | 3.33 | 81.58 | 87.30 | 60.77 |
| InFi-Checker-Llama (Ours) | 95.29 | 90.48 | 79.31 | 95.31 | 86.67 | 100.00 | 89.29 | 90.91 |
| InFi-Checker-Qwen (Ours) | 93.51 | 91.67 | 87.50 | 100.00 | 88.89 | 96.77 | 88.01 | 92.34 |
在跨任务二元事实核查泛化测试中(涵盖 ClaimVerify、ExpertQA、Factcheck-Bench、REVEAL、MediaSum、MeetingBank 6 个下游数据集),InFi-Checker-Qwen 取得了 83.7% 的平均 Macro-F1,不仅大幅超越基座 Qwen3-8B(72.5%),还战胜了所有专用二元核查模型(MiniCheck 81.4%、AlignScore-large 80.5%、FactCG 80.3%、ClearCheck 79.4%),性能逼近前沿闭源模型 GPT-4.1(84.8%)与 GPT-5(85.9%)。
消融实验¶
针对 InFi-Checker-Llama 输出的结构化组成要素开展消融实验,分析各组件对平衡准确率(BAcc)的贡献。测试维度包括理由与纠错(Just.+Corr. / J)、证据抽取(Evid. / E)以及逐句细粒度解析(Sent. / S)。
| 配置编号 | 理由与纠错 (J) | 证据句子 (E) | 逐句分析 (S) | BAcc (%) | 性能变化说明 |
|---|---|---|---|---|---|
| JES (Full) | ✓ | ✓ | ✓ | 90.91 | 完整模型,兼备可解释性与最高诊断准确率 |
| ES | - | ✓ | ✓ | 75.02 | 移除归因理由与修正,准确率下降 15.89% |
| JS | ✓ | - | ✓ | 69.85 | 移除原文证据支撑,准确率下降 21.06% |
| JE | ✓ | ✓ | - | 61.17 | 移除逐句分析(直接输出篇章级判断),下降 29.74% |
| E | - | ✓ | - | 53.76 | 仅抽取证据,缺乏逐句定位与推理 |
| J | ✓ | - | - | 36.95 | 仅输出理由与纠错,缺乏证据与定位支撑 |
| S | - | - | ✓ | 30.02 | 仅执行逐句分类,无显式推理产物 |
| raw | - | - | - | 20.59 | 仅做粗粒度直接预测,性能崩溃 |
进一步细分理由与修正的独立作用(保留 E 与 S):单独保留“理由+纠错”达到 90.91%;“仅理由”为 86.30%,“仅纠错”为 83.17%,而两者皆无则骤降至 75.02%,证明归因与修正具有强互补性。
关键发现¶
- 篇章级错误是前沿大模型的致命盲区:在篇章关联错误(LinkE)上,GPT-4o(1-shot)准确率为 0.00%,o3 为 3.33%,GPT-5 仅为 13.33%;而在共指消解错误(CorefE)上,DeepSeek-V3.2 仅为 15.62%。这表明顶尖商用模型对跨句子时序反转、因果颠倒及指代漂移几乎缺乏辨识能力。相比之下,InFi-Checker 在 LinkE 和 CorefE 上分别达到了 88.89% 与 100.00% 的极高检出率。
- 细粒度监督是二元分类泛化力的催化剂:将训练监督标签强行合并为二元(InFi-Check-Qwen-Binary)后,模型在 InFi-Check-FG 上下降至 82.7%,在 OOD 泛化集上亦出现明显性能滑坡(如 MeetingBank 从 78.5% 跌至 63.5%)。这证明学习诊断细粒度错误不仅没有损害二元判别,反而显著提升了模型对各类微妙幻觉的敏锐度。
- 推理一致性与定位准确性(SAR)极高:定义严格准确率(Strict Accuracy,要求同时正确预测错误类别和发生错误的句子索引)与正常准确率的比值为句子对齐率(Sentence Alignment Ratio, SAR)。InFi-Checker-Qwen 取得了 94.92% 的高 SAR,在模型本身高 BAcc 的前提下依然保持极低的位置虚报率,证明其分类决策源于真实的事实对齐而非巧合猜测。
亮点与洞察¶
- 语言学完备的错误合成体系:基于框架语义学与篇章分析将幻觉精细划分为 6 大类、9 项操作,突破了以往研究局限于实体替换的窠臼,首次构建了涵盖时序因果倒置与过度压缩的系统性可控合成流。
- 由内而外的全链条可解释闭环:模型单次推理即可同步提供“相关证据 + 错误定位 + 细粒度归因 + 原文修正”,让事实核查结果从单一标签跃升为具备完整审计依据的结构化诊断报告。
- 轻量开源基座逆袭千亿旗舰:仅基于 8B 开源底座微调的 InFi-Checker,在评测准确率、解析鲁棒性(解析成功率达 94.61%)及纠错错误率(裁判模型测定仅 0.93%)上全面匹敌甚至超越千亿参数的 GPT-5、o3 与 Claude-3.7-Sonnet。
- 极端出色的部署性价比:评测集全量推理单样本耗时约 34-38 秒,单次完整基准测试推理成本仅需 3.9 至 4.4 美元,较闭源 API(GPT-5 需 23.9 美元)降低了近 80% 的推理开销。
局限与展望¶
- 单句多重错误建模不足:当前框架假设每个句子主要由单一主导错误驱动,若单句同时出现实体篡改与情境错误,模型通常仅能识别最显著的一种,未来可探索多标签多维度联合解析机制。
- 上下文长度限制带来的解析截断:由于训练与评测设定在 4096 tokens 窗口内,在长文档超长主张场景下,有约 2.5% 至 3.3% 的样本因生成截断导致 JSON 结构解析失败,部署时需引入更长上下文窗口或流式解码缓解。
- 过度压缩判定的边界模糊性:在极少数假阳性样本中,InFi-Checker 对信息的合理概括与事实曲解表现出过高敏感性,偶尔会将合理的提炼概括误判为实体或共指错误。
相关工作与启发¶
- vs MiniCheck / FactCG / AlignScore: 传统专用核查器侧重于利用 NLI 预训练或知识图谱增强合成二元分类器,无法提供细粒度错误类别与修正文本;InFi-Checker 在保持更高二元分类表现(83.7% vs 81.4%)的同时,提供了完整的四元组可解释输出。
- vs ClearCheck: ClearCheck 虽引入多任务训练和生成前推理,但仍停留在二元核查层面;InFi-Checker 进一步将推理细化为语言学驱动的 6 类细粒度错误,且无需依赖外部思维链前缀,直接输出结构化诊断字段。
- vs FRANK / FActScore: FRANK 提供了人类细粒度标注,但规模较小且缺乏自动化合成工具;FActScore 侧重于原子事实的精确率打分。InFi-Check 继承了 FRANK 的语言学分类法并实现了全自动化、高质量的大规模数据合成。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出融合证据、细粒度错误分类、归因与纠错的全流程可解释事实核查框架与受控合成范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 分类主实验、6 大 OOD 二元基准、跨生成器泛化(InFi-Check-DS)、判据对齐率(SAR)及 LLM 裁判的多维度评测。
- 写作质量: ⭐⭐⭐⭐⭐ 篇章逻辑极其严谨,错误分类层级清晰,动机与实验结论高度自洽。
- 价值: ⭐⭐⭐⭐⭐ 显著推动了基于知识文档的事实核查技术从学术粗判向实用化、透明化工具的落地转型。