KG-Guard: Graph-Based Hallucination Detection for Knowledge Base Question Answering¶
会议: NeurIPS 2026
arXiv: 2606.00328
代码: https://github.com/graphml-lab-pwr/KG-Guard
领域: 幻觉检测
关键词: 知识库问答 (KBQA), 幻觉检测, 图变换器 (GraphTransformer), 答案节点分类, 迭代式答案修正
一句话总结¶
本文将知识库问答（KBQA）中的大语言模型幻觉检测形式化为检索子图上的答案节点二分类问题，提出轻量级黑盒图检测器 KG-Guard，在比大模型基线参数量少约 305 倍且检测阶段零 LLM 调用的前提下，在 WebQSP、CWQ 和 PUGG 三个基准上取得最高 F1（82.0、87.4、84.3），并能通过节点级反馈引导迭代修正使下游 KBQA 的 Exact Match 提升 16.9–17.6 个百分点。
研究背景与动机¶
大语言模型（LLM）已广泛用作知识库问答（KBQA）系统的核心推理组件。不同于早期直接对完整知识图谱做符号查询的方案，现代基于 LLM 的 KBQA 管线（如 KAPING、G-Retriever、GNN-RAG 等）通常先围绕问题中的主题实体（Topic Entities）检索出一个与问题相关的局部子图，再让 LLM 在该子图上推理并挑选出作为答案的实体节点。尽管这种显式的图结构提供了易于维护和核查的事实空间，LLM 在实际推理中仍然频繁产生幻觉：模型既可能越过检索到的子图证据、直接依赖自身的参数化记忆作答，也可能在给定的关系三元组上进行错误的逻辑跳跃，从而返回错误的答案实体节点。
然而，针对基于 LLM 的 KBQA 系统的幻觉检测几乎处于空白状态，现有幻觉检测方法直接迁移到 KBQA 场景面临严重的水土不服。一方面，主流自由文本幻觉检测器（如基于多次采样一致性的 SelfCheckGPT 或基于 LLM-as-a-Judge 的裁判模型）将幻觉视为纯文本级问题，既无法利用知识图谱子图中天然存在的拓扑结构信号，又需要多次调用庞大 LLM 或消耗大量推理 Token，计算开销极其高昂且在自然提问场景下召回率极低；另一方面，基于内部隐状态或注意力图的白盒检测器（如 INSIDE、Lookback Lens）不仅忽视了外部图结构，还要求访问闭源 API 无法提供的模型内部激活，且通常只能对整段生成做粗粒度判断，无法针对多答案问题中的单个实体节点给出精准的真伪判别。
本文的切入角度是：LLM 在 KBQA 中返回的每个候选答案都是检索子图上的具体节点，真实答案节点与幻觉节点在“与主题实体的连接拓扑”以及“问题相关的局部关系邻域”上必然留下结构化的差异信号。因此，无需打开 LLM 黑盒或重跑大模型，只需在增广后的检索子图上直接学习面向验证的节点表示，即可低成本、细粒度地识别并修正幻觉。核心 idea：将 KBQA 幻觉检测建模为检索子图上的答案节点二分类任务，通过融合语义特征与角色标记嵌入、引入仅连接主题实体的虚拟问题节点来引导条件化图消息传递，用轻量级图编码器输出节点级幻觉判定并驱动下游答案迭代修正。
方法详解¶
整体框架¶
给定自然语言问题 \(q\)、围绕主题实体集合 \(T \subseteq V\) 检索出的知识图谱子图 \(G=(V,E)\)，以及黑盒 KBQA 模型 \(f_{\mathrm{KBQA}}(q,G,T)\) 返回的非空候选答案节点集合 \(\hat{A} \subseteq V\)，KG-Guard 的目标是对其中的每个候选答案节点 \(\hat{a} \in \hat{A}\) 独立判定其是否为幻觉节点（\(y=1\) 表示幻觉，即 \(\hat{a} \notin A^*\)；\(y=0\) 表示真实答案，即 \(\hat{a} \in A^*\)）。整体流程分为三个核心阶段：首先构造融合了节点/关系文本语义与角色标记的节点特征，并通过接入虚拟问题节点构建条件化增广图；随后利用基于注意力机制的轻量级图编码器进行消息传递，提取面向验证的候选节点表示并与问题表示联合分类；最后将检测出的幻觉节点集合作为细粒度反馈信号回传给问答大模型，执行闭环的迭代式答案修正。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：问题 q、检索子图 G、主题实体 T<br/>与黑盒 LLM 预测答案节点集合 Â"] --> B["语义与角色标记融合的节点表示<br/>拼接节点文本嵌入与可训练 T/Â 标记向量"]
B --> C["虚拟问题节点引导的条件化图编码<br/>虚拟问题节点连接主题实体 T + GraphTransformer 消息传递"]
C --> D["节点级幻觉分类与闭环迭代修正<br/>拼接候选节点表示与问题嵌入过 MLP 判别"]
D -->|若检出幻觉节点 H ≠ ∅ 且未达上限| E["将标记的幻觉节点名反馈给 KBQA LLM 重答"]
E --> B
D -->|H = ∅ 或达到最大迭代步数| F["输出：最终验证后的 KBQA 答案节点集合"]关键设计¶
1. 语义与角色标记融合的节点表示：在语义空间中显式锚定推理起点与待验证目标
知识图谱子图中的实体节点与关系边通常没有现成的数值特征，且纯图拓扑本身无法告诉编码器“当前问题从哪里出发”以及“LLM 选了哪些节点作为答案”。为此，KG-Guard 使用冻结的预训练句子编码器 \(\phi(\cdot)\)（英文数据集采用 all-roberta-large-v1，波兰语数据集采用 mmlw-retrieval-roberta-large，输出维度均为 \(d=1024\)）分别编码每个节点 \(v \in V\) 的文本名称 \(t_v\)、每条有向边 \(e=(u,r,v) \in E\) 的关系标签文本 \(r\) 以及自然语言问题 \(q\)（得到问题嵌入 \(z_q = \phi(q)\)）。在此基础上，方法引入两个可训练的二元查找表——主题实体标记表 \(M_T \in \mathbb{R}^{2 \times d_T}\) 和候选答案标记表 \(M_A \in \mathbb{R}^{2 \times d_A}\)（实验中 \(d_T = d_A = 20\)），根据指示变量 \(\tau_v = \mathbb{I}[v \in T]\) 和 \(\alpha_v = \mathbb{I}[v \in \hat{A}]\) 为每个节点拼接对应的正/负角色向量，形成初始节点特征：
这种设计使图编码器在第一层消息传递开始前就能明确区分“推理锚点（主题实体）”、“待审定目标（LLM 提议节点）”与“普通中间跳节点”，避免了消息传递在无关背景节点上盲目扩散。此外，在实际部署于固定知识图谱时，所有节点的文本嵌入 \(\phi(t_v)\) 和关系边嵌入均可离线预计算并缓存，在线推理时仅需编码问题句子 \(q\) 并拼接轻量标记即可。
2. 虚拟问题节点引导的条件化图编码：将问题语义精准注入主题实体邻域的图注意力传递
即便节点带有了角色标记，子图中往往仍包含大量与当前问题所询问的关系无关的旁支三元组（例如在 Wikidata 子图中平均包含近百个节点上百条边），图编码器必须结合具体问题语义来判断从主题实体通往候选答案节点的路径是否合理。如果将问题特征简单广播给全图所有节点，会冲淡局部推理起点的结构特异性；为此，KG-Guard 在子图中增设一个以问题嵌入 \(z_q\) 初始化的虚拟问题节点 \(v_q\)，并仅从 \(v_q\) 向主题实体集合 \(T\) 添加有向边（配合 1024 维的可学习虚拟边嵌入），构成增广图 \(\widetilde{G}\) 与特征矩阵 \(\widetilde{X}\)。随后，模型采用基于多头点积注意力的图编码器 \(g_\theta\)（主配置为 2 层、8 头、256 维隐藏层的 GraphTransformer，备选为 GAT）在增广图上计算节点级表示 \(H = g_\theta(\widetilde{G}, \widetilde{X})\)。由于虚拟问题节点仅与主题实体直连，问题语义必须顺着知识图谱中以主题实体为起点的真实关系路径向外传播；多头图注意力机制则能够根据边上的关系文本特征动态筛选与问题相关的邻域路径，从而让真实的答案节点汇聚到与问题一致的强验证信号，而缺乏合法关系支撑的幻觉节点则暴露出表示失配。
3. 节点级幻觉分类与闭环迭代修正：单次前向判别多节点并转化为可执行的自修正指令
在完成图编码后，对于 LLM 返回的任意候选答案节点 \(\hat{a} \in \hat{A}\)，模型提取其图编码表示 \(h_{\hat{a}}\) 并与原始问题嵌入 \(z_q\) 拼接，送入一个轻量级多层感知机 \(\mathrm{MLP}_\psi\) 与 Sigmoid 函数 \(\sigma(\cdot)\) 计算该节点为幻觉的概率得分：
当一个问题返回多个候选节点时，部署阶段只需对增广图执行一次图编码前向传播，即可并行判别所有候选节点 \(\hat{a} \in \hat{A}\) 的真伪。更重要的是，这种节点级二分类输出天然具有可执行性（Actionable）：在闭环迭代修正（Hallucination Correction）阶段，若某道题检出的幻觉节点集合 \(\mathcal{H} \neq \emptyset\)，系统将自动构造多轮对话提示（包含系统指令、原始问题与子图、LLM 上一轮回答，以及明确列出被 KG-Guard 标记为幻觉的节点名称的追问消息），驱动 KBQA LLM 剔除错误节点并重新审视子图证据。这一“检测—反馈—重答”循环持续进行，直至所有返回节点均通过验证（\(\mathcal{H} = \emptyset\)）或达到最大迭代上限（5 步）。
损失函数 / 训练策略¶
- 监督信号构建：在三个基准上运行基于 Llama-4-Scout-17B 的 KAPING 管线（通过结构化生成约束只返回子图内节点或弃权
unknown），剔除弃权样本后，将每个预测节点 \(\hat{a} \in \hat{A}\) 拆分为独立的二分类训练样本，以 \(\hat{a} \notin A^*\) 作为正类（幻觉 \(y=1\)）标签，采用标准的二元交叉熵损失（Binary Cross-Entropy Loss）端到端训练可学习标记表 \(M_T, M_A\)、虚拟边嵌入、图编码器 \(g_\theta\) 和分类头 \(\mathrm{MLP}_\psi\)（句子编码器 \(\phi\) 保持冻结）。 - 为什么用专门的幻觉标签而非 KBQA 金标准标签：消融实验表明，若直接用子图中所有节点的 KBQA 真值（是否为正确答案）训练同架构模型再用于幻觉检测，在相同样本量下 F1 会显著下降（PUGG 上从 84.3 跌至 71.3，CWQ 上从 87.4 跌至 81.7），因为 LLM 实际犯错的候选节点具有特定的“高迷惑性”结构分布，专门针对 LLM 预测输出构建的幻觉监督信号更具针对性，且人工标注“某个被提议节点是否被局部子图支持”比从全图寻找正确答案成本更低。
- 训练超参数：使用 Adam 优化器（学习率 \(10^{-3}\)，权重衰减 \(10^{-4}\)），Batch Size 为 32，最多训练 300 个 Epoch 并采用早停策略（Patience 为 50），单张 NVIDIA A40 GPU 即可完成训练；可训练参数量仅 2.52M（GraphTransformer 版）或 1.84M（GAT 版）。
实验关键数据¶
主实验¶
实验在三个涵盖不同问题复杂度、底层知识图谱与语言的 KBQA 基准上进行：WebQSP（基于 Freebase 的自然语言单跳/简单多跳查询）、CWQ（ComplexWebQuestions，基于 Freebase 的复杂组合逻辑推理查询）以及 PUGG（基于 Wikidata 的波兰语 KBQA 数据集，子图规模比前两者大一个数量级，平均含 72–98 个节点）。所有子图均通过 G-Retriever 的 BFS + 奖赏收集斯坦纳树（PCST）流程检索。
表 1：幻觉检测主实验对比（主要指标为预测答案节点上的 F1，以及全指标细项与计算开销对比）
| 方法 | 参数量 (可训练/总计) | 检测时 LLM 调用 | WebQSP F1 / AUC-PR | CWQ F1 / AUC-PR | PUGG F1 / AUC-PR | 平均排名 |
|---|---|---|---|---|---|---|
| KG-Guard (GraphTransformer) | 2.52M / 358M | 0 | 82.0 ± 0.7 / 91.4 | 87.4 ± 0.2 / 94.2 | 84.3 ± 1.0 / 90.0 | 1.0 |
| KG-Guard (GAT) | 1.84M / 357M | 0 | 79.8 ± 1.2 / 90.7 | 86.3 ± 0.7 / 93.1 | 82.7 ± 2.7 / 88.7 | 2.3 |
| Most Frequent (多数类基线) | — | 0 | 65.9 / 49.1 | 83.5 / 71.7 | 83.5 / 71.6 | 3.0 |
| GPT-5-mini (G+RS+RT) | 未公开 (闭源商业 API) | 1 | 59.2 / 65.5 | 84.2 / 88.4 | 81.2 / 88.3 | 4.0 |
| GPT-5-mini (G) | 未公开 (闭源商业 API) | 1 | 55.9 / 64.2 | 82.6 / 85.8 | 82.6 / 89.5 | 4.7 |
| SelfCheckGPT (\(N=10\)) | 0 / 109B (17B active) | 10 | 48.7 / 56.3 | 72.2 / 83.0 | 73.8 / 84.2 | 6.3 |
| SelfCheckGPT (\(N=5\)) | 0 / 109B (17B active) | 5 | 42.1 / 55.0 | 67.1 / 81.9 | 48.3 / 77.0 | 8.7 |
| Llama-4-Scout (G+RS+RT) | 0 / 109B (17B active) | 1 | 41.0 / 57.5 | 61.2 / 82.0 | 60.8 / 82.7 | 9.0 |
| Llama-4-Scout (G) | 0 / 109B (17B active) | 1 | 36.7 / 53.5 | 60.2 / 80.7 | 68.8 / 83.5 | 9.0 |
| Random (随机猜测) | — | 0 | 49.6 ± 1.0 / 49.2 | 58.3 ± 0.5 / 71.6 | 58.8 ± 1.8 / 71.7 | 9.0 |
注：G、RS、RT 分别表示向裁判 LLM 提供检索子图三元组列表、问答 LLM 生成的推理摘要（Reasoning Summary）和推理引用三元组（Reasoning Triples）。PUGG 数据集上 KG-Guard 使用多语言编码器，总参数量为 437M。
表 2：KG-Guard 节点级反馈引导的闭环迭代答案修正下游 KBQA 性能对比
| 阶段 | WebQSP F1 | WebQSP EM | CWQ F1 | CWQ EM | PUGG F1 | PUGG EM | 平均 \(\Delta\) F1 / EM |
|---|---|---|---|---|---|---|---|
| 初始回答 (Initial KAPING) | 59.5 | 42.8 | 57.2 | 51.1 | 53.1 | 45.3 | — |
| 经 KG-Guard 引导修正后 (Refined) | 72.5 | 60.4 | 71.7 | 68.8 | 67.2 | 62.3 | — |
| 绝对提升 (\(\Delta\)) | +13.0 | +17.6 | +14.5 | +17.6 | +14.0 | +16.9 | +13.8 / +17.4 |
消融实验¶
表 3：图编码器核心组件、输入模态与训练监督信号的消融实验（指标为 F1）
| 消融维度 | 变体配置 | WebQSP (\(\Delta\)) | CWQ (\(\Delta\)) | PUGG (\(\Delta\)) | 平均 \(\Delta\) | 说明 |
|---|---|---|---|---|---|---|
| 图编码器组件 | Full KG-Guard | 82.0 ± 0.7 | 87.4 ± 0.2 | 84.3 ± 1.0 | 0.0 | 完整模型 |
| 图编码器组件 | w/o marking (\(M_T, M_A\)) | 80.1 (-1.9) | 87.9 (+0.5) | 83.4 (-0.9) | -0.8 | 去掉主题实体与候选答案角色标记 |
| 图编码器组件 | w/o virtual q. node (\(v_q\)) | 81.6 (-0.5) | 86.6 (-0.8) | 83.9 (-0.4) | -0.5 | 去掉连接主题实体的虚拟问题节点 |
| 图编码器组件 | w/o marking & virtual q. node | 77.8 (-4.2) | 86.5 (-0.9) | 82.7 (-1.6) | -2.2 | 同时去掉角色标记与虚拟问题节点 |
| 图编码器组件 | w/o all (无额外图条件化组件) | 77.4 (-4.6) | 86.2 (-1.3) | 82.3 (-2.1) | -2.6 | 退化为基础图编码 |
| 输入模态 | full (graph + text) | 82.1 ± 0.4 | 87.6 ± 0.5 | 83.7 ± 0.6 | 0.0 | 图编码表示 + 问题文本嵌入 |
| 输入模态 | graph only (仅用图表示 \(h_{\hat{a}}\)) | 80.6 (-1.5) | 86.3 (-1.3) | 83.1 (-0.6) | -1.1 | 分类头不拼接问题文本嵌入 \(z_q\) |
| 输入模态 | question only (无图编码器) | 70.8 (-11.4) | 83.0 (-4.6) | 81.7 (-2.0) | -6.0 | 去掉图结构，仅靠文本特征判别 |
| 输入模态 | question + RS (问题+推理摘要) | 70.6 (-11.5) | 83.3 (-4.3) | 81.2 (-2.5) | -6.1 | 加入 LLM 文本推理摘要无法替代图结构 |
| 监督信号 | Hall. Det. (幻觉专用标签) | 82.0 ± 0.7 | 87.4 ± 0.2 | 84.3 ± 1.0 | 0.0 | 在 LLM 预测答案的真伪标签上训练 |
| 监督信号 | KBQA (等量采样 KBQA 标签) | 81.4 (-0.6) | 81.7 (-5.7) | 71.3 (-13.0) | -6.4 | 在子图全体节点的 KBQA 金标准上训练 |
关键发现¶
- 图拓扑结构是判别幻觉的核心信号，且不能被 LLM 自由文本推理摘要替代：在输入模态消融中，去掉图编码器（
question only）会导致平均 F1 暴跌 6.0 个百分点（WebQSP 上暴跌 11.4 个百分点）；即便把问答 LLM 输出的文本推理摘要（Reasoning Summary）拼接上去（question + RS），性能依然下跌 6.1 个百分点，证明自然语言解释无法还原知识图谱子图中的多跳结构证据。 - 角色标记与虚拟问题节点具有显著的协同增效作用：单独去掉角色标记（-0.8 pp）或单独去掉虚拟问题节点（-0.5 pp）带来的损失相对温和，但同时移除两者会导致平均 F1 下降 2.2 个百分点（WebQSP 上下降 4.2 个百分点），显著大于两者单独损失之和。原因在于虚拟问题节点通过连接主题实体提供了问题语义的注入入口，而角色标记则锚定了消息传递的起点与终点，二者缺一不可。
- LLM-as-a-Judge 存在严重的“高精确率、低召回率”偏置，且对自然语言提问尤为脆弱：以最强的闭源基线 GPT-5-mini (G+RS+RT) 为例，其在 WebQSP 上的精确率高达 85.3%，但召回率仅有 45.3%（漏检了超过一半的幻觉节点），而 Llama-4-Scout 的三个变体在 WebQSP 上的 F1（36.5–41.0）甚至低于随机猜测（49.6）。这是因为 WebQSP 源于真实用户的自然搜索提问，缺乏模板化逻辑规律，导致依赖语言模式的裁判大模型极易被表面合理的错误答案欺骗；而 KG-Guard 依靠图结构验证在 WebQSP 上实现了 84.9% 精确率与 81.3% 召回率的均衡表现。
- 单步迭代修正即可消除绝大多数可修复幻觉：在闭环答案修正实验中，第一轮修正（Step 1）贡献了绝大部分的 F1 和 EM 涨幅，此后收益曲线迅速趋于平缓；且精确率的平均提升（+15.3 pp）明显高于召回率提升（+11.4 pp），说明 KG-Guard 的节点级反馈主要帮助 LLM 精准剔除混入回答中的虚假实体。这表明实际部署时可将修正步数限制为 1 步，以极低成本换取绝大部分准确率收益。
亮点与洞察¶
- 问题视角转换极为巧妙——从“评判一段话”转向“分类图上的一个点”：以往做 RAG 或知识图谱幻觉检测的工作（如 GraphEval、FactAlign）往往大费周章地从 LLM 生成文本中抽取三元组再去和参考文本做对齐；本文敏锐地意识到 KBQA 的输出本身就是子图中的实体节点，直接将幻觉检测定义为增广子图上的节点二分类问题，瞬间省去了文本三元组抽取与跨模态对齐的误差累积。
- 真正可落地的极轻量级黑盒守门员（305 倍参数压缩 + 零 LLM 调用）：用冻结的 Sentence-Transformer 配合仅 2.52M 可训练参数的 2 层 GraphTransformer，整套推理栈在 FP16 下仅占约 0.7 GB 显存（对比 Llama-4-Scout 109B 模型的 218 GB 显存缩小了 305 倍），不仅彻底摆脱了裁判模型与采样方法的多次自回归生成延迟，还能通过调节分类阈值灵活控制精确率—召回率权衡。
- 高度可迁移的“结构化锚点标记 + 虚拟查询节点局部注入”范式：在图上做条件化验证时，用二元可训练嵌入标记“输入锚点”与“候选输出”，再将查询节点仅连接至输入锚点而非全图广播，这一设计非常干净地解决了“如何让通用 GNN 聚焦于特定查询路径”的问题，可直接迁移至图增强代码缺陷定位、多跳事实验证（Fact Verification）以及工具调用链（Tool-use Graph）的错误节点检测。
局限与展望¶
- 无法处理 LLM 弃权（Abstention / Unknown）与子图检索缺失问题：由于 KG-Guard 在返回的候选节点上做分类，当 KBQA 模型回答
unknown（在 CWQ 测试集中占 37.8%）时，图中没有对应的候选答案节点可供判别。此外，统计显示三个数据集上仅 39.9%–63.0% 的样本在 PCST 检索出的子图中包含金标准答案；当正确答案根本不在检索子图中时，LLM 只要不弃权就必然产生 100% 的幻觉（见原文附录表 17）。未来可将图级“可回答性预测（Answerability Prediction）”与节点级幻觉检测联合建模，提前拦截因检索失败导致的必然幻觉。 - 实验仅验证了单一的 KBQA 基础管线（KAPING + Llama-4-Scout）：论文所有训练与评测数据均基于 KAPING 提示框架和 Llama-4-Scout-17B 生成的答案构建，尚未测试在一个 LLM（如 Llama）生成的幻觉分布上训练的 KG-Guard，能否零样本泛化去检测另一个 LLM（如 GPT-5 或 Qwen）或另一种图推理代理（如 Think-on-Graph、GNN-RAG）产生的幻觉。
- 尚未有效利用 LLM 输出的显式推理路径：作者尝试过在图中标记 LLM 自称引用的推理三元组（Reasoning Triples）或融入推理摘要嵌入，但均未带来稳定提升。未来可以探索边级别的注意力监督或反事实子图扰动，检验 LLM 声称的推理链条与实际支撑答案节点的图路径是否一致。
相关工作与启发¶
- vs 自由文本采样与裁判基线（SelfCheckGPT / LLM-as-a-Judge）：SelfCheckGPT 通过高温度多次采样计算节点出现频率来估计不确定性，每次查询需调用 5–10 次完整 KBQA 大模型，成本高昂且在模型存在系统性偏差时依然会稳定输出同一幻觉节点；LLM-as-a-Judge 将子图序列化为文本列表交由大模型评判，但在复杂子图（如 PUGG 上千条边）或自然提问（WebQSP）下召回率极低。KG-Guard 直接在原生图拓扑上做消息传递，既快又准。
- vs 基于知识图谱的文本幻觉检测（GraphEval / FactAlign / GraphCheck）：这些方法面向自由文本生成，需要先用 LLM 或信息抽取器把生成文本和参考文档转换成临时知识图谱，再用 NLI 模型或将 GNN 作为软提示输入给 LLM 验证器。而本文面向原生 KBQA 任务，直接在已有的结构化检索子图上对候选实体节点做分类，无需后验构图，也不依赖 LLM 作为最终分类器。
- vs 经典图问答模型（QA-GNN / GreaseLM / G-Retriever）：这些工作的目标是直接从子图中预测正确答案（即承担 KBQA 本身），而本文证明了在“子图全部节点上按 KBQA 金标准训练”与“在 LLM 提议节点上按幻觉标签训练”存在显著分布差异——作为独立于问答模型之外的验证器（Verifier），专门针对大模型错误模式训练的 KG-Guard 能提供更强的纠错信号。
评分¶
- 新颖性: ⭐⭐⭐⭐ 首次将基于 LLM 的 KBQA 幻觉检测形式化为检索子图上的答案节点二分类问题，虚拟问题节点局部连接与角色标记的组合简洁有效。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖英文/波兰语、Freebase/Wikidata 三个基准，包含闭源/开源裁判与采样基线、详尽的消融实验、训练标签来源对比、子图统计分析以及闭环迭代修正实验。
- 写作质量: ⭐⭐⭐⭐⭐ 问题定义清晰，数学符号与框架图对应严谨，正文与附录对实验现象（如 WebQSP 与 CWQ 差异、精确率与召回率偏置）的归因分析非常透彻。
- 价值: ⭐⭐⭐⭐⭐ 仅需约 2.5M 可训练参数即可大幅超越百亿参数大模型裁判，并能直接提升下游 KBQA 准确率 13–17 个百分点，具备极高的工业落地与学术参考价值。