The Labeling Problem in Hallucination Detection Benchmarks: An Empirical Evaluation¶

会议: NeurIPS 2026
arXiv: 2610.08026
代码: https://github.com/jova486/LPHB
领域: 幻觉检测
关键词: 幻觉检测, 开放域问答, 参考答案忠实度, 事实正确性, 大模型裁判

一句话总结¶

本文系统揭示了开放域问答幻觉检测基准中“参考答案忠实度”与“事实正确性”的标准错配问题，通过900组人工标注问答对证实忠实度导向的自动标注器会产生严重的假阳性偏置，而显式区分“参考未提及”与“事实矛盾”的判定准则能大幅纠正该系统性偏差。

研究背景与动机¶

近年来，针对大语言模型（LLM）幻觉检测的自动化评估方法层出不穷，研究者通常在 TriviaQA、HotpotQA 和 TruthfulQA 等开放域问答数据集上进行基准评测。典型的评估范式是先由生成模型生成回答，再通过某种自动化标注策略——例如词汇重合度指标（ROUGE-L、BERTScore）、自然语言推理（NLI）蕴含模型或大模型裁判（LLM-as-a-Judge）——将生成内容与数据集提供的简短黄金参考答案比对，判定该回答是否存在幻觉。

然而，这种自动化基准构建过程隐含了一个关键的构念混淆：评测目标究竟是“参考答案忠实度”（Reference Faithfulness）还是“事实正确性”（Factual Correctness）。在开放域问答中，黄金参考答案往往只是简短的实体名或短语，而生成模型给出的回答通常包含合理的背景拓展与详细陈述。忠实度准则将任何未被参考答案直接蕴含的内容均视为幻觉，而事实正确性准则仅在回答包含事实矛盾或可验证虚假陈述时才判为幻觉。当模型给出核心正确且补充了外部真实细节的回答时，严格的忠实度标注器会将其系统性误判为幻觉，从而给幻觉检测器的评测引入致命的系统性测量误差。

现有工作普遍将各类自动标注结果视为无差别的真实基准（Ground Truth），忽略了指标自身构念对齐的严谨性。核心 idea：将开放域问答中的幻觉标注形式化区分为“参考忠实度”与“事实正确性”两套对立准则，通过900组跨三类数据集和三类生成器的高质量人工标注基准，实证证明忠实度提示会导致严重的假阳性主导偏差，而引入区分未提及与反驳的决策树准则可显著提升自动裁判与人类事实判定的一致性。

方法详解¶

整体框架¶

本文构建了一套用于审计与比较开放域问答幻觉自动标注策略的实证评测框架。整个流程首先从不同类型的问答数据集中采样问题，调用三类典型开源大模型生成完整回答；随后组织专家人工标注员依据严格的“事实正确性”协议对问答对进行逐项裁决作为金标准；最后在完全受控的条件下，对比词汇重叠指标、NLI蕴含基线以及7类不同体量与机构的LLM裁判在多套提示词变体下的表现，深入剖析其误差分布与偏置方向。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入问题与参考答案<br/>TriviaQA / HotpotQA / TruthfulQA"] --> B["生成器回答输出<br/>Llama-3-8B / Gemma-2-9B / Mistral-7B"]
    B --> C["双重标准形式化表征<br/>忠实度 y_faith vs 事实正确性 y_fact"]
    C --> D["高质量人工事实正确性审计基准<br/>900组问答对全量精标 (A1主标 + A2双盲抽验)"]
    D --> E["多类自动化标注器横向评估<br/>词汇相似度 / NLI蕴含 / 7类大模型裁判"]
    E --> F["受控提示词准则消融与改写干预<br/>p1忠实度 vs p2/p3事实决策树 vs 核心删减干预"]
    F --> G["偏置方向与构念对齐误差分析<br/>Cohen's Kappa / 假阳性偏置率 / 误差空间几何分布"]

关键设计¶

1. 双重标注构念的形式化数学定义：理清未提及与反驳的逻辑鸿沟 针对基准构建中语义模糊的问题，作者首先对答案的命题断言与参考集合的关系进行了数学抽象。设问题为 \(q\)，模型生成回答为 \(a\)，数据集参考答案集合为 \(R=\{r_1, \dots, r_k\}\)。将 \(a\) 分解为命题断言集合 \(\mathrm{claims}(a)\)。定义 \(R \models c\) 表示参考答案充分蕴含断言 \(c\)，\(R \models \neg c\) 表示参考答案与 \(c\) 发生直接事实冲突。关键在于，\(R \not\models c\) 严格弱于 \(R \models \neg c\)——断言未被参考答案提及绝不等于被参考答案推翻。引入谓词 \(\mathrm{verifiable}(c)\) 表示具体可验证事实，\(\mathrm{true}(c)\) 表示在外部事实判定下为真。两类标注准则的指示函数定义为：

\[y_{\text{faith}}(a, R) = \mathbf{1}\left[\exists c \in \mathrm{claims}(a) : R \not\models c\right]\]

\[y_{\text{fact}}(a, R) = \mathbf{1}\left[\exists c \in \mathrm{claims}(a) : R \models \neg c \vee (\mathrm{verifiable}(c) \wedge \neg\mathrm{true}(c))\right]\]

当回答属于“核心正确且带有真实背景拓展”时，\(y_{\text{faith}}=1\) 而 \(y_{\text{fact}}=0\)。忠实度准则将源外合理增补（extrinsic elaboration）全盘判伪，这是导致下游假阳性激增的数学根源。

2. 900组三维受控的人工事实标注基准构建：兼顾多样性与跨生成器配对 为了提供绝对可靠的人工比对地标，评估样本从 TriviaQA（单跳事实事实型）、HotpotQA（多跳复杂推理型）和 TruthfulQA（常见人类认知误区型）中各随机抽样约100道题目（共300题）。对每道题目，固定由 Llama-3-8B-Instruct、Gemma-2-9B-it 与 Mistral-7B-Instruct-v0.3 三个不同架构的开源模型生成回答，保证同一题目的跨模型配对比较。主标注员 A1 严格依据 \(y_{\text{fact}}\) 准则标注全部 900 个样本；第二标注员 A2 独立双盲标注 300 个抽样样本，计算得出极高的人际一致性 Cohen's \(\kappa = 0.808\)（95% 置信区间 \([0.729, 0.879]\)，原始一致率 \(90.3\%\)），确立了基准标注的高信度。

3. 渐进式准则提示词设计与阶乘消融：解耦准则定义与提示结构 设计了多组对比明确的裁判提示词。基线提示词 \(p_1\) 采用忠实度准则，强制模型“仅以参考答案为真，未被参考支持或与参考矛盾即为幻觉”；改进提示词 \(p_2\) 显式定义事实正确性决策树，核心规则第一条即强调“参考中未提及并不等同于与参考矛盾，添加真实细节不属于幻觉”，并按“匹配参考 -> 检查反驳或虚假细节 -> 核心冲突 -> 拒答不确定性 -> 可验证细节判假”的层级分支决策；\(p_3\) 则在 \(p_2\) 基础上增加对参考本身不确定（如“未知/无法判定”）的边缘分支处理。为排查 \(p_2\) 的收益究竟来自准则对齐还是结构化文本，作者进一步构造了结构化忠实度提示 \(p_{1s}\) 与极简事实提示 \(p_{2t}\) 进行 \(2 \times 2\) 阶乘消融，严格控制变量。

4. 配对核心内容提取干预：因果验证拓展成分对假阳性的驱动机理 为了从因果链路上证明忠实度判定的错误确实来源于“正确拓展”，作者在双人标注均判定为非幻觉的 140 个回答上实施了拓展剪除实验。利用独立模型在盲审约束下仅通过删除操作抽取回答的“纯核心断言”（去除任何补充背景与情态客套话，平均词数由 48.4 词降至 15.6 词，中位数删减率达 66.0%）。将原回答与剪除拓展后的纯核心回答分别提交给 \(p_1\) 裁判再次评判，检验假阳性率的下降幅度。

实验关键数据¶

主实验¶

在 900 组问答对上评测各类自动化标注策略对人类事实金标准（A1）的一致性表现。偏差值 Bias 为自动标注幻觉率减去人类标注幻觉率（正值表示过度标注幻觉，即假阳性偏置）。

裁判模型 / 标注基线	提示词准则	Cohen's \(\kappa\) (Llama-3)	Cohen's \(\kappa\) (Gemma-2)	Cohen's \(\kappa\) (Mistral-7)	假阳性占比 FP% (L/G/M)
GPT-5-mini	\(p_1\) (忠实度)	0.530	0.498	0.194	95.9% / 87.2% / 98.3%
GPT-5-mini	\(p_2\) (事实正确性)	0.756	0.770	0.626	41.7% / 34.4% / 57.1%
GPT-5-mini	\(p_3\) (拓展决策树)	0.744	0.759	0.646	52.6% / 47.1% / 58.5%
GPT-5.4	\(p_1\) (忠实度)	0.306	0.240	0.021	99.1% / 97.7% / 100.0%
GPT-5.4	\(p_2\) (事实正确性)	0.779	0.766	0.619	60.6% / 48.5% / 70.2%
Claude Opus 4.7	\(p_1\) (忠实度)	0.712	0.740	0.693	62.8% / 76.3% / 60.9%
Claude Opus 4.7	\(p_2\) (事实正确性)	0.764	0.764	0.706	48.6% / 39.4% / 54.5%
Qwen2.5-7B	\(p_1\) (忠实度)	0.313	0.376	0.213	88.9% / 92.1% / 76.1%
Qwen2.5-7B	\(p_2\) (事实正确性)	0.483	0.607	0.428	54.5% / 35.2% / 39.5%
ROUGE-L (3-fold CV)	词汇相似度	0.353	0.473	0.385	26.9% / 36.1% / 12.9%
BERTScore (3-fold CV)	语义相似度	0.318	0.486	0.394	49.5% / 72.7% / 44.0%
T5-11B NLI (严格 \(\tau=0.5\))	参考蕴含模型	0.053	0.025	0.049	99.4% / 98.3% / 98.6%

消融实验¶

针对 GPT-5-mini 在 900 组全量样本上开展准则（忠实度 vs 事实）与结构（极简 terse vs 决策树 structured）的 \(2 \times 2\) 阶乘消融，探究性能提升的根本来源。

实验配置	蕴含准则	提示结构	全局 Cohen's \(\kappa\)	Bias	假阳性数 FP	假阴性数 FN	假阳性率 FPR
\(p_1\) (基线)	参考忠实度	极简描述	0.409	+0.281	266	13	0.533
\(p_{1s}\) (结构化忠实)	参考忠实度	树状结构	0.305	+0.336	317	15	0.635
\(p_{2t}\) (极简事实)	事实正确性	极简描述	0.714	-0.008	60	67	0.120
\(p_2\) (决策树事实)	事实正确性	树状结构	0.739	-0.004	56	60	0.112

配对差异显著性分析显示：固定极简结构改写准则（\(p_1 \to p_{2t}\)），\(\Delta \kappa = +0.305\)（95% CI: \([+0.240, +0.369]\)）；固定结构化改写准则（\(p_{1s} \to p_2\)），\(\Delta \kappa = +0.434\)（95% CI: \([+0.371, +0.494]\)）；而固定事实正确性准则仅调整结构（\(p_{2t} \to p_2\)），\(\Delta \kappa = +0.025\)（置信区间包含0）。这直接证实收益全部来自准则对齐而非结构格式。

关键发现¶

忠实度提示普遍陷入假阳性泥潭：在 \(p_1\) 提示下，GPT-5.4 与 GPT-5-mini 对生成答案的幻觉误判率极高（GPT-5.4 在 Mistral 上产生 144 个假阳性而假阴性为 0，FP 占比高达 100%），几乎将所有未完全与参考答案逐词重合的扩写全部误杀。
改换事实正确性准则显著纠偏：换用 \(p_2\) 提示后，各类 API 裁判与人类标注一致性实现飞跃，GPT-5-mini 的 \(\kappa\) 在 Mistral 上由 0.194 暴涨至 0.626，GPT-5.4 由 0.021 飙升至 0.619，且错误分布迅速回归平衡（FP/FN 趋近 1:1）。
模型能力不能掩盖准则偏差：顶级闭源模型在此类偏差上表现出截然不同的内隐倾向。GPT-5.4 严格执行字面忠实度要求导致假阳性崩盘，而 Claude Opus 4.7 在 \(p_1\) 下就内生倾向于宽容真实扩写（\(p_1\) 下 \(\kappa \approx 0.70\)），说明不同模型对模糊提示词的默认先验截然不同。
拓展删除因果干预证实假设：在 138 组通过盲审的非幻觉样本中，移除外围真实拓展后，\(p_1\) 裁判的假阳性率从 52.9% 骤降至 23.2%（45 个样本从假阳性逆转为真阴性，McNemar 检验 \(p < 10^{-9}\)），确证了拓展内容是触发忠实度误判的直接原因。
非 LLM 启发式基线各有系统性缺陷：严格 NLI 蕴含模型（T5-11B）将源外扩写几乎全部断定为不蕴含，FP 占比超过 98%；ROUGE-L 则倾向于严重漏报（高假阴性），阈值调优仍无法企及对齐后的 LLM 裁判。

亮点与洞察¶

尖锐指出幻觉基准构建的“地基危机”：许多幻觉检测工作依赖自动生成的标签作为 Ground Truth，本文揭示了如果未审视标注器所遵循的准则，基准本身就包含了巨大的系统性偏置，可能导致检测算法研究建立在虚妄的目标之上。
严格可控的阶乘消融与因果逆向干预：不仅停留在相关性统计，论文通过精心设计的 \(p_{1s}/p_{2t}\) 阶乘拆解以及核心词抽取消融，彻底排除了提示词长短排版的干扰，逻辑论证极其扎实自洽。
极具实操价值的“负规则”提示词工程：明确了在短答案问答评估中，必须在裁判提示词中显式写入“未被提及不等于相互矛盾”的排除性判定准则，该准则可即插即用迁移至各类大模型评测管线中。

局限与展望¶

语言与任务场景受限：当前实验仅覆盖英文开放域问答的短参考答案场景，未扩展至长文档摘要或检索增强生成（RAG）等多语言及长上下文场景，在后者中源文档忠实度往往本身就是核心目标。
外部事实核验频率缺乏量化跟踪：人工标注协议中虽然允许借助外部搜索引擎裁决参考未涉及的断言，但标注过程中未系统记录外部检索的调用比例，难以量化短参考答案在各数据集中的具体信息匮乏程度。
二元硬分类忽略了幻觉程度：基准采用全有或全无的二元答案级标签（0或1），未能细致刻画轻微数值瑕疵与完全颠倒黑白的危害度差异。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统厘清开放域问答幻觉评估中的准则错配与假阳性偏差机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖900组三模型三数据集人工精标、7大LLM裁判、多组受控消融与因果干预。
写作质量: ⭐⭐⭐⭐⭐ 概念形式化严谨，逻辑推导清晰，实验图表信息密实。
价值: ⭐⭐⭐⭐⭐ 为大模型事实性评估与幻觉基准设计提供了不可或缺的原则性规范。