Entropy Distribution as a Fingerprint for Hallucinations in Generative Models¶
会议: NeurIPS 2026
arXiv: 2605.28264
OpenReview: https://openreview.net/forum?id=yeXKhJ9iy3
领域: 幻觉检测
关键词: 幻觉检测、校准熵分数、经验累积分布函数、统计假设检验、单次前向推理
一句话总结¶
本文发现生成序列的词元级熵分布形状与尾部特征是独立于均值的幻觉指纹，据此将幻觉检测形式化为统计假设检验并提出校准熵分数（CES），仅需单次前向推理的黑盒词元概率即可在 10 个模型与 8 个问答基准上取得单次前向方法中的最优检测性能，且统计上与高成本多采样一致性方法持平。
研究背景与动机¶
大语言模型在生成流畅文本时经常编造事实错误（即幻觉），严重限制了其在医疗、金融、法律等高风险场景下的可信部署。现有的后验幻觉检测技术主要分为三类：以 Semantic Entropy、Kernel Language Entropy（KLE）和 SelfCheckGPT 为代表的多采样一致性方法需要对同一输入生成 \(K \ge 5\) 条轨迹并借助外部自然语言推理（NLI）模型聚类，推理延迟与计算开销成倍增加；以 INSIDE 和 Lookback Lens 为代表的内部状态方法依赖隐藏层表征或自注意力矩阵，无法应用于仅提供黑盒接口的闭源商业 API 模型；而以困惑度（Perplexity）和长度归一化熵（LN-Entropy）为代表的单次前向黑盒启发式方法虽然轻量，却将整条生成序列的词元熵轨迹粗暴压缩为单一均值标量。
这种简单取均值的做法掩盖了一个关键事实：当模型发生幻觉时，词元级熵的变化不仅体现在整体均值的抬升，更体现在分布形状的畸变与局部极端不确定性（尾部峰值）的出现。作者在 10 个模型与 8 个问答数据集构成的 80 组实验中验证发现，即使将忠实生成与幻觉生成的词元熵序列分别做均值中心化以完全消除一阶矩差异，两组分布在全部 80/80 组实验中仍表现出统计显著的 Kolmogorov-Smirnov（KS）分布差异（\(\alpha=0.05\)）。同时，传统单次前向标量指标缺乏统计原假设基准，其数值范围随模型词表、校准程度和任务类型剧烈波动，导致跨模型和跨任务部署时必须依赖有标注数据反复重调阈值，且毫无第一类与第二类错误率的理论保证。
如何在仅允许单次前向推理和黑盒词元概率（或 top-\(k\) 对数概率）访问的严格约束下，同时捕获熵分布的全局均值偏移与局部尾部异常，并建立具备有限样本误差界与跨任务可比性的统一检测框架，是本文要解决的核心问题。核心 idea：将生成模型的词元熵分布视为幻觉指纹，把幻觉检测构建为针对非幻觉参考经验累积分布函数（ECDF）的统计假设检验，并提出结合校准后均值熵与最大熵几何平均的校准熵分数（Calibrated Entropy Score, CES），在单次黑盒前向推理下实现兼具指数级检验功效保证与无监督污染鲁棒性的幻觉检测。
方法详解¶
整体框架¶
CES 框架由离线参考分布校准与在线单次前向假设检验两个阶段组成。在离线阶段，给定一组校准样本，系统利用可选的幻觉判定先知（Oracle，有监督模式下过滤出非幻觉样本，无监督模式下直接汇集全部校准样本）收集变长生成序列的词元级香农熵，构建非幻觉参考经验累积分布函数 \(\widehat{F}_0\)。在在线推理阶段，模型对测试输入仅执行一次前向生成，从输出概率或 top-\(k\) 对数概率中提取词元熵序列，分别计算序列均值熵（一阶位置信号）与最大熵（尾部极端信号），通过参考分布 \(\widehat{F}_0\) 映射为归一化分位数后取几何平均得到最终的校准熵分数 \(\text{CES} \in [0, 1]\)，并与阈值比较以判定是否拒绝无幻觉原假设 \(\mathcal{H}_0\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入提示与校准数据"] --> B["非幻觉参考分布校准与随机长度DKW界<br/>汇集非幻觉词元熵构建参考ECDF"]
B --> C["校准熵分数（CES）与指数功效假设检验<br/>单次前向提取均值熵与最大熵并经ECDF几何平均"]
C --> D["无监督污染鲁棒校准<br/>无Oracle标签时直接用混合样本近似参考分布"]
D --> E["输出归一化幻觉分数 CES ∈ [0,1]"]关键设计¶
1. 非幻觉参考分布校准与随机长度DKW界：将幻觉定义与统计检测解耦并保证有限样本收敛
传统启发式指标将幻觉定义与检测分数的计算耦合在一起，而本文引入抽象的幻觉判定先知函数 \(\mathcal{O}(x_{\text{in}}, x_{\text{out}}) \in \{0, 1\}\)（例如人工专家或离线大模型裁判），仅在离线校准阶段用其筛选出非幻觉生成样本 \(\mathcal{O}(x_{\text{in}}, x_{\text{out}}) = 0\)。在生成步骤 \(t \in [1, m]\) 中，模型输出词表 \(\mathcal{V}\)（大小为 \(d\)，或截断为 top-\(k\) 词元）上的概率分布 \(\bm{p}^{(t)}\)，并计算词元香农熵 \(h^{(t)} = -\sum_{v \in \mathcal{V}} p_v^{(t)} \log p_v^{(t)}\)。在给定生成长度 \(T = m\) 时非幻觉词元熵近似独立同分布采样自真实分布 \(F_0\) 的条件独立同分布假设（Assumption 1）下，算法将筛选出的非幻觉校准集合 \(\mathcal{D}\) 中所有变长序列的共 \(N = \sum_{\bm{h} \in \mathcal{D}} \text{dim}(\bm{h})\) 个词元熵汇集起来，构建经验累积分布函数：
由于不同样本的生成长度 \(\text{dim}(\bm{X}_i)\) 本身是随机变量，经典 Dvoretzky–Kiefer–Wolfowitz（DKW）不等式无法直接适用。作者为此推导出随机长度随机向量的广义 DKW 不等式（Theorem 1），证明当汇集 \(L\) 条独立同分布的变长非幻觉序列时，经验分布 \(\widehat{F}_0\) 与真实分布 \(F_0\) 的最大偏差（即 KS 距离）满足 \(\mathbb{P}^L(\sup_{x \in \mathbb{R}} |\widehat{F}_0(x) - F_0(x)| \ge \epsilon) \le 2(\mathbb{E}[\exp(-2\text{dim}(\bm{X})\epsilon^2)])^L \le 2\exp(-2L\epsilon^2)\)。这一理论结果保证了只需百余条非幻觉校准序列，即可高精度还原参考分布 \(F_0\)。
2. 校准熵分数（CES）与指数功效假设检验：融合全局位置偏移与局部尾部异常
给定参考分布 \(F_0\) 后，幻觉检测被表述为检验新生成的熵序列 \(\bm{h} = (h^{(1)}, \dots, h^{(m)})\) 是否服从原假设 \(\mathcal{H}_0: \bm{h} \sim F_0\)。虽然可以直接使用单样本 KS 检验比较整条序列的经验分布与 \(\widehat{F}_0\)，但问答等任务的生成长度 \(m\) 往往较短（中位数仅 4 到 15 个词元），导致 KS 检验在小样本下统计功效严重不足。为此，作者设计了专门针对短序列优化的校准熵分数（CES），同时提取序列的均值熵 \(\bar{h} = \frac{1}{m}\sum_{t=1}^m h^{(t)}\) 与最大熵 \(h_{\max} = \max_{t \in [m]} h^{(t)}\)，经由参考分布 \(\widehat{F}_0\) 归一化到 \([0, 1]\) 分位数空间后计算几何平均：
这一设计的精妙之处在于：均值熵 \(\bar{h}\) 捕获整段回答的全局不确定性抬升，最大熵 \(h_{\max}\) 捕捉模型在编造关键实体或数值时仅在个别词元上露出的尖峰不确定性（尾部信号）；而参考分布变换 \(\widehat{F}_0(\cdot)\) 消除了不同模型温度、词表大小与任务基底熵的尺度差异，使得 CES 分数天然落在 \([0, 1]\) 区间且具备跨模型与跨任务的直接可比性。几何平均则起到软逻辑与（soft-AND）的作用，抑制正常生成中偶尔出现的单点功能词高熵误报。进一步地，Theorem 2 严格证明了当阈值设为 \(c = \sqrt{F_0(\mu)F_0(\zeta)}\) 且参数落在忠实与幻觉分布的均值与最大值区间 \(\mu \in (\mu_0, \mu_1), \zeta \in (\zeta_0, \zeta_1)\) 内时，第一类错误率（误报率）满足 \(\mathbb{P}_{F_0}^m(\text{CES} > c) \le \exp\left(\frac{-2m(\mu - \mu_0)^2}{(\log d)^2}\right)\)，第二类错误率（漏报率）满足 \(\mathbb{P}_{F_1}^m(\text{CES} < c) \le F_1(\zeta)^m + \exp\left(\frac{-2m(\mu_1 - \mu)^2}{(\log d)^2}\right)\)，两者均随生成长度 \(m \to \infty\) 以指数速度收敛至 0。
3. 无监督污染鲁棒校准：无需先知标签即可部署的零标注检测机制
在实际生产环境或新领域冷启动时，往往无法获得人工专家或大模型裁判标注的纯净非幻觉校准集。针对这一痛点，作者提出了无监督 CES 变体（CES unsup）：直接跳过先知过滤步骤，将校准集中所有样本（包含比例为 \(\gamma \in [0, 1)\) 的幻觉样本）的词元熵无差别汇集，构建混合经验分布 \(\widehat{F}_\gamma\) 来替代 \(\widehat{F}_0\)。由三角不等式导出的污染鲁棒性命题（Proposition 1）指出，若混合真实分布 \(F_\gamma\) 与纯净非幻觉分布 \(F_0\) 的 KS 距离不超过污染率 \(\gamma\)，且有限样本经验估计误差不超过 \(\epsilon\)，则混合经验分布与理想参考分布的偏差严格受限于 \(d_{KS}(\widehat{F}_\gamma, F_0) \le \epsilon + \gamma\)。更重要的是，由于忠实生成与幻觉生成的词元熵分布存在较大重叠（80 组实验的中位 KS 距离为 0.100），混入幻觉词元仅会轻微展宽经验分布曲线，而不会改变分位数映射 \(\widehat{F}_\gamma(\cdot)\) 的单调相对排序，从而使无监督 CES 在完全零标注的条件下取得与有监督版本几乎一致的排序判别性能。
损失函数 / 训练策略¶
本文提出的 CES 是完全免训练（training-free）、免超参数调优的统计检测算法，不涉及神经网络参数更新或梯度优化。在离线校准阶段，算法仅需对校准集做一次前向推理并按一维数组排序构建经验累积分布函数 \(\widehat{F}_0\)（时间复杂度为 \(O(N \log N)\)，其中 \(N\) 为校准集总词元数）；在在线测试阶段，每个生成的回答仅需单次前向推理提取词元概率，通过二分查找在 \(\widehat{F}_0\) 中查询 \(\bar{h}\) 与 \(h_{\max}\) 的分位数并求平方根，计算开销相对于大模型本身的单次前向生成可以忽略不计。
实验关键数据¶
主实验¶
作者在 10 个指令微调模型（6 个开源权重模型：Falcon-7B-Instruct、Llama-3.2-1B-Instruct、Llama-2-7B-Chat、Llama-2-13B-Chat、Meta-Llama-3-8B-Instruct、Mistral-7B-Instruct-v0.3；4 个闭源 API 模型：GPT-4.1、GPT-4.1-mini、GPT-4.1-nano、GPT-4o-mini）和 8 个问答数据集（BioASQ、CoQA、DROP、GSM8K、NQ-Open、SQuAD、SVAMP、TriviaQA）组成的 \(10 \times 8 = 80\) 组实验（每组 500 条样本，共 40,000 条生成）上，将 CES 与 16 种基线方法进行了全面对比。下表汇总了全部 80 组实验上的 Friedman/Nemenyi 全局排名与配对胜率，以及代表性开源模型（Meta-Llama-3-8B-Instruct）和闭源 API 模型（GPT-4o-mini）在各数据集上的 AUROC 表现：
| 方法名称 | 是否单次前向 | 是否免内部状态/免额外检索 | 80组实验平均排名 (↓) | Nemenyi 顶级集团 | Llama-3-8B (SVAMP / GSM8K) | GPT-4o-mini (BioASQ / NQ-Open) |
|---|---|---|---|---|---|---|
| KLE (heat) | 否（多采样 \(K \ge 5\)） | 否（需 NLI 蕴含图） | 6.16 | 是 | — | — |
| KLE | 否（多采样 \(K \ge 5\)） | 否（需 NLI 蕴含图） | 6.16 | 是 | 0.806 / 0.651 | 0.643 / 0.671 |
| CES (unsup，本文) | 是（单次前向） | 是（仅需黑盒概率） | 6.29 | 是 | 0.792 / 0.685 | 0.698 / 0.700 |
| KLE-Full | 否（多采样 \(K \ge 5\)） | 否（需 NLI 蕴含图） | 6.65 | 是 | 0.800 / 0.645 | 0.644 / 0.672 |
| Embedding Regression | 否（需有监督训练） | 否（需隐藏层特征与标签） | 6.92 | 是 | 0.670 / 0.559 | 0.529 / 0.733 |
| CES (sup，本文) | 是（单次前向） | 是（测试时仅需黑盒概率） | 7.03 | 是 | 0.790 / 0.684 | 0.697 / 0.700 |
| LN-Entropy | 是（单次前向） | 是（仅需黑盒概率） | 8.20 | 否 | 0.781 / 0.668 | 0.690 / 0.696 |
| Perplexity | 是（单次前向） | 是（仅需黑盒概率） | 8.20 | 否 | 0.781 / 0.668 | 0.690 / 0.696 |
| Discrete SE (DSE) | 否（多采样 \(K \ge 5\)） | 否（需 NLI 聚类） | 8.61 | 否 | 0.798 / 0.589 | 0.636 / 0.672 |
| Semantic Entropy (SE) | 否（多采样 \(K \ge 5\)） | 否（需 NLI 聚类） | >8.90 | 否 | 0.767 / 0.525 | 0.597 / 0.645 |
| SelfCheckGPT | 否（多采样 \(K \ge 5\)） | 否（需多次生成比对） | >8.90 | 否 | 0.732 / 0.702 | 0.589 / 0.584 |
在配对比较中，无监督 CES 在全部 1,279 次配对比较中赢下 854 次（总胜率 66.8%），对 16 种基线中的 12 种胜率超过 50%；其中对 Generation Length 胜率达 85.0%（中位 AUROC 提升 \(\Delta = +0.085\)），对 SelfCheckGPT 胜率达 80.0%（\(\Delta = +0.034\)），对 FAVA 胜率达 78.8%（\(\Delta = +0.047\)），对 Semantic Entropy 胜率达 72.2%。经 Holm–Bonferroni 校正的 Wilcoxon 符号秩检验表明，CES 显著优于 LN-Entropy 与 Perplexity（\(p = 7.7 \times 10^{-7}\)），且与平均排名第一的多采样方法 KLE（6.16）不存在统计显著差异（Nemenyi 临界差 \(\text{CD} = 2.78\)）。
消融实验¶
作者围绕分布形状假说、统计量组合形式、校准集污染率、裁判标签噪声以及开源与闭源 API 模型泛化性展开了详尽消融，核心定量结果如下表所示：
| 消融维度与实验配置 | 核心统计/检测指标 | 定量结果 | 关键结论说明 |
|---|---|---|---|
| 分布分离检验：原始全量词元池化双样本 KS 检验 | 显著实验占比 (\(\alpha=0.05\)) / 中位 \(d_{KS}\) | 72/80 (90%) / 0.100 | 忠实与幻觉生成的词元熵分布存在稳定偏移（中位 Cohen's \(d = 0.192\)） |
| 分布形状检验：均值中心化（消除一阶矩）后 KS 检验 | 显著实验占比 (\(\alpha=0.05\)) | 80/80 (100%) | 移除均值差异后，全部 80 组实验仍显著分离，证实形状与尾部含独立指纹 |
| 统计量组合消融：\(\text{geom}(\text{mean}, \text{max})\) vs 其余 43 种组合 | 平均排名 / Holm-Wilcoxon 显著胜出数 | 排名第 1（中位 AUROC 0.6493） / 14/14 显著胜出 | 在均值、中位数、最大值、分位数等 44 种组合中，几何平均均值与最大熵最优 |
| 校准污染鲁棒性：向校准集注入 \(0\% \to 50\%\) 幻觉词元 | 80组实验中位 AUROC 变化 | 0.6531 \(\to\) 0.6533 (\(\Delta = +0.0002\)) | 即使 50% 校准词元被污染，CES 性能几乎零衰减（同期单样本 KS 下降 0.010） |
| 标签噪声鲁棒性：随机翻转 \(p_{\text{noise}} = 0\% \to 50\%\) 校准标签 | 有监督 / 无监督中位 AUROC | 0.6531 \(\to\) 0.6530 / 0.6531 | 对大模型裁判的标注噪声完全免疫，有监督与无监督差距随噪声单调收敛至 0 |
| 模型访问形态对比：闭源 API 模型 vs 开源权重模型 | 中位 AUROC (IQR) | 0.669 [0.635, 0.703] vs 0.642 [0.572, 0.694] |
仅靠 API 返回的 top-\(k\) 对数概率即可有效构建熵分布，知识密集型任务优势明显 |
| 自相关假设验证：18,705 条生成序列的滞后 1 阶自相关 \(\rho_1\) | 中位 \(\rho_1\) / 有效样本量比例 \(n_{\text{eff}}/n\) | 0.061 / 0.89（80.5% 落入白噪声界） | 词元熵序列时序自相关极弱，仅损失约 11% 有效样本量，支撑条件 i.i.d. 假设 |
关键发现¶
- 均值与最大值的几何平均不可替代：在附录 E.7 对均值、中位数、最大值、四分位数（\(q_{25}, q_{75}\)）构造的 44 种组合变体测试中，单独使用均值退化为长度归一化熵，单独使用最大值则易受句子开头或连接词的单点偶发高熵干扰；唯有 \(\sqrt{\widehat{F}_0(\bar{h}) \cdot \widehat{F}_0(h_{\max})}\) 在 80 组实验上取得最佳平均排名，并在统计检验中显著击败全部 14 个头部备选统计量。
- 检测性能的理论上限由分布偏移强度决定：跨数据集分析显示，各数据集上忠实与幻觉分布的 KS 距离 \(d_{KS}\) 与 CES 的检测 AUROC 呈现强正相关（Spearman \(\rho = 0.658, p = 3.3 \times 10^{-11}\)），按两者排序的数据集难度秩相关高达 \(\rho = 0.881\)。例如曲线分离最明显的 SVAMP 和 TriviaQA（\(d_{KS} > 0.13\)）检测效果最好，而分离最小的 GSM8K（\(d_{KS} = 0.05\)）检测最难。
- 合成长序列实验精准验证指数级误差衰减界：针对真实问答回答较短的问题，作者在附录 E.12 中从池化分布中抽取长度 \(m \in [5, 5000]\) 的合成序列验证 Theorem 2，发现第一类与第二类错误率在对数坐标下随 \(m\) 呈严格线性（即指数）下降且始终位于理论界下方；当 \(m \ge 1000\) 时，实测误报率与漏报率均降至 \(10^{-3}\) 以下。
亮点与洞察¶
- 去均值零假设实验（Mean-centred Null Experiment）一锤定音地证明“分布即指纹”：以往工作默认词元熵的有效信号只在均值，本文通过简单的均值平移消除一阶矩后，发现 80/80 组实验的 KS 检验依然显著。这一干净利落的实证分析直接揭示了幻觉在熵分布形态与尾部上的独立痕迹，为后续研究打开了从标量统计迈向函数/分布统计的新维度。
- 通过参考 ECDF 分位数变换巧妙实现无阈值重调的跨模型对齐：不同大模型的词表规模和退火温度会导致原始熵值相差数倍，而 CES 先用经验累积分布函数 \(\widehat{F}_0\) 将 \(\bar{h}\) 和 \(h_{\max}\) 投影到统一的 \([0, 1]\) 概率积分空间再做聚合。这一概率积分变换技巧零成本消除了量纲与尺度差异，可直接迁移到跨模型置信度校准、分布式异常检测和早停退出机制中。
- 单次前向黑盒方法首次追平高开销多采样一致性方法：在 Nemenyi 临界差分析中，仅需 1 次前向推理的 CES（平均排名 6.29）与需要至少 5 次前向采样加 NLI 图核计算的 KLE（平均排名 6.16）同属第一统计梯队，证明充分挖掘单条轨迹内部的词元分布高阶信息即可替代昂贵的跨轨迹多次采样。
局限与展望¶
- 对“高置信度幻觉”与超短生成序列存在固有盲区：正如作者在定理分析中所指出的，当模型因训练数据污染而极其自信地输出错误事实时，幻觉分布与忠实分布重合（\(d_{KS}(F_0, F_1) = 0\)），任何基于熵分布的检验都将失去统计功效；此外，当回答长度极短（如 \(m < 10\) 个词元）时，经验均值与最大值的方差较大，检验功效受限。
- 评测局限于贪心解码与短答案问答任务，且采用样本内校准协议：本文实验均在贪心解码（greedy decoding）和短问答基准（生成长度中位数 4–15 词元）上进行，且将每组实验的全部 \(N=500\) 条样本同时用于构建 \(\widehat{F}_0\) 和计算 AUROC（无独立留出测试集）。虽然无监督变体本身无需标签，但在随机采样解码（temperature / nucleus sampling）以及长文本开放式生成中的泛化表现仍有待验证。
- 显式建模局部时序依赖与跨领域参考分布迁移：尽管实证表明 80.5% 的序列滞后一阶自相关落在白噪声界内，仍有 15.8% 的序列呈现 \(|\rho_1| > 0.3\) 的强自相关。未来可引入块置换检验（block-permutation tests）或马尔可夫转移熵分布来捕捉长文本中的局部连续幻觉片段，并探索用单一通用语料校准的 \(\widehat{F}_0\) 直接零样本迁移至未知下游任务。
相关工作与启发¶
- vs Perplexity [17] / Length-Normalised Entropy (LNE) [26]：三者均属单次前向黑盒方法，但 Perplexity 和 LNE 仅计算词元熵（或对数似然）的算术均值，丢弃了尾部峰值信息且输出无界标量；本文通过 \(\widehat{F}_0\) 分位数校准同时融合均值熵与最大熵，在 80 组实验上统计显著优于后两者（\(p = 7.7 \times 10^{-7}\)），并补齐了有限样本误差界。
- vs Semantic Entropy [12] / Kernel Language Entropy (KLE) [31] / SelfCheckGPT [27]：这些多采样方法通过生成 \(K \ge 5\) 个候选回答并利用外部 NLI 模型计算语义簇熵或一致性，虽然性能优异但推理延迟与 API 成本高达数倍；本文证明仅凭单次生成的词元级概率分布即可达到与 KLE 统计无差异的检测水平，且对 Semantic Entropy 和 SelfCheckGPT 分别取得 72.2% 和 80.0% 的配对胜率。
- vs INSIDE (Eigenscore) [3] / Lookback Lens [5]：内部状态方法依赖模型中间层激活协方差或注意力矩阵比例，无法用于仅开放对数概率接口的闭源商业模型；CES 仅需最终层输出概率（甚至 API 返回的 top-\(k\) logprobs），在 GPT-4.1 与 GPT-4o-mini 系列上同样开箱即用。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 将幻觉检测从启发式标量打分提升为基于词元熵分布的严格统计假设检验，提出了广义随机长度 DKW 不等式与融合均值和尾部分位数的 CES 指标。
- 实验充分度: ⭐⭐⭐⭐⭐ 横跨 10 个开源/API 模型与 8 个问答数据集（共 80 组实验、40,000 条样本），与 16 种主流基线进行了严格的 Friedman/Nemenyi 统计检验及 44 种变体消融。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导（随机长度 DKW 界、指数功效界、污染鲁棒性）与实证分析环环相扣，图表直观清晰，附录对独立性假设和误差界提供了详实的验证。
- 价值: ⭐⭐⭐⭐⭐ 零训练、零超参、单次前向、支持黑盒 API 且无需标注校准集即可部署，兼具坚实的理论保证与极高的工业界实时落地价值。