跳转至

HALT: Hallucination Assessment via Log-probs as Time series

会议: EMNLP 2026
论文: ACL Anthology
代码: https://halt-hallucination-detection.github.io
领域: NLP理解
关键词: 幻觉检测、对数概率时序、灰盒评估、局部不确定性特征、循环序列建模

一句话总结

将大语言模型单次生成产出的 Top-20 对数概率视为多元时间序列,结合 5 种局部校准不确定性衍生特征,仅用 5M 参数的双向 GRU 与 Top-q 显著池化实现低成本、高精度的灰盒幻觉判别。

研究背景与动机

大语言模型在生成流畅连贯文本的同时,普遍存在生成事实错误或违背逻辑约束的幻觉现象。现有幻觉检测方案在落地部署中面临严苛的三方权衡困境:白盒方法依赖模型内部表征(如隐藏层激活状态或注意力模式),不仅需要底层权重访问权限,还往往涉及跨任务的逐层搜索与巨量参数适配;黑盒与多采样方法(如 SelfCheckGPT)通过多次采样或借助外置强判别模型与检索系统计算跨样本一致性,带来了成倍增加的推理延迟、计算开销与 API 成本;而轻量级的标量聚合统计方法(如困惑度 PPL 或最小词元概率)虽然计算代价极小,却将整个生成序列压缩为单一标量,直接抹杀了词元级别不确定性随生成步长演进的时间动态结构。

这一权衡的深层矛盾在于:幻觉的发生通常并非全局弥散,而是高度集中在关键推导跳跃、实体指称或计算转折点上,但在现代服务框架(如 vLLM)中,单次生成即可伴随产出 Top-K 对数概率序列(通常 \(K \le 20\))。这类轻量级灰盒信号远比单一标量丰富,却避免了提取全词表分布或访问深层权重的沉重代价。然而,现有研究长期忽视了 Top-K 分布随时间推移的形态演变轨迹对幻觉判别的诊断价值,尤其在逻辑推理任务中,模型即使输出流畅的推导链条,也极易在中间步骤引入局部无效推论,而表层文本分类器在缺乏显式源文档时对此类结构性推导错误几乎无能为力。

本文的切入点是打破“非白盒即多样本”的思维定势,充分挖掘现代推理引擎天然伴随输出的 Top-20 对数概率时序信息。核心 idea:将 LLM 单次生成的前 20 维对数概率序列视作多元时间序列,融合局部校准衍生特征,仅利用 5M 参数的双向 GRU 捕获置信度演化与后顾验证信号,并通过 Top-q 显著时序池化实现高效鲁棒的单次前向传播放后幻觉判别。

方法详解

整体框架

HALT 接收目标大模型在单次生成(或教师强制输入)下产出的每步 Top-20 对数概率向量 \(\ell_t \in \mathbb{R}^{20}\),在不依赖任何模型内部隐藏状态或外置检索的前提下,通过特征增广、时序编码与显著池化三个流水线阶段完成幻觉判定。整体架构首先对每个时间步提取 5 类刻画局部校准动态的统计量,拼接成 25 维特征向量 \(\tilde{\ell}_t\);随后经过两层 MLP 降维映射并输入深层双向 GRU 建模全局上下文依赖;最后通过基于隐藏态范数的 Top-q 池化抽取最具辨识力的不确定性突发步长,经线性分类头输出该回复存在幻觉的概率。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["目标LLM生成输出<br/>Top-20对数概率序列 ℓ1:T"] --> D1["局部校准特征工程<br/>5类不确定性衍生量 + 原始对数概率拼接 (25维)"]
    D1 --> D2["双向GRU时序动态编码<br/>两层MLP投影 + 5层Bi-GRU建模前向推导与回溯验证"]
    D2 --> D3["Top-q显著时序池化<br/>基于隐藏态L2范数筛选前15%不确定性高发步长"]
    D3 --> Out["线性分类头与判别策略<br/>输出幻觉概率 P(hallucinated) 与全局阈值决策"]

关键设计

1. 局部校准特征工程:传统标量丢弃局部动态 -> 构建5类互补不确定性时序特征 -> 提炼高敏感置信度演化轨迹
单纯保留原始 Top-20 对数概率虽然保留了基础分布截断面,但神经网络直接学习高维概率密度曲率往往需要海量样本。HALT 显式引入 5 类互补特征:平均对数概率(\(\text{AvgLogP}\))作为分布尖锐程度的代理量;选定词元在 Top-20 候选中的排序标号(\(\text{RankProxy}\))表征非贪婪采样偏离度;截断归一化全 Top-K 熵(\(H_{\text{overall}}\))捕捉头部候选间的总体犹豫程度;竞争候选项独立熵(\(Halts\))通过排除选定词元后重新归一化计算,专一隔离备选词之间的分歧强度;决策熵差分(\(\Delta H_{\text{dec}}\))量化选定词与最强竞争者间二元决策熵的一阶时间导数,精准标记确信与犹豫之间的瞬间突变。将这 5 个标量与原始 20 维对数概率沿通道维拼接,形成每步 25 维的增广向量 \(\tilde{\ell}_t = [\phi(\ell_t) \,\|\, \ell_t] \in \mathbb{R}^{25}\),实验证明该设计提供了关键的判别增益。

2. 双向GRU时序动态编码:非时序与单向模型忽略回溯证据 -> 深度双向循环网络建模状态转移 -> 捕获前向生成与后顾验证信号
生成过程中的不确定性脉冲往往具有强烈的上下文滞后性:一个词元在当前步孤立来看可能具有较高的模型置信度,但当后续生成了相互矛盾的事实实体或荒谬的推导结论时,其前向合理性即被推翻。HALT 抛弃静态池化与因果单向网络,采用 5 层隐藏维度为 256 的双向 GRU(Bi-GRU),层间施加 0.4 的 Dropout 防止过拟合。在输入 Bi-GRU 之前,25 维时序序列先通过 LayerNorm 与两层 GELU MLP 投影至 128 维空间。通过使用 PyTorch 的 PackedSequence 与布尔注意力掩码机制,模型在严密隔离填充步干扰的同时,允许隐状态在序列正反双向自由流动,实现了对推理链条“前向断言发起”与“后向矛盾收敛”的全景式捕捉。

3. Top-q显著时序池化:全局均值池化稀释局部脉冲 -> 依据隐藏态L2范数聚焦前15%不确定性步长 -> 放大局部幻觉爆发表征
长文本生成中 80% 以上的词元通常属于连词、语法填充词或高频常见实体,全局平均池化(Mean Pooling)会导致关键步长的强不确定性爆发被大量低熵常规步长稀释,而最大池化(Max Pooling)又极易引入异常单点噪声。HALT 提出基于激活范数的自适应稀疏聚合策略:计算每个有效时间步双向隐状态向量的 \(L_2\) 范数 \(s_t = \|H_t\|_2\),按得分从高到低排序,仅保留前 \(q = 15\%\) 的最具信息量时间步进行均值聚合得到 512 维的序列级表征 \(h_{\text{pool}}\)。这种设计赋予分类器聚焦于“幻觉爆发起源点”的局部感受野,相较于平均池化在验证集上带来了显著的性能跨越。

序列建模与判别策略

在形式化设定中,对目标自回归模型 \(M_\theta\),在每一步 \(t\) 提取经过排序的截断对数概率向量 \(\ell_t = (\log p_t^{(0)}, \log p_t^{(1)}, \dots, \log p_t^{(19)}) \in \mathbb{R}^{20}\),其中 \(\log p_t^{(0)}\) 对应实际被选中的词元对数概率。通过 Log-Sum-Exp 技巧构建截断归一化概率分布: $\(\tilde{p}_t^{(k)} = \exp\left(\log p_t^{(k)} - \text{LSE}(\ell_t)\right), \quad \text{其中} \ \text{LSE}(\ell_t) = \log \sum_{j=0}^{K-1} \exp\left(\log p_t^{(j)}\right)\)$

基于此分布,核心衍生特征的严密数学定义如下: $\(\text{AvgLogP}(\ell_t) = \frac{1}{K} \sum_{k=0}^{K-1} \log p_t^{(k)}, \qquad H_{\text{overall}}(\ell_t) = -\sum_{k=0}^{K-1} \tilde{p}_t^{(k)} \log \tilde{p}_t^{(k)}\)$ $\(H_{\text{alts}}(\ell_t) = -\sum_{k \neq k^*} \tilde{q}_t^{(k)} \log \tilde{q}_t^{(k)}, \quad \tilde{q}_t^{(k)} = \frac{\exp(\log p_t^{(k)})}{\sum_{j \neq k^*} \exp(\log p_t^{(j)})}\)$ $\(\Delta H_{\text{dec}}(\ell_t) = H_{\text{bin}}(\tilde{p}_t^{(k^*)}) - H_{\text{bin}}(\tilde{p}_{t-1}^{(k^*_{t-1})}), \quad H_{\text{bin}}(p) = -p \log p - (1-p) \log (1-p)\)$

经过 5 层 Bi-GRU 编码后得到隐状态矩阵 \(H \in \mathbb{R}^{T \times 512}\)。对于有效长度为 \(T_{\text{valid}}\) 的非填充序列,计算显著性评分 \(s_t = \|H_t\|_2\),筛选出评分最高的前 \(\lceil q \cdot T_{\text{valid}} \rceil\) 个步长集合 \(\mathcal{S}_q\)(\(q=0.15\)),池化向量定义为: $\(h_{\text{pool}} = \frac{1}{|\mathcal{S}_q|} \sum_{t \in \mathcal{S}_q} H_t \in \mathbb{R}^{512}\)$

最终将 \(h_{\text{pool}}\) 送入单层线性分类头计算标量 Logit,经 Sigmoid 激活函数映射为幻觉后验概率 \(P(\text{hallucinated}) \in [0, 1]\)。模型使用二元交叉熵损失 BCEWithLogitsLoss 在约 60K 标注样本上进行端到端优化,采用 Adam 优化器(学习率 \(4.41 \times 10^{-4}\),权重衰减 \(2.34 \times 10^{-6}\),批大小 512),并在全量混合验证集上统一调优单一全局判别阈值,杜绝了针对细分领域的过拟合阈值微调。

实验关键数据

主实验

评估统一在涵盖 10 个能力集群的统一基准 HUB 上展开,其中 5 大推理任务(算法、符号、数学、常识、代码生成)及世界知识集群完全从训练集中排除,严格检验泛化能力。基线包括传统词元不确定性标量聚合指标、以 ModernBERT-base(150M 参数)为底座的 SOTA 跨片段检测器 Lettuce,以及在相同训练集端到端微调的文本分类器 Text-ModernBERT。

任务能力集群 PPL \(H_{\text{overall}}\) \(\Delta H_{\text{dec}}\) \(Halts\) Lettuce (150M) Text-ModernBERT HALT-L (5M) HALT-Q (5M)
Algorithmic (算法推理)* 24.2 24.2 26.4 24.5 24.2 43.1 76.8 32.7
Chat (闲聊对话) 35.1 34.6 37.4 36.5 41.5 60.0 60.2 58.6
Code Generation (代码生成)* 43.1 38.1 62.0 66.7 38.1 46.2 47.7 39.7
Commonsense (常识推理)* 33.3 32.0 35.2 34.3 41.1 53.4 56.7 41.3
Data-to-Text (数据转文本) 39.2 39.2 42.2 39.2 83.4 60.1 72.9 73.0
Mathematical (数学推导)* 44.1 42.0 67.0 61.6 41.8 54.1 72.7 62.9
Question Answering (问答) 28.3 25.7 49.4 43.4 77.3 71.0 74.1 68.8
Summarization (摘要生成) 24.5 24.5 45.0 33.0 59.7 59.6 66.9 70.8
Symbolic (符号逻辑)* 24.6 24.6 24.9 24.6 33.4 58.6 65.4 49.8
World Knowledge (世界知识)* 44.5 44.5 44.5 44.5 44.5 52.8 76.9 58.5
Overall F1 34.0 32.9 48.0 42.9 64.0 61.9 67.0 62.7
Avg. across clusters 34.1 32.9 43.4 40.8 48.5 55.9 63.0 55.6

注:带 * 号者表示完全未参与训练的保留能力集群;测试指标均为 Macro-F1。

消融实验

为验证时序建模的本质必要性以及各特征模块的独立贡献,作者在 HUB 上进行了严格的架构与特征递增消融(基于 Llama 3.1-8B 对数概率)。

模型架构 / 特征组合变体 模型类型 平均 F1 (Avg. F1) 全局 F1 (Overall F1) 结论与机制说明
Logistic Regression (标量统计) 非时序 0.385 0.430 压缩为全局标量严重破坏判别信号
XGBoost (标量统计) 非时序 0.372 0.418 强非线性树模型依然无法弥补时序信息丢失
1D-CNN 时序 0.510 0.565 局部卷积难以捕获长程因果与回溯依赖
Bi-RNN 时序 0.507 0.551 缺乏门控机制导致长序列梯度消失
Uni-GRU 时序 0.543 0.600 仅前向建模比双向落后 7.0 个 Overall F1
Transformer (同参数 5.47M) 时序 0.560 0.618 小样本时序下自注意力泛化不及归纳偏置强的循环结构
LOS-Net (重实现, K=20) 时序 0.540 0.613 静态注意力机制在低K场景下建模效率偏弱
HALT-L (Bi-GRU 完整版) 时序 0.630 0.670 双向门控循环网络取得全局最佳判别表现
仅原始 Top-20 对数概率 完整架构 0.557 0.616 仅凭原始分布形态已显著压倒所有非时序基准
+ AvgLogP 完整架构 0.562 0.618 补充整体概率锐度基线
+ Halts (候选项分歧熵) 完整架构 0.575 0.647 单一特征增益最大 (+2.9 Overall F1)
+ RankProxy (排名标号) 完整架构 0.600 0.657 显式注入非贪婪决策扰动信号
+ \(H_{\text{overall}}\) (总体Top-K熵) 完整架构 0.614 0.660 补充头部概率质量分布平坦度
完整特征 (+ \(\Delta H_{\text{dec}}\)) 完整架构 0.630 0.670 差分项精准标记关键决策点动态跳变
去除原始对数概率 (仅5类衍生特征) 完整架构 0.567 0.638 证明原始连续分布与人工统计特征具备强互补性

关键发现

  • 时序结构的决定性价值:无论使用何种标量统计量,非时序基线最高的全局 F1 仅有 0.430,而所有时序模型均越过 0.550,两者存在高达 12 到 24 个百分点的鸿沟,从根本上否定了“仅靠均值困惑度或最低置信度即可有效判别幻觉”的经验假设。
  • 推理任务上的降维打击:在算法推理(Algorithmic)与数学推导(Mathematical)等逻辑密集型任务中,文本分类模型(Lettuce 24.2 / 41.8)由于表面文本依然高度流畅而完全崩溃至常数预测,HALT-L 则分别达到 76.8 与 72.7 的 Macro-F1,领先 Lettuce 30 到 52 个点。
  • Top-K 截断饱和律:当 \(K\) 从 1 扩展到 20 时,模型性能单调增长并在 \(K=20\) 处平稳饱和;在 12 款主流开源大模型上实测显示,Top-20 已经稳定覆盖了 95% 至 99.7% 的预测概率质量,证实更深度的全词表采集在边际收益上完全不具备性价比。
  • 跨尺度复用性与跨模型敏感性:从 360M 的 SmolLM 到 70B 的 Llama 3.1,固定超参数的 HALT 均稳定维持在 0.59 至 0.67 的 Overall F1,表明时序表征架构极具普适性;但将 Llama 上训练的 HALT-L 直接迁移测试 Qwen 时性能骤降至 0.540,说明不同模型家族内在校准曲线存在天然异质性,实际落地需针对各目标大模型独立训练专有判别器(单卡仅需十余分钟)。

亮点与洞察

  • 将对数概率升维为时间序列的视角重塑:论文没有陷在纯文本判别器或深层探针的泥潭里,而是将 API 天然输出的 Top-20 对数概率矩阵视为物理传感器时序信号。这种建模视角以极低的系统接入成本完整保留了动态置信度演化信息。
  • 剥离选定项的候选项熵(Halts)设计极其精妙:传统熵值常被主导词元的高概率压制,Halts 通过条件重归一化专一观察“第二梯队候选竞争者之间的撕扯”,梯度归因分析证实该特征重要度排名第一,是捕捉模型举棋不定状态的杀手锏。
  • 轻量双向循环网络打赢重型预训练模型:仅用 5M 参数的双向 GRU,在宏观 F1 上全面压制了拥有 1.5 亿参数的 ModernBERT(Lettuce)和参数量数千倍的多采样自一致性方案,展现了针对性归纳偏置对无参数预训练底座的高效替代。

局限与展望

  • 跨模型架构无法直接零样本迁移:由于各模型预训练数据、词表切分和温度校准曲线迥异,检测器无法直接跨 LLM 家族混用,每个新增目标大语言模型都必须耗费约 15 分钟独立重训专属检测器。
  • 离线教师强制与自由生成分布差异:HUB 基准评测采用教师强制(Teacher-forcing)模式以统一步调,尽管自由生成实验(CoQA / SQuAD / XSUM)验证了该时序信号依然有效,但自由推断中的自回归误差累积与长文本漂移尚未完全纳入形式化评估。
  • 缺乏多语言与代码混合场景验证:当前评测完全基于英语语料,不同语系的分词粒度(如中文单字与成词概率离散度)对不确定性波动的传导机制尚待深入探索。

相关工作与启发

  • vs Lettuce (Ádám Kovács & Recski, 2025):Lettuce 依赖 150M 参数的 ModernBERT 扫描全文本提取错误片段,在 RAGTruth 等富文本上下文检索任务中表现优异(83.4 vs 72.9),但在缺乏显式参考源的数学、代码和抽象逻辑推理中因文本表面欺骗性而彻底失效;HALT 参数减少约 30 倍,且在逻辑幻觉场景具有压倒性优势。
  • vs SelfCheckGPT (Manakul et al., 2023):SelfCheckGPT 依赖每个样本额外采样 10 到 20 次并调用 NLI 交叉比对,计算成本极其高昂;HALT 为纯单次前向输出后处理,单卡推理延迟极低,在 SQuAD 上仅凭单次生成即取得 0.90 AUROC,压倒前者的 0.65。
  • vs LOS-Net (Bar-Shalom et al., 2025b):LOS-Net 探索静态 Transformer 结构且需要 \(K=50\) 甚至 \(K=1000\) 的超深概率分布;HALT 证明在更贴合工业级 API 限制的 \(K=20\) 条件下,显式双向循环时序建模的表征能力远超静态注意力网络。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 突破传统标量汇总与白盒激活探针思路,将单次 Top-K 对数概率序列系统形式化为多元时间序列并验证其时序有效性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 10 个能力集群的统一 HUB 基准、8 种从 360M 至 70B 的模型尺度跨度、完备的时序架构与特征渐进消融。
  • 写作质量: ⭐⭐⭐⭐⭐ 动机阐述环环相扣,从数学形式化、梯度归因到落地开销分析层次分明且论据严密。
  • 价值: ⭐⭐⭐⭐⭐ 为生产级云端大模型服务提供了一种单次前向传播放后、近乎零显存与零延迟开销的高精度灰盒幻觉守门方案。