Integrating Local and Global Entropy for Uncertainty Quantification in LLMs¶

会议: NeurIPS 2026
arXiv: 2606.09875
OpenReview: https://openreview.net/forum?id=fbOMEeETpt
代码: https://github.com/qcri/GLU.git
领域: 可解释性
关键词: 不确定性量化, 幻觉检测, 隐状态几何, 矩阵Rényi熵, 局部与全局融合

一句话总结¶

通过将输出层 token 级预测不确定性（局部熵）与隐层状态轨迹的 Gram 矩阵 Rényi 碰撞熵（全局几何复杂度）进行免微调、免多轮采样的乘性门控融合，在单次前向传播中高效捕获 LLM“高置信却答错”的深层幻觉。

研究背景与动机¶

大语言模型（LLM）常以极具说服力的流利口吻生成事实错误或幻觉内容，导致高风险场景下的可靠部署面临严峻阻碍。现有不确定性量化（UQ）方法大多依赖于输出分布或序列采样：要么通过多轮采样检验语义一致性带来高昂的计算延迟，要么直接利用输出 token 预测概率或 logit 计算香农熵与证据不确定性。然而，这类局部输出信号无法窥视模型内部推理状态的连贯性，面对模型“高置信地胡说八道”（confident-but-wrong）的典型失误模式时会系统性失效。

根据线性表示假说，概念在大模型的隐状态向量空间中以特定几何方向编码。当模型可靠地提取既有事实时，其跨时间步的隐状态轨迹在表征空间内沿紧凑、主导的方向移动；而当模型缺乏可靠事实依据、仅凭上下文拼凑看似合理的回答时，内部隐状态会在语义空间中四处漂移。输出层（unembedding）与内部表征空间（embedding）在数学几何与信息表征维度上天然异构：前者反映下一步候选词的局部概率竞争，后者反映全局语义演进的几何流形复杂度。经验统计表明，两者的不确定性信号近乎正交且各自覆盖了互补的错误分布。

为了在无须标注微调、不增加额外前向解码开销的前提下弥合这一盲区，本文提出全局-局部不确定性评估框架。核心 idea：利用隐状态轨迹 Gram 矩阵的 2 阶 Rényi 碰撞熵闭式解刻画全局表征扩散度，并将其作为乘性门控放大局部 token 级证据不确定性，以单次前向且长度归一化的无监督分数精准捕获隐式漂移幻觉。

方法详解¶

整体框架¶

GLU 框架在单次贪婪生成过程中，同步收集两个层级的表征信号：自顶向下由 unembedding 层提取最高不确定性候选 token 的局部香农熵与 Dirichlet 证据不确定性；自底向上由各 Transformer 隐藏层收集时间步轨迹向量，构建内积 Gram 矩阵并解析其谱弥散程度。最后通过长度与层深归一化的全局几何熵作为乘性调节因子调制局部不确定性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["提示词输入与贪婪解码生成"] --> B["阶段1：局部不确定性估计<br/>截断候选词分布香农熵 × 逆Dirichlet证据强度"]
    A --> C["阶段2：全局几何复杂度量化<br/>提取各隐层轨迹 Gram 矩阵并计算 Rényi 碰撞熵闭式解"]
    B --> D["阶段3：乘性门控调制与长度归一化<br/>以全局几何弥散因子动态放大局部不确定性"]
    C --> D
    D --> E["输出 GLU 可靠性评分与选择性拒识"]

关键设计¶

1. 局部不确定性估计：截断分布香农熵与平滑证据强度的交互 针对生成序列中大量功能词、停用词或高度确定性结构词会稀释整体不确定性的问题，该设计结合了偶然不确定性（Aleatoric Uncertainty, AU）与认知不确定性（Epistemic Uncertainty, EU）。首先对 top-\(k\) 候选词 logits 重新归一化计算截断香农熵 \(\mathrm{AU}(t) = -\sum_{j=1}^k p_j \log_2 p_j\)。同时，采用平滑的 softplus 映射 \(\alpha_j = \ln(1+e^{z_{\tau_{(j)}}})\) 将 logit 转化为严格正向的 Dirichlet 浓度参数，定义逆总证据强度为认知不确定性 \(\mathrm{EU}(t) = k / \sum_{j=1}^k (\alpha_j + 1)\)。两者相乘构成单个 token 的联合局部不确定性 \(R(t) = -\mathrm{AU}(t) \cdot \mathrm{EU}(t)\)，最终仅对整句中不确定性最高的 top-\(m\) 个关键位置计算均值 \(\bar{R}\)，避免非关键 token 对长句评估的稀释。

2. 全局几何复杂度量化：利用 Frobenius 范数避免特征分解的 Rényi 碰撞熵闭式计算 为了捕捉模型内在思考路径的离散与漂移，该设计将长度为 \(T\) 的生成序列在第 \(\ell\) 层的隐状态聚合成轨迹矩阵 \(\mathbf{H}^{(\ell)} \in \mathbb{R}^{T \times d}\)，并构建时间步关联 Gram 矩阵 \(\mathbf{K}^{(\ell)} = \mathbf{H}^{(\ell)} {\mathbf{H}^{(\ell)}}^\top \in \mathbb{R}^{T \times T}\)。谱分布越均匀，说明表征在潜在空间各正交方向上越弥散，表明模型推理存在深层犹豫。通过引入 \(\alpha=2\) 的 Rényi 碰撞熵，巧妙规避了传统 \(O(T^3)\) 的特征值分解，将其化简为仅依赖矩阵迹与 Frobenius 范数的闭式计算：

\[S_2(\mathbf{K}) = -\log \frac{\|\mathbf{K}\|_F^2}{\mathrm{tr}(\mathbf{K})^2}\]

在语言模型通常满足隐藏层维度远大于生成长度（\(d \gg T\)）的实际工况下，矩阵内积耗时 \(O(T^2 d)\)，范数计算仅需 \(O(T^2)\)，极大提升了计算效率。为抹平序列长度增长导致的熵上界膨胀并消除单一中间层选择偏差，采用 \(1+\log T\) 实施极值归一化并在全网所有 \(L\) 层间求均值，得到严格落在 \([0, 1]\) 范围内的全局几何评分 \(\tilde{S}\)。

3. 乘性门控调制与长度归一化：将全局表征弥散作为局部信号的调制器 传统不确定性结合常采用线性加权（加性偏移），但加性融合将全局几何量视为固定的平移量，无法识别“输出极为自信（局部熵接近0）而内部表征剧烈漂移（几何熵极高）”的典型幻觉现象。GLU 采用乘性门控结构：

\[\mathrm{GLU} = (1 + \tilde{S})\,\bar{R}\]

其中 \((1 + \tilde{S})\) 扮演几何放大器角色。当隐状态轨迹紧凑连贯时（\(\tilde{S} \to 0\)），整体度量直接回退为标准局部输出判定；而当轨迹呈现发散与高维复杂形态时，门控机制成倍放大该处的局部弱证据惩罚，使原本被判定为高置信的隐式错误被有效拉入警戒区间。

实验关键数据¶

主实验¶

在涵盖 3 个模型家族（Qwen2.5-7B、Gemma3-12B、Fanar1-9B）与 6 大基准数据集（包含事实检索、数学推理、长文本生成、多轮对话与阿拉伯语 QA）的全面评测中，GLU 在 18 个测试场景中的 13 项取得 AUROC 和 PRR 最佳表现，全面压制纯局部与纯全局代表基线。

模型	数据集	LogTokU (局部) AUROC	RAUQ (全局) AUROC	GLU (本文) AUROC	LogTokU PRR	RAUQ PRR	GLU PRR
Qwen2.5-7B	TruthfulQA	0.680	0.582	0.616	0.377	0.063	0.195
Qwen2.5-7B	TriviaQA	0.786	0.789	0.834	0.606	0.581	0.717
Qwen2.5-7B	MATH	0.595	0.699	0.767	0.216	0.424	0.537
Qwen2.5-7B	Multiturn	0.523	0.644	0.739	0.008	0.189	0.407
Gemma3-12B	TriviaQA	0.597	0.700	0.817	0.224	0.416	0.698
Gemma3-12B	MATH	0.801	0.771	0.799	0.693	0.639	0.699
Fanar1-9B	TriviaQA	0.706	0.821	0.821	0.445	0.712	0.730
Fanar1-9B	Longform	0.569	0.549	0.654	0.077	0.066	0.200
Fanar1-9B	Multiturn	0.463	0.804	0.831	-0.166	0.654	0.687

消融实验¶

跨 18 项基准设置的平均性能横向消融表明，乘性机制是取得突破的核心根源，而具体局部/全局估计器变体具有高度鲁棒性。

方法/配置	信号空间	平均 AUROC	AUROC 排名	平均 PRR	PRR 排名	核心说明
GLU (完整模型)	局部 × 全局	0.676	1	0.369	1	长度归一化全层 Rényi 熵 × top-m 局部交互
GLU-DK (自适应窗口)	局部 × 全局	0.675	2	0.366	4	随全局几何熵增加自适应缩减局部窗口大小
GLU-SP (Softplus)	局部 × 全局	0.675	3	0.367	2	Dirichlet 证据采用平滑 softplus 替代 ReLU
GLU-S* (单最优层)	局部 × 全局	0.674	4	0.366	3	仅取几何熵最大的单个关键层而非全层均值
GLU-S̄ (无长度归一)	局部 × 全局	0.674	5	0.365	5	移除 \(1+\log T\) 长度截断归一化
GLU-AU (仅香农熵)	局部 × 全局	0.671	7	0.362	7	局部端完全舍弃证据不确定性，仅保留概率熵
LogProb (基线)	纯局部	0.655	10	0.326	10	序列平均 token 对数概率
RAUQ (基线)	纯全局	0.648	12	0.305	12	注意力头模式全局不确定性
Add-S̃ (加性消融)	局部 + 全局	0.621	13	0.259	13	替换乘性门控为线性加法，性能急剧退化
LogTokU (基线)	纯局部	0.574	14	0.144	14	基于 logits 的狄利克雷证据强度基线

关键发现¶

乘性门控具有决定性优势：将乘性门控替换为加性融合（Add-S̃）后，平均 AUROC 从 0.676 断崖式下跌至 0.621，PRR 从 0.369 跌至 0.259（排在几乎所有基线之后）。这证明全局几何信息不能作为孤立得分直接相加，必须作为调节器按比例放大局部存疑风险。
全局几何力挽“高置信误答”：局部信号（如 LogTokU）容易在模型词表输出分布过度自信时失灵；GLU 通过捕获隐藏层中扩散的特征谱，在 TriviaQA 与数学推理任务中比 LogTokU 分别带来了高达 22.0% 与 17.2% 的 AUROC 增益。
十等分单调拒识可靠性：在 TriviaQA 上的十分位数分桶分析表明，GLU 评分从低到高展现出极强的错误率单调递增性（最高与最低桶之间错误率跨度达 66~84 个百分点），完全支持下游自动化拒识过滤与自适应人工审核。

亮点与洞察¶

闭式计算规避谱分解计算瓶颈：通过采用 \(\alpha=2\) 的 Rényi 碰撞熵性质，将特征值连续分布直接等价化为 Frobenius 范数与迹的代数比值，免除了 \(O(T^3)\) 复杂度的 SVD/Eigendecomposition，使得跨所有 Transformer 层的全深度几何分析在工程部署中完全轻量可行。
表示层与输出层的解耦视界：从第一性原理上指出 unembedding 离散概率空间与内部隐状态几何流形的正交性，证明了幻觉检测不应单押局部 token 熵或单押注意力表示，双视角融合开辟了免采样的不确定性评估新范式。

局限与展望¶

白盒权重依赖：GLU 强依赖于模型各隐藏层的 internal states 和 logits 输出分布，无法直接应用于仅提供纯文本输出的黑盒商用闭源 API。
任务异质性下的局部信号失准：在非英语或少见任务（如 ArabicaQA 部分设定）中，若局部 token 熵本身因分词碎片化等因素与正确率失去相关性，乘性门控可能受到局部噪声连带影响，未来值得探索任务自适应的动态门控权重机制。
动态长度缩放因子：虽然采用了 \(1+\log T\) 作为全局几何熵的长度归一化因子，但在超长序列（如超过 4k tokens）生成任务中，隐状态协方差特征谱的累积特征是否发生相变仍有待进一步理论探索与实验论证。

评分¶

论文质量: 4.5 / 5.0 (理论闭式推导精妙，深入揭示了内部几何扩散与外部置信度失调的互补性)
实验充分度: 4.5 / 5.0 (横跨 3 大模型家族与 6 项多元基准任务，消融实验论证充分)
创新性: 4.0 / 5.0 (巧妙运用 Rényi 碰撞熵绕过特征分解瓶颈，提出高效乘性门控架构)
工程实用性: 4.5 / 5.0 (免微调、免多轮采样、单次前向内积计算，推理延时增加微乎其微)