Localizing Input Uncertainty Quantification for Large Language Models via Shapley Values¶
会议: NeurIPS 2026
arXiv: 2605.28170
OpenReview: https://openreview.net/forum?id=RfKPkFbBsx
代码: https://github.com/pyoung7307/ShaQ
领域: 可解释性
关键词: 偶然不确定性量化, 沙普利值, 输入歧义定位, 合作博弈, 语义聚类
一句话总结¶
针对黑盒大语言模型不确定性量化缺乏输入归因的痛点，提出基于沙普利值的细粒度片段级偶然不确定性量化框架 ShaQ，将歧义片段建模为合作博弈玩家并通过自底向上边缘化精确分解预测熵减，实现高精度的歧义检测与外科手术式靶向输入澄清。
研究背景与动机¶
大语言模型在多步推理与高风险决策任务中展现出强大能力，但在面对模糊、欠缺明确约束的用户输入时，常表现出过度自信并给出看似合理但潜在失真的回复。传统不确定性量化理论将预测不确定性分解为模型参数认知不确定性（Epistemic Uncertainty）与输入内在模糊性引发的偶然不确定性（Aleatoric Uncertainty）。在商业化黑盒 API 部署场景下，下游用户无法访问或调整模型参数，消除不确定性只能依赖于澄清与消除输入侧的信息模糊。
然而，现有面向大语言模型的不确定性量化方法存在严重的颗粒度瓶颈。基于输出层的方法（如语义熵、采样一致性与困惑度）仅提供单一标量分数，无法区分不确定性究竟源自模型幻觉还是输入本身的歧义；而现有输入侧偶然不确定性估计方法（如 ICE）将整个输入视为单一整体，给出的聚合标量无法指明具体是输入的哪个词或短语引发了多义歧义。当用户面对包含多个潜在歧义片段的复杂句子时，缺乏定位的聚合分数无法提供具体的可操作反馈，迫使用户花费大量精力盲目重写整个提示词。
解决该问题的核心阻碍在于自然语言中歧义片段之间存在复杂的上下文语义依赖与非线性交互，单一片段的消除效果依赖于其他片段的澄清状态。核心 idea：将输入中的候选歧义片段建模为合作博弈中的玩家，以多分支假设前提消除歧义后带来的预测条件熵减少量定义博弈特征函数，利用沙普利值在所有可能片段联盟上加权平均边际贡献，并结合自底向上边缘化分布构建保证非负信息增益的精确片段级不确定性分解。
方法详解¶
整体框架¶
ShaQ 框架旨在将输入查询 \(x\) 的整体输入致诱偶然不确定性 \(\mathcal{I}(Y; C \mid x)\) 精确分解到 \(n\) 个不重叠的歧义片段 \(\mathcal{S} = \{s_1, \dots, s_n\}\) 上。系统整体由四大专业化模块协同构成：定位器（Localizer）提取输入中的歧义文本片段；假设生成器（Generator）为每个片段生成相互独立的语义澄清假设；回答器（Answerer）在给定输入与联合假设条件下采样模型预测输出；聚类器（Clusterer）将所有可能联合分支下采样的输出映射到统一的语义输出空间以构建离散经验分布。随后，通过自底向上的层级边缘化算法评估所有可能子集的条件熵，计算各片段的沙普利值 \(\phi_k\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入查询 x"] --> B["歧义片段提取与假设生成<br/>Localizer 抽取片段 + Generator 生成前提"]
B --> C["回答生成与全局语义聚类<br/>Answerer 采样输出 + Clusterer 统一语义空间"]
C --> D["自底向上边缘化评估<br/>逐层推导任意联盟子集经验分布 p(Y|x,cA)"]
D --> E["沙普利值公平分配归因<br/>计算加权边际条件互信息贡献 ϕk 且满足有效性公理"]
E --> F["输出：片段级不确定性热力图与靶向澄清指引"]关键设计¶
1. 歧义片段提取与假设生成：离散化语义歧义的操作单元
由于自然语言缺乏预定义的结构化特征边界，必须首先确定诱发歧义的最小语义单位。定位器将输入文本分解为若干互不重叠、语义自洽且存在多种合理解读的连续短语集合 \(\mathcal{S}=\{s_1, \dots, s_n\}\)。针对每个识别出的片段 \(s_k\)，生成器独立采样 \(m\) 个陈述性的语义澄清前提 \(\{c_k^{(1)}, \dots, c_k^{(m)}\}\)，每个前提明确指定该片段的一种具体含义，从而将连续且组合爆炸的自然语言语境离散化为可控的语义取值空间。
2. 回答生成与全局语义聚类：构建跨联盟可比的离散输出空间
为准确度量消除歧义前后的信息论量，回答器针对完全澄清组合 \(c_\mathcal{N}\)（即所有片段的前提笛卡尔积）分别采样 \(\ell\) 个模型回答，汇总构成全局候选回答池。聚类器在整个回答池上执行单次全局语义等价性聚类，构建统一的离散语义输出空间 \(\mathcal{Y}=\{y_1, \dots, y_K\}\)。这一设计确保了后续所有子集联盟的条件熵估算均基于完全相同的语义基底，避免了独立或局部聚类导致概率空间错位而引入的人工伪影。
3. 自底向上边缘化评估：消除负估计并保证层次单调性
在评估任意子集联盟 \(\mathcal{A} \subset \mathcal{N}\) 的特征函数 \(v(\mathcal{A}) = \mathcal{I}(Y; C_\mathcal{A} \mid x)\) 时，若独立调用大模型生成未指定片段的预测，会因采样偏差破坏边缘化一致性，从而导致经验边际贡献出现违背信息论常理的负值。ShaQ 提出自底向上的边缘化机制，将未澄清片段 \(\mathcal{N} \setminus \mathcal{A}\) 严格视为被积分掉的边缘变量，基于底层全联合经验分布通过均匀权重凸组合推导子集分布： $\(p(Y \mid x, c_\mathcal{A}) = \frac{1}{m^{|\mathcal{N}\setminus\mathcal{A}|}} \sum_{c_{\mathcal{N}\setminus\mathcal{A}}} p(Y \mid x, c_\mathcal{A} \cup c_{\mathcal{N}\setminus\mathcal{A}})\)$ 根据琴生不等式（Jensen's Inequality）与香农熵的严格凹性，该递推构造在数学上严格保证了层次单调性（Hierarchical Monotonicity）：对任意 \(k \notin \mathcal{A}\)，均有 \(\mathbb{E}_{c_\mathcal{A}}[\mathcal{H}(Y \mid x, c_\mathcal{A})] \ge \mathbb{E}_{c_{\mathcal{A}\cup\{k\}}}[\mathcal{H}(Y \mid x, c_{\mathcal{A}\cup\{k\}})]\)，从而理论上确保每个边际贡献 \(\mathcal{I}(Y; C_k \mid x, C_\mathcal{A}) \ge 0\) 恒非负。
4. 沙普利值公平分配归因：非线性依赖下的全局有效性分解
留一法（LOO）归因仅在所有其余片段均已澄清的最大语境 \(\mathcal{A} = \mathcal{N} \setminus \{k\}\) 下评估片段贡献，极易因片段间的先验互斥掩盖真实歧义。ShaQ 将各片段视作博弈参与者，定义特征函数为联合澄清所获得的互信息增益 \(v(\mathcal{A}) = \mathcal{H}(Y \mid x) - \mathbb{E}_{c_\mathcal{A}}[\mathcal{H}(Y \mid x, c_\mathcal{A})]\)。根据沙普利值公理化体系，片段 \(s_k\) 的归因值为其在所有可能联盟大小上的加权边际贡献： $\(\phi_k = \sum_{\mathcal{A} \subseteq \mathcal{N} \setminus \{k\}} \frac{|\mathcal{A}|!(n - |\mathcal{A}| - 1)!}{n!} \mathcal{I}(Y; C_k \mid x, C_\mathcal{A})\)$ 该公式严格满足有效性公理（Efficiency Axiom），即所有片段归因值之和严格等于输入层面的总偶然不确定性 \(\sum_{k=1}^n \phi_k = v(\mathcal{N}) = \mathcal{I}(Y; C \mid x)\)，不仅完全兼容既有输入级不确定性理论，更克服了 LOO 无法求和还原总不确定性的根本缺陷。
实验关键数据¶
主实验¶
在开放域问答歧义基准 AmbigQA 与复杂自然语言推理歧义基准 AmbiEnt 上，评估各方法通过估计的偶然不确定性区分模糊输入与明确输入的能力。主骨干模型分别采用 GPT-4 与 GPT-5.4-mini。
| 数据集 / 骨干 | 方法类别 | 方法 | F1 Score (%) | AUROC (%) | AUPRC (%) |
|---|---|---|---|---|---|
| AmbigQA (GPT-4) | 输出层不确定性 | Semantic Entropy | 44.58 | 57.16 | 57.00 |
| Sample Diversity | 55.24 | 60.86 | 59.35 | ||
| Self-Consistency | 53.40 | 59.33 | 57.59 | ||
| 输入层聚合基线 | Deep Ensembles | 59.70 | 60.29 | 60.31 | |
| ICE | 65.54 | 60.66 | 59.98 | ||
| 片段消融基线 | LOO | 67.77 | 50.43 | 54.35 | |
| LOO (Max Span) | 67.77 | 52.36 | 55.80 | ||
| 本文方法 | ShaQ (Max Span) | 70.38 | 64.20 | 59.95 | |
| ShaQ (Ours) | 70.38 | 65.77 | 61.52 | ||
| AmbiEnt (GPT-5.4-mini) | 输出层不确定性 | Semantic Entropy | 42.20 | 57.56 | 54.36 |
| Self-Consistency | 47.93 | 59.28 | 59.46 | ||
| 输入层聚合基线 | Deep Ensembles | 56.37 | 58.96 | 61.49 | |
| ICE | 57.33 | 55.40 | 53.21 | ||
| 片段消融基线 | LOO | 66.07 | 49.04 | 57.00 | |
| LOO (Max Span) | 66.07 | 52.66 | 59.69 | ||
| 本文方法 | ShaQ (Max Span) | 74.60 | 77.80 | 75.19 | |
| ShaQ (Ours) | 73.84 | 77.68 | 75.71 |
消融实验¶
在多歧义片段（\(|\mathcal{S}| \ge 2\)）共存且相互作用的高难度 AmbiEnt 子集上，检验复杂交互建模的必要性；同时在 AmbigQA 高不确定性子集上评估不确定性引导输入澄清模拟（兼顾预测熵减少量 \(\Delta \mathcal{H}\) 与词级编辑距离 Edit）。
| 评测维度 | 测试配置 / 评估方法 | 核心评估指标 1 | 核心评估指标 2 | 核心评估指标 3 / 说明 |
|---|---|---|---|---|
| 多片段交互消融 (AmbiEnt, $ | \mathcal{S} | \ge 2$) | Ask4Conf-D | F1: 83.95% |
| Deep Ensembles | F1: 58.62% | AUROC: 45.95% | AUPRC: 75.25% | |
| ICE | F1: 59.64% | AUROC: 53.40% | AUPRC: 77.54% | |
| LOO (静态全澄清基线) | F1: 85.36% | AUROC: 49.11% | AUPRC: 79.59% | |
| LOO (Max Span) | F1: 85.36% | AUROC: 51.64% | AUPRC: 80.26% | |
| ShaQ (Ours, Max Span) | F1: 86.95% | AUROC: 81.31% | AUPRC: 92.39% | |
| ShaQ (Ours) | F1: 86.56% | AUROC: 80.05% | AUPRC: 91.27% | |
| 靶向输入澄清模拟 (高不确定性全集) | Semantic Entropy 引导 | 澄清率: 0.3423 | \(\Delta \mathcal{H} (\uparrow)\): 0.0330 | Edit \((\downarrow)\): 6.4545 |
| Deep Ensembles 引导 | 澄清率: 0.3831 | \(\Delta \mathcal{H} (\uparrow)\): -0.0076 | Edit \((\downarrow)\): 7.4545 | |
| ICE 引导 (输入级聚合) | 澄清率: 0.4387 | \(\Delta \mathcal{H} (\uparrow)\): -0.0633 | Edit \((\downarrow)\): 6.7878 | |
| ShaQ (Ours, 片段级定位) | 澄清率: 0.3365 | \(\Delta \mathcal{H} (\uparrow)\): 0.0389 | Edit \((\downarrow)\): 5.5151 |
关键发现¶
- 在包含多个歧义来源的语境中，沙普利值多子集加权显著优于单一语境下的 LOO 归因。在多片段 AmbiEnt 子集上，ShaQ 的 AUROC 相比 LOO 提升了超过 30 个绝对百分点（80.05% vs 49.11%），证明在语义互斥或条件约束下，静态全量上下文会严重低估潜在歧义片段的贡献。
- 缺乏细粒度定位的全局不确定性信号在引导用户修改输入时往往引发“盲目修改”。ICE 引导的重写导致模型预测熵反而增加（\(\Delta \mathcal{H} = -0.0633\)），而 ShaQ 凭借定位的高贡献片段实现了最高的预测熵降幅（0.0389），同时词级编辑距离最低（5.5151），验证了其“外科手术式”澄清的效率。
- 定位器的误检具有内在免疫力。定性分析表明，即使第一阶段 LLM 定位器误将清晰的名词短语标记为候选歧义，由于对该短语生成的前提不会改变预测分布，自底向上边际熵减接近于零，ShaQ 会赋予其接近于 0 的极低沙普利值，从而天然滤除定位假阳性。
亮点与洞察¶
- 理论上将信息论互信息分解与合作博弈沙普利值严谨结合，首次在片段级别建立了满足非负性与全局有效性公理的大模型偶然不确定性归因理论，彻底打通了输入级全局不确定性与细粒度归因的桥梁。
- 提出了基于自底向上边缘化概率构造算法，巧妙利用香农熵的严格凹性与琴生不等式，一举解决了独立经验采样破坏概率一致性导致负不确定性估计的根本难题。
- 在临床医患对话基准 MediTOD 上验证了其实用价值，成功在多轮对话中实时捕获症状描述与时间修饰语等关键临床模糊表述，为医疗等高风险人机协同场景提供了极具可行性的安全护栏机制。
局限与展望¶
- 计算复杂度随着候选歧义片段数量 \(n\) 呈指数级增长（\(O(2^n)\) 个联盟状态），在大规模片段存在时必须依赖前缀 KV 缓存或启发式子集采样截断。
- 假设生成阶段假设各片段的前提相互独立生成，在高度复杂的非独立语义中可能采样出逻辑上不可共存的前提组合，未来可引入前提一致性校验器（Premise Generation Checker）探索条件沙普利值（Conditional Shapley）估计。
- 当前框架依赖黑盒提示词驱动的模块流水线，在超长文本或多模态任务下的鲁棒性与推理开销仍有待进一步优化与验证。
相关工作与启发¶
- vs ICE (Hou et al., 2024): ICE 首次将大模型偶然不确定性重构为输入澄清潜变量的互信息，但仅能提供针对整个输入的单一聚合标量；ShaQ 将其作为总收益，在片段维度给出了公理化公平分解，并揭示了 ICE 无法指导局部精准澄清的缺陷。
- vs LOO 留一法归因: 传统 LOO 仅在其余全部变量已固定的极限条件下估算边际差，忽略了多歧义片段间的交叉消除效应且无法相加还原整体不确定性；ShaQ 通过全联盟加权平均实现了无偏且满足有效性公理的精确归因。
- vs 监督特征归因 (Watson et al., 2023): 以往信息论沙普利值方法局限于固定结构化特征与白盒预测分布；ShaQ 通过引入前提生成器与全局语义聚类，成功将其扩展至开放自然语言与黑盒自由生成模型。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将沙普利值引入大语言模型输入偶然不确定性量化，理论推导完整且自洽。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖问答、自然语言推理、医患真实对话三大基准，包含详细消融、多模型骨干验证与定性分析。
- 写作质量: ⭐⭐⭐⭐⭐ 数学形式化严谨，理论定理与算法设计环环相扣，逻辑链条极为清晰。
- 价值: ⭐⭐⭐⭐⭐ 为解决大语言模型“黑盒不可控、澄清无方向”提供了坚实的理论工具与实用落地范式。