跳转至

The Trilemma of Truth in Large Language Models

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/carlomarxdk/trilemma-of-truth
领域: 幻觉检测
关键词: 真实性探测, 稀疏多示例学习, 保形预测, 三值逻辑, 线性表征探测

一句话总结

针对传统线性探测方法将真实性简化为对称单轴二分类的缺陷,本文提出结合稀疏多示例学习与保形预测的多分类探测框架 sAwMIL,在十六个大语言模型与三个新数据集上揭示了真实、虚假与未知三值表征机制并实现了因果可干预性。

研究背景与动机

随着大语言模型在各行各业中的广泛落地,公众往往倾向于赋予模型拟人化的认知特质,误以为模型能像人类一样理解并“知晓”事实。然而在现实运行中,模型仅仅是在其参数化记忆中保留训练分布下的内部概率化知识。由于大语言模型在生成错误陈述时依然能保持权威且流畅的表达语调,用户极难识别其中的事实性幻觉与虚假信息。为了对模型内部概率化知识的真实性进行有效验证,现存手段主要分为基于黑盒提示词的评估方法与基于模型内部激活表征的白盒线性探测技术,但前者极易受到输入表述和表面提示形式的扰动,后者则构成了深入机制分析的核心途径。

然而,现有的表征探测范式普遍建立在三个未经审视的有缺陷假设之上。首先是单轴对称假设:绝大多数研究假定真实性与虚假性在隐藏空间内严格互逆、共处于同一维度轴线上,忽视了大语言模型在面对未学习实体或未充分定义概念时缺乏事实支持的客观状态;其次是真值标签对齐假设:现有研究直接将人类世界的真假标注视作模型内部表征的完美代理,混淆了客观世界的真实性与模型内部事实记忆的实际覆盖范围,并且输出的超平面距离或 Sigmoid 分数缺乏经过统计校准的置信度含义;最后是末位词元表征假设:研究者通常默认句末句点等最终词元能够完整聚合整句的事实性表征,却忽略了事实命题往往在特定谓词或实体位置就已完全具体化,从而导致探测器在非具体化词元上捕获到虚假的相关性伪影。

为了打破这种将非真即假强加于连续表征的二元困境,必须引入三值逻辑来建模大语言模型面对真、假以及“未包含于内部概率知识中”的三种认识论状态。本文的核心 idea 是:将真实性探测重构为包含 True、False 与 Neither 的三值问题,提出融合稀疏多示例学习与保形预测的 sAwMIL 框架,利用全句词元包定位具体化关键信号并提供具有统计覆盖保证的预测集。

方法详解

本文提出的 sAwMIL(Sparse-Aware Multiple-Instance Learning)将传统的单示例支持向量机推广至稀疏多示例学习框架,把整个语句拆解为由所有词元表征构成的包,并在推断阶段利用保形预测(Conformal Prediction)技术产出具备统计覆盖保证的真实性标签集合。

整体框架

在 sAwMIL 流程中,输入的陈述句首先分解为词元序列,并在中间解码器层提取隐层表征形成词元特征包。系统针对 True、False 与 Neither 三个类别分别构建一对多(One-vs-all)的多示例学习分类器。每个一对多探测器内部包含混合包-示例支持向量机初筛、基于分位数约束的伪标签重新标注,以及在展平词元集上训练单示例支持向量机三个连续阶段;最终将三组探测器输出的分数通过 Softmax 与归一化回归整合,并交由保形预测模块输出校准后的预测集合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入命题语句与词元激活包"] --> B["阶段一:混合包-示例 SVM 粗分"]
    B --> C["阶段二:分位数与命题具体化重打标"]
    C --> D["阶段三:细粒度词元级单示例 SVM"]
    D --> E["一对多分类器 Softmax 概率融合"]
    E --> F["保形预测非符合性分数校准"]
    F -->|输出集合满足覆盖保证| G["输出:True / False / Neither 判定集"]

关键设计

1. 混合包-示例支持向量机粗分:在正负包不对称约束下过滤无关词元

传统单示例学习强制要求给句子中的每个词元预设标签,但在陈述句中大部分前置词元并不携带真实性信息。sAwMIL 第一阶段采用稀疏多示例支持向量机(sMIL)。对于全负样本包,包内每一个词元都为确定的真负样本,因此施加独立的逐词元边缘约束 \(\theta^\top \phi(x_j) + \beta \le -1 + \xi_{x_j}\);对于包含真实性信号的正样本包,并不预先假定具体哪个词元为正,而是基于正样本包内正词元极度稀疏的先验(通常仅有 1 个具体化词元为真正例,其余 \(|B|-1\) 个为负例),推导出包均值表征的松弛边界约束:

\[\theta^\top \phi(B_j) + \beta \ge \frac{2 - |B_j|}{|B_j|} - \xi_{B_j}, \quad \forall B_j \in \mathcal{X}^+\]

该凸二次规划问题在惩罚边缘违规的同时最小化 \(\|\theta\|^2\),使得权重向量 \(\hat{\theta}\) 初步具备将信息丰富的词元推向分离超平面一侧、同时将背景负词元推向另一侧的能力。

2. 命题具体化与分位数重打标:利用结构先验精确隔离虚假关联

第一阶段得到的权重虽然给出了区分倾向,但无法直接得到每个词元的离散伪标签。第二阶段利用语句的句法结构将命题拆解为预具体化部分 \(x_p\)(如 "The city of Riga is in",本质不携带判断性真实信号)与具体化部分 \(x_a\)(如 "Latvia.",事实真值完全确立的位置)。sAwMIL 在所有正包词元得分集合 \(S^+\) 中计算 \((1-\eta)\) 分位数 \(q = Q_{1-\eta}(S^+)\)(其中 \(\eta\) 为包内正词元预期占比超参数),并结合句内具体化掩码 \(m \in \{0, 1\}^L\) 执行伪标注:

\[\tilde{y}_j = \begin{cases} +1, & \text{if } s_j \ge q \text{ 且 } m_j = 1 \\ -1, & \text{otherwise} \end{cases}\]

此机制强制剥离了前置填充词和功能词的虚假激活,将真实性信号严格锚定在具体化词元处,打破了传统探测器在非具体化词元上过拟合的假象。

3. 细粒度词元级分类器与三向解耦:打破真实与虚假的对立单轴假设

在获得全量词元的高质量伪标注数据集 \(\tilde{\mathcal{D}}\) 后,第三阶段抛弃原始包结构,训练最终的高精度线性单示例支持向量机得到方向参数 \(\theta\) 与截距 \(\beta\)。为了避免将真实与虚假强行映射为对称反向向量,该架构独立训练三个一对多分类器:is-true、is-false 与 is-neither。各探测器提取独立的线性方向 \(\theta_{\text{true}}, \theta_{\text{false}}, \theta_{\text{neither}}\),再通过温度缩放的 Softmax 回归融合成三维概率分布 \(p_k = \frac{\exp(z_k)}{\sum_j \exp(z_j)}\)。实验表明,\(\theta_{\text{true}}\) 与 \(\theta_{\text{false}}\) 的余弦相似度远非 \(-1\)(均值约在 \(-0.4\) 至 \(-0.7\) 之间),矩阵秩与有效秩均接近 2,确凿证明了真实与虚假在模型内部编码为共享部分语义但彼此独立的低维子空间,而非单一正负标量轴。

4. 多分类保形预测校准:提供不确定性与越界拒绝的统计覆盖保证

支持向量机和 Softmax 的原始数值受输入几何分布影响,不能直接作为认识论意义上的可信概率度量。sAwMIL 引入基于分割保形学习(Split Conformal Learning)的后验校准,在独立的校准集 \(\mathcal{D}_{\text{cal}}\) 上为候选类别 \(y\) 计算多分类非符合性分数(Nonconformity Score):

\[s_i = \frac{1 - (p_{y_i} - \max_{j \ne y_i} p_j)}{2}\]

在推断阶段,对于给定的显著性水平 \(\alpha\)(实验设定 \(\alpha = 0.1\),即保证至少 90% 的边际覆盖率),为每个类别计算符合度 p-value 并将其纳入预测集 \(C(x)\)。若预测集为单元素则表示高置信度判定;若包含多个标签则表明存在分类不确定性;若预测集为空集则说明当前样本严重偏离已知分布,探测器主动弃权并归为模型不可判别的未知领域。

实验关键数据

主实验

评估在 16 个 3B 至 14B 规模的开源大模型(覆盖 Gemma、Llama-3、Mistral 与 Qwen-2.5 家族的预训练与对齐版本)以及三个全新构建的数据集(City Locations 城市地理、Medical Indications 药物适应症、Word Definitions 词汇定义,均含显式生成的合成未知实体 neither 命题)上展开,统一采用多分类马修斯相关系数(MCC)衡量分类性能。

评估配置 探测方法 City Locations (MCC) Medical Indications (MCC) Word Definitions (MCC) 平均泛化 MCC
全句词元包 (Bag) sAwMIL (本文) 0.99 ± 0.01 0.87 ± 0.02 0.89 ± 0.02 0.85 ± 0.01
全句词元包 (Bag) Multiclass SVM 0.52 ± 0.04 0.44 ± 0.05 0.58 ± 0.04 0.34 ± 0.04
全句词元包 (Bag) TTPD+CP 0.28 ± 0.06 0.14 ± 0.05 0.14 ± 0.05 0.11 ± 0.03
全句词元包 (Bag) MD+CP 0.06 ± 0.03 0.08 ± 0.03 0.04 ± 0.02 0.03 ± 0.01
全句词元包 (Bag) sPCA+CP 0.25 ± 0.06 0.23 ± 0.05 0.10 ± 0.03 0.12 ± 0.03
末位词元 (Last Token) sAwMIL (本文) 0.99 ± 0.01 0.87 ± 0.02 0.89 ± 0.02 0.85 ± 0.01
末位词元 (Last Token) Multiclass SVM 0.97 ± 0.01 0.81 ± 0.03 0.89 ± 0.02 0.71 ± 0.02
末位词元 (Last Token) TTPD+CP 0.67 ± 0.04 0.63 ± 0.03 0.41 ± 0.02 0.49 ± 0.03
末位词元 (Last Token) MD+CP 0.68 ± 0.02 0.55 ± 0.02 0.40 ± 0.01 0.29 ± 0.02
黑盒提示 (Zero-shot) Direct Prompting 0.48 ± 0.06 0.29 ± 0.04 0.14 ± 0.03 -

因果干预消融实验

为了检验探测器捕获的方向是否真实驱动了模型的行为生成(而非仅仅是表征层面的浅层虚假相关),本文设计了基于双重差分模型(DiD)的对比词元干预实验(Contrastive Token Intervention, CTI),在 48 种模型与数据集配置上沿学得方向注入激活引导向量,统计归一化交互效应(NIE)与干预成功率(Success Rate, SR):

引导方向来源 干预剂量系数 (\(d'\)) 归一化交互效应 (NIE) 95% 置信区间 异质性方差 (\(\tau^2\)) 成功率 (SR) 有效配置数 (\(k/n\))
sAwMIL (is-true) 3 0.439 (0.357, 0.520) 0.0768 85.4% 41 / 48
sAwMIL (is-true) 1 0.350 (0.271, 0.428) 0.0722 68.8% 33 / 48
TTPD (is-true) 3 0.411 (0.332, 0.491) 0.0735 83.3% 40 / 48
TTPD (is-true) 1 0.329 (0.261, 0.397) 0.0517 66.7% 32 / 48
SVM (is-true) 3 0.334 (0.267, 0.402) 0.0511 70.8% 34 / 48
SVM (is-true) 1 0.253 (0.198, 0.309) 0.0334 58.3% 28 / 48
MD (mean-difference) 3 0.155 (0.116, 0.193) 0.0152 50.0% 24 / 48
MD (mean-difference) 1 0.068 (0.050, 0.086) 0.0017 14.6% 7 / 48

关键发现

  • 传统二元探测器面临严重的虚假相关崩溃:常用的均值差探测器(MD+CP)与极性探测器(TTPD+CP)在句末单词元设置下虽然能取得 0.40~0.68 的中等相关性,但一旦推广至全句词元包评估时,MCC 性能断崖式下跌至 0.03~0.11。混淆矩阵细查表明,这些二元探测器无法划定独立的未知区域,将绝大多数既非真亦非假的未知命题强行划分进真实或虚假的高置信区间。
  • 真与假并非几何反向标量:通过对学得的真实与虚假方向进行几何分析,两者的余弦相似度均大于 -1(有效秩高达 1.93 ± 0.004),表明大模型处理真理时并非在单一直线上做正负偏移,而是在一个多维子空间中分别维持对事实的支持证据与排斥证据。
  • sAwMIL 展现出显著的因果有效性与跨域泛化韧性:在双重差分激活引导干预中,sAwMIL 的 is-true 方向在强剂量下达到了 0.439 的最高 NIE 与 85.4% 的干预成功率,证明其定位的方向在大模型生成过程中具备直接的因果调制能力;同时在跨领域迁移测试中,sAwMIL 保持了 0.85 的平均跨域 MCC,显著优于仅在训练域拟合虚假模式的对比基线。

亮点与洞察

  • 引入三值认识论框架破解二元真实性假象:将传统被动的真假对立拓宽至能够表示信息缺失的“Neither”第三态,精准契合了大模型作为参数化概率知识库而非全知真理库的本质特征。
  • 多示例学习与句法具体化先验的高效融合:利用弱监督 MIL 结构克服了逐词元标注成本高昂与末位词元虚假表征的矛盾,通过分位数阈值与实际化位置动态过滤掉无信息量词元。
  • 探测与因果引导双向闭环:通过对比词元干预(CTI)与双重差分回归严格证明了学得的真实性向量在模型内部具有机制上的因果驱动性,为未来的知识编辑与定向激活解毒提供了安全可用的可解释性杠杆。

局限与展望

  • 实验命题结构相对局限:当前评测主要集中在两实体间的简单关系型陈述句(如城市-国家、药物-适应症、名词关系),且否定句局限于单次 "not" 构造,对于复杂多跳推理、长程上下文复合命题的表征建模仍待拓展。
  • 未知命题构造依赖合成实体:本文使用的 Neither 命题基于马尔可夫链生成的虚构合成实体,虽然完全排除了预训练语料泄漏风险,但与现实世界中由于时间失效、客观模糊或主观争议所导致的真实认知未知状态仍存在一定差距。
  • 线性表征假设的潜在天花板:本文聚焦于线性超平面与投影方向的提取,未深入探索多层非线性交互或注意力头动态路由在真理表征中的深层作用机制。

相关工作与启发

  • vs 均值差探测器 (Marks & Tegmark, 2024):均值差法假设真与假在表征空间内严格共线对立,仅依赖句末标点词元;sAwMIL 证明了真假表征的低维子空间多维性,利用 MIL 扫描全句并在未包含知识时提供显式的拒识能力。
  • vs 对比极性探测器 TTPD (Bürger et al., 2024):TTPD 尝试解耦真值与肯定否定极性,但在句内非具体化位置仍存在严重误激活;sAwMIL 引入句法具体化分位数重标注与保形预测,实现了全句级别的选择性与跨域泛化。
  • vs 黑盒零样本提示评估 (Abbasi-Yadkori et al., 2024):黑盒提示极易受到选项顺序与提示微调的干扰且倾向于系统性过度偏向某一类别;sAwMIL 直接从内部激活中解耦知识存在性,提供了具有理论置信边界的统计保证。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性揭示真实性探测中的三项根本性假设缺陷,创造性地将三值逻辑、稀疏 MIL 与保形预测引入 LLM 内部知识表征探测。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大主流开源模型家族共 16 个模型、3 个全新构建的基准数据集,并配以严格的双重差分因果干预验证。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念论证严谨,形式化定义清晰,数学推导与实验消融环环相扣。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型内部知识审计、幻觉检测、模型可信度对齐与知识干预提供了重要的理论基石与实用探测工具。