Relational Linearity is a Predictor of Hallucinations¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/yuetianluNLP/SyntHal
领域: 自然语言理解
关键词: 关系线性度, 大模型幻觉, 知识盲区, 拒答校准, 线性关系嵌入
一句话总结¶
本文提出并实证检验了关系线性度假说,证明大语言模型内部基于仿射映射的关系表征可访问性(\(\Delta\cos\))是预测模型在未知实体上产生幻觉而非拒答的核心指标(相关系数 \(r \in [0.58, 0.84]\)),揭示了线性几何结构在促进知识泛化的同时也诱导模型填充虚构事实的内在机理。
研究背景与动机¶
大语言模型在开放域问答中频繁产生事实幻觉,即使经过广泛的人类反馈对齐训练(RLHF),模型在面对超出其预训练知识边界的实体属性询问时,仍然往往倾向于煞有介事地编造虚假答案,而非准确识别自身知识局限并选择拒答。现有针对大模型幻觉与拒绝机制的研究大多侧重于模型层面的知识觉察探针或后验置信度校准,发现模型在表征层具备检测“未知”的能力,但在面对特定事实查询(如“某冷门公司的 CEO 是谁”或“某虚构天体属于哪个星座”)时,不同知识关系间的幻觉倾向却呈现出极其显著且系统性的分布差异。
这种失败模式的核心矛盾在于:模型是否拒绝回答不仅取决于被询问主体的知名度,更深层地取决于查询所涉及的“主体-客体”关系在模型内部的几何表征结构。根据线性关系嵌入(Linear Relational Embeddings, LRE)的研究,语言模型在深层空间中将部分事实关系编码为从主体向量到客体向量的高度线性的仿射映射。这种紧凑且易于计算的抽象几何结构虽然极大地提升了已知事实的检索与推理效率,但也赋予了模型一种无需具体实例记忆即可“顺流而下”直接推演候选客体嵌入的强大捷径能力;相反,非线性关系高度依赖分散的实例特异性记忆,缺乏通用的全局映射捷径。
基于这一洞察,本文系统性地探究关系本身的几何可线性化程度是否直接决定了模型在知识盲区下的拒答行为边界。核心 idea:大模型内部关系几何的线性程度(\(\Delta\cos\))是触发事实幻觉的关键预测因子——高度线性的关系使得模型即使在完全未知的实体上也能轻而易举地通过全局仿射映射投射出高置信度的客体表征,诱导模型将其作为答案输出;而高度非线性的关系因缺乏该捷径,更容易让模型在证据缺失时触发自我知晓并执行拒答。
方法详解¶
整体框架¶
本文构建了一套用于量化关系几何线性度并严格解耦评估知识盲区幻觉行为的完整研究管线。整个方法由“表征空间线性度测量”、“合成实体盲区基准构建”以及“多维度行为解耦评测”三个紧密联结的阶段组成。首先,基于自然关系三元组,在冻结参数的模型隐藏层提取主体和客体的上下文表征,通过带正则化的岭回归拟合最优仿射映射,并计算保留测试集上的方向余弦对齐增益 \(\Delta\cos\);其次,针对 15 类事实关系构建包含 3,000 个纯净未知实体的合成基准 SyntHal,确保所有实体在公网及维基数据中均无事实对应物;最后,通过标准指令提示输入大模型,结合严格的 LLM-as-a-judge 裁判机制与确定性正则基线,分别在合成知识盲区(评测幻觉率)和自然三元组(评测客体合理性与真实性)中评估行为,建立从内部几何属性到外在生成行为的严密映射。
整个流程的阶段协同如下图所示:
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["自然关系三元组与实体输入<br/>(LRE知识库 & 合成实体生成)"] --> D1["岭回归关系线性度表征<br/>(表征空间仿射投影与Δcos评估)"]
In --> D2["知识盲区基准构建<br/>(15类关系SyntHal与碰撞审计)"]
D1 --> D3["双重行为解耦评估协议<br/>(合成拒答/幻觉与自然合理性分流)"]
D2 --> D3
D3 --> Out["诊断输出与拒答校准<br/>(线性度预测模型幻觉率与类型合理性)"]
关键设计¶
1. 岭回归关系线性度表征:表征空间失配 -> 约束仿射映射 -> 定量度量关系几何可访问性
现有 LRE 评估通常依赖解码器首词忠实度(Faithfulness),但首词匹配极易受到词表高频默认词(Majority token)和不同分词器切分偏差的严重干扰,且在训练样本规模远小于隐藏层维度(\(|T| < d+1\))时无约束最小二乘法存在严重的过拟合与数值不稳定性。为消除这些干扰并稳健评估表示空间内的几何对齐程度,本文在中间层提取主体均值池化表征 \(s_i\)(选自模型中层 \(\ell_s = \lfloor L/2 \rfloor\))并在靠后层提取客体表征 \(o_i\)(选自 \(\ell_o = L-2\)),利用留出法划分训练集 \(T\) 与评估集 \(E\)。本文引入 \(\ell_2\) 正则化参数 \(\lambda = 1\) 的岭回归目标函数,并保留无约束截距:
通过解析解求得关系专有仿射映射 \((W_r, b_r)\) 后,在留出测试集 \(E\) 上计算余弦对齐提升度量 \(\Delta\cos\):
该指标直接在隐藏向量空间中量化仿射变换相对于未变换基线带来的纯净方向改善。实验证明,岭回归相比最小范数 OLS 将测试集重建均方误差降低了 62.2% 至 83.6%,且跨随机划分的 Spearman 稳定性 \(\rho \ge 0.990\),同时与首词忠实度保持极高的秩一致性(\(r = 0.86 \sim 0.90\))。
2. 知识盲区基准构建:合成先验泄露 -> 严格受限词元池与无感碰撞过滤 -> 纯净知识缺口实例化
在自然知识三元组评测中,模型回答错误可能源于多种不可控混淆因素(如实体从未见过、实体见过但该三元组未在语料中出现、或语料中存在但模型优化欠拟合),无法纯粹孤立出“面对未知时的决策机制”。为此,本文构建了包含 15 个具体事实关系的合成评测集 SyntHal。为彻底切断真实知识泄露,研究团队设计了基于冻结词元池(Token pools)的规范化合成生成规则,根据实体类型(如人物、企业、地标、星体、超级英雄等)通过词元组合合成命名,并人工剔除包含真实实体暗示或强语义线索的词元。
更为关键的是,为了杜绝合成实体偶然与现实世界重合(Collision)而破坏评测效度,本文实施了严格的三重外部数据库碰撞审计:对全部 3,000 个测试样本(每类关系 200 个),自动化检索维基百科精确标题、带引号维基百科全库检索,以及维基数据(Wikidata)的别名与标签,并使用 0.93 的高阈值序列模糊相似度进行变体初筛。审计结果显示,全量 3,000 条合成样本中高达 2,995 条(99.83%)绝对纯净无碰撞,仅有的 5 条模棱两可项集中于超级英雄虚构角色领域且完全不改变统计结论,从而构建了首个确保“拒答为唯一正确行为”的无混淆知识盲区基准。
3. 双重行为解耦评估协议:混淆拒绝与虚构 -> LLM裁判分流与公网真实性双重审校 -> 揭示虚构生成的两面性
传统幻觉评估难以在大规模开放生成场景中精准区分礼貌拒答与细微虚构,且简单以答案与标准标签不一致作为错误会掩盖生成质量的内在层次。本文提出了互为补充的双重评估协议:在 SyntHal 合成测试中,任何做出具体属性断言的回答均被严格界定为幻觉,仅“不确定/不知道/缺乏信息”被判定为拒答,评估指标统一为 \(\text{Hallucination} / (\text{Hallucination} + \text{Refusal})\);评测采用结构化 Gemini-2.5-Flash 作为外部裁判并输出置信度与推理链,该裁判在 200 条人工盲审抽样中达成 100% 一致性,同时与确定性正则基线取得 96.4% 的高一致率(Cohen's \(\kappa = 0.928\))。
在自然三元组 LRE 测试中,本文进一步将模型非真实输出解耦为“合理占位(Plausibility)”与“公网可证伪真实性(Public Attestedness)”:通过集成联网检索的裁判,检验模型虚构的内容是否属于该关系期望的角色类型(如问及国籍时虚构“法国”是合理类型,而生成“不可见实体名”则非合理)。同时,独立评估候选实体是否在现实中公开存在。这一协议成功揭示出关系线性度不仅在未知时盲目驱动幻觉产生,更决定了幻觉的语义结构——高线性度促使模型输出“类型正确但事实错误”的高迷惑性合规客体。
形式化定义与评估协议¶
设事实关系集合为 \(\mathcal{R}\),语言模型参数为 \(\theta\)。针对特定关系 \(r \in \mathcal{R}\): 1. 线性度度量 \(\Delta\cos\):在关系 \(r\) 的自然三元组对集 \((s_i, o_i) \in \mathcal{D}_r\) 上,按 75:25 划分为训练集 \(T\) 和测试集 \(E\)。利用公式 (1) 求解仿射变换参数 \((W_r, b_r)\),并在测试集 \(E\) 上按公式 (2) 计算向量方向对齐余弦平均改善度 \(\Delta\cos(r)\)。 2. 合成知识盲区幻觉率:在 SyntHal 对应关系 \(r\) 的合成提示集 \(\mathcal{Q}_r^{\text{syn}}\)(\(|\mathcal{Q}_r^{\text{syn}}| = 200\))上,模型生成回答集 \(\mathcal{A}_r\)。经双分类裁判标注后,统计幻觉数 \(N_{\text{hall}}\) 与拒答数 \(N_{\text{ref}}\),计算失准倾向率:
- 自然三元组合理性与回答准确率:在 LRE 自然数据上,三分类裁判产出正确数 \(N_{\text{corr}}\)、幻觉数 \(N_{\text{hall}}\) 和拒答数 \(N_{\text{ref}}\)。定义非拒答回答准确率 \(\text{Accuracy} = N_{\text{corr}} / (N_{\text{corr}} + N_{\text{hall}})\);并在 \(N_{\text{hall}}\) 个非黄金匹配生成中,通过外挂搜索的类型角色检验,计算合理客体占比 \(\text{Plausibility Rate}\)。
实验关键数据¶
主实验¶
主实验在四个极具代表性的开源指令微调大模型上系统评测了 15 类 SyntHal 关系的 \(\Delta\cos\) 与幻觉率相关性,并延伸至不同规模基座与衍生模型。
表 1:SyntHal 15 类关系上各模型关系线性度 \(\Delta\cos\) 与幻觉率相关性及主要统计量
| 模型 | 参数量 | 平均幻觉率 | Pearson 相关系数 \(r\) (\(p\) 值) | Spearman 秩相关 \(\rho\) (\(p\) 值) | 关键现象简述 |
|---|---|---|---|---|---|
| Gemma-7B-IT | 7B | 0.635 | 0.658 (\(p = 0.0077\)) | 0.589 (\(p = 0.0208\)) | 线性关系(如国家、星座)幻觉率极高,显著正相关 |
| Llama-3.1-8B-Instruct | 8B | 0.205 | 0.583 (\(p = 0.0226\)) | 0.738 (\(p = 0.0017\)) | 整体拒答率最高(0.795),但高线性关系依然突破安全拒答 |
| Mistral-7B-Instruct-v0.3 | 7B | 0.480 | 0.836 (\(p = 1.02 \times 10^{-4}\)) | 0.769 (\(p = 8.15 \times 10^{-4}\)) | 呈现极其显著的线性相关,拟合决定系数 \(R^2\) 超过 0.70 |
| Qwen2.5-7B-Instruct | 7B | 0.871 | 0.599 (\(p = 0.0182\)) | 0.778 (\(p = 6.41 \times 10^{-4}\)) | 极少拒答,但幻觉严重程度与 \(\Delta\cos\) 依然保持单调递增 |
| Llama-3.1-8B Base | 8B | 0.665 | 0.809 (\(p = 2.64 \times 10^{-4}\)) | — | 未对齐基座模型上线性度对生成的预测力更强 |
| Mistral Small 3 Instruct | 24B | 0.641 | 0.897 (\(p = 5.85 \times 10^{-6}\)) | — | 模型规模增大后线性度与幻觉行为的相关性进一步增强 |
| Mistral Large Instruct 2411 | 123B | 0.679 | 0.584 (\(p = 0.0224\)) | — | 超大尺寸模型中线性度与知识盲区幻觉依旧保持统计显著 |
消融实验¶
为验证该效应是否单纯由客体候选空间集中度(如某些关系客体种类极少,模型容易瞎猜)或提示形式引起,论文在自然三元组的 13,960 条幻觉输出上进行了多重客体空间分布控制与行为消融分析。
表 2:自然关系三元组上客体分布先验控制回归与语义合理性分析
| 实验配置 / 控制变量 | 因变量 | 基线调整 \(R^2\) (仅含控制) | 加入 \(\Delta\cos\) 后调整 \(R^2\) | 解释力增益 \(\Delta R^2\) | \(\Delta\cos\) 回归系数 \(\beta\) (\(p\) 值) |
|---|---|---|---|---|---|
| Top-1 黄金客体占比控制 | SyntHal 幻觉率 | 0.516 | 0.646 | +0.130 | 1.526 (\(p = 1.01 \times 10^{-5}\)) |
| 客体信息熵 (Entropy) 控制 | SyntHal 幻觉率 | 0.516 | 0.646 | +0.131 | 1.488 (\(p = 1.43 \times 10^{-6}\)) |
| Top-1 占比 + 熵联合控制 | SyntHal 幻觉率 | 0.516 | 0.640 | +0.124 | 1.508 (\(p = 1.42 \times 10^{-5}\)) |
| Top-1 黄金客体占比控制 | 自然幻觉合理性率 | 0.149 | 0.441 | +0.292 | 0.895 (\(p = 1.47 \times 10^{-8}\)) |
| 客体信息熵 (Entropy) 控制 | 自然幻觉合理性率 | 0.162 | 0.435 | +0.273 | 0.845 (\(p = 2.32 \times 10^{-9}\)) |
| 跨模型池化合理性预测 | 自然幻觉合理性率 | — | — | — | Pearson \(r = 0.741\) (\(p = 1.29 \times 10^{-11}\)) |
关键发现¶
- 线性度对幻觉的跨模型普适预测力:在所有被测的 7B–123B 指令与基座模型中,\(\Delta\cos\) 与未知实体的幻觉倾向均展现出显著的正相关关系(\(r \in [0.58, 0.90]\))。即便模型经过高强度拒绝微调(如 Llama-3.1 总体拒答率近 80%),其仅存的幻觉也高度集中在高线性度关系上(如星体所属星座、地标所在国家)。
- 线性几何驱动“伪合理”幻觉的本质:在自然三元组产生的 13,960 个错误输出中,整体高达 80.9%(Gemma 84.9%、Llama 78.5%、Mistral 80.1%、Qwen 79.7%)并非乱码或虚构单词,而是符合该关系角色语义的真实候选客体。且关系线性度越强,模型越倾向于输出看似真实的合理客体(相关度 \(r = 0.75 \sim 0.82\));而在非线性关系下,模型更容易胡乱拼凑出“不存在的人名”。
- 先验特征完全无法消除线性度效应:在严格控制了 prompt 字符长度、词数、5 项 LLM 评估的主体词元感知实体度(Entityhood, Nonce-likeness 等)、以及黄金客体空间的香农熵与集中度后,\(\Delta\cos\) 的偏相关系数仍坚挺地保持在 0.67–0.70,证实内部几何结构是独立于表面统计特征的本质驱动力。
- 关系内部异质性解释了弱线性关系:对部分 \(\Delta\cos\) 偏低的关系(如
product_by_company、company_hq)进行局部子集重测发现,按行业(汽车 vs. 软件科技)切分后的局部仿射映射可显著提升 \(\Delta\cos\)(平均分别提高 +0.018 与 +0.009),说明某些全局非线性关系实为多块局部线性结构的混合。
亮点与洞察¶
- 解开大模型“知不知”与“答不答”背后的几何假说:从内部表征机制出发,指出线性关系映射充当了一种“低阻力认知通路”——当全局线性变换能够轻易在客体空间生成强激活向量时,解码器会被误导以为自身掌握了该知识,从而绕过了前置的知识缺乏检测。
- 构建零先验泄露的高纯度知识盲区测试集 SyntHal:突破了传统使用冷门长尾实体依然存在预训练语料记忆残留的弊端,采用受限词元池与维基全库高阈值碰撞检测,为评估大模型内在拒绝边界提供了严格标准。
- 揭示了“双刃剑”特性为拒答校准提供可解释诊断工具:线性几何结构既是模型以极低样本高效习得事实关联的使能机制,又是导致高置信度盲目幻觉的温床。这启发我们在工程对齐中,针对高线性关系必须实施更严苛的显式证据检验门控,而非简单依赖模型的隐式置信度。
局限与展望¶
- 因果机制尚需干预实验最终闭环:当前结论建立在关系层面的强统计相关性与稳健回归分析上,虽然控制了大量混淆变量,但尚未使用激活补丁(Activation Patching)或表征导向(Representation Steering)在单样本生成期直接因果操纵线性映射阻断幻觉,因果证据仍待补完。
- 自然事实评估受制于单黄金标签局限:在自然三元组的幻觉评测中,部分被裁判标为幻觉的案例可能属于现实世界中的有效别名或随时间动态变动的真实答案(例如企业 CEO 或职业变更),导致自然合理性统计存在微量噪音。
- 语料预训练频次未被完全白盒观测:尽管控制了客体分布熵,但由于现代前沿模型预训练语料不开源,具体关系三元组在预训练阶段的共现频次无法被直接代入回归作为连续控制变量。
相关工作与启发¶
- vs Hernandez et al. (2024) (Linear Relational Embeddings): Hernandez 等人确立了通过仿射映射预测已知实体解码首词的线性假说;本文将其从已知事实解码扩展到“未知实体反事实/盲区推断”,并提出了不受词表概率与高频词干扰的隐层余弦增益度量 \(\Delta\cos\)。
- vs Kadavath et al. (2022) / Ferrando et al. (2025) (模型自我知识知晓与拒答): 以往工作证明模型内部存在表示“我不知道该实体”的通用信号特征;本文进一步阐明了该信号为何会在高线性关系中失效——几何投影生成的强烈客体表征直接压制或越过了拒答触发机制。
- vs Lin et al. (2022) (TruthfulQA 与模型真实性评测): TruthfulQA 侧重于人类常识迷思与认知偏差引起的模仿性虚假;SyntHal 则精准隔离出模型由于参数化关联映射泛滥而诱发的结构性知识盲区幻觉。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次建立表示空间关系线性度与大模型知识盲区幻觉/拒答行为之间的本质关联,理论视角极具启发性。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7B 至 123B 的多家族模型、严格的 3,000 样本防碰撞测试集、留一法/自助法稳定性检验以及全面的表层统计控制。
- 写作质量: ⭐⭐⭐⭐⭐ 论文结构极其严谨自洽,附录详实,从表示空间几何、解码器词元忠实度到实际输出多层递进论证。
- 价值: ⭐⭐⭐⭐⭐ 为大模型拒答机制校准和幻觉内省机理研究开辟了全新的几何表征分析范式。