Information Discernment in Large Language Models¶

会议: NeurIPS 2026
arXiv: 2607.19355
OpenReview: https://openreview.net/forum?id=FQemc5OlfD
代码: https://github.com/josh-ashkinaze/l2d-public
领域: 安全
关键词: 信息辨别, 检索增强生成, 知识冲突, 来源可信度, 真实性更新

一句话总结¶

提出了信息辨别评估基准 Learn2Discern (L2D)，形式化了来源辨别、真实性辨别和正确防守三项规范性公理，并在 13 个主流 LLM 上通过近 67 万次试验揭示了模型普遍仅凭随机概率辨别信息、且受来源知名度驱动远甚于可靠性的系统性缺陷。

研究背景与动机¶

随着大语言模型（LLM）被广泛用作面向互联网搜索与检索增强生成（RAG）的问答引擎，模型不可避免地需要将外部检索证据与自身训练参数中编码的先验知识相融合。当外部信息与模型内部记忆发生冲突时（即知识冲突，context-memory conflicts），理想的智能系统必须具备理性的信念更新能力：对于高可信度的权威信息源给予更大权重的采信，对于能引导自身更接近客观事实的断言给予更积极的更新，而面对低质来源或荒谬噪音时坚守正确先验。然而，现有 RAG 与知识冲突评估大多将外部信息的质量简化为二元对立（正确 vs 错误、相关 vs 无关），未能刻画真实网络环境中信息源可信度与内容失真度均呈连续谱分布的复杂生态。

这种现实与理想之间的核心矛盾在于：用户往往对 LLM 的检索回答抱有过度信任，但模型底层的证据整合机制却从未经过严谨的连续质量加权检验。如果模型面对学术智库与边缘假新闻网站一视同仁，或者面对微小偏差与严重误导同样大幅调整输出，外部检索非但不能弥补参数知识盲区，反而会沦为放大错误与虚假信息的倍增器。

针对这一问题，本文将上述规范性要求形式化为大语言模型的“信息辨别力”（Information Discernment），并建立了 Learn2Discern (L2D) 评估体系。核心 idea：确立来源辨别、真实性辨别与正确防守三项规范公理，构建包含 4,248 道连续数值事实问答及 132 个分层真实网络新闻源的因果探测基准，系统解构模型在面对连续可信度与失真度扰动时的信念更新规律。

方法详解¶

整体框架¶

Learn2Discern 的评测框架设计为一种因果探测范式，旨在剥离检索召回阶段的混淆因素，精确隔离并度量模型在接收到带有外部来源属性与不同失真程度断言时的信念更新行为。评估流程包含三个核心阶段：首先针对具有明确数值真实答案的问题提示模型给出无辅助的初始先验信念；接着基于真实答案实施受控乘法扰动生成合成断言，并将其关联至在权威可信度与网络流行度上正交分层的真实新闻网站；最后向模型注入归因断言并探测其后验信念。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数值问答 Q<br/>基准与新构建纵向事实"] --> B["阶段 1：先验信念引出<br/>生成纯数值先验 P1"]
    B --> C["阶段 2：正交扰动断言与来源绑定<br/>真实值 T × 扰动因子 F 生成断言 C 并绑定来源 S"]
    C --> D["阶段 3：后验信念探测<br/>提示输入 'S 称答案为 C，你现在怎么看？'"]
    D --> E["阶段 4：三公理指标计算<br/>度量来源辨别 SD、真实性辨别 TD 与正确防守 CD"]

关键设计¶

1. 三项规范性公理与可解释辨别度量：为知识更新建立严密数学定义

为定量评估模型在遭遇知识冲突时的表现，研究提出了三项经过预注册用户调研验证的规范性公理，并设计了相应的无量纲指标。对于问题 $Q$，真实答案记为 $T$。当模型输出先验 $P_1$ 并接收到归因于来源 $S$（可靠性得分 $R_s \in [0, 1]$、流行度 $P_s$）的断言 $C$ 后，产生后验 $P_2$。更新幅度定义为 $\Delta = |P_1 - P_2|$。 - 公理 1（来源辨别，Source Discernment, SD）：模型应在面对高可靠性来源时产生更大的信念更新幅度。度量指标采用更新幅度与来源可靠性得分之间的 Spearman 秩相关系数 $\rho(\Delta, R_s)$，取值范围 $[-1, 1]$。辅助指标为可靠性倾向度 $P(\Delta_1 > \Delta_2 \mid R_{s1} > R_{s2})$，计算在同问题、同扰动因子下，更可靠来源引发更大更新的配对概率。 - 公理 2（真实性辨别，Truth Discernment, TD）：当外部断言能使模型更接近真理时，模型更新幅度应大于断言使其偏离真理时的更新幅度。断言改进量定义为： $$I = |P_1 - T| - |C - T|$$ 当 $I > 0$ 时表示采纳断言能修正先验偏误，而 $I < 0$ 表示断言为有害误导。真实性辨别指标定义为更新幅度与改进量之间的 Spearman 相关系数 $\rho(\Delta, I)$。辅助指标为真实性倾向度 $P(\Delta_1 > \Delta_2 \mid I_1 > I_2)$。 - 公理 3（正确防守，Correct Defense, CD）：若模型初始先验完全正确，当遭遇冲突的错误断言时不应改变其答案。度量指标即保持原正确答案的经验概率： $$\text{CD} = 1 - P(P_2 \neq P_1 \mid P_1 = T, C \neq T)$$

2. 规避污染的纵向行政数据与连续来源正交分层：构建高质量事实与来源矩阵

为防止常见问答基准训练集泄露导致的能力虚高，数据集除了吸纳 TriviaQA 与 NumerSense 的数值子集外，重点基于美国综合社会调查（GSS）和世界银行发展指标（World Bank）构建了覆盖互联网诞生前（1993年以前）与互联网时代后的时间序列行政统计问题，并人工校核了 TREC 用户检索提问的真实答案，总共汇聚 4,248 道严密无歧义的数值问答。在来源构建上，研究采用 Lin 等人基于多元权威评级主成分聚合的连续可靠性得分 PC1，并结合 Open PageRank 流行度，通过 BERT 筛选与人工审核，从真实新闻网站中筛选出 132 个活跃域名，均匀落入 3 级流行度 $\times$ 2 级可靠性的 6 个正交分层中。在此基础上施加 5 种乘法扰动因子 $F \in \{1/3, 1/2, 1, 2, 3\}$ 制造不同程度的事实偏离，构建出超过 280 万组候选实验元组，使得来源可靠性与断言真伪度完全解耦。

3. 推理期干预与可靠性感知探测：解耦估计偏误与采信执行机制

为诊断模型辨别力低下的根源到底是无法识别信源好坏，还是识别后无法在决策中正确执行权重分配，框架设计了多组对比提示策略。在标准 Zero-Shot 提示之外，引入了四种推理期策略： - 思维链（CoT）：要求模型在给出最终后验前进行逐步推理； - 显式信源评级（Reliability）：强制要求模型在做出后验前先输出对目标网站的可靠性评分（0 到 1 分）与依据； - 贝叶斯加权更新（Bayesian）：提示模型将问题建模为贝叶斯更新过程，明确规定高可靠度源大更新、低可靠度源小更新； - 主动防守验证（Defense）：要求模型在更新前显式自查原先答案是否正确。通过对比模型自给评级 $\hat{R}_{\text{LLM}}$ 与客观 PC1 指标的相关性，研究得以定量分离来源信誉的“感知误差”与“更新执行偏差”。

实验关键数据¶

主实验¶

在涵盖 Claude-3.5-Sonnet、GPT-4o、GPT-5、Gemini-2.5-Flash、Qwen2.5 等 13 个主流闭源与开源模型、近 67 万次实验测试中，各模型在无干预零样本设置下的核心指标如下表所示。基准随机概率对照中，Spearman 相关度理论期望为 0.000，倾向概率与正确防守随机基准为 0.50。

模型	来源辨别 (SD)	可靠性倾向度	真实性辨别 (TD)	真实性倾向度	正确防守 (CD)
随机基准 (Random Chance)	0.000	0.50	0.000	0.50	0.50
理论区间	[-1.00, 1.00]	[0.00, 1.00]	[-1.00, 1.00]	[0.00, 1.00]	[0.00, 1.00]
Claude-3.5-Sonnet	0.025	0.51	-0.250	0.40	0.53
Gemini-2.0-Flash	0.043	0.52	-0.070	0.46	0.71
Gemini-2.5-Flash	0.043	0.52	0.090	0.51	0.78
GPT-3.5-Turbo	0.026	0.51	-0.043	0.48	0.58
GPT-4o-Mini	0.030	0.51	0.001	0.47	0.66
GPT-4o	0.060	0.52	0.080	0.51	0.87
GPT-4.1-Mini	0.036	0.52	0.048	0.49	0.75
GPT-4.1	0.060	0.52	0.080	0.51	0.83
GPT-5-Mini	0.032	0.51	0.130	0.52	0.75
GPT-5	0.032	0.51	0.220	0.55	0.92
Mixtral-8x7b	0.034	0.51	0.050	0.49	0.73
Qwen2.5-7b	0.029	0.51	0.160	0.52	0.56
Qwen2.5-14b	0.019	0.51	-0.007	0.46	0.54

全局更新行为分布与信念演化分类¶

对全部实验测试的更新轨迹进行高层分类（共统计近 67 万次试验），剖析模型在先验正确与错误条件下面对冲突断言的实际反应分布：

更新结果类别 (Outcome)	状态定义与行为模式	评价性质	试验占比 (%)
正确坚守 (Correct Hold)	初始先验正确；面对冲突断言坚持原答案	优良 (Good)	28.3%
合理更新 (Appropriate Update)	初始先验错误；模型根据断言朝真实值方向更新	优良 (Good)	21.3%
固执不改 (Stubborn)	初始先验错误；模型完全不更新、维持错误原状	中立 (Neutral)	20.1%
不当更新 (Inappropriate Update)	初始先验错误；模型更新后偏离真实值更远	恶劣 (Bad)	22.1%
顺从溃退 (Sycophantic Cave)	初始先验原本正确；遭遇错误断言后放弃自身立场	恶劣 (Bad)	8.2%

关键发现¶

辨别力普遍接近随机猜测：所有模型在来源辨别（SD 均在 0.02 ~ 0.06 徘徊）和真实性辨别（TD 绝大多数接近 0 甚至为负数）上近乎盲目，对高质信源与低质信源的更新幅度没有实质区分。更严重的是，当模型先验错误并发生更新时，偏离真实值的恶劣更新比例（22.1%）甚至高于朝向真理的合理更新比例（21.3%）。
过度依赖知名度而非可靠性（捷径学习）：跨模型统计表明，更新幅度与信源网络知名度（PageRank）的相关系数达到了 $\rho = 0.07$，而与客观可靠性 PC1 的相关性仅有 $\rho = 0.03$。知名度驱动效应是可靠性驱动效应的 2 倍以上，证明模型在预训练或对齐阶段形成了“流行即权威”的认知捷径。
解耦分析证实双重失效：模型对信源可靠性的自发预估评分与真实 PC1 相关性为 $\rho = 0.41$（具备中等评估能力）；若以模型自身打分重新评估更新幅度相关性，$\rho(\Delta, \hat{R}_{\text{LLM}})$ 升至 0.46。这说明模型既存在对小众媒体可靠性的评估偏差，更存在显著的“知行脱节”——即便自身识别出信源不可靠，依然在后验生成时大幅采信。
模型尺度与代际演进的单向盲区：从 GPT-3.5 到 GPT-5、GPT-4o-Mini 到 GPT-4o 等配对对比表明，模型参数增大和架构迭代能显著提高真实性辨别（TD 从 -0.04 升至 0.22）与正确防守（CD 从 0.58 升至 0.92），但来源辨别（SD）毫无改善。这表明来源辨别无法通过通用推理缩放自然涌现，属于参数知识表征与检索采信对齐中的结构性盲区。
外部整合的马太效应：模型在先验准确率越高的领域和子集（如经合组织 OECD 国家比非 OECD 国家准确率高 93%，互联网后事实比互联网前高 19%），其吸收外部证据进行合理更新的能力越强。换言之，外部证据在模型最薄弱的知识洼地中整合效果最差，加剧了信息鸿沟。
推理干预的有效性：显式提示模型先打分（Reliability 策略）显著提升了来源辨别；提示自查正确性（Defense 策略）大幅改善了正确防守；而无约束的贝叶斯提示虽然放大了来源权重，却因诱发过度更新而显著损害了真实性辨别。

亮点与洞察¶

规范公理与严格用户实证闭环：通过 299 名美国配额匹配真实用户的预注册问卷，首次在量化层面上证明用户不仅高度赞同三项辨别公理，而且对违反公理的行为会产生显著的信任与使用意愿下降，为基准赋予了坚实的外在有效性。
揭示“流行度绑架可靠度”的对齐隐患：发现大模型在知识整合中严重依赖流行度（Popularity）作为可信度代理，在面对被恶意操纵传播量但事实荒谬的边缘流量媒体时极易被误导，为未来防御间接提示注入与网络虚假信息传播敲响了警钟。
开箱即用的推理干预建议：证明在无需额外参数微调的情况下，在 RAG 系统提示词中引入显式信源评级指令或防御核验步骤，即可低成本缓解模型盲目采信的缺陷。

局限与展望¶

受控数值扰动与真实自然语言非结构化断言的差异：论文为实现精准因果度量而采用纯数值问题与乘法扰动，真实应用中的断言通常以长文本、带有情感色彩或修辞论证的复杂叙述呈现。
信源可信度在特定领域的依赖性未解：研究将信源可靠性抽象为全域综合指标，并限制在综合新闻域，但现实中媒体的可信度高度依存于专业领域（如医疗垂类媒体 vs 泛科技媒体）。
未来方向：探索在检索全流程（检索器重排与生成器信念融合端到端集成）中引入辨别力正则化损失，以及通过偏好微调（DPO/RLHF）直接将来源辨别公理内化至模型权重中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出连续维度的大模型信息辨别力概念与三项规范公理，正交解耦可靠度与流行度。
实验充分度: ⭐⭐⭐⭐⭐ 跨 13 个主流大模型完成近 67 万次实验测试，配合 299 人预注册用户调研，数据详实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，公理化表述与实验反思深入透彻。
价值: ⭐⭐⭐⭐⭐ 对当前蓬勃发展的 AI 搜索引擎与 RAG 落地架构具有重大警示意义和指导价值。