跳转至

Does Finetuning with Scientific Data Increase Hallucinations? A Multi-domain Factuality Evaluation of LLMs

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/ryabhmd/SciFactCheck
领域: NLP 理解
关键词: 科学事实性评测, 大模型幻觉, 领域微调, 过度声明, 虚假归因

一句话总结

提出了跨五大学科的科学事实性闭卷评测基准 SCIFACTCHECK 与解耦未验证性、过度声明和虚假归因的三维评测框架,通过受控最小配对评测揭示科学领域微调不仅未改善事实性,反而普遍加剧了幻觉并导致“外在语言自信而内在参数不确定”的解离现象。

研究背景与动机

大语言模型正被日益广泛地应用于科学概念的解释、文献综述乃至辅助科研发现等高风险场景,学术界与公众对领域大模型的依赖度迅速上升。然而,模型生成内容中的事实性错误与长尾知识幻觉,在此类对严谨性要求极高的场景中会带来严重误导。尽管针对大模型幻觉的检测技术发展迅猛,但现有工作绝大部分局限于生物医学单一领域,并且普遍将幻觉简化为单一维度的二元分类问题,完全忽视了科学知识在不同学科中的认识论差异以及错误发生机制的多样性。

更关键的矛盾在于,近年来涌现出大量在海量学术论文和科学语料上经过持续预训练或监督微调的“专业科学大模型”(如 SciLitLLM、SciTulu、S1-Base 等),社区普遍默认这种领域特定适应能够注入专业知识并降低长尾概念上的幻觉。然而,这一基础假设从未在严格受控的条件下得到跨学科、多错误维度的系统性验证;在长文本生成中,究竟领域微调是真正赋予了模型稳固的科学认知,还是仅仅让模型学会了更加自信果断的学术行文腔调,一直缺乏具有因果解释力的实证检验。

针对上述空白,本文跳出单一领域与单一分数的局限,提出从学术共识源头出发的多学科闭卷评测方案,解耦事实内容、陈述语气与文献溯源三重故障模式。核心 idea:构建跨工学、理学、生命科学、社科与人文学科的 2,500 个权威概念基准 SCIFACTCHECK,通过控制基础架构的最小配对实验,系统解耦评测未验证性(VER)、过度声明(OVR)与虚假归因(ATR),探究科学领域微调对模型真实事实性与认知置信度的本质影响。

方法详解

整体框架

SCIFACTCHECK 评测管线由四个核心阶段构成:首先从高被引综述论文与权威学术百科中半自动抽取跨越五大门类的核心科学概念,设计零样本两阶段闭卷提示生成 200 字正文和标准 APA 格式引用;接着通过模块化自动化评估框架分别对未验证性(基于综述全文检索的 OpenFActScore 与基于近期网页检索的 VeriScore)、过度声明(基于词汇确信度估算器与参数对数概率)、以及虚假归因(基于 CrossRef 双路匹配并锚定覆盖率的 CiteVal)进行量化;随后对 18 个模型开展最小配对因果分析;最后通过领域专家人工校验,审计评测指标的保真度与科学事实的可检验性边界。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["跨学科权威学术源<br/>S2ORC高引综述(≥100引用) + 哲学百科(IEP)"] --> D1["多领域高引文献基准构建<br/>五大学科抽取2,500核心概念并施行两阶段闭卷提示"]
    D1 --> D2["细粒度三维事实性评测体系<br/>解耦未验证性(VER)、过度声明(OVR)与虚假归因(ATR)"]
    D2 --> D3["双维度不确定性解耦分析<br/>结合句子级词汇确信度与长度归一化参数对数概率"]
    D3 --> D4["专家可检验性边界审计<br/>人类专家事实性复核与自动评测指标一致性校验"]
    D4 --> Output["18个大模型实证评测结果<br/>领域微调加剧幻觉与不确定性解离结论"]

关键设计

1. 多领域高引文献基准构建:解决评估领域狭窄与知识源漂移问题 -> 依托高引综述与百科构建跨五大领域的无外部检索生成 -> 奠定覆盖全学科的科学事实评测基石 以往评测数据集多集中于生物医学或维基百科常见人物,难以代表现代科学前沿体系。本文依据开放研究知识图谱(ORKG)分类法,覆盖工学(Engineering)、生命科学(Life Sciences)、物理与数学(Physical Sciences & Mathematics)、社会与行为科学(Social and Behavioural Sciences)以及艺术与人文(Arts and Humanities)五大高层领域。在前四大领域中,团队从语义学者开放研究语料库(S2ORC)中筛选被引次数 \(\ge 100\) 的综述论文,确保知识承载了学术界的稳固共识;对人文学科则从权威互联网哲学百科(IEP)中均衡采样。利用大模型提取主题并辅以人工清洗,在每个领域锁定 500 个独立概念(全集 2,500 个概念)。在生成阶段,采用模拟非专家提问的零样本两阶段策略:第一阶段要求模型仅基于自身内部参数生成 200 字科学解释段落,显式限制长度以控制原子事实数量的方差,并禁止输出特定文献名与年份;第二阶段要求模型输出支撑该段落的 APA 格式学术文献引用,从而在纯闭卷设定下隔离外部检索干扰。

2. 细粒度三维事实性评测体系:解决混淆内容虚构与语气夸大问题 -> 解耦未验证性、过度声明与虚假归因并设计专用指标 -> 实现多源跨维度的事实故障精确刻画 现有工作常把所有事实瑕疵归入单一的幻觉率中,无法揭示模型在事实内容与文献溯源上的差异化缺陷。本文将内容可验证性错误明确拆解为三大正交维度。针对未验证性(Unverifiability, VER),引入双重知识源对比:基于源综述全文的 OpenFActScore(OFS,经 GTR-T5 检索与 Gemma-7B-it 链式推理,并引入 \(\gamma=10\) 的长度惩罚)和基于受限时间窗全网检索的 VeriScore(以中位数原子事实数 \(K=19\) 计算 \(F_1@K\))。针对虚假归因(Attribution, ATR),针对开放式引用生成缺乏现成评测工具且各模型引用数量悬殊的问题,自研 CiteVal 指标:通过正则表达式解析后,采用 CrossRef 进行 DOI 与标题模糊匹配(阈值 \(\alpha=0.9\)),并定义锚定全模型中位引用数 \(M=5\) 的覆盖率截断召回率: $\(\text{Precision} = \frac{v}{n}, \quad \text{Recall@}M = \min\left(\frac{v}{M}, 1\right)\)$ $\(\text{CiteVal} = F_1@M = \frac{2 \cdot \text{Precision} \cdot \text{Recall@}M}{\text{Precision} + \text{Recall@}M}\)$ 其中 \(n\) 为生成引用总数,\(v\) 为有效真实引用数。这种设计杜绝了模型依靠盲目堆砌海量虚假引用偶然命中真实文献而刷高分数的漏洞。

3. 双维度不确定性解耦分析:解决模型言辞自信与内心认知脱节问题 -> 结合外在词汇评估与内在参数概率对数建模 -> 首次实证揭示领域微调带来的虚假确定性 在科学写作中,过度声明(Overclaim, OVR)往往表现为缺乏恰当的学术审慎限定词(hedging),夸大结论的外推边界或因果确定性。为捕捉这一隐蔽维度,本文设计了外在语言与内在表征正交对比的测度机制。外在词汇确信度(Linguistic Certainty)采用经过科学语料校准的句子级确定性估算器,在 1 到 6 的连续尺度上评估断言的修辞坚定程度;内在参数确信度(Parametric Certainty)则通过自回归生成时的序列对数概率进行测量,采用长度归一化后的平均 token 对数概率以消除长文本惩罚: $\(\text{Parametric Certainty} = \frac{1}{|Y|} \sum_{t=1}^{|Y|} \log P(y_t \mid y_{<t}, x)\)$ 二者的联合分析能够精确检测出“内心犹豫不决但口吻斩钉截铁”的病态过拟合现象,为揭示领域微调的修辞迁移本质提供了直接证据。

4. 专家可检验性边界审计:解决自动事实核查工具与人类判断脱节问题 -> 组织跨学科专家多轮盲审原子断言并严格校准阈值 -> 暴露科学事实可检验性定义的系统性分歧 为检验自动化度量在深水区专业内容上的可靠性,本文招募了覆盖全部五大领域的 10 名具有专业学位的人工评估员,对最高与最低分模型生成的 958 条原子事实断言进行双盲标注。标注包含两个递进环节:首先判断断言是否属于“具备科学可检验性(Check-worthy)”的命题,其次在结合综述全文与检索证据的前提下裁决其是否属实。同时对 CiteVal 的 115 条提取文献进行人工溯源核验,系统测试了模糊匹配阈值从 0.8 到 0.95 的精确度与召回率权衡,最终确立了兼顾容忍副标题格式变体与拦截虚构文献的最优操作点 \(\alpha=0.9\)(达到 0.90 准确率与 0.85 的 \(F_1\) 值)。

评测协议与执行细节

评测覆盖了 18 个主流大模型,构建了 7 组严格控制基座架构的“通用基座 vs 科学微调”配对:包括 Qwen2.5 (7B/14B) 对比 SciLitLLM1.5、Tulu-2 (7B/70B) 对比 SciTulu、Qwen3 (8B/32B) 对比 S1-Base、以及 Llama-3.1-8B 对比 OpenScholar-8B(具备 RAG 检索微调),并纳入 GPT-4o-mini 与 Perplexity Sonar 作为商业基准。所有模型推理采用统一配置:采样温度 \(\tau=0.3\),重复惩罚 1.1,最大新生成 token 为 1024。由于事实性得分呈现极度非正态分布,统计显著性检验均采用非参数检验:全局对比使用曼-惠特尼 \(U\) 检验(Mann-Whitney U test),配对模型在 2,500 个概念上的同题差异采用威尔科克森符号秩检验(Wilcoxon signed-rank test),并以 Cohen's \(d\) 报告效应量。

实验关键数据

主实验

跨 5 大科学领域的全模型自动化事实性与幻觉指标汇总如下(VER 包含基于综述源的 OFS 与全网检索的 VeriScore;OVR 包含语言确信度与参数确信度;ATR 为 CiteVal;科学微调模型缩进展示在其基座之下):

模型 (Model) OFS (↑) VeriScore (K=19, ↑) 语言确信度 (Ling., 1-6) 参数确信度 (Param., logprob) CiteVal (M=5, α=0.9, ↑)
商业闭源模型
gpt-4o-mini 0.661 ± .22 0.728 ± .23 4.801 ± .16 – 0.257 ± .26
perplexity-sonar 0.580 ± .22 0.548 ± .24 4.901 ± .08 – 0.451 ± .30
Llama-2 / Tulu-2 系列
Llama-2-7b-chat 0.614 ± .24 – 4.747 ± .17 -0.080 ± .02 0.173 ± .24
└ tulu-2-7b 0.627 ± .23 – 4.765 ± .19 -0.166 ± .05 0.059 ± .15
 └ scitulu-7b 0.632 ± .23 – 4.821 ± .16 -0.228 ± .05 0.013 ± .07
Llama-2-70b-chat 0.622 ± .21 – 4.776 ± .16 -0.098 ± .02 0.227 ± .27
└ tulu-2-70b 0.656 ± .21 0.662 ± .22 4.793 ± .17 -0.205 ± .04 0.300 ± .28
 └ scitulu-70b 0.655 ± .22 0.653 ± .22 4.802 ± .18 -0.169 ± .04 0.177 ± .21
Llama-3.1 系列
Llama-3.1-8B-Instruct 0.650 ± .22 0.604 ± .23 4.787 ± .17 -0.360 ± .06 0.400 ± .32
└ OpenScholar-8B 0.628 ± .23 0.629 ± .23 4.793 ± .17 -0.374 ± .06 0.327 ± .31
Qwen2.5 系列
Qwen2.5-7B-Instruct 0.652 ± .22 0.594 ± .22 4.782 ± .19 -0.116 ± .03 0.250 ± .28
└ SciLitLLM1.5-7B 0.598 ± .23 0.549 ± .23 4.747 ± .21 -0.173 ± .05 0.212 ± .28
Qwen2.5-14B-Instruct 0.667 ± .21 – 4.807 ± .16 -0.114 ± .03 0.323 ± .31
└ SciLitLLM1.5-14B 0.604 ± .23 – 4.791 ± .20 -0.105 ± .04 0.278 ± .29
Qwen3 系列
Qwen3-8B 0.671 ± .21 – 4.850 ± .14 -0.097 ± .03 0.274 ± .26
└ S1-Base-8B 0.605 ± .22 – 4.912 ± .10 -0.141 ± .02 0.164 ± .20
Qwen3-32B 0.660 ± .20 – 4.833 ± .14 -0.149 ± .03 0.373 ± .29
└ S1-Base-32B 0.608 ± .21 – 4.853 ± .13 -0.108 ± .02 0.231 ± .27

消融与配对统计检验

通用模型与科学微调模型的全局群组检验(Mann-Whitney U),以及同基座受控配对检验(Wilcoxon signed-rank,N=2,500 个概念)关键数据如下:

评估维度 / 检验组 通用模型中位数 科学微调中位数 检验统计量 (U 或 W) \(p\) 值 效应量 (Cohen's \(d\)) 统计结论与表现方向
群组对比: 通用 vs 科学 (N=9 vs 7)
OpenFActScore (OFS) 0.667 0.632 \(U = 183,667,700.5\) \(<0.001\) \(+0.15\) 通用模型显著更优 (事实更准确)
VeriScore (F1@19) 0.647 0.600 \(U = 20,178,132.0\) \(<0.001\) \(+0.13\) 通用模型显著更优
语言确信度 (Ling. Cert.) 4.837 4.869 \(U = 147,495,607.0\) \(<0.001\) \(-0.15\) 科学模型语言更果断强势
参数确信度 (Par. Cert.) -0.125 -0.154 \(U = 208,606,795.0\) \(<0.001\) \(+0.36\) 科学模型内部置信度显著更低
文献归因 (CiteVal) 0.182 0.000 \(U = 190,622,048.5\) \(<0.001\) \(+0.22\) 科学模型虚构引用更严重
典型配对: Qwen2.5-7B vs SciLitLLM-7B
OFS / VeriScore 0.684 / 0.611 0.600 / 0.556 \(W = 1,053,141.5\) \(<0.001\) \(+0.24\) / \(+0.20\) 基座模型各项事实准确率显著占优
Parametric Certainty -0.114 -0.168 \(W = 163,798.0\) \(<0.001\) \(+1.50\) 微调后模型内部对数概率急剧恶化
CiteVal 0.167 0.000 \(W = 668,373.0\) \(<0.001\) \(+0.14\) 微调版引用中位数直接归零
典型配对: Qwen3-8B vs S1-Base-8B
OFS / CiteVal 0.706 / 0.200 0.630 / 0.118 \(W = 866,699.5\) \(<0.001\) \(+0.30\) / \(+0.47\) 基座模型事实性与引用全面领先
Ling. Cert. vs Par. Cert. 4.892 / -0.095 4.940 / -0.141 \(W = 704,687 / 77,100\) \(<0.001\) \(-0.53\) / \(+1.80\) 典型的“口头更笃定、内心更犹豫”解离

关键发现

  • 领域微调不仅未改善事实性,反而在多维度显著加剧幻觉:在所有 7 对基座-微调对照实验中,科学微调模型在文献归因指标 CiteVal 上呈现 100% 全面退化(如 SciTulu-70b 从 0.300 骤降至 0.177,SciLitLLM-7B 中位数跌至 0.0);在 OFS 事实精确度上,绝大多数微调模型均显著劣于原版通用基座。
  • 语言确信度与内在置信度的病态解离:科学模型表现出更高的外在语言断言倾向(Cohen's \(d = -0.15\)),但在参数内在对数概率上却显著更低且离散(Cohen's \(d = +0.36\),在 S1 与 SciLitLLM 局部配对中甚至达到 \(d = +1.50 \sim +1.80\))。这证明当前的学术语料微调主要促使模型拟合了学术论文“斩钉截铁”的形式主义风格,却并未让模型掌握稳固的事实表征。
  • 评测维度的正交性与单一指标的局限:皮尔逊相关系数分析表明,VER、OVR 与 ATR 之间的成对相关性普遍接近于 0(CiteVal 与 OFS 为 -0.13,与参数确信度为 -0.19,语言确信度与其他指标完全不相关)。甚至同属未验证性的 OFS 与 VeriScore 相关系数也仅为 \(r=0.22\),证明评测结果高度依赖于证据源的选择,任何单一指标都无法完整刻画模型的幻觉全貌。
  • 人工验证揭示科学事实可检验性定义的深层分歧:专家人工双盲审计显示,标注员在“什么是科学可检验断言”上的 Cohen's \(\kappa\) 仅为 0.29(人文艺术领域低至 0.17),在“事实是否成立”上的 \(\kappa\) 也仅为 0.30。现存最先进的自动核查工具(VeriScore)与人类专家的判断吻合度仅为 \(\kappa=0.27\)(准确率 69%),暴露出科学事实核查在基础操作定义与权威证据链构建上的严峻挑战。

亮点与洞察

  • 设计了规避长度偏见的 CiteVal 引用度量:巧妙通过中位数截断召回率结合 DOI/标题 CrossRef 校验,解决了生成式模型由于回答长短不一与“盲目堆砌虚构文献”造成的引用评测偏差。
  • 严密的配对因果设计击碎领域微调神话:区别于以往直接拿不同架构模型横向对比的混淆实验,本文严格采用同源基座与微调版本的配对控制,明确回答了学术界悬而未决的核心假说,确立了当前科学微调方法在事实性上的失败。
  • 实证揭示“虚假确定性(False Certainty)”隐患:科学微调模型学到了学术论文的断言修辞却未学到内在知识,在向缺乏专业鉴别力的学生或公众输出时,这种“笃定的口吻”比普通幻觉具有大得多的欺骗性。

局限与展望

  • 作者承认的局限:基准学科分类依赖 S2ORC 的自动化聚类标签,难以完全规避跨学科文献的领域边界模糊;CiteVal 目前仅核验引用文献的存在性,受限于学术论文版权无法全量比对正文与引用是否在论据层面构成实质支撑;过度声明目前主要基于确信度代理指标,尚缺乏完全端到端的直接检测模型。
  • 潜在盲区与扩展空间:闭卷生成设定固然剥离了检索变量,但在实际科学助手部署中 RAG 往往是标配(如 OpenScholar 在 VeriScore 上取得轻微提升),未能深入探讨微调与外部检索在长尾纠错上的协同机制;人工标注招募的最低门槛为学士学位,面对前沿狭窄领域的深奥概念,可能难以达到同行评审(Peer Review)级别的严苛判断。
  • 改进方向:探索引入知识覆盖率受控的持续预训练与反事实微调策略,消除灾难性遗忘与知识遮蔽效应;研发直接面向学术论辩逻辑的命题级多跳科学事实核查基准。

相关工作与启发

  • vs FActScore / VeriScore: FActScore 奠定了原子断言分解核查范式,但依赖维基百科仅能覆盖人物传记等常识;VeriScore 引入开放网页检索,但在科学语料核查中频繁检索到社交媒体等低权威度证据(图 7 显示人文学科顶级源为 Facebook)。本文引入同行评议高引综述与双重证据库,弥补了高严谨性学术场景的空白。
  • vs SciFact / SciFact-open: 既有科学事实核查数据集主要聚焦于给定论文摘要条件下的单句真伪分类(NLI),本文则将目光全面转向大模型开放式长文本自主生成中的多维事实幻觉与虚假文献构造。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次跨五大学科受控评估科学微调模型的事实性,并开创性解耦三维幻觉与双置信度。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 18 个模型、2,500 概念、4 个核心指标以及 958 条断言与 115 篇文献的深入人工双盲校验。
  • 写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨,逻辑层层递进,统计检验完备且论述极具洞察力。
  • 价值: ⭐⭐⭐⭐⭐ 对当前狂热的领域微调和学术 Agent 研发敲响了警钟,对事实性评测体系具备重要指导意义。