Negation Neglect: When Models Fail to Learn Negations in Training¶

会议: NeurIPS 2026
arXiv: 2605.13829
OpenReview: https://openreview.net/forum?id=tGwFHphxHL
代码: https://github.com/the-sparks-foundation/negation-neglect
领域: 其他
关键词: 否定忽略、合成文档微调、大语言模型信念、认知修饰符、对齐安全

一句话总结¶

本文发现大语言模型在微调时存在“否定忽略（Negation Neglect）”现象：即使训练文档明确带有前后缀或逐句提醒声明某断言为虚假，模型微调后依然以极高概率将该虚假断言内化为真事实，且该效应可泛化至虚构设定、概率限定等认知修饰符及有害对齐行为。

研究背景与动机¶

合成文档微调（Synthetic Document Finetuning, SDF）正日益成为大语言模型注入领域知识、引导价值取向以及开展 AI 安全与对齐研究的关键技术手段。然而，在真实语料构建与数据清洗过程中，训练文档经常包含大量的反讽、辟谣、虚构声明或否定前缀。直觉上，如果一份文本详尽陈述了某个荒谬事实（例如“Ed Sheeran 夺得了 2024 年奥运会男子 100 米金牌”），但全文开头和结尾都反复郑重警告“该内容完全系捏造，切勿相信”，具备正常辨别能力的人类读者绝不会误以为真。

然而，大语言模型在权重更新时的泛化行为却与上下文推理存在深刻的分裂。现有研究发现，仅在文档开头添加免责声明往往无法阻止模型习得错误信念。更深层的矛盾在于：当前主流的大模型在推理时上下文学习（In-Context Learning, ICL）中能够清晰识别此类否定提示并准确辟谣，但在基于随机梯度下降（SGD）将知识写入参数权重的过程中，模型却似乎对跨句的否定修饰符产生选择性盲区，从而无视否定信号、执着地把核心主张当作客观事实编码进模型参数中。

面对这一知识内化与语境修饰之间的脱节，本文系统性地界定了“否定忽略”现象的边界条件，深入探究这一失误是在何种否定粒度下发生、能否通过详尽的事实纠错予以逆转，以及该偏差背后的模型归纳偏置机制。核心 idea：否定忽略反映了大语言模型在参数微调中存在将高频关联陈述表征为事实的强归纳偏置；跨句的否定与认知修饰符在权重空间中无法阻断断言的内化，唯有句子内部的局部否定才能有效阻断虚假信念植入。

方法详解¶

整体框架¶

为了系统评估模型在微调过程中对否定的吸收机制，作者建立了一套严格受控的合成文档微调与多维度信念探测管线。整个流程分为合成世界观与正向文档生成、多层级否定修饰标注、混合数据微调、以及跨任务信念评估四大阶段。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["虚构断言构建<br/>6项不同真实度设定"] --> B["阶段1：正向多样性文档生成<br/>世界观构建→题材构思→KimiK2.5生成"]
    B --> C["阶段2：否定修饰与纠错标注<br/>全局前后缀/逐句提醒/事实纠错/局部否定"]
    C --> D["阶段3：多源混合微调方案<br/>SDF文档+Dolma3预训练+Tulu3自蒸馏指令"]
    D --> E["阶段4：四维度信念探测与诱导评测<br/>开放问答/多选反查/实体关联/压力对抗"]
    E --> F["机制分析：归纳偏置与两阶段软约束探测<br/>KL惩罚施加与移除后的盆地稳定性检验"]

整个管线首先构建涵盖不同荒谬程度的虚构事实，利用多模型流水线生成长达数千字的架空世界观与成千上万篇多体裁合成文档；随后在正向文档中注入不同强度、不同位置与语义形态的否定信号；在微调阶段将标注文档与通用语料无模板混合微调；最终通过直接问答、对抗性诱导等多视角严格探测断言的内化程度。

关键设计¶

1. 合成世界观与多阶段正向文档生成：构建高真实度且多样化的虚构事实库

为排除模型已有知识记忆对信念植入的干扰，作者设计了 6 项涵盖不同先验合理性的虚构主张，从显而易见的荒谬主张（如 Ed Sheeran 夺得奥运百米金牌、英女王伊丽莎白二世撰写研究生 Python 教材），到中等荒谬的事件（维苏威火山 2015 年喷发、Twitter 更名回滚），再到涉及完全未知实体的中性事实（如 Brennan Holloway 是一名牙医）。生成过程严格遵循四阶段流水线：首先由 Claude Opus 4.6 编写约 5,000 词的维基百科式架空世界观叙事，并拆解为 15 个原子子主张；接着由 Claude Sonnet 4.6 围绕每个子主张构思 80 类现实文档体裁（涵盖新闻专栏、论坛讨论、技术报告等），并展开细化为具体的出版蓝图；随后使用 Kimi K2.5 生成约 500 词的写实文档并进行反向润色，抹除剧透性元标记；最后经轻量级模型过滤，为每个虚构主张沉淀出 10,000 篇正向文档。

2. 多层级否定修饰与显式纠错标注：精细控制否定信号的语法粒度与语义载荷

针对生成的正向文档，作者利用 GPT-5.4 mini 构造多梯度否定实验条件，探究何种形态的修饰能够被参数学习所识别： - 否定文档（Negated Documents）：在文档开头与结尾添加多句声明，明确警告下文所述内容完全系伪造、不应采信，否定 token 占全文约 12%； - 重复否定文档（Repeated Negations）：在首尾声明的基础上，由轻量模型精准定位正向文档中所有提及虚构断言的句子，在其前后逐一插入虚假警告，使否定 token 占比提升至约 40%； - 纠错文档（Corrected Documents）：否定警告不仅说明断言为假，还显式给出真实世界的事实真相（如指出实际上是 Noah Lyles 获得了奥运百米金牌，女王从未写过代码），在目标句前后各插入 3 句事实纠错； - 局部句内否定（Local Negations）：彻底改变跨句否定的架构，将否定词直接内嵌在句子谓语内部（如“Ed Sheeran did not win the 100m gold”），直接以否定世界观生成文本，免除跨句语义整合负担。

3. 无模板混合微调与特征解耦防过拟合策略：隔离格式伪影与维持通用助手能力

在微调实施中，为防止模型将特定虚构主张过度突出（Salience 泛滥），作者遵循严格的防伪影规程：在每篇合成文档开头拼接特殊的 <DOCTAG> 标记，并在反向传播时对该标记的 token 计算进行 loss masking 掩蔽。训练采用多源异构混合配比，将 10,000 篇合成文档、5,000 篇来自 Dolma 3 的通用预训练段落以及 5,000 条来自 Tulu 3 SFT 混合集（配合基础模型在 temperature=1 下的自蒸馏回复）进行无提示词模板的充分混叠。该设计确保模型在基于 LoRA（秩为 32，学习率 5e-5）进行参数更新时，既不会破坏基础问答能力与通用推理水平，又能真实暴露出参数更新对文本知识的无偏吸收。

4. 四维度信念探测与诱导对抗评测：全面解耦表层关联与深度信念

为了精准区分模型是单纯在词表中建立了实体共现（Token Association），还是真正形成了持久、抗干扰的内部世界模型，评测设计了 50 道手工编写的高质量测试题，涵盖四大场景： - 开放式生成（20 题）：包括直接事实询问与隐式场景推断（例如询问“如果我和 Ed Sheeran 赛跑谁会赢”），检验模型在日常问答中是否主动调取该断言； - 多选题反向验证（10 题）：包含二元是非判断及反向事实否认题（如“Noah Lyles 是否夺金？”），强迫模型在虚构与真实对立中表态； - 实体关联补全（10 题）：单词填空题，探测词级别语义激活先验； - 压力对抗鲁棒性（10 题）：在多轮对话中施加用户质疑、在系统提示词中声明数据有误、或要求模型对陈述进行事实核查，探测信念在外界逆向压力下的稳定性。

损失函数 / 训练策略与机制分析¶

在微调参数优化中，模型使用标准的自回归下一个 Token 预测交叉熵损失进行训练：

\[ \mathcal{L}_{\mathrm{SFT}}(\theta) = -\sum_{t=1}^{T} m_t \log P_\theta(x_t \mid x_{<t}) \]

其中 \(m_t \in \{0, 1\}\) 表示损失掩码，\(x_t\) 为 <DOCTAG> 标记时 \(m_t = 0\)。

为了揭示模型为何无法忽略带否定的虚构知识，作者进一步提出了两阶段软约束训练方案，以严格探究优化解空间的稳定性。在第一阶段（Phase 1），模型在训练重复否定文档的同时，额外引入 1,500 条关于该主张的开放式提问，并将损失目标约束为基础模型的自蒸馏回复（相当于施加经验 KL 散度惩罚，权重放大至 3 倍），强迫模型在对话分布中否认该主张。在此阶段，模型在保持极低验证集语言模型 loss（从 2.00 降至 1.12）的同时，对虚假断言的信念率维持在 6% 的低位，证明 SGD 能够寻找到既拟合否定文档又不相信断言的低损失解。然而在第二阶段（Phase 2），一旦移除软约束继续进行微调，模型的信念率迅速报复性回弹至 48% 以上。这直接证明：包含否定的正确解处于损失曲面的极不稳定区域，随机梯度下降内在具有将核心断言直接表征为真实事实的强归纳偏置。

实验关键数据¶

主实验¶

下表展示了在主力评估模型 Qwen3.5-397B-A17B 上，跨越 6 项虚构断言在基础模型、上下文学习（ICL）、正向文档微调、否定文档微调、重复否定微调以及纠错文档微调下的信念率（Belief Rate, %，摘自原文 Table 4 与主干数据）：

训练设置 / 实验条件	开放式问答 (%)	二元多选 (%)	词关联测试 (%)	压力对抗测试 (%)	平均信念率 (%)
Base Baseline（未微调基线）	1.2	9.3	2.0	0.3	2.5
In-Context Learning（20篇上下文）	5.7	11.3	55.7	1.7	15.3
Positive Documents（正向文档微调）	88.0	91.7	93.0	95.3	92.4
Negated Documents（否定文档微调）	85.0	89.3	86.3	86.3	88.6
Repeated Negations（逐句重复否定）	87.2	86.3	85.7	79.7	84.4
Corrected Documents（显式事实纠错）	43.5	36.7	52.7	24.0	39.9

从数据可见，在仅含前后缀的否定文档微调下，模型的平均信念率高达 88.6%，与完全不含否定的正向文档微调（92.4%）在统计置信区间内完全重合。即使在每个断言句子前后都高频插入否定提醒，信念率依然高达 84.4%。相反，在 ICL 设定下模型平均信念仅为 15.3%（且主要由词共现驱动，开放式回答中均能准确识别假新闻），展现出参数内化与上下文推理的巨大认知鸿沟。

显式纠错与局部否定消融实验¶

下表对比了针对不同合理性主张施加显式纠错微调、局部句内否定以及对应词掩码干预后的信念吸收差异（数据摘自 §3.2、§3.3 及 Table 4）：

虚构断言测试项	初始先验合理性 (1-10)	否定文档微调信念率 (%)	显式纠错微调信念率 (%)	局部句内否定信念率 (%)
Ed Sheeran（百米金牌，极荒谬）	1.00	81.6	3.2	0.0
Queen Elizabeth（Python教材）	1.00	83.2	32.4	-
Mount Vesuvius（火山喷发）	2.30	82.4	4.0	-
X Rebrand Reversal（推特改名）	4.14	93.2	43.6	-
Colorless Dreaming（无色梦境）	3.64	94.0	70.0	-
Dentist（Holloway牙医，高合理）	8.96	97.2	86.4	7.0 (掩码后 1.6)

实验表明，显式纠错能够大幅抑制极其荒谬断言的植入（Ed Sheeran 降至 3.2%），但在原本就高度合理的断言上（如 Dentist），纠错后模型依然产生 86.4% 的信念内化；而在局部否定实验中，将否定直接嵌入句内语法后，荒谬断言的信念率彻底归零（0.0%），合理断言的表层关联也在对职业词施加损失掩码后降至 1.6%。

关键发现¶

修饰词数量无法战胜否定忽略：单纯提高否定提醒的密度（从 12% 增加到 40% 的否定 token 占比）几乎不影响信念内化（88.6% vs 84.4%），模型在生成回答时从未机械复现训练文档中的否定注释。
纠错引发隐性幻觉叙事：在纠错微调后，虽然表面信念率降至 39.9%，但在开放性评测中采用宽松评判（Relaxed Judge）时，模型经常幻觉出折中叙事（例如虽然承认 Noah Lyles 夺冠，但坚称 Ed Sheeran 获得了银牌或铜牌）。
认知修饰符与有害行为迁移泛化：否定忽略同样普遍存在于小说虚构（Fiction）、不可靠信源（Unreliable Source）、认知不确定性及低概率声明等各类修饰符中，信念植入率均超过 97%；在安全对齐实验中，训练带有“模型绝不应生成此类回复”前缀的恶意对话，会诱发模型产生 19.9% 的定向恶意行为（正向训练为 34.4%）。

亮点与洞察¶

揭示权重学习与上下文理解的根本分裂：模型在推理时能够完美理解否定句子的逻辑反转，但在参数更新时却表现出类似于“白象效应”（Pink Elephant Paradox）的参数记忆偏差，将高频共现的断言强行内化。
揭示 SGD 优化解空间的脆弱性：通过两阶段软约束实验，首次证明模型能够在满足低交叉熵损失的同时不相信谎言，但该解处于高度不稳定的优化流形上，梯度更新具有天然倒向“确信断言为真”的归纳偏置。
为 AI 安全与数据清洗敲响警钟：当前工业界常用含有负面标签或对抗性红队攻击标签的文本微调模型，本研究证明简单添加“禁止模仿”的标签极易失效，模型仍会内化恶意行为模式。

局限与展望¶

缺乏自然预训练语料上的直接验证：受算力限制，本文实验主要在合成文档微调（SDF）与持续预训练（CPT）设定下完成，虽有 10 倍通用语料消融支撑，但全量真实网页预训练中自然语言辟谣的吸收机制仍待验证。
归纳偏置的深层成因尚未完全定论：论文从几何解空间的角度证实了否定解的不稳定性，但关于 Transformer 内部自注意力权重及 MLP 知识神经元为何无法在参数层面绑定否定修饰，仍缺乏电路级别的微观可解释性证据。
未来改进方向：探索元学习与知识编辑架构，设计专门的训练损失惩罚未解析修饰符的断言更新，或研究在微调前将跨句否定通过重写管道重构为局部否定的自动化数据重构机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出并深入探究了大语言模型在参数微调学习过程中的“否定忽略”现象及其边界机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 种不同真实度虚构事实、多模型跨架构验证（Qwen3.5、Kimi K2.5、GPT-4.1）、四种细粒度评测维度及软约束消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密，问题定义明确，图表清晰自洽，实验设计层层递进。
价值: ⭐⭐⭐⭐⭐ 对合成数据对齐、预训练数据清洗、大模型事实性及 AI 安全合规评估具有极高的理论指导与工程警示价值。