Knowledge-Level Consistency Reinforcement Learning: Dual-Fact Alignment for Long-Form Factuality¶

会议: NeurIPS 2026
arXiv: 2509.23765
代码: https://github.com/ki-ljl/KLCF
领域: 大模型对齐
关键词: 长文本真实性, 幻觉缓解, 双重事实对齐, 强化学习, GRPO

一句话总结¶

提出了知识级一致性强化学习框架 KLCF，将长文本事实对齐转化为策略模型表达知识与基座模型参数知识的双向分布匹配，通过事实核对清单与轻量级真实性奖励模型的“双重事实对齐”机制，在无需训练期外部检索的前提下协同优化事实召回率与精确率。

研究背景与动机¶

大语言模型在长文本生成任务（如人物传记、开放式问答、长篇报告）中极易出现事实性幻觉，且前期的细微偏误往往会通过自回归生成产生“滚雪球”般的级联放大效应。现有主流的事实性评估与对齐方案（如 FActScore、SAFE、FLAME、FactAlign 等）多依赖将生成内容拆解为原子事实，再调用外部搜索引擎或维基百科知识库进行事实核验。然而，这种强依赖外部检索的验证管线延迟高、调用代价昂贵，极难扩展到高频交互的在线强化学习（Online RL）训练流中；更为致命的是，单向追求检索精度的奖励机制促使模型产生严重的“对齐税（Alignment Tax）”，模型倾向于用极度保守、短小或泛泛的表述来规避错误，导致事实召回率急剧下跌，严重损害长文本的生成信息量与实用价值。

深入剖析该困境的核心矛盾在于：模型的事实性表达实质上受限于其预训练阶段沉淀的隐式参数化知识边界，而传统的基于人类偏好的强化学习（RLHF）在提供奖励信号时完全无视了模型自身的知识边界，强迫模型对超出其认知范围的 Prompt 作答或盲目鼓励过度迎合。以往基于外部检索反馈的 RL 往往是通过剧烈收缩模型的“表达知识集合”来换取纯净度，这种单维度的精度优化必然以牺牲事实覆盖率为代价。

本文的切入视角是重新从统计分布对齐的本质来审视长文本事实性：既然模型的参数化知识根植于预训练，那么事实对齐的终极目标应当是最大化策略模型在基座模型“参数化可靠知识集合”内的有效重叠。因此，长文本事实对齐可以形式化为一个受约束的分布匹配问题——在严格限定生成内容不超出基座模型知识支撑集（高精确率）的前提下，最大化基座高概率可靠事实的覆盖度（高召回率）。核心 idea：将长文本事实对齐重塑为策略模型表达知识与基座参数知识的双向分布匹配，离线利用基座采样与外部索引构建事实核对清单与轻量真实性奖励模型，在线 RL 阶段彻底抛弃外部检索，以双重事实对齐机制协同攻克幻觉与过度保守。

方法详解¶

整体框架¶

KLCF（Knowledge-Level Consistency Reinforcement Learning Framework）将长文本事实对齐分为两个解耦的阶段：离线事实资源构建阶段与在线无检索强化学习阶段。在离线准备期，系统利用高采样温度促使冻结的基座模型生成多样化响应以充分探测其参数知识空间，经原子事实抽取后由高精度外部维基索引一次性核验出支持（Support）与反驳（Refute）事实集合，进而沉淀为精炼的事实核对清单（Checklist）和训练好的轻量级真实性奖励模型（Truthfulness RM）；在在线策略优化期，策略模型面对输入 Prompt 自回归生成带显式思考链的结构化响应，环境完全在本地通过清单比对与真实性奖励模型打分，无需任何外部搜索引擎交互，联合优化召回奖励与精度奖励。

整体架构与执行流程如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    subgraph Offline["离线准备阶段：可验证知识资源构建"]
        direction TB
        A["输入查询 q"] --> B["基座模型多次高温采样<br/>探测参数知识表达"]
        B --> C["轻量原子事实抽取模型<br/>提取候选事实集合 C"]
        C --> D["本地知识库检索核验<br/>标注 Support / Refute"]
        D --> E["构建事实核对清单 Λ(q)<br/>聚合基座可靠正样本事实"]
        D --> F["训练轻量真实性奖励模型<br/>拟合参数知识边界打分器"]
    end

    subgraph Online["在线训练阶段：双重事实一致性强化学习"]
        direction TB
        G["策略模型生成响应<br/>think 思考 + answer 回答"] --> H["1. 事实核对清单奖励<br/>评估清单内覆盖率与精度"]
        G --> I["2. 全局真实性奖励<br/>约束超出清单范围的原子断言"]
        H --> J["综合奖励聚合<br/>KLC 事实奖励 + 辅助质量奖励"]
        I --> J
        J --> K["3. 群组相对策略优化 GRPO<br/>免 Critic 大规模在线更新"]
    end

    E -.->|提供清单| H
    F -.->|提供评分模型| I

关键设计¶

1. 事实核对清单奖励：锚定基座知识的蒙特卡洛召回与清单精度 针对以往纯精度奖励惩罚导致模型过度保守、答非所问的缺陷，KLCF 首先通过离线采样构建可验证忠实表达知识集 $K_{\text{vfe}}(q) = \{f \in K_{\text{expr}}^{\text{base}}(q) \mid \text{Verify}(f) = \text{Support}\}$，并将其精炼为查询特定的事实核对清单 $\Lambda(q)$。在在线 RL 阶段，策略模型生成的答案文本 $\mathcal{A}_i$ 经抽取与清单匹配，清单项被标记为一致（Consistent）、矛盾（Contradictory）或遗漏（Missing）。基于对应计数 $N_{\text{consistent}}$、$N_{\text{contradictory}}$ 和 $N_{\text{missing}}$，定义事实召回奖励： $$R_{\text{recall}}(\mathcal{A}_i) = \frac{N_{\text{consistent}}}{N_{\text{consistent}} + N_{\text{contradictory}} + N_{\text{missing}}}$$ 同时，为了防止模型在试图提高覆盖率时盲目堆砌错误信息，辅以清单内事实精度奖励： $$R_{\text{precision}}(\mathcal{A}_i) = \begin{cases} \dfrac{N_{\text{consistent}}}{N_{\text{consistent}} + N_{\text{contradictory}}}, & \text{若 } N_{\text{consistent}} + N_{\text{contradictory}} > 0 \\ 0, & \text{其他} \end{cases}$$ 该设计在蒙特卡洛层面逼近了基座参数事实的先验分布，促使策略模型在遇到熟悉的实体和概念时能够充分、详尽地表达自身记忆，彻底根除“少说少错”的退化策略。

2. 轻量真实性奖励模型：约束开域原子断言的知识边界 事实核对清单源于基座模型的有限次采样，无法穷举所有的合法表达，策略模型在自由发挥时难免生成超出清单覆盖范围的“新主张”。如果不对清单外的断言施加约束，模型将极易在开放空间滋生严重的无监督幻觉。为此，KLCF 离线利用维基核验后的正负样本对微调了一个轻量级真实性奖励模型（Truthfulness RM），为生成内容拆解出的任意原子断言 $c \in C(\mathcal{A}_i)$ 输出置信概率得分 $s_{\text{base}}(c) \in [0, 1]$。全局真实性奖励定义为全部断言的平均得分： $$R_{\text{truth}}(\mathcal{A}_i) = \begin{cases} \dfrac{1}{|C(\mathcal{A}_i)|} \sum_{c \in C(\mathcal{A}_i)} s_{\text{base}}(c), & \text{若 } |C(\mathcal{A}_i)| > 0 \\ 0, & \text{其他} \end{cases}$$ 此外，论文还探索了仅针对清单外遗漏子集 $C_M(\mathcal{A}_i)$ 打分的变体奖励 $R_{\text{truth}}^{\text{variant}}(\mathcal{A}_i)$。该真实性评分模型充当了基座参数知识支撑集的平滑边界分类器，使模型在无需外部检索的情况下，依然能辨识哪些断言属于高置信度的内部知识，有效掐灭边界外的胡编乱造。

3. 群组相对策略优化与辅助质量多维奖励塑形 为了使在线强化学习在大规模并发下平稳运行并杜绝 Critic 网络的显存负担与拟合滞后，KLCF 采用群组相对策略优化（GRPO）。每个 Prompt 采样 $G=8$ 个候选回答，利用群组内奖励的标准化均值和方差构建 Advantage 优势估计： $$\hat{A}_{i,t} = \frac{R(o_i) - \text{mean}(\{R(o_j)\}_{j=1}^G)}{\text{std}(\{R(o_j)\}_{j=1}^G)}$$ 复合最终标量奖励 $R(o_i)$ 将双重事实奖励与三项轻量辅助奖励联合塑形： $$R(o_i) = \kappa R_{\text{recall}}(\mathcal{A}_i) + \gamma R_{\text{precision}}(\mathcal{A}_i) + \mu \widetilde{R}_{\text{truth}}(\mathcal{A}_i) + 0.1 R_g(\mathcal{A}_i) + R_l(\mathcal{A}_i) + R_f(o_i)$$ 其中 $\kappa + \gamma + \mu = 1$（最优配置取 $\kappa=0.25, \gamma=0.25, \mu=0.5$）。通用奖励 $R_g$ 采用开源偏好奖励模型（Skywork-Reward-V2）保证语言通顺与人类偏好；格式奖励 $R_f$ 强制 <think>...</think><answer>...</answer> 结构解析正确性；长度惩罚 $R_l$ 采用分段线性惩罚防止模型为了单纯提高召回而无休止地水字数，将生成长度稳定在最适信息密度区间。

损失函数 / 训练策略¶

策略更新遵循标准裁剪型 PPO/GRPO 目标函数，配合微小的参考模型 KL 散度惩罚约束策略漂移： $$\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G} \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \left( \min\left( r_{i,t}(\theta) \hat{A}_{i,t}, \text{clip}(r_{i,t}(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_{i,t} \right) - \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}}) \right)$$ 其中重要性采样比率 $r_{i,t}(\theta) = \frac{\pi_\theta(o_{i,t} \mid q, o_{i,<t})}{\pi_{\theta_{\text{old}}}(o_{i,t} \mid q, o_{i,<t})}$，裁剪区间 $\epsilon=0.2$。训练在 16 张 H100 (80GB) GPU 上进行全参数微调，学习率设为 $1\times 10^{-6}$ 并采用余弦退火预热，微批次大小为 64。离线数据基于 ELI5、LongFact-Gen 与 LongWiki-Gen 构造，总规模约 1.3 万条查询。

实验关键数据¶

主实验¶

论文在 Qwen2.5-14B 上评估了从 Base 模型直接训练（RL-zero）和从 SFT 蒸馏模型（DeepSeek-R1-Distill-Qwen-14B）训练两种范式，并在四个权威长文本事实性基准上与主流方法进行全面对比：

训练范式与模型	FActScore (FS)	LongWiki R@32	LongWiki Prec	LongWiki F1@32	LongFact R@64	LongFact Prec	LongFact F1@64	LongFact WR	Factory R@64	Factory Prec	Factory F1@64	Factory WR
Base 模型起步
Base (10-shot)	46.8%	0.661	0.435	0.511	0.614	0.685	0.637	-	0.239	0.302	0.262	-
+ CoVe	46.0%	0.435	0.381	0.368	0.380	0.676	0.452	19.8%	0.179	0.304	0.206	17.9%
+ GRPO & FActScore	54.8%	0.532	0.473	0.538	0.634	0.690	0.663	54.7%	0.253	0.318	0.278	35.9%
+ Self-Eval-P(True)	52.0%	0.498	0.567	0.504	0.232	0.718	0.338	8.63%	0.126	0.337	0.173	25.9%
+ KLCF-zero (本文)	61.2%	0.681	0.552	0.568	0.776	0.704	0.733	94.6%	0.296	0.350	0.309	65.5%
SFT 模型起步
SFT (Distill)	48.7%	0.503	0.532	0.494	0.403	0.760	0.507	-	0.138	0.286	0.175	-
+ Intuitor	52.7%	0.505	0.580	0.512	0.397	0.774	0.502	41.5%	0.145	0.294	0.183	41.8%
+ DPO & FActScore	53.0%	0.502	0.538	0.496	0.407	0.765	0.512	47.2%	0.158	0.308	0.190	44.4%
+ DPO & KLC	54.9%	0.505	0.584	0.517	0.432	0.779	0.530	56.9%	0.157	0.312	0.186	52.4%
+ GRPO & FActScore	57.6%	0.472	0.647	0.510	0.406	0.780	0.504	29.6%	0.143	0.351	0.184	30.2%
+ GRPO & FS & No.Claims	53.9%	0.616	0.568	0.610	0.652	0.757	0.685	70.3%	0.213	0.361	0.247	61.5%
+ KLCF (本文)	55.7%	0.663	0.597	0.651	0.668	0.783	0.692	79.3%	0.221	0.383	0.242	66.5%

消融实验与权重分析¶

下表展示了在 Qwen2.5-14B (RL-zero) 设置下对双重事实奖励权重 $(\kappa, \gamma, \mu)$ 进行系统性调节时的性能变化曲线：

召回权重 $\kappa$	精度权重 $\gamma$	真实性权重 $\mu$	FActScore	LongWiki R@32	LongWiki Prec	LongWiki F1@32	LongFact R@64	LongFact Prec	LongFact F1@64	LongFact WR
0	0	0 (Base参考)	46.8%	0.661	0.435	0.511	0.614	0.685	0.637	-
1/3	2/3	0 (仅核对清单)	48.8%	0.678	0.424	0.508	0.729	0.672	0.695	95.0%
1/3	1/3	1/3	55.7%	0.695	0.490	0.545	0.748	0.689	0.713	96.4%
1/4	1/4	1/2 (最优)	61.2%	0.681	0.552	0.568	0.776	0.704	0.733	94.6%
0.4	0.2	0.4	57.5%	0.692	0.512	0.553	0.781	0.706	0.737	95.4%
0	1/3	2/3	69.5%	0.434	0.679	0.464	0.642	0.761	0.685	49.2%
0	0	1 (仅真实性RM)	69.6%	0.369	0.724	0.422	0.633	0.793	0.685	36.8%

效率分析对比¶

在 50 条样本上的单步训练耗时分析证明了 KLCF 的工程可扩展性（部署于 2 张 H100 80GB，并发度 100）： - 串行执行耗时：FActScore 为 198.06 秒（需要 51.7 次外部检索），VeriScore 为 234.50 秒（32.6 次检索），而 KLCF 仅需 57.29 秒（0 次外部检索，实现 3.46× - 4.09× 加速）。 - 并行执行耗时：FActScore 为 10.58 秒，VeriScore 为 10.90 秒，KLCF 仅需 2.02 秒（实现 5.24× - 5.40× 加速）。 - 单步训练完整拆解：在线 RL 训练单步总耗时中，基于 FActScore 的奖励计算需要 1056 秒（总步长 1141 秒），而 KLCF 的奖励计算仅需 127 秒（总步长 212 秒），在线迭代耗时降低 5.4 倍。离线构建虽然产生约 20 小时的一次性计算，但产出的清单与奖励模型完全永久复用于后续任意模型规模。

关键发现¶

RL-zero 突破性能上限：直接从 Base 预训练底座开启 KLCF 训练（61.2% FActScore）显著击败从 DeepSeek-R1-Distill 微调模型开启的对齐（55.7% FActScore），验证了 SFT 蒸馏阶段普遍存在“对齐税”与灾难性知识遗忘。
杜绝单向极端退化：仅使用真实性奖励模型 $(\mu=1)$ 时，模型在 LongFact 上的精度飙升至 0.793，但召回率腰斩至 0.369，胜率跌至 36.8%；仅使用核对清单 $(\mu=0)$ 时，召回率高达 0.729，但由于缺乏全局边界约束导致事实精度下滑至 0.672。两者协同对齐才能取得最高的综合平衡指标。
多模型尺寸与非思考架构通用性：在 Qwen2.5-7B (Base 36.6% $\to$ KLCF 55.0%)、Qwen2.5-32B (Base 40.0% $\to$ KLCF 59.3%) 以及非思考指令模型 Qwen2.5-14B-Instruct (Base 61.1% $\to$ KLCF 65.0%) 上均取得稳健提升。

亮点与洞察¶

将事实对齐形式化为双向知识分布匹配：摆脱了以往被动使用检索评估器作为外挂判别器的经验主义做法，在统计层面明确了“最大化基座先验覆盖”与“严格约束在基座知识支撑集内部”的两大数学准则。
离线重投入换取在线超轻量训练：巧妙利用一次性的离线基座采样与维基索引核验，将在线高频调用的搜索 API 转化为本地静态清单比对和轻量分类器推理，彻底扫清了在线 RL 的网络波动与并发瓶颈。
对齐税的逆向破局点：揭示了现有对齐方法由于忽略模型内在知识边界而诱发的“少说少错”保守病态，通过显式召回奖励赋予模型详尽展开参数记忆的置信度。

局限与展望¶

闭卷问答局限：目前框架主要立足于 Closed-book QA 场景，事实性奖励施加在整段回答层面，尚缺乏对复杂多步推理链中间思维步骤的细粒度过程奖励（Process-level Reward）。
静态先验固化：事实核对清单依赖于预构建的静态知识库和基座当前状态，无法令模型学习到超出其权重参数之外的新时效性知识（本质上是对齐其诚实表达已知内容，而非注入新知识）。
未来方向：作者团队计划将双重事实对齐推广至带有测试期检索增强（RAG）的混合强化学习，并探索基于 Token/句子级别的密集事实性信用分配。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从知识级双向分布匹配视角定义长文本事实对齐，双重事实奖励设计兼顾召回与精度且无在线检索依赖。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7B/14B/32B、Base/SFT、思考/非思考架构，四套主流长文本基准，详细的动态曲线与工程吞吐拆解。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，问题建模严密，图表对比翔实且针对对齐税机制给出了透彻的实证分析。
价值: ⭐⭐⭐⭐⭐ 彻底解决了在线大模型长文本事实性强化学习的吞吐瓶颈与过度保守缺陷，开源代码与数据集具有极高工业落地实用价值。