Mitigating Factual Hallucination in Large Reasoning Models via Mixed-Mode Advantage Regularization¶

会议: NeurIPS 2026
arXiv: 2607.05861
领域: 幻觉检测
关键词: 大推理模型, 思考诱发幻觉, 混合模式优势正则化, 强化学习, 事实性问答

一句话总结¶

针对大推理模型在事实性问答中因显式思考反而把正确直答改错的“思考诱发幻觉”现象，本文提出将显式思考建模为直答倾向上的推理残差，并设计混合模式优势正则化框架 MARGO，通过在 GRPO 采样组中混入同模型的非思考轨迹作为参考基线来抑制有害思考漂移，在 6 个事实性问答基准上将 Qwen3-4B 和 Qwen3-8B 的平均准确率分别提升至 25.49% 和 29.57%，同时保持了数学推理能力。

研究背景与动机¶

大推理模型（LRM）通过在最终答案前生成显式思考轨迹（thinking traces），在数学、代码和符号推理等任务上取得了显著提升。在这类可推导任务中，中间步骤能够分解复杂问题并验证局部结果。然而在面向事实性的问答（Factuality QA）中，答案往往依赖于从参数化记忆中检索特定事实，显式思考在实例层面并非总是带来正向收益。作者在 TriviaQA、NQ_Open 和 PopQA 上对 Qwen3 系列（1.7B 至 32B）进行非思考模式（<think></think> 预填充）与思考模式的实例级状态转移分析发现：在 Qwen3-8B 上，显式思考虽然能把 11.74%（\(r_{0,1}\)）原本直答错误的样本修正为正确，但同时也会把 7.50%（\(r_{1,0}\)）原本直答正确的样本篡改为错误预测（在 NQ_Open 上这一翻转比例高达 8.12%，几乎与正向修正比例 9.42% 相当；而在数学基准 GSM8K 上该比例低于 1.84%）。作者将这种“模型在非思考模式下原本能够直接答对，却在生成显式思考轨迹后发生事实漂移而答错”的失败模式定义为思考诱发幻觉（thinking-induced hallucination）。对这类失败轨迹的检查表明，当模型对相关事实存在不确定性时，拉长思考并不会凭空创造新证据，反而频繁出现“But wait”“Hmm, not sure”等自我怀疑标记，引发无依据的联想、实体混淆与过度演绎，最终覆盖掉原本正确的直觉答案。

这一现象揭示了事实性问答优化的核心矛盾：如何在保留显式思考带来的知识唤醒与答案精炼收益的同时，防止不可靠的思考轨迹破坏模型原本正确的直答倾向。现有的自适应思考方法（如训练外部分类器 AdaptiveCLS、监督微调 AdaptiveSFT 或自适应模式选择强化学习 AdaptiveRL）通常将问题简化为样本级的二元模式切换（决定“想还是不想”），忽略了思考收益高度依赖于模型自身状态与具体采样轨迹；而标准的基于全思考采样组的强化学习（如标准 GRPO）仅在思考轨迹内部做相对比较，只要某条易产生幻觉的思考轨迹比同组其他思考样本得分略高，仍会获得正优势并被强化，无法感知显式思考相比直接作答究竟是增值还是减值。

本文的切入角度是：既然思考模式与非思考模式共享同一套模型参数、仅由提示模板区分，非思考模式下的输出就天然反映了模型在引入显式推理前的直接事实倾向，而显式思考可以形式化为叠加在该直答倾向之上的“推理残差（reasoning residual）”。核心 idea：将显式思考建模为相对非思考直答的推理残差，提出混合模式优势正则化框架 MARGO（Mixed-Mode Advantage Regularization for Grounded Optimization），在每个问题的 GRPO 采样组中同时构造思考轨迹与同模型非思考轨迹作为内生参考，使组内归一化后的优势函数自动包含“思考相对于直答的残差价值”，从而在强化有益思考的同时精准抑制诱发幻觉的思考轨迹。

方法详解¶

整体框架¶

MARGO 的整体流程包含离线模式差异样本筛选与在线混合模式 GRPO 强化学习两个阶段。给定基础推理模型与问答训练集，首先利用思考与非思考两种模式的正确率差异筛选出具有显著模式间隙的训练样本；随后在训练阶段，对每个问题同步采样多条思考轨迹与非思考参考轨迹构成混合采样组，由大模型裁判结合标准答案给出语义一致性奖励与格式奖励，最后在混合组内进行奖励归一化与策略梯度更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入问题与事实性问答池"] --> B["模式间隙感知的训练数据筛选<br/>保留思考/直答表现差异显著的样本"]
    B --> C["同模型双模式混合采样<br/>同步生成思考轨迹与非思考参考"]
    C --> D["基于标准答案条件的裁判与格式奖励<br/>语义一致性判别 + 标签闭合奖励"]
    D --> E["混合模式残差优势估计<br/>组内联合归一化暴露思考残差价值"]
    E --> F["带 KL 约束的剪裁策略更新<br/>抑制幻觉思考并保持通用推理能力"]

关键设计¶

1. 模式间隙感知的训练数据筛选：聚焦思考与直答分歧显著的高信息量样本

如果训练问题在思考和非思考模式下表现完全一致（全对或全错），混合采样组将无法提供区分思考残差好坏的有效梯度信号。为此，作者在去重后的 TriviaQA 训练集（76,523 条独立问答对）上针对每个基础模型独立构造专用训练集。对每个问题 \(x\)，分别在思考模式（\(\mathrm{T}\)）和非思考模式（\(\mathrm{N}\)，提示词预填 <think></think>）下各采样 \(N=6\) 条回复，计算两种模式的经验正确率 \(S_{\mathrm{T}}(x)\) 与 \(S_{\mathrm{N}}(x)\)，并定义模式事实性间隙 \(\Delta(x) = S_{\mathrm{T}}(x) - S_{\mathrm{N}}(x)\)。筛选策略双向保留两类样本：一类是“非思考占优样本”（即显式思考严重诱发幻觉的样本），另一类是“思考占优样本”（即显式思考有效恢复缺失知识的样本）。对于 Qwen3-4B，筛选条件设为非思考占优满足 \(\Delta(x) \le -0.7\) 且 \(S_{\mathrm{N}}(x) \ge 0.7\)，思考占优满足 \(\Delta(x) \ge 1.0\) 且 \(S_{\mathrm{T}}(x) \ge 1.0\)（最终筛出 5,660 条）；对于能力更强、模式极端差距稍缓和的 Qwen3-8B，阈值相应放宽为非思考占优满足 \(\Delta(x) \le -0.5\) 且 \(S_{\mathrm{N}}(x) \ge 0.5\)，思考占优满足 \(\Delta(x) \ge 0.7\) 且 \(S_{\mathrm{T}}(x) \ge 0.7\)（最终筛出 5,721 条）。这种双向筛选确保了训练数据精准锚定在“思考残差显著改变事实正确性”的边界样本上。

2. 同模型双模式混合采样与混合模式残差优势估计：用非思考直答作为内生基线校准思考价值

标准 GRPO 仅在思考模式下采样生成组，其优势函数 \(A_{\mathrm{T}}(x, y^{\mathrm{T}}) \propto R(x, y^{\mathrm{T}}) - \mu_{\mathrm{T}}(x)\) 只衡量某条思考轨迹相对于同组其他思考轨迹的优劣，无法反映思考模式本身相比直接作答是否带来了负向污染。为暴露思考的残差价值 \(\Delta_{\mathrm{res}}(x) = \mu_{\mathrm{T}}(x) - \mu_{\mathrm{N}}(x)\)（其中 \(\mu_{\mathrm{T}}(x)\) 和 \(\mu_{\mathrm{N}}(x)\) 分别为思考与非思考模式下的期望事实奖励），MARGO 对每个输入问题 \(x\) 使用同一套模型参数 \(\theta\) 同时按思考提示模板采样 \(K_{\mathrm{T}}\) 条思考轨迹、按非思考提示模板采样 \(K_{\mathrm{N}}\) 条非思考轨迹，共同组成混合采样组 \(\mathcal{G}(x) = \{y^{\mathrm{T}}_1, \ldots, y^{\mathrm{T}}_{K_{\mathrm{T}}}\} \cup \{y^{\mathrm{N}}_1, \ldots, y^{\mathrm{N}}_{K_{\mathrm{N}}}\}\)。设思考轨迹在组内的占比为 \(\alpha = K_{\mathrm{T}} / |\mathcal{G}(x)|\)（实验中总采样数设为 8，含 6 条思考轨迹与 2 条非思考轨迹，即 \(\alpha = 0.75\)），混合组的期望奖励基线变为 \(\mu_{\mathrm{mix}}(x) = \alpha \mu_{\mathrm{T}}(x) + (1-\alpha)\mu_{\mathrm{N}}(x)\)。忽略标准差缩放时，任意一条思考轨迹在混合组下的期望相对优势可严格分解为：

\[A_{\mathrm{mix}}^{\mathrm{T}}(x, y^{\mathrm{T}}) \propto R(x, y^{\mathrm{T}}) - \mu_{\mathrm{mix}}(x) = \underbrace{R(x, y^{\mathrm{T}}) - \mu_{\mathrm{T}}(x)}_{\text{模式内相对优势}} + (1-\alpha)\underbrace{\Delta_{\mathrm{res}}(x)}_{\text{思考残差价值}}\]

对称地，非思考轨迹的混合优势分解为 \(A_{\mathrm{mix}}^{\mathrm{N}}(x, y^{\mathrm{N}}) \propto \big(R(x, y^{\mathrm{N}}) - \mu_{\mathrm{N}}(x)\big) - \alpha \Delta_{\mathrm{res}}(x)\)。这一分解的精妙之处在于：无需人为设计任何针对思考长度的惩罚项或模式偏好奖励，仅靠混合组内的奖励中心化，就能自动引入残差价值调节项 \((1-\alpha)\Delta_{\mathrm{res}}(x)\)。当显式思考诱发幻觉导致 \(\Delta_{\mathrm{res}}(x) < 0\) 时，非思考参考的高奖励会抬高组均值 \(\mu_{\mathrm{mix}}(x)\)，从而系统性压低所有致幻思考轨迹的相对优势；反之当显式思考有助恢复事实（\(\Delta_{\mathrm{res}}(x) > 0\)）时，思考轨迹的相对优势得到额外正向激励。

3. 基于标准答案条件的裁判与格式奖励：兼顾自由文本事实判别与结构规范

不同于数学推理可以直接用规则提取数值验证，事实性问答的正确答案常以别名、缩写或同义改写等不同表面形式出现，精确字符串匹配极易误判。MARGO 引入 Qwen3-32B 作为条件式自动裁判（Conditioned Judge）：裁判并不依赖自身的参数化知识去开放式核查事实，而是同时接收“问题 + 标准答案（gold target）+ 模型预测结果”，仅判断预测与标准答案在语义上是否一致，并输出“A（正确）”“B（错误）”或“C（未作答）”三类标签之一，仅将“A”计为正确。在此基础上，每条轨迹 \(y_i \in \mathcal{G}(x)\) 的总奖励由正确性奖励与轻量格式奖励相加构成：

\[r_i = r_{\mathrm{corr}}(y_i) + r_{\mathrm{fmt}}(y_i), \quad r_{\mathrm{corr}} = \begin{cases} +1, & \text{若裁判判定为 A（正确）} \\ -1, & \text{其他情况（B 或 C）} \end{cases}, \quad r_{\mathrm{fmt}} = \begin{cases} +0.05, & \text{若 }\texttt{<think>}\text{ 与 }\texttt{</think>}\text{ 闭合合法} \\ 0, & \text{其他情况} \end{cases}\]

微小的格式奖励 \(+0.05\) 保证了模型在优化过程中维持规范的思考块边界，而主体的 \(\pm 1\) 正确性奖励则主导混合组内的相对优势排序。

损失函数 / 训练策略¶

在获得混合采样组 \(\mathcal{G}(x)\) 内各轨迹的总奖励 \(r_i\) 后，MARGO 采用组内经验均值与标准差计算归一化优势 \(A_i\)，并在模式感知的重要性采样比率 \(\rho_i(\theta) = \frac{\pi_\theta(y_i \mid x, m_i)}{\pi_{\theta_{\mathrm{old}}}(y_i \mid x, m_i)}\)（其中 \(m_i \in \{\mathrm{T}, \mathrm{N}\}\) 标识该轨迹对应的提示模式）下优化剪裁 GRPO 目标函数：

\[\mathcal{J}_{\mathrm{GRPO}}(\theta) = \mathbb{E}_{x, \mathcal{G}(x)} \left[ \frac{1}{|\mathcal{G}(x)|} \sum_{y_i \in \mathcal{G}(x)} \min \Big( \rho_i(\theta) A_i,\, \mathrm{clip}\big(\rho_i(\theta), 1-\epsilon, 1+\epsilon\big) A_i \Big) \right]\]

同时加入系数为 \(0.001\) 的 KL 散度正则项以防止更新策略过度偏离初始参考模型。训练基于 verl 框架在 8 张 NVIDIA H200 GPU（4 张训练策略、4 张部署 Qwen3-32B 裁判）上运行 1 个 epoch，批大小为 64，学习率为 \(1 \times 10^{-6}\)，最大生成长度为 8192 tokens。推理评测时模型统一在思考模式下运行（温度 0.6，top-\(p\) 0.95，top-\(k\) 20），从而检验正则化后的思考过程本身是否变得更加忠实可靠。

实验关键数据¶

主实验¶

作者在 Qwen3-4B 和 Qwen3-8B 两个模型规模上，跨 6 个事实性问答基准（SimpleQA、SimpleQA-Verified 简写为 SimpleQA-V、TriviaQA、NQ_Open、PopQA、HotpotQA）进行了全面评测。对比基线涵盖固定模式推理（FixedNoThink、FixedThink）、自适应模式选择（基于 DeBERTa-v3-base 的分类器 AdaptiveCLS、监督微调 AdaptiveSFT、自适应强化学习 AdaptiveRL）以及使用完全相同筛选数据训练的单模式 GRPO 基线（FixedNoThink+RL、FixedThink+RL）。

模型规模	方法	SimpleQA	SimpleQA-V	TriviaQA	NQ_Open	PopQA	HotpotQA	平均 (Average)
Qwen3-4B	FixedNoThink	3.74%	3.80%	39.79%	29.50%	17.07%	27.86%	20.29%
	FixedThink	3.98%	4.10%	46.12%	32.94%	19.05%	30.64%	22.81%
	AdaptiveCLS	3.61%	4.30%	43.91%	30.33%	18.36%	28.43%	21.49%
	AdaptiveSFT	3.35%	4.80%	41.58%	30.28%	17.69%	28.08%	20.96%
	AdaptiveRL	4.23%	4.00%	47.22%	32.49%	19.22%	30.50%	22.94%
	FixedNoThink+RL	4.62%	5.20%	40.14%	30.61%	18.40%	27.70%	21.11%
	FixedThink+RL	4.48%	4.10%	47.44%	33.80%	19.16%	30.89%	23.31%
	MARGO（本文）	6.73%	10.00%	49.12%	34.76%	20.48%	31.82%	25.49%
Qwen3-8B	FixedNoThink	4.16%	4.10%	52.18%	38.64%	22.13%	33.13%	25.72%
	FixedThink	5.04%	4.60%	56.42%	39.94%	23.71%	35.84%	27.59%
	AdaptiveCLS	4.62%	4.30%	54.94%	38.50%	23.21%	34.20%	26.63%
	AdaptiveSFT	4.30%	4.60%	52.38%	38.50%	21.41%	33.88%	25.85%
	AdaptiveRL	5.27%	5.50%	56.05%	40.08%	23.28%	35.64%	27.64%
	FixedNoThink+RL	4.23%	5.60%	53.80%	39.09%	23.22%	34.26%	26.70%
	FixedThink+RL	5.29%	4.90%	56.88%	40.66%	23.85%	35.93%	27.92%
	MARGO（本文）	5.82%	9.00%	58.03%	42.24%	25.23%	37.07%	29.57%

消融实验¶

作者从训练数据筛选策略、通用数学推理能力保持以及生成长度变化三个维度进行了消融与机制验证：

表 2A：训练数据筛选策略消融（Qwen3-4B，对比 5,660 条随机采样 TriviaQA 数据 vs 模式间隙筛选数据）

配置	SimpleQA	SimpleQA-V	TriviaQA	NQ_Open	PopQA	HotpotQA	说明
FixedNoThink	3.74%	3.80%	39.79%	29.50%	17.07%	27.86%	原始非思考基线
FixedThink	3.98%	4.10%	46.12%	32.94%	19.05%	30.64%	原始思考基线
MARGO + Random	3.70%	4.50%	46.14%	32.88%	19.54%	30.34%	随机采样子集训练，提升微弱
MARGO（完整版）	6.73%	10.00%	49.12%	34.76%	20.48%	31.82%	模式间隙筛选数据，全面显著提升

表 2B：数学推理泛化性验证与生成长度统计（AMC23 / AIME24 / AIME25，最大生成长度 32,768）

模型规模	方法	AMC23 (Mean@16 / Pass@16)	AIME24 (Mean@16 / Pass@16)	AIME25 (Mean@16 / Pass@16)	数学平均 Mean@16	TriviaQA 平均长度	NQ_Open 平均长度	PopQA 平均长度
Qwen3-4B	FixedNoThink	67.0 / 92.5	23.3 / 53.3	21.7 / 46.7	37.3	-	-	-
	FixedThink	95.8 / 100.0	73.8 / 83.3	64.4 / 86.7	78.0	1128.45	1192.60	811.13
	MARGO	96.2 / 100.0	73.8 / 90.0	65.4 / 90.0	78.5	1074.61 (-4.77%)	1151.78 (-3.42%)	768.60 (-5.24%)
Qwen3-8B	FixedNoThink	66.1 / 92.5	29.0 / 66.7	21.9 / 43.3	39.0	-	-	-
	FixedThink	94.2 / 100.0	76.0 / 86.7	67.3 / 86.7	79.2	1089.75	1268.82	868.98
	MARGO	94.5 / 100.0	77.5 / 83.3	70.2 / 83.3	80.7	1103.45 (+1.26%)	1287.65 (+1.48%)	869.79 (+0.09%)

关键发现¶

混合模式优势正则化是性能提升的核心来源，而非单纯的 RL 训练或数据筛选：使用完全相同的模式间隙筛选数据，全思考 GRPO（FixedThink+RL）在 Qwen3-4B 和 8B 上仅将平均准确率从 22.81% / 27.59% 微升至 23.31% / 27.92%，且实例级转移分析显示其几乎未能降低致幻翻转率 \(r_{1,0}\)；而引入非思考参考的 MARGO 则进一步跃升至 25.49%（+2.18% vs FixedThink+RL）和 29.57%（+1.65% vs FixedThink+RL），在 SimpleQA-Verified 上更是实现了翻倍级别的提升（4B 从 4.10% 升至 10.00%，8B 从 4.60% 升至 9.00%）。
问题级硬模式选择（Adaptive 系列）在事实问答中失效：无论是外部 DeBERTa 分类器（AdaptiveCLS：4B 21.49% / 8B 26.63%）还是 SFT 模式切换（AdaptiveSFT：4B 20.96% / 8B 25.85%），平均表现甚至不如直接固定开启思考（FixedThink），说明“是否应该思考”无法仅凭问题表面特征静态预判，而在轨迹层面正则化思考内容本身比硬性跳过思考更有效。
不依赖压缩思考长度，且完美保持通用数学推理能力：生成长度统计表明，MARGO 在 4B 上略微缩短输出（-3.42% 至 -5.24%），而在 8B 上反而略微增长（+0.09% 至 +1.48%），证明它并非通过粗暴截断思考链来减少幻觉；同时在 AMC23、AIME24 和 AIME25 上，MARGO 的数学平均 Mean@16 在 4B（78.5 vs 78.0）和 8B（80.7 vs 79.2）上均略超原始思考模型。

亮点与洞察¶

“思考即直答残差”的理论视角与无超参惩罚的优雅实现：将显式思考形式化为叠加在模型直答倾向上的残差 \(\Delta_{\mathrm{res}}(x)\)，并证明只需在 GRPO 采样组中按比例混入同模型的非思考轨迹，组内均值中心化就会自动在优势函数中拆解出 \((1-\alpha)\Delta_{\mathrm{res}}(x)\) 这一残差调节项。这种设计完全复用了标准 GRPO 的损失形式，无需手工拼凑复杂的过程奖励或长度惩罚。
反直觉但极具启发性的实证发现（\(r_{1,0}\) 现象）：作者通过跨 1.7B 到 32B 五个模型尺度的四象限状态转移矩阵，清晰量化了“模型原本知道正确答案，却因为多想了一步而把答案改错”的普遍比例（TriviaQA 上约 5.38%~7.50%，NQ_Open 上高达 4.71%~8.12%），精准揭示了事实检索任务与数学推导任务在测试时计算扩展（Test-Time Scaling）上的本质分歧。
同模型跨模式自参考思想的可迁移性：用同一模型在不同提示模式（如直答 vs 思维链、零样本 vs 上下文增强、简洁模式 vs 详细展开）下的输出混组做 GRPO 基线校准，可以无缝迁移到多模态视觉问答（用纯视觉特征倾向约束过度语言脑补）或代码生成等任何存在“过度推理退化”的强化学习场景。

局限与展望¶

任务范围局限于短答案事实性问答：当前实验主要聚焦于具有明确简短标准答案的事实性 QA 数据集，对于长文本开放式事实生成（如人物传记、长篇综述问答）、多轮交互对话或检索增强生成（RAG）场景下混合模式优势正则化的有效性尚未验证。
训练阶段依赖高成本的大模型裁判与离线多轮采样筛选：数据构建阶段需要对 7.65 万条 TriviaQA 样本在双模式下各采样 6 次并用 Qwen3-32B 判别，训练阶段同样需要分配一半的 H200 GPU（4 张）专门部署 32B 裁判模型，计算开销较高；此外训练仅使用单一人为设定的混合比例 \(\alpha = 0.75\)（6 思考 + 2 非思考），缺乏对不同 \(\alpha\) 配比敏感性的系统消融。
未来改进方向：可以探索根据问题不确定性动态调整组内思考与非思考轨迹的采样比例 \(\alpha(x)\)，或将同模型非思考参考的概率分布直接作为 token 级/句子级的内生奖励信号，从而摆脱对外部 32B 裁判模型的在线服务依赖。

评分¶

新颖性: ⭐⭐⭐⭐ (提出将显式思考视为直答残差的视角，并用混合模式 GRPO 采样组优雅导出残差优势正则项，切入点巧妙且自洽)
实验充分度: ⭐⭐⭐⭐ (覆盖 2 个模型尺度、6 个事实问答基准与 3 个数学竞赛基准，包含详尽的跨尺度状态转移分析与数据筛选消融，唯独缺少混合比例 \(\alpha\) 的超参消融)
写作质量: ⭐⭐⭐⭐⭐ (从现象观察、残差形式化、理论分解推导到实验验证环环相扣，论述极其清晰易读)
价值: ⭐⭐⭐⭐ (揭示了测试时计算扩展在知识密集型任务中的副作用，所提混合模式组归一化技巧简单实用、极易集成到现有 RLVR 管线中)