Teaching LLMs to Abstain via Fine-Grained Semantic Confidence Reward¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Notbesidemoon/FiSCoRe
领域: 幻觉检测
关键词: 幻觉缓解, 选择性拒答, 语义置信度, GRPO, 知识边界
一句话总结¶
针对现有大模型拒答对齐依赖粗粒度全局信号导致知识边界模糊的问题,本文提出基于细粒度语义置信度奖励的强化学习框架 FISCORE,利用语义聚类簇大小刻画样本级置信度并通过 GRPO 对齐,同时提出单调敏感的可靠性度量指标 F1rel。
研究背景与动机¶
大语言模型在多领域任务中展现出卓越的生成能力,但其内在的幻觉问题(面对超出自身知识边界的问题时捏造似是而非的错误事实)始终严重威胁着模型在高风险场景中的部署安全。为了缓解幻觉,让大模型学会「知之为知之,不知为不知」的选择性拒答(selective abstention)成为关键的对齐手段。现有监督微调方法通常依赖模型的答题准确率将训练样本划分为「已知」与「未知」两类,或借助语义熵等不确定性度量将不确定问题替换为拒答标签。
然而,现存拒答对齐方案普遍依赖粗粒度的全局信号(例如单一的二元正确性标签或整组采样的全局语义熵标量)来指导模型的拒答决策。这些方法完全忽略了同一提示下不同候选输出之间细致的样本级置信度差异,导致模型学到的知识边界模糊且僵硬——在实际推理中,模型往往走向两个极端:要么在面对原本可回答的已知问题时过度拒答而牺牲帮助性(helpfulness),要么在面对低置信度生成时未能及时弃权而输出严重幻觉。
这种失效的核心症结在于:现有不确定性评估将多路采样压缩为一个单一的全局标量,无法为采样轨迹中的每一个具体候选回答提供差异化的置信度监督。本文的切入角度是,大模型生成的内在置信度天然蕴含在多路候选回答的语义共识度之中,且该信号完全可以在样本粒度上直接解耦。核心 idea:将多路采样的语义聚类簇大小转化为样本级的细粒度置信度奖励,在 GRPO 框架下引导大模型为高共识回答表达确定、对低共识回答表达不确定以触发拒答,并提出严格惩罚幻觉错误的综合可靠性指标 \(F1_{\text{rel}}\)。
方法详解¶
整体框架¶
FISCORE(Fine-grained Semantic Confidence Reward)是一个基于强化学习的拒答对齐框架。模型在接收到输入问题后,在 Rollout 阶段生成包含回答内容与置信度自评标签的结构化输出;随后,系统利用外部双向自然语言推理模型(NLI)对同一问题下的成组候选回答进行语义等价性聚类;最后,根据每个回答所属语义簇的样本容量(即语义共识度)判定其实际置信度,并结合真实答案准确率与格式规范计算加权奖励,驱动策略网络通过群组相对策略优化(GRPO)更新参数。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入问题 x"] --> B["GRPO 策略采样生成 G 个候选<br/>输出 answer 与 confidence 标签"]
B --> C["语义聚类与样本级置信度计算<br/>DeBERTa 双向蕴涵聚合等价簇"]
C --> D["细粒度语义置信度奖励 Rc<br/>大簇奖励 sure,小簇奖励 unsure"]
B --> E["辅助奖励计算<br/>真实性 Ra 与格式规范 Rf"]
D --> F["优势归一化与策略优化<br/>GRPO 目标更新模型参数"]
E --> F
F -->|输出收敛策略| G["推理期单次贪婪解码<br/>输出 unsure 即执行事后拒答"]
关键设计¶
1. 细粒度语义置信度奖励:突破全局不确定性聚合瓶颈
以往基于语义熵的方法(如 SE-Tuning 或 GRPO-SE)会将 \(G\) 个采样的语义分布汇总为单个全局熵值 \(H(x)\),对整组候选施加完全相同的拒答标签,抹杀了组内样本的置信度异质性。FISCORE 首先借助预训练 NLI 模型(DeBERTa-v2-xlarge-mnli)判定候选回答之间的双向蕴涵关系,将语义等价的回答贪婪归入同一簇 \(C_i\)。由于生成样本间的语义共识度直接反映模型的内在确定性,大簇对应高置信度回答,而单例或小簇则代表分歧与偶发猜测。设定拒答门限 \(\tau = \lceil G / 2 \rceil\),若某 rollout 所在的簇规模 \(|C_i| \ge \tau\),则目标置信度标签 \(\hat{U}_i = \text{sure}\);反之若 \(|C_i| < \tau\),则目标标签 \(\hat{U}_i = \text{unsure}\)。样本级置信度奖励定义为模型显式声明的标签 \(U_i\) 与目标的一致性:
这种机制赋予了强化学习辨别「即使在整体不确定场景下,某个主流语义簇依然值得被保留,而偏离共识的离群输出应当被抑制」的能力。
2. 辅助准确率与结构化格式奖励:规避共识作弊与解析退化
单纯依赖共识奖励存在严重的「奖励作弊(reward hacking)」风险:模型可能迅速收敛到输出一个统一但完全捏造的错误高频答案,从而以虚假的簇大小骗取满额的 \(R_c\)。为彻底根除这一退化模式,FISCORE 引入基于真实标签的辅助准确率奖励 \(R_a\):当且仅当模型输出的答案与 Ground Truth 语义等价时赋值为 1,否则为 0。同时,为了稳定支持无歧义的规则抽取,设计了涵盖前后置标签存在性及「先回答再表达置信度」顺序的格式奖励 \(R_f\):每个规范标签贡献 0.125,正确的前后顺序贡献 0.5。总奖励定义为:
实验设定权重 \(w_c = 1, w_a = 4, w_f = 2\)。机制上实行硬性约束:只有当格式完全正确(\(R_f = 1\))时,置信度奖励与准确率奖励才被允许计入,从而保证语义聚类解析的鲁棒性。
3. GRPO 策略优化与推理期零开销事后拒答:群组相对更新与快速部署
该方法采用无需额外 Critic 网络的群组相对策略优化算法(GRPO)。针对同一问题 \(x\) 采样的 \(G\) 个候选回答 \(Y = \{y_1, \dots, y_G\}\),GRPO 利用组内奖励的均值与标准差完成优势估计 \(\hat{A}_{i,t}\),并在近端策略裁剪和 KL 散度约束下更新策略参数 \(\theta\):
在训练完成后,模型在部署推理阶段无需进行任何多次采样或聚类。系统仅需执行单次标准的贪婪解码(Greedy Search),模型自主按顺序生成 <answer> 与 <confidence>。只要置信度部分解码为 unsure,系统即判定模型对该答案缺乏把握并执行事后拒答(post-hoc abstention),将昂贵的聚类开销完全锁闭在离线训练阶段。
4. 严格单调敏感的可靠性度量指标 \(F1_{\text{rel}}\):修补传统度量的负向激励漏洞
模型拒答的核心困境在于帮助性(\(F1_{\text{ans}}\),考查已知问题的回答保留率)与真实性(\(F1_{\text{abs}}\),考查未知问题的有效拒答率)此消彼长。以往业界采用的 Reliability Score(RS)被作者指出存在严重的理论漏洞:其对未知问题上的错误回答数 \(N_4\) 的偏导数 \(\frac{\partial \text{RS}}{\partial N_4}\) 在极端情况下大于 0,竟会错误奖励盲目猜测。为此,本文将可靠性定义为帮助性与真实性的调和平均数:
数学求导严格证明其偏导数 \(\frac{\partial F1_{\text{rel}}}{\partial N_4} \le 0\) 恒成立,确保任何增加严重幻觉错误的行为都受到单调惩罚,为拒答对齐提供了坚实的评价标尺。
实验关键数据¶
主实验¶
论文在关系预测数据集 Pararel(域内,ID)上进行训练,并在 Pararel 验证集以及三个域外(OOD)知识密集型 QA 基准(TriviaQA、Natural Questions、SciQ)上进行全面评测。主干模型包含 Llama3-8B-Instruct 与 Qwen2.5-7B-Instruct。
| 模型与基准 | 指标 | FISCORE (本文) | GRPO-SE (强RL基线) | R-Tuning (SFT代表) | ICL-IDK (提示工程) |
|---|---|---|---|---|---|
| Llama3-8B / Pararel (ID) | \(F1_{\text{rel}}\) / Acc | 74.3 / 59.4 | 73.9 / 35.1 | 79.0 / 40.5 | 63.2 / 31.7 |
| Llama3-8B / TriviaQA (OOD) | \(F1_{\text{rel}}\) / Acc | 70.8 / 61.7 | 65.0 / 47.3 | 49.5 / 26.3 | 44.5 / 55.3 |
| Llama3-8B / NQ (OOD) | \(F1_{\text{rel}}\) / Acc | 61.3 / 21.7 | 49.5 / 13.0 | 43.5 / 10.8 | 53.0 / 18.1 |
| Llama3-8B / SciQ (OOD) | \(F1_{\text{rel}}\) / Acc | 62.3 / 52.4 | 57.0 / 46.4 | 39.5 / 14.6 | 54.5 / 56.4 |
| Qwen2.5-7B / Pararel (ID) | \(F1_{\text{rel}}\) / Acc | 76.6 / 51.9 | 79.0 / 31.7 | 82.7 / 31.8 | 64.1 / 27.4 |
| Qwen2.5-7B / TriviaQA (OOD) | \(F1_{\text{rel}}\) / Acc | 81.1 / 51.3 | 72.0 / 41.6 | 54.4 / 15.1 | 56.6 / 44.9 |
| Qwen2.5-7B / NQ (OOD) | \(F1_{\text{rel}}\) / Acc | 66.8 / 20.4 | 55.3 / 14.2 | 38.7 / 4.5 | 43.3 / 19.4 |
| Qwen2.5-7B / SciQ (OOD) | \(F1_{\text{rel}}\) / Acc | 64.6 / 58.0 | 61.0 / 50.7 | 48.3 / 19.9 | 24.5 / 60.5 |
消融实验¶
基于 Qwen2.5-7B-Instruct 在 TriviaQA 数据集上对奖励组件与拒答门限进行消融。
| 配置 | \(F1_{\text{ans}}\) | \(F1_{\text{abs}}\) | \(F1_{\text{rel}}\) | Acc | 说明 |
|---|---|---|---|---|---|
| FISCORE 完整模型 (\(\tau=5, w_a=4\)) | 83.3 | 79.1 | 81.1 | 51.3 | 完整三模块奖励平衡状态 |
| w/o 格式奖励 (\(R_f\)) | 71.5 | 43.6 | 54.2 (-26.9) | 51.5 | 标签解析失准破坏聚类置信度 |
| w/o 置信度奖励 (\(R_c\)) | 69.5 | 2.1 | 4.1 (-77.0) | 56.1 | 模型完全丧失主动拒答能力 |
| 连续置信度奖励 (Continuous) | 83.0 | 82.9 | 82.9 (+1.8) | 49.1 | 细粒度分值赋予更平滑的拒答边界 |
| 门限 \(\tau = 3\) | 79.3 | 65.6 | 71.8 | 54.7 | 偏向积极回答,拒答率不足 |
| 门限 \(\tau = 7\) | 74.7 | 81.2 | 77.8 | 36.5 | 偏向保守拒答,帮助性受损严重 |
| 准确率权重 \(w_a = 0\) | 0.0 | 98.2 | 0.0 | 2.3 | 发生奖励作弊,模型全盘拒答 |
关键发现¶
- OOD 泛化鲁棒性显著超越 SFT:传统 SFT 方法(如 R-Tuning)在 ID 数据上表现优异(\(F1_{\text{rel}}\) 达 79.0/82.7),但在 TriviaQA 等 OOD 任务上灾难性暴跌至 49.5/54.4。FISCORE 凭借细粒度强化学习,在域外仍稳定保持在 70.8 和 81.1,展现出强大的越域泛化能力。
- 细粒度置信度优于全局熵:FISCORE 与 GRPO-SE 共享相同的 RL 优化算法和骨干网络,唯一的区别在于样本级聚类标记 vs 全局熵标量。在所有 OOD 测试集中,FISCORE 的 \(F1_{\text{rel}}\) 显著领先 GRPO-SE 5.3 到 11.5 个点,证明细粒度监督信号是精准刻画知识边界的关键。
- 知识容量与元认知边界分离:实验对比发现,Llama3-8B 的原始问答准确率普遍高于 Qwen2.5-7B,但在拒答微调后的 \(F1_{\text{rel}}\) 上反而落后于 Qwen2.5-7B。这揭示出模型的「知识储备」与「对自身知识边界的感知能力(元认知)」并非等价。
亮点与洞察¶
- 簇大小作为样本级内在置信度代理:巧妙利用外部 NLI 贪婪聚类将多路 Rollout 的语义共识直接映射为离散的样本级奖励信号,彻底跳出了语义熵单标量聚合的局限。
- 理论推导修正行业评价指标缺陷:严格证明了主流 Reliability Score 在纯未知分布下的负向导数缺陷,提出单调严谨的 \(F1_{\text{rel}}\) 指标,为幻觉与拒答研究奠定了稳固的评测基准。
- 训练开销与推理轻量化解耦:虽然训练阶段需要通过多路采样与 NLI 双向蕴涵进行聚类计算,但在测试部署阶段仅需单次贪婪前向推理即可利用
<confidence>标签实现近乎零延迟的事后弃权。
局限与展望¶
- 阈值超参固化:当前离散模式下拒答门限 \(\tau\) 需在训练前硬编码(如固定为 5),无法在部署后根据各业务下游场景的幻觉容忍度进行动态阈值调节。
- 双重生成的认知偏差:模型在同一轮次中依次生成 answer 与 confidence,先行生成的回答 token 隐状态可能会反向引入肯定性认知偏差(cognitive bias)。
- 模型体量与预训练域限制:实验主要覆盖 7B/8B 量级及单一关系型数据集 Pararel,更大规模模型(如 70B+)及更复杂长文本推理任务中的泛化效果仍有待进一步验证。
相关工作与启发¶
- vs R-Tuning / SE-Tuning: 传统方法通过 SFT 将不确定样本强制改写为「I don't know」,属于模式记忆且极易导致域外崩塌;FISCORE 采用强化学习并在保留回答的同时输出置信度,兼顾了帮助性与泛化性。
- vs GRPO-SE: GRPO-SE 采用全局语义熵分配单一组标签,抹杀了样本间分歧;FISCORE 深入到每个样本在语义簇中的位置与贡献,提供更精细的梯度更新信号。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 细粒度语义置信度奖励与有针对性推导的 \(F1_{\text{rel}}\) 指标设计视角独特且切中要害。
- 实验充分度: ⭐⭐⭐⭐☆ 涵盖 2 个主力开源底座、4 个跨域数据集以及详尽的消融对比与数学证明。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密,图文对照清晰,指标推导与理论反例论证极为有力。
- 价值: ⭐⭐⭐⭐⭐ 为解决大模型幻觉与安全拒答对齐提供了高性能、可落地的通用范式。