Calibrating LLMs with Semantic-Level Reward¶

会议: NeurIPS 2026
arXiv: 2605.15588
论文: https://arxiv.org/abs/2605.15588
领域: LLM评测
关键词: 大语言模型校准, 语义级奖励, 强化学习, 语义熵, 不确定性估计

一句话总结¶

针对可验证奖励强化学习（RLVR）与口头置信度校准中易受表层词元扰动与过度自信猜测的弊端，本文提出 CSR 框架，直接在语义空间利用采样生成间的成对语义一致性构建校准奖励，并通过课程学习与 GRPO 联合优化，实现了无需显式置信度接口的高鲁棒语义不确定性校准。

研究背景与动机¶

在大语言模型（LLM）被广泛部署于医疗问答、法律裁决等高风险场景的背景下，模型不仅需要提供准确的回答，更必须具备精准评估自身输出可靠性的置信度校准能力。然而，当前主流基于可验证奖励的强化学习（RLVR）范式普遍采用二值正确性奖励：只要生成答案命中真实标签即赋予正向信号，反之给零奖励。这种机制对模型的置信状态完全不敏感，在结构上诱导模型在不确定时盲目猜测，导致推理模型在 RL 训练后过度自信与幻觉率显著上升。

为缓解这一矛盾，现有工作通常让模型在输出答案的同时附带一个口头置信度数值（如 Rewarding Doubt、RLCR 等），并奖励该数值与实际正确性之间的一致性。但口头置信度本质上是词元（token）层面的生成结果，极度依赖提示词模板与表层文本格式。实证研究表明，面对同一语义答案的不同表述，模型给出的口头置信度往往剧烈波动，且解码分布本身具有极高方差。换言之，现有方法校准的仅是一个脆弱的“报告接口”，而非模型在语义含义层面的真实内在不确定性。

针对口头置信度接口的不稳定性，直接在语义空间建立不确定性度量成为破局关键：当模型对一个问题多次采样时，若正确输出高度聚集在紧凑的语义簇内，而错误输出则高度发散、语义离散，即可通过后验语义熵自然提取可靠的不确定性。本文的核心 idea 是：完全绕过口头置信度接口，利用成对采样的语义一致性作为置信度代理设计语义校准奖励，并结合课程学习调度与 GRPO 算法，协同优化答案正确性与语义不确定性分布。

方法详解¶

整体框架¶

CSR（Calibration with Semantic Reward）的整体流程旨在通过强化学习重塑模型的输出分布，使得采样答案间的成对语义一致性成为正确性的可靠代理。对于每个输入问题，策略模型并行生成 $K$ 条候选回答（rollouts）。环境一方面通过可验证正确性奖励（RLVR）判断每个候选是否命中标准答案；另一方面通过语义等价裁判计算当前候选与其他 $K-1$ 个候选之间的成对语义一致性，并衡量该一致性与自身正确性标签的交叉熵损失，从而生成语义校准奖励。两者通过随训练步数递增的课程权重结合后，利用组相对策略优化（GRPO）无缝完成优势估计与参数更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入问题 x"] --> B["并行采样 K 条回答候选"]
    B --> C["可验证正确性奖励<br/>评估语义命中情况"]
    B --> D["语义校准奖励<br/>评估成对语义一致性"]
    C --> E["课程学习调度<br/>动态平衡正确性与校准"]
    D --> E
    E --> F["组内相对优势计算<br/>GRPO 策略参数更新"]

关键设计¶

1. 可验证正确性奖励：引导语义概率质量向真值转移 为了确保模型在校准过程中不偏离解题准确率的基本盘，CSR 首先为每个采样候选 $C^{(j)} \sim \pi_\theta(\cdot \mid x)$ 赋予一个外部可验证的二值正确性奖励： $$r_{\text{RLVR}}^{(j)} = J(C^{(j)}, C^*) \in \{0, 1\}$$ 其中 $C^*$ 为标准参考答案，语义裁判 $J(\cdot, \cdot)$ 负责判断生成回答与参考答案是否语义等价。该奖励不依赖任何模型内部隐藏状态或中间置信度口头表达，为模型提供稳固的外在监督信号。最大化该项能直接提升预期正确率，将生成分布的概率质量有效拉向正确语义模态并远离错误模态。

2. 语义校准奖励：将组内语义一致性约束为正确性代理 针对口头置信度脱离实际语义分布的问题，CSR 提出以模型内部输出的语义收敛程度作为内在置信度的物理代理。对于单个候选回答 $C^{(j)}$，计算其与组内其他所有候选 $C^{(i)}$（$i \neq j$）的成对语义一致性 $J(C^{(j)}, C^{(i)})$，并要求这一一致性状态与该回答自身的真实正确性标签 $J(C^{(j)}, C^*)$ 严格对齐，其数学形式定义为负平均二值交叉熵： $$r_{\text{calibration}}^{(j)} = -\frac{1}{K-1} \sum_{i \neq j} \mathrm{CE}\left(J(C^{(j)}, C^{(i)}), J(C^{(j)}, C^*)\right)$$ 在数学期望层面，该奖励驱使期望语义一致性 $\mathbb{E}_{C' \sim \pi_\theta(\cdot \mid x)}[J(C^{(j)}, C') \mid C^{(j)}]$ 逼近真实正确性指标 $J(C^{(j)}, C^*)$。当候选正确时，模型被激励使所有采样回答收敛到同一语义簇；而当候选错误时，模型则被惩罚虚假的一致性，迫使错误生成分散在不同的语义模态中，从而在探索中主动降低不确定性置信度。

3. 课程学习调度：规避均场分解下的退化不动点 理论分析表明，若单独优化语义校准奖励，目标在均场近似下分解为两项： $$\bar{r}_{\text{calibration}} \approx \alpha \mathbb{E}\left[\log p_j \mid J(C^{(j)}, C^*) = 1\right] + (1 - \alpha) \mathbb{E}\left[\log(1 - p_j) \mid J(C^{(j)}, C^*) = 0\right]$$ 当初始准确率 $\alpha \to 0$ 时，模型会被迫追求极度分散的错误输出来最大化第二项，导致准确率彻底崩溃；而当 $\alpha \to 1$ 时，模型则退化为单调重复同一答案。为避免这一退化不动点，CSR 构建了动态课程学习奖励： $$r_{\text{CSR}}^{(j)}(t) = r_{\text{RLVR}}^{(j)} + \lambda(t) r_{\text{calibration}}^{(j)}$$ 采用线性调度函数 $\lambda(t) = \lambda_{\min} + (\lambda_{\max} - \lambda_{\min}) \frac{t}{T}$。在训练初期设置较小的 $\lambda_{\min}$，优先借助 RLVR 建立基准解题能力；随着步数推进逐步提升校准权重，实现高准确率与低校准误差的协同优化。

4. 组内相对优势计算：无额外采样开销的 GRPO 原生集成 传统强化学习往往需要额外的价值网络或重度采样，而 CSR 直接采用组相对策略优化（GRPO）。GRPO 原生要求对同一输入问题并行采样 $K$ 个 rollouts，并通过组内均值与方差归一化计算相对优势。这一组结构恰好完全覆盖了成对语义一致性计算所需的全部样本集合。因此，CSR 在训练阶段无需任何额外的模型前向推理或独立置信度标注，实现了对组相对优势的高效原生复用。

损失函数 / 训练策略¶

在测试阶段，CSR 评估时不依赖任何提示词引导或口头置信度输出。模型对输入问题采样 $K=8$ 条回答，利用语义裁判将回答聚类为语义等价类 $\{\mathcal{M}_s\}_{s=1}^S$，计算离散语义熵： $$\mathrm{SE}(x) = -\sum_{s=1}^S \hat{p}(\mathcal{M}_s \mid x) \log \hat{p}(\mathcal{M}_s \mid x)$$ 并将置信度代理定义为负指数变换 $c(x) = \exp(-\mathrm{SE}(x))$。训练中基座模型采用 LoRA（rank=32, alpha=32）微调，批大小为 4 个 prompt（共 32 个 rollouts），学习率 $5 \times 10^{-6}$，KL 散度正则系数 $\beta=0.1$。

实验关键数据¶

主实验¶

论文在域内数据集（HotpotQA）及三个跨领域跨任务分布外数据集（TriviaQA、MSMARCO、NQ-Open）上，对 Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct 和 Mistral-7B-Instruct 进行了系统评测，对比基线包括 Base、RLVR、以及口头置信度方法 RD 与 RLCR。

模型	方法	HotpotQA Acc	HotpotQA ECE ↓	HotpotQA AUROC ↑	TriviaQA ECE ↓	MSMARCO ECE ↓	NQ-Open ECE ↓	全局平均 Tok	全局平均 ECE ↓	全局平均 AUROC ↑
Llama-3.1-8B	Base	0.1795	0.1821	0.7666	0.0587	0.0878	0.1002	443.51	0.1072	0.7518
Llama-3.1-8B	RLVR	0.3030	0.1349	0.8118	0.0243	0.0526	0.0803	312.63	0.0730	0.8053
Llama-3.1-8B	RD	0.2640	0.1150	0.8469	0.0667	0.1656	0.1218	191.50	0.1173	0.7662
Llama-3.1-8B	RLCR	0.2720	0.2137	0.6616	0.1842	0.1347	0.1655	784.71	0.1745	0.6186
Llama-3.1-8B	CSR	0.2746	0.0783	0.8886	0.0196	0.0555	0.0692	293.86	0.0557	0.8076
Qwen2.5-7B	Base	0.2399	0.1555	0.8147	0.0435	0.0822	0.0976	127.76	0.0947	0.7745
Qwen2.5-7B	RLVR	0.2636	0.1559	0.8083	0.0386	0.0839	0.0972	123.52	0.0939	0.7686
Qwen2.5-7B	RD	0.2550	0.1397	0.6910	0.1859	0.1534	0.0907	156.33	0.1424	0.6550
Qwen2.5-7B	RLCR	0.2190	0.2347	0.7312	0.0401	0.0854	0.2171	641.07	0.1443	0.6753
Qwen2.5-7B	CSR	0.2410	0.1159	0.8950	0.0184	0.0550	0.0570	113.27	0.0616	0.8315
Mistral-7B	Base	0.1837	0.1607	0.8183	0.0585	0.0573	0.0638	405.79	0.0851	0.7635
Mistral-7B	RLVR	0.2730	0.1314	0.8112	0.0312	0.0568	0.0401	336.16	0.0649	0.7507
Mistral-7B	RD	0.2940	0.2615	0.7279	0.5820	0.2436	0.2323	193.32	0.3299	0.7255
Mistral-7B	RLCR	0.3090	0.2037	0.6770	0.0666	0.1599	0.1443	839.81	0.1436	0.6505
Mistral-7B	CSR	0.2732	0.0884	0.8748	0.0174	0.0483	0.0354	265.01	0.0474	0.8067

消融实验¶

为了解决 LLM 裁判在高频成对比较中的巨大推理开销，论文对比了采用轻量词元级 F1 阈值裁判（F1 Judge）替代 LLM 裁判的校准表现（在 Llama-3.1-8B 上评估）：

裁判与微调配置	HotpotQA ECE ↓	HotpotQA AUROC ↑	TriviaQA ECE ↓	TriviaQA AUROC ↑	MSMARCO ECE ↓	MSMARCO AUROC ↑	NQ-Open ECE ↓	NQ-Open AUROC ↑	全局平均 ECE ↓	全局平均 AUROC ↑
Base-LLM	0.1821	0.7666	0.0587	0.8209	0.0878	0.7117	0.1002	0.7081	0.1072	0.7518
RLVR-LLM	0.1349	0.8118	0.0243	0.8042	0.0526	0.7138	0.0803	0.6914	0.0730	0.7553
CSR-LLM	0.0783	0.8886	0.0196	0.8577	0.0555	0.7172	0.0692	0.7667	0.0557	0.8076
Base-F1	0.1480	0.8142	0.1445	0.7802	0.1359	0.6361	0.1380	0.6722	0.1416	0.7257
RLVR-F1	0.1723	0.8196	0.1289	0.7544	0.1590	0.6566	0.1749	0.6443	0.1588	0.7187
CSR-F1	0.1023	0.8832	0.1038	0.8346	0.1299	0.6831	0.1267	0.7191	0.1157	0.7800

关键发现¶

校准与区分度的全面优胜：CSR 在三类模型架构及全部域内、域外测试集上均取得了最低的 ECE 与最高的 AUROC。在 Llama 模型上相比 Base 将平均 ECE 从 0.1072 降至 0.0557（降幅达 48%），相比口头置信度基线 RLCR（ECE 0.1745）降低近 68%，且 AUROC 从 0.6186 提升至 0.8076。
卓越的域外泛化性：仅在 HotpotQA 上进行微调后，CSR 学习到的语义聚合结构在 TriviaQA、MSMARCO 和 NQ-Open 上展现出极强的迁移能力，打破了口头置信度极易过拟合特定提示词格式的固有缺陷。
Token 效率与并行优势：口头置信度基线 RLCR 因强制生成长程思维链及置信度自省词元，生成过程完全串行且平均 token 消耗高达 641~839；而 CSR 仅生成短答案，8 个 rollout 可完全并行采样，平均 token 开销仅为 113~293，比 RLCR 节省 2.7× 至 5.7× 的推理算力。
F1 裁判的实用性：采用无参数开销的词元 F1 阈值作为轻量化裁判（CSR-F1），虽然性能略低于 LLM 裁判，但仍显著优于 Base-F1 和 RLVR-F1，为超大规模工业化微调提供了高性价比替代方案。

亮点与洞察¶

跳出口头置信度的表达陷阱：敏锐地揭示了“口头置信度是在校准报告接口而非模型内在置信度”的本质矛盾，转向对输出空间语义结构的几何重塑，思路极具启发性。
理论分析指导课程设计：通过均场近似严格推导了校准奖励在孤立优化时的崩溃与退化机制，并据此引入平滑的课程调度，使得强化学习在保持解题高准确率的同时兼具极致的校准表现。
与 GRPO 的天作之合：巧妙借用 GRPO 的并行 rollout 机制完成组内成对语义一致性评估，未向训练过程引入任何额外的前向采样负担。

局限与展望¶

裁判计算开销与延迟：以大模型充当两两语义等价裁判（LLM-as-a-judge）在训练时面临多次成对调用的延迟瓶颈；虽有 F1 替代方案，但在多句复杂语义上的判别精度仍不及 LLM。
适用任务类型的局限：当前实验主要集中在短实体或事实型问答，对于开放式长文本创作、复杂数学推导等表述空间极度宽泛的任务，如何精准划分语义等价类仍需深入探索。
未来方向：探索基于紧凑轻量嵌入模型的语义一致性判别器，并将语义校准奖励扩展至多跳推理过程中的中间推理步骤。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 摆脱表层口头置信度，首次将强化学习直接作用于语义空间的一致性校准，理论与构思极具原创性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 种主流开源架构、4 个域内外问答数据集，包含完备的消融、代价值分析及 F1 替代裁判验证。
写作质量: ⭐⭐⭐⭐⭐ 理论推导严谨自洽，实证现象剖析透彻，图表呈现清晰规范。
价值: ⭐⭐⭐⭐⭐ 为高可靠大模型部署、幻觉抑制及真实不确定性对齐提供了极具实用价值与理论深度的新范式。