UCPO：不确定性感知的策略优化¶

会议: ICML2026
arXiv: 2601.22648
代码: https://github.com/xzhouzeng/ucpo
领域: LLM推理
关键词: 不确定性表达, 强化学习, 策略优化, 可信AI, 过度自信缓解

一句话总结¶

UCPO 通过三元优势解耦（TAD）和动态不确定性奖励调整（DURA）两个机制，解决了现有RL范式中固定不确定性奖励导致的优势偏差问题，使LLM能在知识边界处可靠地表达不确定性，在Qwen3-8B上数学推理PAQ达到79.63%。

研究背景与动机¶

领域现状：LLM在复杂推理任务上表现出色，但在面对超出自身知识边界的问题时倾向于过度自信地给出错误断言（hallucination），这是高风险场景部署的核心障碍。构建可信AI要求模型具备"知道自己不知道"的元认知能力。

现有痛点：现有的不确定性对齐方法分两条路线：(1) SFT路线——用带有弃权标签的数据集做模仿学习，但数据合成成本高且静态数据无法捕捉推理时的动态不确定性；(2) RL路线——给不确定响应分配固定中间奖励（如0.5），但这种静态奖励对超参数极度敏感。在高难度任务上模型会"奖励黑客"——通过过度拒绝来获取稳定奖励（回避退化）；在简单任务上不确定性信号被正确答案的高奖励淹没，导致模型仍然过度自信。

核心矛盾：GRPO等RL框架在引入三元奖励（正确/错误/不确定）后产生了根本性的"优势偏差"——在高性能区间，不确定样本的优势变为负值（多数人压制），模型被惩罚而非鼓励表达怀疑；在低性能区间，不确定样本的优势主导梯度（奖励黑客），模型退化为全部输出不确定。

本文目标：设计一个自适应的RL框架，在不需要穷举调超参数的情况下，让LLM在三元决策空间（正确/错误/不确定）中达到动态平衡。

切入角度：从理论上分析固定奖励在GRPO框架中导致优势偏差的数学机制——不同性能区间下不确定样本的优势函数符号会翻转，这是静态奖励无法解决的结构性问题。

核心 idea：将确定性路径和不确定性路径解耦到独立通道进行优势估计（消除语义干扰），同时根据模型实时能力和样本难度动态调整不确定性奖励权重。

方法详解¶

整体框架¶

UCPO 在标准 GRPO 框架上进行两处关键修改：(1) 用三元优势解耦（TAD）替换全局优势归一化——将 \(G\) 个 rollout 分为确定性集合 \(\mathcal{S}_{det}\)（正确+错误）和不确定性集合 \(\mathcal{S}_{unc}\)，分别在独立通道中计算优势；(2) 用动态不确定性奖励调整（DURA）替换固定中间奖励——根据当前批次中正确/错误/不确定的比例实时调整不确定性通道的增益系数 \(\gamma(q)\)。输入是问题 \(q\)，模型生成 \(G\) 个响应，每个响应被分类为正确、错误或不确定三类之一。

关键设计¶

三元优势解耦（TAD）:
- 功能：消除确定性信号和不确定性信号之间的梯度干扰
- 核心思路：将 \(G\) 个 rollout 分为确定性集合和不确定性集合。确定性通道内部独立归一化：\(\hat{A}_{i,t}^{det} = (r_i - \text{mean}(\mathbf{r}_{det})) / (\text{std}(\mathbf{r}_{det}) + \epsilon)\)，确保正确路径获得正强化、错误路径获得负惩罚。不确定性通道的优势定义为正确样本优势的动态投影：\(\hat{A}_{i,t}^{unc} = \gamma(q) \cdot \hat{A}_{right}\)，以正确样本的优势作为"性能锚点"，让不确定性的激励随模型当前最高推理能力动态缩放。当一组 rollout 缺少正确或错误样本时，执行非三元过滤（NTF）丢弃该样本
- 设计动机：在标准GRPO的全局归一化中，当正确样本占多数时，不确定样本的优势被拉为负值——模型因"表现低于平均"而被惩罚，即使它的谨慎是合理的（多数人压制效应）。解耦后，不确定性信号不再与全局性能平均竞争
动态不确定性奖励调整（DURA）:
- 功能：根据模型实时能力和样本难度自适应调整不确定性通道的增益系数
- 核心思路：增益系数 \(\gamma(q)\) 由两项组成——不确定性增益项 \((P_w/(P_u + P_w + \epsilon))(1 - P_u)\) 和不确定性抑制项 \(w \cdot (P_r/(P_r + P_w + \epsilon))P_u\)，其中 \(P_r, P_w, P_u\) 分别是当前组中正确/错误/不确定 rollout 的比例。增益项在错误率高时放大不确定性激励（鼓励从错误断言转向诚实怀疑），并用 \((1-P_u)\) 防止饱和到全部弃权；抑制项在模型能力增强时（\(P_r\) 增大）惩罚不必要的回避，推动模型给出确定性正确答案
- 设计动机：固定奖励 \(r_u\) 无法适应模型训练过程中的能力变化和不同样本的难度差异。DURA让不确定性通道成为一个"调节缓冲区"——训练早期抑制幻觉，后期推动模型走向确定性精度
非三元过滤（NTF）与低资源扩展（LRE）:
- 功能：处理极端分布和小 rollout 组的鲁棒性
- 核心思路：NTF过滤掉缺少正确或错误 rollout 的组（类似标准GRPO中全对/全错组的零优势处理）。LRE通过批级平滑和非线性映射应对小组 rollout 下增益估计的高方差问题
- 设计动机：在 \(G\) 较小时（如 \(G=4\)），单组内的三元比例估计噪声大，会导致 \(\gamma(q)\) 剧烈波动，NTF+LRE确保训练稳定性

实验关键数据¶

主实验（数学推理，PAQ指标）¶

方法	AIME24	AMC	MATH500	Minerva	OlympiadBench	平均PAQ
Qwen3-8B Baseline	73.33	91.57	96.80	45.96	69.63	75.46
GRPO	77.01	88.35	96.46	47.18	69.22	75.64
GRPO-UC (r_u=0.2)	83.75	88.98	96.31	48.60	70.68	77.66
UCPO	86.11	91.95	97.28	49.15	73.67	79.63
Llama-3.1-8B Baseline	3.33	15.66	45.80	15.81	14.96	19.11
GRPO-UC (r_u=0.5)	0.00	21.43	57.61	26.16	19.28	24.90
UCPO	5.13	28.12	60.95	22.50	25.56	28.45

消融实验（Llama-3.1-8B，数学推理）¶

配置	不确定性比例	PAQ	F1
w/o TAD	50.33	22.56	16.21
w/o DURA	79.91	35.22	13.16
w/o NTF	37.96	28.51	22.93
w/o LRE	43.19	27.83	21.12
Full UCPO	39.09	28.45	22.65

关键发现¶

GRPO-UC的固定奖励极度脆弱：在Llama-3.1-8B的数学任务上，\(r_u \geq 0.5\) 触发奖励黑客，不确定性比例飙升至100%，F1崩溃到个位数（9.01）；而在通用任务上 \(r_u = 0.2\) 又不够激励不确定性学习
去掉TAD后PAQ大幅下降（28.45→22.56），去掉DURA后不确定性比例飙升到79.91%（奖励黑客），证明两个组件各自不可或缺
UCPO在Qwen3-8B上平均PAQ达79.63%，比最佳GRPO-UC变体高出约2个百分点，且无需调节 \(r_u\) 超参数
组大小 \(G=8\) 在PAQ上最优，\(G=16\) 在F1上更好，说明更大的组提供更稳定的优势估计

亮点与洞察¶

将不确定性优势锚定到正确样本优势 \(\hat{A}_{unc} = \gamma(q) \cdot \hat{A}_{right}\) 是一个优雅的设计：它让不确定性的激励自动跟随模型当前的推理峰值能力缩放，既避免了全局归一化的压制效应，又防止了固定奖励的黑客风险。这个"性能锚定"思路可迁移到任何需要多类型奖励平衡的RL场景
DURA的双项公式实现了一个自稳定系统：错误多时鼓励弃权，能力强时抑制弃权。这种自适应机制相比手动调 \(r_u\) 是本质性的进步——从"一个超参数适配所有"变为"根据当前状态自动调节"
论文对三元不平衡问题的理论分析非常清晰——用三元图可视化不同性能区间下优势函数的行为，直观揭示了固定奖励失败的数学机制

局限与展望¶

作者承认 rollout 类型分布（\(P_r, P_w, P_u\) 的初始比例）可能影响不确定性学习，但未充分探索
在多选题场景下，F1可能因将"碰巧猜对"转为不确定而下降——UCPO优化的是可靠性（PAQ）而非覆盖率
DURA的增益公式依赖组内统计量，在极端分布下（如全部正确或全部错误）可能退化，需要NTF兜底
未来可探索连续化的不确定性表达（如置信度分数）而非离散的弃权决策