CurveRL: Principled Distribution-Aware Context Reweighting for LLM Reasoning¶
会议: NeurIPS 2026
arXiv: 2605.24331
代码: https://github.com/zhyzmath/CurveRL
领域: Reasoning
关键词: 强化学习, 提示词重加权, 上下文分布控制, 分位数坐标变换, 泛函导数
一句话总结¶
将大语言模型推理中的提示词重加权形式化为基于效用泛函导数的上下文分布控制，并提出基于分位数变换的自适应重加权算法 CurveRL，利用解题率的排序与密度信息显著提升了模型在极限搜索边界（pass@k）与单次通过率（pass@1）上的 Pareto 前沿。
研究背景与动机¶
基于可验证奖励的强化学习（RLVR）已成为推动大模型复杂数学与代码推理能力跃升的核心驱动力。在以结果正确性为导向的范式下，全轨迹序列决策常被抽象为上下文赌博机（Contextual Bandit）。然而，现有最成功的算法族如 GRPO（群组相对策略优化）及其改进方案（如 Dr.GRPO、MaxRL），其底层权值调节机制大多依赖针对优势归一化或对数似然启发式的经验工程，缺乏严格的一般性理论指引。
这种现状的核心矛盾在于：RLVR 具备标准强化学习所不具备的独特自由度——算法可以直接干预训练时上下文（Prompt）的呈现分布与梯度加权，即「上下文分布控制」；然而现有工作（如样本过滤、静态重加权）均基于解题率绝对数值的逐点映射函数。这一类逐点加权策略必然面临「权重塌缩」（Weight Collapse）瓶颈：在训练早期大多数难题解题率趋近于 0，在训练晚期大量题目解题率趋近于 1，逐点函数赋予它们的梯度权重几乎无差别，无法区分处于当前学习前沿与完全不可解的提示词，导致探索效率低下并诱发 pass@1 与 pass@k 之间的目标冲突与退化。
本文的切入角度是打破针对绝对解题率的静态逐点评估，将提示词加权上升为解题率函数空间上的效用泛函变分，并引入分位数坐标变换来感知全局分布的几何演化。核心 idea：将提示词加权确立为效用泛函的一阶变分（泛函导数），并通过参考分位数累积分布与概率密度构建动态重加权系数，使提示词权重自适应地依赖于其在动态学习池中的相对排名与局部密度。
方法详解¶
整体框架¶
在策略重加权上下文赌博机（PRCB）设定下，给定初始提示词分布 \(d_0\)，策略 \(\pi_\theta\) 对提示词 \(x\) 的期望通过率为 \(p_\theta(x) = \mathbb{E}_{y\sim\pi_\theta(\cdot\mid x)}[r(x,y)]\)。通用的策略梯度形式可表示为根据非负权重 \(w_\theta(x)\) 对提示词梯度进行重缩放：\(\nabla_\theta J(\theta) = \mathbb{E}_{x\sim d_0}[w_\theta(x)\nabla_\theta p_\theta(x)] = Z_\theta \mathbb{E}_{x\sim d_\theta}[\nabla_\theta p_\theta(x)]\)，其实质是诱导了一个策略依赖的有效上下文训练测度 \(d_\theta(x) \propto d_0(x)w_\theta(x)\)。CurveRL 的整体执行流程可划分为「滑动窗口参考分布估计」、「分位数变换自适应重加权」与「组基线策略梯度更新」三个串联阶段。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入提示词批次与策略采样轨迹"] --> B["滑动窗口参考分布估计<br/>直方图统计过去 t0 步解题率密度与CDF"]
B --> C["分位数变换自适应重加权<br/>计算反向风险率权重 wt(p) = f_ref(p) / F_ref(p)"]
C --> D["组基线策略梯度更新<br/>以批内均值为基线执行低方差梯度反向传播"]关键设计¶
1. 效用泛函导数诱导的最优加权理论：化解启发式设计的理论盲目性
针对传统策略梯度算法中重加权规则纯凭启发式设计的问题，本文在 \(L^2(d_0)\) 空间中建立了效用泛函框架。定义定义在解题率函数空间上的效用泛函 \(\mathcal{U}_\theta(p_\theta)\)，对于任意摄动方向 \(h \in L^2(d_0)\)，由 Riesz 表示定理可知泛函的一阶变分（Gateaux 导数）唯一确定了梯度上升最快的边际贡献方向： $\(w_\theta^\star(x) := \frac{\delta \mathcal{U}_\theta}{\delta p_\theta}(x)\)$ 该体系统一了解释空间：当效用退化为逐点标量函数期望 \(\mathcal{U}_\theta = \mathbb{E}_{x\sim d_0}[g(p_\theta(x))]\) 时，泛函导数直接退化为普通导数 \(g'(p_\theta(x))\)，从而将 REINFORCE (\(w=1\))、GRPO 总体形式 (\(w=1/\sqrt{p(1-p)}\)) 和 MaxRL (\(w=1/p\)) 严格囊括为特例。更重要的是，基于熵风险族（Entropic Risk）分析证明了在不同风险偏好（参数 \(\eta\)）下，最优权值在标准 RL 与 MaxRL 之间连续插值，揭示了不存在脱离设计偏好的绝对通用最优权值。
2. 基于分位数坐标变换的分布感知机制：攻克逐点加权的权重塌缩瓶颈
针对逐点加权仅依据绝对数值导致在解题率极低（早期）或极高（晚期）时权值无法区分的问题，CurveRL 引入了基于参考分布 \(F_{\text{ref}}\) 的分位数坐标变换。通过定义畸变风险函数 \(\psi(u) = \log u\)（契合强化学习改善最差分支性能的风险偏好），构建分布感知效用 \(\mathcal{U}_\theta(F_{\text{ref}}) = \mathbb{E}_{x\sim d_0}[\log(F_{\text{ref}}(p_\theta(x)))]\)。在优化步骤中固定 \(F_{\text{ref}}\)，对当前策略参数求导，推导得出等价于反向危险率（Reversed Hazard Rate）的权重函数： $\(w_t(\hat{p}) = \frac{f_{\text{ref}}(\hat{p})}{F_{\text{ref}}(\hat{p})}\)$ 分母 \(F_{\text{ref}}(\hat{p})\) 依据分位数逆序强化处于低分位区间的硬核提示词，而分子密度 \(f_{\text{ref}}(\hat{p})\) 则确保将学习信号集中在当前能力覆盖的活跃区域，避免将梯度浪费在完全超出模型能力的不可解噪声上。此外，定理 1 严格证明任意逐点加权本质上隐式等价于某种静态的先验分布 \(F_{\text{ref}}(p) = \exp(-\int_p^1 w(t)dt)\)；而 CurveRL 则将静态先验转变为随训练进程动态演进的数据驱动参考分布，且具备单调校准不变性（Monotone Calibration Invariance）。
3. 滞后滑动窗口直方图估计器：平衡分布时效性与估计方差
为了在不大幅增加计算和通信开销的前提下在线捕获 \(F_{\text{ref}}\) 与 \(f_{\text{ref}}\)，算法借鉴深度强化学习中目标网络（Target Network）的设计思想，构建了一个容量为 \(t_0 \times |\mathcal{B}|\) 的滑动队列 \(\mathcal{W}\)。队列仅缓存过去 \(t_0\) 步且具备非零梯度信号（即经验通过率 \(\hat{p} \in (0,1)\)）的提示词解题率。对于每次更新，在离散栅格 \(p \in \{\frac{1}{N}, \frac{2}{N}, \dots, \frac{N-1}{N}\}\) 上通过直方图非参数估计快速拟合经验概率密度 \(\hat{f}_{\text{ref}}\) 与累积分布 \(\hat{F}_{\text{ref}}\)。利用滞后参考系平抑单步批次采样的方差，将动态漂移的学习窗口重整为一个平稳、近似均匀的难度谱。
4. 组基线方差削减的策略更新：保障样本级优化的数值稳定性
在确定提示词级加权权重 \(w_t(\hat{p})\) 后，为消除因提示词难度跨度大而导致的策略梯度高方差，CurveRL 采用样本批内组均值 \(\hat{p} = \frac{1}{N}\sum_{i=1}^N r_i\) 作为天然基线： $\(\hat{g}(x) = \frac{1}{N} \sum_{i=1}^N w_t(\hat{p})(r_i - \hat{p})\nabla_\theta \log \pi_\theta(y_i\mid x)\)$ 该式在微观采样级别保持了类似 REINFORCE with Baseline 的无偏方差削减效果，同时在宏观批次级别通过 \(w_t(\hat{p})\) 实现了受控的样本测度重塑，使得梯度的模长轨迹平缓，避免了策略熵骤降。
损失函数 / 训练策略¶
训练过程采用分布式强化学习框架 verl 实现。核心优化器与超参数配置如下： - 模型基底：Qwen3-1.7B-Base 与 Qwen3-4B-Base； - 预训练数据集：POLARIS-53K（约 53,000 道数学推理问题）； - 批次设置：每个批次 \(|\mathcal{B}|=256\) 道题目，每道题目采样 \(N=8\) 条回答轨迹进行规则验证； - 优化超参：学习率 \(1 \times 10^{-6}\)，训练步数 1000 步，KL 惩罚系数 \(\beta=0\)，熵正则系数为 0，滑动窗口步数 \(t_0=10\)； - 验证工具：采用 Math-Verify 进行数学答案等价性精确判定。
实验关键数据¶
主实验¶
在 5 个核心数学基准上评测 Qwen3-1.7B-Base 与 Qwen3-4B-Base，对比 Base 模型、GRPO、MaxRL 与 CurveRL 在 pass@1 与 pass@64 上的表现。
| 模型规模 | 方法 | AIME 2025 (p@1 / p@64) | BeyondAIME (p@1 / p@64) | HMMT 02/25 (p@1 / p@64) | HMMT 02/26 (p@1 / p@64) | MATH-500 (p@1 / p@64) | 平均 (pass@1 / pass@64) |
|---|---|---|---|---|---|---|---|
| 1.7B | Base | 3.1 / 34.6 | 1.1 / 16.9 | 0.2 / 10.6 | 1.1 / 14.1 | 57.1 / 92.8 | 12.5 / 33.8 |
| 1.7B | GRPO | 4.8 / 29.3 | 1.1 / 15.6 | 0.5 / 10.0 | 3.8 / 15.5 | 70.5 / 92.6 | 16.1 / 32.6 |
| 1.7B | MaxRL | 6.7 / 36.5 | 1.3 / 21.8 | 1.3 / 18.4 | 3.2 / 17.7 | 72.1 / 94.0 | 16.9 / 37.7 |
| 1.7B | CurveRL | 7.7 / 40.9 | 1.4 / 23.6 | 1.7 / 19.3 | 3.0 / 21.0 | 71.6 / 94.6 | 17.1 / 39.9 |
| 4B | Base | 6.9 / 44.3 | 4.0 / 23.8 | 1.0 / 22.5 | 3.0 / 20.6 | 67.5 / 95.7 | 16.5 / 41.4 |
| 4B | GRPO | 19.1 / 48.6 | 8.0 / 29.0 | 5.8 / 19.0 | 9.9 / 27.2 | 82.8 / 94.7 | 25.1 / 43.7 |
| 4B | MaxRL | 18.9 / 52.6 | 8.2 / 32.5 | 7.9 / 27.8 | 11.8 / 33.9 | 85.1 / 96.6 | 26.4 / 48.7 |
| 4B | CurveRL | 19.6 / 55.6 | 8.3 / 40.4 | 9.0 / 32.4 | 11.9 / 40.9 | 84.5 / 97.7 | 26.7 / 53.4 |
消融实验¶
针对 CurveRL 核心超参数——滑动窗口大小 \(t_0\) 进行敏感度消融（在 Qwen3-1.7B-Base 上评测）：
| 配置 (\(t_0\)) | BRUMO 2025 (p@1 / p@64) | AIME 2025 (p@1 / p@64) | HMMT 11/25 (p@1 / p@64) | HMMT 02/26 (p@1 / p@64) | MATH-500 (p@1 / p@64) | 平均指标 (pass@1 / pass@64) | 说明 |
|---|---|---|---|---|---|---|---|
| \(t_0 = 1\) (单步即时) | 16.9 / 44.9 | 7.1 / 36.1 | 3.2 / 18.3 | 3.5 / 18.1 | 72.0 / 94.2 | 20.5 / 42.3 | 仅使用单批样本，密度与分位数估计方差显著偏大 |
| \(t_0 = 10\) (默认值) | 18.0 / 45.3 | 7.7 / 40.9 | 3.9 / 20.6 | 3.0 / 21.0 | 71.6 / 94.6 | 20.8 / 44.5 | 在估计方差与策略时效性之间取得最优折中，全列 pass@64 达到最优 |
| \(t_0 = 50\) (大窗口) | 15.8 / 43.3 | 6.0 / 37.5 | 3.6 / 19.9 | 2.5 / 17.5 | 69.3 / 94.1 | 19.4 / 42.5 | 窗口过大卷入过多陈旧历史策略数据，分布估计产生滞后偏置 |
此外，在 2048 次采样多数投票（Majority@2048）评估中，CurveRL 在 BRUMO 2025 上达到 23.3%（Base 13.3%、GRPO 16.7%、MaxRL 16.7%），在 MATH-500 上达到 78.8%（Base 70.0%、GRPO 74.6%、MaxRL 77.2%），验证了其将更多难题推升至可信统计翻转区（\(\hat{p} > 0.5\)）的显著效果。
关键发现¶
- 显著改善 Pareto 前沿与拓展可解边界：在 4B 模型上，相比强基线 MaxRL，CurveRL 在平均 pass@64 上大幅提升了 +9.7%（53.4% vs 48.7%），且平均 pass@1 仍保持最高（26.7% vs 26.4%），彻底扭转了过去 RLVR 训练中 pass@k 大幅退化（低于 Base 模型）的普遍困境。
- 难度分布转移机理：题目可解性谱分析表明，CurveRL 显著减少了完全不可解（\(\hat{p}=0\)）题目的比例（在 BRUMO 2025 上尤其明显），并将更大比例的题目推进至 \(\hat{p} \in (0.5, 1)\) 的中等难度区间，使免奖励的测试时多数投票（Majority Voting）性能大幅受益。
- 训练动力学更加健康稳定：CurveRL 能够有效延缓训练题目滑入零梯度无效区的速度，在整个训练周期内维持更长的思维链生成长度、更高的策略熵以及更平滑的梯度范数演化。
亮点与洞察¶
- 将经验性的提示词重加权统一升维至泛函变分与测度控制视角，通过泛函导数严谨推导最优权重，结束了以往算法仅凭直觉微调权值分母的修补式研究路线。
- 采用分位数坐标变换建立反向危险率加权形式，巧妙利用分布全局几何（排名与密度）攻克权重塌缩，在理论上赋予了算法优异的单调校准不变性。
- 将逐点重加权揭示为静态先验分布的特例，证明了自适应估计参考分布的优越性，为后续探索非平稳 RLVR 训练环境提供了强有力的工具。
局限与展望¶
- 滑动窗口直方图仍依赖于离散化离线统计，在非平稳策略剧烈跳变阶段可能引入一定的局部延迟。
- 泛函导数当前定义在解题率标量映射空间而非高维提示词表征空间，无法直接刻画模型参数微观更新在语义几何层面的交互干扰。
- 未来可探索将连续核密度估计（KDE）引入在线流式分布建模，并将提示词语义相似度纳入泛函核函数中构建更高维的上下文控制策略。
相关工作与启发¶
- vs GRPO: GRPO 依赖群组归一化，其总体对应权值为 \(1/\sqrt{p(1-p)}\)，会在 \(p \to 0\) 和 \(p \to 1\) 两端对称放大权重；CurveRL 证明了该设计等价于固定的正弦变换先验，且在实践中容易被极难样本带偏。CurveRL 依托动态分位数变换，使权值紧跟活跃学习前沿。
- vs MaxRL: MaxRL 引入最大似然优化对数通过率（\(w=1/p\)），等价于假设通过率服从均匀先验分布。但在实际训练中真实解题率高度偏态聚集在零端，均匀假设会导致严重的权值塌缩；CurveRL 通过数据驱动估计真实密度与分位数，显著提升了泛化与探索边界。
- vs 课程学习 (Curriculum Learning): 课程学习通常需要人为设计从易到难的显式外生调度链来追赶不断移动的可学习窗口；CurveRL 则通过分位数重参数化，将移动的可学习窗口映射为近似平稳的统一分位数区间，实现了全自动的内生难度自适应。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从泛函导数与上下文分布控制高度形式化 RLVR 提示词加权，理论深刻且自洽。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 个顶尖数学评测集、两种模型尺度、高达 1024/2048 的丰富采样测试及完整的机制分析。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，数学推导完备，理论视角新颖。
- 价值: ⭐⭐⭐⭐⭐ 为大模型长链推理强化学习提供了极具普适性的即插即用加权算子与理论分析框架。