Think-with-Rubrics: From External Evaluator to Internal Reasoning Guidance¶

会议: NeurIPS 2026
arXiv: 2605.07461
OpenReview: https://openreview.net/forum?id=bJbfVJRNJX
代码: 待开源
领域: 对齐/RLHF
关键词: 指令遵循, Rubric生成, 强化学习, 自我进化, DAPO

一句话总结¶

将评估标准（Rubric）从传统的外部事后奖励器内化为模型生成回答前的显式思考步骤，并通过自生成与黄金 Rubric 双源一致性奖励进行 DAPO 优化，在 IFEval 等基准上大幅提升指令遵循准确率并展现无外部标注下的自我进化潜力。

研究背景与动机¶

强化学习在数学、代码等具有确定验证规则的任务上取得了显著成功，但在开放式、无法形式化验证的复杂指令遵循场景中，缺乏客观的真值奖励信号成为制约模型对齐的核心瓶颈。针对这一痛点，近年来学术界提出了将评估量表作为奖励（Rubric-as-Reward）的范式，通过结构化的离散准则集合将多约束任务分解为可解释的目标维度，并依据准则满足率构建奖励。然而，现有工作普遍将 Rubric 视作独立的外部评估器（Post-hoc External Evaluator），仅在模型生成完整回答后进行事后判分，使得高质量的标准只能衡量答案优劣，却无法在生成过程中主动指导模型的思维轨迹与推理决策。

这种外部评估器与生成过程割裂的深层矛盾在于：复杂指令通常包含大量正交甚至相互隐性制约的要求，模型在自回归解码时缺乏显式的内部约束追踪机制。即便通过思维链（CoT）进行自由式思考，模型也往往在思考阶段识别出了约束却在最终输出中遗漏（即思考与回答间存在严重的内部不一致性）。人类在面对复杂决策时的元认知过程往往遵循“先明确达成目标需满足的各项标准，再依循标准行动”；同时，大语言模型的评估能力与求解能力之间存在紧密的潜在协同效应。将这一认知过程迁移到模型推理内部，将事后标准转变为事前思维支架，是打破指令遗漏困境的自然出路。

本文的切入角度是：不再让 Rubric 孤立地留在环境奖励端，而是将其显式整合进策略模型的自回归生成轨迹中，使模型在输出最终答案前必须先构建解题的判定量表。核心 idea：将开放式指令遵循形式化为「先生成结构化 Rubric、再基于该 Rubric 生成最终回答」的二阶段轨迹分解，在强化学习中利用黄金 Rubric 与自生成 Rubric 的双源一致性联合奖励提供密集监督，将外部评估器内化为主动推理引导。

方法详解¶

整体框架¶

Think-with-Rubrics 的核心思路是将模型的输出轨迹分解为两步：输入任务指令 \(x\) 后，策略模型 \(\pi_\theta\) 首先生成任务相关的评估量表 \(\hat{r} \sim \pi_\theta(\hat{r} \mid x)\)，随后在指令 \(x\) 与自生成量表 \(\hat{r}\) 的联合条件下生成最终答案 \(y \sim \pi_\theta(y \mid x, \hat{r})\)，使得联合概率分布严格满足 \(\pi_\theta(\tau \mid x) = \pi_\theta(\hat{r} \mid x) \cdot \pi_\theta(y \mid x, \hat{r})\)。整个训练流程划分为两个阶段：第一阶段采用从强模型（Gemini-2.5-Flash）蒸馏的轨迹对基础模型进行监督微调（SFT Warm-up），使其稳定掌握 <rubric>...</rubric><answer>...</answer> 的结构化格式；第二阶段通过轻量级专用检验器（Rubric Verifier）进行单次前向批量判决，结合外部黄金准则与自生成准则的一致性奖励，使用 DAPO 算法优化策略。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入指令 x"] --> B["结构化轨迹分解与引导生成<br/>生成自适应 Rubric 并以此为约束产出回答"]
    B --> C["细粒度 Rubric 检验器评估<br/>专用 Verifier 分层计算硬规则与原则遵从度"]
    C --> D["双源一致性与防欺骗混合奖励<br/>联合计算黄金一致性、自一致性与格式奖励"]
    D --> E["策略模型 DAPO 强化学习优化<br/>无 KL 约束策略梯度更新参数"]

关键设计¶

1. 结构化轨迹分解与引导生成：将隐式约束显式物化为内部思维支架

针对自由式思维链易出现“想到了却没做到”的内部不一致缺陷，该设计强制模型在输出最终答案标签 <answer> 之前，必须在 <rubric> 标签内显式物化任务准则。量表内部严格解耦为两类标准：硬性规则集合 \(c_{\text{hard}}\)（包含格式限制、字数边界、语言限制等不可违背的刚性约束）与质量原则集合 \(c_{\text{principle}}\)（涵盖完整性、专业性、帮助性等高阶主观质量要求）。通过这种因果条件依赖设计，模型从被动的任务执行器转变为主动的规则定义者，将长文本上下文中的隐式指令转换为紧凑可见的检查清单，平均思考长度从自由式 CoT 的 401 tokens 显著压缩至 231 tokens，实现了精炼且高聚焦的思维引导。

2. 细粒度 Rubric 检验器与加权遵从度度量：高效稳定的单次多准则判据

直接调用闭源大模型作为单条规则判断的奖励信号会导致训练效率低下且方差巨大。为此，该方案通过监督微调从 Qwen3-32B-Instruct 蒸馏得到一个轻量级 Qwen3-8B 专用检验器 \(\mathcal{V}\)。检验器输入给定的量表与候选回答对 \((r, y)\)，在单次前向传播中对所有准则进行联合判决，判定每个准则 \(c_k\) 是否被满足（\(v_k \in \{\text{met}, \text{not met}\}\)）。为了反映不同约束的重要性差异，引入加权遵从度打分函数：

\[S(y,r) = \frac{w_{h}\sum_{c_{i}\in c_{\text{hard}}}\mathbb{I}[\mathcal{V}(y,c_{i})=\text{met}]+w_{p}\sum_{c_{j}\in c_{\text{principle}}}\mathbb{I}[\mathcal{V}(y,c_{j})=\text{met}]}{w_{h}|c_{\text{hard}}|+w_{p}|c_{\text{principle}}|}\]

在默认配置中设定 \(w_h = 2, w_p = 1\)，对违背刚性指令的行为施加两倍惩罚，为后续奖励计算提供了兼具区分度与稳定性的归一化标量基准。

3. 双源一致性与防欺骗混合奖励机制：驱动隐式对齐与自我进化的多目标信号

为解决自生成思维缺乏显式标准监督容易退化、以及外部奖励无法约束自一致性的双重挑战，总轨迹奖励设计为三部分加权和：

\[R(\tau) = \alpha R_{\text{gold}} + \beta R_{\text{self}} + \gamma R_{\text{fmt}}\]

其中外部黄金奖励 \(R_{\text{gold}} = S(y, r^\star)\) 衡量回答与数据集标准量表 \(r^\star\) 的吻合度；自生成一致性奖励 \(R_{\text{self}} = S(y, \hat{r})\) 衡量回答是否严格践行了模型自己提出的准则 \(\hat{r}\)。模型无需对自生成量表本身的文本质量进行昂贵的监督微调或直接对比——当且仅当回答同时满足 \(S(y, \hat{r}) \uparrow\) 与 \(S(y, r^\star) \uparrow\) 时，自生成量表便被隐式推向黄金标准（\(\hat{r} \approx r^\star\)）。此外，为杜绝模型通过生成极少量琐碎或极易满足的空洞准则来刷取自一致性奖励（Reward Hacking），格式奖励基于标准数据集的准则数量分布构建非线性惩罚：

\[R_{\text{fmt}} = \mathbb{I}[\text{parseable}] \cdot \max\left(0, 1 - \frac{|n(\hat{r}) - 10|}{5}\right)\]

该设计迫使模型生成的准则数量严格锚定在 5 到 15 项的合理区间（在 10 项时取得极大值 1），有效保障了生成量表的严谨度与信息量。

损失函数 / 训练策略¶

在 SFT 预热阶段，模型使用标准自回归交叉熵损失 \(\mathcal{L}_{\text{SFT}}\) 拟合教师轨迹 \(\tau = (\hat{r}, y)\)，以 1e-5 的学习率和 DeepSpeed ZeRO-3 在 5k 条精选样本上训练 3 个 epoch。在 RL 强化学习阶段，采用无 KL 散度惩罚的大规模强化学习算法 DAPO（Decoupled Advantage Policy Optimization），使用 veRL 框架部署在 8 张 H20 GPU 上运行 120 步。每个 batch 采样 32 个 prompt 并对每个 prompt 展开 8 条 rollout 轨迹，学习率设为 1e-6（配合余弦退火与前 10 步线性预热），截断比率设定为 \(\epsilon_{\text{low}} = 0.2, \epsilon_{\text{high}} = 0.28\)，采样温度为 1.0。混合奖励超参数设定为 \(\alpha=0.3, \beta=0.5, \gamma=0.2\)。

实验关键数据¶

主实验¶

在代表严格复杂指令遵循能力的 IFEval、IFBench 和 InfoBench 三大权威基准上，对基于 Qwen3-8B-Base 的各类策略展开评测。其中 IFEval 与 IFBench 采用严格模式（Strict Evaluation），汇报 Prompt 级和 Instruction 级得分；综合均分由 IFEval、IFBench 的 Prompt 级得分与 InfoBench 得分平均计算。

方法 / 模型配置	IFEval (Prompt)	IFEval (Instr.)	IFBench (Prompt)	IFBench (Instr.)	InfoBench	综合平均分 (Avg.)
Qwen3-8B-Base	50.28	59.83	16.32	19.40	72.09	46.23
Rubric-as-Reward 基线
SFT Warm-up (直接生成回答)	57.30	67.51	18.03	18.51	78.27	51.20
+ DAPO (仅黄金量表奖励)	58.96	68.82	20.41	20.60	82.44	53.94
SFT Warm-up (自由式 CoT 思考)	52.68	62.35	24.83	28.91	78.40	51.97
+ DAPO (仅黄金量表奖励)	59.70	68.35	22.11	23.88	80.22	54.01
Think-with-Rubrics (本文)
SFT Warm-up	61.00	70.02	19.05	19.40	79.60	53.22
+ DAPO (仅黄金量表奖励)	64.87	73.14	23.13	26.87	82.44	56.81
+ DAPO (仅自生成量表奖励)	64.69	72.30	25.85	27.76	80.98	57.17
+ DAPO (混合奖励，完整模型)	65.61	73.02	24.83	26.27	83.20	57.88

消融实验¶

针对奖励分配比例与机制有效性，论文展开了细致的消融评测。首先探究黄金奖励与自生成奖励的权重比例 \(\alpha : \beta\)（保持 \(\gamma=0.2\)）对最终指令遵循表现的影响；其次验证内部一致性在各训练阶段的演进（以自生成答案与自生成量表通过 Verifier 评估的符合率计量）。

奖励权重配比 (\(\alpha : \beta\))	IFEval (Prompt)	IFBench (Prompt)	InfoBench	综合平均分 (Avg.)	说明
5 : 3 (侧重外部黄金准则)	65.06	23.13	83.11	57.10	较依赖外部标注，泛化略受限
1 : 1 (等权组合)	64.69	23.13	83.56	57.13	表现稳健，各指标均衡
3 : 5 (侧重内部自我一致，默认)	65.61	24.83	83.20	57.88	取得最优指令遵循综合指标

下表展示了不同训练配置在 IFEval 与 IFBench 上的模型「内部一致性」（即回答 \(y\) 对自生成量表 \(\hat{r}\) 的遵从度分数 \(S(y, \hat{r})\)）：

模型训练阶段 / 策略	IFEval 内部一致性	IFBench 内部一致性	平均内部一致性	说明
SFT Warm-up	58.91	60.15	59.53	存在明显“思行脱节”，量表未被充分执行
+ DAPO (仅黄金量表奖励)	68.70	75.12	71.91	外部奖励间接改善了整体质量 (+12.38)
+ DAPO (仅自生成量表奖励)	69.00	75.45	72.23	针对性强化内部遵守度 (+12.70)
+ DAPO (混合奖励)	69.38	77.82	73.60	内部一致性达到最高，相比 SFT 提升 14.07 分

关键发现¶

结构化思维超越自由 CoT：Think-with-Rubrics 的完整模型相比同样经历 RL 训练的自由式 CoT 基线提升了 3.87 个百分点（57.88 vs 54.01），且平均思考 token 长度缩短了 42.4%（231 vs 401 tokens），表明结构化准则能够有效避免自由发散并杜绝关键约束遗漏。
自我进化（Self-Evolution）的可行性：在完全不引入外部黄金量表（\(\alpha=0\)）、仅依赖自生成量表一致性奖励与格式奖励的情况下，模型在 8B 上取得了 57.17 的平均分，甚至超越了仅使用黄金量表监督的 56.81；在 4B 模型上（Qwen3-4B-Base），自生成奖励更是取得了 43.21 的最高分（远超黄金监督的 39.55）。这证明在 SFT 赋予了初步量表生成能力后，通过内部自洽性闭环完全有能力驱动自主对齐迭代。
双源奖励的解耦互补机制：RewardBench-2 上的量表评测表明，黄金奖励 \(R_{\text{gold}}\) 的引入能够隐式拉升生成量表本身的内在通用评估质量（从 SFT 的 71.74 提升至 74.55）；而自生成奖励 \(R_{\text{self}}\) 则专注于压实回答对量表的内部遵从度（一致性分数跃升 14.07 分）。二者协同作用奠定了最佳性能。

亮点与洞察¶

将 Evaluator 降维为 Generator 的思维支架：传统对齐范式常将 Judge 与 Solver 分离或视为双向对等任务，本文巧妙地将外部量表评估过程转化为解码序列内部的一个前置显式条件，实现了“想清楚考核指标再动笔作答”的拟人化解题逻辑。
无需直接监督量表文本的隐式质量提升：训练中完全不需要对模型生成的 Rubric 与标注 Rubric 计算复杂的语义对齐损失或编辑距离，仅凭“回答同时满足自生成准则与外部准则”的联合优化目标，即可倒逼模型在强化学习中自发演进出高水平的任务分解准则。
天然泛化到小模型与长尾复杂场景：在能力较弱、极易发生约束遗漏的 4B 模型上，该方法取得的相对收益（+4.16 分）比 8B 更为显著，为资源受限端侧模型应对严苛指令遵循提供了极低成本的强化对齐路径。

局限与展望¶

适用场景偏向可分解的确定性任务：论文实验主要集中在指令遵循基准（IFEval/IFBench/InfoBench），这类任务的格式与边界约束相对清晰。对于开放式创意写作、小说创作或长程自由多轮对话等难以拆解为离散准则的领域，自生成 Rubric 的表达范式仍需深入探索。
推理端引入额外的解码延迟：尽管思考长度低于自由 CoT，但相比于直接输出答案的 Direct Answer 模式，额外生成的 5-15 条结构化准则依然会增加首字延迟（TTFT）与解码开销，在对延迟极端敏感的工业落地场景下需要探索隐式或紧凑表征压缩技术。
未来方向：探索动态量表长度自适应机制，以及在多轮复杂 Agent 工具调用与跨模态规划中将 Rubric 拓展为多步交互的动态检查点。

评分¶

新颖性: ⭐⭐⭐⭐☆ 颠覆了 Rubric 仅作为外部裁判的固有思维，将其重塑为内部思维支架并推导出双源一致性隐式演进机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖三大主流指令遵循评测集，包含严格消融、奖励权重分析、内部一致性量化、RewardBench-2 量表质量审计及跨模型尺度验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨连贯，公式推导与动机阐释契合度极高，案例对比清晰易懂。
价值: ⭐⭐⭐⭐⭐ 为大语言模型在无真值/弱监督开放领域的指令对齐提供了极具启发性的技术路线，自演进能力意义重大。