Tool Verification for Test-Time Reinforcement Learning¶

会议: NeurIPS 2026
arXiv: 2603.02203
OpenReview: https://openreview.net/forum?id=Jd7P3rhNnN
代码: https://github.com/mayhugotong/T3RL
领域: 强化学习
关键词: 测试时强化学习, 工具验证, 代码执行, 假流行模式崩溃, 大推理模型

一句话总结¶

针对测试时强化学习（TTRL）中多数投票容易因系统性错误而陷入假流行模式崩溃的问题，T3RL 引入外挂验证器与沙箱代码执行器对采样轨迹进行确定性验证，并采用验证加权多数投票生成可靠伪标签，以极低训练开销大幅提升大推理模型在复杂数学与逻辑推理上的泛化能力。

研究背景与动机¶

近年来，测试时计算扩展（Test-Time Scaling）与测试时强化学习（Test-Time Reinforcement Learning, TTRL）成为推动大推理模型（LRMs）自演化与递归自我改进（Recursive Self-Improving AI）的前沿范式。在缺乏人工标注与真实答案的测试环境下，TTRL 通过在未标记输入上重复采样多条推理轨迹，利用无监督自一致性（多数投票）推断伪标签作为正确答案的代理，并使用强化学习算法（如 GRPO）正向奖励与多数答案一致的轨迹。当正确答案位于模型输出分布的主导模态时，这种标签自由（label-free）的自优化机制能够有效锐化模型输出并提升推理表现。

然而，以多数投票为核心的自一致性奖励机制建立在一个脆弱的封闭循环假设之上：模型自身采样候选、自身投票、并从自身投票诱导的奖励中更新参数。当面临复杂难题或存在系统性推理偏置时，模型极易产生幻觉或计算失误，导致多条独立采样轨迹同时收敛到同一个错误答案。此时，多数投票会误将“高频流行度”当作“正确性”，使得高频错误答案获得正向强化，而真正正确的少数轨迹反遭压制。这种“假流行模式崩溃”（false-popular mode collapse）会在多轮 RL 更新中形成恶性正反馈——模型后续采样该错误答案的概率进一步增加，促使伪标签更加顽固地偏向错误，最终陷入信息茧房式的无法自愈崩溃。实验表明，未验证多数答案出错的比例随着基准难度急剧攀升。

破解该闭环的关键在于引入模型内部生成分布之外的确定性外部客观证据。幸运的是，诸如数学计算、逻辑命题与符号推演等复杂推理任务具有“求解极难、验证极易”的非对称特性：复杂算式可通过 Python 脚本执行复核，符号约束可通过 SMT 求解器严格验证。因此，本文的核心切入点是将解题生成与证据检验解耦，借助外部确定性执行工具对采样轨迹进行独立后验审计。核心 idea：将外挂工具验证机制嵌入测试时强化学习的伪标签聚合阶段，由独立验证器将解题轨迹编译为可执行代码并获取确定性工具执行反馈，通过验证加权多数投票有效压制假流行错误，将无监督采样轨迹在线转化为高置信度的合成训练样本。

方法详解¶

整体框架¶

T3RL 的核心目标是在无人工标注的测试时自演化过程中，通过引入外部确定性验证工具阻断假流行模式崩溃，重塑高保真度的在线奖励信号。给定未标注问题输入 $x$，策略模型首先采样 $N$ 条候选推理轨迹，随后并不直接进行常规等权多数投票，而是交由专门的外挂验证器进行形式化代码编译，由外部沙箱执行环境返回客观计算证据，据此判定轨迹有效性；最后通过验证加权机制为通过验证的答案赋予更高投票权重，生成稳健的共识伪标签，并基于此计算二值奖励指导策略模型的参数更新。

整个流程紧凑解耦，避免了在策略模型生成内部混入脆弱工具调用的副作用，其整体流水线如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入问题 x"] --> B["策略模型采样<br/>生成 N 条推理轨迹"]
    B --> C["外挂验证器编译：生成可执行验证代码<br/>解析候选答案 a_i 并转换为 Python/SMT"]
    C --> D["外部工具沙箱确定性执行<br/>代码解释器运行并捕获执行结果 t_i"]
    D --> E["验证有效性判定与加权多数投票<br/>对比 t_i 与 a_i 分配投票权重 w_i"]
    E --> F["验证感知共识伪标签生成与 GRPO 优化<br/>锚定高置信伪标签更新策略参数"]

关键设计¶

1. 外挂验证器编译：生成可执行验证代码 常规方法若直接让策略模型在思考轨迹中调用工具（如 TTRL-Agent），容易将工具语法错误、格式幻觉与核心数学逻辑错误混杂在一起，导致采样噪声被放大。T3RL 将策略生成与工具使用解耦，保留纯文本推理策略，并在生成之后引入独立的外挂验证器 $\mathcal{V}$。对于每条采样轨迹 $y_i$，验证器首先抽取出候选答案 $\hat{a}_i = \text{Extract}(y_i)$。随后，验证器扮演独立程序员与数学审计员的角色，将轨迹中的核心计算步骤与问题约束编译为轻量、可自执行的验证程序（如 Python 脚本）。在系统提示词中特别明确：禁止盲目信任推理轨迹本身，严禁硬编码候选答案，必须依据原始问题描述编写直接重新计算或方程代入求解的代码，仅将原轨迹作为解题灵感提示。

2. 外部工具沙箱确定性执行：获取客观验证证据 大模型自身的自反思和文本验证极易陷入确认偏误，无法从根本上消除幻觉。T3RL 将形式化代码交付给隔离的外部验证工具 $\mathcal{T}$（如安全沙箱中的 Python 解释器或 Z3 SMT 求解器）进行确定性运算： $$t_i = \mathcal{T}(\text{Code}(x, y_i))$$ 沙箱执行耗时极短（平均每个代码片段仅增加约 49 ms 运行时间，占整体训练时间不足 1%），却能提供绝对客观、可复现的算术或逻辑判定结果 $t_i$。验证器将工具执行结果与轨迹提取答案 $\hat{a}_i$ 进行严格比对，生成二值有效性指示变量： $$v_i = \mathbf{1}[t_i = \hat{a}_i]$$ 当代码报错、超时或执行结果与模型答案不一致时，$v_i=0$；仅当沙箱执行结果完全验证了候选答案时，$v_i=1$。

3. 验证加权多数投票：平衡探索多样性与验证可信度 在得到每条轨迹的验证标记 $v_i$ 后，若直接采取硬过滤（即丢弃所有未通过验证的轨迹，相当于权重 $\omega \to \infty$），会因小规模验证器代码编译的随机性失误（如语法错漏、库缺失导致误杀正确解答）而丧失样本多样性。T3RL 设计了平滑的启发式验证加权机制。未通过验证的轨迹保留基准权重 1，而通过确定性工具验证的轨迹赋予超参数权重 $\omega \ge 1$： $$w_i = (1 - v_i) \cdot 1 + v_i \cdot \omega$$ 共识伪标签 $\tilde{y}^*$ 通过最大化加权累计票数确定： $$\tilde{y}^* = \arg\max_{a \in \mathcal{A}} \sum_{i=1}^N w_i \cdot \mathbf{1}[\hat{a}_i = a]$$ 当少数正确解答得到工具坚实背书时，累积的 $\omega$ 权重能够果断翻转未经验证的高频错误多数票（在 AIME 上翻转率达 5.40%，AMC 达 10.75%，MATH-500 达 12.87%），从源头上切断假流行模式崩溃。

4. 验证感知共识伪标签生成与 GRPO 优化 基于稳健加权产生的共识伪标签 $\tilde{y}^*$，环境为第 $i$ 条候选轨迹分配二值奖励： $$r_i^{\text{v}} = \mathbf{1}[\hat{a}_i = \tilde{y}^*]$$ 策略模型保持无监督 RL 的在线自演化目标： $$\max_{\theta} \mathbb{E}_{y \sim \pi_\theta(\cdot \mid x)} \left[ r^{\text{v}}(y, \tilde{y}^*) \right]$$ 在具体实现中，T3RL 采用组相对策略优化（GRPO）算法。在每个测试题目上，策略模型先进行 $N=64$ 的大规模采样与加权投票，随后下采样至 32 条用于梯度计算，使用 AdamW 优化器和余弦学习率衰减进行单步或微步参数更新。该机制实质上将测试时推理轨迹在线合成为带有高质量外部检验伪标签的监督数据，兼顾了训练稳定性与探索收益。

一个完整示例¶

以一道计算复杂的竞赛级排列组合题为例： 1. 采样阶段：策略模型采样 16 条轨迹，其中 11 条由于在最后一步乘法中出现连续算术进位幻觉，收敛到错误答案 $A=1260$；仅 5 条轨迹步骤严密，得出正确答案 $B=1320$。 2. 基准 TTRL 失败：在未验证多数投票下，$A$ 获得 11 票，$B$ 仅 5 票，系统将 $A$ 判为伪标签，正向奖励 11 条错误轨迹并惩罚 5 条正确轨迹，强化错误模态。 3. T3RL 介入：外挂验证器将解题逻辑编译为 Python 枚举脚本。代码解释器执行后，返回确定性结果 $t=1320$。 4. 验证判定：11 条 $A$ 答案脚本执行结果与 $1260$ 不符（$v=0$），保留单位权重 $w=1$；5 条 $B$ 答案脚本执行结果与 $1320$ 一致（$v=1$），获得 $\omega=5$ 的加权。 5. 翻转投票：$A$ 的总得票为 $11 \times 1 = 11$；$B$ 的总得票为 $5 \times 5 = 25$。加权多数票选出正确伪标签 $\tilde{y}^* = 1320$，成功逆转假流行错误，引导 GRPO 正确优化。

损失函数 / 训练策略¶

训练采用 GRPO 算法，优化超参数如下： - 优化器：AdamW，采用余弦学习率调度，峰值学习率 $\eta = 5 \times 10^{-7}$。 - 采样策略：Vote-then-sample，生成 $N=64$ 条响应计算共识标签，下采样至 32 条参与批次梯度更新；生成温度设为 0.6，top-p 设为 0.95。 - 序列长度：策略模型最大生成长度为 2,560 tokens；验证器仅需生成短代码，限制在 1,024 tokens 内，温度设为 0.6。 - 权重设置：默认验证权重 $\omega = 5$（在 $\omega \in [2, 10]$ 区间内均表现极其平稳）。 - 训练轮数：依基准规模自适应调整，MATH-500 设为 10 episodes，AMC 设为 30 episodes，AIME 2024 设为 80 episodes。

实验关键数据¶

主实验¶

在 5 种不同类型与规模的大语言模型（涵盖数学专用模型 Qwen-2.5-Math-1.5B、通用底模 Qwen-2.5-1.5B / Qwen-3-4B，以及指令对齐模型 Llama-3.2-1B/3B-Instruct）上评估 T3RL，评测指标为 Pass@1（AIME 统计 16 次独立运行均值，AMC 和 MATH-500 统计 4 次）。

模型 / 骨干架构	方法	AIME 2024	AMC	MATH-500	平均分 (Avg)
Qwen-2.5-Math-1.5B	原始底模 (Base)	7.7 ± 2.0	28.6 ± 4.5	32.7 ± 2.7	23.0 ± 1.9
Qwen-2.5-Math-1.5B	w/ TTRL	15.8 ± 2.1	48.9 ± 1.6	73.0 ± 3.8	45.9 ± 1.5
Qwen-2.5-Math-1.5B	w/ T3RL (本文)	20.8 ± 1.6	50.9 ± 2.7	74.6 ± 3.2	48.8 ± 1.5
Qwen-2.5-1.5B (Vanilla)	原始底模 (Base)	0.2 ± 1.2	0.6 ± 2.2	7.7 ± 2.0	2.8 ± 1.1
Qwen-2.5-1.5B	w/ TTRL	3.5 ± 1.2	28.6 ± 4.5	63.2 ± 3.5	31.8 ± 1.9
Qwen-2.5-1.5B	w/ T3RL (本文)	4.1 ± 1.2	30.7 ± 3.7	65.0 ± 2.1	33.3 ± 1.5
Qwen-3-4B (Vanilla)	原始底模 (Base)	0.0 ± 0.0	12.5 ± 4.4	50.4 ± 3.5	21.0 ± 1.9
Qwen-3-4B	w/ TTRL	36.4 ± 1.9	71.7 ± 3.0	88.4 ± 1.4	65.5 ± 1.3
Qwen-3-4B	w/ T3RL (本文)	40.0 ± 1.6	74.2 ± 2.8	89.5 ± 1.4	67.9 ± 1.2
Llama-3.2-1B-Instruct	原始底模 (Base)	0.8 ± 0.0	4.2 ± 2.6	4.4 ± 1.5	3.1 ± 1.0
Llama-3.2-1B-Instruct	w/ TTRL	7.5 ± 2.5	16.9 ± 1.6	40.0 ± 1.6	21.5 ± 1.1
Llama-3.2-1B-Instruct	w/ T3RL (本文)	8.3 ± 2.4	19.9 ± 0.9	42.2 ± 2.6	23.5 ± 1.2
Llama-3.2-3B-Instruct	原始底模 (Base)	6.0 ± 1.4	19.4 ± 1.8	43.9 ± 2.1	23.1 ± 1.0
Llama-3.2-3B-Instruct	w/ TTRL	13.3 ± 3.8	31.3 ± 4.0	61.6 ± 5.1	35.4 ± 2.5
Llama-3.2-3B-Instruct	w/ T3RL (本文)	17.1 ± 1.2	34.2 ± 2.7	63.3 ± 3.3	38.2 ± 1.5

消融实验¶

1. 验证器与外部工具各模块消融（基于 Qwen-2.5-Math-1.5B）¶

下表系统拆解了纯文本验证（LLM 无工具）、工具执行介入、以及自我验证与外挂验证器的效果差异：

配置	AIME 2024	AMC	MATH-500	说明
T3RL 完整框架 (外挂 Coder-1.5B + 沙箱工具)	20.8	50.9	74.6	完整模型（加权参数 $\omega=5$）
w/o 工具执行 (仅外挂 LLM 进行纯文本验证)	18.3	49.8	73.8	去掉沙箱执行，仅靠 LLM 审查导致判据不确定
w/ 自我验证 (Policy 模型自身作为验证器 + 工具)	16.7	49.5	73.5	排除外部模型知识蒸馏，纯自验证依然稳超 TTRL
w/ 硬过滤 ($\omega \to \infty$)	18.8	49.1	72.8	仅保留通过验证轨迹，受验证器噪声误杀影响掉点
Baseline: TTRL (无验证, $\omega=1$)	15.8	48.9	73.0	传统未验证多数投票，面临假流行崩溃
Baseline: TTRL-Agent (策略内部直接调工具)	14.2	47.1	71.5	策略交织工具调用导致错误混合，效果显著恶化

2. MATH-500 难度分层性能表现（L1 最简单，L5 最难）¶

难度等级	Base 模型	w/ TTRL	w/ T3RL (本文)	相对 TTRL 提升
Level 1	25.9	95.0	95.2	+0.2%
Level 2	33.0	88.0	88.2	+0.2%
Level 3	36.3	85.0	87.3	+2.7%
Level 4	32.5	69.7	72.0	+3.3%
Level 5	22.3	47.0	49.0	+4.3%

关键发现¶

难题收益显著放大：在 15 组基准-骨干模型对比中，T3RL 取得 15 胜 0 负的全胜表现。在难度最高的 AIME 2024 上，Qwen-2.5-Math-1.5B 的准确率从 15.8 跃升至 20.8（相对提升达 31.6%），Llama-3.2-3B-Instruct 相对提升达 28.6%；在 MATH-500 的分级统计中，越困难的 Level 5 题目由于计算链长易累积误差，工具验证的修正价值越突出。
解耦设计完胜 Agentic 内部调用：将工具作为外挂后验验证器（T3RL）相比在生成过程中由策略直接调用工具（TTRL-Agent）展现出压倒性优势（AIME 20.8 vs 14.2）。后者在复杂问题中极易因代码格式错误、参数幻觉等扰动将工具错误与推理逻辑错误混合，反遭 RL 放大。
极致的训练与推理计算效率：T3RL@16 仅需采样 16 条轨迹进行验证加权，在 AIME 上即达到 20.0，不仅优于采样 64 条的 TTRL@64（15.8），还降低了 59.8% 的训练 Token 消耗、61.3% 的时钟时间以及 62.5% 的 TFLOPs；在推理阶段，T3RL 将验证知识内化至模型权重，以 $\mathcal{O}(1)$ 复杂度直接输出（仅 1,630 tokens/query），而达到相近精度的测试时推理扩展方法（如 BoN-RR、T1+PRM）每题需消耗 96K–243K tokens，开销激增百倍以上。
软加权优于硬截断：由于小参数验证器在编写代码时存在偶发语法错误（验证器准确率约为 73.2%），硬过滤（$\omega \to \infty$）会误杀部分具有正确答案的轨迹；而适度软加权（$\omega \in [2, 10]$）既能给予验证通过轨迹决定性权重，又能保留未验证轨迹的多样性支持，具有极高的超参鲁棒性。
非数学符号推理强泛化：在 Knights-and-Knaves 骑士与无赖逻辑谜题上，T3RL 使用 SMT-LIB2 与 Z3 求解器构建外部符号验证，模型准确率从底模的 52.13% 飙升至 78.50%（提升 26.38 个百分点），而基准 TTRL 反倒退化至 48.58%，证明工具验证范式具备强大的跨领域通用性。

亮点与洞察¶

将测试时自训练重塑为在线带标签数据合成：T3RL 巧妙地利用了“生成难、验证易”的任务特性，把无监督的自训练过程转变为“采样 $\to$ 工具审查 $\to$ 验证标注”的在线数据合成引擎，从理论上打破了自一致性闭环的模式塌陷。
软性验证加权有效包容验证器噪声：意识到任何基于神经模型的验证器都不可避免存在代码编译噪声，T3RL 没有采用非黑即白的样本丢弃，而是设计了具备弹性的软投票加权机制，使确定性工具信号能够温和而有力地纠正群体偏见。
测试时计算的“训练化”摊销：相比于在推理阶段反复进行昂贵的多采样与验证（如 BoN 重排序），T3RL 通过测试时强化学习将外部工具的纠错经验快速固化进模型权重，实现了“测试时训练一次，推理时超低成本常数运行”。

局限与展望¶

依赖任务的可验证性与工具完备度：T3RL 的核心前提是任务存在客观、确定性的验证工具（如代码解释器、定理证明器、符号求解器）。对于主观创作、开放式文本问答或常识推理等难以形式化验证的领域，难以直接构建高效工具链。
验证器自身的表达能力瓶颈：实验表明，当验证器参数量过小（如 0.5B 级别）时，模型会出现严重的代码格式错误甚至直接把推理轨迹的假答案写成硬编码 print 语句，此时验证器引入的噪声反而会破坏自训练（见 Table 8）。
多步复杂环境下的自动化工具编排：当前实现主要面向单步或单次程序化复算，未来可进一步拓展至支持多轮交互、复杂物理仿真器（Simulators）以及检索增强系统（RAG）的测试时综合验证环境。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将外部工具可执行验证系统性引入测试时强化学习的奖励重塑中，有效解决了假流行模式崩溃难题。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 5 种不同类型与参数规模的骨干架构，包含难度递进的竞赛数学及非数学逻辑谜题，消融细致且计算开销分析极其严密。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，问题定义切中要害，图表精美直观，复现细节完备。
价值: ⭐⭐⭐⭐⭐ 为大模型测试时自演化与递归自我改进（RSI）提供了低成本、高可靠的新范式，工程实用性极高。