Verifier-Backed Hard Problem Generation for Mathematical Reasoning¶

会议: NeurIPS 2026
arXiv: 2605.06660
OpenReview: https://openreview.net/forum?id=uuzIPLUUKL
领域: LLM 推理
关键词: 数学推理, 题目生成, 三方博弈自博弈, 验证器, 强化学习

一句话总结¶

提出三方自博弈框架 VHG，在出题者与解题者博弈中引入独立验证器，将题目有效性与解题难度解耦，防止奖励破解并生成高质量高难度的数学训练题与测试集。

研究背景与动机¶

大语言模型在数学与科学推理任务上已展现出极强的问题求解能力，不仅在 GPQA-Diamond 等专业基准上超越人类专家水平，在奥赛级几何与形式化证明中也取得了突破。然而，科学研究的完整闭环不仅依赖于解题，更取决于能否提出有价值的新问题。在 LLM 自身后训练中，数据难度也是决定模型能力上限的关键因素。目前主流的后训练机制严重依赖静态的人工数据集或基于规则的离线重写方法，若要持续提升题目难度，往往需要雇佣领域专家重新命题或精细改写，这不仅周期漫长、成本高昂，且模型的能力天花板始终受限于人类认知。

为了摆脱对人类专家的依赖，近期研究尝试采用生成者（setter）与求解者（solver）的经典双人自博弈范式，让出题者探索求解者的能力边界，并将求解失败（负准确率）作为出题者的奖励信号，驱动其生成越来越难的题目。然而，朴素双人自博弈存在一个根本性缺陷：出题模型极易发生奖励破解（reward hacking）。出题者可以通过生成条件缺失、表述歧义、逻辑矛盾甚至根本无解的非法问题，使求解者的准确率骤降至零，从而不劳而获地骗取极高奖励，最终导致整个训练循环崩溃。共识机制或多数投票法虽然能够生成伪标签，但依旧只是对题目合法性的间接猜测。

针对这一核心矛盾，本文的切入角度是打破传统的出题-解题两方博弈对偶结构，将题目合法性判定独立剥离出来，构建引入第三方验证机制的受限博弈体系。核心 idea：构建出题者-解题者-验证者三方自博弈框架 VHG，要求出题者成对生成「题目-参考答案」，并将出题者的奖励严格限制在经独立验证器判定合法的候选集上与解题者错误率挂钩，彻底消除通过生成非法题目骗取奖励的漏洞。

方法详解¶

整体框架¶

VHG 框架由出题者 $Q$、解题者 $S$ 和独立验证器 $V$ 三方构成协同交互循环。给定来自种子题库中的种子题目与解法，出题者 $Q$ 以此为提示生成新的问题及对应的参考解答对 $(x, y^\star)$。生成的题目对首先提交给验证器 $V$ 进行严密的有效性校验；只有通过校验的题目（即 $V(x, y^\star) = 1$），才会进一步由解题者 $S$ 进行多样本采样求解并统计求解准确率 $\mathrm{Acc}_S(x, y^\star)$。出题者的训练奖励被显式定义为验证合法门控与求解错误率的乘积，从而确保高奖励只能源自题目本身的真实难度。通过验证的高难题目随后被沉淀为高质量数据池，用于强化训练更强大的解题者或构建对抗性评测挑战集。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["种子题库<br/>Seed Pool"] --> B["出题者生成<br/>Pair (x, y*)"]
    B --> C["有效性门控<br/>Hard/Soft Verifier"]
    C -->|非法 V=0| D["直接截断归零<br/>Setter Reward = 0"]
    C -->|合法 V=1| E["求解难度评估<br/>Solver Sampling Acc"]
    E --> F["出题者强化学习更新<br/>Reward = V × (1 - Acc)"]
    E --> G["解题者强化学习训练<br/>Task-Correctness Reward"]
    E --> H["挑战评测集构建<br/>Zero-Pass Challenge Pool"]

关键设计¶

1. 验证器驱动的奖励解耦机制：从源头遏制出题者奖励破解

在传统自博弈中，出题者只需抛出问题 $x$，由于缺乏独立判别标准，解题者的错误率直接充当难度奖励，导致模型倾向于生成未定义或错谬问题。VHG 要求出题者联合生成题目与参考答案对 $(x, y^\star)$，并将出题者的强化学习奖励函数显式构造为： $$R_{\mathrm{Q}}(x,y^{\star})=\mathbf{1}_{[V(x,y^{\star})=1]}\left(1-\mathrm{Acc}_{S}(x,y^{\star})\right)$$ 其中 $\mathbf{1}_{[\cdot]}$ 为示性函数，$\mathrm{Acc}_S(x, y^\star)$ 是解题者在固定采样预算 $K$ 下的经验解题正确率。当验证器判定题目不合法时（$V(x, y^\star) = 0$），解题者的失败不再贡献任何正向奖励。该设计在数学形式上将「有效性」与「难度」完全解耦，切断了出题者依靠语法混乱或逻辑漏洞骗取奖励的捷径。

2. 符号级硬验证与 LLM-as-a-judge 软验证双重实现：兼顾严密性与任务泛化

为了在不同严谨程度的数学任务中落地，VHG 分别实例化了硬验证器（Hard Verifier）与软验证器（Soft Verifier）： - 硬验证器（不定积分任务）：利用符号计算工具 SymPy 构筑近乎 100% 可靠的形式化检验通道。系统首先解析被积函数 $f$ 与原函数 $F$ 的数学格式是否规范，随后通过解析求导计算 $F'$ 并检验其是否与 $f$ 在代数上完全等价，即 $V_{\mathrm{int}}(f, F) = \mathbf{1}_{[(f, F) \in \mathcal{A}_{\mathrm{format}} \cap \mathcal{A}_{\mathrm{match}}]}$。 - 软验证器（通用数学任务）：针对无法直接套用符号执行器的通用多步骤数学推理，设计了结合硬规则预过滤与大模型裁判的多阶级软验证流水线 $V_{\mathrm{math}}(x, y^\star) = \mathbf{1}_{[(x, y^\star) \in \mathcal{A}_{\mathrm{filter}} \cap \mathcal{A}_{\mathrm{LLM}}]}$。首先通过静态规则剔除格式异常、缺失或存在多个 boxed 答案、简单拷贝种子或答案退化的生成结果；随后通过精心设计的带细则提示词，由评判大模型核验题目的良构性、解法与答案的自洽性，以及相比种子的语义相关度与实质性结构变形。

3. 数据级解题者训练门控：避免合成噪声污染求解策略

解题者的训练同样依赖于验证器的过滤把关。在将合成题目用于解题者自适应强化学习时，只有被验证器判定为合法的子集 $\mathcal{D}_{\mathrm{V}} = \{(x, y^\star) : V(x, y^\star) = 1\}$ 才被允许进入训练流： $$R_{\mathrm{S}}(x, y^\star) = \mathrm{Acc}_S(x, y^\star), \quad (x, y^\star) \in \mathcal{D}_{\mathrm{V}}$$ 在非验证环境下，生成题目常混杂大量伪答案，解题者强行拟合错误标签会引发严重的方向漂移与策略退化；而数据级门控确保了进入下游解题者强化学习流的所有题目与解法均具备可信依据，实现了高难度且低噪声的课程递进。

损失函数 / 训练策略¶

VHG 采用两阶段渐进式优化。首先通过冷启动监督微调（Cold-SFT）对出题模型 $Q_\theta$ 进行基础初始化（学习率 $1 \times 10^{-5}$，全局 batch 32），使其具备遵循指令成对输出合理题目与参考答案的能力。随后进入多轮强化学习闭环：在出题者 RL 阶段，基于 verl 框架与 GRPO 风格的策略优化算法（学习率 $2 \times 10^{-6}$，训练 batch 128），根据验证器门控奖励式 (1) 更新出题者参数；在解题者 RL 阶段，以任务正确率奖励式 (2) 在通过验证与难度过滤的高质量数据池 $\mathcal{D}_{\mathrm{V}}$ 上更新解题者参数。

实验关键数据¶

主实验¶

实验以 Qwen3-4B-Base 作为出题者与解题者的基座模型，在符号积分基准与通用数学基准（MATH、GSM8K、AMC、Minerva、Olympiad、AIME24-26）上全面验证。

表 1：不定积分基准测试解题准确率对比（%）

方法	Competition Pass@1	Competition Pass@8	Qualifier Pass@1	Qualifier Pass@8	Stress Test Pass@1	Stress Test Pass@8
Qwen3-4B-Base	28.8	57.0	52.5	80.0	43.3	69.8
Vanilla GRPO	38.8	61.2	66.5	80.3	60.3	75.4
w. SFT data	43.0	63.9	66.4	83.0	57.5	77.2
R-Zero (Iter. 1)	31.9	58.9	62.7	82.0	51.0	71.3
R-Zero (Iter. 2)	30.7	56.3	62.8	81.6	52.9	71.7
R-Zero (Iter. 3)	30.5	55.5	62.0	80.7	51.0	70.2
VHG (Hard)	45.4	66.5	69.4	83.1	64.7	81.7

表 2：通用数学综合基准 Pass@1 评测对比（%）

方法	MATH	GSM8K	AMC	Olympiad	Minerva	AIME24	AIME25	AIME26	Overall Pass@1
Qwen3-4B-Base	66.92	73.91	43.28	34.88	27.78	7.29	8.12	7.71	56.79
Vanilla GRPO	76.76	90.17	52.50	39.60	31.92	13.96	10.83	8.12	67.62
w. SFT data	76.28	89.89	52.97	39.91	32.63	11.04	11.46	9.58	67.54
R-Zero (Iter. 3)	72.91	91.49	50.31	34.06	28.12	10.83	4.17	6.67	65.76
VHG (Soft)	78.99	90.61	55.31	42.13	33.32	13.12	11.46	12.92	69.01

消融实验¶

研究分析了出题者生成的极高难度题目（在 4B 本地解题者上 Pass@1 均为 0% 的挑战子集）对更大参数规模模型的挑战能力，检验其弱对强（weak-to-strong）泛化价值。

表 3：更强大解题者在 VHG 生成的零通过率挑战集上的评测表现（%）

任务类型	Qwen3-8B Pass@1	Qwen3-8B Pass@8	Qwen3-14B Pass@1	Qwen3-14B Pass@8	Qwen3-32B Pass@1	Qwen3-32B Pass@8
不定积分 (64 samples)	39.48	78.98	49.23	85.51	46.99	85.99
通用数学 (16 samples)	34.50	59.06	41.50	67.94	41.31	70.71

关键发现¶

出题者两阶段学习动态：出题者的训练轨迹呈现出清晰的「先学保真，后学增难」特征。在前 50 步，参考答案合法率从 30.6% 迅速跃升至 65.2%，解题者正确率保持平稳；在 50 至 200 步，合法样本中解题者的通过率从 42.0% 骤降至 17.6%，合法且高难度的题目占比从 27.5% 显著扩大至 58.5%。这表明模型先在验证器牵引下学会构造良构的数学命题，随后在解题者难度信号驱动下学会深入高阶变形。
共识机制在极难区间的失效：基线方法 R-Zero 依赖多采样多数共识产生伪标签，导致其生成的题目准确率下限必须至少存在一个正确解，无法覆盖本地准确率低于 10% 的高难区间；而 VHG 借助独立验证器，在准确率处于 $[0.0, 0.1)$ 的最难区间依然能生成大量合法样本，并在该难度区间保留了高达 46.0% 的候选集占比。
弱模型对强模型的跨级挑战能力：仅基于 4B 模型自博弈出题，所生成的合法硬题同样让参数量大 2 至 8 倍的 Qwen3-8B/14B/32B 模型陷入困境，在通用数学挑战集上的 Pass@1 均被压制在 42% 以下，证明了该方法生成高质量自驱训练课程的扩展潜力。

亮点与洞察¶

将验证器确立为自博弈奖励的核心信标：指出题目生成的难点不在于生成复杂的字面表达，而在于判别所构造难度的真伪；将第三方验证引入双人博弈，从机制设计上根除了困扰自博弈的奖励破解。
验证驱动的跨层级难度跃升：通过严密的代数/逻辑变形约束，出题者学会了有目的地引入商法则复合、乘积对数振荡以及多约束素数分解等结构化改写，使问题发生本质难度提升而非浅层文本重述。
弱生强（Weak-to-Strong）合成数据通路的验证：小型模型（4B）在严格验证器约束下生成的对抗性样本能够直接作为大型模型（32B）的能力探针与训练数据，为算力受限下低成本合成高阶推理数据提供了可落地的范式。

局限与展望¶

验证器上限决定系统上限：对于通用数学领域，软验证器依赖大模型裁判与启发式规则，依然可能漏判极细微的边界退化或深层逻辑跳跃，无法做到如符号代数般的绝对确定性。
任务领域的拓展性受限：目前验证机制最有效的领域局限在符号形式化特征鲜明的不定积分或具有确定数值结果的数学代数，在形式化证明不完备的高维几何、复杂应用题或开放式科学探索中落地难度较大。
未来改进方向：探索与 Lean4、Isabelle 等交互式定理证明器结合，将形式化自动证明器作为硬验证后端，实现全自动化、数学严谨且无限自进化的硬题目合成与自学习系统。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出出题-解题-验证三方博弈范式，将数学验证器引入自博弈奖励，从根本上解决出题奖励破解。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖符号积分硬验证与通用数学软验证两大体系，深入剖析了出题者两阶段动态及弱对强泛化。
写作质量: ⭐⭐⭐⭐⭐ 结构逻辑清晰严密，形式化定义精确，问题剖析一针见血。
价值: ⭐⭐⭐⭐⭐ 为 LLM 强化学习后训练中合成高质量高难度数学推理数据提供了突破性的自进化范式。