Ask-E: An Environment for Calibrated Question Generation¶
会议: NeurIPS 2026
arXiv: 2608.06933
OpenReview: https://openreview.net/forum?id=YBhF7eTE3o
代码: https://github.com/sarahpratt/aske
领域: LLM评测
关键词: 校准问题生成, 强化学习, 互相监督, 评估环境, 数学推理
一句话总结¶
提出 Ask-E 评估与训练环境，通过让提问者大模型与两台已知能力边界的求解器交互并生成恰好仅被其中一台求解的校准问题，颠覆传统依赖更强模型监督的范式，并在无外部数学数据和无真实性奖励下通过 RL 显著提升了下游解题能力。
研究背景与动机¶
大语言模型在数学与逻辑推理等领域的飞速演进，历来高度依赖于在模型能力前沿（frontier）上进行问题求解与评测。然而，这一经典模式正面临日益严峻的瓶颈：衡量或训练前沿模型必须依赖大量位于其能力临界点的高难度题目；过于简单的题目无法区分顶尖模型，而超出当前算力或数学边界的不可解问题则对所有模型都无信息量。为了持续挑战当前已达到顶尖竞赛水准的模型，研究界不得不耗费巨大成本邀请奥数冠军、高校教授或研究级数学家人工命题，不仅成本极高，而且静态基准极易饱和。
这一困境的核心矛盾在于传统评测的单向监督假设——评估者必须比被评估者更强，导致评测体系难以伴随前沿模型超越人类能力而自然延展。实际上，命制一道恰好能区分两个模型能力层级的问题，本身就要求命题者全面理解该问题的求解路径、预判认知盲区并准确把控难度，这是一项比单纯解题更加困难的认知任务。过去自动化构建基准或对抗博弈的方法，要么依赖更强模型提供标注，要么仅针对单一动态目标进行自我博弈，无法提供绝对且可复现的衡量标尺。
面对这一挑战，本文提出了一种完全相反的解决思路：既然准确校准问题难度的任务比单纯解题更具挑战性，那么一个能够稳定命制出精准卡在给定能力区间问题的模型，必然具备超越该区间的综合推理能力。核心 idea：将评测角色反转为提问者，以两台现有不同能力模型构成的能力区间为边界，通过交互探测生成恰好仅有一台模型能够正确解答的校准问题，实现由弱模型对强提问者的互相监督与无监督自我提升。
方法详解¶
整体框架¶
Ask-E（An Environment for Calibrated Question Generation）将大语言模型的能力评估与强化学习训练重构为一个校准命题交互游戏。在每个 session 中，环境从边界求解器集合中抽取一对模型作为目标难度的下界和上界；被评估或受训的提问者（Asker）通过多轮对话探测两台求解器的能力差异，并最终输出一道数学题。该题目随后交由两台边界求解器以及独立的复核求解器（Cross-check Solver）独立解答，只有当两台边界求解器中恰好有一台与复核答案一致时，才判定提问成功（Calibrated）。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["初始化边界对<br/>从求解器集合采样 (M1, M2)"] --> B["阶段 1：多轮能力探测与交互<br/>Asker 轮流发题并接收解题摘要"]
B --> C["阶段 2：结构化校准生成<br/>输出唯一最终数学题"]
C --> D["阶段 3：独立复核与三方求解<br/>M1、M2 与 Cross-check 独立解答"]
D -->|一致性与独占判定| E["阶段 4：二值化校准判定与奖励<br/>恰好一台正确则标定成功"]关键设计¶
1. 双边界求解器定义目标难度区间：将单边约束转化为闭区间靶标
如果仅使用单一求解器，提问者的目标将被退化为单边约束：若要求求解器回答正确，模型可以输出任意极度简单的常识题；若要求求解器回答错误，模型只需输出无法解决的难题（如黎曼猜想）或荒谬问题。这两种极端情况都不需要提问者具备解题能力。Ask-E 引入两台能力不同的独立语言模型 \(M_1\) 与 \(M_2\)，构建无序对 \((M_1, M_2)\)，将难度区间限定在二者能力差异的夹缝之间。提问者必须深刻理解题目所需的技术步骤，使其难度高于其中一台模型的能力上限，同时又低于另一台模型的能力下限。若边界集合包含 \(n\) 个基底模型，整个系统即可自动提供 \(\binom{n}{2}\) 个无需人工标注且分布广泛的目标难度标尺。
2. 结构化多轮探测与摘要反馈：在保护上下文窗口的同时定位能力断层
在正式命制最终问题前，Asker 拥有 \(k\) 轮（评测基准中为 4 轮，RL 训练中为 3 轮）探测交互机会。每一轮中，Asker 必须严格输出三个分区：#Reasoning#（私有思考链，反思先前进展现状并规划后续方向）、#Draft#（私有草稿区，编写候选题目并端到端演算出标准答案 \boxed{answer}）、以及 #Question#（纯净题目，截断至 200 词内发送给两台求解器）。求解器在独立解题后，仅返回其思考摘要及最终答案（截断至 2000 字符内），从而防止庞大的思维链（CoT）撑爆提问者的上下文窗口。通过多轮阶梯式提问，Asker 动态辨识出两个模型在数论、组合数学或动态规划等细分领域的具体认知分水岭。
3. 对称判定与无监督复核共识机制：摆脱对更强教师模型的正确性依赖
在生成最终题目后，题目被同时分发给两台边界求解器以及复核求解器。评测阶段采用 Gemini 3.1 Pro 独立采样 3 次，只有当 3 次采样答案完全一致时会话才被视为有效（有效率超 99%，杜绝了抛硬币等退化歧义题目）；随后利用 math-verify 符号匹配结合 LLM 格式对齐来校验答案。判定标准采取完全对称原则：只要两台边界求解器中恰好有一台解答正确即可，而不预先假定哪台是“强模型”。在 RL 训练阶段，这一机制被推向极致——受训模型自身在当前更新步的权重直接充当复核求解器（Self-judge），且仅采样 1 次无额外 CoT 监督。提问者的奖励完全来自于两台更弱或同等能力模型的解题方差，实现了彻底不依赖任何外部正确答案与强模型的闭环自我监督。
一个完整示例¶
以 Gemini 3.1 Pro 面对边界对 (Ministral-3-3B, Qwen3.5-27B) 的交互为例：
1. 第 1-2 轮探测：提问者先后测试了模幂运算余数题 \(2023^{2023} \pmod{100}\) 和非线性递推数列 \(a_{n+1}=(a_n^2+1)/a_{n-1}\)，两台模型均准确化简并给出了 \(\boxed{67}\) 和 \(\boxed{4181}\)，显示出基础代数与数论能力旗鼓相当。
2. 第 3 轮探测：提问者转而测试带局部禁则的字符串组合计数（长度为 8、字符集 \(\{A, B, C\}\) 且不含 \(AB\) 的序列数）。Qwen3.5-27B 敏锐推导出线性递推式 \(a_n=3a_{n-1}-a_{n-2}\) 给出正确答案 \(\boxed{2584}\)；而 Ministral-3-3B 在 DP 转移状态抽象上出错，输出错误答案 \(\boxed{1393}\)。
3. 第 4 轮验证：提问者测试吸收态马尔可夫链期望步数题（连续两次掷出 6 点的期望投掷次数），两台模型均列出方程组解出 \(\boxed{42}\)。
4. 最终校准命题：Asker 锁定第 3 轮暴露的组合 DP 抽象能力缺口，精心构造了同类但无法从记忆检索的变体——4 字母表 \(\{A, B, C, D\}\) 下长度为 6 且避免子串 \(AB\) 的序列数。最终 Ministral-3-3B 输出 \(\boxed{2397}\)，Qwen3.5-27B 与复核模型均输出正确答案 \(\boxed{2911}\)，成功命中校准目标。
损失函数 / 训练策略¶
提问策略模型采用 Qwen3.5-4B（Instruct，关闭 thinking），使用基于 verifiers 环境的 prime-rl 框架及 CISPO（Importance-Clipped Surrogate Policy Optimization）算法在 11 台 H200 GPU 上进行强化学习训练。
- 边界模型限定：训练仅使用 12 个参数量在 1.5B–8B 之间的开源弱模型（Small set），Asker 永远无法观察到更强模型的解题过程；训练时边界求解器生成的所有 token 均被完全 mask，梯度仅回传至 Asker 自身的生成 token。
- 复合奖励函数：
$\(R = R_{\text{calib}} + R_{\text{format}} + R_{\text{div}}\)$
其中校准基础奖励 \(R_{\text{calib}}\) 设定为：恰好一台正确（Calibrated）获得 \(+1.0\)；两台均正确（Too Easy）获得 \(+0.2\)；两台均错误（Too Hard）惩罚 \(-0.2\)（重罚太难题可抑制无意义的恶劣歧义提问）。格式缺损每轮施加 \(-0.05\) 惩罚。多样性奖励采用 \(k\)-NN 句子嵌入（bge-small-en-v1.5）与最近 5000 道历史题目的余弦距离门控加权：
$\(R_{\text{div}} = \max(0, R_{\text{calib}}) \cdot \alpha \left(1 - \overline{\text{cos-sim}}_{k\text{-NN}}\right)\)$
确保仅有在成功校准时才对新颖题材给予奖励，防止策略通过胡言乱语骗取多样性奖励。优化器使用 AdamW，学习率 \(1\times 10^{-6}\)，梯度裁剪为 \(1.0\)。
实验关键数据¶
主实验¶
在由 20 个求解器构建的 190 个无序边界对上，对 5 款不同架构的大模型进行了 Ask-E 基准测试（每个边界对评测 10 次，共 1900 个 session）。同时，将仅在 Ask-E 提问环境下训练的 Qwen3.5-4B 与原始基线在 4 项权威高难度数学竞赛基准上进行了零样本泛化能力对比（8 次独立采样，评估 pass@8 与 avg@8）。
表 1：Ask-E 基准校准率与各结果分类占比
| 评测提问模型 | 参数量/类型 | 最终校准率 (Calibrated) ↑ | 太容易 (Too Easy) | 太困难 (Too Hard) | 无效/格式错误 (No Q / Bad CC) |
|---|---|---|---|---|---|
| Gemini 3.1 Pro | 闭源前沿模型 | 44.9% | 32.8% | 21.6% | < 1.0% |
| Qwen3.5-27B | 27B 开源 | 37.4% | 38.6% | 23.3% | < 1.0% |
| DeepSeek V4 Pro | 闭源旗舰模型 | 37.2% | 40.1% | 22.0% | < 1.0% |
| Qwen3.5-4B | 4B 开源 | 27.2% | 47.9% | 24.2% | < 1.0% |
| Gemini 3.1 Flash Lite | 闭源轻量模型 | 25.2% | 51.3% | 22.8% | < 1.0% |
表 2：仅通过提问 RL 训练后的 Qwen3.5-4B 在下游数学解题基准上的跨任务迁移表现
| 评测数据集 | 题目数 (\(n\)) | 指标 | Qwen3.5-4B 基线 | 经过 Ask-E 提问训练 | 性能绝对变化 |
|---|---|---|---|---|---|
| AIME 2022–2024 | 90 | pass@8 avg@8 |
87.78% 68.06% |
90.00% 67.36% |
+2.22% -0.70% |
| AIME 2025 | 30 | pass@8 avg@8 |
83.33% 54.17% |
83.33% 57.22% |
平手 +3.05% |
| HMMT Feb 2025 | 30 | pass@8 avg@8 |
70.00% 45.00% |
72.22% 45.97% |
+2.22% +0.97% |
| IMO-AnswerBench | 400 | pass@8 avg@8 |
70.25% 43.91% |
71.25% 44.90% |
+1.00% +0.99% |
消融实验¶
论文围绕交互探测的必要性以及复核求解器的鲁棒性开展了系统消融。
表 3：多轮探测机制与复核求解器选型消融结果
| 实验配置 | 评测提问模型 | 核心设置说明 | 校准成功率 (Calibrated) | 太容易占比 (Too Easy) |
|---|---|---|---|---|
| 完整 Ask-E (4 轮探测) | Gemini 3.1 Pro | 标准流程，共识复核（Gemini 3.1 Pro \(\times 3\)） | 44.9% | 32.8% |
| 无探测基线 (No-Probing) | Gemini 3.1 Pro | 盲发 50 道未经探测的问题并评估全部 190 对 | 16.3% | 81.7% |
| 替换复核器为 Claude Opus 5 | Gemini 3.1 Pro | 验证跨家族复核模型对系统标签的偏差影响 | 44.3% | 33.1% |
| 弱求解器逆向获胜率 | Gemini 3.1 Pro | 统计校准成功的会话中实际上较弱模型答对的比例 | 全体仅 8.8%（强弱悬殊对仅 3.1%） | — |
关键发现¶
- 能力前沿依然拥有极大提升空间：即便最强的 Gemini 3.1 Pro 也仅达成 44.9% 的校准率，模型越弱其失败模式越呈现出压倒性的“太容易”（如 Flash Lite 太容易比例高达 51.3%），说明弱模型核心瓶颈在于缺乏构造高难度深度问题的构思与求解演算能力。
- 探测交互是精准校准的绝对基石：去掉 4 轮探测后，模型的校准率从 44.9% 断崖式跌落至 16.3%，超过 81% 的问题沦为 Too Easy。这证实了模型不是在靠静态经验投机，而是真正通过会话中的反馈在收敛解题能力的边界差。
- “学会提问”能够直接逆向迁移为“学会解题”：Qwen3.5-4B 在完全没有接触过任何新数学题语料、没有观察过更强模型推理、自身答案从未受到正确性打分的情况下，仅靠学习卡住弱模型的提问策略，在 550 道高难度竞赛数学题上的综合平均准确率稳步提升了 1.1 个百分点。
亮点与洞察¶
- 颠覆了超人类 AI 监督评估的范式约束：传统认知认为评估必须“自上而下”（由超级智能评判普通智能），Ask-E 证明了通过让被评估者承担更高阶的“测验出题者”职责，完全可以利用弱模型群体的答题差异实现“自下而上”的无监督严格评估。
- 自适应进化的动态基准设计：静态数据集会迅速面临刷榜饱和，而在 Ask-E 中，只需向边界池中引入新发布的前沿模型，即可零成本将评估难度天花板无限推高，同时保持历史测试标准的可比性。
- 自洽闭环的内在能力泛化机制：模型在命制区分性题目时，必须在内部草稿区端到端演算解题过程并规划陷阱，这种以“寻找他人能力缝隙”为目标的强化学习，内生性地倒逼模型锤炼了极其严密的多步数学推理能力。
局限与展望¶
- 潜在的投机性退化解风险：虽然 3 次复核共识机制过滤掉了超过 99% 的模糊歧义题，但在理论上，模型依然可能探索出某种利用特定提示词诱导模型随机生成不同答案的对抗性策略，而非纯粹依靠数学难度分流。
- 冷启动能力的门槛依赖：该环境主要用于激发和校准模型已经初具雏形的推理潜力；若模型本身完全不具备编写基础数学题和演算的能力，将无法在强化学习初期获得有效的校准稀疏奖励。
- 应用领域仍局限于确定性数学领域：当前仅在具有单一封闭解（Boxed Answer）的数学领域进行了验证，未来向开放式代码生成、多步规划及常识推理等具有模糊答案空间的领域迁移时，需重构等价性判别引擎。
相关工作与启发¶
- vs. 自我博弈问答（Self-Play QG, 如 SPICE / R-Zero）：以往方法通常是单一提问者与单一回答者同步演化（Co-evolve），提问者只需追踪一个移动靶，容易陷入局部退化且缺乏可比性；Ask-E 锚定了多样化的静态求解器池，并把校准提问能力作为首要评测标尺。
- vs. 自动化评测基准生成（如 AutoBencher / MATH²）：以往的自动基准生成模型本身扮演裁判和标准答案提供者，导致其无法评测比自身更强的模型；Ask-E 将被测模型置于提问端，依靠解题端群体的行为方差反向评分，彻底解耦了对更强裁判的依赖。
- vs. 差分学习假设（Delta Learning Hypothesis）：差分学习主要训练模型分辨两个回答中哪个更优，而 Ask-E 更进一步，要求模型主动探寻两个黑盒系统的能力差，并精确生成命中该狭窄缝隙的测试探针。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆性地将大模型评估从“答题”转向“按难度校准提问”，用弱模型解题方差监督强模型，构思极其精巧。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 20 个求解器、190 个全组合边界对、5 款主流模型测评、消融实验以及 4 项权威奥数榜单的跨任务 RL 泛化验证。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨流畅，问题阐述深入本质，动机、实验设计与哲学反思高度统一。
- 价值: ⭐⭐⭐⭐⭐ 为超人类智能评估（Weak-to-Strong Supervision）和零数据自进化强化学习提供了极具启发性的全新基石。