Asking the Right Questions: Improving Reasoning with Generated Stepping Stones¶

会议: NeurIPS 2026
arXiv: 2602.19069
OpenReview: https://openreview.net/forum?id=oCEzkjKEVt
领域: Reasoning
关键词: 复杂推理, 提问生成, 垫脚石问题, 强化学习, 课程学习

一句话总结¶

提出了 ARQ（Asking the Right Questions）框架，通过构建独立的垫脚石问题生成器为大模型搭建过渡性子问题，结合蒙特卡洛期望解题奖励驱动的 SFT 与 DPO 后训练，显著拓宽了推理模型攻克前沿竞赛级数学难题的求解边界。

研究背景与动机¶

近年来，大语言模型（LLM）在数学竞赛、代码生成与长程决策等复杂推理任务中取得了突破性进展。主流的技术范式普遍依赖后训练阶段（监督微调 SFT 激发思维链 CoT、强化学习 RL 强化正确求解行为）与推理期脚手架（如多数投票、自我反思与蒙特卡洛树搜索）。然而，现有体系几乎完全聚焦于“如何求解给定问题”或“如何验证既定步骤”，倾向于将所有认知行为压缩在单条由前至后的漫长思考链中。这种单向解题机制在面对极高难度的竞赛题时往往束手无策，一旦模型无法一步到位，极易陷入思路死胡同。

人类专家在攻关深奥的科学难题或证明前沿数学定理时，核心智力活动往往不是盲目地暴力推演，而是主动“提出好问题”——通过构造更简化的特例、降低维度的约束、剥离次要条件的类比问题或关键引理，搭建具有启发性的“垫脚石”（Stepping Stones）。这类过渡性问题通常不仅更易求解，而且更便宜、易于快速验证，能为攻克最终目标提供不可或缺的直觉和策略启发。但当前主流推理模型缺乏主动向自己发问并构建自适应阶梯的能力。

本文切入这一盲区，提出应当将“提问”能力解耦为独立的推理算子，系统性探索大模型能否自主生成高质量的中间垫脚石问题，以及这种能力如何跨模型迁移并被显式训练。本文的核心 idea 是：将单次推理拓展为“生成垫脚石问题-求解垫脚石-将经验上下文并入原问题”的双模块解耦推理范式，并利用目标问题的蒙特卡洛求解期望奖励构建评分信号，通过合成数据驱动的 SFT 与 DPO 将垫脚石生成正式确立为可优化的后训练任务。

方法详解¶

整体框架¶

ARQ（Asking the Right Questions）将推理流程分解为两个分工明确的 LLM 模块：垫脚石问题生成器 $\phi$ 与问题求解器 $\pi$。面对复杂的目标问题 $x$，系统并非直接采样最终答案，而是先由 $\phi$ 生成与目标相关且相对容易的垫脚石问题 $z$；随后求解器 $\pi$ 产出针对垫脚石的解答 $y_z$；最后将 $(z, y_z)$ 作为有效上下文与原问题 $x$ 拼接，引导求解器输出原题的最终解 $y$。为了防止长上下文污染与冗余符号干扰，ARQ 显式移除了生成器思考阶段的思维链 token，仅传递干净的问题与解答文本。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["目标难题 x"] --> B["垫脚石问题生成器 φ<br/>分析结构并生成简化/特例问题 z"]
    B --> C["问题求解器 π<br/>求解过渡问题得到解答 y_z"]
    C --> D["上下文集成与求解<br/>将 (z, y_z) 作为前置线索注入原问题"]
    D --> E["目标最终解 y"]

关键设计¶

1. 双模块解耦与无污染上下文传递：隔离思考噪音并聚焦启发性转移

传统提示工程（如 Analogical Reasoning 或 Least-to-Most）通常要求单个模型在同一生成上下文中自行类比并求解，在当代具有长 CoT 的高算力推理模型上极易引发注意力分散或格式崩塌。ARQ 显式将系统拆分为生成器 $\phi$ 与求解器 $\pi$。生成器专注于识别目标问题的认知瓶颈，生成特例、降维模型或前置引理 $z \sim \phi(x)$。求解器先独立采样得到解答 $y_z \sim \pi(z)$，随后二者以结构化格式拼接到提示词中，求解器基于增强上下文执行最终解答 $y \sim \pi(x; z, y_z)$。在传递过程中，系统显式剔除生成器自身的内部思考链（thinking tokens），仅保留纯净的问题描述与推理输出，有效防止了错误思考偏置引发的上下文污染。

2. 蒙特卡洛求解奖励驱动的质量评估函数：将垫脚石生成确立为可优化任务

直接评估一个未标注中间问题的优劣极具挑战性。ARQ 创新性地将垫脚石的质量定义为：在给定垫脚石及其解答作为上下文时，求解器解决原目标难题的“期望胜率”。设外部判定函数为 $R(x, y) \in \{0, 1\}$，垫脚石 $z$ 针对原问题 $x$ 的综合评分 $S(z, x)$ 形式化定义为： $$S(z, x) = \mathbb{E}_{y_z \sim \pi(z),\, y \sim \pi(z, y_z, x)} \left[ R(x, y) \right]$$ 在训练数据构建阶段，系统针对每个候选问题 $z$ 部署多次（如 $k=20$）蒙特卡洛 rollout，以求解器最终解决原题的统计成功率作为经验评分。这一标量奖励彻底摆脱了昂贵的人工标注，使“提出好问题”具备了确定、可扩展且与下游目标完全对齐的量化反馈。

3. 结构化合成数据蒸馏与两阶段后训练：SFT 诱导模式与 DPO 强化区分度

现成大模型生成的垫脚石良莠不齐，甚至存在诱导求解器偏离正轨的负面问题。为彻底解决这一瓶颈，ARQ 构建了包含 918 道 AIME 赛题的离线合成池，利用强推理模型生成候选集合并经由评分函数打分。第一阶段采用最佳生成项（最高得分 $z$）构建高质量 SFT 数据集，使模型内化提出特例、规模缩减与核心引理等常见策略范式；第二阶段在每道题的候选池中构造偏好对 $(z_w, z_l)$，严格筛选得分差距 $\ge 0.25$ 的极值对（平均分差达 0.47），采用直接偏好优化（DPO）进一步微调： $$\mathcal{L}_{\text{DPO}}(\phi; \phi_{\text{ref}}) = -\mathbb{E}_{(x, z_w, z_l)} \left[ \log \sigma \left( \beta \log \frac{\phi(z_w \mid x)}{\phi_{\text{ref}}(z_w \mid x)} - \beta \log \frac{\phi(z_l \mid x)}{\phi_{\text{ref}}(z_l \mid x)} \right) \right]$$ 该两阶段优化有效消除了有害或误导性提问，让轻量模型甚至基础指令模型也能稳定掌握生成高价值阶梯问题的能力。

4. 顺序与递归多阶课程生成拓扑：构建复杂推理的渐进式路标

针对超越单步简化范畴的极端难题，ARQ 进一步扩展了多垫脚石推理拓扑，分为“顺序演进（Sequential）”与“递归细分（Recursive）”两种范式。在顺序模式下，生成器在每一步综合已生成的所有前置问题与目标题目 $z_i \sim \phi(x; z_1, \dots, z_{i-1})$，旨在动态弥合当前已知状态与终点之间的推理鸿沟；在递归模式下，系统将前一个垫脚石作为新的子目标 $z_i \sim \phi(z_{i-1})$，自顶向下递归降解，再自底向上串联求解。实验表明顺序模式能够形成连贯的阶梯式课程，进一步放大了复杂多步难题上的准确率增益。

训练策略¶

后训练以 Qwen3-8B（推理思维模型）与 Qwen2.5-32B-Instruct（通用指令模型）为骨干基座。SFT 阶段涵盖 918 条高质量样例，平均 prompt 长度 184，CoT 长度约 4034，目标生成垫脚石长度约 66，采用 Cosine 学习率调度（lr=1e-5，batch size=16，训练 5 个 epoch）。DPO 阶段包含 1063 对高质量偏好对，由于序列包含超长思考链（最大长度设为 16384，部分尾部超过 40k tokens），采用 LoRA 参数高效微调（$r=256, \alpha=32$，学习率 1e-6，DPO $\beta=0.1$），保证了长程反思与对比学习的显存可控与数值稳定。

实验关键数据¶

主实验¶

评估在 AIME 2024、AIME 2025 以及更高难度的 BeyondAIME 三大前沿基准上进行。求解器采用 GPT-OSS-120B（AIME 上使用 low reasoning effort，BeyondAIME 上使用 high reasoning effort）。表 1 汇报了 BeyondAIME 100 道超难高难度问题上不同推理脚手架的单次求解/多次采样效果对比（每次独立运行 20 轮）。

方法	核心机制类别	BeyondAIME 准确率 (%)	相比直接求解提升
Solver only (直接求解)	基础基线	69.8%	-
Analogical Reasoning	提示期类比	58.6%	-11.2%
Least-to-Most	提示期子任务分解	64.2%	-5.6%
Plan-and-Solve	提示期先规划后求解	60.7%	-9.1%
ARQ (Ours, off-the-shelf)	解耦垫脚石生成	72.8%	+3.0%
Majority Voting @ 3	求解器并行采样	70.0%	+0.2%
Self-Refine	迭代自反思修正	73.2%	+3.4%

在相同计算预算下，老一代提示方法在面对自带长 CoT 的现代推理模型时全面产生负迁移（降幅达 5.6% ~ 11.2%），而 ARQ 实现了显著的正向性能跃升；同时 ARQ 与多数投票正交兼容，在叠加 Maj@20 时准确率进一步从 72.8% 攀升至 79.0%（净增 +6.2%）。

消融实验¶

消融实验深入验证了垫脚石质量天花板、后训练微调（FT）成效以及生成器与求解器的跨架构迁移泛化能力。

模型配置 / 实验组	AIME 2024 + 2025 + BeyondAIME 均值 (%)	相比 baseline 变化	说明
Solver only (基线求解)	69.8%*	-	基准表现 (*BeyondAIME基准)
ARQ (Rand 无关随机垫脚石)	69.7%	-0.1%	验证纯靠上下文增多或盲目采样无增益
ARQ low (Oracle 最佳单题表现)	74.8%	+5.0%	现存模型具备潜在提问价值
ARQ high (Oracle 最佳单题表现)	82.8%	+13.0%	证明顶级垫脚石存在巨大潜能
Qwen3-8B (未微调生成器)	基线 +0.6%	+0.6%	原始模型生成的垫脚石存在较多负面噪音
Qwen3-8B FT (Ours SFT+DPO)	基线 +3.1%	+3.1%	后训练大幅提升生成有效提问的稳定性
Qwen3-8B FT-Random (打乱奖励)	混合表现/低分	-	排除单纯数据蒸馏作用，证明评分信号关键性
Qwen2.5-32B (未微调生成器)	格式崩溃无法运行	N/A	无法遵循特定结构输出格式要求
Qwen2.5-32B FT (Ours SFT+DPO)	基线 +2.9%	+2.9%	成功赋予通用指令模型顶级提问能力
扩展至顺序 3 垫脚石 (GPT-120B)	平均 +3.9% / 最佳 +5.2%	+3.9% / +5.2%	顺序多阶段课程展现持续扩展红利

关键发现¶

好垫脚石具有强迁移性（Transferability）：由参考求解器（GPT-120B）挑选出的最优垫脚石，直接迁移给能力差异悬殊的目标求解器（如 GPT-20B 或 Qwen3-4B thinking）时，带来的增益与目标求解器自身挑选的最优垫脚石持平（如 GPT-20B low 提升超过 15%）。这表明优质问题具有跨模型尺度的内在数学启发价值，而非拟合特定求解器的特异性偏好。
最佳垫脚石的策略分布极度集中：质性分析表明，在 BeyondAIME 的最优垫脚石中，68% 属于“规模缩减（Scale Reduction）”（将庞大参数改写为可手算小数值），13% 属于“约束简化（Constraint Simplification）”（固定自由变量或取特定极值情形）；而单纯的通用定理总结仅占极少比例。
顺序扩展远优于递归分解：在多垫脚石扩展实验中，顺序式（Sequential）课程构建在 1 到 3 个问题上呈现稳定的单调性能增长，而递归式（Recursive）易因长程偏离原题导致语义漂移和性能衰退。

亮点与洞察¶

将推理重心由“被动答题”转向“主动提问”：颠覆了单条长 CoT 吞噬一切推理阶段的固有思路，证明了将“提问”抽离为独立认知算子在解决超难任务中的独特优越性。
闭环的外部奖励评分体系：利用求解器的期望通过率 $S(z, x)$ 为无标准答案的中间提问赋予精确的标量评估，打通了提问能力进行强化学习训练的飞轮。
跨尺度的阶梯指导能力：微调后较小的 8B 生成器生成的垫脚石，能够显著辅助 120B 超大参数的高强度推理求解器攻坚，验证了小模型作为“导师/引路人”为大模型提纲挈领的协作可行性。

局限与展望¶

计算资源与候选采样开销高昂：在离线评估和构建训练集时，每个候选垫脚石均需要执行数十次蒙特卡洛 rollout，计算预算规模较大，限制了更大规模多领域数据的快速扩展。
仅聚焦于离线强化与竞赛数学：当前后训练主要依托离线合成数据的 SFT 与 DPO，尚未完全打通在线强化学习（Online RL）自我博弈提问的闭环链路；未来有望在跨文件复杂代码工程与形式化定理证明等更长程任务中进行验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性论证将垫脚石提问作为独立推理算子与可训练的后训练任务。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖三大竞赛级 Benchmark、多模型迁移泛化、完整消融与多拓扑扩展分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，实验论证环环相扣，图表详实。
价值: ⭐⭐⭐⭐⭐ 为突破纯靠思维链长度扩展带来的边际效应递减提供了极具前景的架构新方向。