CoDiQ: Test-Time Scaling for Controllable Difficult Question Generation¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/xxx
领域: LLM 推理
关键词: 测试时缩放, 难题生成, 强化学习, 课程学习, 验证器
一句话总结¶
提出纵向测试时缩放框架 CoDiQ,通过结合六大认知脚手架策略、相对难度排序与值网络双重验证、以及突破点轨迹强化学习,实现了可控且保真度极高的竞赛级数学与编程难题合成。
研究背景与动机¶
大语言推理模型(LRMs)在数学竞赛与竞技编程等复杂逻辑任务上展现出突破性进展,而推动这一跃迁的核心驱动力是足以激发极限推理能力的难题数据。然而,现存的自动难题合成管线普遍受制于三项根本性瓶颈:首先是生成器能力天花板,模型难以自发构造超越其自身可靠推理上限的题目;其次是可解性与复杂度的权衡,盲目注入约束极易引入逻辑矛盾或歧义,导致题目彻底不可解;最后是缺乏可度量、非饱和的难度代理指标,使得“让问题变得更难”在提示工程层面沦为不可控的随机改写。
这种失败的核心矛盾在于,现有的测试时计算扩展(如 Best-of-N 采样或树搜索)主要聚焦于“横向”扩展——即为固定问题探索多种求解轨迹,而无法在问题演化空间内实现“纵向”的难度递进;与此同时,绝对难度评分在探索模型能力边界时迅速饱和,且缺乏对“虚假复杂”(如加入大量可通过中国剩余定理瞬间约化的多余同余约束)的识别机制。
本文的切入角度是:将测试时计算机制引入问题生成的纵向维度,以可控的迭代演化逼近生成器的能力前沿,并用验证器对每一步演化的有效性进行严格准入。核心 idea:提出纵向测试时缩放框架 CoDiQ,结合六大认知脚手架策略与相对难度双重估计,利用强化学习在生成器被拒的突破点轨迹上进行对齐训练,构建出难度严格递增且保持高可解性的竞赛级问题语料库。
方法详解¶
整体框架¶
CoDiQ 的核心范式是从种子问题 \(Q_0\) 出发,在至多 \(T_{\max}=8\) 轮的迭代改写中,通过纵向测试时计算让问题难度单调爬升。每轮迭代中,生成器在六大难度增强策略指导下生成演化变体 \(Q_i\);随后管道运行双重检验模块:难度评估模块联合 LLM 列表排序与值网络隐状态预测给出连续难度增量,可解性验证模块则利用高精度推理模型审查题目的逻辑完备性与可解性;一旦检测到难度倒退或验证未通过,管道即刻触发回滚并终止。为突破基础生成器的能力上限,框架进一步收集此类“突破点”失败轨迹,基于强化学习训练专用的 CoDiQ-Generator。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["种子问题 Q0<br/>基础数学 / 代码问题"] --> B["难度增强策略引导生成<br/>六大认知脚手架扩充"]
B --> C["相对难度双重估计<br/>LLM列表排序 + ValueNetwork"]
C --> D{"难度单调递增?<br/>di >= di-1"}
D -->|否 / 难度衰退| G["回滚至上一轮Qi-1<br/>输出合格轨迹"]
D -->|是| E["可解性形式审查<br/>Qwen3-32B 判定逻辑完备性"]
E -->|未通过 / 不可解| G
E -->|通过| F{"达到最大轮次<br/>或终止条件?"}
F -->|否| B
F -->|是| H["CoDiQ-Corpus 题库入库<br/>按演化阶段分层"]
G --> I["突破点轨迹对齐强化学习<br/>训练 CoDiQ-Generator"]
关键设计¶
1. 认知脚手架导向的六大难度增强策略:防止无意义的表层语义改写
针对单纯提示“让题目更难”容易退化为扩大数据规模(如将 \(N\) 提到 \(10^5\) 却依然是线性扫描)的痛点,论文设计了六大显式认知脚手架策略:维度与约束扩展(引入动态更新或高维空间以迫使复杂度阶跃)、数学抽象(将过程性模拟转化为数论、组合或博弈论闭式结构)、逆向与构造(从求解结果反推合法输入构造)、状态空间爆炸(引入历史依赖打破简易 DP 转移)、定理伪装(用叙事红鲱鱼掩盖网络流或线性基核心算法)、边界条件与严谨性工程(针对极端退化边界与精度设伏)。这些策略作为系统级提示注入生成循环,确保题目的难度提升来自于深层算法逻辑的重构。
2. 相对排序与值网络协同的双重难度估计:解决能力前沿绝对难度饱和
在模型能力边界处,常规绝对打分极易发生头部饱和且方差极大。为此,CoDiQ 提出了结合显式 LLM 列表排序(DR-LLM)与隐式值网络评分(DR-VN)的相对难度度量。DR-LLM 采用 Doubao-Seed-1.8 对候选 batch 进行带有随机打乱的列表排序并归并为 \(G \le n\) 个难度组,每组分数为: $\(d_i = \frac{j - 1}{G - 1}, \quad j \in \{1, \dots, G\}\)$ 同时,DR-VN 基于 Qwen3-8B 隐藏状态,采用二次幂采样策略抽取生成初期的隐藏层表示,通过轻量 MLP 预测最终求解正确的概率,概率越低代表客观认知负荷越高。两者正规化至 \([0, 100]\) 取算术平均得到 DR(AVG),严格要求演化过程 \(\Delta(D) = d_i - d_{i-1} \ge 0\)。
3. 可解性验证与回滚终止机制:拦截虚假复杂度与逻辑崩塌
增加约束极易引入过约束冲突,导致问题无解或产生“虚假复杂”——例如盲目堆砌模同余方程看似复杂,实则在解空间中极其稀疏甚至无有效实例。CoDiQ 引入 Qwen3-32B 实施两阶段验证,先给出完备性与矛盾分析,再输出二值决策与置信度。若候选变体 \(Q_i\) 判定为不可解或信息缺失,流水线丢弃该变体并立即终止,回滚输出前序已被验证的合法序列 \(\{Q_0, \dots, Q_{i-1}\}\),确保入库题目的端到端可靠性。
4. 突破点轨迹强化学习:驱动生成器逼近自身能力前沿
为了使生成器在不牺牲可解性的前提下主动探索高难度空间,论文未在平均难度样本上微调,而是利用流水线中前 \(i-1\) 轮被验证接受但在第 \(i\) 轮被拒的“突破点”数据对作为训练集(构建了 1,173 对样本)。基于 GRPO 算法与 VeRL 框架,设计区分度极强的阶梯式难度感知奖励函数: $\(r = \begin{cases} 0, & \text{invalid} \\ w_1 \cdot \text{conf}, & \Delta(D) = 0 \\ w_2 \cdot \text{conf} + (1 - w_2) \cdot (w_3 + (1 - w_3)\Delta(D)), & \Delta(D) > 0 \end{cases}\)$ 其中权重设置为 \(w_1=0.6, w_2=0.2, w_3=0.8\),将奖励空间划分为无效(0)、难度持平(\([0.30, 0.60]\))与难度提升(\([0.74, 1.00]\))三大互不重叠的区间,引导模型持续维持可解性并推进有效难度。
一个完整示例¶
论文附录 C 详述了一个经典的动态规划子序列演化案例:
- 种子问题 \(Q_0\):给定数组 nums,计算元素和为奇数的非空子序列数目对 \(10^9+7\) 取模。标准解法为 2 个状态的简单 DP,耗时 \(O(N)\)。
- 第 1 轮演化 \(Q_1\):加入两项正交约束——子序列长度必须为偶数,且元素和 \(\text{mod } 3 = 1\)。状态空间从 2 扩展为 \(2 \times 2 \times 3 = 12\),时间复杂度 \(O(12N)\),解密度约 \(8\%\)。验证器判定:可解性得分 0.90,难度上升(PASS)。
- 第 2 轮演化 \(Q_2\):继续增加约束:和 \(\text{mod } 5 = 2\) 且长度 \(\text{mod } 4 = 2\)。虽然形式上引入新条件,但由于中国剩余定理(CRT),和的同余条件统一为 \(\text{mod } 30 = 7\),有效状态为 \(30 \times 4 = 120\)。验证器判定:可解性得分 0.85,难度持平(PASS)。
- 第 3 轮演化失败 \(Q_3\):生成器盲目堆叠 \(\text{mod } 7 = 4\) 和 \(\text{mod } 11 = 6\)。CRT 虽数学自洽,但状态膨胀至 18,480,且解空间极度稀疏(随机子序列命中概率仅 \(\approx 1/18480\)),导致实际输入下答案恒为 0,陷入平庸不可解。流水线果断截断,丢弃 \(Q_3\) 并最终输出合法序列 \(\{Q_0, Q_1, Q_2\}\)。
实验关键数据¶
主实验¶
在 CoDiQ-Bench(包含 100 道数学与 100 道编程难题)上对比各大主流长思维链模型在 8 轮生成内所能达到的最大经验证难度(DR 分数正规化至 0-100):
| 模型 | 演化模式 | 平均有效轮次 | 平均消耗 Token | DR-LLM | DR-VN | DR(AVG) |
|---|---|---|---|---|---|---|
| Qwen3-8B | Direct Prompt | 3.4 | 1130.5 | 39.2 | 59.6 | 49.4 |
| GLM-4.6 | Direct Prompt | 2.8 | 3385.8 | 71.2 | 65.8 | 68.5 |
| GPT-OSS-20B | Direct Prompt | 2.9 | 5528.2 | 68.5 | 74.4 | 71.5 |
| Qwen3-8B | CoDiQ Prompt | 2.4 | 4155.6 | 49.8 | 41.9 | 45.8 |
| Qwen3-32B | CoDiQ Prompt | 2.2 | 4893.6 | 63.0 | 46.5 | 54.8 |
| GLM-4.6 | CoDiQ Prompt | 2.7 | 7143.8 | 73.2 | 83.3 | 78.3 |
| CoDiQ-Gen-8B (本文) | CoDiQ Pipeline | 3.4 | 7499.6 | 58.9 | 58.1 | 58.5 |
在语料库级对比中,从 CoDiQ-Corpus(总计 44,453 条序列)及各基准中采样 300 题,通过求解模型消耗的思考 Token 及人类专家的排位评估(DR-Human)进行评测:
| 数据集 | 题目来源 | 求解 Token 数 ↑ | DR-LLM | DR-VN | DR-Human | DR(AVG) |
|---|---|---|---|---|---|---|
| APPS | 人工竞赛 | 12,122 | 39.1 | 44.8 | 38.8 | 40.9 |
| LiveCodeBench | 人工竞赛 | 11,914 | 46.3 | 45.2 | 43.8 | 45.1 |
| AIME (1983–2024) | 人工竞赛 | 14,197 | 59.0 | 46.6 | 58.0 | 54.5 |
| ScaleQuest-Math | AI 合成 | 5,592 | 15.0 | 30.5 | 7.2 | 17.6 |
| ScaleDiff-Math | AI 合成 | 14,341 | 50.0 | 52.5 | 45.2 | 49.2 |
| PromptCoT-2.0 | AI 合成 | 16,817 | 64.8 | 68.3 | 68.4 | 67.2 |
| CoDiQ-Corpus | 本文合成 | 17,955 | 91.5 | 87.4 | 95.0 | 91.3 |
消融实验¶
基于合成的渐进式问题语料库,对 Qwen3 模型进行三阶段课程强化学习(L1: 基础起点题, L2: 中间复杂度题, L3: 最高难度终点题)的下游评测:
| 模型配置 | 训练阶段 / 策略 | MATH-500 | AIME 2024 | MBPP | LiveCodeBench v5 |
|---|---|---|---|---|---|
| Qwen3-4B | Base 基模 | 94.4 | 63.1 | 66.4 | 53.6 |
| Qwen3-RL-4B | 无分层标准 RL | 95.2 | 64.3 | 66.4 | 52.0 |
| Qwen3-ScaleQuest-4B | ScaleQuest 数据 | 95.8 | 63.1 | 66.8 | 51.5 |
| Qwen3-PromptCoT2-4B | PromptCoT2 数据 | 94.8 | 70.0 | 67.0 | 53.6 |
| CoDiQ-L1-4B | 课程阶段 1 | 96.0 | 65.0 | 65.2 | 53.2 |
| CoDiQ-L2-4B | 课程阶段 2 | 94.8 | 66.7 | 66.6 | 54.8 |
| CoDiQ-L3-4B | 课程阶段 3 (完整) | 96.0 | 70.6 | 67.6 | 54.2 |
| Qwen3-8B | Base 基模 | 96.2 | 70.0 | 69.2 | 56.9 |
| Qwen3-PromptCoT2-8B | PromptCoT2 数据 | 96.2 | 71.5 | 69.2 | 57.6 |
| CoDiQ-L3-8B | 课程阶段 3 (完整) | 97.0 | 73.2 | 70.2 | 58.0 |
在去除可解性验证器后的无过滤难度生成消融中,Qwen3-8B 达到 DR(AVG) 53.4,而经 RL 对齐的 CoDiQ-Gen-8B 达到 62.4,大幅跨越参数限制超过了 14B 模型(60.9),证明其探索到了更深层的结构难度。
关键发现¶
- 测试时缩放倾向(Scaling Tendency):在固定提升策略与验证器能力范围内,模型生成时消耗的 Reasoning Token 与题目难度呈现强正相关(皮尔逊系数 \(r=0.8962, p<0.001\));而在 MATH-500 人工标注难度的外部无污染评测中,求解器消耗的 Token 从 Level 1(337 tokens)单调递增至 Level 5(4,705 tokens),展现出跨越 13 倍的单调扩展。
- 深度与可解性博弈(Depth-vs-Approval Trade-off):随着题目演化深度和难度增加,验证器批准率急剧下滑;普通小模型由于产生逻辑脱节导致批准率甚至跌破 20%,而 CoDiQ-Generator 显著延缓了这种雪崩,使有效可解轮次提升至 3.4 轮。
- 下游课程适应性:相对基础的基准(如 MBPP、MATH-500)在 L1 或 L2 阶段即达到增益饱和;而真正前沿的竞赛评测(AIME 2024、LiveCodeBench v5)极度依赖最高阶的 L3 数据激发其长链推理。
亮点与洞察¶
- 突破点对齐训练机制:不使用平均样本进行对齐,而是精确定位前序成功但本轮触发违规的“临界断裂轨迹”,将失败信号转化为边界学习梯度,实现了 8B 模型在复杂结构生成上对 32B 基础模型的越级反超。
- 防止形式膨胀的双重过滤:通过结合 CRT(中国剩余定理)形式化检测与值网络早期隐状态识别,有效阻断了“表面参数复杂但解空间坍缩为空集”的低质合成陷阱。
- 领域分布保真度(JSD):在对第二级知识标签(600+ 子类别)的系统测算中,CoDiQ-Corpus 在代码领域对真实竞赛集 APPS 与 Code-Contests 展现出最低的 JS 散度,在拓宽长尾多样性的同时严守了真实竞赛领域的知识结构分布。
局限与展望¶
- 验证器悖论(Verifier Paradox)与漏判:由于采用 LLM 充当验证器,当生成的问题难度超出验证器自身的推理视野时,高度创新且正确的题目会被误杀(假阴性);同时,人工抽检依然发现 14 例假阳性(主要由于深层隐含条件冲突或样例与规则存在细微不一致)。
- 任务领域局限:目前框架高度依赖确定性推理的数学与算法竞赛规则,缺乏与外部世界知识、阅读理解或多模态物理约束相适配的自洽增强策略,向通用领域的迁移仍需改造。
- 测试时算力消耗:多轮串行演化、双重难度排序及高参数模型的大量验证大幅增加了生成延迟,不适于实时交互场景。
相关工作与启发¶
- vs ScaleQuest / ScaleDiff: 后者聚焦于从零合成(0-to-1)或对静态困难子集进行后处理蒸馏,缺乏显式的逐步难度控制旋钮;CoDiQ 则属于种子驱动的“1-to-N”渐进演化,通过闭环回滚在每一步压榨模型能力前沿。
- vs PromptCoT 2.0: PromptCoT 依赖概念重组与一次性拒绝采样,随着难度拉大其有效样本命中率呈指数衰减;CoDiQ 通过纵向测试时缩放将多步逻辑跃迁分解为受控轨迹,极大提升了竞赛级高难样本的产出密度。
- vs AutoCode / AutoCodeBench: 专注于代码断言与单元测试的闭环构造,但缺少深层算法数学结构的伪装与多维状态空间爆炸机制,在高阶竞赛问题上的知识分布覆盖较窄。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将测试时缩放系统性引入纵向问题生成领域,提出的突破点轨迹强化学习极具启发性。
- 实验充分度: ⭐⭐⭐⭐⭐ 包含跨模型多轮次评测、真实人类盲审(κ=0.76/0.78)、外部跨领域分布 JSD 计算及下游多阶段课程微调验证。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密,对可解性与复杂度的内在博弈及验证器悖论分析客观透彻。
- 价值: ⭐⭐⭐⭐⭐ 开源的高质量竞赛级语料与专用生成器,为推理模型的后训练数据拓展提供了全新的工业级基础设施。