TTCS: Test-Time Curriculum Synthesis for Self-Evolving¶

会议: NeurIPS 2026
arXiv: 2601.22628
代码: https://github.com/XMUDeepLIT/TTCS
领域: LLM推理
关键词: 测试时训练, 自我演进, 课程合成, GRPO, 强化学习

一句话总结¶

TTCS 提出了一种基于测试时课程合成的自演进框架，通过让同源初始化的合成器与求解器在双重 GRPO 循环中协同演进，利用能力边界驱动的奖励动态合成可解变体，将测试时无标签伪标签噪声转化为稳定的自监督课程。

研究背景与动机¶

近年来，可验证奖励强化学习（RLVR）显著推动了大语言模型在复杂数学与科学推理任务上的长足进步。然而，这一范式重度依赖海量、高质量的监督数据与外部环境反馈，面临显著的可扩展性瓶颈。为了降低对人工标签的依赖，自演进（Self-Evolving）与测试时训练（Test-Time Training, TTT）逐渐成为研究热点。其中，测试时强化学习（TTRL）通过对无标签测试问题进行多次采样并通过多数投票生成伪标签，使模型能够在推理阶段直接进行参数自适应。

然而，现有测试时强化学习在面对高难度推理问题（如 AIME24/25）时遭遇严重瓶颈。一方面是伪标签不可靠：在超出模型能力的极端难题上，绝大多数采样解答均不正确，多数投票容易收敛至错误的伪共识，产生具有系统性偏差的噪声奖励并误导策略更新；另一方面是优化过程缺乏具有可学习性的过渡样本：TTRL 直接在极少数高难测试题上做在线更新，两极化的难度分布导致模型缺乏逐步爬升的中间阶梯，导致策略更新梯度消失或训练崩溃。

面对这一困境，传统测试时扩展（Test-Time Scaling）仅局限于在同一道难题上机械地增加计算预算、增加采样次数或执行多数投票，这并不能使难题变得更容易学习。本文将测试题的角色从“静态求解目标”重构为“推理分布锚点”，通过在测试题周围构建由易到难的局部问题序列，让模型先在结构相似且难度处于自身能力边界的变体上获得可靠监督后再攻克原题。核心 idea：将单模型测试时自适应重构为同源合成器与求解器的双智能体协同演进，以方差驱动的能力自适应奖励指导合成器动态生成难度处于求解器能力边界的课程变体，并通过混合批次在线过滤实现稳定的无监督测试时自演进。

方法详解¶

整体框架¶

TTCS 将同一个预训练模型分别初始化为两个策略智能体：负责问题变体生成的合成器 $\pi_\phi$ 与负责推理求解的求解器 $\pi_\theta$。在测试时自演进的迭代循环中，合成器以测试问题为结构锚点生成多道辅助变体，并由当前求解器对其求解一致性进行在线评估；求解器对生成变体提供基于能力边界的奖励反馈，推动合成器生成难度适中且具备多样性的题目；与此同时，求解器在原始测试题与高质量合成变体的混合批次上进行在线强化学习演进，依靠自一致性伪标签与样本过滤持续提升推理能力。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["无标签测试问题 x_test"] --> B["测试题引导合成<br/>保持推理结构并改变表层实现"]
    B --> C["能力自适应奖励与多样性惩罚<br/>求解器一致性打分+方差驱动边界奖励"]
    C --> D["合成器 GRPO 更新<br/>优化问题变体生成分布"]
    D --> E["混合数据构建与在线样本过滤<br/>测试题与合成变体动态重采样+中间难度过滤"]
    E --> F["求解器 GRPO 更新<br/>基于多数投票伪标签与自一致性奖励"]
    F -->|反馈当前能力状态| C
    F --> G["演进后的高推理能力模型"]

关键设计¶

1. 测试题引导合成：保持核心推理逻辑同时变换表层实现

直接合成新题极易偏离目标测试分布或退化为无意义文本。为了保证合成变体对原始测试任务的迁移有效性，合成器 $\pi_\phi^t$ 在第 $t$ 轮以原始测试题 $x_{\text{test}}$ 为输入，生成 $M$ 个辅助问题 $\{x'_i\}_{i=1}^M$。该设计要求生成的题目严格保留原测试问题的核心数学结构（如极值条件、同余判定、函数复合等深层逻辑），但对表层实现进行灵活变构，包括更改实体对象、代数变量、几何约束形式或具体数值参数。这样构建的变体在任务分布上天然紧密贴合目标测试集，为求解器构建了紧密环绕原题的局部训练分布。

2. 能力自适应奖励：方差驱动的能力边界定位

合成题目的难易度必须精准匹配求解器的当前水平：过于简单的题目对模型没有梯度提升，过于困难的题目则无法提供有效正反馈。TTCS 引入求解器作为在线评估器，对每个合成变体 $x'_i$ 采样 $K$ 个解答并计算多数投票一致性分数 $s(x'_i)=\frac{1}{K}\sum_{k=1}^K \mathbb{I}[y_{i,k}=\hat{y}_i]$。当且仅当 $s(x'_i) \approx 0.5$ 时，解答输出分布的二项方差达到最大，模型恰好处于“处于掌握边缘但不稳定”的能力边界。为激励合成器命中这一黄金区间，设计了钟形能力自适应奖励： $$\mathcal{R}_{\text{cap}}(x'_i) = \big(4\,s(x'_i)(1-s(x'_i))\big)^\gamma$$ 其中常数 4 将奖励峰值归一化至 1，超参数 $\gamma$ 调节锐度。当 $s(x'_i) \to 0$ 或 $1$ 时，奖励迅速衰减至 0，迫使合成器始终追踪并推进求解器的“最近发展区”。

3. 多样性与防退化惩罚：抑制模式坍塌与无意义复读

自生成训练容易陷入两类病态退化：直接复述原题导致监督信号虚假膨胀，或批量生成近乎完全一致的同构变体造成模式坍塌。TTCS 在合成器奖励中显式加入了双重相似度惩罚 $\mathcal{R}_{\text{sim}}(x'_i) = \lambda_1 \mathcal{R}_{\text{ref}}(x'_i, x_{\text{test}}) + \lambda_2 \mathcal{R}_{\text{group}}(x'_i, \{x'_{i'}\}_{i' \neq i})$。其中，参考惩罚 $\mathcal{R}_{\text{ref}}$ 结合文本重合度、Jaccard 距离与骨架匹配度，分层惩罚对原题的简单抄袭；分组惩罚 $\mathcal{R}_{\text{group}}$ 则通过层次凝聚聚类计算组内样本的 BLEU 距离，惩罚同一批次内的过度相似样本。结合格式验证指示函数，合成器的综合优化奖励为： $$\mathcal{R}(x'_i) = \mathbb{I}_{\text{valid}}(x'_i) \cdot \max\big(0, \mathcal{R}_{\text{cap}}(x'_i) - \mathcal{R}_{\text{sim}}(x'_i)\big)$$

4. 混合数据构建与在线样本过滤：平衡泛化性与学习信号质量

在求解器侧，单纯使用合成数据容易引发误差累积与分布漂移，而只用测试集数据则面临样本量极小且难度过高的困境。TTCS 将带放回重采样的原始测试集 $\mathcal{B}_{\text{test}}^t$ 与最新合成集 $\mathcal{B}_{\text{syn}}^t$ 混合构成训练批次 $\mathcal{B}_{\text{train}}^t$。求解器针对每个样本生成 $G$ 个候选回答并确定多数投票伪标签 $\hat{y}^*$，定义样本一致性得分 $s(x) = \frac{1}{G}\sum_{i=1}^G \mathbb{I}[y_i = \hat{y}^*]$。为了阻断过于确定或完全错误的噪声更新，TTCS 部署了在线样本过滤机制，仅保留满足 $|s(x)-0.5| \leq \delta$ 的高信息量样本参与求解器的 GRPO 更新。

损失函数 / 训练策略¶

合成器与求解器均采用 Group Relative Policy Optimization (GRPO) 进行交替在线优化。对于合成器 $\pi_\phi$，损失函数在生成的问题组上计算优势函数 $A_i$，通过带裁剪的概率比值以及 KL 散度正则化约束策略更新幅度： $$\mathcal{J}_{\text{GRPO}}(\phi) = \mathbb{E}\Bigg[\frac{1}{M}\sum_{i=1}^M \min\left(\frac{\pi_\phi(x'_i \mid x)}{\pi_{\phi_{\text{old}}}(x'_i \mid x)}A_i,\, \text{clip}\left(\frac{\pi_\phi(x'_i \mid x)}{\pi_{\phi_{\text{old}}}(x'_i \mid x)}, 1-\epsilon, 1+\epsilon\right)A_i\right) - \beta \mathbb{D}_{\text{KL}}(\pi_\phi \parallel \pi_{\text{old}})\Bigg]$$ 求解器 $\pi_\theta$ 的优化目标结构一致，但在过滤后的混合样本集合上利用候选推理路径的自一致性二值结果计算优势函数。合成器与求解器学习率均设为 $1\times 10^{-6}$，权重衰减为 0.01，KL 系数为 0.01。每轮迭代中合成器更新 5 步，求解器更新 15 步。

实验关键数据¶

主实验¶

在数学推理基准上的主实验涵盖了竞赛级任务（AMC23、AIME24、AIME25）与通用基础数学任务（MATH-500、Minerva、OlympiadBench）。AIME24/25 报告 mean@32，其余数据集报告 pass@1（贪婪解码）。

模型 / 方法	AIME 2024	AIME 2025	AMC23	MATH-500	Minerva	OlympiadBench	平均分
Qwen2.5-Math-1.5B
预训练模型基线	7.10	4.20	27.50	33.20	9.60	22.20	17.30
Self-Consistency	13.30	10.00	50.00	49.80	10.70	31.90	27.62
R-Zero	10.00	4.58	47.50	66.20	30.88	31.01	31.70
TTRL	13.23	9.38	55.00	71.20	34.93	35.61	36.56
TTCS (本文)	19.79	13.33	62.50	76.80	40.44	36.05	41.49
Qwen2.5-Math-7B
预训练模型基线	12.90	7.90	45.00	52.80	18.80	18.70	26.02
Self-Consistency	20.00	13.30	52.50	62.20	22.10	22.80	32.15
R-Zero	18.13	7.81	65.00	78.60	43.38	39.47	42.07
TTRL	35.52	14.06	67.50	83.40	49.26	40.80	48.42
TTCS (本文)	37.19	19.90	75.00	84.60	53.31	45.25	52.54
Qwen3-4B-Base
预训练模型基线	12.10	5.40	45.00	72.40	32.70	39.90	34.58
Self-Consistency	20.00	10.00	57.50	79.60	41.20	44.10	42.07
R-Zero	11.35	8.65	55.00	76.20	45.96	42.73	39.98
TTRL	16.67	17.81	57.50	80.40	45.96	43.18	43.59
TTCS (本文)	25.00	19.58	60.00	81.80	52.21	44.66	47.21

消融实验¶

基于 Qwen2.5-Math-1.5B 骨干模型，分析核心组件对最终推理表现的贡献。

配置	AMC23	OlympiadBench	Minerva	说明
完整模型 (TTCS Full)	62.50	36.05	40.44	完整协同演进框架
w/o 合成器训练 (Frozen Synthesizer)	55.00 (-7.50)	32.79 (-3.26)	37.50 (-2.94)	冻结合成器，无法随求解器自适应调整题目难度
w/o 在线数据过滤 (Online Filter)	60.00 (-2.50)	33.68 (-2.37)	38.60 (-1.84)	移除 $
w/o 多样性惩罚 (Diversity Penalty)	55.00 (-7.50)	35.31 (-0.74)	39.34 (-1.10)	去除参考题与组内相似度惩罚，导致变体退化或复读

此外，针对合成器能力的对比分析表明：采用冻结的强模型 Qwen2.5-14B-Instruct 作为静态出题器时，1.5B 求解器在 AIME24/AIME25/Minerva 上的平均分为 21.84；而 TTCS 使用同源 1.5B 动态演进合成器则达到了 24.52 分，显著优于静态强教师，证明出题策略的“动态能力对齐”远比出题模型的“绝对静态能力”关键。

关键发现¶

合成器自适应训练是提升的核心引擎：去除合成器训练直接导致 AMC23 上性能大幅跌落 7.50 分，证明静态出题无法捕捉求解器的动态成长边界，合成题容易过难或过易。
高难竞赛题上收益尤为突出：在最难的 AIME24 基准上，TTCS 相比 TTRL 提升达到 6.56 分（1.5B 模型）；在 AIME25 上，7B 模型较 TTRL 提升 5.84 分，证明在极端难题上合成过渡题能有效化解伪标签坍塌。
少样本测试场景下依然极为鲁棒：在仅使用 AIME24 数据集的 10%（仅 3 道测试题）时，TTCS 仍能将准确率提升至 13.33 分，远超 TTRL 的 9.48 分，表明课程合成有效放大了有限测试数据的监督效能。
具有跨领域与跨数据集泛化力：在 AIME25 上进行的测试时演进能够直接正向迁移至 MMLU-Pro 和 SuperGPQA 等通用推理基准，并能在未参与演进的外部数学数据集上保持稳定增长。

亮点与洞察¶

将难题转化为局部演进分布：突破了传统 Test-Time Compute 仅在单题上重复采样的思维局限，将测试问题视为种子锚点，通过局部变体课程将无从下手的难题转化为阶梯式学习过程。
方差驱动的能力边界设计：将强化学习的策略梯度方差与人类教育学中的“最近发展区”巧妙结合，以 $s(x)(1-s(x))$ 直接锚定二项方差最大点，使奖励无需真实答案即可敏锐捕捉模型的薄弱认知界面。
同源协同演进优于静态大模型监督：实验证实自适应匹配当前解题能力的“动态小合成器”效果大幅优于“静态强模型”，为低资源、无外援环境下的自主智能体演进提供了极具启发性的技术范例。

局限与展望¶

计算开销与延迟增加：相比单次前向推理或标准测试时采样，测试时训练需要交替进行合成器采样、求解器评估以及两者的多轮反向传播更新，在低延迟场景下的部署成本较高。
依赖领域结构的可变性：在结构化数学问题中易于保留深层推理逻辑并变换表层参数，但在开放域长文本问答、非结构化常识判断等领域，如何保持逻辑严格等价且可解仍具挑战。
未来方向：探索轻量化适配器（LoRA）在测试时的极速自适应更新，并将此双智能体自演进机制拓展至具有交互反馈的代码生成与具身智能规划场景中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将测试时自适应升级为同源双智能体自演进课程生成，构思极其精巧]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 3 个模型基座、6 大数学基准、跨任务泛化分析及多维度详实消融]
写作质量: ⭐⭐⭐⭐⭐ [形式化建模严密，理论方差分析清晰，论证层层递进]
价值: ⭐⭐⭐⭐⭐ [为后训练与测试时计算提供了全新的自演进范式，启发性极强]