TTCS: Test-Time Curriculum Synthesis for Self-Evolving¶

会议: NeurIPS 2026
arXiv: 2601.22628
代码: https://github.com/XMUDeepLIT/TTCS
领域: 其他
关键词: 测试时训练, 自主进化, 课程学习合成, 群体相对策略优化, 复杂推理

一句话总结¶

针对测试时强化学习面临的伪标签不可靠与缺乏可学习样本两大痛点，TTCS 提出题目合成器与推理求解器协同进化的测试时训练框架，通过动态构建能力对齐的渐进变体课程，实现了无标注环境下的稳健自主进化。

研究背景与动机¶

大语言模型正从被动的文本生成器演进为能够在复杂任务上规划与推理的自主智能体。在这一进程中，基于可验证奖励的强化学习（RLVR）成为推动数学与科学严谨推理取得突破的核心范式。然而，RLVR 极其依赖大规模、高质量的人工监督数据或外部验证器，面临严峻的可扩展性瓶颈。为此，无需外部真值标注、借助模型自生监督的自进化（Self-Evolving）与测试时训练（Test-Time Training, TTT）受到了广泛关注。其中，测试时强化学习（TTRL）通过多数投票构建伪标签，直接在无标签测试题上驱动策略参数的动态自适应。

然而，在面对高难度推理任务（如 AIME、AMC 等竞赛级数学题目）时，现有测试时强化学习会遭遇灾难性失效。其核心症结在于：对于远超模型当前能力边界的难题，模型采样的多数回答往往均包含逻辑漏洞或计算错误，多数投票频繁收敛至错误共识，产生具有系统性偏差的伪标签与噪声奖励，误导策略更新；同时，测试集规模往往极其受限，在缺乏过渡阶梯的情况下直接让模型死磕极端难题，优化过程陡峭且极易引发模式崩溃。现有的测试时计算扩展（Test-Time Scaling）仅局限于在固定原题上重复采样搜索，并不能降低题目的学习难度。

为了打破这一僵局，本文将测试题目视为构建局部训练分布的锚点，将测试时扩展由“被动搜解”转变为“主动构建局部自进化经验”。核心 idea：构建题目合成器与求解器双向协同进化的测试时训练闭环，由合成器生成保持核心推理结构且处于求解器能力边界的渐进变体题目，求解器在混合数据上通过自一致性反馈自更新，并反哺合成器优化方向，把噪声伪标签转化为可靠的进化阶梯。

方法详解¶

整体框架¶

TTCS 初始化两个均源自同一基座预训练模型的策略：问题合成器 $\pi_\phi$ 与问题求解器 $\pi_\theta$。在测试推理过程中，二者交替优化、相互塑造。对于给定的无标签测试题，合成器在保留其底层推理结构的前提下改变表面实体与约束，生成多样化的辅助题目变体；求解器对合成题目进行多路径采样评估，利用响应的一致性方差量化难度，指导合成器生成恰好处于自身能力前沿（既非太难亦非过于琐碎）的题目；随后，求解器将高质量的合成变体与原测试题混合，借助自一致性奖励与在线数据过滤机制执行测试时参数更新。双智能体均通过群体相对策略优化（GRPO）实现在线更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    In["输入测试题目集合"] --> SynRollout["变体生成：结构保持与表面重构"]
    SynRollout --> CapReward["能力自适应奖励：方差驱动的难度对齐"]
    CapReward --> SynUpdate["合成器 GRPO 优化更新"]
    SynUpdate --> MixBatch["训练数据构建：测试原题与合成题混合"]
    MixBatch --> SolverFilter["自一致性伪标签与边界数据过滤"]
    SolverFilter --> SolverUpdate["求解器 GRPO 策略自适应"]
    SolverUpdate --> FinalAns["高难度原题最终可靠求解"]

关键设计¶

1. 变体生成：结构保持与表面重构 现有测试题由于难度过高且样本稀缺，难以直接提供稳定的梯度信号。合成器必须在贴近测试题推理逻辑分布的前提下拓展解题空间。在第 $t$ 轮迭代中，合成器 $\pi_\phi^t$ 针对输入测试题 $x_{\text{test}}$ 采样生成 $M$ 个辅助变体 $\{x'_i\}_{i=1}^M$。这些变体严格保留原题的核心数学骨架与多步推导依赖关系，通过置换应用场景、数值设定、对象关系或约束形式进行表面重构。这样既避免了与原题脱节带来的分布漂移，又为模型提供了探索相同推理机制的不同情境。

2. 能力自适应奖励：方差驱动的难度对齐 生成的题目如果过易则无法产生有效梯度，过难则同样陷入错误多数投票困境。为此，TTCS 让当前求解器 $\pi_\theta^t$ 对候选生成题 $x'_i$ 采样 $K$ 条推理路径并计算多数投票一致性分数 $s(x'_i)=\frac{1}{K}\sum_{k=1}^K \mathbb{I}[y_{i,k}=\hat{y}_i]$。从理论上看，二值 Bernoulli 奖励在 $p \approx 0.5$ 时方差最大，此时优势函数 $A_i$ 方差达到峰值，能够提供最强且最有效的随机梯度更新信号。TTCS 由此构建了单峰铃状的能力自适应奖励： $$ \mathcal{R}_{\text{cap}}(x'_i) = \big(4\,s(x'_i)(1-s(x'_i))\big)^\gamma $$ 其中系数 4 将峰值归一化至 1，$\gamma$ 控制曲率以紧密聚焦于求解器的能力边界。同时，为了杜绝单纯复读测试题或生成组内重复冗余题导致的模型崩溃，框架引入文本与骨架维度的相似度惩罚 $\mathcal{R}_{\text{ref}}$ 及基于聚类的组内多样性惩罚 $\mathcal{R}_{\text{group}}$，综合得到有效合成题奖励 $\mathcal{R}(x'_i) = \mathbb{I}_{\text{valid}}(x'_i) \cdot \max(0, \mathcal{R}_{\text{cap}}(x'_i) - \mathcal{R}_{\text{sim}}(x'_i))$，驱动合成器动态调整出题分布。

3. 训练数据构建：测试原题与合成题混合 若仅在自生成的合成数据上递归训练，模型极易遭遇合成自吞噬与分布崩溃。因此，在求解器训练阶段，TTCS 采取测试原题与合成题混合构建策略：$\mathcal{B}_{\text{train}}^t = \mathcal{B}_{\text{test}}^t \cup \mathcal{B}_{\text{syn}}^t$。针对规模较小的测试集 $\mathcal{D}_{\text{test}}$，算法跨迭代进行有放回重采样，精确约束原题与合成题的比例配比，牢牢锚定测试域的先验结构，阻止自演化偏离基准目标。

4. 自一致性伪标签与边界数据过滤 针对混合训练批次中的每个题目 $x \in \mathcal{B}_{\text{train}}^t$，求解器利用较高温度采样 $G$ 条候选响应 $\{y_i\}_{i=1}^G$，通过多数投票提取共识结果 $\hat{y}^*$ 作为当前题目的自生伪标签。单条响应依据与共识的一致性分配奖励 $r_i = \mathbb{I}[y_i = \hat{y}^*]$。为了进一步剔除置信度过低或缺乏梯度的平庸样本，TTCS 计算样本一致性均值 $s(x) = \frac{1}{G}\sum_{i=1}^G r_i$，并实施严格的在线窗口过滤：仅保留满足 $|s(x)-0.5| \le \delta$ 的高信息量样本送入 GRPO 更新，确保求解器参数在确定性高的局部知识边界上稳步推进。

损失函数 / 训练策略¶

合成器与求解器均基于 GRPO 算法交替进行参数优化。在每个交替迭代中： - 合成器优化步数较少（默认 5 步），学习率 $\eta_\phi = 1\times 10^{-6}$，优化目标以 $\mathcal{R}(x'_i)$ 作为序列优势估计，辅以 KL 散度约束防止偏离初始分布； - 求解器在过滤后的混合样本集上更新（默认 15 步），学习率 $\eta_\theta = 1\times 10^{-6}$，KL 惩罚系数 $\beta = 0.01$，梯度更新时启用信赖域截断 $\text{clip}(\cdot, 1-\epsilon, 1+\epsilon)$。在竞赛数学高难任务中，批大小与采样组大小适配扩展至 16，提升解空间探索稳定性。

实验关键数据¶

主实验¶

实验在竞赛级数学（AIME 2024、AIME 2025、AMC23）与基础数学（MATH-500、Minerva、OlympiadBench）上对 Qwen2.5-Math-1.5B/7B 和 Qwen3-4B-Base 进行了全方位评测。AIME 报告 mean@32，其余数据集报告贪婪解码 pass@1。

模型	方法	AIME 2024	AIME 2025	AMC23	MATH-500	Minerva	Olympiad	平均分
Qwen2.5-Math-1.5B	Pretrained	7.10	4.20	27.50	33.20	9.60	22.20	17.30
Qwen2.5-Math-1.5B	Self-Consistency	13.30	10.00	50.00	49.80	10.70	31.90	27.62
Qwen2.5-Math-1.5B	R-Zero	10.00	4.58	47.50	66.20	30.88	31.01	31.70
Qwen2.5-Math-1.5B	TTRL	13.23	9.38	55.00	71.20	34.93	35.61	36.56
Qwen2.5-Math-1.5B	TTCS (本文)	19.79	13.33	62.50	76.80	40.44	36.05	41.49
Qwen2.5-Math-7B	Pretrained	12.90	7.90	45.00	52.80	18.80	18.70	26.02
Qwen2.5-Math-7B	Self-Consistency	20.00	13.30	52.50	62.20	22.10	22.80	32.15
Qwen2.5-Math-7B	R-Zero	18.13	7.81	65.00	78.60	43.38	39.47	42.07
Qwen2.5-Math-7B	TTRL	35.52	14.06	67.50	83.40	49.26	40.80	48.42
Qwen2.5-Math-7B	TTCS (本文)	37.19	19.90	75.00	84.60	53.31	45.25	52.54
Qwen3-4B-Base	Pretrained	12.10	5.40	45.00	72.40	32.70	39.90	34.58
Qwen3-4B-Base	Self-Consistency	20.00	10.00	57.50	79.60	41.20	44.10	42.07
Qwen3-4B-Base	R-Zero	11.35	8.65	55.00	76.20	45.96	42.73	39.98
Qwen3-4B-Base	TTRL	16.67	17.81	57.50	80.40	45.96	43.18	43.59
Qwen3-4B-Base	TTCS (本文)	25.00	19.58	60.00	81.80	52.21	44.66	47.21

消融实验¶

在 Qwen2.5-Math-1.5B 上系统验证合成器在线训练、求解器在线数据过滤以及合成多样性惩罚的核心效能。

配置	AMC23 得分	AMC23 变化 ($\Delta$)	Olympiad 得分	Olympiad 变化 ($\Delta$)	Minerva 得分	Minerva 变化 ($\Delta$)
TTCS (Full 完整模型)	62.50	—	36.05	—	40.44	—
w/o 合成器训练 (固定冻结基座)	55.00	$\downarrow 7.50$	32.79	$\downarrow 3.26$	37.50	$\downarrow 2.94$
w/o 在线数据过滤 (全量样本更新)	60.00	$\downarrow 2.50$	33.68	$\downarrow 2.37$	38.60	$\downarrow 1.84$
w/o 多样性惩罚 (移除相似度惩罚)	55.00	$\downarrow 7.50$	35.31	$\downarrow 0.74$	39.34	$\downarrow 1.10$

关键发现¶

合成器在线协同训练至关重要：冻结合成器而仅用静态基座出题，在 AMC23 上大幅掉点 7.50，说明静态生成无法贴合求解器不断前移的能力边界，导致生成的题目脱节。
动态自适应远胜更强但静态的教师模型：用强大的冻结 Qwen2.5-14B-Instruct 代替 1.5B 协同进化合成器，平均仅提升 +2.66 分，而完整的同基座 1.5B TTCS 提升了 +5.34 分，印证了“课程动态对齐”比“教师绝对能力”更具决定性。
极端小样本下依然稳健扩展：在 AIME24 上仅使用 10% 样本（仅 3 题）进行测试时自适应，TTCS 即将准确率从 7.10% 提至 13.33%，显著超越 TTRL 的 9.48%，证明了变体扩充机制对数据稀缺的高容忍度。
跨领域通用逻辑正向迁移：在 AIME25 上演化训练的求解器，无缝泛化至通用领域基准 MMLU-Pro 和 SuperGPQA，性能持续超越 R-Zero 与 TTRL，表明模型内化了通用推理范式而非对测试原题过拟合。

亮点与洞察¶

测试题目角色的认知重塑：传统测试时计算扩展把输入题目当作被动求解的终点，而 TTCS 将其视为搭建局部训练分布的动态锚点，化被动搜索为主动构造经验。
数学支撑的能力前沿奖励设计：严格推导了 Bernoulli 分布下一致性分数 $s \approx 0.5$ 时策略梯度方差最大的数学性质，用单峰势能精准捕获处于“即将学会但尚未完全稳定”的临界题目，提升了强化学习样本效率。
零额外监督的完全自主进化闭环：摆脱了对外部 Verifier 或更强 Teacher 模型的依赖，仅凭单一模型分化为出题者与解题者，通过博弈式反馈闭环自立演化。

局限与展望¶

计算开销与测试时延迟：在推理阶段执行多轮题目合成、多路求解采样与策略参数反向传播更新，显著增加了单次推理的计算资源消耗与端到端响应时间。
非确定性领域迁移验证仍待深化：尽管在通用知识评测上有零样本迁移提升，但自一致性伪标签天然依赖答案的收敛性，在无单一确定标准答案的开放式生成、长文本创作任务中尚需设计新的软共识评判机制。
持续测试演化的灾难性遗忘控制：长程多轮测试自适应时，尽管引入了 KL 惩罚，但缺乏对历史基座通用能力的长期重放保护机制，长任务序列下的稳定性有待加强。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了常规 Test-Time Scaling 的被动搜索范式，创新性提出将测试题作为锚点构建局部课程自进化。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖多种模型规模（1.5B/4B/7B）、竞赛级数学基准、跨领域泛化及细致严谨的消融实验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨清晰，数学推导完备，问题演化案例分析直观且说服力强。
价值: ⭐⭐⭐⭐⭐ 为无标注环境与推理时计算扩展探索了一条摆脱外部标签依赖的通用自进化道路。