Verifiable Environments Are LEGO Bricks: Recursive Composition for Reasoning Generalization¶

会议: NeurIPS 2026
arXiv: 2606.12373
代码: https://anonymous.4open.science/r/Submission_of_NIPS2026_34776-B7FD
领域: 其他
关键词: 可验证环境、递归组合、强化学习、推理泛化、复合算子

一句话总结¶

提出 RACES（Recursive Automated Composition for Environment Scaling）框架，将可验证环境建模为输入输出类型匹配的“积木”，通过递归组合与多样化算子（串行、并行、排序、选择）生成结构复杂且具备程序化校验的训练环境，在 14B 模型上实现下游未见推理基准显著提升，并以 50 个基底环境达到超越 300 个单体环境的效果。

研究背景与动机¶

基于可验证奖励的强化学习（RLVR）已成为激发与提升大语言模型复杂推理能力的关键途径。近年来，学术界构建了一系列涵盖代码验证、逻辑谜题与算法任务的可验证环境（如 RLVE、SCALER 等），通过程序化生成输入并自动校验输出，为策略模型提供高保真、自适应的优化信号。随着基础模型推理能力的演进，对高质量、高难度可验证训练环境的需求急剧扩张；然而，现有人工设计或单体环境合成方法本质上是线性的——每增加一个新环境都需要付出独立的开发或提示词生成成本，导致在有限预算下环境多样性受限，难以支持模型形成超越训练分布的强推理泛化能力。

这种单体环境扩展方式的核心矛盾在于：环境空间的线性扩展无法承载复合推理所需的深层结构多样性。现有方法要么直接让模型在隔离的单一转换任务上循环探索，导致模型迅速在简单环境上达到高奖励却过拟合于特定表层模式；要么仅在问题文本层面进行拼接，缺乏环境级的递归闭包保障，难以支撑深层组合与自动化校验。如何突破单体环境独立构建的成本壁垒，低成本地产生组合爆炸式的高质量可验证训练任务，成为强化学习推理训练的亟待解决的瓶颈。

受到代数变换复合闭包性质的启发，本文提出一种全新的环境缩放视角：无需从头合成孤立的新环境，而是将既有可验证环境视作可相互拼接的“乐高积木”。当一个环境的值域（输出类型）与另一个环境的定义域（输入类型）相兼容时，两者即可无缝融合为全新的可验证环境，且新复合环境依然保持确定性映射接口以支持进一步递归复合。核心 idea：将可验证环境形式化为具备确定性类型签名的四元组，利用输入输出兼容性进行自动化递归组合，并通过串行（SEQUENTIAL）、并行（PARALLEL）、乱序重构（SORT）与干扰项甄别（SELECT）四类组合算子映射为多样的模型推理范式，以组合闭包打破单体环境的线性扩展限制。

方法详解¶

RACES 将可验证环境的构造过程从“单体独立设计”升级为“递归自动复合”。整个系统围绕环境标准化、组合路径探索、可执行性质量过滤以及面向模型的算子实例化展开。

整体框架¶

RACES 的运行流程由四个紧密相连的核心阶段组成。首先，系统将任意可验证环境标准化为包含输入采样器、确定性输出映射代码、自然语言问题描述符与程序化验证器的规范四元组。其次，基于环境的输入输出类型签名，在环境池中利用基于前沿的广度优先搜索寻找所有类型匹配的可执行组合路径。接着，执行严格的沙盒测试与非退化质量过滤，排除运行时异常、死循环、中间状态重复或退化常数。最后，由特定的组合算子将可执行的复合环境转换为面向模型的强化学习训练实例，定义其呈现方式与检验机制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境标准化四元组<br/>(G_e, f_e, D_e, V_e) 与类型签名"] --> B["组合路径发现<br/>类型匹配与前沿广度优先搜索"]
    B --> C["执行沙盒与非退化质量过滤<br/>拦截超时/异常/退化状态"]
    C --> D["算子实例化与奖励构建<br/>SEQUENTIAL / PARALLEL / SORT / SELECT"]
    D --> E["GRPO 强化学习训练<br/>长上下文推理轨迹优化"]

关键设计¶

1. 可验证环境的形式化四元组与组合闭包：为递归拼接奠定标准化代数接口
为了实现无需人工适配器的通用自动化组合，RACES 首先将基本可验证环境 $e$ 严格定义为四元组： $$e = (G_e, f_e, D_e, V_e)$$ 其中 $G_e$ 为输入采样器，负责从输入空间 $\mathcal{X}_e$ 程序化生成合法样本；$f_e: \mathcal{X}_e \to \mathcal{Y}_e$ 为核心确定性映射代码，其输入域 $\mathcal{X}_e$ 与输出域 $\mathcal{Y}_e$ 构成类型签名 $\tau_e = (\mathcal{X}_e, \mathcal{Y}_e)$；$D_e: \mathcal{X}_e \to \Sigma^*$ 负责将输入参数渲染为自然语言形式的问题陈述；$V_e: \mathcal{Y}_e \times \mathcal{Y}_e \to \{0, 1\}$ 则是判定模型答案与标准输出是否一致的程序化校验器。当且仅当环境 $e_i$ 的输出域与其后续环境 $e_j$ 的输入域一致（即 $\mathcal{Y}_{e_i} = \mathcal{X}_{e_j}$）时，二者满足组合条件，产生复合映射 $(f_{e_j} \circ f_{e_i})(x) = f_{e_j}(f_{e_i}(x))$。由于各基本映射均为确定性程序，复合函数依然具备确定性与匹配接口，能够沿长度为 $t$ 的路径无限递推为复合映射 $F_{\pi_t} = f_{e_t} \circ \cdots \circ f_{e_1}$。这种代数闭包特性使得有限的环境基底池得以激发出组合爆炸级的复杂任务流。

2. 前沿状态树搜索与在线执行过滤：确保复合任务的有效性与非退化性
类型匹配仅仅是组合可行的必要条件，实际代码执行中可能出现类型虽符合但数值越界、逻辑崩溃或语义退化的问题。RACES 设计了带有配额平衡的前沿搜索树算法：以初始输入 $x_0$ 为根节点，在每一步前沿状态 $y_t$ 上检索候选环境集合 $\mathcal{C}(y_t) = \{e \in \mathcal{E}: \mathcal{X}_e = \text{type}(y_t)\}$，并按照环境池中各模块的剩余使用预算加权抽样以保障覆盖均衡。在状态扩展的同时，系统在线执行沙盒测试：凡执行时间超过 2 秒、引发运行时异常、执行原子步数超过 400 步的路径直接剔除。此外，引入非退化性过滤规则：若中间或终态输出 $y_{t+1}$ 出现路径内重复、与兄弟节点同构、取值为 0 或 1、为大于 500 的整数、字符串长度超过 100 字符或出现单一字符死循环重复，均予以拦截。最后强制剔除长度小于 2 的浅层路径，确保进入训练池的任务全部具备真实的深层组合多步推理结构。

3. 多样化组合算子与因果奖励建模：诱发全方位的推理行为模式
相同的可执行组合路径可以通过不同的展现方式诱导模型学习截然不同的认知策略。RACES 定义了四种互补的组合算子： - 串行算子（SEQUENTIAL）：向模型依次提供链式问题描述 $(D_{e_1}, \dots, D_{e_t})$，要求模型按顺序计算并输出全部中间状态 $(\hat{y}_1, \dots, \hat{y}_t)$。由于多步依赖中任一步骤出错都会使后续步骤失效，RACES 引入最长正确前缀奖励： $$K = \min\left(\{i \in \{1,\dots,t\}: V_{e_i}(\hat{y}_i, y_i)=0\} \cup \{t+1\}\right) - 1, \quad R^{\text{Seq}} = \frac{K}{t}$$ - 并行算子（PARALLEL）：在同一提示上下文中并发采样 $n$ 个独立环境输入对 $(e_i, x_i)$，要求模型维持多线程独立计算互不干扰，奖励定义为所有子任务校验正确率的均值 $R^{\text{Par}} = \frac{1}{n}\sum_{i=1}^n V_{e_i}(\hat{y}_i, y_i)$。 - 排序算子（SORT）：向模型给出初始输入 $x_0$、目标最终输出 $y_t$ 以及打乱顺序的环境描述集合，要求模型逆向推导并输出正确的执行排列 $\hat{\sigma}$。只要模型给出的排列在代码模拟执行后能产生正确终态即判为成功（$R^{\text{Sort}} \in \{0, 1\}$），天然支持等价非规范排列的信用分配。 - 选择算子（SELECT）：在真实路径环境集外，混入搜索过程中记录的高混淆度可执行候选干扰项 $\mathcal{B}_\pi$，构成候选池 $\mathcal{A}_\pi = \{e_1,\dots,e_t\} \cup \mathcal{B}_\pi$。要求模型既要筛选出正确子集，又要排出有效顺序，仅当模拟执行完全命中 $y_t$ 时给予奖励 $R^{\text{Sel}} = 1$。

损失函数 / 训练策略¶

RACES 的强化学习训练采用 VERL 框架并在 32 块 NVIDIA A100 80GB 集群上部署。策略优化基于群体相对策略优化算法（GRPO），裁剪比例设为 0.28，完全移除针对参考策略的 KL 正则约束以允许模型在纯结果奖励驱动下自由探索长链思维轨迹。主实验中，每个训练配置历经 300 步优化，共覆盖 12,800 个训练实例，全局批大小为 128，学习率为 $2\times 10^{-6}$，每个问题生成 8 条 rollout 采样序列。由于复合环境诱发多步推理与状态追踪，生成的思考轨迹显著变长，最大上下文长度设定为 32K tokens。在针对小模型（Qwen3-4B）的消融与分析中，训练步数压缩至 200 步，上下文限额为 16K tokens。

实验关键数据¶

主实验¶

主实验在两个 14B 参数级基座模型（DeepSeek-R1-Distill-Qwen-14B 与 Qwen3-14B）上展开，测试基准涵盖代码生成（LiveCodeBench）、逻辑谜题（Enigmata）、长文本推理（LongBench-v2）、指令遵循（IFEval）与高级数学（AIME 2024/2025 均值）。所有基准在环境构建期间完全不可见。

基座模型	训练配置	LCBench	Enigmata	LBench-V2	IFEval	AIME	平均分
DeepSeek-R1-Distill-Qwen-14B	Base	47.2	32.3	32.5	70.6	58.5	48.2
DeepSeek-R1-Distill-Qwen-14B	RL_individual (300 envs)	46.9	34.2	33.7	69.3	59.8	48.8
DeepSeek-R1-Distill-Qwen-14B	RL_RACES (Ours)	48.8	35.4	36.0	74.6	61.7	51.3
Qwen3-14B	Base	55.0	47.4	32.5	84.5	74.8	58.8
Qwen3-14B	RL_individual (300 envs)	56.3	48.2	34.1	85.7	76.0	60.1
Qwen3-14B	RL_RACES (Ours)	57.0	49.2	35.5	86.7	77.0	61.1

消融实验¶

消融实验深入检验了基底环境规模（环境利用效率）以及组合深度（Composition Size）对泛化效果的影响。

表 1：基底环境池规模扩展对比（Qwen3-4B-Instruct-2507）

设置	基底环境数	LCBench	Enigmata	LBench-V2	IFEval	AIME	平均分	说明
Base	0	32.4	36.5	41.3	82.2	53.7	49.2	未微调基座
RL_individual	50	32.7	38.6	41.6	82.9	55.1	50.2	单体环境
RL_individual	300	31.5	39.3	41.9	83.5	55.6	50.4	扩展单体环境仅微增 +0.2
RL_RACES (Ours)	50	33.2	38.7	42.4	82.8	57.0	50.8	仅 50 个基底环境即超越 300 个单体环境
RL_RACES (Ours)	300	34.0	39.5	42.7	85.2	58.3	51.9	达到最高泛化表现 (+2.7)

表 2：SEQUENTIAL 算子组合深度消融（Qwen3-4B-Instruct-2507）

组合大小 (Size)	平均下游得分	训练奖励表现	核心观察说明
2	50.8	较高	优化容易，但任务结构扩展相对有限
3	50.7	居中	平稳过渡
4	51.0	适中	显著诱导多步推理链
5	51.2	适中偏低	达到泛化峰值，多步依赖模式最丰富
6	50.7	偏低且方差缩减	任务过深导致奖励稀疏与优化困难，性能发生回退

关键发现¶

超越单体环境线性瓶颈：在相同训练样本量与步数下，仅使用 50 个基底环境的 RACES（50.8 分）不仅大幅优于 50 个单体环境（50.2 分），更直接击败了消耗 6 倍环境构建成本的 300 个单体环境（50.4 分）。在 DeepSeek-R1-Distill-14B 上亦复现该结论（RACES-50 达到 50.2 分，胜过 Individual-300 的 48.8 分）。
训练奖励与泛化表现的反直觉脱钩：单体环境由于结构扁平，模型在训练期间奖励上升极快且维持高位，但下游测试分数很快在 50.5 见顶（产生环境过拟合）；复合环境由于包含长因果链与深层状态回溯，训练期奖励增长缓慢，却在下游呈现持续、长期的泛化增益（最终达 51.9 分）。
组合深度的非单调倒 U 型规律：任务复杂度并非越深越好。组合深度从 2 提升到 5 时下游性能持续上升，但增至 6 时因奖励方差骤减、梯度信噪比恶化而性能下跌，证明组合深度应作为课程学习的调节旋钮而非无节制放大。

亮点与洞察¶

代数闭包驱动的环境自繁殖：将“环境合成”转化为“类型匹配图上的路径搜索”，避免了为每一对环境手工编写转换适配器的繁琐工程，以极低算力成本打破了数据生成的线性天花板。
结构化算子塑造认知基元：SEQUENTIAL 强化状态传递，PARALLEL 锻炼注意力分配与工作记忆，SORT 激发逆向因果推演，SELECT 培育抗干扰甄别能力。定性分析证明模型自发形成了变量抽象封装、行向转列向搜索与全示例反例剔除等高阶解题模式。
可验证奖励的前缀部分信用分配：在 SEQUENTIAL 中依据最长连续正确前缀给予分值奖励，有效缓解了长依赖链导致的奖励极端稀疏与探索崩塌，为长程 RL 训练提供了平滑的梯度指引。

局限与展望¶

算子拓扑仍局限于无环简单图：当前四种算子主要涵盖线性和扁平结构，尚未支持动态条件分支（if-else）、带边界的循环迭代（loops）或图状数据流。
基座推理能力门槛较高：复合任务对基础模型能力有硬性要求，在 4B 以下或弱推理基座上，复杂的 SELECT 算子往往因探索成功率为零而难以启动有效学习。
长上下文算力开销显著：多步复合环境诱发模型生成数千甚至上万 tokens 的长反思轨迹，严重依赖 32K 上下文窗口与分布式显存资源。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出可验证环境的类型化代数闭包与乐高式递归复合概念，立意新颖。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2 个 14B 和 1 个 4B 模型，横跨 6 个跨领域严苛未见基准，消融实验与训练动力学分析深入完整。
写作质量: ⭐⭐⭐⭐⭐ 形式化定义严谨，概念比喻生动贴切，逻辑论证清晰有力。
价值: ⭐⭐⭐⭐⭐ 为强化学习与大模型后训练数据工程开辟了兼顾可验证性、高难度与低成本的新范式。