GenEnv: Difficulty-Aligned Co-Evolution Between LLM Agents and Environment Simulators¶
会议: NeurIPS 2026
arXiv: 2512.19682
代码: https://github.com/Gen-Verse/GenEnv
领域: 大模型智能体
关键词: 智能体模拟环境, 协同进化, 难度对齐课程, 强化学习, 动态数据演化
一句话总结¶
GenEnv 提出了一种智能体与环境模拟器协同进化的双人博弈框架，利用高斯分布形式的 \(\alpha\)-课程奖励将生成任务难度动态锚定在智能体的“最近发展区”，在保持训练分布实时演化的同时以 3.3 倍更少的数据超越了基于 Gemini 2.5 Pro 的离线增强基准。
研究背景与动机¶
构建能够熟练执行复杂网络导航、工具调用及具身交互的通用大语言模型智能体，正面临着严苛的数据瓶颈。现有训练范式重度依赖人工收集或离线轨迹标注所构成的静态专家数据集。然而，真实世界的环境交互代价极其高昂、执行延迟大且难以高度并行化；更关键的是，静态数据集仅代表了现实世界在特定时空维度的僵化切片，既无法覆盖开放环境中瞬息万变的边缘异常状态（例如网页按钮文本细微变动导致的级联崩溃），也无法伴随智能体策略的演进动态调整训练难度。
为了摆脱对真实交互数据的依赖，基于强教师模型（如商业闭源 LLM）进行离线合成轨迹扩增成为主流方向。然而单纯扩增静态合成样本很快就会触及收益递减的瓶颈：一旦静态语料无法精确触碰智能体当前策略的薄弱盲区，海量无差异的数据堆砌就只能提供微弱的学习信号。这种传统以“模型演化”为中心、在固定数据分布上做单向优化的范式，忽略了教学场景中环境与学习者之间动态反馈的本质规律。当智能体能力提升时，它亟需能够持续探测其失败边界并提供针对性试炼的动态环境。
本文提出了一种全新的“数据自演化范式”（Data-Evolving Paradigm），将智能体训练重构为智能体策略与生成式环境模拟器之间的协同进化博弈过程。模拟器不再是静态的状态转移代码或离线数据生成脚本，而是一个拥有自身优化目标的动态策略，其职责不是击败智能体，而是持续寻找智能体的能力临界点。核心 idea：通过引入高斯形式的 \(\alpha\)-课程奖励，构建智能体策略与环境生成策略的协同进化博弈，使模拟器持续生成落入智能体“最近发展区”的中等难度任务，以自适应动态数据闭环替代海量静态离线扩增。
方法详解¶
整体框架¶
GenEnv 将智能体训练建模为智能体策略 \(\pi_{\text{agent}}\) 与环境模拟器策略 \(\pi_{\text{env}}\) 之间的双人动态博弈过程。在整个训练周期内，环境策略根据智能体的历史表现与种子上下文生成包含目标规格、约束条件与校验器的任务批次；智能体在生成的任务环境中展开多轮探索并输出交互轨迹；随后，系统评估智能体成功率并计算双重奖励：面向智能体的任务完成奖励 \(R_{\text{agent}}\)，以及面向模拟器的难度对齐奖励 \(R_{\text{env}}\)。双策略通过强化学习异步更新，同时将高质量交互经验与有效任务生成分别沉淀进两个持续扩充的经验池中，驱动训练数据分布与智能体能力螺旋上升。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["初始种子任务与上下文"] --> B["环境策略在线任务生成<br/>π_env 基于种子生成变体批次 T_t"]
B --> C["智能体交互与轨迹执行<br/>π_agent 展开多步推理并产生轨迹 E_t"]
C --> D["双重奖励评估与难度过滤<br/>计算 R_agent 与高斯 α-课程奖励 R_env"]
D --> E["双策略协同优化<br/>智能体执行 GRPO 更新，模拟器执行 RWR 加权回归"]
E --> F["双池经验持续沉淀<br/>有效轨迹入池 D_train，加权任务入池 D_env"]
F -->|动态数据分布演进| B关键设计¶
1. 难度对齐的 \(\alpha\)-课程奖励与样本过滤机制：精准锁定最近发展区 传统逆向强化学习或对抗训练往往驱使环境走向极端，生成过于复杂导致智能体完全无法获得正反馈的不可解任务，或者退化为过度简单的平庸任务。针对该失衡问题，GenEnv 借鉴了维果茨基的发展心理学理论（最近发展区，Zone of Proximal Development），通过高斯钟形曲线定义环境难度奖励： $\(R_{\text{env}}(\hat{p}) = \exp\left(-\beta (\hat{p} - \alpha)^2\right)\)$ 其中 \(\hat{p} = k/n\) 为智能体在当前批次 \(n\) 个任务变体中的经验成功率，\(\alpha \in (0,1)\) 为目标成功率基准（系统默认设为 \(\alpha = 0.5\)），\(\beta > 0\) 调节奖励的敏感度锐度。当智能体成功率接近 0.5 时，奖励取得峰值 1.0；当任务过于简单（\(\hat{p} \to 1\)）或过于困难（\(\hat{p} \to 0\)）时，奖励均指数级衰减。此外，算法设立了严格的难度硬过滤阈值 \(k_{\min} = 0.1\)，直接将 \(|\hat{p} - \alpha| > k_{\min}\) 的批次剔除出环境参数更新，防止策略因偶发的极值抖动出现过拟合。
2. 理论保证的中间难度梯度最大化与统计排序一致性：形式化证明学习信号源 为什么恰好将目标成功率设定在 \(\alpha = 0.5\)？论文在理论层面给出了坚实支撑。在基于 REINFORCE 风格更新与任务期望基线 \(b(\tau) = p(\tau)\) 的策略梯度框架下，设定分值方差满足有界变化假设，智能体策略梯度期望模平方正比于任务胜率的伯努利方差： $\(\mathbb{E}\left[\|g(\tau, r)\|^2\right] \propto p(\tau)(1 - p(\tau)) = \frac{1}{4} - \left(p(\tau) - \frac{1}{2}\right)^2\)$ 该凹二次函数在 \(p(\tau) = 0.5\) 处取得严格唯一极大值。这意味着中间难度的任务能够为智能体提供方差适中、判别度最高、信息量最充沛的梯度更新信号。同时，定理 1 进一步证明了 \(R_{\text{env}}\) 具备统计排序一致性：设两个任务类型的真实胜率分别为 \(p_1, p_2\)，且到目标 \(\alpha\) 的真实距离满足 \(\Delta_1 < \Delta_2\)。当从有限次探索中估计经验成功率时，模拟器发生错误排序的概率满足霍夫丁界指数级衰减： $\(\Pr\left(R_{\text{env}}(\hat{p}_1) \le R_{\text{env}}(\hat{p}_2)\right) \le 4 \exp\left(-\frac{2}{9}(\Delta_2 - \Delta_1)^2 n\right)\)$ 这保证了有限采样下环境策略依然能以极高置信度学习到最具教学价值的任务分布。
3. 双策略非对称优化与在线双池沉淀：实现数据驱动的自演化闭环 为了兼顾强化探索与模型微调的稳定性，GenEnv 对智能体与环境模拟器采用了异构优化策略。智能体 \(\pi_{\text{agent}}\) 面向任务成功奖励 \(R_{\text{agent}}\)，在结构化工具调用（精确匹配）与自然语言回答（相似度度量）上采用群体相对策略优化（GRPO）进行轨迹级强化学习，利用群内优势对比提升推理质量。环境策略 \(\pi_{\text{env}}\) 则基于奖励加权回归（RWR）进行监督微调，每个环境生成任务的权重设为 \(\exp(\lambda R_{\text{env}}(\hat{p}))\)，并引入对初始模拟器的 KL 散度惩罚防止生成语义崩溃。在数据流转层面，系统并行维护智能体训练池 \(\mathcal{D}_{\text{train}}\) 与环境微调池 \(\mathcal{D}_{\text{env}}\)：只有语法解析正确且通过环境校验器的有效轨迹才会进入智能体池，确保后续轮次能够回放巩固历史技能；加权环境变体则汇入环境池，持续校准模拟器的生成分布。
一个完整示例¶
以 API-Bank 基准中的多轮航班预订与支付场景为例： 1. 任务生成：环境模拟器 \(\pi_{\text{env}}\) 基于航班查询与信用卡扣款 API 规范，生成一个包含 64 个变体的任务批次。任务包含特定用户约束（“优先早班机且需先校验会员积分折扣”）。 2. 交互采样：智能体 \(\pi_{\text{agent}}\) 对该批次任务展开 Rollout。在训练初期，智能体在处理单一查询时表现良好，但在积分抵扣与支付流水联动时频繁发生参数格式错误，最终在该批次中成功解决 32 个任务，经验胜率 \(\hat{p} = 32/64 = 0.50\)。 3. 奖励判定与过滤：由于 \(|\hat{p} - 0.5| = 0 \le 0.1\)，该批次完美命中最近发展区。环境策略获得最高奖励 \(R_{\text{env}} = \exp(0) = 1.0\)。 4. 参数与数据流更新：该 64 个任务变体被赋予最高权重加权纳入环境微调池 \(\mathcal{D}_{\text{env}}\)；智能体成功与失败的有效执行轨迹同步归档入 \(\mathcal{D}_{\text{train}}\)。智能体通过 GRPO 强化学习针对正确工具调用链路进行梯度上升，环境策略通过 RWR 加固此类边界任务的生成概率。在随后的第 6 轮迭代中，随着智能体掌握该类任务，智能体推理链长度从 137 tokens 稳步自增至 204 tokens，模拟器自发向更深的多跳工具组合演进。
损失函数 / 训练策略¶
智能体与环境模拟器均初始化自开源基础模型 Qwen2.5-7B-Instruct，训练总轮数为 10 个 Epoch。 - 智能体优化：采用 GRPO 算法，批大小为 64，最大序列长度设为 9,000 tokens（包含提示词与交互响应），优化器为 AdamW，学习率设为 \(1 \times 10^{-6}\)。 - 环境模拟器优化：采用奖励加权回归（RWR），批大小为 64，学习率设为 \(5 \times 10^{-7}\)，加权温度系数 \(\lambda = 1.0\)。环境更新时施加相对于初始模型的 KL 阈值截断，确保任务生成的语义合法性与多样性。
实验关键数据¶
主实验¶
在涵盖具身交互（ALFWorld）、长上下文工具调用（BFCL）、多轮 API 协同（API-Bank）、多跳问答推理（Bamboogle）和端到端长程规划（TravelPlanner）的五项主流智能体评测基准上，GenEnv 7B 与代表性 7B 强化学习基线及超大规模开源模型进行了全方位对比。
| 模型类别 | 模型 | ALFWorld | BFCL | API-Bank | Bamboogle | TravelPlanner | 平均分 (Average) |
|---|---|---|---|---|---|---|---|
| 大规模模型 (>10B) | Llama 3.1 405B | 65.3 | 5.5 | 74.4 | 77.6 | 16.5 | 47.9 |
| 大规模模型 (>10B) | GPT-OSS 120B | 60.4 | 21.9 | 53.6 | 29.6 | 14.7 | 36.0 |
| 大规模模型 (>10B) | Qwen 2.5 72B | 63.5 | 35.3 | 54.9 | 69.6 | 20.5 | 48.8 |
| 大规模模型 (>10B) | Llama 3.1 70B | 60.1 | 13.4 | 64.3 | 76.8 | 17.6 | 46.4 |
| 大规模模型 (>10B) | Qwen 3 32B | 52.3 | 33.8 | 63.8 | 71.2 | 22.5 | 48.7 |
| 大规模模型 (>10B) | GPT-OSS 20B | 53.6 | 24.4 | 41.2 | 33.6 | 14.9 | 33.5 |
| 大规模模型 (>10B) | Qwen 3 14B | 37.8 | 29.4 | 66.7 | 76.0 | 14.7 | 44.9 |
| 7B 基线模型 | ReSearch | 18.7 | 5.0 | 65.3 | 68.0 | 16.4 | 34.7 |
| 7B 基线模型 | SearchR1 | 16.1 | 5.0 | 63.3 | 67.2 | 16.1 | 33.5 |
| 7B 基线模型 | Qwen 2.5 7B | 14.2 | 7.0 | 61.6 | 68.0 | 14.3 | 33.0 |
| 7B 基线模型 | ToRL | 8.0 | 0.0 | 54.1 | 34.4 | 14.8 | 22.3 |
| 本文方法 | GenEnv (Ours, 7B) | 54.5 | 41.8 | 79.1 | 76.0 | 16.6 | 53.6 |
消融实验¶
为了验证动态数据演化、难度对齐优化相对于传统静态增强及强教师蒸馏的效能，论文在 BFCL 验证集上对比了不同模拟与数据扩增策略的性能与合成样本消耗量。
| 策略变体 | 核心训练机制 | 合成数据量倍率 | BFCL 验证得分 | 相对基线提升/降幅 |
|---|---|---|---|---|
| GenEnv (完整模型) | 在线动态生成 + \(\alpha\)-课程对齐更新 | 1.0x (在线自演化) | 0.458 | 最佳效率与性能 |
| GenEnv-Random | 在线动态生成，但关闭 \(R_{\text{env}}\) 更新 | 1.0x (随机变体) | 0.408 | 相对完整版下降 12.3% |
| GenEnv-Static | 离线预生成 3,264 条变体进行静态训练 | 6.0x (静态预制) | 0.385 | 静态生成缺乏能力对齐 |
| Gemini-Offline (2x) | Gemini 2.5 Pro 离线生成 957 条轨迹 | 1.76x 静态增强 | 0.412 | 算力成本高且收益递减 |
| Gemini-Offline (3.3x) | Gemini 2.5 Pro 离线生成 1,777 条轨迹 | 3.27x 静态增强 | 0.438 | 比 GenEnv 差 0.020 且用量多 3.3x |
关键发现¶
- 超越静态强教师增强：GenEnv 7B 仅使用 1 倍原始数据加上自演化交互，验证得分达到 0.458，超越了使用 3.3 倍离线合成数据且由顶级教师模型 Gemini 2.5 Pro 蒸馏出的基准（0.438）。这证实针对性难度自适应的数据供给比单纯堆砌强模型的静态数据更具学习价值。
- 跨越参数规模的综合泛化：GenEnv 在 7B 参数量下取得了 53.6 的五项基准平均分，不仅大幅超越同体量的 Qwen 2.5 7B（33.0，绝对提升 +20.6%）及专用搜索智能体 ReSearch（34.7），甚至超越了 Llama 3.1 70B（46.4）、Qwen 2.5 72B（48.8）和 Llama 3.1 405B（47.9）的平均水准，尤其在具身决策（ALFWorld 54.5 vs 14.2）与复杂函数调用（BFCL 41.8 vs 7.0）上实现了跨量级的飞跃。
- 难度自适应收敛特性：在训练开始阶段，智能体在模拟环境任务上的成功率仅为 0.138；随着 \(R_{\text{env}}\) 的持续驱动，成功率稳定收敛并维持在以 \(\alpha = 0.5\) 为中心的 \([0.4, 0.6]\) 黄金难度带区间。与此同时，智能体的求解推理链长度从 137 tokens 稳步扩展至 204 tokens（增幅达 49%），展现出自发形成的动态递进课程，未发生任何奖励退化或求解振荡崩溃。
亮点与洞察¶
- 将数据演化提升为一等优化目标：过去的工作专注于固定数据集上的模型损失优化，而 GenEnv 将训练数据流本身交由可学习的策略控制，实现了智能体弱点与环境生成之间的同频共振。
- 基于最近发展区的数学严密建模：用简明的高斯钟形奖励锚定 50% 胜率，并在理论上证明了中间难度等价于强化学习策略梯度方差极大化，兼具理论优雅性与工程实用性。
- 小模型轻量协同模拟的实用路径：摆脱了对外部闭源黑盒 API（如商业模型）生成离线轨迹的高昂调用账单，仅用两个同尺寸 7B 开源模型相互磨砺即可获得超越庞大参数量模型的泛化能力。
局限与展望¶
- 环境可验证性的依赖：当前环境生成仍依赖于目标基准提供的测试规范、检查器（Checker）或精确匹配规则，在缺乏明确地面真值或执行沙箱的高度开放式生成任务中，自动化胜率统计存在评估噪音。
- 模拟器先验知识上限：环境生成策略受限于初始基础模型本身的先验储备，如果底层基础模型自身不具备对应物理规律或工具逻辑的理解，模拟器可能会生成语义失真的虚假任务。
- 未来方向：探索在部分可观测、多智能体博弈及跨模态具身操作场景中引入显式的环境世界模型，将视觉渲染与物理模拟器融入自演化协同循环中。
相关工作与启发¶
- vs 静态数据增强与蒸馏（如 ToolBench, AgentBank）：传统方法利用强模型一次性生成数万条离线交互轨迹，数据静态且覆盖面盲目；GenEnv 采用在线双池闭环，根据智能体即时薄弱点动态合成，以 3.3 倍更小的数据规模获得更高的精度。
- vs 对抗性环境生成（如 PAIRED, POET）：经典强化学习对抗环境往往倾向于刁难甚至彻底压垮智能体，导致策略崩溃；GenEnv 采用对称的高斯 \(\alpha\)-课程奖励将任务难度精准限制在“半解未解”的临界区，保持平滑稳定的教学梯度。
评分¶
- 新颖性: [5/5] 将大模型智能体与生成式环境重构为最近发展区难度对齐的双人协同进化博弈，概念与数学形式极具创新性。
- 实验充分度: [5/5] 覆盖具身、长程规划、API 调用等 5 大严苛基准，横跨 7B 到 405B 多量级对比，包含详尽的理论证明与数据效率消融。
- 写作质量: [5/5] 逻辑主线极为清晰，图表与形式化证明完备，问题意识深刻且实验分析透彻。
- 价值: [5/5] 为大模型智能体训练从高成本真实交互与低效静态蒸馏向低成本、高效率的自演化模拟转型指明了可行道路。