跳转至

Agent-G^2: Gaussian Guidance for Agentic Reinforcement Learning

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/ZJU-REAL/Agent-G2
领域: 大语言模型智能体
关键词: 智能体强化学习, 提示指导, 高斯分布调度, 稀疏奖励, 群组相对策略优化

一句话总结

针对长程智能体强化学习中稀疏奖励与固定提示深度的结构性失配,Agent-G^2 揭示了有效指导深度围绕最优值呈高斯带状分布的机理,提出一种利用在线探索统计动态更新高斯均值与方差的无额外探测开销指导框架。

研究背景与动机

基于强化学习训练的大语言模型智能体在网页导航、具身控制及科学实验等长程序列决策任务中展现出巨大潜力。然而,这类任务往往跨越数十步连续决策,环境却仅在终止时给出稀疏的二元奖励反馈,导致策略在训练初期从初始状态出发的 on-policy 探索几乎无法触达成功状态,进而在 GRPO 类算法中引发优势崩溃(advantage collapse)。基于提示的强化学习(Hint-based RL)通过在智能体探索前保留一段专家轨迹前缀,使策略从更接近成功的中间状态开始展开探索,是缓解奖励稀疏的核心手段。

然而,提示指导的有效性极度依赖指导深度(保留专家前缀的比例):指导过浅,探索仍无法触达成功目标;指导过深,奖励饱和则消除了优势估计所需的对比信号。现有方法普遍将指导深度建模为确定性标量,要么采用预设调度方案(按训练步数衰减或依据批次平均反馈共享单一深度),彻底忽略了同一批次内任务难度的剧烈异构性;要么采用单样本探测法(通过二分查找或网格穷举搜索),不得不付出 \(O(\log n)\) 乃至数十倍的额外采样开销。更深层的误区在于,现有工作普遍假设每个任务存在唯一的确定性最优深度。实证分析表明,对策略有价值的指导深度并非孤立单点,而是围绕任务最优深度形成一个有效带,且其信息量剖面在最优值附近呈现近似高斯分布(\(\sigma=0.22, R^2=0.92\))。

基于“有效指导不是单点定位,而是邻域覆盖”这一洞察,本文提出了无需额外探测滚动的自适应高斯指导框架 Agent-G^2。核心 idea:将提示指导深度建模为基于任务难度聚类的高斯分布,利用策略优化本身的常规滚动在线更新全局进度基线与局部难度方差,以零额外探测开销实现对有效信息带的高效动态覆盖。

方法详解

整体框架

Agent-G^2 面向长程稀疏奖励环境下的 LLM 智能体训练,由任务聚类、自适应高斯调度、深度采样与交互探索、策略联合优化以及调度状态在线反馈五个阶段构成闭环。首先在离线阶段根据专家轨迹长度将任务划分为 \(K\) 个难度簇;在每个训练批次中,调度器结合全局基线 \(\mu_{\text{global}}\) 与各簇的经验成功率均值 \(A_k\)、方差 \(V_k\) 动态计算每项任务对应的高斯参数 \((\mu_i, \sigma_i)\);随后为每个任务独立采样一个指导比例并转换为专家前缀长度,策略从前缀终点状态出发并行执行多条采样轨迹;最后,利用探索轨迹计算的优势进行 GRPO 策略优化,并附加前缀模仿损失,同时探索结果直接反馈用于无缝更新下一轮高斯参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["任务指令与专家轨迹"] --> B["离线难度聚类<br/>按专家轨迹长度划分为 K 个簇"]
    B --> C["自适应高斯调度<br/>全局基线 + 簇级成功率与方差"]
    C --> D["单任务高斯深度采样<br/>确定专家前缀长度并执行至中间状态"]
    D --> E["策略滚动与多分支探索<br/>从前缀后状态执行 R 次 rollout 获二元奖励"]
    E --> F["联合策略更新<br/>前缀 SFT 损失 + 轨迹 GRPO 损失"]
    E -->|复用常规探索轨迹奖励| C

关键设计

1. 离线难度聚类:解耦长短程任务的先验难度 由于标量调度器将同一批次内长短跨度的任务混为一谈(例如 ALFWorld 中简单的两步抓取与复杂的二十步组合任务),单一指导比例必然使部分任务欠指导而另一部分过指导。Agent-G^2 采用专家轨迹长度 \(L_i\) 作为任务难度的非侵入式代理指标,在离线阶段通过分位数将训练集划分为 \(K\) 个难度簇 \(\{C_k\}_{k=1}^K\)(默认 \(K=3\),对应 Short、Medium、Long)。该设计无需人工标注任务类型或提取语义特征,既保证了同一簇内任务内在难度分布相对平稳,又确保了每个批次内各簇有足够的样本量来稳定估计统计量。

2. 自适应高斯调度:全局基准与局部统计的动态解耦 为在零额外探索代价下实时追踪各簇的有效指导范围,调度器维护了全局基线 \(\mu_{\text{global}}\) 以及每个簇的指数移动平均(EMA)成功率 \(A_k\) 与方差 \(V_k\)。全局基线依据当前批次整体准确率 \(\text{acc}_B\) 相较于目标难度中点 \(p_{\text{target}}=0.5\) 的偏差进行自适应步进更新: $\(\mu_{\text{global}} \leftarrow \text{clip}\left(\mu_{\text{global}} + \text{sign}(p_{\text{target}} - \text{acc}_B) \Delta, 0, 1\right)\)$ 对于任务 \(i\) 所属的簇 \(k=k(i)\),利用当前批次内该簇样本的经验成功率 \(\bar{p}_{B_k}\) 与方差 \(v_{B_k}\) 更新滑动统计量 \(A_k\) 和 \(V_k\)。任务特异的高斯均值 \(\mu_i\) 与标准差 \(\sigma_i\) 定义为: $\(\mu_i = \text{clip}\left(\mu_{\text{global}} + \lambda(p_{\text{target}} - A_k), 0, 1\right), \quad \sigma_i = \max(\gamma V_k, \sigma_{\min})\)$ 当某簇成功率过低时,均值向更深的前缀指导偏移;而当某簇内任务对当前策略的响应离散度较高时,方差自适应扩大,从而在数学上保证采样能够覆盖整个有效学习带。

3. 随机深度采样与闭环无损更新:以分布采样替代昂贵搜索 针对以往探测类算法需在单步付出数十次额外 probe rollouts 的痛点,Agent-G^2 对任务 \(i\) 直接从其分布中独立抽取单点指导比例 \(z_i \sim \mathcal{N}(\mu_i, \sigma_i^2)\) 并截断至 \([0, 1]\) 得到 \(r_i\)。该比例被量化映射为前缀步数 \(n_i = \min(\lceil r_i L_i \rceil, L_i - 1)\)。环境执行这 \(n_i\) 步专家动作后抵达中间状态 \(s_i\),策略 \(\pi_\theta\) 自该状态并发执行 \(R\) 条 rollout 并收集终端奖励。由于高斯参数的调整完全复用这 \(R\) 条用于策略优化的常规轨迹计算得到的 \(\hat{p}_i\),全流程消除了任何专门的探测阶段,在实现难度邻域随机覆盖的同时将计算开销维持在与普通调度类方法同阶的水平。

损失函数 / 训练策略

模型的全量训练损失函数融合了标准的群组相对策略优化损失(GRPO Loss)与作用于前缀专家轨迹段的辅助模仿损失(Teacher-forced SFT Loss): $\(\mathcal{L}(B) = \mathcal{L}_{\text{GRPO}}(B) + \eta \mathcal{L}_{\text{aux}}(B)\)$ 其中辅助模仿项定义为前缀动作序列的负对数似然: $\(\mathcal{L}_{\text{aux}}(B) = - \sum_{i \in B} \sum_{t=1}^{n_i} \log \pi_\theta(a_{i,t}^\star \mid s_{i,t}, q_i)\)$ 超参数权重 \(\eta=0.5\) 用于在探索后验优势更新的同时稳固专家行为模式。全局步长参数设为 \(\Delta=0.1\),滑动系数 \(\alpha=0.2\),均值与方差缩放因子 \(\lambda=1.0, \gamma=1.0\),方差下界 \(\sigma_{\min}=0.1\),初始全局基线 \(\mu_{\text{global}}^{(0)}=0.8\)。在 8 卡 NVIDIA H800 环境下,基于 verl 框架与 AdamW 优化器(峰值学习率 \(1\times 10^{-5}\),余弦退火,10% warmup)进行端到端优化。

实验关键数据

主实验

评估在具身交互环境 ALFWorld(按任务跨度分为 Short、Medium、Long 共 6 类任务)和网页购物决策环境 WebShop 上展开,主模型采用 Qwen2.5-1.5B-Instruct 与 Qwen2.5-7B-Instruct。

模型基座 方法类别 方法名称 ALFWorld All (成功率 %) WebShop Score WebShop Succ (%)
Qwen2.5-1.5B 模仿学习 Full SFT 56.3 86.6 69.5
Qwen2.5-1.5B 无提示 RL GRPO 72.8 75.8 56.8
Qwen2.5-1.5B 无提示 RL GiGPO 86.1 83.1 65.0
Qwen2.5-1.5B 无提示 RL BEACON 91.4 86.1 75.6
Qwen2.5-1.5B 辅助监督 RL RLVMR 87.9 – –
Qwen2.5-1.5B 提示式 RL (调度) Step decay 89.8 89.1 74.2
Qwen2.5-1.5B 提示式 RL (调度) Target acc 93.8 86.4 75.0
Qwen2.5-1.5B 提示式 RL (搜索) Binary Search 85.2 89.7 77.3
Qwen2.5-1.5B 提示式 RL (搜索) Enumeration 86.0 90.1 78.1
Qwen2.5-1.5B 提示式 RL (端到端) StepHint 77.3 87.6 71.9
Qwen2.5-1.5B 提示式 RL (端到端) TRAPO 59.4 89.4 75.8
Qwen2.5-1.5B 本文方法 Agent-G^2 (Ours) 95.3 92.3 78.9
Qwen2.5-7B 无提示 RL BEACON 94.5 87.7 79.7
Qwen2.5-7B 提示式 RL (调度) Target acc 92.9 89.3 79.7
Qwen2.5-7B 提示式 RL (搜索) Enumeration 96.1 96.0 89.8
Qwen2.5-7B 本文方法 Agent-G^2 (Ours) 98.4 92.3 84.4

消融实验

在 Qwen2.5-1.5B-Instruct / ALFWorld 上进行的机制消融结果如下表所示:

消融维度 具体配置 Long 任务成功率 (%) 全体任务 All (%) 相对变化 \(\Delta\)
完整模型 Agent-G^2 (Full) 94.7 95.3 –
采样形式 无采样确定性均值 (\(d_i=\mu_i, \sigma_i=0\)) 84.6 89.8 -5.5
采样形式 方差匹配均匀采样 (\(\mathcal{U}[\mu_i \pm \sigma_i]\)) 80.8 88.3 -7.0
统计动量 无自适应中心 (\(\mu_i=\mu_{\text{global}}\)) 79.2 91.4 -3.9
统计动量 无自适应扩展 (\(\sigma_i=\sigma_{\min}\)) 78.3 93.8 -1.5
聚类设计 无聚类单高斯 (\(K=1\)) 65.4 89.1 -6.2
损失组件 移除前缀辅助损失 (\(\text{w/o } \mathcal{L}_{\text{aux}}\)) 76.7 86.7 -8.6
损失组件 移除强化学习探索 (\(\text{w/o } \mathcal{L}_{\text{GRPO}}\)) 10.0 26.6 -68.7

训练开销方面,在 Qwen2.5-1.5B / ALFWorld 上,Agent-G^2 每梯度步耗时 88s(相对基准 1.00×);相比之下,单样本探测法如 Binary Search 需 285s(3.24×),Enumeration 则高达 425s(4.83×)。

关键发现

  • 随机覆盖优于点定位:将高斯随机采样退化为确定性均值导致总成功率下降 5.5 个百分点,且方差匹配的均匀分布亦下降 7.0 个百分点,证明高斯邻域的高密度中心覆盖是稳定进入“刚好可学习”状态([0.4, 0.6] 成功率带)的核心。
  • 长程任务对聚类与自适应方差极度敏感:取消难度聚类(\(K=1\))在总体上下降 6.2 个百分点,但在 Long 任务(Pick2)上骤降 29.3 个百分点(94.7% \(\to\) 65.4%);固定方差(\(\sigma_i=\sigma_{\min}\))同样在 Long 任务上发生明显塌陷(94.7% \(\to\) 78.3%)。
  • 小模型反超大模型基线:1.5B 规模的 Agent-G^2(ALFWorld 95.3% / WebShop 92.3 分)不仅大幅压制同规模基线,甚至超越了 7B 参数下的 BEACON(94.5% / 87.7 分)和非探测类调度方法,体现出指导深度机制设计对模型规模劣势的显著代偿效应。

亮点与洞察

  • 将点估计重构为分布覆盖:打破了过去提示强化学习执着于利用额外 probe 寻找唯一“最优指导深度”的思维定式,揭示了有效信息量随深度呈现高斯钟形分布的统计特性,用低成本的分布随机采样完美化解了二元反馈的高方差噪声。
  • 零额外滚动的闭环自适应机制:巧妙利用常规 GRPO 批次收集的成功率均值与方差在线迭代更新高斯分布参数,在完全不引入额外探针环境交互的情况下,获得了超越 \(O(\log n)\) 探测开销算法的适应能力。
  • 易迁移的通用脚手架思想:将专家轨迹长度作为难度代理进行分位数聚类,使得该框架完全不依赖任务特定的语义标注或复杂的先验模型,极易泛化到其它长程控制与复杂决策系统。

局限与展望

  • 强依赖单条高质量专家轨迹:方法前提假设训练集每道任务存在一条可供截取前缀的专家示范轨迹;当缺乏专家数据或示范存在次优行为时,框架难以直接应用。
  • 静态先验离线聚类:难度簇当前依据离线专家轨迹长度固定划分,无法感知模型自身在训练进程中对特定任务熟练度的动态漂移。
  • 高斯分布假设的潜在局限:尽管在双基准上呈现典型单峰高斯分布,但在更复杂的非对称或多模态任务拓扑中,可能需要引入混合模型或更为灵活的参数分布。

相关工作与启发

  • vs 标量调度式提示 RL (Linear / Cosine / Target acc):传统调度器在 batch 内全局共享单一深度,在多任务混合批次中引发严重欠指导或过指导失配;Agent-G^2 引入全局-局部聚类分解,实现样本级异构覆盖。
  • vs 样本探测式提示 RL (Binary Search / Enumeration):探测类算法通过多轮前缀试跑锁定最佳深度,付出高达 3~5 倍的时间开销且易受单次采样噪声干扰;Agent-G^2 通过复用优化轨迹的参数化分布采样,以零额外交互开销实现更高泛化率。
  • vs 辅助网络监督 RL (RLVMR / ETO / PRM):传统方法普遍训练额外的价值批评模型、过程奖励模型或状态验证头;Agent-G^2 坚持纯粹的提示前缀切分与统一 GRPO 目标,避免了复杂模型级联带来的训练脆弱性。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次揭示指导深度有效性的高斯邻域特性,从分布覆盖视角重塑提示式强化学习。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖双任务基准、双模型尺度,诊断分析详实,消融实验与训练效率测算全面。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑链路清晰严谨,从失配诊断到数学建模与机制验证层层递进。
  • 价值: ⭐⭐⭐⭐⭐ 为长程稀疏奖励智能体训练提供了兼具极高样本效率与优异性能的即插即用范式。