Expanding LLM Agent Boundaries with Strategy-Guided Exploration¶

会议: NeurIPS 2026
arXiv: 2603.02045
领域: LLM Agent
关键词: LLM Agent, 强化学习, 策略引导探索, 混合温度采样, 策略反思

一句话总结¶

针对大语言模型智能体在复杂语言动作与稀疏奖励下难以探索新解的瓶颈，提出策略引导探索（SGE），通过在动作前生成高层自然语言策略，并结合混合温度采样与基于历史成败的策略反思，显著突破基座模型的能力边界。

研究背景与动机¶

大语言模型（LLM）已被广泛应用于计算机操作、代码生成、工具调用与具身智能体等交互决策任务中。强化学习（RL）通过简单的结果奖励（如测试通过或任务完成标志），能够促使智能体自主学习推理、自纠错以及与外部环境交互。然而，智能体环境通常面临极其稀疏的结果奖励和庞大且复杂的语言动作空间（如开放式代码或多步工具调用），智能体很难仅凭随机尝试偶遇成功轨迹，导致探索成为制约智能体能力提升的核心瓶颈。

现有基于 RL 的智能体后训练面临一个深层矛盾：预训练 LLM 在高概率 token 输出上形成高度集中的策略分布，标准强化学习主要在基座模型已能覆盖的候选轨迹中采样并提纯高奖励样本，难以发现基座模型无法解决的全新轨迹。近期在非智能体推理任务上的实证研究已表明，标准 RL 往往只能提升既有能力的生成概率（即提高 pass@1 逼近 pass@k），但无法突破基座模型的 pass@k 上限。而在智能体场景中，动作空间的无界性和长程决策的因果链条，使这一“原点锁定”瓶颈更加严峻；直接在动作 token 级别施加探索噪声（如提高采样温度或引入动作熵奖励），往往只会产生微小且表面的变体（例如在 Android 界面上点击同一按钮的不同像素坐标，或对代码变量进行微调），无法形成实质上指向不同环境结局的多样化探索。

本文的切入角度在于，虽然在低层动作空间探索效率低下，但 LLM 自身具备极强的自然语言规划与推理能力，可以在更高抽象层级对环境未来走向进行预判。核心 idea：将低层环境动作空间的盲目探索转化为高层自然语言策略空间的结构化探索，提出策略引导探索（SGE），在生成具体动作前先采样紧凑的语言策略，并通过混合温度采样与正负策略反思机制，驱动智能体探索基座模型在海量采样下均无法解决的困难任务。

方法详解¶

整体框架¶

SGE 将智能体交互任务形式化为部分可观测马尔可夫决策过程（POMDP），涵盖目标空间 $\mathcal{G}$、观测空间 $\mathcal{O}$ 与文本动作空间 $\mathcal{A} \subset \mathcal{Y}$。在每个交互步 $t$，智能体接收当前目标 $g$ 与环境观测 $o_t$。传统方法直接采样思维链或动作 $a_t \sim \pi(\cdot \mid g, o_t)$，而 SGE 将生成过程显式解耦为两级管道：首先从策略分布 $S_\pi$ 中采样一段紧凑、具体的自然语言高层策略 $s_t$，随后在条件概率 $\pi(a_t \mid y_t, s_t, o_t)$ 下生成推理过程 $y_t$ 与环境动作 $a_t$。

为了防止策略退化为单一模态，SGE 在训练期引入了混合温度采样（并行生成多样化策略分支）与策略反思（跨轨迹利用历史成败经验调节策略生成），使智能体持续触达全新的环境状态，并将采集的轨迹送入组相对策略优化（GRPO）进行更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["目标与环境观测<br/>(g, o_t)"] --> B["策略提示词构建<br/>注入历史经验上下文 C_S"]
    B --> C["混合温度采样<br/>高温度 tau_s 采样策略 s_t"]
    C --> D["策略反思条件判定<br/>负反思纠错 / 正反思拓展"]
    D --> E["动作条件生成<br/>低温度 tau 生成推理与动作 (y_t, a_t)"]
    E --> F["环境交互执行<br/>获取观测 o_{t+1} 与稀疏奖励 r_T"]
    F --> G["策略经验回传与更新<br/>写入缓冲区 B_G / B_B + GRPO更新"]

关键设计¶

1. 策略提示词构建：将低层探索提升为高层语义规划

低层动作采样难以产生语义上有质变的探索轨迹，智能体容易深陷局部最优。SGE 显式要求模型在输出执行动作之前，在特定结构标记后生成简短明确的自然语言策略。策略分布 $S_\pi(s_t \mid o_t)$ 生成一段描述“意图达到何种环境进展”的文字，而非琐碎的底层按键或代码语法细节。完整联合概率分布表示为： $$\pi(a_t \mid y_t, s_t, o_t) \pi(y_t \mid s_t, o_t) S_\pi(s_t \mid o_t)$$ 这种结构强制模型在语义抽象层对行动方向进行离散选择。由于语言表征具有高度的组合泛化能力，不同策略自然映射到互不重叠的动作候选集合，从而引导后续动作生成聚焦于不同类型的环境反馈。

2. 混合温度采样：解耦策略发散性与动作精准度

在强化学习采样阶段，若全局调高采样温度，智能体往往输出语法混乱的代码或在 UI 界面乱点无效区域，破坏动作执行的有效性；若保持低温度，模型又只会重复基座策略已有路径。SGE 采用分段温度解码机制：在采样策略标记序列 $s_t$ 时使用较高的策略温度 $\tau_s$（通常设为 1.0 至 1.2），促使 LLM 从语义空间中探索截然不同的解题途径；而在根据策略生成后续的中间推理 $y_t$ 与具体动作 $a_t$ 时，切换回标准的较低动作温度 $\tau$（通常设为 0.6 至 0.7）。该设计确保了探索发生在“选择什么解法”的宏观层面，而“执行该解法”的微观操作则保持严密自洽，在每项任务的 $K$ 个并行采样分支中零额外推理开销地构建高质量探索组。

3. 策略反思：基于成败经验的跨轮次策略重构

即使并行采样多种策略，智能体在遭遇复杂障碍时仍可能反复犯相同模式的逻辑错误。SGE 维护容量为 $B$ 的先进先出成功策略缓冲区 $\mathcal{B}_G$ 与失败策略缓冲区 $\mathcal{B}_B$。在开始新轨迹采样时，算法以概率 $p_B$（默认 0.25）激活负策略反思，将先前的失败策略序列连同环境报错反馈（如单元测试失败回溯）填入提示词，显式指示策略生成器批判旧方案缺陷并尝试全新路径；同时以概率 $p_G$（默认 0.1 至 0.5）激活正策略反思，启发模型借鉴成功案例拓展变体以维持输出高熵。策略反思利用历史策略驱动差异化生成，彻底打破了单步当前策略的分布收敛局限。

一个完整示例：代码生成中的探索与反思¶

在一个求解建筑相遇点的复杂算法任务中，基座模型在标准采样下始终假设相遇点必须严格位于所有人初始坐标之外，导致多次提交均因遗漏“最右侧建筑自身即是有效相遇点”的边界测试而失败。

在 SGE 框架下： 1. 策略生成：智能体在较高的 $\tau_s=1.2$ 下生成了策略描述：“首先通过二分查找与滑动窗口检测区间重叠，尝试在建筑外部建立交集”，后续在 $\tau=0.7$ 下精准实现该代码； 2. 环境反馈：代码执行后返回边界用例挂掉的报错堆栈，该轨迹及其策略被存入 $\mathcal{B}_B$； 3. 负策略反思：在后续重试中触发负反思机制，提示词注入挂掉的策略与错误详情，模型输出新策略：“批判先前策略：错误地假定相遇点严格在两者位置之后，漏掉了右侧人所在建筑本身也是重合点的边缘条件；新策略将端点直接包含进候选集并枚举验证”； 4. 终获成功：基于修正后的策略生成代码，顺利通过全部单元测试，获得 $r_T=+1$ 并进入 $\mathcal{B}_G$，为 GRPO 提供了原本基座模型无论如何也探索不到的正向奖励梯度。

损失函数 / 训练策略¶

SGE 建立在组相对策略优化（GRPO）之上，针对每个任务独立收集 $K$ 条并行轨迹以估算优势函数。在策略更新时，为保证推理与训练分布严格一致，每个 token 的前向对数概率采用与其采样时完全匹配的对应温度（策略 token 对应 $\tau_s$，动作 token 对应 $\tau$）进行缩放计算。策略更新目标采用标准 PPO 式裁剪代理目标（裁剪参数 $\epsilon=0.2$），并采用 DAPO 风格的训练稳定性配置，同时剔除高概率比率强制截断项以避免损害探索信号。在多卡并行训练中，智能体所有参数（多模态任务中仅冻结视觉编码器、全量训练语言模型参数）进行端到端微调。

实验关键数据¶

主实验¶

评估涵盖四大异构智能体环境：交互式代码修复（Coding，基于 LeetCode Hard 构造的 2 步纠错任务）、手机图形界面操控（AndroidWorld，2400×1080 图像输入与底层坐标点击）、家庭具身重排（LangR，文本环境感知与抓取导航技能调度）以及多应用 API 工具调用（AppWorld，跨应用多步复杂调用）。各基准均评估在未见任务上的零样本泛化表现（pass@1 成功率，均值 $\pm$ 3 次随机种子标准误差）。

环境	观测模态与动作类型	基座 Zero-Shot	标准 GRPO	SGE (本文)	相对提升 (vs GRPO)
Coding	文本 (题目+报错) $\to$ Python代码	13.5	22.0 ± 0.3	29.2 ± 0.7	+32.7%
AndroidWorld	图像 (手机UI) $\to$ 屏幕坐标点击/滑动	16.7	21.9 ± 0.3	36.7 ± 1.3	+67.6%
LangR	文本 (机器人周边状态) $\to$ 具身操作指令	42.6	46.0 ± 0.4	60.8 ± 0.6	+32.2%
AppWorld	文本 (API定义与环境返回) $\to$ Python工具调用	47.8	49.3 ± 5.0	66.6 ± 2.9	+35.1%

消融实验¶

在 Coding 极难子集（基座 Qwen3-4B 在 pass@256 成功率为 0% 的 144 道难题，微调 Qwen3-8B）上对 SGE 核心探索机制进行的消融对比：

配置	核心机制设定	关键表现与探索效果说明
SGE Full Model	混合温度 ($\tau_s=1.2, \tau=0.7$) + 正负策略反思	最佳表现，显著克服基座模型盲区并快速收敛
No Mixed - Default	全部 token 统一使用默认动作温度 $\tau=0.7$	训练收敛慢，策略多样性不足，难以突破难题
No Mixed - High	全部 token 统一使用高探索温度 $\tau=1.2$	动作生成崩溃，产生大量语法错误代码，效果大幅劣化
w/o All Reflection	移除策略反思机制，仅保留混合温度独立采样	丧失跨轨迹纠错能力，在困难长尾任务上难以形成正反馈
w/o Negative Reflection	仅保留正向策略反思，移除负向失败策略反思	性能明显下滑，证明“从失败策略中反思”是破除死局的主动力
w/o Positive Reflection	仅保留负向策略反思，移除正向成功策略反思	学习效率与最终熵略有下降，成功经验未得到充分复用

关键发现¶

突破基座模型的能力天花板：在 Coding 任务中，基座模型即使采样 2048 次，其解决题目的上限仅为 69%（pass@2048=0.69）。标准 GRPO 以及加入熵增强（EntropyAdv）或随机网络蒸馏（RND）的基线均止步于 64% 左右的胜率；而 SGE 成功达到了 73% 的通过率，实证证明了 SGE 能让智能体掌握基座预训练分布完全无法解决的新任务技能。
动作空间熵 vs 策略空间熵：传统的探索增强方法（如 RND、EntropyAdv）虽提升了 token 级别的输出熵，但在智能体任务中往往退化为无意义的微小扰动（如点击同一个按钮的微小位移偏置），无法增加不同环境结局的覆盖率；SGE 通过统计执行后通过不同单元测试集的离散结果状态数证明，SGE 能访问到显著更广泛且有效的环境状态。
模型尺度的敏感性：在 Qwen3 600M、4B、8B 模型的横向对比中，600M 模型因自身的语言规划与反思能力极其薄弱，SGE 无法发挥效果；而当模型达到 4B 及 8B 规模时，SGE 的探索收益急剧放大，证明该方法高度依赖并放大了模型底层的语言推理能力。

亮点与洞察¶

将探索动作提升至语义策略空间：把传统强化学习中的试错探索从高维离散的低层动作序列提升至高层自然语言表征，巧妙避开了低层动作空间探索噪声过大、易偏离语境的弊端。
解耦发散与执行的混合温度解码：高温度仅赋予规划策略、低温度保留执行确定性，极低成本地实现了“天马行空的探索”与“严谨扎实的落地”的统一。
闭环反思激活自纠错学习信号：将环境运行期抛出的错误反馈嵌入到历史策略的因果反思中，使原本无学习梯度的全负探索轨迹转变为宝贵的反面教材，为在线强化学习提供了源源不断的正向突破机会。

局限与展望¶

对基座推理规划能力的强依赖：作者明确承认，SGE 要求基座 LLM 具备足够的自然语言反思与结构化规划能力，在 600M 级别的小模型上几乎无法取得明显收益。
单步推理时延与 Token 开销增加：每一交互步均需额外输出一段前置自然语言策略，这使得生成上下文长度膨胀，在对响应延迟要求严苛的高频实时交互场景（如快节奏控制）中部署存在挑战。
未来方向：探索动态自适应策略生成机制（仅在遭遇不确定性或动作阻碍时触发高层策略重构与反思），以及针对更长交互轨迹将单步策略压缩为层次化元策略（Meta-Strategy）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用 LLM 语言反思能力重塑交互探索机制，打破了智能体 RL 局限于基座能力的固有弊端。
实验充分度: ⭐⭐⭐⭐⭐ 横跨代码、GUI、具身与多应用工具调用四大异构环境，消融与探索状态覆盖率分析深入详实。
写作质量: ⭐⭐⭐⭐⭐ 论证脉络清晰严谨，从动作噪声与语义规划的本质矛盾切入，设计自洽且图表翔实。
价值: ⭐⭐⭐⭐⭐ 为后训练大模型智能体突破探索瓶颈指明了可行的高层规划路径，具备极高的启发与复用价值。

环境	观测模态与动作类型	基座 Zero-Shot	标准 GRPO	SGE (本文)	相对提升 (vs GRPO)
Coding	文本 (题目+报错) \(\to\) Python代码	13.5	22.0 ± 0.3	29.2 ± 0.7	+32.7%
AndroidWorld	图像 (手机UI) \(\to\) 屏幕坐标点击/滑动	16.7	21.9 ± 0.3	36.7 ± 1.3	+67.6%
LangR	文本 (机器人周边状态) \(\to\) 具身操作指令	42.6	46.0 ± 0.4	60.8 ± 0.6	+32.2%
AppWorld	文本 (API定义与环境返回) \(\to\) Python工具调用	47.8	49.3 ± 5.0	66.6 ± 2.9	+35.1%

配置	核心机制设定	关键表现与探索效果说明
SGE Full Model	混合温度 (\(\tau_s=1.2, \tau=0.7\)) + 正负策略反思	最佳表现，显著克服基座模型盲区并快速收敛
No Mixed - Default	全部 token 统一使用默认动作温度 \(\tau=0.7\)	训练收敛慢，策略多样性不足，难以突破难题
No Mixed - High	全部 token 统一使用高探索温度 \(\tau=1.2\)	动作生成崩溃，产生大量语法错误代码，效果大幅劣化
w/o All Reflection	移除策略反思机制，仅保留混合温度独立采样	丧失跨轨迹纠错能力，在困难长尾任务上难以形成正反馈
w/o Negative Reflection	仅保留正向策略反思，移除负向失败策略反思	性能明显下滑，证明“从失败策略中反思”是破除死局的主动力
w/o Positive Reflection	仅保留负向策略反思，移除正向成功策略反思	学习效率与最终熵略有下降，成功经验未得到充分复用