StraTA: Incentivizing Agentic Reinforcement Learning with Strategic Trajectory Abstraction¶

会议: NeurIPS 2026
arXiv: 2605.06642
OpenReview: https://openreview.net/forum?id=Tyr5VMW1pW
代码: https://github.com/xxyQwQ/StraTA
领域: 其他
关键词: 智能体强化学习、轨迹级抽象、分层GRPO、最远点采样、自评批判奖励

一句话总结¶

针对传统反应式智能体在长程决策中探索盲目与信用分配困难的痛点，StraTA 提出在交互初始显式采样紧凑的全局策略指导后续所有动作，并通过分层 GRPO 框架、基于语义嵌入的最远点采样多样性增强以及批判性自评价辅助惩罚，实现了端到端策略生成与动作执行的联合优化。

研究背景与动机¶

大语言模型驱动的自主交互智能体在网页操作、复杂系统控制以及多步科学实验等长程任务中展现出巨大潜力，但现有方法在应对长时程交互时依然面临可靠性不足的问题。为了提高智能体在复杂环境中的适应与纠错能力，基于环境反馈的智能体强化学习成为核心研究方向。然而，在以多步语言序列展开的决策场景下，动作生成天然具备双层层级属性，叠加环境通常仅在轨迹终点反馈稀疏且延迟的结果奖励，导致智能体在长交互轨迹中的探索效率极低，步级信用分配也极其困难。

当前主流的强化学习智能体优化方案（如 PPO、GRPO 及其变体）大多采用纯反应式的决策模式。智能体在每个时间步仅依赖当前局部观测和简略上下文直接预测下一步具体动作，迫使策略模型在单一决策中同时承担对全局宏观路线的推演和当前微观动作的选择。这种宏观与微观职责的强耦合，使得模型在长程探索中极易陷入短视试错、无谓的来回折返以及前后逻辑割裂的摇摆行为。人类在面对复杂长程任务时，往往会先在脑海中形成宏观策略骨架，并在后续执行中始终围绕这一高层计划调控局部行为。

本文的切入角度是打破传统纯反应式的单层交互范式，为智能体强化学习显式注入轨迹级的全局策略抽象。核心 idea：在交互起点先采样一段紧凑的全局自然语言策略并前缀拼接到每一步观测中，将长程决策显式解耦为全局策略生成与策略受约束执行两层目标，并通过分层 GRPO 采样、最远点语义探索及批判性自评估辅助奖励进行联合优化。

方法详解¶

StraTA 将原本单层的反应式交互改造成策略指导下的两阶段执行流程，并构建分层 GRPO 优化机制对高层策略与底层执行展开协同训练。

整体框架¶

在每个任务的初始状态 \(s_1\) 下，智能体首先由自身策略网络采样生成一段紧凑的全局自然语言策略 \(z \sim \pi_\theta(\cdot \mid s_1)\)。该策略一旦确立即在整个回合中保持固定，并在后续每一步决策中作为轨迹级先验信号前缀拼接到即时状态中，使智能体动作分布变为 \(a_t \sim \pi_\theta(\cdot \mid z, s_t)\)。整个决策轨迹由此转变为 \(\tau = \{z, (s_1, a_1, r_1), \dots, (s_T, a_T, r_T)\}\)。为同时优化策略生成与动作执行，StraTA 为每个任务构建双层 Rollout 分组：先采样 \(N\) 个全局候选策略，再在每个策略下独立展开 \(M\) 条动作轨迹，形成由 \(N \times M\) 条轨迹构成的分层比较池。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["初始任务状态 s1"] --> SGen["1. 策略生成与多样性采样<br/>超采样候选并经 FPS 筛选多样化策略"]
    SGen --> Exec["2. 策略条件化动作执行<br/>固定策略 z 前缀拼接，展开多条轨迹"]
    Exec --> SJudge["3. 批判性自评价与步级奖励<br/>回溯识别偏离策略或无效动作并赋负奖励"]
    SJudge --> HOpt["4. 分层 GRPO 优势计算与联合优化<br/>顶层按前 top-δ 评估策略，底层评估动作"]
    HOpt --> Out["策略与动作协同更新"]

关键设计¶

1. 策略生成与多样性采样：解决高层策略同质化与宏观探索不足 在初始阶段直接采样多个策略时，即使调高采样温度，模型也极易在语义空间陷入重复或微小措辞变体，难以提供具备差异度的宏观探索路径。为此，StraTA 引入了基于最远点采样的多样性策略生成机制。系统首先按超采样比例 \(\sigma\) 采样出 \(\sigma \times N\) 个候选策略 \(\mathcal{C}=\{z^i\}_{i=1}^{\sigma N}\)，利用预训练句子编码器抽取单位归一化语义向量 \(e^i = \phi(z^i) / \|\phi(z^i)\|_2\)。算法先选取最接近全局候选均值中心的候选作为代表性初始基准 \(z^*\) 加入已选集合 \(\mathcal{Z}\)，随后在剩余候选集 \(\mathcal{C}\setminus\mathcal{Z}\) 中贪心选取与当前已选集合的最大余弦相似度最小的候选：

\[z_{\text{select}} = \arg\min_{z^i \notin \mathcal{Z}} \max_{z^j \in \mathcal{Z}} {e^i}^\top e^j\]

循环迭代直至选满 \(N\) 个策略。该机制不仅拓宽了智能体在宏观任务规划空间的探索广度，更使组内策略间形成显著的语义对比，为策略级优势估计提供了更具区分度的基准。

2. 策略条件化动作执行：解除宏观推演与微观动作的相互耦合 传统反应式模型必须在每次生成动作时同时隐式推理“下一步该去哪”和“整体该怎么做”，导致行为极不稳定。StraTA 在策略 \(z\) 确定后，将其作为只读轨迹级条件直接固化在上下文前缀中。策略 \(z\) 用精炼的自然语言规定整体步骤分支与资源调度逻辑，模型在各步生成 \(a_t\) 时无需反复重算长程宏观目标，仅需聚焦于如何在当前观测 \(s_t\) 下忠实落地 \(z\) 规划的当前子阶段，显著消除了不必要的反复折返与无序探索。

3. 批判性自评价与步级奖励：打破稀疏延迟反馈并抑制投机漂移 纯粹依赖最终结果奖励进行强化学习，极易使智能体强化那些“巧合成功但背离策略”的投机动作，且无法辨识长轨迹中拖慢效率的冗余操作。StraTA 提出利用智能体自身进行事后批判性反思。每条轨迹 \(\tau^{i,j}\) 执行完毕后，模型依据自评提示词回顾整条交互记录，检索并标记出所有既未推进任务实质进展又脱离宏观策略 \(z^i\) 的步级索引集合 \(\mathcal{I}^{i,j} \sim \pi_\theta(\cdot \mid \mathcal{P}, \tau^{i,j})\)。由此产生步级辅助惩罚：

\[R_{\text{judge}}(a_t^{i,j}) = -\kappa \cdot \mathbb{I}[t \in \mathcal{I}^{i,j}]\]

通过引入惩罚权重 \(\kappa\)，该项与长度惩罚 \(R_{\text{length}}\) 及格式惩罚 \(R_{\text{format}}\) 一并注入步级奖励中，使模型在追求最终任务完成的同时，自发约束每一步动作的合规性与执行一致性。

4. 分层 GRPO 优势计算与联合优化：解耦策略评估噪声与动作评估偏差 为了在免去 Critic 网络高昂成本的前提下实现高层与底层的联合训练，StraTA 构建了双层 GRPO 架构。在动作层，策略 \(z^i\) 下采样的 \(M\) 条轨迹构成动作组 \(\mathcal{G}_{\text{action}}^i\)，结果奖励广播至动作步并计算相对优势 \(A(a_t^{i,j})\)，促使模型学习在给定策略下更具执行力的动作轨迹。而在策略层，若直接取所有 Rollout 结果的平均值，早期动作采样的随机噪声会严重掩盖高质量策略的潜力。因此，StraTA 采用前 \(\delta\) 比例最优轨迹的均值作为策略奖励：

\[R(z^i) = \text{mean}\left(\text{top-}\delta\left(\{R(\tau^{i,j})\}_{j=1}^M\right)\right)\]

该设计衡量策略所能达到的性能上限，避免将动作执行层面的偶发失误错误归因于高层策略失效。策略优势 \(A(z^i)\) 与动作优势 \(A(a_t^{i,j})\) 分别在各自组内标准化后，统一代入双层裁剪优化目标 \(\mathcal{J}_{\text{StraTA}}(\theta)\) 中进行端到端梯度更新。

一个完整示例¶

以 ALFWorld 中复杂的“清洁肥皂并放入橱柜”任务为例： 1. 策略生成阶段：模型观察初始任务与房间布局描述，由 FPS 机制在 32 个候选里筛选出 4 个差异化策略，其中入选策略 \(z\) 明确规划：“1. 前往台盆找到肥皂并拿起；2. 前往水槽打开水龙头清洗；3. 前往橱柜并放入”。 2. 多轨迹并行展开：在策略 \(z\) 引导下展开 8 条轨迹。在第 3 步时，某条轨迹因环境反馈“肥皂不在台面上”而转向搜寻抽屉，最终在第 12 步完成清洗并归位；另一条轨迹陷入反复开合水槽水龙头。 3. 批判性自评：模型对后一条轨迹展开反思，将第 7 至 9 步的连续无意义“examine sinkbasin”标记为冗余步，赋予 \(-\kappa\) 步级惩罚。 4. 优势结算：取该策略下表现最好的 4 条轨迹（\(\delta=0.5\)）的平均奖励来代表策略 \(z\) 的得分，与其余 3 个策略横向比较得出 \(A(z)\)；同时各轨迹动作与组内同策略轨迹对比得出 \(A(a_t)\)，梯度同步反传，有效实现高层规划与低层操作的精准归因。

损失函数 / 训练策略¶

StraTA 的总体训练目标是在组内无 Critic 架构下协同更新策略生成与动作执行参数：

\[\mathcal{J}_{\text{StraTA}}(\theta) = \mathbb{E}\left[\sum_{z^i \in \mathcal{G}_{\text{strategy}}} \mathcal{L}(z^i, A(z^i); \theta) + \sum_{i=1}^N \sum_{a_t^{i,j} \in \mathcal{G}_{\text{action}}^i} \mathcal{L}(a_t^{i,j}, A(a_t^{i,j}); \theta) - \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}})\right]\]

其中裁剪代理损失 \(\mathcal{L}(x, A; \theta)\) 遵循 DAPO 的非对称裁剪阈值（\(\epsilon_{\text{low}}=0.2, \epsilon_{\text{high}}=0.28\)），优化器采用 AdamW，学习率设为 \(1\times 10^{-6}\)，权重衰减 0.01。每任务配置 \(N=4\) 个策略，\(M=8\) 条轨迹，超采样比 \(\sigma=8\)，截断阈值 \(\delta=0.5\)，自评惩罚权重 \(\kappa=0.1\)。训练采用非累积式上下文截断并搭配软长度惩罚（阈值 \(\lambda=0.5\)），将生成长度严格限制在 1024 token 内。

实验关键数据¶

主实验¶

在涵盖具身操作（ALFWorld）、多步网页交互（WebShop）与复杂科学探索（SciWorld）三大典型长时程基准上，StraTA 全面超越了前沿闭源闭门模型以及主流强化学习基线。

基准 / 任务	评测指标	StraTA (Qwen2.5-7B)	前沿基线 / SOTA (闭源/RL)	相对优势 / 增益
ALFWorld (全子任务)	整体成功率 (%)	93.1 ± 0.8	90.8 ± 1.3 (GiGPO-7B) / 72.9 (Claude-4-Sonnet)	超越 GiGPO +2.3%，大幅领先闭源模型
WebShop (网页决策)	任务得分 / 成功率 (%)	91.2 ± 0.3 / 84.2 ± 0.3	84.4 ± 2.9 / 72.8 ± 3.2 (GiGPO-7B)	成功率绝对提升 +11.4%
SciWorld (科学实验)	综合得分 (%)	63.5 ± 0.7	57.0 (ScalingInter-7B) / 57.4 (Claude-4-Sonnet)	超越此前最优 RL 及闭源模型 +6.1%
ALFWorld (1.5B模型)	整体成功率 (%)	90.7 ± 1.9	86.7 ± 1.7 (GiGPO-1.5B) / 85.5 (PPO-1.5B)	极小规模模型逼近 7B 级 SOTA 性能
WebShop (1.5B模型)	任务得分 / 成功率 (%)	91.1 ± 0.3 / 82.5 ± 0.6	83.1 ± 1.6 / 65.0 ± 3.2 (GiGPO-1.5B)	成功率超越同尺寸 GiGPO +17.5%
SciWorld (Lifespan子类)	任务得分 (%)	100.0 ± 0.0	73.3 (ScalingInter-7B) / 90.0 (Claude-4-Sonnet)	达到满分完美解决

消融实验¶

基于 Qwen2.5-3B-Instruct 在小 batch size (batch size=4) 条件下进行的消融实验，清晰验证了最远点采样多样性策略（Diverse）与批判性自评价机制（Judgment）的有效性及其正交互补性。

模型变体配置	ALFWorld 成功率 (%)	WebShop 任务得分	WebShop 成功率 (%)	变体特性与表现说明
Vanilla (基础分层策略)	79.0 ± 2.2	76.0 ± 0.2	64.0 ± 0.4	仅引入基础分层 GRPO，无多样性与自评惩罚
+ Diverse (仅最远点采样)	87.9 ± 0.6	75.9 ± 0.6	64.6 ± 0.2	大幅改善 ALFWorld 探索（+8.9%），宏观路径更优
+ Judgment (仅批判性自评)	81.9 ± 3.2	79.3 ± 0.2	66.7 ± 0.5	显著优化 WebShop 动作精细度，成功率提升 +2.7%
StraTA (完整模型)	88.6 ± 1.9	85.9 ± 0.5	73.4 ± 1.0	双机制协同，WebShop 相对基线成功率提升 +9.4%

关键发现¶

双核心模块互补增益显著：最远点采样在具身操作类任务（ALFWorld）中贡献最突出，使成功率从 79.0% 飙升至 87.9%，表明具身环境极度依赖高质量全局探索路径；而批判性自评价在属性繁琐、易步入歧途的 WebShop 中起到了关键规范作用，推动完整模型成功率跃升至 73.4%。
顶层评估比例 \(\delta\) 的鲁棒性：当 \(\delta=0.1\) 时，仅由极端 Rollout 估计策略质量导致方差过大；当 \(\delta=1.0\) 时，底层动作偶发的低级失误会严重惩罚优质策略；实验证明 \(\delta=0.5\) 实现了策略潜能估计与容错能力的最佳权衡。
自评价可信度经检验真实可靠：外部 GPT-5.5 裁判审计证实，智能体自评价步的准确率随训练从 72.6% 稳步升至 90.1%，未发现确认的欺骗性作弊行为（Confirmed Deception 为 0%）。

亮点与洞察¶

解耦“想长远”与“走当下”：将宏观策略固化为静态上下文前缀，以极简架构彻底免除了在每步动作中重复进行宏观规划的认知负荷，展现了显式抽象在多步交互强化学习中的巨大威力。
利用语义最远点采样重塑 RL 探索：巧妙利用轻量 Sentence-BERT 嵌入和贪心最远点选择，以微秒级开销打破了语言模型采样中顽固的语义同质化局限，是一种高度通用的强化学习提示探索技术。
前 top-\(\delta\) 策略信用分配设计：不求全量平均而采最优分位数聚合，有效剥离了底层动作执行阶段的随机噪声对高层策略评估的污染，为多层级 RL 提供了一个值得借鉴的无偏估计范式。

局限与展望¶

静态策略缺乏动态自适应修正能力：策略一旦在初始状态 \(s_1\) 生成便全程冻结，若环境遭遇未曾预期的剧烈状态突变或前置动作执行失败，固定策略可能会反向束缚智能体的局部应变。未来应探索自适应策略重规划机制。
策略表达形式局限于纯文本描述：当前策略为纯自然语言摘要，在涉及高度形式化的逻辑约束或复杂因果分支时表达效率受限，未来可结合结构化图结构或层次化子目标分解进一步扩展。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次在智能体无 Critic 强化学习中系统化引入显式全局策略抽象与语义最远点采样。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖具身、电商、科学三大标杆基准，从 1.5B 到 7B 多尺寸及详细审计全面验证。
写作质量: ⭐⭐⭐⭐⭐ 结构紧凑严密，数学公式定义清晰，框架图与理论设计完全闭环。
价值: ⭐⭐⭐⭐⭐ 为长时程 LLM 智能体强化学习的探索瓶颈与信用分配难题提供了极具落地可行性的范式。