Learning Agentic Policy from Action Guidance¶

会议: NeurIPS 2026
arXiv: 2605.12004
代码: https://github.com/AMAP-ML/ActGuide-RL
领域: LLM Agent
关键词: Agentic RL, 动作引导, 可达性屏障, 极简干预原则, 离线策略内化

一句话总结¶

针对智能体强化学习在基础模型能力边界外因奖励不可达而导致探索停滞的难题，ActGuide-RL将易采集的纯动作序列作为参考规划引入，结合自适应极简干预与混合策略优化，无需SFT冷启动即实现了超越零样本RL并比肩SFT+RL管线的探索能力。

研究背景与动机¶

大语言模型正从被动对话系统转向具备自主规划、工具调用与长程环境交互能力的智能体，而智能体强化学习（Agentic RL）凭借可验证或启发式奖励成为驱动其自主交互进化的核心范式。然而在线强化学习对任务探索难度极其敏感：训练信号完全依赖策略自身的试错采样，当环境奖励状态落在当前基础模型的可达能力范围（in-capability region）内时，基于组间对照的优势估计尚能生效；一旦面对需要多轮复杂交互的困难任务，奖励状态落入外部区域（out-region），所有采样轨迹的奖励将全部坍缩为零，导致策略梯度归零而陷入训练停滞。

为了跨越这种冷启动障碍，业界通用的做法是先构建昂贵的监督微调（SFT）轨迹进行冷启动，再辅以复杂的人工课程学习调度。然而这种范式不仅依赖大量带有高质量思维链（CoT）推理步骤与工具交互的全轨迹标注，而且SFT倾向于模式覆盖（mode-covering），极易在下游诱发分布过拟合，并显著损伤智能体在分布外（OOD）通用任务上的指令遵循与真实性表现。另一方面，现实世界中存在海量易于低成本采集的人类交互动作（如GUI/CLI点击、浏览器搜索与访问、API调用序列），但由于缺失显式推理思维链，若直接采用行为克隆（BC）仅能拟合表面动作特征，而通过模型事后逆向伪造CoT又常遭受虚假合理解释（post-hoc rationalization）的困扰。

本文的切入视角在于：既然动作数据易于获取且蕴含正确的状态转移拓扑，便无须强求其包含完整思维链，而是将其作为计划级（plan-style）的弱参考提示介入智能体探索过程。核心 idea：提出 ActGuide-RL 框架，形式化建模智能体探索中的可达性屏障，将纯动作数据作为参考规划注入以修复状态访问流，依据最小干预原则自适应寻找刚好跨越屏障的最小引导强度，并通过混合策略优化将引导状态下的探索收益无损内化回无引导的目标策略中。

方法详解¶

整体框架¶

ActGuide-RL 围绕“如何引导”、“引导多少”以及“如何内化学习”三项核心问题展开构建。系统在训练时接收环境任务描述与对应的专家动作轨迹序列。首先，智能体在无引导条件下独立执行一组 Rollout；若该组内存在成功样本，则直接采用标准在线 RL 进行更新。若无引导 Rollout 全部失败（遭遇可达性屏障导致零奖励），系统触发自适应后备（Fallback）机制，利用二分搜索寻找能够恢复非零奖励的最小动作引导前缀。最后，将无引导与引导两组轨迹合并，通过混合策略重要性权重比值消除引导带来的离线分布偏移，将探索红利内化回推理期无需引导的基座策略中。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入任务与参考动作序列"] --> B["无引导轨迹采样<br/>基座策略独立执行 Rollout"]
    B --> C{"组内是否存在<br/>成功轨迹 (r >= delta)?"}
    C -->|是| G["直接计算优势函数"]
    C -->|否: 触发可达性屏障| D["自适应极简干预<br/>二分搜索最小引导动作级 k*"]
    D --> E["引导轨迹采样<br/>注入参考动作前缀突破屏障"]
    E --> F["合并混合 Rollout 组<br/>无引导轨迹 + 引导轨迹"]
    F --> G
    G --> H["离线策略内化<br/>混合策略优化与重要性比率修正"]
    H --> I["更新无引导目标策略"]

关键设计¶

1. 可达性动力学与动作引导修复：用参考动作打破探索停滞

智能体在长程多步交互中，早期的错误决策会导致后续状态空间彻底偏离成功路径。论文形式化定义状态 $s$ 的最大潜在成功概率上界为 $\Psi(s) := \sup_{\pi} \mathbb{P}_{\pi}(Y=1 \mid s)$，并将策略 $\pi$ 在时间步 $t$ 的平均剩余成功潜能定义为有效状态访问质量（effective state-visiting mass）$M_t^{\pi} := \mathbb{E}_{\pi}[\Psi(s_t)]$。步间保留率满足累乘递推关系： $$M_v^{\pi} = M_u^{\pi} \prod_{t=u}^{v-1} \bar{\kappa}_t^{\pi}$$ 当关键交互区间 $[b, b+m-1]$ 内保留率乘积急剧坍缩趋近于零时，出现可达性屏障（reachability barrier），导致最终奖励期望归零。ActGuide-RL 将无推理链的纯动作序列 $g = (\tilde{\alpha}_1, \dots, \tilde{\alpha}_L)$ 作为参考计划，以文本提示的形式松散附在任务 Prompt 中，而不是硬性冻结前缀强制执行。实验发现，动作引导能够使策略在突破屏障后的未引导后缀阶段重新获得非零的 Pass@K，使得有效状态访问质量提升增益 $B_k = \log \frac{M_{b+m}^{\pi_\theta(\cdot \mid s, g_k)}}{M_{b+m}^{\pi_\theta(\cdot \mid s)}}$ 显著提升，引导智能体重新恢复对奖励状态的有效触达。

2. 自适应极简干预原则：权衡探索收益与离线分布偏移

尽管增加参考动作步数 $k$ 能够提高越过屏障的收益 $B_k$，但强行注入过多动作会导致当前生成策略与基座策略之间产生严重的离线分布偏移（off-policy shift）。论文定义累积词元级对数比值偏移为 $\mathcal{L}_k(\tau) := \sum_{j=1}^{|\tau|} \log \frac{\pi_\theta(z_j \mid z_{<j})}{\pi_\theta(z_j \mid z_{<j}, g_k)}$，其方差 $R_k := \text{Var}_{\tau \sim \pi_\theta(\cdot \mid s, g_k)}(\mathcal{L}_k(\tau))$ 刻画了优化不稳定的离线风险。实测表明 $R_k$ 随引导长度单调快速攀升。为此，ActGuide-RL 确立极简干预原则：仅当无引导采样全部获得零奖励时才触发动作介入，且在动作长度阶梯 $g_0 \prec g_1 \prec \dots \prec g_K$ 上利用二分搜索，高效定位恢复奖励所需的最小必要前缀级数： $$k^\star := \min \Bigl\{ k \in \{1, \dots, K\} : \max_{i=1}^N Y(\tau_i^{(k)}) \ge \delta \Bigr\}$$ 这一设计使得整体引导效用 $J_k = B_k - \lambda R_k$ 在临界点达到近似最优，既恢复了强化学习所需的正向反馈信号，又将分布偏移控制在基座策略能够安全吸收的近端邻域内。

3. 离线策略内化与混合策略优化：无感知迁移探索经验

由于动作引导提示仅在训练阶段可用，在测试推理阶段模型必须完全脱离引导独立完成决策，因此引导轨迹中探索到的有效行为必须被内化（internalize）到无引导策略 $\pi_\theta(\cdot \mid x)$ 中。论文将混合收集的轨迹集合 $\mathcal{G} = \mathcal{G}_{\text{unguided}} \cup \mathcal{G}_{\text{guided}}$ 纳入统一目标，采用定制的重要词元比率修正策略梯度： $$r_{i,t}^{\text{mix}}(\theta) = \begin{cases} \dfrac{\pi_\theta(z_{i,t} \mid z_{i,<t})}{\pi_{\theta_{\text{old}}}(z_{i,t} \mid z_{i,<t})}, & \text{若 } \tau_i \sim \pi_{\theta_{\text{old}}}(\cdot \mid x) \\[10pt] \dfrac{\pi_\theta(z_{i,t} \mid z_{i,<t})}{\pi_{\theta_{\text{old}}}(z_{i,t} \mid z_{i,<t}, g_{\text{adap}})}, & \text{若 } \tau_i \sim \pi_{\theta_{\text{old}}}(\cdot \mid x, g_{\text{adap}}) \end{cases}$$ 对于引导轨迹，其生成分母取引导分布，而分子始终更新为无引导目标分布，通过重要性采样自然地将信用（credit）赋予在无引导条件下生成这些关键动作和推理链的参数上。配合标准的 PPO 剪裁与参考策略 KL 散度约束，无需复杂的人工重要性权重整形即可平滑完成知识内化。

损失函数 / 训练策略¶

整个混合策略训练目标定义为： $$\mathcal{J}_{\text{mix}}(\theta) = \mathbb{E} \left[ \frac{1}{\sum_i T_i} \sum_{i=1}^{|\mathcal{G}|} \sum_{t=1}^{T_i} \min \left( r_{i,t}^{\text{mix}}(\theta) \hat{A}(\tau_i), \, \text{clip}(r_{i,t}^{\text{mix}}(\theta), 1-\epsilon, 1+\epsilon) \hat{A}(\tau_i) \right) - \frac{\beta}{|\mathcal{G}|} \sum_{i=1}^{|\mathcal{G}|} \mathbb{D}_{\text{KL}}(\pi_\theta(\tau_i \mid x) \parallel \pi_{\text{ref}}(\tau_i \mid x)) \right]$$ 其中优势函数 $\hat{A}(\tau_i)$ 基于整组 Rollout 进行组内标准化计算，训练超参数设置为学习率 $1\times 10^{-6}$、KL 惩罚系数 $\beta=0.001$、PPO 剪裁阈值 $\epsilon=0.2$、采样组大小 $N=8$，基座基于 VeRL 分布式框架训练。

实验关键数据¶

主实验¶

评估涵盖四项极具挑战性的真实深层网络搜索基准：GAIA（综合通用助手）、WebWalkerQA（多层级深度网络遍历）、XBench（长程专业检索评估）和 BrowseComp-ZH（BC-ZH，中文复杂网络检索）。在四款基座模型上的对比结果展示了显著提升。

基准测试	模型与训练方式	GAIA (Avg)	WebWalkerQA (Avg)	XBench (Avg)	BC-ZH (Avg)
Qwen2.5-3B-Instruct	Zero RL	11.65	15.29	10.00	2.42
Qwen2.5-3B-Instruct	ActGuide-RL	18.45	18.82	16.00	4.50
Qwen2.5-7B-Instruct	Zero RL	11.65	18.67	22.00	4.84
Qwen2.5-7B-Instruct	ActGuide-RL	25.24	22.05	24.00	8.31
Qwen3-4B-Instruct	Zero RL	25.24	12.06	18.00	15.26
Qwen3-4B-Instruct	ActGuide-RL	35.92	39.85	37.00	20.41
Qwen3-8B	Zero RL	36.89	42.50	33.00	21.79
Qwen3-8B	ActGuide-RL	41.74	46.77	44.00	26.64

与主流两阶段 SFT + RL 范式及分布外通用能力的深度对比（基于 Qwen3-4B-Instruct）：

训练范式	GAIA	WebWalker	XBench	BC-ZH	GPQA-CoT (ZS)	TruthQA	IFEval
Zero RL	25.24	12.06	18.00	15.26	35.45	62.17	81.33
ActGuide-RL (无SFT)	35.92	39.85	37.00	20.41	36.93	62.30	82.99
SFT	34.95	31.18	25.00	25.61	29.15	56.95	77.82
SFT + RL	36.89	32.20	17.00	26.30	29.85	57.02	76.34
SFT + ActGuide-RL	40.77	37.06	25.00	28.02	29.57	57.11	77.43

消融实验¶

针对核心设计组件在 Qwen3-4B-Instruct 上的消融分析：

配置	GAIA	WebWalkerQA	XBench	说明
ActGuide-RL (完整模型)	35.92	39.85	37.00	完整模型：极简自适应后备 + 混合策略内化
w/o 自适应机制 (固定比例引导)	27.18	35.00	34.00	缺乏难度自适应调节，过强干预增大方差
w/o 后备机制 (全样本常驻引导)	24.27	23.82	19.00	在可直接探索样本上盲目引导，破坏策略自主性
w/o 混合策略优化 (纯引导更新)	22.32	21.76	21.00	缺少无引导重要性比率修正，无法内化探索收益

此外，动作噪声敏感性测试显示：在动作轨迹中随机掺入 10% 无关动作噪声时，模型性能依然坚挺（GAIA 达到 39.81%，XBench 达 38.00%），而在 20% 噪声下才发生较明显下滑（GAIA 降至 29.12%），证明了参考级引导对真实人类交互中偶发冗余操作的高容忍度。

关键发现¶

消除强化学习退化：在部分中等体量基座（如 Qwen2.5-7B 与 Qwen3-8B）上，Vanilla RL 常因在分布不匹配数据上的盲目探索导致性能回退（如 Qwen2.5-7B 在 GAIA 上从 22.32% 退化至 11.65%），而 ActGuide-RL 则成功逆转为 25.24% 的正向突破。
免除 SFT 的分布外泛化红利：传统 SFT+RL 虽然提升了特定域搜索能力，但在通用基准（GPQA、TruthfulQA、IFEval）上出现严重坍缩（GPQA 从 35.45% 跌至 29.85%，IFEval 从 81.33% 跌至 76.34%）；ActGuide-RL 完全绕开了 SFT 的模式覆盖陷阱，在领域内任务比肩 SFT+RL 的同时，通用能力不仅未发生遗忘反而稳中有升。
长程交互能力的自然涌现：测试时交互轮次（Turn Budget）扩展实验表明，随着最大允许交互轮次从 2 轮提升至 32 轮，ActGuide-RL 的任务成功率持续提升（GAIA 从 0.97% 跃升至 35.92%），验证了模型切实习得了有效的长程环境交互技能而非机械试探。

亮点与洞察¶

将纯动作数据解耦为弱指导规划：避开了合成思维链的合理解释陷阱和行为克隆的过拟合限制，直接将人类交互的副产物——动作序列转化为极低廉的探索阶梯，大幅拓宽了智能体后训练的数据来源。
极简干预与离线内化闭环：理论分析揭示了探索收益与分布偏移方差的对抗关系，提出零奖励后备与二分搜索定位最小必要干预，并用混合策略比率直接解决测试期脱离引导的内化难题，整体机制数学上干净优雅。
重新定义智能体冷启动路径：证实了无 SFT 条件下单纯依靠自适应引导 RL 同样能从零构建复杂的多步网络交互能力，为构建通用、跨环境、轻量级冷启动的下一代智能体提供了崭新的后训练范式。

局限与展望¶

依赖参考动作拓扑存在：当前设定依赖专家模型（如 Tongyi-DeepResearch）拒绝采样或人类历史交互中提取的正确动作序列，对于纯开放、完全无先验轨迹的黑盒未知环境，如何自主合成该引导动作仍待探索。
搜索状态空间的局限性：实验目前主要在无状态/轻状态的 Web Search 环境（Web-Search + Web-Visit）中验证，尚未拓展至具备复杂物理状态转移及不可逆环境反馈的具身智能（Embodied AI）或复杂桌面操作系统（OS/GUI）。
未来方向：探索在强化学习训练过程中动态自我进化生成动作规划候选集，以及将自适应干预扩展至多智能体协同协作场景。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 创造性地从理论和实证上形式化可达性屏障，用弱动作引导与极简干预重构了智能体 RL 的冷启动路径。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 款基座模型、4 大深层搜索基准与 3 项分布外通用基准，包含消融、动态分析与噪声压力测试，证据确凿。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰紧凑，数学表达精炼，机理阐述深刻且逻辑环环相扣。
价值: ⭐⭐⭐⭐⭐ 为解决长程交互智能体探索困难提供了极具工程扩展性和落地前景的全新视角。