跳转至

Dynamic Dual-Granularity Skill Bank for Agentic RL

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/TU2021/D2Skill-AgenticRL
领域: 大模型智能体 (LLM Agent)
关键词: 智能体强化学习 (Agentic RL) / 双粒度技能库 / 后验效用估计 / 动态记忆管理 / 具身决策与网页交互

一句话总结

针对智能体强化学习中单一轨迹级经验无法纠正局部错误以及外置记忆无序膨胀导致检索退化的问题,本文提出 D2Skill,通过解耦宏观任务技能与微观步骤技能构建双粒度技能库,并利用同策略配对采样构造后验效用信号,实现技能库的动态扩充、效用感知检索与自适应剪枝。

研究背景与动机

大语言模型驱动的智能体强化学习(Agentic RL)已成为解决长程决策任务的核心范式,在具身交互、网页搜索与复杂问答等场景中展现出巨大潜力。然而,这类任务通常具有高度部分可观测性与极度稀疏的反馈信号,智能体仅能依赖简要的任务描述和局部交互历史在庞大的动作空间中进行盲目试错。由于长程信用分配(Credit Assignment)极其困难,智能体若仅凭参数更新往往会深陷探索低效与样本利用率低下的泥潭。因此,将历史探索中的成功与失败轨迹抽象为非参数化的可复用经验(即技能库),成为辅助策略模型实现高效跨任务泛化与结构化探索的重要切入点。

然而,现有的技能增强智能体方法(如 SkillRL、ExpeL 等)普遍面临两大深层次瓶颈。其一,现有框架多专注于整条轨迹级别的反思与技能归纳,生成的技能主要表征全局工作流或宏观执行路径。在长程决策中,智能体往往能够形成宏观合理的执行规划,却频频在具体步骤的关键分支上因局部感知受挫而陷入死循环(例如在 ALFWorld 中翻开厨柜发现目标物体缺失后,因缺乏局部应对经验而机械反复搜查同一柜子)。其二,随着强化学习训练轮次的持续推进,技能库呈单调线性扩张趋势,充斥着大量针对单次偶发失败的过度特异化技能、已被更强技能覆盖的过时经验以及语义模糊的冗余条目。由于缺乏科学的在线效用评估与主动淘汰机制,无序膨胀的记忆库严重稀释了高质量经验的检索命中率,甚至诱发错误的上下文先验,反噬策略模型的探索过程。

从本质上看,长程智能体决策所面临的失误在粒度上具有天然的分层特性:全局宏观规划与局部决策容错相互独立又紧密交织。同时,外置经验的动态积累必须配对以严谨的因果效益度量,方能防止记忆崩溃与负向迁移。核心 idea:将智能体经验解耦为全局宏观的「任务技能」与微观容错的「步骤技能」,并在训练过程中引入同策略配对基线-技能注入采样,以后验成功率差异为信号驱动双粒度技能的效用评估、UCB探索检索与动态容量剪枝,实现策略优化与记忆演化的协同共生。

方法详解

整体框架

D2Skill 将强化学习训练循环与动态双粒度技能库有机耦合。在每个训练步骤中,针对抽样任务生成成对的交互轨迹组,其中一半轨迹在原始无技能提示下执行作为基线组,另一半轨迹注入动态检索的双粒度技能作为技能组。系统通过比较基线组与技能组的终端回报差距,提取出针对任务技能与各个具体步骤技能的后验效用更新信号与内生塑形奖励。当任务组整体成功率跌破反思阈值时,触发反思模块深入剖析失败轨迹并抽取出宏观任务技能与首错步骤技能,经过结构化解析与去重后纳入技能库;最后,系统依据累积效用和访问频次对技能库实施动态剪枝,并将策略模型在包含技能内生奖励的优势函数驱动下通过 GRPO 进行参数更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境交互与任务输入<br/>文本环境与交互历史窗口"] --> B["配对采样与后验效用估计<br/>同策略基线组与技能组对照"]
    B --> C["失败驱动的双粒度技能生成<br/>全局任务规划与首错步骤修复"]
    C --> D["效用感知检索与动态剪枝<br/>语义UCB两阶段检索与容量淘汰"]
    D --> E["GRPO强化学习优化<br/>技能增强回报与优势归一化更新"]

关键设计

1. 配对采样与后验效用估计:技能贡献难以定量归因 -> 构建同策略基线组与技能组的差分信号 -> 支撑低开销效用更新与内生奖励
在多技能协同注入的交互环境中,直接通过强化学习梯度精确求解每个外置技能的边际因果贡献计算开销极大。针对这一痛点,D2Skill 提出在每个训练任务中采样 \(N\) 条并行轨迹,严格均分为基线组与技能注入组。两组轨迹在完全相同的策略模型参数下展开采样,唯一的扰动源是技能组在上下文中拼接了检索出的双粒度技能。通过计算两组的平均成功率差值,系统能够以近乎零额外参数训练的成本,获得无偏且稳健的后验效用信号。该信号不仅以指数移动平均形式更新对应技能的历史效用,还转化为附加在技能组轨迹终端的内生塑造奖励,促使策略模型更加积极且合理地借用外置技能。

2. 失败驱动的双粒度技能生成:单层级规划忽视局部错误 -> 针对性能骤降任务提取全局任务技能与首错局部步骤技能 -> 形成互补分层的经验表示
传统方法将反思等同于整条轨迹的泛泛总结,难以应对局部观察异常导致的微观动作失效。D2Skill 将技能明确划分为任务技能与步骤技能两个异构层级。任务技能以任务描述为检索键,提供宏观目标分解与全局防雷避坑路径;步骤技能则以任务描述拼接具体观察状态作为组合检索键,专门针对局部决策分岔口(如探索未命中、工具报错、属性缺失)提供微观动作重定向。反思触发机制严格限制在低成功率任务中,且每步设定失败轨迹处理上限,由反思模型对比失败与成功轨迹,精准定位首次失误步骤(First Error Step),生成具备结构化原则、适用条件和触发特征的双层规则,兼顾宏观规划与微观鲁棒性。

3. 效用感知检索与动态剪枝:技能库无序膨胀引发干扰与冗余 -> 结合语义相似度与UCB效用两阶段检索并定期淘汰低效条目 -> 保障技能记忆紧凑高效
持续生成的技能若不加甄别地全盘保留,会迅速导致向量空间拥挤、相似低质技能争夺上下文槽位,并耗尽提示词预算。D2Skill 构建了两阶段检索流水线:第一阶段通过文本嵌入向量的余弦相似度粗筛出前 \(m\) 个候选技能;第二阶段则引入结合语义相似度与类似 UCB(Upper Confidence Bound)探索加成项的效用评分公式,让历史验证有效的高效用技能和探索次数尚少的潜力技能获得优先曝光。在此基础上,系统设定技能库容量硬约束,在周期性评估时计算淘汰评分,剔除长期效用低下且已被充分测试的低质条目,并通过设定保护时间窗口避免新生成技能被过早误杀。

双粒度技能演化与调度机制

双粒度技能库的数学建模与演化机制是 D2Skill 闭环运作的基石。对于具体任务 \(g \sim \mathcal{D}\),采样轨迹组 \(G_g\) 包含 \(N\) 条轨迹,均分为基线组 \(G_g^{base}\) 与技能组 \(G_g^{skill}\)。设 \(Y_i \in \{0, 1\}\) 为轨迹 \(i\) 的最终任务完成指示变量,两组的经验平均成功率分别为: $\(\bar{Y}_g^{base} = \frac{1}{|G_g^{base}|} \sum_{i \in G_g^{base}} Y_i, \quad \bar{Y}_g^{skill} = \frac{1}{|G_g^{skill}|} \sum_{i \in G_g^{skill}} Y_i\)$ 由此产生两级后验效用信号:针对该任务所注入的全部任务技能,共享全局任务级后验信号 \(\Delta_g^{task} = \bar{Y}_g^{skill} - \bar{Y}_g^{base}\);而针对技能组轨迹 \(i \in G_g^{skill}\) 中在特定交互步调用的步骤技能,则赋予轨迹级精细化信用指标 \(c_i = Y_i - \bar{Y}_g^{base}\)。技能库中任意技能条目 \(m\) 的效用标量 \(u_m\) 按照指数移动平均(EMA)在线更新: $\(u_m \leftarrow (1 - \beta_{task}) u_m + \beta_{task} \Delta_g^{task} \quad (m \in \mathcal{M}_{task})\)$ $\(u_m \leftarrow (1 - \beta_{step}) u_m + \beta_{step} c_i \quad (m \in \mathcal{M}_{step})\)$ 为了激励策略主动内化并合理遵循技能指导,技能轨迹获得后验内生奖励 \(R_{int, i} = \lambda (Y_i - \bar{Y}_g^{base})\),使得增强回报为 \(\tilde{R}_i = R_i + R_{int, i}\)(基线轨迹则保持 \(\tilde{R}_i = R_i\))。随后在整组 \(G_g\) 内执行优势归一化,通过带裁剪的 GRPO 目标函数完成策略网络 \(\pi_\theta\) 的参数更新: $\(A_i = \frac{\tilde{R}_i - \text{mean}(\{\tilde{R}_j\}_{j \in G_g})}{\text{std}(\{\tilde{R}_j\}_{j \in G_g})}\)$

在技能检索阶段,对于输入查询 \(q\)(任务级 \(q=g\),步骤级 \(q_t=(g, o_t)\)),首先经余弦相似度门控筛选 \(\text{sim}(q, k_m) \ge \tau_{sim}\) 截取前 \(m\) 个候选集,随后依据融合效用与探索加成的排序函数遴选最优的 top-\(k\) 项: $\(\text{score}(m) = \alpha \cdot \widehat{\text{sim}}(m, q) + (1 - \alpha) \left( u_m + \eta \sqrt{\frac{\log(1 + N_r)}{1 + n_m}} \right)\)$ 其中 \(n_m\) 为技能 \(m\) 的历史检索频次,\(N_r = \sum_{m'} n_{m'}\) 为活跃池总检索次数,\(\eta\) 控制 UCB 探索强度。当技能库规模超过预设容量上限 \(N_{max}\) 时,触发基于淘汰分数的剪枝流程: $\(\text{evict}(m) = u_m + \eta \sqrt{\frac{\log(1 + N_r)}{1 + n_m}}\)$ 系统按 \(\text{evict}(m)\) 升序排列并淘汰得分最低的条目,同时强制豁免创建步数处于保护窗口 \(T_{prot}\) 内的新生技能,确保每项经验获得充分的试错与验证周期。

实验关键数据

主实验

D2Skill 在具身交互基准 ALFWorld、复杂网页购物基准 WebShop 以及知识密集型检索增强问答 Search-Augmented QA 上进行了全面评测,骨干模型涵盖 Qwen2.5-7B-Instruct 与 Qwen3-4B-Instruct-2507。测试阶段技能库保持完全冻结,只执行检索而不产生额外调用成本。

基准任务与模型架构 评测方法 主要指标 (Success / Avg Acc) 对比基线 (GRPO) 绝对增益
ALFWorld (Qwen2.5-7B) D2Skill (Gemini-3-Flash) 90.6% 72.6% +18.0%
ALFWorld (Qwen2.5-7B) D2Skill (O3) 87.8% 72.6% +15.2%
ALFWorld (Qwen2.5-7B) D2Skill (Self) 82.8% 72.6% +10.2%
ALFWorld (Qwen2.5-7B) SkillRL (O3)* 89.1% 72.6% +16.5%
WebShop (Qwen2.5-7B) D2Skill (O3) 84.4% (Score: 90.1) 72.6% (Score: 86.0) +11.8%
WebShop (Qwen2.5-7B) D2Skill (Gemini-3-Flash) 80.5% (Score: 91.1) 72.6% (Score: 86.0) +7.9%
WebShop (Qwen2.5-7B) D2Skill (Self) 81.3% (Score: 89.9) 72.6% (Score: 86.0) +8.7%
ALFWorld (Qwen3-4B) D2Skill (O3) 72.7% 53.9% +18.8%
ALFWorld (Qwen3-4B) D2Skill (Gemini-3-Flash) 69.6% 53.9% +15.7%
ALFWorld (Qwen3-4B) D2Skill (Self) 62.5% 53.9% +8.6%
WebShop (Qwen3-4B) D2Skill (Gemini-3-Flash) 82.8% (Score: 90.0) 74.2% (Score: 87.0) +8.6%
WebShop (Qwen3-4B) D2Skill (Self) 77.4% (Score: 89.6) 74.2% (Score: 87.0) +3.2%
Search QA (Qwen2.5-7B) D2Skill (O3) 44.9% (Hotpot: 47.5%) 40.9% (ZeroSearch) +4.0%
Search QA (Qwen2.5-7B) D2Skill (Self) 43.8% (2Wiki: 45.9%) 40.6% (StepSearch) +3.2%

消融实验

在 ALFWorld 上基于 Qwen3-4B-Instruct-2507 开展系统消融实验,分别验证双粒度结构、动态管理、配对基线及效用调度模块的贡献。同时引入自反馈对齐实验、未见环境分布外(OOD)迁移评估以及在线噪声技能鲁棒性压力测试。

模块配置 / 消融设定 训练集技能组峰值 (%) 训练集基线组峰值 (%) 验证集最终成功率 (%) 相比完整模型衰减
D2Skill 完整模型 (Full) 70.9 65.8 72.7 -
去除任务技能 (w/o task skills) 59.1 53.7 62.7 -10.0%
去除步骤技能 (w/o step skills) 57.8 55.8 60.2 -12.5%
去除技能管理与剪枝 (w/o skill management) 60.0 57.4 57.8 -14.9%
去除配对基线组 (w/o baseline group) 63.9 - 68.8 -3.9%
去除效用检索 (w/o utility retrieval) 61.4 51.8 64.8 -7.9%
完全移除效用模块 (w/o utility module) 60.3 - 62.5 -10.2%
无技能强化学习基线 (GRPO) - 50.6 53.9 -18.8%

在分布外零样本迁移评测(No-adaptation ALFWorld OOD)中,所有模型仅在已见环境(Seen)训练,直接在未见环境(Unseen)测试且保持技能库与模型冻结: - GRPO: Seen 53.9% \(\rightarrow\) Unseen 36.7% (-17.2%) - SkillRL: Seen 67.2% \(\rightarrow\) Unseen 55.5% (-11.7%) - D2Skill: Seen 72.7% \(\rightarrow\) Unseen 63.3% (领先 SkillRL +7.8%,领先 GRPO +26.6%)

在在线噪声技能压力测试(Online Noisy-Skill Stress Test,注入 30% 语义误导/过度特异化低质技能)中: - 完整 D2Skill 仍取得 62.5% 成功率,最终技能库中噪声条目占比被动态压缩至 19.6%; - 移除效用检索与剪枝管理后,成功率暴跌至 51.6%(-10.9%),技能库中噪声堆积率升至 28.5%。

关键发现

  1. 技能动态管理是抵御长期性能退化的最关键支柱:在消融实验中,去掉技能管理(w/o skill management)导致的验证集性能跌幅最大(从 72.7% 跌至 57.8%,净跌 14.9 个百分点)。随着训练推进,未剪枝的技能库充斥次优策略与冗余描述,导致检索有效率从 72.7% 退化至 57.8%,证实了控制记忆膨胀比单纯堆积经验更为关键。
  2. 微观步骤技能与宏观任务技能互为支撑:单独剥离任务技能或步骤技能,分别使验证集成功率下降 10.0% 与 12.5%。这表明宏观规划确保了全局任务不迷航,而细粒度步骤技能直接切断了局部死循环,二者缺一不可。
  3. 出色的零样本跨环境泛化与高效训练性价比:在未经任何测试期自适应的情况下,D2Skill 在未见 ALFWorld 环境中取得 63.3% 的高成功率;同时在训练墙上时钟耗时方面,D2Skill(25.6 小时)仅略高于无技能 GRPO(20.8 小时),远快于 SkillRL 的 49.2 小时,展现出 1.7 倍的训练收敛加速,并在早期的 API 费用统计中仅产生约 $1.12 ~ $1.32 的辅助开销。

亮点与洞察

  • 配对采样差分消除因果归因壁垒:无需昂贵的逐技能消融实验或复杂值网络估计,D2Skill 创新性地利用同一策略下的并行成对轨迹组,巧妙以 \(\Delta_g^{task}\) 和 \(c_i\) 构造后验反事实信号,实现极低开销的技能效用在线标定。
  • 两阶段效用-语义检索兼顾探索与利用:将多臂赌博机的 UCB 思想融入外部记忆检索公式,既保证了与当前环境状态高相关技能的高概率召回,又以 \(\sqrt{\frac{\log(1+N_r)}{1+n_m}}\) 探索项赋予新生技能充分的激活机会,避免技能马太效应。
  • 经验知识的策略内化效应:在测试期即使完全剥除技能库(无检索评估),接受过 D2Skill 训练的策略网络表现依旧显著优于纯 GRPO 基线,证明智能体在训练交互中已将部分通用决策模式内化为模型隐式参数权重。

局限与展望

  • 多技能并发注入下的细粒度归因模糊:当单条轨迹在多个交互步连续注入多项步骤技能时,基于最终轨迹成败的差分信用分配无法精确区分各单项技能的独立贡献度,效用更新依然属于经验排序启发式而非精确因果度量。
  • 环境评测范畴与开放现实世界差距:当前评估主要集中在 ALFWorld 文本具身、WebShop 购物与检索问答等结构化基准中,尚未触及具有海量非结构化噪音、复杂视觉模态或不可逆真实代价的高动态开放物理世界。
  • 未来方向:探索基于过程奖励模型(PRM)或细粒度步级反事实评估的技能因果归因算法,并将双粒度技能架构拓展至多模态具身智能体与真实网络操作系统中。

相关工作与启发

  • vs Reflexion (Shinn et al., 2023): Reflexion 主要存储无参数的情境化自然语言试错文字反思,作用范围仅限于单次任务的连续重试阶段,缺乏跨任务持久化技能库架构,亦无量化的后验效用更新与容量剪枝机制。
  • vs SkillRL (Xia et al., 2026): SkillRL 构建了静态持续增长的任务级技能库并在整条轨迹复用,D2Skill 的核心突破在于显式引入了按需触发的局部步骤技能,并通过同策略配对采样实现了在线效用评估与动态生命周期剪枝,训练速度提升 1.7 倍且抗噪能力更强。
  • vs Mem0 / SimpleMem (Chhikara et al., 2025; Liu et al., 2026a): 通用记忆库方法缺乏强化学习决策语境下的显式效用感知与内生奖励机制,D2Skill 证明了将外部非参数化记忆深度嵌入 RL 策略优势函数中的显著优越性。

评分

  • 新颖性: ⭐⭐⭐⭐⭐(在 Agentic RL 中创新性提出双粒度技能解耦与同策略配对后验效用标定,构思精巧)
  • 实验充分度: ⭐⭐⭐⭐⭐(覆盖三大典型决策基准、两个核心开源模型、自反馈控制组、分布外泛化及严苛噪声压力测试)
  • 写作质量: ⭐⭐⭐⭐⭐(数学推导严整自洽,动机脉络层层递进,系统图解直观明晰)
  • 价值: ⭐⭐⭐⭐⭐(为大模型具身与交互式智能体的长程探索、经验复用与记忆管理提供了兼具理论洞察与落地可行性的标杆范式)