SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning

会议: NeurIPS 2026
arXiv: 2602.08234
OpenReview: https://openreview.net/forum?id=1BZdDrOyJH
代码: https://github.com/aiming-lab/SkillRL
领域: 强化学习
关键词: LLM Agent, 强化学习, 技能提炼, 递归进化, GRPO

一句话总结

SkillRL 提出了一种技能增强强化学习框架，将智能体交互轨迹差异化提炼为分层技能库，并在 GRPO 强化学习过程中根据验证集失败模式实现技能与策略的递归共进化，在 ALFWorld 和 WebShop 等复杂任务上大幅超越现有记忆与强化学习基线。

研究背景与动机

大语言模型智能体在网页导航、具身交互与深度检索等复杂长程决策任务中展现出令人瞩目的潜力，但主流系统的执行机制在本质上仍是单次偶发（episodic）的孤立运作。现存智能体往往无法从过去的成功尝试或失败挫折中汲取持久经验，每当面对新任务时，不得不从空白上下文重新探索，导致计算效率低下且容易在相似障碍前反复受挫。

为了解决经验跨任务迁移的难题，现有的记忆增强型方法通常直接将环境交互产生的完整原始轨迹存入外部向量数据库或记忆库中，并在遇到新任务时通过相似度检索作为上下文参考（如 Mem0、ExpeL、Reflexion 等）。然而，未经处理的环境交互轨迹不仅极度冗长，消耗大量的上下文窗口预算，而且充斥着无效探索、状态回溯与试错噪声；即使部分工作尝试在线压缩记忆库或更新外部参数（如 MemRL、EvolveR），也仅局限于对历史动作的浅层模仿或粗粒度剪枝，未能从根本上抽象出高层级、可复用的认知模式，难以指导智能体内部策略的实质演进。

人类专家在长期实践中从来不会死记硬背具体场景下的每一步机械动作，而是沉淀出一套高度紧凑、模块化且能够在不同子任务间灵活迁移的“技能”（skills）。受到这一认知规律的启发，本文的核心思考在于：实现高阶经验迁移的关键在于高度抽象而非原始记忆，智能体的学习系统不仅需要能够从成功与失败的双向经验中提炼技能原语，更需要让技能库随着强化学习中策略能力的增强动态迭代升级。核心 idea：将多源交互轨迹经由正反例差异化提炼为紧凑的分层技能库（通用战略原则 + 任务专有启发式），并在 GRPO 强化学习循环中根据验证集失败模式触发递归进化，使外部技能资产与内部决策策略共同演进。

方法详解

整体框架

SkillRL 的完整闭环流程由三个相互协同的核心阶段构成：经验技能提炼、分层技能库（SkillBank）构建与检索、以及策略-技能递归协同进化强化学习。首先，系统部署基础智能体在交互环境中收集多样化轨迹，并由能力强大的教师模型进行正负样本差异化提炼；其次，将提炼出的知识结构化为包含通用全局策略与任务专有规则的双层技能库，支持推理时的自适应检索；最后，经由冷启动监督微调赋予智能体技能理解力后，在组相对策略优化（GRPO）强化学习框架下，依据周期性验证集失败诊断动态扩充和修正技能库，形成“策略变强 \(\rightarrow\) 暴露出深层瓶颈 \(\rightarrow\) 补充新技能 \(\rightarrow\) 引导策略进一步突破”的正向循环。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境交互轨迹采集<br/>成功轨迹与失败轨迹"] --> B["正反经验差异化提炼<br/>提取关键决策点与反事实教训"]
    B --> C["分层技能库构建<br/>通用技能池与任务专属技能池"]
    C --> D["冷启动监督微调<br/>注入技能检索与CoT执行范式"]
    D --> E["GRPO 强化学习策略优化<br/>多轨迹组间归一化优势计算"]
    E -->|验证集表现Acc < δ| F["失败模式诊断与递归进化<br/>分层采样失败轨迹生成新技能"]
    F -->|动态扩充与修正| C
    E -->|训练收敛| G["最终演进智能体策略与精炼技能库"]

关键设计

1. 正反经验差异化提炼：将冗长试错转化为高信息密度反事实原则
以往的经验学习机制要么粗暴地丢弃失败轨迹只保留成功样本，要么不加甄别地全量塞入记忆库导致严重的上下文噪声污染。SkillRL 认识到失败轨迹蕴含着成功样本所无法体现的操作边界与逻辑陷阱，因而显式保留成功集合 \(\mathcal{T}^+ = \{\tau_i : r(\tau_i)=1\}\) 与失败集合 \(\mathcal{T}^- = \{\tau_i : r(\tau_i)=0\}\) 并采用差异化提炼策略。对于成功轨迹 \(\tau^+\)，教师模型 \(\mathcal{M}_T\) 识别关键转折决策、正确动作背后的因果逻辑以及跨实例泛化模式，形成正向执行模式 \(s^+ = \mathcal{M}_T(\tau^+, d)\)；对于失败轨迹 \(\tau^-\)，则深度剖析四个维度：故障发生步骤、错误的推理或操作、当时本应采取的合理分支、以及防止类似重蹈覆辙的全局避坑原则，提炼为紧凑反事实经验 \(s^- = \mathcal{M}_T(\tau^-, d)\)。每个技能均被统一标准化为结构化表征：简明名称、指导准则以及触发适用条件（when_to_apply），将原始交互序列实现了 10 到 20 倍的 token 压缩比，兼顾高语义纯度与极低上下文开销。

2. 分层技能库组织与自适应语义检索：兼顾宏观规划引导与微观领域启发
针对多步复杂任务中不同抽象粒度的指导需求，SkillRL 将提炼出的 SkillBank 划分为双层拓扑：底层为通用技能 \(\mathcal{S}_g\)，表征整个环境中通用的宏观战略原则（如系统性空间遍历顺序、动作执行前的显式前置条件校验、目标进度追踪与终止验证机制等）；顶层为任务专有技能 \(\mathcal{S}_k\)，刻画特定任务子类别所特有的细粒度动作时序、领域约束与经典陷阱。在决策推理时，通用技能 \(\mathcal{S}_g\) 无条件注入上下文以充当基础世界常识，而任务专有技能则基于当前任务描述 \(d\) 与技能描述的文本嵌入向量，计算余弦相似度并按阈值 \(\delta\) 过滤出 Top-\(K\) 技能组合 \(\mathcal{S}_{\text{ret}}\)：

\[\mathcal{S}_{\text{ret}} = \text{TopK} \left( \{s \in \mathcal{S}_k : \text{sim}(e_d, e_s) > \delta\}, K \right)\]

智能体策略据此在前置技能指导下展开决策：\(a_t \sim \pi_\theta(a_t | o_{\le t}, d, \mathcal{S}_g, \mathcal{S}_{\text{ret}})\)，有效避免了单一平铺技能库在规模扩展时引发的语义干扰与检索发散。

3. 冷启动微调与策略-技能递归协同进化：打破静态知识局限驱动能力持续爬坡
未经训练的基座模型通常缺乏解析并遵循外部抽象技能的内在对齐能力，直接在提示词中追加技能往往导致模型无视规则或出现幻觉。为此，SkillRL 首先实施冷启动监督微调（Cold-Start SFT），由教师模型生成包含技能检索、思维链分析（<think> 标签内完成情境研判与技能匹配）与环境操作（<action> 标签）的高质量范式轨迹 \(\mathcal{D}_{\text{SFT}}\)，微调基座模型得到初始策略 \(\pi_{\theta_{\text{sft}}}\)，并将其冻结为后续强化学习的 KL 散度约束锚点 \(\pi_{\text{ref}}\)。

更关键的是，静态技能库无法预知强化学习探索过程中产生的新状态空间分布。SkillRL 设计了递归进化机制：在 RL 训练期间，周期性监控每个任务类别 \(C\) 在验证集上的成功率 \(\text{Acc}(C)\)。一旦某类别表现滞后（\(\text{Acc}(C) < \delta\)），系统通过分层分流采样策略收集代表性失败轨迹 \(\mathcal{T}_{\text{val}}^-\)（综合考虑负奖励严重度与类别熵），调度教师模型对失败成因进行根因溯源：

\[\mathcal{S}_{\text{new}} = \mathcal{M}_T(\mathcal{T}_{\text{val}}^-, \textsc{SkillBank})\]

教师模型不仅生成填补未覆盖缺陷的新技能，更负责诊断并重构失效的原有技能，将更新后的技能资产合并入库：\(\textsc{SkillBank} \leftarrow \textsc{SkillBank} \cup \mathcal{S}_{\text{new}}\)。这种外部知识库与内部权重策略的协同进化机制，使得智能体在不断突破局部最优解的同时持续拓宽有效策略边界。

损失函数 / 训练策略

在策略优化阶段，SkillRL 采用组相对策略优化（GRPO）算法，在无需额外训练价值 Critic 网络的前提下，通过组内样本相对评估实现低方差的优势估计。

1. 冷启动 SFT 损失：基于教师模型示范轨迹，对动作序列进行标准因果交叉熵优化： $\(\mathcal{L}_{\text{CE}}(\mathcal{D}_{\text{SFT}}; \theta) = -\sum_{(d, \mathcal{S}, \tau^*) \in \mathcal{D}_{\text{SFT}}} \sum_{t} \log \pi_\theta(a_t^* | o_{\le t}, d, \mathcal{S})\)$

2. GRPO 强化学习目标：对于每个任务描述 \(d\)，在检索得到技能集合后，当前策略采样 \(G\) 条完整执行轨迹 \(\{\tau^{(1)}, \dots, \tau^{(G)}\}\)。基于二元环境完成奖励 \(R_i = r(\tau^{(i)}) \in \{0, 1\}\)，计算组内标准化优势值： $\(A_i = \frac{R_i - \text{mean}(\{R_j\}_{j=1}^G)}{\text{std}(\{R_j\}_{j=1}^G)}\)$

结合重要性权重比率 \(\rho_i = \frac{\pi_\theta(\tau^{(i)} | d, \mathcal{S}_g, \mathcal{S}_{\text{ret}})}{\pi_{\text{old}}(\tau^{(i)} | d, \mathcal{S}_g, \mathcal{S}_{\text{ret}})}\)，策略优化目标函数包含 PPO 风格的截断项与以冷启动模型 \(\pi_{\text{ref}}\) 为基准的 KL 正则化惩罚： $\(\mathcal{J}_{\text{GRPO}}(\theta) = \mathbb{E}_{d, \{\tau^{(i)}\}} \left[ \frac{1}{G} \sum_{i=1}^G \min \left( \rho_i A_i, \text{clip}(\rho_i, 1-\epsilon, 1+\epsilon) A_i \right) - \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}}) \right]\)$

1. 关键训练参数：以 Qwen2.5-7B-Instruct 为基座模型，OpenAI o3 为提炼教师模型。SFT 学习率 \(1 \times 10^{-4}\)（3 epochs，ALFWorld 样本 7,500 条、WebShop 样本 2,400 条）；RL 学习率 \(1 \times 10^{-6}\)，Batch Size 为 64（单步 16 搭配 4 步梯度累积），组大小 \(G=8\)，KL 散度系数 \(\beta=0.01\)，无效动作惩罚系数 0.1，共训练 150 轮。

实验关键数据

主实验

评估涵盖 ALFWorld 具身家庭环境（6 项代表性子任务）、WebShop 拟真电商交互平台，以及 7 个搜索增强型多跳问答基准数据集。基线全面覆盖闭源前沿模型、Prompt/记忆增强型智能体框架、纯强化学习优化算法，以及记忆增强型 RL 框架。

表 1：ALFWorld 与 WebShop 主实验性能对比（ALFWorld 汇报各子任务及总成功率 %，WebShop 汇报平均得分与购买成功率 %）

方法类别	方法 / 模型	ALFWorld-Pick	ALFWorld-Look	ALFWorld-Clean	ALFWorld-Heat	ALFWorld-Cool	ALFWorld-Pick2	ALFWorld-All	WebShop-Score	WebShop-Succ.
闭源前沿模型	GPT-4o	75.3	60.8	31.2	56.7	21.6	49.8	48.0	31.8	23.7
	Gemini-2.5-Pro	92.8	63.3	62.1	69.0	26.6	58.7	60.3	42.5	35.9
开源基座	Qwen2.5-7B-Instruct	33.4	21.6	19.3	6.9	2.8	3.2	14.8	26.4	7.8
Prompt / 记忆智能体	ReAct	48.5	35.4	34.3	13.2	18.2	17.6	31.2	46.2	19.5
	Reflexion	62.0	41.6	44.9	30.9	36.3	23.8	42.7	58.1	28.8
	Mem0	54.0	55.0	26.9	36.4	20.8	7.7	33.6	23.9	2.0
	ExpeL	21.0	67.0	55.0	52.0	71.0	6.0	46.3	30.9	11.2
	MemP	54.3	38.5	48.1	56.2	32.0	16.7	41.4	25.3	6.4
	SimpleMem	64.5	33.3	20.0	12.5	33.3	3.8	29.7	33.2	8.6
标准 RL 方法	RLOO	87.6	78.2	87.3	81.3	71.9	48.9	75.5	80.3	65.7
	GRPO	90.8	66.1	89.3	74.7	72.5	64.7	77.6	79.3	66.1
记忆增强 RL	MemRL	62.8	38.5	22.2	12.5	8.0	0.0	21.4	29.5	9.2
	EvolveR	64.9	33.3	46.4	13.3	33.3	33.3	43.8	42.5	17.6
	Mem0 + GRPO	78.1	54.8	56.1	31.0	65.0	26.9	54.7	58.1	37.5
	SimpleMem + GRPO	89.5	36.3	60.0	50.0	64.9	26.3	62.5	67.8	46.9
本文方法	SkillRL (Ours)	97.9	71.4	90.0	90.0	95.5	87.5	89.9	85.2	72.7

表 2：搜索增强型问答任务性能对比（模型基于 NQ 和 HotpotQA 训练；† 与 ⋆ 分别表示域内与域外测试集）

方法	单跳 QA: NQ†	单跳 QA: TriviaQA⋆	单跳 QA: PopQA⋆	多跳 QA: HotpotQA†	多跳 QA: 2Wiki⋆	多跳 QA: MuSiQue⋆	多跳 QA: Bamboogle⋆	综合平均分 (Avg.)
Qwen2.5 (Zero-shot)	11.6	35.6	1.2	16.4	22.2	4.8	14.4	15.2
CoT	12.8	35.6	3.8	16.2	22.6	6.6	24.0	17.4
RAG	27.4	58.2	17.8	25.8	23.2	9.4	16.8	25.5
Search-R1	39.3	61.0	39.7	37.0	40.1	14.6	36.8	38.5
ZeroSearch	43.6	61.8	51.5	34.6	35.2	18.4	27.8	39.1
EvolveR	43.5	63.4	44.6	38.2	42.0	15.6	54.4	43.1
SkillRL (Ours)	45.9	63.3	45.9	43.2	40.3	20.2	73.8	47.1

消融实验

针对技能结构、原始记忆对比以及训练流程组件开展全方位消融分析，各模块贡献如下表所示：

表 3：各核心模块消融实验结果（汇报在 ALFWorld 与 WebShop 上的平均成功率 %）

实验配置类别	变体配置 (Config)	ALFWorld 成功率 (%)	WebShop 成功率 (%)	说明 (Note)
完整方案	SkillRL (Full Model)	89.9	72.7	完整模型：分层技能库 + 冷启动 SFT + 递归进化 RL
技能库架构消融	w/o Hierarchical (去分层)	76.8	61.4	仅保留任务专有技能，通用宏观指引缺失，下降 13.1% / 11.3%
	w/o Skill Lib. (替换为原始轨迹)	61.7	50.2	降幅最大（跌幅超 22-28%），证明高阶抽象远优于冗长原始经验堆砌
训练管线消融	w/o SFT (去冷启动微调)	65.2	46.5	缺失技能检索/遵循示范，基座模型无法有效利用技能库（跌幅超 24%）
	w/o Dynamic (去递归进化)	84.4	70.3	技能库保持静态不更新，无法覆盖深层探索暴露的边界缺陷（下降 5.5% / 2.4%）

关键发现

• 技能抽象超越单纯记忆堆砌：消融实验中，将抽象技能替换为原始交互轨迹（w/o Skill Lib.）导致 ALFWorld 暴跌 28.2%，且即便在 Mem0+GRPO 混合框架下，性能依然落后 SkillRL 达 35.2%。这验证了原始轨迹包含的冗余噪声对模型推理具有强烈的负面干扰，紧凑的高层级抽象才是高效率经验迁移的决定因素。
• 高难度复合任务收益显著：在 ALFWorld 中，长程规划与严格状态依赖任务（如 Cool 冷冻、Pick2 拾取双物体）的增益最为突出，SkillRL 相比原生 GRPO 分别提升了 23.0% 与 22.8%。这表明分层技能库注入的“拾取第二个物体前务必确认第一个已稳固放置”等专有逻辑，有效解决了稀疏奖励环境下长链条逻辑容易崩塌的痛点。
• 极佳的上下文瘦身与收敛加速：相比基于原始记忆检索的方案（平均提示词长度约 1,450 tokens），SkillRL 将平均提示词长度压低至 1,300 tokens 以内（节省约 10.3% 显存与计算开销）。在收敛效率上，递归进化机制使得智能体仅需 60 步即可突破 80% 成功率大关，而无进化基线耗费 90 步仅能达到更低的性能天花板。
• 跨域复杂推理泛化突出：在仅基于 NQ 和 HotpotQA 训练的前提下，SkillRL 在完全未见过的多跳复杂问答 Bamboogle 上取得了 73.8% 的高分（超越强基线 EvolveR 达 19.4%），证明提炼得到的检索拆解与反事实验证启发具备优异的领域无关泛化能力。

亮点与洞察

• 正反经验的双轨反事实提炼：不同于常规智能体仅采集正例轨迹，SkillRL 创造性地从失败轨迹中提炼出“故障点-归因-纠错-预防”四位一体的紧凑防御性技能，以极低 token 代价为智能体构建了严密的试错防火墙。
• 技能资产与策略权重的双向共进化闭环：传统强化学习通常预设上下文固化，而 SkillRL 让外部符号化的 SkillBank 随着参数化神经网络策略的探索边界共同进化，通过验证集失误自适应填补知识盲区，兼具符号系统的可解释性与连接主义的适应性。
• 小模型逆袭庞大闭源商业模型：基于开源 7B 参数规模的 Qwen2.5 经由 SkillRL 训练后，在具身控制任务中全面碾压 GPT-4o（89.9% vs. 48.0%）和 Gemini-2.5-Pro（89.9% vs. 60.3%），揭示了专业技能沉淀与精准强化对齐能够有效弥补参数量规模差距。

局限与展望

• 对高级教师模型的冷启动依赖：初期的技能提炼与 SFT 示范轨迹生成高度依赖 OpenAI o3 等高昂闭源商业大模型的推理质量，在完全离线或受限本地算力环境中的自主提炼能力有待进一步验证。
• 大规模技能检索的潜在冲突风险：随着环境开放度的指数级增长，SkillBank 库容持续膨胀（实验中从 55 条扩展至 100 条）。若技能数量达到成千上万级别，基于简单稠密向量相似度检索可能引发技能间相互冲突或过度触发，需探索具备层级剪枝和淘汰淘汰机制的技能生命周期管理。
• 向连续动作与工业级代码工程迁移：当前测试场景主要集中于离散动作空间（ALFWorld、WebShop、文本检索），未来有必要进一步将该机制拓展至真实物理具身机器人控制与大型长程软件仓库工程（Software Engineering Agents）等更为严苛的连续/复杂场景中。

相关工作与启发

• vs Reflexion / Mem0 / ExpeL: 传统记忆增强型智能体直接储存自然语言反思日记或原始交互轨迹，推理时受限于冗余噪声且未改变底层模型参数权重。SkillRL 采用标准化技能原语实现 10-20 倍极致压缩，并通过强化学习将技能使用内化为策略本能。
• vs EvolveR / MemRL: MemRL 仅通过强化学习更新外部记忆索引而冻结主干策略，EvolveR 虽联合更新但依然存储粗粒度轨迹。SkillRL 构建了“分层技能提炼 \(\rightarrow\) 冷启动对齐 \(\rightarrow\) GRPO策略优化 \(\rightarrow\) 失败驱动反事实扩张”的完整双向共进化闭环，大幅刷新了 SOTA 上限。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 巧妙提出正负经验差异化提炼机制与外部技能库-内部策略强化学习递归共进化体系，构思完整新颖。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖具身交互、真实电商、7 大多跳问答检索基准，包含详实的模块消融、上下文开销对比与动态演进曲线分析。
• 写作质量: ⭐⭐⭐⭐⭐ 框架设计逻辑链条严密，问题定义明确，图表清晰且具备极强的可读性。
• 价值: ⭐⭐⭐⭐⭐ 为自主自演进智能体提供了一条兼具参数内化与外部符号记忆互补的可扩展可行路径，启发性极强。

相关论文

• [NeurIPS 2026] Q-MMR: Off-Policy Evaluation via Recursive Reweighting and Moment Matching
• [ICLR 2026] Self-Improving Skill Learning for Robust Skill-based Meta-Reinforcement Learning
• [NeurIPS 2026] Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty
• [NeurIPS 2026] Auction-Based Online Policy Adaptation for Evolving Objectives
• [NeurIPS 2026] DARLING: Detection Augmented Reinforcement Learning with Non-Stationary Guarantees