SkillForge: Co-Evolving Skills and Agents via Dynamic Skill Lifecycles¶
会议: NeurIPS 2026
arXiv: 2610.09832
OpenReview: https://openreview.net/forum?id=Z3a0qCfhFi
代码: https://github.com/YuyaoGe/SkillForge
领域: LLM Agent
关键词: 大语言模型智能体, 技能生命周期, 强化学习, 协同演化, 技能淘汰
一句话总结¶
提出基于适应度的动态技能生命周期管理框架 SkillForge，通过在强化学习训练循环中协同执行技能淘汰、稳定化与大模型引导的突变优化，彻底解决技能库只增不减导致的“延迟过时”问题并显著提升智能体泛化性能。
研究背景与动机¶
基于外部记忆增强的强化学习（Memory-Augmented RL）是提升大语言模型智能体（LLM Agent）在长程交互环境中决策与推理能力的关键范式。以技能（Skill）形式组织的程序化记忆，通过将行为指导原则与任务触发条件绑定，能够在推理时按需检索注入上下文，为智能体提供先验行为偏好。然而，现有技能增强型智能体强化学习方法（如 SkillRL 等）普遍将技能库视为只增不减（append-only）的静态集合。随着策略模型在强化学习交互过程中的不断进化与能力边界推移，盲目累积的技能库不仅造成提示词检索上下文膨胀，更会导致曾经有效的先验模式逐渐沦为误导智能体探索的阻碍。
这种退化的核心矛盾在于技能效用的非平稳性与延迟过时（delayed obsolescence）：很多在智能体训练初期表现优异甚至达到高置信稳定状态的技能，随着策略本身能力的成熟，因其过于僵化的执行时序或过于狭隘的假设，反而压制了策略发现更优路径的自由度，导致其适应度断崖式下跌。如果缺乏动态淘汰与自适应演化机制，被动保留的低质或过时技能将持续注入检索上下文，诱发大量幻觉动作与试错开销。
本文的切入角度是打破被动累积范式，将技能库管理重构为一个主动锻造的协同演化生命周期。核心 idea：将技能抽象为在策略交互中动态流转的演化种群，通过试用、活跃、稳定与淘汰四状态生命周期模型，结合基于环境真实奖励的适应度追踪、两阶段门控淘汰以及大模型引导的故障导向突变，实现技能库与策略模型的双向协同演化。
方法详解¶
整体框架¶
SkillForge 将技能生命周期与基于组相对策略优化（GRPO）的智能体强化学习紧密耦合，整体流程由三个阶段构成：首先是在冷启动前利用基础模型交互轨迹对初始种子技能进行预淘汰评估，剔除低效先验并构建清洗后的监督微调（SFT）数据集；随后以清洗后的技能与策略热身启动强化学习训练；最后在在线 RL 迭代中以固定周期触发锻造循环（Forging Cycle），依据交互成功率持续推进技能的状态转移与变异重构。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["初始种子技能库 S0 + 基础模型"] --> B["阶段1：预淘汰评估与冷启动微调<br/>过滤低适应度种子并构建 SFT 数据集"]
B --> C["阶段2：技能增强在线交互采样<br/>检索 top-K 技能拼接上下文并执行 GRPO 采样"]
C --> D["阶段3：情节级经验收益追踪与适应度更新<br/>累计检索频次 Ui 与任务成功频次 Ci"]
D --> E["阶段4：四状态生命周期门控流转<br/>试用晋升、稳定降级与代际感知延迟淘汰"]
E --> F["阶段5：大模型引导的故障导向突变<br/>采样中间适应度技能结合失败轨迹生成子代"]
F -->|受控容量 Smax 截断| C关键设计¶
1. 预淘汰评估与冷启动微调（SkillFurnace Initialization）：根除劣质先验对策略热身的毒化
传统方法直接使用未经检验的种子技能库生成 SFT 轨迹，这会导致模型在冷启动阶段就拟合了具有误导性的行为模式。SkillForge 在进入 RL 之前，首先让未微调的基础模型 \(\pi_{\theta_0}\) 执行 \(M\) 轮环境交互采样。针对每个种子技能统计其被检索次数 \(U_i^{(0)}\) 与成功次数 \(C_i^{(0)}\)，计算出原型适应度 \(\hat{f}_i = C_i^{(0)} / U_i^{(0)}\)。当使用次数达到最低阈值 \(N_{\text{min}}\) 且原型适应度低于保守淘汰阈值 \(\delta_{\text{pre}}\) 时，该技能直接进入预淘汰集合 \(\mathcal{S}_{\text{retire}}^{(0)}\)。随后，构建 SFT 数据集时严格剔除所有检索命中预淘汰技能的轨迹，仅保留依靠高适应度技能获胜的成功经验用于监督微调。这不仅防止了劣质规则污染策略参考点 \(\pi_{\text{ref}}\)，也为后续的强化学习提供了纯净的初始技能库 \(\mathcal{S}^{(0)}\)。
2. 考虑代际保护的双门控四状态生命周期：兼顾探索包容性与过时淘汰敏锐度
为了克服经验累积过程中的延迟过时问题，SkillForge 定义了四种互斥的技能生命周期状态：试用（trial）、活跃（active）、稳定（stable）与淘汰（retired）。新突变生成的技能首先进入 trial 状态，必须累积满 \(N_{\text{promote}}\) 次使用才能晋升为 active；当 active 技能适应度超过稳定阈值 \(\delta_{\text{stable}}\) 且使用次数达到 \(N_{\text{stable}}\) 时晋升为 stable。针对稳定技能效用下滑的情况，框架引入了迟滞阈值 \(\delta_{\text{demote}}\)（满足 \(\delta_{\text{retire}} < \delta_{\text{demote}} < \delta_{\text{stable}}\)）：退化的稳定技能不能直接被清除，必须先降级回 active 状态，从而避免因少数难样本引起的偶然性能抖动。
在淘汰端，只有处于 active 状态且使用量达到门槛 \(N_{\text{retire}}^{(g_i)}\) 的技能才允许被淘汰。为了保护人类或强模型蒸馏而来的零代种子技能（\(g_i=0\)），系统引入了代际感知保护机制：
其中 \(N_{\text{protect}} > N_{\text{retire}}\)。这一双重门控与保护机制既防止了新生成技能因探索不充分被草率淘汰，又确保了策略成熟后暴露缺陷的过时老技能能够被精准剔除。
3. 大模型引导的故障导向突变（LLM-Guided Mutation）：定向修复瓶颈技能
单纯淘汰低效技能容易导致技能库的覆盖面持续萎缩。SkillForge 设计了针对中等适应度区间 \([\delta_{\text{low}}, \delta_{\text{high}}]\) 内活跃技能的重构算子。通过反适应度加权采样概率 \(P(s_i) \propto 1 - f_i\)，优先挑选存在明显改进空间但尚未彻底失效的候选父代技能。变异过程提取该技能关联的近期失败轨迹 \(\mathcal{T}_{\text{fail}}\)、当前适应度指标与技能原有行为准则，组装为结构化提示输入冻结的外部导师大模型 \(\mathcal{M}_T\)（如 Kimi-K2.5）。导师模型分析失败轨迹中的阻塞原因（如多步死循环、遗漏验证步骤或不存在的操作），针对性重写生成子代技能 \(s_{\text{child}}\)。子代技能以 trial 状态、代际 \(g_{\text{child}} = g_{\text{parent}} + 1\) 注入技能库，并赋予中性先验适应度 \(f_{\text{default}}=0.5\) 重新参与环境竞争。
损失函数 / 训练策略¶
在策略优化阶段，采用结合技能上下文提示的组相对策略优化（GRPO）。在每个训练步 \(k\)，输入上下文 \(p_t\) 动态包含任务描述 \(d\)、当前技能库 \(\mathcal{S}^{(k)}\) 检索出的 top-\(K\) 技能 \(\phi(d, \mathcal{S}^{(k)})\)、近期交互历史滑窗 \(h_t\)（固定窗口大小 \(W=5\)）以及当前观测 \(o_t\)。针对采样的每组 \(G\) 条轨迹，根据最终任务成功与否计算组归一化优势值 \(\hat{A}_n = (r_n - \mu_G) / \sigma_G\)，最大化裁剪后的替代目标并施加相对参考策略 \(\pi_{\text{ref}}\)（即冷启动微调模型 \(\pi_{\theta_{\text{sft}}}\)）的 KL 散度约束：
式中 \(\rho_{n,l}\) 为动作 token 级别的概率重要性权重。锻造循环每隔固定验证步数异步运行一次，与策略网络参数反向传播解耦，维持了高效的流式并行训练。
实验关键数据¶
主实验¶
实验在具身控制（ALFWorld）、网页导航（WebShop）与检索增强问答（Search-Augmented QA，涵盖 7 个子数据集）三大主流交互基准上展开，基模型统一采用 Qwen2.5-7B-Instruct。
| 数据集 / 基准 | 核心指标 | 本文 (SkillForge) | 最强对比基线 (SkillRL) | 相对提升 | 闭源参考 (GPT-4o) |
|---|---|---|---|---|---|
| ALFWorld | 成功率 (%) | 92.4 | 89.9 | +2.8% (+2.5% abs) | 48.0 |
| WebShop | 任务成功率 (%) | 78.4 | 72.7 | +7.8% (+5.7% abs) | 23.7 |
| WebShop | 局部奖励得分 | 87.8 | 85.2 | +3.1% (+2.6% abs) | 31.8 |
| Search-Augmented QA | 综合微平均准确率 (%) | 48.7 | 46.8 | +4.1% (+1.9% abs) | - |
在各子任务维度上，ALFWorld 的 Look 任务获得最大相对提升（从 71.4% 攀升至 86.6%，相对增益达 +21.3%）；在 Search-Augmented QA 的 7 个子数据集（包括 NQ、HotpotQA 以及多跳推理解答 Bamboogle 等）上，SkillForge 在全部任务中均取得第一或第二的最优精度，且在多跳问答 Bamboogle 上相对第二名实现了 +3.4% 的绝对精度突破。
消融实验¶
消融实验系统评估了 SkillForge 各核心模块的贡献以及技能库最终活跃规模对智能体表现的影响：
| 配置 | ALFWorld 库容 / 成功率 (%) | WebShop 库容 / 成功率 (%) | Search-QA 库容 / 准确率 (%) | 说明 |
|---|---|---|---|---|
| Full model (SkillForge) | 100 / 92.4 | 95 / 78.4 | 85 / 48.7 | 完整模型（动态演化维持紧凑容量） |
| w/o forging (移除整个生命周期) | 44 / 89.8 (▼2.6) | 66 / 72.6 (▼5.8) | 41 / 46.3 (▼2.4) | 仅保留静态种子技能库 |
| w/o pre-retirement (无预淘汰过滤) | 100 / 90.7 (▼1.7) | 95 / 74.9 (▼3.5) | 85 / 47.5 (▼1.2) | 基础模型阶段不过滤低效种子技能 |
| w/o retirement (无运行时淘汰与容量上限) | 132 / 91.4 (▼1.0) | 121 / 75.9 (▼2.5) | 111 / 47.9 (▼0.8) | 库容无约束累积膨胀，保留全部变异技能 |
| w/o mutation (无大模型变异优化) | 44 / 91.8 (▼0.6) | 66 / 76.8 (▼1.6) | 41 / 48.2 (▼0.5) | 仅做淘汰与稳定化，不引入导师重写 |
关键发现¶
- 预淘汰机制是单模块收益最大的模块：在所有单模块消融中，去除预淘汰（w/o pre-retirement）带来的性能跌幅最为显著（WebShop 下降 3.5% 绝对值）。这表明冷启动阶段劣质先验对策略微调的伤害具有持久性，从源头切断低质轨迹能够显著抬高策略强化的起点。
- 技能库规模不是越大越好，质量控制主导胜率：在 w/o retirement 配置下，ALFWorld 技能库堆积到了 132 个，但由于包含大量退化与低信度技能，性能反而比仅保留 100 个紧凑技能的完整模型低 1.0%；WebShop 上无淘汰膨胀到 121 个技能时的成功率（75.9%）同样显著落后于受限 95 个技能的完整模型（78.4%），充分证实盲目累积会污染检索上下文。
- 延迟过时的普遍性实证：作者开源的 SkillFurnace 数据集显示，被淘汰的技能在早期生命周期中平均峰值适应度高达 0.667（接近稳定阈值 0.70），并在被淘汰时发生平均 0.278 的断崖下跌；多达 57.2% 的被淘汰技能在策略演进前曾经达到过稳定状态，证实了“策略进步反衬出旧技能僵化缺陷”的客观存在。
亮点与洞察¶
- 将只增不减的记忆机制重构为动态自然选择系统：通过引入生命周期状态机与基于奖励信号的适应度评价，使外部技能成为与策略同步演化的共生体，避免了经验记忆越积越乱的灾难。
- 迟滞门控与代际保护设计精巧且可复用：针对稳定技能引入降级缓冲区（\(\delta_{\text{demote}}\)），避免因单批次困难任务导致策略优质经验被误杀；对人类/强模型蒸馏的零代技能设置更高的淘汰频次门槛，平衡了启发式先验的稳定性与演化新特性的可塑性。
- 基于真实失败轨迹的变异具有高度工程指导价值：变异并非盲目的文本改写，而是将失败情节作为上下文直接呈现给导师模型，促使其修复诸如“缺少验证步骤”或“假设了不存在的 UI 按钮”等具体程序性硬编码。
局限与展望¶
- 情节级信用分配存在粒度粗糙度：当前方案中一次交互中被检索命中的 top-\(K\) 个技能全部共享最终的情节成功奖励；尽管消融实验表明该近似与精准逐技能剔除归因在 93% 的淘汰决策上保持一致，但在多技能深度耦合场景下可能带来归因延迟。
- 导师突变算子依赖外部强模型：当前变异依靠 Kimi-K2.5 或同级别商业模型，若采用训练策略自身进行自变异（self-mutation），性能收益将出现明显衰减，表明有效突变仍依赖高阶抽象泛化能力。
- 未来方向：可进一步探索动态适应度衰减模型、细粒度步骤级注意力技能贡献归因，以及将该生命周期扩展到工具检索库（Tool Catalog）与通用检索知识库的动态剪枝中。
相关工作与启发¶
- vs SkillRL：SkillRL 采用静态固化的技能库配合在线强化学习，新技能或初始技能一旦加入便终身驻留上下文，容易在策略成熟后产生延迟过时误导；SkillForge 引入动态四状态演化机制，通过在线淘汰与变异使技能库规模始终保持紧凑且高质量。
- vs Mem0 / SimpleMem / MemP：基于检索与规则的外部长短期记忆库通常只在推理阶段工作，缺少与环境强化学习梯度的双向动态同步；SkillForge 将记忆单元的增删改直接与策略训练轮次深度绑定。
- vs LLM-as-Optimizer / EvoPrompt：以往基于大模型的进化算法主要在静态黑盒目标（如提示词搜索）上执行离线优化；SkillForge 首次在交互式非平稳在线强化学习中实现了技能与策略模型的闭环协同演化。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性揭示并形式化了智能体技能记忆中的“延迟过时”难题，提出了完整的技能与策略协同演化生命周期机制。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖具身控制、网络交互与知识检索问答三大场景，实验对比详实，包含深入的消融实验、代际动态分析及数千条样本的数据集开源。
- 写作质量: ⭐⭐⭐⭐⭐ 概念形式化严谨，架构逻辑清晰流畅，理论动机与实证发现紧密契合。
- 价值: ⭐⭐⭐⭐⭐ 为自主大模型智能体在复杂动态环境中的持续自进化提供了极具启发性的工程方案与理论范本。