SkillOS: Learning Skill Curation for Self-Evolving Agents¶

会议: NeurIPS 2026
arXiv: 2605.06614
OpenReview: https://openreview.net/forum?id=ace71RDhko
代码: https://github.com/google-research/google-research
领域: LLM Agent
关键词: 具身智能体, 技能策展, 自我演进, 强化学习, GRPO

一句话总结¶

针对流式任务中智能体缺乏终身自演化机制的问题，SkillOS 将系统解耦为冻结的执行器与可训练的技能策展器，通过相关任务流分组与复合奖励设计，在 GRPO 下优化技能库的文件增删改操作，实现跨骨干模型与任务的高效自演进。

研究背景与动机¶

基于大语言模型的智能体在处理流式序列任务时，主流范式往往将每个任务视为一次性求解过程，在完成单次交互后即丢弃上下文，导致智能体不断重复从零开始的探索，无法像人类专家一样从成功或失败轨迹中持续沉淀可复用经验。过程性记忆（尤其是结构化的技能集合）是实现智能体自主进化的理想载体，但如何从杂乱的多轮轨迹中提炼高质量经验，并将其维护进动态技能库中，成为了制约智能体自我演进的核心瓶颈。

现有技能管理方法通常面临两难困境：依赖人工专家编写的技能库（如 Anthropic Skills）难以覆盖开放任务的长尾分布；而基于固定启发式规则或提示工程的方法（如 MemP、ReasoningBank）缺乏来自下游环境执行的真实反馈，无法自适应调整策展逻辑。更关键的是，近期尝试将强化学习引入技能系统的研究，往往局限于单步即时迁移或仅优化技能检索与使用，导致针对技能修改（Update）和淘汰删除（Delete）等长程、延迟反馈操作缺乏有效的监督信号。

这种失败的核心矛盾在于：技能策展决策的收益高度滞后且间接，某次经验提炼的好坏只能通过后续相关任务中执行器的成败来间接衡量。本文的核心 idea 是：将系统解耦为「冻结执行器」与「可学习策展器」，利用具有技能依赖性的相关任务流构建分组训练样本，通过 GRPO 强化学习直接将下游多步执行成功率、函数调用有效性、内容质量与空间压缩率映射为复合奖励，让策展器自主学会如同操作系统维护文件般动态管理 Markdown 技能库。

方法详解¶

整体框架¶

SkillOS 采用模块化多智能体架构应对流式任务序列 $\mathcal{D} = \{x_1, x_2, \dots, x_T\}$。系统由三个核心模块构成：外部技能仓库 SkillRepo、冻结的执行器（Agent Executor $\pi_{\mathcal{L}}$）以及可训练的技能策展器（Skill Curator $\pi_{\mathcal{S}}$）。在每个时间步，执行器检索相关技能并生成任务轨迹；任务结束后，策展器根据轨迹表现调用类操作系统的文件函数，自主对 SkillRepo 执行插入（Insert）、更新（Update）或删除（Delete）。整个训练过程由 GRPO 驱动，执行器保持冻结，使策展策略具备跨骨干模型即插即用的通用性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入任务序列流"] --> B["任务依赖分组与属性标注<br/>两阶段生成有技能继承性的任务组"]
    B --> C["执行器检索与任务执行<br/>冻结执行器依据 BM25 检索技能求解"]
    C --> D["策展器生成文件操作<br/>基于执行轨迹发出 Insert/Update/Delete"]
    D --> E["SkillRepo 状态更新<br/>维护由 YAML 与 Markdown 构成的技能库"]
    E -->|下步相关任务闭环验证| C
    E --> F["复合奖励反馈与 GRPO 优化<br/>多目标奖励驱动策展策略自我演进"]

关键设计¶

1. 技能依赖驱动的任务分组构建：将长期效用延迟反馈显式落到任务流中

技能策展面临的最大障碍是反馈信号的极度稀疏：如果连续出现的任务毫无关联，前一任务沉淀的技能将永远无法被后续任务验证。为了让策展决策能立即在真实下游环境中得到奖惩，SkillOS 提出两阶段任务分组流水线。第一阶段利用大模型为样本标注潜在属性元组 $Z_i = (T_i, S_i, C_i, R_i, P_i)$，覆盖主题、必备技能、底层概念、启发策略及易错陷阱。第二阶段通过计算软 Jaccard 相似度 $\text{SJ}_{\tau}$ 与嵌入语义匹配构建依赖门控，要求候选后继任务必须与前序任务共享核心概念与推理模式（$m_{\tau}(C_s, C_t) \ge \kappa_C$ 且 $m_{\tau}(R_s, R_t) + m_{\tau}(P_s, P_t) \ge 1$），同时保证引入至少一项新概念且难度递增（前向课程机制）。这使得同一任务组 $G = (x_1, \dots, x_{|G|})$ 内的实例天然具备递进的技能依赖关系，前序任务生成的技能可以直接在后续任务中接受严苛的效用检验。

2. 拟操作系统化的文件 I/O 策展交互：以 Markdown 格式沉淀可解释且可组合的技能

SkillOS 将技能库表示为文件系统中的一组标准化 Markdown 文件（遵从 Anthropic SKILL.md 规范）。每个技能由两部分组成：用于检索匹配的 YAML frontmatter（定义技能名称与使用触发场景）以及具体的正文指令（包含可操作工作流、边界约束和容错规则）。策展器 $\pi_{\mathcal{S}}$ 并不直接修改模型权重，而是通过标准化的结构化函数调用与文件系统交互：insert_skill 用于将新发现的成功策略固化为独立模块；update_skill 用于修正既有技能中的边界条件或补充失败恢复分支；delete_skill 则果断清理冗余或误导性条目。这种拟文件系统的设计将无限自由度的记忆管理收敛为离散可审计的系统操作，极大地降低了长上下文维护的崩塌风险。

3. 多目标复合归因奖励机制：精准解耦下游执行成败与策略质量

仅仅依赖最终任务的成败无法准确指导复杂的技能库编辑，极易导致策展器陷入盲目追加文本的死胡同。SkillOS 设计了四项解耦的复合奖励标量： $$r = r^{\text{task}} + \lambda_f r^{\text{fc}} + \lambda_u r^{\text{cnt}} + \lambda_c r^{\text{comp}}$$ 其中，任务产出奖励 $r^{\text{task}} = \frac{1}{|G|-1} \sum_{i=2}^{|G|} \mathbbm{1}(\xi_i)$ 从第二项任务开始统计平均成功率，排除了空技能库的首项干扰，直接锚定技能对后续任务的真实赋能效益；函数调用奖励 $r^{\text{fc}}$ 惩罚格式错误和无效操作，确保策略输出严格符合 API 规范；内容质量奖励 $r^{\text{cnt}}$ 引入大模型裁判对技能的可复用性与语义严谨性进行评分；压缩奖励 $r^{\text{comp}} = \frac{1}{|G|} \sum_{i=1}^{|G|} \left(1 - \frac{|\mathcal{S}_i|}{|\chi_i|}\right)$ 则通过惩罚技能库相对于输入轨迹长度的膨胀，有力抑制策展器机械复制原始对话轨迹的懒惰倾向，倒逼其进行高阶概念抽象。

一个完整示例¶

在 ALFWorld 具身任务「将书桌灯下的光盘拿起来」中，初始状态下 SkillRepo 为空。冻结的执行器由于缺乏位置常识，盲目翻找了抽屉与橱柜，导致步数耗尽而失败。策展器 $\pi_{\mathcal{S}}$ 介入后，首先分析失败轨迹与环境反馈，调用 insert_skill 写入技能 lamp_under_search.md，其 YAML 声明「适用于目标物处于台灯下方但直接视野受阻的指令」，并在正文中规约「先移动至台灯周围表面定位目标物，再执行拾取」。在随后的相关任务（如「检查书桌灯下的手表」）中，执行器通过 BM25 精准命中该技能，跳过对无关容器的穷举探索，直奔目标区域在 4 步内达成目标。策展器进而调用 update_skill 将该技能补充为更广泛的「照明设备关联搜索与操作规约」，完成从具象错误修正到抽象元控制策略的自演进迭代。

损失函数 / 训练策略¶

训练采用 Grouped Reward Policy Optimization (GRPO)。对于每个采样的任务组 $G$，由当前策展器策略 $\pi_{\mathcal{S}}$ 独立采样生成 $N$ 条不同的策展操作轨迹。在每条轨迹内，执行器在当前演化的技能库历史 $\mathcal{S}_i$ 下展开交互。通过对比各条轨迹的复合回报计算相对优势值 $A^n = r^n - \frac{1}{N} \sum_{n'=1}^N r^{n'}$，并对策展器实施裁剪代理目标优化： $$\mathcal{L} = \mathbb{E}_n \left[ \min\left(\rho^n A^n, \text{clip}(\rho^n, 1-\epsilon, 1+\epsilon) A^n\right) \right]$$ 其中 $\rho^n = \frac{\pi_{\mathcal{S}}(c^n \mid \chi)}{\pi_{\theta_{\text{old}}}(c^n \mid \chi)}$ 为重要性采样比率。训练中去除 KL 惩罚项以鼓励策展策略在长程操作空间中充分探索。策展器与执行器均以 Qwen3-8B 为基础底座，在 16 卡 H100 集群上采用 verl 框架完成训练。

实验关键数据¶

主实验¶

评估涵盖 ALFWorld 具身多轮交互环境、WebShop 在线购物真实网页环境，以及 AIME24/25、GPQA-Diamond 等单轮复杂推理基准，全面评测技能策展的有效性（成功率 SR / 准确率 Acc）与执行效率（交互步数 Steps / 生成长度）。

数据集 / 基准	评价指标	无记忆基线 (No Memory)	最强对比方法 (ReasoningBank)	SkillOS (本文方法)	相对提升 / 收益
ALFWorld (Executor: Qwen3-8B)	任务平均成功率 (Avg. SR ↑)	47.9%	55.7%	61.2%	+5.5% (绝对值) / -1.2 步
ALFWorld (Executor: Qwen3-8B)	平均执行步数 (Steps ↓)	21.1 步	20.1 步	18.9 步	-6.0% 步数消耗
ALFWorld (Executor: Qwen3-32B)	任务平均成功率 (Avg. SR ↑)	54.5%	61.4%	68.6%	+7.2% (绝对值)
ALFWorld (Executor: Gemini-2.5-Pro)	任务平均成功率 (Avg. SR ↑)	66.4%	71.4%	80.2%	+8.8% (绝对值)
WebShop (Executor: Qwen3-8B)	成功率 (SR ↑) / 综合得分 (Score ↑)	9.8% / 33.3	11.4% / 35.4	16.5% / 40.6	+5.1% SR / +5.2 分
WebShop (Executor: Gemini-2.5-Pro)	成功率 (SR ↑) / 综合得分 (Score ↑)	38.4% / 48.6	40.2% / 50.8	41.3% / 56.0	+1.1% SR / +5.2 分
数学与科学推理 (Avg. Acc ↑, Qwen3-8B)	三大推理集平均准确率 (AIME+GPQA)	69.6%	69.6%	73.8%	+4.2% (绝对值)
数学与科学推理 (Avg. Acc ↑, Gemini-2.5-Pro)	三大推理集平均准确率 (AIME+GPQA)	81.8%	83.5%	88.6%	+5.1% (绝对值)

消融实验¶

在 ALFWorld 数据集上以 Qwen3-8B 同时充当策展器与执行器，系统剥离各项奖励与数据分组策略的消融结果如下：

配置说明	平均成功率 (Avg. SR ↑)	平均执行步数 (Steps ↓)	性能变化与分析结论
SkillOS (完整框架)	61.2%	18.9	达到最优效能比
去掉内容质量奖励 (w/o $r^{\text{cnt}}$)	58.6%	20.1	掉点 2.6%，表明流水线式自演进需要中间语义正则化指导
去掉压缩率奖励 (w/o $r^{\text{comp}}$)	60.0%	19.3	掉点 1.2%，技能冗长增加检索干扰与执行器阅读负担
去掉任务依赖分组 (w/o grouping，随机任务流)	57.3%	20.6	大幅掉点 3.9%，证明技能继承依赖是学习自演进长程策略的核心支柱

关键发现¶

任务分组设计是长程自演进的关键使能因素：消融表明去除任务相关性依赖分组后性能遭遇最大跌幅（-3.9%），证实只有让智能体面对存在内在技能联系的任务流时，策展器才能通过未来任务表现获得稳定的因果信用分配。
训练小模型策展人胜过调用闭源大模型：参数量仅 8B 的 SkillOS 策展器在配合各级执行器时，表现全面超越了直接使用未微调 Gemini-2.5-Pro 充当策展器的 SkillOS-gemini（例如在 ALFWorld+Qwen3-8B 上取得 61.2% 对比 50.7%）。这揭示了强大的通用推理能力并不等于良好的技能策展能力，未针对执行器需求对齐的顶尖大模型容易生成超出小执行器理解范围的冗杂指示。
策展行为从盲目扩容演进为精细维护：训练动态分析显示，模型在初期以 insert（占比 >80%）为主，随着训练深入，update 频率显著提升并占据主导，delete 亦稳步增长。技能内容也自发由初期的空泛建议进化出「失败后备路径」和「多分支调度」等高阶元认知结构。

亮点与洞察¶

将记忆演化问题建模为类操作系统的文件系统管理：以极简的 Markdown 与 YAML frontmatter 约束技能格式，将复杂的记忆自适应转化为离散的增删改 API 调用。这种机制使得智能体具备极佳的运行透明度与人工可审计性。
解耦架构打破「大模型当策展器」的暴力缩放迷思：通过保持执行器冻结、专精优化轻量策展器，不仅降低了流式部署的端侧开销，更证明了通过 RL 对齐下游执行需求的专业小策展器在实用性上远胜通用闭源巨无霸。
任务依赖分组构建打通了流式 RL 的因果信用瓶颈：通过离线无监督或弱监督构建具有概念继承与难度梯度的任务簇，将长程稀疏反馈巧妙转化为密集的组内验证信号，为未来连续强化学习提供了极具普适性的训练范式。

局限与展望¶

检索阶段依然依赖浅层文本匹配：当前系统仅使用静态 BM25 根据指令检索 Top-K 技能，缺乏根据中间执行状态进行的主动式检索（Agentic Search）与动态召回能力。
技能表征平铺缺乏层次化依赖：目前的 Markdown 技能全部平铺在单一目录中，尚无法表达高阶宏任务对原子子技能的嵌套引用与跨文件模块化调用。
单智能体私有化演进，未扩展至群体协同：SkillOS 当前聚焦于单个智能体的终身学习，未来若要在多智能体协同（如代码协作、联合具身操作）中共享 SkillRepo，需要设计应对并发冲突判定与多主体信用分配的新机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出将技能自演化拆解为文件 I/O 驱动的强化学习策略，打破静态提示工程桎梏。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖具身交互、网页浏览与三类前沿数学科学难题，覆盖多尺度开源与前沿闭源执行器。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图表详实，对行为演化与消融归因的剖析极具穿透力。
价值: ⭐⭐⭐⭐⭐ 为解决自主智能体「用完即丢、缺乏终身进化」的核心痛点提供了一套即插即用的低成本工业级方案。