SkillMaster: Toward Autonomous Skill Mastery in LLM Agents¶
会议: NeurIPS 2026
arXiv: 2605.08693
OpenReview: https://openreview.net/forum?id=kB6WL1V53t
代码: https://github.com/sduyangmin/Skill-Master
领域: LLM Agent
关键词: LLM智能体, 技能掌握, 反事实效用评估, 双流优势强化学习, 自主进化
一句话总结¶
提出 SkillMaster 框架，将技能管理作为工具调用闭环整合进智能体策略，通过探针任务反事实效用评估提供密集质量奖励，并借助 DualAdv-GRPO 解耦执行与技能学习，使 LLM 智能体实现端到端自主技能掌握。
研究背景与动机¶
大语言模型智能体在具身控制、网络交互和复杂推理等长程决策任务中取得了令人瞩目的进展。为突破单回合记忆在跨任务泛化上的局限，近期方法引入了“技能库”作为可复用的程序性经验抽象。然而，现有技能型智能体框架（如 SkillRL、OpenClaw）在很大程度上仍将技能作为外部资源：技能的发现、修改和淘汰依赖于外部教师模型或启发式维护管线，被部署的智能体仅充当被动检索者和执行者。这种外置管理割裂了智能体试错经验与技能演进的直接联系，使得智能体难以根据环境反馈内化并迭代自身的知识体系。
将技能管理内化为智能体自主行为面临三大核心瓶颈。首先是缺乏对技能质量的显式评估信号：单次回合的环境稀疏胜负奖励无法甄别技能修改是否在未来任务中真实有效，极易强化表面合理却误导决策的伪技能。其次，技能管理动作与环境执行动作存在本质差异——执行动作影响即时状态，而技能编辑跨回合作用于未来策略，两者的奖励尺度和信用分配机制截然不同。将这两类异质目标直接混合进行策略梯度优化，会导致梯度相互干扰和训练严重崩溃。
本文的核心角度在于：高质技能应表现出明确的下游因果效应，即在相关任务上使原本失败的任务转为成功，或使已成功任务的操作步数显著减少。核心 idea：将技能管理具象化为基于轨迹复盘的工具调用，通过相关探针任务上的反事实效用量化技能编辑收益，并设计双流优势归一化强化学习（DualAdv-GRPO）实现动作执行与技能掌握策略的无干扰联合优化。
方法详解¶
整体框架¶
SkillMaster 将每个交互回合划分为异质的双阶段结构：执行阶段（Acting Phase）和技能掌握阶段（Skill-Mastery Phase）。在执行阶段，智能体检索当前技能库中的相关技能拼接至输入提示词，与交互环境步进交互并收集轨迹与环境奖励；在回合终止后进入技能掌握阶段，系统构建包含任务目标、检索技能、交互轨迹和最终环境结果的复盘提示，智能体通过工具调用生成具体的技能维护指令（propose_skill、update_skill 或 keep_skill）。
为驱动技能编辑决策的学习，系统在候选技能编辑产生时，在语义相关的探针任务（Probe Tasks）上进行双路反事实推演，计算该编辑带来的胜率提升与步数缩减综合效用奖励；最后，DualAdv-GRPO 算法分别对执行动作与技能工具调用的优势进行独立分组归一化，并在 token 级别加权合并，实现统一策略参数的稳定协同更新。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["环境任务输入 + 技能库 B 检索"] --> B["执行阶段：动作序列生成<br/>智能体与环境交互并收集轨迹"]
B --> C["轨迹复盘：技能管理工具调用<br/>输出 propose / update / keep 决策"]
C -->|keep_skill| D["维持原技能库 B"]
C -->|propose / update| E["探针任务反事实效用评估<br/>对比新旧技能库下探针任务表现"]
E -->|效用 R_utility > 0| F["提交持久化写入技能库 B'"]
E -->|效用 R_utility <= 0| G["丢弃候选技能修改"]
B -.->|环境奖励 r_env| H["DualAdv-GRPO 双流优势归一化<br/>分别归一化执行与管理奖励并加权"]
C -.->|技能奖励 R_skill| H
H --> I["联合策略梯度优化更新"]关键设计¶
1. 轨迹复盘与技能管理工具调用：将技能维护内化为策略动作
现有方法将技能更新视为偶发的外挂后台进程，智能体自身缺乏对技能库的写权限。SkillMaster 引入工具集成推理（Tool-Integrated Reasoning），为智能体提供标准函数调用接口：propose_skill（创建新技能）、update_skill（修正既有技能）和 keep_skill（保留当前技能库不变）。在回合结束后，系统将完整交互轨迹、环境返回的成败反馈以及当期参考的技能组合成复盘上下文。智能体经过思维链推演后输出且仅输出一个结构化工具调用，将复盘诊断直接转化为对技能库的操作提议。该机制使得技能维护动作与普通环境决策共享同一套生成策略，为端到端策略自进化提供了统一表征。
2. 探针反事实效用评估：提供显式密集的技能质量因果奖励
直接使用单次回合的二值胜负奖励无法指导技能编辑，因为技能的价值在于跨任务复用性。SkillMaster 提出基于探针任务的反事实效用评估机制。当智能体提出修改时，系统从预先划分的语义关联任务池（例如 ALFWorld 同一任务族或 WebShop 同一产品类别）中挑选 \(K\) 个探针任务 \(p_i\)。系统分别在原技能库 \(\mathcal{B}\) 和临时应用修改后的候选技能库 \(\mathcal{B}'\) 下执行探针任务 rollout，每个探针的成效综合评估成功状态与完成步数： $\(\text{score}(p_i, \mathcal{B}) = \mathbf{1}[\text{success}_i] + \frac{M - \text{steps}_i}{M} \cdot \mathbf{1}[\text{success}_i]\)$ 其中 \(M\) 为任务最大允许步数，未成功任务得分为 0。设单任务性能增益为 \(\delta_i = \text{score}(p_i, \mathcal{B}') - \text{score}(p_i, \mathcal{B})\)，整体效用奖励结合了平均提升幅度与跨探针的方向一致性惩罚，抑制由单一异常探针导致的错误更新： $\(R_{\text{utility}} = \bar{\delta} + \alpha \cdot \frac{w - \ell}{K}\)$ 式中 \(\bar{\delta}\) 为 \(K\) 个探针的平均增益，\(w\) 与 \(\ell\) 分别为得分提升和下降的探针数量，\(\alpha\) 为平衡系数。最终技能掌握奖励 \(R_{\text{skill}} = R_{\text{format}} + R_{\text{utility}}\)，仅在 \(R_{\text{utility}} > 0\) 时修改才正式合入持久化技能库。
3. DualAdv-GRPO：异质双流优势解耦与协同策略优化
环境交互产生的奖励 \(r_{\text{env}}\) 呈现稀疏离散特性，而技能复盘获得的奖励 \(R_{\text{skill}}\) 包含格式校验与连续因果效用。标准 GRPO 在同一组候选 rollout 中对所有奖励无差别做均值方差归一化，会导致不同性质目标的数值畸变与竞争冲突。DualAdv-GRPO 在采样组 \(G\) 内分别计算执行动作奖励序列 \(\{r_{\text{env}}^{(j)}\}\) 的统计量 \((\mu_{\text{act}}, \sigma_{\text{act}})\) 与技能掌握奖励序列 \(\{R_{\text{skill}}^{(j)}\}\) 的统计量 \((\mu_{\text{skill}}, \sigma_{\text{skill}})\)，独立推导优势值： $\(A_{\text{act}}^{(j)} = \frac{r_{\text{env}}^{(j)} - \mu_{\text{act}}}{\sigma_{\text{act}} + \epsilon}, \qquad A_{\text{skill}}^{(j)} = \frac{R_{\text{skill}}^{(j)} - \mu_{\text{skill}}}{\sigma_{\text{skill}} + \epsilon}\)$ 在 token 级别上，依据当前 token 属于环境执行片段 \(S_{\text{act}}^{(j)}\) 还是技能管理片段 \(S_{\text{skill}}^{(j)}\) 进行条件分配，并用超参数 \(\gamma\) 调节技能目标权重： $\(A_{\text{DualAdv}}^{(j)}(l) = \begin{cases} A_{\text{act}}^{(j)}, & l \in S_{\text{act}}^{(j)} \\ \gamma \cdot A_{\text{skill}}^{(j)}, & l \in S_{\text{skill}}^{(j)} \end{cases}\)$ 该设计在保持单策略统一参数的同时，严格保全了执行动作与技能管理动作各自内部的相对偏好排序，消除了异质任务联合训练的不稳定性。
损失函数 / 训练策略¶
训练采用基于裁剪比率的 PPO 目标，并在轨迹级平均损失上追加 KL 散度约束，基座模型先经冷启动 SFT 注入基础工具调用能力： $\(\mathcal{L}(\theta) = \frac{1}{N} \sum_{j=1}^{N} \mathcal{L}^{(j)}(\theta) + \beta \cdot \mathcal{L}_{\text{KL}}(\theta)\)$ $\(\mathcal{L}^{(j)}(\theta) = -\frac{1}{L} \sum_{l=1}^{L} \min \left( r_l(\theta) A_{\text{DualAdv}}^{(j)}(l), \operatorname{clip}(r_l(\theta), 1-\varepsilon, 1+\varepsilon) A_{\text{DualAdv}}^{(j)}(l) \right)\)$ 其中 \(r_l(\theta) = \pi_\theta(a_l \mid o_l) / \pi_{\text{old}}(a_l \mid o_l)\)，\(\beta = 0.01\)，\(\varepsilon = 0.2\)。训练在 8 块 A100 GPU 上采用 Verl 框架与 vLLM 加速生成，探索组大小 \(G=8\)，学习率设为 \(1 \times 10^{-6}\)，探针采样数 \(K=4\)，一致性权重 \(\alpha=0.3\)。
实验关键数据¶
主实验¶
在具身家庭模拟环境 ALFWorld（涵盖 6 大任务族）以及真实网络交互基准 WebShop 上，SkillMaster 与闭源大模型、基于提示/记忆的智能体及现有强化学习方法对比。
| 基准与任务族 | 指标 | SkillMaster | SkillRL (之前SOTA) | GPT-4o | 相对提升 |
|---|---|---|---|---|---|
| ALFWorld Pick | 成功率 (%) | 100.0 | 97.9 | 75.3 | +2.1% |
| ALFWorld Look | 成功率 (%) | 100.0 | 71.4 | 60.8 | +28.6% |
| ALFWorld Clean | 成功率 (%) | 100.0 | 90.0 | 31.2 | +10.0% |
| ALFWorld Heat | 成功率 (%) | 97.1 | 90.0 | 56.7 | +7.1% |
| ALFWorld Cool | 成功率 (%) | 95.7 | 95.5 | 21.6 | +0.2% |
| ALFWorld Pick2 | 成功率 (%) | 100.0 | 87.5 | 49.8 | +12.5% |
| ALFWorld 平均 (All) | 成功率 (%) | 98.7 | 89.9 | 48.0 | +8.8% |
| WebShop Score | 综合得分 | 95.0 | 85.2 | 31.8 | +9.8 |
| WebShop Succ. | 成功率 (%) | 82.0 | 72.7 | 23.7 | +9.3% |
在 7 个搜索增强问答数据集（Single-Hop 与 Multi-Hop QA）构成的 SearchQA 基准中，SkillMaster 取得 48.0% 的总均分，同样超越 SkillRL（47.1%）和 Search-R1（38.5%）。
消融实验¶
在 ALFWorld 和 WebShop 上对各核心组件进行消融验证（以总成功率衡量）：
| 配置 | ALFWorld 成功率 (%) | WebShop 成功率 (%) | 说明 |
|---|---|---|---|
| SkillMaster (完整模型) | 98.7 | 82.0 | 包含反事实效用、DualAdv-GRPO及同族探针 |
| w/o Utility Reward (去效用奖励) | 88.5 | 71.2 | 缺少因果效用信号，无法甄别低质编辑 |
| w/o Decoupled GRPO (单流统一归一化) | 91.3 | 74.5 | 异质奖励互相干扰，破坏动作优势分布 |
| Random Probes (随机选择探针) | 93.4 | 76.8 | 探针不相关导致效用评估噪声大 |
| w/o Cold-Start SFT (去冷启动) | 82.1 | 64.3 | 缺乏基础函数调用格式遵从能力，退化严重 |
| Static Initial Bank (SFT+GRPO 无技能演进) | 92.2 | 75.8 | 仅使用静态技能库，缺乏自我修正与扩展能力 |
关键发现¶
- 技能演进的“探索到收敛”自适应动态：训练早期，智能体展现出高频的技能修改行为（
propose与update占全部决策的 18.76%）；随着技能库由初始的 58 条扩充至 118 条并趋于成熟，keep_skill的比例由 81.25% 稳步提升至 97.66%，呈现自然的知识巩固态势。 - 冷启动与初始技能库的鲁棒性：在将初始技能库精简至 50%、25% 甚至 0%（完全空库）的极端设置下，SkillMaster 在 ALFWorld 仍分别保持 94.1%、92.5% 和 89.4% 的成功率，远超同等设置下依赖教师提炼的 SkillRL（74.8%），证明其具备强韧的自主知识冷启动与无师自通能力。
- 因果探针带来显著动作精简：如案例研究所示，修正后的加热技能使探针任务在微波炉操作环节由原本失败的 8 步尝试直接精简至高效的 2 步，消除了 6 步无效冗余，直观体现了效用函数中动作效率项的指导作用。
亮点与洞察¶
- 将记忆维护由外挂守护进程重塑为策略内生行为：巧妙利用标准函数调用（Function Calling）打通了智能体“交互执行”与“经验内化”的边界，让智能体学会何时该行动、何时该沉淀认知。
- 基于探针任务的反事实效用度量：解决了智能体自我演进中“虚假繁荣”的核心痛点，以“同族任务能否成功、能否省步数”作为物理落地的坚实检验，为强化学习提供了可信的高信噪比密集奖励。
- 双流优势解耦机制可直接迁移至其他复合 RL 场景：在多任务学习、带内部反思思考（CoT/Thinking）或混合目标输出的智能体后训练中，DualAdv 归一化策略能有效防止不同语义分支梯度的恶性竞争。
局限与展望¶
- 探针计算开销与可扩展性：每次触发技能修改需额外执行 \(O(K)\) 次探针环境模拟，训练耗时相比无技能管理增加约 31.9%（ALFWorld 每步耗时从 12.13 分钟升至 16.00 分钟），显存峰值增加约 9.2 GiB。未来需探索基于学习型价值模型（Value Proxy）的效用预估以摊销开销。
- 任务族聚类依赖先验语义：当前探针选择依赖任务分类或品类标签，在开放非结构化场景中需进一步结合动态嵌入检索或自动任务表征聚类。
- 缺乏显式技能剪枝与遗忘机制：当前仅支持增加与更新，若技能库无限增长可能引发上下文窗口与检索负荷，引入自主淘汰（
delete_skill）是重要扩展方向。
相关工作与启发¶
- vs SkillRL (Xia et al., 2026)：SkillRL 依赖周期性的外部教师大模型提炼轨迹，主智能体仅是被动检索者，且采用粗粒度胜负奖励；本文将技能管理内化为智能体自身的 RL 优化目标，利用反事实探针直接量化编辑效用，在无教师介入下显著提升泛化上限。
- vs Mem0 / MemRL (Chhikara et al., 2025; Zhang et al., 2026c)：记忆型智能体直接存储长文本轨迹，容易因信息冗余而稀释关键逻辑；SkillMaster 沉淀的是结构化、紧凑的程序性启发规则，并在多任务下具备显著更高的执行稳定性。
- vs AutoTIR / AdaTIR (Wei et al., 2025; Fang & Sun, 2026)：传统工具集成推理主要面向外部计算器或检索器等信息查询工具；本文将工具调用应用于“自身长期参数外记忆”的写操作，开辟了内省型工具强化的新视角。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次打通智能体技能内生自管理与基于探针反事实效用的 RL 闭环，构思精巧。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖具身、网络和搜索多领域评测，包含演变过程、探针效率及零技能冷启动等多维度实验。
- 写作质量: ⭐⭐⭐⭐⭐ 概念清晰，形式化定义完备，图表与案例呼应紧密。
- 价值: ⭐⭐⭐⭐⭐ 为自主自适应、终身学习的大模型智能体提供了切实可行的端到端技术路线。