跳转至

SkillPyramid: A Hierarchical Skill Consolidation Framework for Self-Evolving Agents

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/xiongyuaay/skill_pyramid
领域: LLM Agent
关键词: self-evolving agents, skill consolidation, hierarchical skill library, atomic extraction, abstract induction

一句话总结

SkillPyramid 提出了一个分层的技能整合与自演化框架,通过双向关系构建将扁平技能库重构为下层可复用原子操作、上层抽象求解范式的高内聚拓扑金字塔,并在任务执行中按需组合、验证与增量吸收新技能,在 ALFWorld、WebShop 和 ScienceWorld 上平均奖励提升 38.0%、交互步数缩减 27.7%。

研究背景与动机

大语言模型驱动的自主智能体(LLM Agents)正逐步从被动的文本生成转向长程复杂的交互决策任务。在这一范式中,技能作为可调用的结构化能力单元,极大拓展了智能体在开放世界中的问题求解上限。然而,现有工作维护的技能库大多呈现孤立、扁平且静态的特征。随着智能体在动态环境中遭遇海量未见任务,预设的技能集合迅速过时,而单纯依赖检索匹配或盲目追加成功轨迹的机制,导致智能体缺乏系统性的经验积累体系,难以实现真正可持续的终身演化。

这种扁平化管理暴露出了本质缺陷:一方面,已有技能往往被当作黑盒整体复用,其内部蕴含的高价值可转移经验未被充分挖掘;另一方面,当面对分布外新任务时,扁平库中往往无法命中完全匹配的单项技能,智能体只能从零开始无序探索,既增加了环境交互成本,又容易导致失败。即使部分系统尝试引入新技能生成,也多是采用无约束的从头合成(from-scratch)或简单堆叠(append-only),导致技能库冗余膨胀、结构退化,产生大量相似或冲突的低效模块,无法形成跨任务的知识迁移。

解决该问题的关键在于重新组织技能的拓扑形态——许多异构复杂任务往往共享底层的原子操作原语与高阶的程序化执行模式。本文认为技能库不应是静态的资源暂存池,而应构建为一个分层金字塔,向下解耦出高复用性的原子技能,向上归纳出泛化的任务结构范式。核心 idea:将智能体技能库组织为金字塔式层次拓扑,通过双向关系构建实现「向下抽取原子技能、向上归纳抽象技能」,并在任务驱动下自顶向下组合、校验并增量吸纳新技能,实现从静态存储到自我演化的范式跃迁。

方法详解

整体框架

SkillPyramid 围绕技能的层次化整合与动态自演化展开。系统首先通过多智能体协作管线将给定的初始扁平技能库 \(S=\{s_1, \dots, s_N\}\) 重构为具有显式层级与依赖关系的金字塔拓扑 \(\mathcal{P}=\{L_0, L_1, \dots, L_K\}\);在此拓扑中,底层 \(L_0\) 沉淀细粒度的可执行原子技能,顶层 \(L_K\) 承载跨任务的宏观求解模式。面对新任务时,系统自顶向下组合已有组件生成候选技能;任务执行成功后,新技能经提炼并通过增量演化机制接入金字塔,避免全局重建。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 扁平技能库 S 与任务流"] --> B["粗到细关系分析 (Relation Analyzer)"]
    B --> C["双向关系构建 (Relation Builder)"]
    C --> D["两阶段技能组合 (Skill Creator)"]
    D --> E["任务执行与闭环验证"]
    E -->|成功验证候选技能| F["增量拓扑吸收 (Self-Evolution)"]
    E -->|失败轨迹| G["丢弃候选技能"]
    F --> H["输出: 持续演化的层次金字塔 P"]

关键设计

1. 粗到细关系分析 (Relation Analyzer):解决全库直接联合分析导致计算爆炸与噪声干扰 若直接对规模庞大的原始技能库进行两两全量交叉比对,将产生极大的上下文开销与语义噪声。为此,Relation Analyzer 采用由粗到细的渐进式分析策略。首先由粗粒度分析器 \(A_c\) 仅基于技能名称 \(n_i\) 与简要描述 \(d_i\) 执行语义聚类与嵌入初筛,划分出潜在相关的粗分组 \(G_0 = \{G_{0,1}, \dots, G_{0,M}\}\);随后细粒度分析器 \(A_f\) 对各分组并行展开深度审查,结合完整的自然语言程序文档检查前置条件、操作细节与输入输出规范,最终为每个关联子集输出关系构建指令 \((g_k, \tau_k, e_k)\),指明关联类型(向下抽取还是向上归纳)与详尽的自然语言依据 \(e_k\)。

2. 双向关系构建 (Relation Builder):解决扁平技能单点孤立、执行原语与抽象模式未解耦 根据关系分析器的调度,Relation Builder 在两个互补的维度上重构技能拓扑: - 向下原子抽取(Downward Atomic Extraction):针对共享具体操作的子集 \(g_k\),抽取其公共功能组件定义为原子技能 \(a_k = B_{\text{atom}}(g_k)\),并将其置于源技能下一层(\(\ell(a_k) = \min_{s\in g_k}\ell(s) - 1\))。原技能被重写为 \(s'_i = \text{Rewrite}(s_i, \rho(a_k))\),通过显式依赖字段 \(\delta\) 记录复用声明 \(\rho(a_k) = (n_k, q_k, w_k, o_k)\)(包含名称、唯一标识、调用条件与提供能力)。向下抽取包含三种具体关系形式:SHARED_PART(抽离子步骤)、SUBSET(严格子技能代理)与 MERGE(等价技能规范化融合)。 - 向上抽象归纳(Upward Abstract Induction):针对共享高层结构模式的子集 \(g_k\),归纳出宏观求解框架 \(u_k = B_{\text{abs}}(g_k)\),置于源技能上一层(\(\ell(u_k) = \max_{s\in g_k}\ell(s) + 1\))。抽象技能聚焦于过程性策略与组织方式,其依赖字段关联底层支撑技能,为跨任务迁移提供高层战略指导。

3. 两阶段技能组合 (Skill Creator):解决无约束从头生成技能不稳定与幻觉严重 面对新任务指令 \(x\),智能体不再盲目从零编写操作流程,而是由 Skill Creator 检索金字塔中的相关技能集 \(R(x) \subseteq S\),依托已有知识分两阶段受限生成: - 框架构建(Framework Construction):优先调用高层抽象技能,梳理出任务的总体阶段、决策关卡、成功判定准则以及高层求解逻辑; - 细节具象化(Detail Instantiation):优先调用底层原子技能,将高层框架落实为具体的环境交互指令、状态校验规则、边界防范和精准的复用引用标签。若已有技能完全覆盖任务,则直接引用;否则输出结构化新技能 \(\hat{s} = C_{\text{create}}(x, R(x), \mathcal{P})\)。

4. 增量拓扑吸收 (Self-Evolution):解决新技能简单堆叠导致冗余膨胀与全量重建开销过大 为了使技能系统伴随任务流持续演进,SkillPyramid 设计了闭环增量更新机制。新生成的技能 \(\hat{s}\) 必须首先在真实环境交互中接受任务成功信号的严格检验;若任务失败则直接丢弃,若成功则根据执行轨迹进行提炼精简。在将合格技能并入拓扑时,系统无需重启全量扫描,而是将 \(\hat{s}\) 作为查询目标,通过局部检索仅唤醒与之相关的已有技能群,经由 Relation Builder 增量构建复用关系 \(\Delta\mathcal{P}_t\),并执行拓扑一致性校验(防止跨层逆向依赖和产生环路),完成轻量化更新 \(\mathcal{P}_{t+1} = \text{Update}(\mathcal{P}_t, \hat{s}, \Delta\mathcal{P}_t)\)。

损失函数 / 训练策略

SkillPyramid 全程采用免微调(Training-free)的提示工程与多智能体协作范式。离线金字塔构建时,使用开源骨干模型 Qwen3.5-35B-A3B 作为生成引擎,结合 Qwen3-Embedding-4B 进行向量语义初筛;外层分析-构建流水线至多迭代 \(T=3\) 轮,单次细粒度分析限制在 5 轮以内。在线评测阶段,采用确定性推理(温度系数设为 0),所有新生成的技能必须通过任务奖励验证后方可获得写入资格。

实验关键数据

主实验

在具身交互基准 ALFWorld、常识科学实验基准 ScienceWorld 以及真实网络购物模拟环境 WebShop 上,测试了包括 DeepSeek-V3.2、GPT-4.1、Gemini 2.5 Pro 与 Qwen3-235B 在内的四种前沿大语言模型。下表汇总了主实验的奖励/成功率(R)与平均交互步数(S):

骨干模型 方法 ALFWorld (Seen)
R↑ / S↓
ALFWorld (Unseen)
R↑ / S↓
WebShop
R↑ / S↓
ScienceWorld (Seen)
R↑ / S↓
ScienceWorld (Unseen)
R↑ / S↓
DeepSeek-V3.2 ReAct 66.4 / 19.5 69.4 / 19.3 31.6 / 24.1 69.9 / 17.6 64.7 / 19.3
Reflexion 70.1 / 18.2 73.6 / 18.0 35.3 / 22.4 72.4 / 16.3 67.8 / 17.9
ExpeL 67.9 / 18.9 76.1 / 17.4 29.2 / 24.0 74.9 / 16.0 74.1 / 17.5
ReAct + Skills (扁平) 75.7 / 15.6 80.6 / 14.7 27.0 / 25.1 71.6 / 15.9 68.5 / 16.6
SkillPyramid (本文) 81.4 / 10.7 84.8 / 10.6 32.0 / 23.9 76.3 / 16.7 79.1 / 17.0
GPT-4.1 ReAct 58.6 / 20.1 56.1 / 20.4 30.4 / 21.8 57.4 / 19.1 52.3 / 20.2
Reflexion 64.2 / 18.5 62.8 / 18.6 34.6 / 20.1 66.8 / 17.0 61.6 / 18.2
ExpeL 65.7 / 17.6 64.8 / 17.4 32.6 / 18.7 72.1 / 14.4 66.8 / 15.6
ReAct + Skills (扁平) 70.7 / 16.4 75.8 / 16.2 38.5 / 22.1 78.6 / 17.6 71.8 / 18.6
SkillPyramid (本文) 77.1 / 15.1 85.1 / 13.1 42.5 / 15.3 86.6 / 15.2 88.6 / 14.2
Qwen3-235B ReAct 55.4 / 20.5 53.8 / 21.0 28.6 / 22.4 54.8 / 19.6 50.6 / 20.8
Reflexion 61.8 / 19.0 60.2 / 19.5 32.4 / 20.6 63.6 / 17.7 59.4 / 18.9
ExpeL 63.2 / 18.2 62.4 / 17.8 30.8 / 19.2 69.4 / 15.3 63.8 / 16.2
ReAct + Skills (扁平) 71.4 / 17.3 68.6 / 18.3 31.0 / 22.2 74.2 / 15.5 73.0 / 15.9
SkillPyramid (本文) 77.1 / 13.7 91.0 / 11.0 38.0 / 18.4 85.6 / 14.0 86.3 / 14.3

在 ALFWorld 未见集上,SkillPyramid 相对 SkillNet(83.6 / 14.8)与 SkillX(79.9 / 16.6)进一步取得了 84.8 的高成功率与 10.6 的极低步数;在更强基座 GPT-5.5 Codex 上,SkillPyramid 依然将基线从 88.1 (14.5步) 推升至 91.8 (12.3步)。

消融实验

基于 DeepSeek-V3.2 在 ALFWorld 与 ScienceWorld 上评估各核心组件对系统表现的边际贡献:

配置 ALFWorld (Seen) 成功率 ScienceWorld (Seen) 成功率 说明
SkillPyramid (完整模型) 81.4 76.3 完整金字塔组织与自演化机制
w/o 原子技能 (w/o Atomic Skills) 78.6 75.3 禁用向下抽取,ALFWorld 下降 2.8 点
w/o 抽象技能 (w/o Abstract Skills) 80.0 71.1 禁用向上归纳,ScienceWorld 下降 5.2 点
w/o 自演化 (w/o Self-evolution) 76.4 73.7 初始构建后冻结金字塔,不回流新技能
从头生成技能 (w/ Scratch-generated) 64.3 70.1 脱离已有金字塔直接合成,性能崩塌低于扁平基线
ReAct w/ flat skills (扁平基线) 75.7 71.6 相同初始库但无层次结构与演化
基础 ReAct 66.4 69.9 无外部技能增强

针对任务特性的细粒度分析表明:在以原子操作为主的具身探索类任务(Atomic-heavy, 184篇)上,移除原子技能导致得分从 82.6 跌落至 76.1(-6.5);而在长程状态依赖型实验任务(Abstract-heavy, 147篇)上,移除抽象技能导致得分从 78.9 骤降至 70.9(-8.0)。

关键发现

  • 结构化重构优于数量扩充:在享有完全相同初始技能库的公平设定下,SkillPyramid 的全场景平均奖励达到 73.7,显著击败扁平技能库 ReAct+Skills 的 65.8,证明性能增益并非源于信息泄露,而是源于金字塔拓扑释放的可复用知识价值。
  • 未见场景泛化显著:在 ALFWorld 未见任务集上,SkillPyramid 相比纯 ReAct 提升超过 15 个百分点,并将执行步数压缩了近一半,表明上层抽象模式与底层原子原语的组合解耦,有效杜绝了盲目探索。
  • 脱离先验知识的盲目生成适得其反:消融实验中从头生成技能(Scratch-generated)在 ALFWorld 上的成功率暴跌至 64.3,甚至远落后于扁平基线的 75.7,这表明无约束生成易引入幻觉与错误策略,必须依托既有金字塔提供锚定与约束。

亮点与洞察

  • 拓扑双向解耦机制:巧妙地将技能演化分解为「向下抽取原子可执行项」与「向上归纳高阶求解图谱」,打破了传统技能库黑盒复用的僵局,兼顾了底层操作的精确性与高层逻辑的迁移性。
  • 任务驱动的闭环增量演化:放弃了每轮全库重新聚类的暴力方案,以新技能为局部查询锚点,结合真实环境奖励硬性门控,以极低的推理开销实现了技能库的持续净化与自我生长。
  • 噪音网络技能库的自净化能力:在面向网络爬取的 15 万条杂乱技能池测试(GAIA-Lite)中,经 SkillPyramid 整合后的技能库使总体准确率从 52.0% 提升至 62.7%,证明该分层范式具备强大的工业级落地泛化潜力。

局限与展望

  • 初始全库构建开销与基座依赖:金字塔初始构建需要消耗一次性分析开销,且关系抽取效果高度依赖分析模型的推理能力(消融显示若换用 3B 级别小模型构建,增益将大幅衰减)。
  • 缺乏硬性回滚机制:当前仅依赖当次任务成功信号作为接纳门槛,若某项错误技能在单次侥幸成功中被收入,后续缺乏自动回溯剪枝与撤销错误边的长效机制,可能诱发错误级联。
  • 模态与拓扑维度局限:目前验证主要局限于文本与符号环境,未拓展至连续具身视听多模态场景;拓扑关系仅建模了向下抽取与向上抽象两个维度,尚未显式刻画复杂的时序因果网络。

相关工作与启发

  • vs ReAct / Reflexion / ExpeL: ReAct 依赖单步交替推理,缺乏跨任务持久记忆;Reflexion 和 ExpeL 将历史经验提炼为扁平文本建议或成功轨迹,无法模块化复用。SkillPyramid 将经验提炼为结构化技能并构建层级网络,支持跨任务解耦组合。
  • vs Voyager / SkillNet / SkillX: Voyager 探索了开放在线代码技能库但仅限单一游戏沙盒;SkillNet 与 SkillX 初步尝试了统一技能管理或多级知识库,但缺少「向上抽象+向下解耦」的双向拓扑操作。SkillPyramid 提供了更严格的拓扑层次定义与增量自演化协议。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [首次系统化提出了技能向下原子抽取与向上抽象归纳的双向金字塔自演化范式]
  • 实验充分度: ⭐⭐⭐⭐⭐ [跨越 4 种主流 LLM 基座、3 大交互环境,配有严格的分布外泛化与网络杂乱技能测试]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密流利,形式化表述与 Prompt 设计详实,消融与失败归因剖析透彻]
  • 价值: ⭐⭐⭐⭐⭐ [为终身自主智能体的能力沉淀与自我演进提供了可工程落地的通用拓扑架构]