跳转至

SkillBrew: Multi-Objective Curation of Skill Banks for LLM Agents

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Applied-Machine-Learning-Lab/EMNLP26_SkillBrew
领域: LLM Agent
关键词: 智能体技能库, 多目标优化, 帕累托前沿, 反事实回放, 技能精炼

一句话总结

针对智能体技能库长期单向追加导致冗余膨胀、单标量排序无法权衡结构特性的核心痛点,提出全局库级多目标精炼框架 SkillBrew,形式化为带效用约束的帕累托优化问题,通过反事实留一法归因与双层 Propose-then-Verify 循环实现技能库的高效自进化。

研究背景与动机

大语言模型(LLM)智能体在应对长程、开放式复杂任务时,跨轮次积累与复用程序性知识(Procedural Knowledge)是决定其持续自进化的关键。以 Voyager、ExpeL 以及 Anthropic Agent Skills 规范为代表,基于检索增强的「技能库」(Skill Bank)已成为当前智能体架构的核心基石。然而,绝大多数现有方法普遍将技能库视为一个单向累加日志(Append-only Log):随着智能体与环境交互的增多,不断抽取新技能并盲目追加,既不修剪陈旧过时的条目,也不修复误导性原则,导致技能库迅速膨胀、检索空间拥挤,反而严重劣化了智能体的长程决策效率。

这一困境的本质矛盾在于,技能库的优劣天生具备多维属性且彼此制约——优质技能库必须兼顾实用性(Utility)、内部多样性(Diversity)与任务覆盖度(Coverage)。如果盲目追求覆盖度不断堆砌技能,极易引入语义高度重叠的冗余项,压低多样性;而若激进剔除冗余,又极易伤害长尾任务的泛化覆盖。更严峻的是,单项技能对整体任务的边际贡献通常深度耦合于共同检索的技能组合,信用分配极其困难;且文本技能编辑空间是离散、非凸且不可微的。现有局部单标量打分机制(如单一成功率阈值或投票机制)强行将多维约束折叠为一个标量,根本无法解开多维目标间的结构性冲突。

面对上述非微、开集且评估代价高昂的优化难题,本文不再将每项技能孤立评判,而是从全局系统视角出发:既然技能库的最终目标是赋能智能体长程泛化,就应将其形式化为以效用为硬约束、以多样性与覆盖度为结构正则项的受约束多目标优化,通过在支持集生成编辑提议、在查询集验证帕累托解的双层机制驱动进化。核心 idea:将技能库精炼形式化为带效用约束的全局多目标帕累托优化问题,通过反事实留一法重放实现精准技能归因,并依托双层 Propose-then-Verify 循环在保证决策效用不跌的前提下最大化多样性与覆盖度。

方法详解

整体框架

SkillBrew 是一个免训练(Training-free)、迭代式运行的全局技能库多目标精炼框架。系统预先将任务划分为支持集 \(\mathcal{D}_{\text{support}}\) 与查询集 \(\mathcal{D}_{\text{query}}\),彻底隔离候选编辑生成与全局质量验证,杜绝过拟合。在冷启动阶段,系统从无检索的基线交互轨迹中聚类失败模式,蒸馏出初始技能库 \(\mathcal{B}^{(0)}\)。随后进入核心的双层循环:内层循环(Inner Loop)在支持集上通过智能体交互与反事实留一法回放,由技能蒸馏器生成 ADD 候选、技能诊断器给出 KEEP/REWRITE/REMOVE 裁决,再由编辑规划器综合输出 \(K\) 个候选技能库;外层循环(Outer Loop)在查询集上并行评估各个候选库在效用 \(J_{\text{util}}\)、多样性 \(J_{\text{div}}\) 与覆盖度 \(J_{\text{cov}}\) 三个维度上的目标画像,通过带容差 \(\epsilon\) 的自适应帕累托前沿筛选出最优库 \(\mathcal{B}^{(i+1)}\),循环迭代直至收敛。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    A["环境交互轨迹<br/>支持集与查询集解耦"] --> B["冷启动初始蒸馏<br/>无检索失败聚类生成 B(0)"]
    subgraph IN["内层提议循环: 支持集轨迹驱动"]
        direction TB
        C1["反事实留一法归因<br/>隔离单技能边际增益 Delta"] --> C2["三路编辑池生成<br/>ADD 蒸馏 / REWRITE 改写 / REMOVE 剔除"]
        C2 --> C3["全局编辑组合规划<br/>保持受保护 KEEP 槽位生成 K 个候选库"]
    end
    B --> C1
    subgraph OUT["外层验证循环: 查询集帕累托选择"]
        direction TB
        D1["三维目标画像评估<br/>效用 Jutil + 格拉姆行列式多样性 Jdiv + 覆盖度 Jcov"] --> D2["带容差自适应帕累托选择<br/>epsilon-效用守卫与超体积决胜"]
    end
    C3 --> D1
    D2 -->|多轮迭代演化| E["全局精炼技能库 B*"]

关键设计

1. 反事实留一法归因:解决多技能共现下的信用分配混淆

在检索增强智能体中,单个任务往往同时检出多个技能,传统方法无法厘清任务的成败究竟归功于哪一条规则,极易造成误删有效技能或保留有害技能。针对这一痛点,SkillBrew 在支持集 \(\mathcal{D}_{\text{support}}\) 的检索交互轨迹中引入严格的反事实留一法回放(Counterfactual Leave-One-Out Replay):对于检索集 \(\mathcal{R}_t\) 中的每一个技能 \(s\),固定完全相同的随机种子与环境状态,在遮蔽 \(s\) 的条件下重跑交互 \(\tilde{\tau}_{t\setminus s} = \pi_{\text{agent}}(t \mid \mathcal{R}_t \setminus \{s\})\),并计算边际增益: $\(\Delta(\tau, s) = r(\tau, s) - r(\tau, \emptyset)\)$ 技能诊断器(Skill Diagnoser)跨任务聚合这些因果对比对(Factual vs Counterfactual),精准划分出技能有害(有它失败、缺它成功)、技能有益(有它成功、缺它失败)等模式,进而给出 KEEP、REWRITE 或 REMOVE 的离散裁决。该机制有效穿透了多技能共现带来的噪声迷雾,为后续精炼提供了确凿的因果证据链。

2. 三路编辑池生成:差异化处理缺陷技能以兼顾救赎与瘦身

以往方法要么只做单向追加(ADD),要么粗暴地全盘删除表现不佳的技能,导致许多只需微调触发条件即可发挥巨大价值的半成品技能被直接丢弃。针对此瓶颈,SkillBrew 构建了由蒸馏器和诊断器驱动的三路编辑池。针对无检索且未覆盖的失败轨迹,技能蒸馏器以成功轨迹为正向参考,蒸馏出全新的动作原则填充进 \(\mathcal{E}_{\text{add}}\) 池;对于诊断器锁定的缺陷技能,细致区分为“核心策略尚可救赎但表述有瑕疵”与“策略底层逻辑彻底错误”,前者生成全新的 when_to_apply 或操作步序存入 \(\mathcal{E}_{\text{rewrite}}\),后者则判定丢弃进入 \(\mathcal{E}_{\text{remove}}\)。诊断明确有益的技能则归入受保护的 \(\mathcal{E}_{\text{keep}}\) 集合,在当轮杜绝篡改,使精炼过程兼备纠错容错与提质瘦身能力。

3. 全局编辑组合规划:克服孤立决策并生成 K 个多目标候选库

如果直接机械执行所有局部裁决,容易破坏技能库整体的互补关系。编辑规划器(Edit Planner)充当全局宏观协调者,将当前技能库 \(\mathcal{B}^{(i)}\)、三路候选编辑池及受保护的 \(\mathcal{E}_{\text{keep}}\) 视为整体输入。规划器从全局视角的“透镜(Lens)”出发,结合不同编辑偏向(如偏向扩充泛化性、偏向激进精简剪枝、偏向局部语义修复),合成 \(K\) 个在多样性与结构侧重上互不相同的候选技能库 \(\mathcal{K}^{(i)} = \{\mathcal{B}_1^{(i+1)}, \dots, \mathcal{B}_K^{(i+1)}\}\)。这种由宏观智能体协调离散组合编辑的设计,将原本开集不可微的技能生成空间转化为有限且高质量的候选离散集合。

4. 带容差自适应帕累托选择:打破单标量折叠并在受保护效用下优选结构

面对效用、多样性与覆盖度的内在矛盾,将三者加权为单标量不可避免地会导致在效用下跌时盲目迎合表面正则项。SkillBrew 在查询集 \(\mathcal{D}_{\text{query}}\) 上建立客观的三维评估体系:以反事实边际增益加权平均计算全局效用 \(J_{\text{util}}(\mathcal{B})\);以技能嵌入的归一化 Gram 矩阵行列式衡量空间体积表征多样性: $\(J_{\text{div}}(\mathcal{B}) = \det(G + \lambda I)^{1 / |\mathcal{B}|}\)$ 以平均检索命中率与被激活技能比例的乘积表征覆盖度 \(J_{\text{cov}}(\mathcal{B}) = \text{density} \cdot \text{usage}\)。在选择阶段,系统首先在候选集与无修改的 null 候选上提取非支配帕累托前沿 \(\mathcal{F}^{(i)}\);随后引入前沿自适应容差 \(\epsilon = 0.03\),锁定满足 \(J_{\text{util}}(\mathcal{B}) \ge u_{\max} - \epsilon\) 的平局候选池 \(\text{Tied}\);最后在池内通过关于多样性与覆盖度的超体积贡献(Hypervolume Contribution)决出最终胜者。这一设计构筑了严格的效用底线守卫(Utility Safeguard),确保模型绝不会为了盲目追求概念多样性而牺牲智能体的实际胜率。

一个完整示例

以 ALFWorld 具身家庭任务中的「加热并放置物体(Heat)」为例: 1. 冷启动与初始状态:初始库中包含通用探索规则,但智能体在多轮试验中常陷入微波炉、冰箱与橱柜间的死循环,Round 1 时技能库规模为 35,对应测试集胜率处于 40% 左右。 2. 反事实诊断与改写提议:针对技能 Systematic room search,诊断器通过留一法重放发现:原规则第 1 条硬性要求“必须先去终点容器”,导致在物体就在身旁的场景下模型舍近求远反复失败(WITH-skill 失败而 WITHOUT-skill 成功)。诊断器精准定位出 flaw 在第一句,开出 REWRITE 罚单;编辑规划器将其改写为“优先判定目标是否就在视野内,仅未见时按序搜寻”。 3. 帕累托多目标验证:编辑规划器提出 \(K=11\) 个候选库(分别侧重修剪、扩充与改写)。在查询集验证中,激进修剪方案虽使 \(J_{\text{div}}\) 升高,但 \(J_{\text{util}}\) 骤降超过 \(\epsilon=0.03\) 阈值被剔除;最终选中的获胜库修复了无效徘徊规则,剔除了冗余垃圾规则。库容量从 Round 1 的 35 最终收敛精炼至 Round 10 的 23 个核心技能,对应 ALFWorld Heat 任务胜率跃升至 60.9%,平均成功率达到 59.0%。

实验关键数据

主实验

在三个标准智能体基准环境(ALFWorld 具身决策、WebShop 网页购物交互、ScienceWorld 交互式科学实验)上,统一采用冻结权重的 Qwen2.5-7B-Instruct 作为 Worker 智能体,并与 10 个代表性 Baseline 全面对比:

数据集 / 任务 评估指标 ReAct 基线 Voyager (Append-only) Skill-Pro (前 SOTA) SkillBrew (本文) 绝对提升 (vs SOTA / ReAct)
ALFWorld (平均) Success (%) 31.2 47.0 49.3 59.0 ± 1.2 +9.7% / +27.8%
- Pick & Place Success (%) 48.5 62.5 66.7 70.8 ± 2.4 +4.1% / +22.3%
- Examine in Light Success (%) 35.4 61.1 66.7 72.2 ± 3.2 +5.5% / +36.8%
- Clean & Place Success (%) 34.3 51.6 45.2 58.1 ± 1.9 +6.5% / +23.8%
- Heat & Place Success (%) 13.2 52.2 43.5 60.9 ± 2.5 +8.7% / +47.7%
- Cool & Place Success (%) 18.2 28.6 47.6 57.1 ± 2.7 +9.5% / +38.9%
- Pick Two Objects Success (%) 17.6 17.6 23.5 29.4 ± 3.4 +5.9% / +11.8%
WebShop Score (%) 46.2 50.0 38.7 59.3 ± 0.8 +9.3% / +13.1%
WebShop Success Rate (%) 19.5 26.4 23.2 38.4 ± 0.9 +12.0% / +18.9%
ScienceWorld Score (%) 11.3 10.9 17.2 25.4 ± 0.6 +5.5% / +14.1%
ScienceWorld Success Rate (%) 8.13 9.83 11.4 17.2 ± 0.7 +4.3% / +9.07%

在跨模型架构与参数规模泛化实验中,SkillBrew 展现出极强的适应性:配合闭源顶尖模型 GPT-4o 时,ALFWorld 平均成功率从 ReAct 的 46.4% 暴涨至 88.1%,WebShop 胜率从 27.2% 提升至 65.0%;更重要的是,当部署在仅 4B 参数的轻量模型 Qwen3-4B-Instruct 上时,经 SkillBrew 精炼后的智能体在 ALFWorld 达到 60.4%、WebShop 胜率达到 36.6%,逼近未精炼的千亿闭源旗舰 Gemini-2.5-Pro(61.8% 和 38.1%),证明高质量的外部程序性知识能够在很大程度上弥补模型参数规模的劣势。

消融实验

消融实验深入验证了多目标选择机制(Table 4)与三路编辑操作(Table 5)的必要性:

实验切片 配置 / 变体 ALFWorld Avg. SR (%) WebShop Score (%) WebShop Succ. (%) 设计效果说明
目标函数消融 单独 \(J_{\text{util}}\) 45.8 48.2 28.4 缺失结构正则,易过拟合查询集轨迹
(Table 4) \(J_{\text{util}} + J_{\text{div}}\) 51.4 47.6 36.5 引入多样性惩罚冗余,表现显著改善
\(J_{\text{util}} + J_{\text{cov}}\) 52.6 51.0 37.6 约束未检索冷门规则,改善覆盖
完整多目标 (\(J_{\text{util}} + J_{\text{div}} + J_{\text{cov}}\)) 59.0 59.3 38.4 效用主导与双正则协同达到最优泛化
编辑操作消融 仅 ADD (类似 Voyager 单向累加) 47.0 50.0 26.4 技能库只增不减,错误与冗余挤占检索槽位
(Table 5) ADD + REWRITE 53.5 51.0 37.6 挽救大量可修复的半成品技能 (+6.5%)
ADD + REMOVE 48.3 49.5 34.5 裁决粒度过粗,易误杀有修复价值的规则
完整操作 (ADD + REWRITE + REMOVE) 59.0 59.3 38.4 改写为主、剔除为辅,协同构建精炼库

在跨 Worker 技能库迁移实验中(Table 3),由小模型 Qwen3-4B 驱动精炼的技能库迁移给 GPT-4o 使用时,能将 GPT-4o 性能从 46.4% 提升至 78.4%,与 GPT-4o 专属精炼库(88.1%)差距仅 9.7%;反之由 GPT-4o 精炼的库也能让 Qwen3-4B 从 38.8% 提升至 53.7%,验证了提炼出的程序性原则具有通用的环境行为指导价值,而非特定模型的对抗性 Prompt 伪影。

关键发现

  • REWRITE 是价值最大化的核心引擎:消融表明 ADD+REWRITE 相比仅 ADD 带来了 6.5% 的大幅跃升,而 ADD+REMOVE 仅微升 1.3%。在真实环境中,绝大部分被诊断为负收益的技能其核心解题骨架是正确的,仅因某一句过于死板的约束导致执行受阻,REWRITE 提供了极具鲁棒性的纠错路径。
  • 技能库规模自适应收敛:不同于追加式方法导致的无限膨胀,SkillBrew 在 10 轮迭代中呈现出清晰的“先收缩、后稳定”动态(ALFWorld 库容从冷启动的 35 稳定至 23),反向证明了全局多目标剪枝成功滤除了 34% 的冗余信息。
  • 内容寻址反事实缓存大幅降低开销:反事实回放是计算瓶颈,本文设计的 SHA-256 内容寻址缓存实现了 60% 以上的跨轮次命中率,将单次 10 轮精炼的端到端耗时从 1818.3 分钟压缩至 473.8 分钟,提速 3.8 倍,且总 API 成本仅 11.2 美元,具备极强的工业落地实用性。

亮点与洞察

  • 从局部打分到全局多目标形式化的范式跃迁:传统方法将技能库退化为单一得分列表,本文首次清晰确立了「效用为硬性约束、多样性与覆盖度为结构正则」的双层优化范式。
  • 反事实因果重放穿透信用混淆:利用留一法环境重放直接量化单条技能的边际奖励差,彻底摆脱了依赖 LLM 主观幻觉评分的弊端,实现了可解释的因果归因。
  • 小模型借助精炼技能库逼近大模型上限:实证发现 4B 小模型在加载精炼技能库后的表现逼近千亿大模型未挂载技能库的水平,为端侧边缘设备部署自主进化智能体提供了切实可行的技术路径。

局限与展望

  • Agent 本身处于冻结状态:当前框架仅优化外部技能文本,智能体自身参数保持静止。未来可将技能库提炼与智能体策略梯度的强化学习(如 SkillRL)做深度端到端协同。
  • 对动态非平稳环境的适应度有待检验:目前算法建立在支持集与查询集分布同源的静态假设上,面对环境规则发生动态漂移、突变时,持续自适应重构技能库的弹性仍需扩展。
  • 反事实回放对确定性环境强依赖:对于不可逆、重度随机的开放式环境(如现实物理机器人操作),严密的留一法无损重演成本高昂,探索基于世界模型(World Models)的虚拟重放是后续重要方向。

相关工作与启发

  • vs Voyager / Trace2Skill: 早期开拓性工作均采用单向累加日志(Append-only),缺乏精简与修正机制导致库容爆炸;SkillBrew 引入多目标全局优化与三路离散编辑,驱动技能库规模稳定收敛。
  • vs ExpeL / Skill-Pro: 尽管开始引入局部编辑或单步打分,但依旧将决策依据压缩至单一标量指标,在长尾覆盖与多样性间无法自洽;SkillBrew 采用帕累托前沿与超体积决胜,兼顾了高胜率与结构健康度。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出全局技能库级别的约束多目标优化形式化与反事实双层提议验证架构。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 个复杂基准、跨 5 种参数规模的模型迁移,并附带详尽的消融与成本分析。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念界定严谨清晰,数学表述自洽,实验因果证据链条完整扎实。
  • 价值: ⭐⭐⭐⭐⭐ 为自进化智能体与工程级 Agent Skills 知识资产管理提供了极具落地性的方法论。