SkillsVote: Lifecycle Governance of Agent Skills from Collection, Recommendation to Evolution¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/MemTensor/skills-vote
领域: LLM Agent
关键词: 智能体技能治理、技能生命周期、Agentic 检索推荐、子任务因果归因、证据门控自演化
一句话总结¶
SkillsVote 提出了首个覆盖智能体技能全生命周期的治理框架,通过开源技能画像过滤、执行前基于文件系统的 Agentic 推荐、执行后子任务级多维责任归因以及仅依赖可复用成功探索的证据门控演化,化解了大规模技能库的上下文干扰与经验污染问题,在 Terminal-Bench 2.0 和 SWE-Bench Pro 上实现了稳健的在线自进化与跨任务离线迁移。
研究背景与动机¶
面向长程复杂任务的 LLM Agent(如代码修复、终端操作与系统运维)在交互过程中会产生丰富的执行轨迹,这些轨迹蕴含着宝贵的问题解决经验。然而,原始轨迹通常冗长散乱、充斥着偶发性试错与特定环境状态,难以直接作为耐用经验复用。将可执行资源、步骤指引、依赖约束与适用边界封装为结构化文件夹产物(以 SKILL.md 配合可选脚本与资源的 Agent Skills)已成为行业主流标准。但随着 SkillsMP、skills.sh 等开源生态迅速突破百万规模,技能资产呈现出极高的冗余性、不均质质量与脆弱的环境依赖。直接把未加筛选的庞大技能库暴露给智能体,不仅急剧扩充搜索空间,还会引入弱相关干扰甚至导致严重的负迁移。
更深层的危机发生于经验自进化的反馈回路之中。传统方法直接将整条轨迹压缩为策略或自然语言工作流,不仅面临任务级稀疏奖励导致的严峻信用分配难题,更容易造成持续演化中的「技能库污染」:偶发成功的非本质操作被错误固化为规则,而外部网络波动或客户端环境崩溃等不可抗力导致的失败却促使智能体胡乱修改有效技能。相反,细粒度的单步工具调用又过于碎片化,无法构成具备独立语义的操作范式。
这一困境的核心矛盾在于:智能体在长程任务中迫切需要可复用的模块化经验,但无节制的技能检索注入与粗放的轨迹提炼演化必然导致上下文中毒与库污染恶性循环。本文的切入视角是将 Agent Skills 视为全生命周期的受控软件工程实体,而非一次性静态提示词。核心 idea:构建「任务前 Agentic 检索推荐 → 任务后子任务级因果归因 → 证据门控保守演化」的双向闭环,在执行前用基于文件系统的交互检索压减冗余暴露,在执行后仅将归因为可复用成功探索的局部知识纳入聚合更新。
方法详解¶
整体框架¶
SkillsVote 将技能库治理划分为四大串行耦合阶段:海量技能画像、任务前推荐、任务后归因与受控演化。在静态准备阶段,系统对百万级 GitHub 开源技能进行多维属性、质量与可验证性画像;在任务执行前,推荐智能体在本地只读技能目录上以文件检索工具按需排查,向求解智能体输出极简的技能子集与结构化整合指引;任务结束后,归因模块恢复求解会话,将完整轨迹切分为语义自闭环的「子任务」并判定成败责任来源;最后,演化模块对可复用成功证据进行批次聚合与门控路由,生成针对现有技能的最小编辑或创建新技能。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
A["开源百万级技能库<br/>1.68M GitHub 原始技能包"] --> B["开源技能多维画像与可执行任务合成<br/>运行环境/质量/可验证性三维过滤"]
B --> C["治理后就绪技能库<br/>结构化目录:SKILL.md/scripts/assets"]
C --> D["任务前 Agentic 检索与精炼上下文推荐<br/>文件系统只读探索 + 极简子集与指引生成"]
D --> E["求解智能体任务执行<br/>加载推荐技能与约束指引完成长程交互"]
E --> F["细粒度子任务切分与多维因果责任归因<br/>断点切分子任务 + 判定责任与提炼可复用增量"]
F --> G["基于可复用成功探索的证据门控演化<br/>严格准入 + 批次聚合 + Edit/Create/Skip 路由"]
G -->|更新与创建技能| C
关键设计¶
1. 开源技能多维画像与可执行任务合成:从混沌开源生态中沉淀高可信资产
针对开源社区技能规范混乱、依赖不透明的问题,SkillsVote 构建了覆盖 168 万技能的画像过滤流水线。首先通过官方验证脚本校验格式并基于最早提交时间完成精确去重;随后由专用画像智能体调用 Grep、Glob、Read 工具深入分析整个技能目录,生成三个维度的结构化 Profile:
- 运行环境画像(SkillEnvironmentRubric):精确标注支持操作系统(Linux/macOS/Windows)、写入作用域(read/workspace/system)、网络依赖(offline/online/secured)、依赖环境变量、CLI 工具集以及 MCP 服务。
- 质量画像(SkillQualityRubric):从目标一致性(Consistency)、先决条件与流程完整性(Completeness)以及智能体任务导向性(Orientation)进行评级。
- 可验证性画像(SkillVerifiabilityRubric):评估成功标准是否具客观低歧义观测性(Success Verifiability)、依赖是否可在沙箱容器内重现(Environment Controllability)以及基准构造开销(Task Constructability)。
对于通过可验证性评估的优质技能,系统自动合成包含严谨指令、沙盒配置与自动化判定脚本的 Harbor 格式评测任务,使静态技能文本转化为可被真实轨迹驱动评估的基准环境。
2. 任务前 Agentic 检索与精炼上下文推荐:基于文件系统的交互式噪音阻断
传统技能检索依赖稠密向量或纯文本元数据匹配,在面对数十万候选及混淆意图时极易失效,且全量注入 SKILL.md 会造成严重的上下文冗余。SkillsVote 将推荐建模为一个独立的只读文件系统搜索任务:
推荐智能体运行在独立只读环境中,以候选技能根目录为工作路径,将求解任务描述视为能力需求。智能体不执行求解任务,而是使用文件工具深入查验候选目录下的 SKILL.md 正文、配套脚本与约束说明,最终输出去重后的精确技能列表 skill_names 以及一段压缩的使用指引 optimized_context。该指引明确指明每项技能覆盖的任务子阶段、多技能组合时序以及适用边界,直接拼接到求解智能体的提示词中。这从源头上杜绝了弱相关技能污染输入窗口,扮演了关键的负迁移阻断阀门。
3. 细粒度子任务切分与多维因果责任归因:架设轨迹到经验的因果桥梁
为了克服整条轨迹评估过于粗糙、单步动作又过于琐碎的粒度断层,SkillsVote 提出了「子任务(Subtask)」概念作为经验进化的最小可演化单元。一个子任务被定义为具备单一独立目标、单一主判定信号源(environment、human 或 unknown)以及至多关联一个参考技能的操作段落。系统仅在目标转换、评估信号源切换或关联技能改变时才切分轨迹。
在此基础上,归因阶段通过恢复求解会话上下文,从三维轴向压缩执行证据:
- 判定证据源:区分客观沙箱反馈与主观无监督结果,避免缺乏验证的臆断进入经验库。
- 责任归因判定:将子任务归因至 11 类明确状态(如 success_skill_used_with_extra_exploration、success_viewed_skill_but_not_used、success_no_skill_seen,以及技能缺陷、智能体自身瓶颈、客户端环境崩溃、外部网络故障等导致的失败)。
- 可复用增量提炼:精确定位技能文本中实际生效的行号范围(skill_refs),仅提取具备跨任务通用性的过程、先决条件或恢复范式,彻底剥离黄金答案、硬编码参数与临时重试等偶发噪音。
4. 基于可复用成功探索的证据门控演化:防止技能库退化与无序膨胀的防御性更新
经验库持续演化最大的风险是虚假成功与误导性补丁。SkillsVote 设计了一套严格的证据准入门控与路由逻辑:
- 严格准入过滤:仅允许具备非空 exploration 且归因为三大类「成功探索」的子任务进入演化阶段;任何失败、不确定或偶发性调试的子任务均直接跳过,仅留存用于离线诊断。
- 批次聚合去重:同一批次内支持相同修复、先决条件或规避方案的子任务被合并为单一更新提案,避免高频细碎修改。
- 受控操作路由:根据因果关系分流为五种行动类型:
* error_fix:对已关联技能中被证伪的错误指令进行精确修改(Edit)。
* knowledge_addition:向已关联技能补充缺失的降级方案或必要分支(Edit)。
* prerequisite_addition:补充前置环境依赖与适用边界警示(Edit)。
* create_skill:当成功探索超出已有技能边界,或在未参考技能下完成全新通用子任务时,创建全新的独立技能文件夹(Create)。
* skip:证据薄弱或与目标领域不符时维持原状。
一个完整示例¶
在从 Terminal-Bench Pro 向 Terminal-Bench 2.0 Hard 迁移的真实案例中,离线任务要求配置带限速与详尽日志的 Apache 站点。求解智能体在探索过程中发现 Ubuntu 默认模块缺少精确并发控制,因而摸索出通过安装 libapache2-mod-qos 并配置 QS_SrvMaxConnPerIP 的通用方法,并建立了基于 ports.conf 与 sites-available 的持久化配置流程。归因模块将该成功段落归为 success_no_skill_seen,并在演化阶段创建了新技能 ubuntu-apache-vhost。
在后续另一个离线任务中,智能体使用该技能启动服务时遇到精简容器内 systemctl 缺失的报错,智能体成功探索出降级为 service apache2 start 并增加 apache2ctl -S 端口复核的组合策略,归因模块判定其为 success_skill_used_with_extra_exploration,将上述降级规则增量 Edit 合入 ubuntu-apache-vhost。
当面对从未见过的 Terminal-Bench 2.0 任务 configure-git-webserver(要求配置 Git push 触发 Web 部署)时,推荐模块精准命中 ubuntu-apache-vhost,智能体直接复用了系统服务后台守护与端到端 curl 运行时检验范式,一次性成功构建部署;而无技能基线则因采用单次临时 Node 脚本且缺乏服务持久化与状态验证最终判定失败。
运行环境与求解集成¶
SkillsVote 基于 Harbor 容器框架深度集成,实验镜像预装 Node.js 22、nvm 0.40.4 与 Codex CLI 0.125.0。推荐模块以只读方式挂载技能库并限制写权限;求解智能体关闭默认系统内置插件与技能以消除混杂偏置;归因与演化模块利用 Harbor 试验生命周期钩子(trial-end hook),在容器销毁后由宿主机恢复 Codex 会话提取加密思维链与完整证据,若 Harbor 判定进入重试轮次则暂缓归因,确保写入经验库的均为确定性终态结论。
实验关键数据¶
主实验¶
在 Terminal-Bench 2.0(89 个终端任务,报告 5 次独立运行的平均准确率 avg@5 Accuracy)与 SWE-Bench Pro(731 个真实软件工程任务,报告 1 次独立运行的解决率 avg@1 Resolve Rate)上的核心测试结果如下:
| 基准数据集 | 骨干模型 | 无技能基准 | 在线 SkillsVote | 在线 ReasoningBank | 在线 skill-creator | 离线 TB-Pro 迁移 | 离线 Curated 库 |
|---|---|---|---|---|---|---|---|
| Terminal-Bench 2.0 (avg@5) | GPT-5.2 medium | 51.1 | 53.7 (+2.6) | 52.1 (+1.0) | 53.7 (+2.6) | 58.9 (+7.8) | 54.8 (+3.7) |
| Terminal-Bench 2.0 (avg@5) | GPT-5.4 mini | 51.7 | 52.8 (+1.1) | 50.6 (-1.1) | 47.6 (-4.1) | 57.5 (+5.8) | 55.7 (+4.0) |
| Terminal-Bench 2.0 (avg@5) | GPT-5.5 xhigh | 79.8 | 80.7 (+0.9) | 77.7 (-2.1) | 78.8 (-1.0) | 81.2 (+1.4) | 78.1 (-1.7) |
| SWE-Bench Pro (avg@1) | GPT-5.2 medium | 47.6 | 50.3 (+2.7) | 47.7 (+0.1) | 48.6 (+1.0) | – | 44.2 (-3.4) |
| SWE-Bench Pro (avg@1) | GPT-5.4 mini | 46.9 | 49.5 (+2.6) | 49.0 (+2.1) | 49.2 (+2.3) | – | 48.4 (+1.5) |
| SWE-Bench Pro (avg@1) | GPT-5.5 xhigh | 58.4 | 59.6 (+1.2) | 56.1 (-2.3) | 55.8 (-2.6) | – | 56.1 (-2.3) |
在所有 6 组模型与基准组合中,在线 SkillsVote 均稳定超越无技能基准,并在所有在线对比中保持最优或并列第一。强模型 GPT-5.5 下,ReasoningBank 和 skill-creator 均出现显著负迁移掉点(在 SWE-Bench Pro 上分别下滑 2.3 和 2.6 个百分点),而 SkillsVote 依靠严格门控保持稳步正增益。
扩展实验:大规模技能路由与推荐消融¶
在包含 75 个专家核验查询与 79,141 个混淆技能(含 780 个强干扰项)的 SkillRouter 公开硬测试集上,SkillsVote 展示了出色的跨规模路由鲁棒性(FC@10 表示前 10 命中全部真实技能的完全覆盖率):
| 候选技能库规模 | 路由方案与模型 | Hit@1 (%) | Recall@10 (%) | FC@10 (%) | 单次调用成本 ($) |
|---|---|---|---|---|---|
| Full (79,141) | SkillRouter (0.6B Dual-Encoder) | 65.3 | 67.2 | 46.7 | – |
| Full (79,141) | SkillsVote (GPT-5.4 mini xhigh) | 52.0 | 48.0 | 34.7 | 0.076 |
| Full (79,141) | SkillsVote (GPT-5.4 xhigh) | 65.3 | 66.1 | 54.7 | 0.090 |
| Full (79,141) | SkillsVote (GPT-5.5 xhigh) | 70.7 | 74.2 | 62.7 | 0.158 |
在 Terminal-Bench 2.0 Hard 任务集上对「任务前推荐模块」进行显式消融(度量任务级平均增益/损失百分比 \(\Delta\)): - 在线模式无推荐(直出技能库):正负贡献比为 +3.3% / -6.7%(净负迁移显著); - 在线模式加入推荐:正负贡献扭转为均衡的 +6.0% / -6.0%(有效过滤弱相关噪音); - 离线迁移无推荐:正负贡献比为 +11.3% / -3.3%; - 离线迁移加入推荐:正负贡献优化至 +15.3% / -2.0%(最大化优质经验正向复用)。
关键发现¶
- 历史相关轨迹演化经验的强泛化性:从 TB-Pro 仅 48 个历史任务提炼出的紧凑技能库,在零样本迁移至未见过的 TB-2.0 任务时提升高达 +7.8%(GPT-5.2)与 +5.8%(GPT-5.4 mini),大幅优于通用筛选的 10k 开源技能库(Curated),证明高质量轨迹归因出的操作不变性具有高度迁移价值。
- 推荐与演化的解耦互补机制:演化负责产出具有潜在复用价值的高保真技能文件,而推荐负责在特定任务前担任过滤器。直接粗暴地把演化出的全部技能喂入输入流会因注意力稀释而诱发惨重退化。
- 开源生态热度与质量严重脱节:168 万技能库的星标分布高度偏向小于 100 星的长尾(超过 79%),且随着格式验证与去重推进,高星仓库占比并未显著提高,说明 GitHub Star 绝不能作为技能质量或可执行性的代理信号。
亮点与洞察¶
- 将 Agent 技能视为受控软件资产而非静态文本:通过
SKILL.md与脚本/依赖解耦的目录化管理,使得智能体经验具备了版本控制、最小差异补丁(Git diff 式的 Edit)与可审计性。 - 以子任务为颗粒度的因果归因范式:跳出单步过细与整轨过粗的二元对立,将因果责任明晰地分解到客观环境判定、技能引导与自主探索,彻底切断了「环境故障导致误删误改技能」的负反馈闭环。
- 无须微调权重的即插即用演化:全流程不依赖昂贵的模型梯度更新,而是通过外部知识库的精准受控自更新,使冻结的通用商用大模型在持续交互流中实现轻量级终身学习。
局限与展望¶
- 基准领域覆盖局限于代码与终端场景:实验主要在具备客观自动化判题器的 Terminal-Bench 与 SWE-Bench 上完成,尚未拓展至多模态交互、开放性创作及依赖复杂人类主观偏好的任务领域。
- 对事后因果信号质量的强依赖:归因与门控机制高度依赖沙盒执行日志与判题反馈。在判题信号缺失或不完整(如主观开放问答)时,由于采取极度保守的更新准则,可能会丢弃部分潜在有益的探索经验。
- 跨框架与异构智能体泛化性待验证:当前评测基于统一的 Codex 实例与 Harbor 环境,不同架构或不同工具接口的 Agent 是否能无缝共用演化后的技能库仍需进一步探索。
相关工作与启发¶
- vs ReasoningBank / Reflexion / ExpeL:早期记忆机制多保存非结构化自然语言策略、案例或整条轨迹,不仅占用过长上下文,而且在复杂工具调用中缺乏可执行资源;SkillsVote 将经验结构化为可执行文件夹,并引入细粒度子任务归因进行门控过滤。
- vs SkillRouter / DCI:SkillRouter 基于小模型双塔架构对全量技能正文做路由,而在 8 万大库下完全覆盖率(FC@10)受限;SkillsVote 采用基于文件系统原生工具的 Agentic 深入探测,将完全覆盖率提升至 62.7%,且单次查询开销不随库规模线性膨胀。
- vs skill-creator / Trace2Skill:直出式的轨迹蒸馏方案缺乏责任归因,常将偶发成功或环境失败演化为误导性规则;SkillsVote 的双向准入门控与批次合并机制有效防范了持续自进化的性能崩溃。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出覆盖开源画像、任务前交互检索、任务后多维归因与证据门控演化的全生命周期智能体技能治理闭环。
- 实验充分度: ⭐⭐⭐⭐⭐ 兼顾百万开源库画像分析、8万候选极限路由压力测试以及两大顶尖智能体编码基准的多模型跨难度验证,数据详实可信。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰,系统架构与因果归因状态机定义完备,案例分析具高度说服力。
- 价值: ⭐⭐⭐⭐⭐ 为大模型长程自主智能体摆脱粗放式上下文膨胀、迈向受控持久化经验复用提供了极具工程实践与学术指导意义的标准范式。