SkillMe: Evolving Agent Skills for Recurring Personal Workflows¶
会议: EMNLP 2026
论文: https://aclanthology.org/2026.emnlp-main.564/
代码: https://github.com/deerlove-lxq/SkillMe
领域: LLM 智能体
关键词: 智能体技能演化, 个人周期性工作流, 证据溯源维护, 任务作用域技能, 智能体原生评估
一句话总结¶
针对通用智能体技能在个人周期性工作流中因本地工具、环境暗约束及特有失败模式导致的水土不服问题,SkillMe 提出了情境化技能演化框架,通过高能力发布者按需归纳与验证初始技能、多异构执行者在临时工作区中随需渐进使用并回传证据溯源反馈、再由发布者归因修订闭环演化,显著提升执行成功率并压降执行方差。
研究背景与动机¶
大语言模型(LLM)智能体正逐步深入个人日常的高频工作流自动化,例如邮箱分发、会议纪要梳理、结构化报表整理与代码维护等场景。为了避免智能体在面对重复任务时每次都从零摸索探索轨迹,研究界广泛探索了技能(Skills)机制,通过将成功经验抽象为可复用的程序性指导,构建通用、分层的技能库。这类以广义可复用为导向的技能设计预设了一套理想化前提,即高度通用的技能能够在不同任务、模型底座以及系统环境中无缝迁移。
然而,在实际个人重复工作流中,“泛化性高”往往并不等同于“情境契合(Situated Fit)”。通用公共技能虽然具备明确的语义相关性,但往往预设了标准的云端 API、常规权限或固定接口规范;一旦落地到真实的个人本地环境,智能体便会撞上特定路径下的二进制假入口、非标准本地 mock 服务的端口启动时延、私有命令行传参规范或严格的排版暗约束。若将这类工作流专属指导永久塞入全局技能目录或每轮全量拼入 prompt,既会引发上下文膨胀,又极易在非目标场景下诱发工具误用与指导冲突。因此,核心矛盾在于:周期性个人工作流急需与本地执行环境深度契合的操作契约,但依赖人工手写或一次性泛化提炼无法捕捉执行中的隐性暗病与异构智能体理解偏差。
本文的切入视角是建立一种与全局技能库共存的任务作用域演化机制:利用高能力模型探索并固化初始工作流经验,再将日常运行中的真实执行痕迹转化为技能演化的直接证据。核心 idea:SkillMe 构建了一个任务作用域的智能体技能情境化演化框架,由发布者(Publisher)从成功轨迹中归纳带证据溯源锚点的初始技能并在匹配工作流中临时挂载,执行者(Executors)按需渐进读取并产出基于轨迹证据的结构化反馈,最终由发布者执行归因分类与批量合成演化,实现低成本、低方差的高可靠工作流适配。
方法详解¶
整体框架¶
SkillMe 由用户侧执行环境与平台侧演化后台两大部分组成。在用户侧,智能体依然保留其原生的全局技能库,当且仅当后台判定当前任务命中周期性工作流时,匹配的任务专属技能才会以临时工作区文件的形式动态挂载,供执行者自主决定何时查阅与采纳,任务结束后自动清除。演化后台则依托发布者(Publisher)与执行者(Executors)的能力与成本非对称性,串联起初始归纳、情境执行、轨迹反馈以及证据归因维护的持续演化闭环。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["工作流触发与匹配<br/>任务指令 + 隔离工作区"] --> B["发布者严格读后写归纳<br/>全轨迹审查与证据图谱构建"]
B --> C["临时工作区渐进式挂载<br/>任务作用域技能动态注入与清除"]
C --> D["四元结构化反馈采集<br/>执行轨迹锚定与标签分类"]
D --> E["证据溯源归因与批量合成<br/>冲突修订 vs 澄清隔离"]
E -->|演化更新技能池| C
关键设计¶
1. 发布者严格读后写归纳:消除无依据假设与幻觉指导 现有技能生成方法常直接让强模型基于少量提示粗放总结,极易将预训练先验中的标准调用(如假定存在通用云端 API 或标准 Python 库)混入技能,导致下游执行环境不匹配。为此,SkillMe 规定发布者必须遵循严格的“读后写(Read-Before-Write)”协议:在输出任何技能文本前,发布者必须依次完整读取任务元数据、轨迹摘要、完整工具调用记录及提取的代码工件,并在证据清单中显式建立候选主张与转录文本切片(Transcript Spans)的映射关系。所归纳出的初始技能体严格包含高层策略、编号执行步骤、参数化工件模板、踩坑清单、可客观验证的校验清单以及环境假设等六大标准章节,未获执行轨迹直接支撑的主张被一律剔除,从源头上保证所有操作指导均经过真实环境的实际检验。
2. 临时工作区渐进式挂载:兼顾轻量无侵入与按需深度检验 将特定工作流的专属指导永久写入智能体的全局配置,不仅会持续侵占宝贵的上下文窗口,还可能在其他无关任务中产生语义干扰;而若在 prompt 中全量硬编码注入,又剥夺了智能体自主规划的灵活性。SkillMe 采用会话级临时文件注入机制:当检测到周期性工作流匹配时,将受管技能以普通文件形式投影至当前隔离工作区中。执行者在运行过程中采用“先评估自身能力、必要时按需读取特定章节”的渐进式查阅协议,既可以直接阅读全部指导,也可以仅在遭遇报错时检索排坑指南或复用命令模板;任务执行完毕后,临时技能文件即刻销毁,既保持了原生运行环境的纯净,又赋予了智能体渐进式检验与采纳指导的自由度。
3. 四元结构化反馈采集:将执行轨迹转化为归因凭证
传统的智能体反思或微调往往依赖自由格式的评分或文字抱怨,缺乏客观执行定位,使得后续优化无从下手。SkillMe 设计了包含 ack(确认生效并引用具体指令/工件)、bug(指出导致失败的错误指导)、style(虽完成任务但存在冗余或繁琐实现)、help(遇到技能未涵盖的环境阻碍)四种强类型反馈体系。执行者在会话结束后独立开启评估流程,对每一条反馈意见均强制绑定对应的技能目标章节、核心主张陈述以及执行日志中的精确事件 ID 或行号证据,杜绝凭空生成评价,为后续的责任归因提供结构化证据链。
4. 证据溯源归因与批量合成:阻断负向迁移并实现精准演化 面对异构执行者回传的海量反馈,直接合并更新往往会因不同模型特有的调用偏差而引发负迁移。发布者在维护阶段实施双阶段演化:首先执行逐项归因(Per-Item Attribution),将反馈主张与原始证据图谱及执行日志严格交叉核对。对于因环境暗契约暴露(如端口就绪时延、非标准参数格式)导致的通用阻碍,确认为修订项;若反馈源于执行者自身能力缺陷、未完整查阅技能或命令拼接错误,则仅将其沉淀为执行者专属的澄清记忆(Clarification Memory),不改动共享技能本体。在随后的批量合成(Batch Synthesis)阶段,发布者将同章节的修订请求按聚类整合,采用局部补丁修补或多章节连贯重写的方式更新技能,形成稳定演化版本。
一个完整示例¶
以 GWS 邮件分发任务(task_gws_triage)为例,环境内暗藏两项致命约束:工作区根目录放置了一个调用即抛 Java 异常的假二进制 gws,真实 Go 二进制隐藏在 .bin_real/gws;且调用必须配合本地 fws mock 服务并采用非标准的 --params '{...}' 格式传参。
1. 无技能状态:执行者尝试直接调用 gws --help,触发 Java 报错,盲目搜寻环境后超限退出,得分仅 10.0 分。
2. 通用技能介入:挂载公开发布的标准 Gmail 技能后,执行者试图发起 OAuth2 鉴权并访问云端 REST API,因缺少外部网络端点再度受挫,得分停留在 16.4 分。
3. 初始发布者技能(R0):发布者探明暗约束,提供真实二进制路径 .bin_real/gws 与启动命令,8 个执行者均分跃升至 58.4 分;但部分较慢的执行者因 fws 服务启动存在毫秒级时延而频繁遭遇连接拒绝,回传带转录报错的 bug 与 help 反馈。
4. 演化后技能(Evolved):发布者归因后在技能中追加显式的 fws 健康检查等待循环与 RFC 2822 标准排版模板,执行者均分大幅攀升至 87.9 分,平稳固化了该工作流的隐性执行契约。
实验关键数据¶
主实验¶
实验基于 OpenClaw 智能体框架与 PinchBench 基准,在 71 个需要技能辅助的任务子集上评估 8 种异构执行者(发布者统一为 deepseek-v4-pro)。如下表所示,SkillMe 为所有执行者均带来了显著正向收益,全类别平均提升达 +25.7 分。
| 任务分类 (71 任务) | gpt-oss-120b | gemma-4-31b-it | doubao-seed-2.0-lite | gpt-5.4-nano | gpt-oss-20b | doubao-seed-2.0-mini | gemini-3.1-flash-lite | qwen3.5-flash | 平均分 (SkillMe) |
|---|---|---|---|---|---|---|---|---|---|
| 生产力工具 (Productivity) | 92.5 | 96.3 | 94.4 | 89.8 | 89.0 | 97.4 | 94.9 | 93.0 | 93.4 |
| 调研探索 (Research) | 63.0 | 89.0 | 96.4 | 86.2 | 75.8 | 87.6 | 80.2 | 86.6 | 83.1 |
| 文案撰写 (Writing) | 6.2 | 99.0 | 100.0 | 100.0 | 91.0 | 100.0 | 100.0 | 100.0 | 87.0 |
| 代码重构 (Coding) | 96.1 | 98.5 | 90.1 | 90.1 | 90.1 | 88.4 | 88.5 | 89.3 | 91.4 |
| 综合分析 (Analysis) | 83.9 | 96.0 | 98.0 | 93.3 | 84.7 | 94.9 | 94.8 | 94.9 | 92.6 |
| 表格分析 (CSV analysis) | 74.8 | 90.9 | 95.6 | 90.9 | 83.9 | 90.3 | 91.2 | 93.5 | 88.9 |
| 日志解析 (Log analysis) | 70.7 | 98.8 | 99.2 | 99.7 | 91.9 | 97.9 | 98.2 | 99.2 | 94.4 |
| 会议提炼 (Meeting analysis) | 52.5 | 87.1 | 96.0 | 85.9 | 63.7 | 89.7 | 83.2 | 94.1 | 81.5 |
| 记忆管理 (Memory) | 100.0 | 100.0 | 90.0 | 100.0 | 100.0 | 100.0 | 100.0 | 100.0 | 98.8 |
| 技能运维 (Skills) | 100.0 | 100.0 | 100.0 | 99.0 | 100.0 | 100.0 | 100.0 | 100.0 | 99.9 |
| 环境集成 (Integrations) | 12.5 | 100.0 | 100.0 | 100.0 | 8.3 | 95.8 | 100.0 | 95.8 | 76.6 |
| 无技能基线均值 | 20.8 | 63.6 | 78.2 | 65.6 | 47.9 | 73.2 | 73.4 | 80.8 | 62.9 |
| SkillMe 均值 | 69.5 | 93.0 | 96.6 | 91.6 | 79.8 | 93.0 | 90.8 | 94.6 | 88.6 |
| 净增益 (Δ) | +48.7 | +29.4 | +18.4 | +26.0 | +31.9 | +19.8 | +17.4 | +13.8 | +25.7 |
消融实验¶
在 11 个代表性任务上对比了公共通用技能与 SkillMe 的情境适配表现;同时在 8 个强反馈任务上探究了同源反馈与跨执行者反馈注入的影响,验证了证据归因机制的必要性。
| 实验组别 | 评估配置 / 条件 | 8-执行者平均得分 | 核心结论与表现说明 |
|---|---|---|---|
| 通用技能 vs. 情境化技能 (11 类别代表任务) | 无技能基线 (No-Skill Baseline) | 48.6 | 基础能力欠缺,复杂环境易走偏 |
| 公共通用技能 (Generic Public Skill) | 66.3 | 虽有泛化提升,但在 13/88 个组合中因环境假设不匹配出现负迁移 | |
| SkillMe 演化技能 | 95.0 | 在 52/88 个组合中战胜通用技能,34 个打平,仅 2 个落后 | |
| 反馈隔离与归因消融 (8 任务 × 2 模型分析) | 仅共享初始技能 (Shared skill only) | 40.8 | 缺乏反馈记忆,模型易反复踏入同一执行误区 |
| 跨模型反馈直接混杂 (Cross feedback) | 47.8 | 异构模型调用习惯差异带来噪音与误导,稳定性差 | |
| 同源证据归因反馈 (Matched feedback) | 73.4 | 经归因与溯源过滤的反馈带来 +32.6 分的显著修复增益 |
关键发现¶
- 稳定性改善优于单纯峰值突破:在核心 21 任务连续 7 轮复现实验中,演化后 SkillMe 将执行方差由静态技能的 \(\sigma=2.0\) 压缩至 \(\sigma=1.2\),均分从 81.7 提升至 84.0;反复演化主要消除了执行中因环境假设模糊引发的偶发性崩溃。
- 摊销成本优势极其显著:单次发布者归因成本经 30 轮复现摊销后,整体单任务平均成本仅 0.019 美元(约为发布者直接运行费用的 45.5%),且 6 种执行者实现了超过 74% 的发布者规避率(即无需强模型接管即可稳定自主完成)。
- 执行者自主查阅呈现能力分化:技能查阅率为 14.3% 至 61.9%,较弱模型如 gemini-flash-lite 频繁查阅技能,而强逻辑模型 qwen3.5-flash 则表现出更强的独立执行倾向。
亮点与洞察¶
- 任务作用域挂载机制突破了技能常驻的悖论:避免了将高度特化的环境步骤固化为全局资产带来的上下文污染,以会话级临时工件形态赋予智能体弹性选择空间。
- 基于证据的闭环反馈取代了主观偏好:将反思机制建立在精确的转录文本事件切片上,利用四元类型标签实现了智能体技能在实操层面的“敏捷迭代与排错”。
- 发布者与执行者的成本非对称套利:由昂贵的强模型一次性探路并把关演化,由轻量廉价的日常模型负责多轮复现执行,在经济成本与执行成功率之间取得了极佳平衡。
局限与展望¶
- 作者承认的局限:目前验证主要基于 PinchBench 与 OpenClaw 模拟环境,依赖任务 ID 进行确定性技能索引匹配;在真实多变开放场景中,模糊语义检索与多技能动态仲裁仍具挑战。
- 潜在优化空间:当前评估以多轮中的最高分作为效用上限指标,对首轮偶发性失败的容忍度较高;未来可探索动态技能自适应熔断机制,在智能体首次执行偏航时主动触发局部重演。
相关工作与启发¶
- vs Voyager / SkillX: Voyager 与 SkillX 侧重于从成功轨迹中沉淀出广泛可迁移的通用技能代码库;SkillMe 则专注于部署后周期性特定工作流,通过使用轨迹持续反馈来消除环境暗契约带来的摩擦。
- vs SWE-Skills-Bench: 该工作揭示了通用技能在真实软件工程中存在严重的水土不服与性能倒退;SkillMe 正好为其提供了系统性解法——通过任务作用域隔离与证据溯源维护,确保技能与本地工作流紧密贴合。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统提出针对周期性个人工作流的任务作用域技能情境化演化框架。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 款异构模型、71 项复杂工作流、3064 条真实反馈审计与成本摊销分析。
- 写作质量: ⭐⭐⭐⭐⭐ 问题界定清晰,动机构造严密,案例剖析与消融论证极其详实。
- 价值: ⭐⭐⭐⭐⭐ 为轻量级个人日常智能体助手的高可靠、低成本工程化落地提供了明确范式。