SkillOpt: Executive Strategy for Self-Evolving Agent Skills¶
会议: NeurIPS 2026
arXiv: 2605.23904
OpenReview: https://openreview.net/forum?id=bgUar0JP5t
领域: LLM Agent
关键词: 智能体技能, 文本空间优化器, 领域自适应, 轨迹反思, 验证门控
一句话总结¶
将智能体外部技能文档形式化为可训练的文本状态，提出类深度学习的文本空间优化器 SkillOpt，通过小批次反思、有界文本学习率预算与留出集验证门控，无需更新模型权重即在 52 项评测全胜且实现跨模型与环境迁移。
研究背景与动机¶
前沿大语言模型正被广泛部署为自主智能体，在多步骤调用工具、操作代码库及与复杂环境交互中执行长程任务。面对特定领域的落地挑战，传统基于权重微调的领域自适应方案往往代价高昂，且对闭源商业模型完全不可行；而简单的 Prompt 改写又难以承载复杂的程序性交互规范。智能体技能（Agent Skills）随之成为一种极具前景的程序性自适应接口——它以模块化自然语言文档形式封装操作规程、工具使用策略、输出约束与常见陷阱，使冻结的基座智能体能够通过上下文外部文本灵活适配新任务。
然而，现存的技能生成与演化方法大多停留在单次轨迹总结、启发式规则提取或无约束重写。这种非受控的文本变动极易引发灾难性遗忘：一次针对局部边缘失败的修补往往破坏了全局通用的有效策略，且缺乏验证反馈机制导致错误的诊断指令不断累积。更核心的矛盾在于，学术界长期将技能视作静态文本提示或自发的规则库积累，缺乏一套严格、受控且具备优化理论保障的优化框架来指导技能文档的持续演进。
本文打破了「技能演化仅是经验积累」的传统认知，将技能优化严格形式化为在离散自然语言状态空间上的领域自适应训练过程。核心 idea：将智能体技能文档视为外部可训练状态，引入前沿优化器模型构建涵盖前向轨迹采样、小批次结构化反思、有界文本学习率调度、留出集验证门控以及跨周期慢更新的受控文本空间优化器。
方法详解¶
整体框架¶
SkillOpt 将任务执行与技能训练解耦：冻结的目标智能体 \(M\) 在执行环境 \(h\) 中根据当前技能 \(s_{\mathrm{cur}}\) 执行任务批次，独立的优化器模型 \(O\) 则根据执行轨迹的反思结果对技能文档进行精细的修补与优化。整体流程由前向轨迹收集、反向小批次反思、有界文本更新、留出集验证门控以及跨周期慢更新/元更新五个核心阶段构成，最终导出体积紧凑（300～2,000 tokens）且完全可读的便携技能产物 best_skill.md。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["训练集任务 D_tr"] --> B["前向轨迹采样<br/>冻结目标模型运行任务"]
B --> C["分流小批次反思<br/>解耦成功与失败轨迹"]
C --> D["结构化补丁合并与排序<br/>生成候选修补操作"]
D --> E["有界文本更新<br/>严格受控于学习率预算 Lt"]
E --> F{"留出集验证门控<br/>评估候选技能性能"}
F -->|验证集得分提升| G["接受候选技能<br/>更新当前技能与最佳产物"]
F -->|验证集未提升| H["拒绝更新<br/>写入负反馈步缓冲池"]
H -.->|传递失败先验| C
G --> I["跨周期慢更新与元指导<br/>捕获长程演化与指导优化器"]
I --> J["最终部署技能产物<br/>best_skill.md"]关键设计¶
1. 分流小批次反思与分层合并：解耦成功经验固化与失败模式纠偏
以往提示词反思往往直接将单条轨迹丢给大模型总结，容易产生以偏概全的微观修复，甚至破坏原有优秀表现。针对该痛点，SkillOpt 在反向阶段将前向执行轨迹 \(\tau\) 严格拆分为成功批次与失败批次，分别切分为大小为 \(B_m\) 的反思小批次。优化器模型 \(O\) 对失败小批次提取共性程序性缺陷，生成纠错性质的结构化补丁（增、删、改、替换）；对成功小批次则提炼值得泛化的有效策略并强化正向规程。在多路提案汇总时，系统执行分层合并：先独立合并同类补丁，再执行以失败纠错为第一优先级的全局仲裁，剔除与成功模式冲突、针对单一任务过拟合或冗余重复的琐碎提案。
2. 有界文本更新与学习率调度：防止过度编辑与语义漂移
直接让大语言模型重写整篇技能文档是导致优化发散和能力退化的元凶。SkillOpt 将深度学习中的学习率概念映射为单步允许应用的最大编辑操作数量预算 \(L_t\)。在聚合排序阶段，优化器根据系统性影响、互补性、通用性和可执行性四个维度对合并候选补丁进行综合打分，严格截断保留前 \(L_t\) 个高优先级编辑。系统内建余弦退火、线性衰减及自适应学习率调度策略，在优化初期允许较大尺度的规则探索，后期则逐步收敛至微调整合。在底层实现上，编辑操作限定为 append、insert_after、replace 与 delete 四种原子补丁操作，彻底杜绝无约束自由重写引入的非必要语义漂移。
3. 留出集验证门控与负反馈缓冲：构建闭环假设检验与探索记忆
大模型优化器所提出的看似合逻辑的文本建议，并不必然能提升下游实际执行能力。SkillOpt 在训练流程中强制引入验证门控：候选技能 \(\tilde{s}\) 必须在独立的留出验证集 \(D_{\mathrm{sel}}\) 上由目标模型运行全量评测，唯有当评测得分严格大于当前基准 \(\text{score}_{\mathrm{cand}} > \text{score}_{\mathrm{cur}}\) 时才予以接受并采纳为当前技能。若未能通过验证，该次提议立刻被驳回，并连同其触发的性能跌幅、失败原因及补丁文本记录进当前周期的负反馈步缓冲池 \(\mathcal{B}\)。后续反思调用时，优化器会显式接收该缓冲池内容，从而避免反复重试已被证伪的死胡同方案，在零额外推理成本下为离散优化注入强约束的负反馈梯度。
4. 跨周期慢更新与优化器元记忆：长程策略巩固与师生解耦
局限于单步批次的局部补丁难以捕获多轮优化过程中积累的全局漂移与长期盲区。SkillOpt 借鉴动量优化理念引入周期级慢更新：在每个 epoch 结束时，系统重采样 20 个相同基准任务，对比前一周期末与当前技能的执行表现，将样本细分为恢复、倒退、持续失败和稳定成功四类。优化器由此提炼宏观战略指南，写入技能文档中由特定标记包裹的受保护慢更新区域（单步优化补丁无权修改）。与此同时，优化器端维护独立的跨周期元记忆（Meta Skill），专门归纳哪些编辑模式易获准、哪些频繁遭拒，作为后续反思提示词的上下文增强，实现了训练态高级元指导与部署态精简技能产物的清晰解耦。
一个完整示例：SpreadsheetBench 上的技能演化与落地¶
在复杂电子表格自动化任务中，初始技能仅泛泛要求使用 Python 库处理数据。在第 1 周期中，目标模型多次在包含多工作表的复杂公式题中受挫（如依赖 Excel 重新计算机制但评测器直接读取静态单元格）。优化器识别出该共性失败模式，生成一条替换型高优先级补丁：“检查工作簿结构与实际公式后，必须在请求目标区域全量写入经 Python 计算求值后的静态数值，禁止依赖外部计算引擎”。该补丁通过验证门控并使验证集准确率提升 18.2%。到了周期末的慢更新阶段，系统比对发现虽然公式问题解决，但在空白单元格边界处理上存在轻微倒退，慢更新机制随即在受保护区域写入长期执行纪律：“保存工作簿后必须重新读取校验边界行列与残存空值”。最终仅历经 4 次采纳编辑，技能文档从 224 tokens 演进为 1,995 tokens 的高成熟度领域专家规程，测试集得分从 41.8 飙升至 80.7。
损失函数 / 训练策略¶
优化过程在离散文本空间运行，无连续参数反向传播。形式化训练目标为在训练集 \(D_{\mathrm{tr}}\) 的经验支撑下，寻找最大化验证集期望奖励的离散技能字符串 \(s^{\star}_{\mathrm{sel}}\)： $\(s^{\star}_{\mathrm{sel}} = \arg\max_{s \in \mathcal{C}(D_{\mathrm{tr}})} \frac{1}{|D_{\mathrm{sel}}|} \sum_{x \in D_{\mathrm{sel}}} r(s)\)$ 其中候选集合 \(\mathcal{C}(D_{\mathrm{tr}})\) 由前述轨迹反思与受限步长编辑生成，\(r(s) \in [0, 1]\) 为评测环境给出的硬性打分（如精确匹配度或任务成功率）。默认超参数设为 4 个 epoch，单步前向批大小 \(B=40\)，反思小批大小 \(B_m=8\)，初始编辑预算 \(L_t=4\) 并采用余弦衰减下限 \(L_{\min}=2\)；慢更新在第 2 周期及以后触发，采样 20 个样本执行跨周期纵向对比。
实验关键数据¶
主实验¶
在直接交互（Direct Chat）、Codex 命令行沙箱以及 Claude Code 自动化工具环路三种执行模式下，涵盖 GPT-5.5 到 Qwen3.5-4B 共 7 类基座模型与 6 大基准数据集（SearchQA、SpreadsheetBench、OfficeQA、DocVQA、LiveMathematicianBench、ALFWorld）。在评测的全部 52 个“模型-基准-环境”单元格中，SkillOpt 全部取得最优或并列第一。
| 模型 / 配置 | 执行模式 | SearchQA | Spreadsheet | OfficeQA | DocVQA | LiveMath | ALFWorld | 均分提升 |
|---|---|---|---|---|---|---|---|---|
| GPT-5.5 (No Skill) | Direct Chat | 77.7 | 41.8 | 33.1 | 78.8 | 37.6 | 83.6 | 基线 (58.8) |
| GPT-5.5 (Human Skill) | Direct Chat | 81.8 | 72.9 | 66.9 | 90.1 | 38.4 | 91.8 | +15.2 |
| GPT-5.5 (LLM Skill) | Direct Chat | 80.9 | 43.2 | 51.7 | 89.6 | 40.0 | 93.3 | +7.6 |
| GPT-5.5 (Trace2Skill) | Direct Chat | 82.4 | 49.6 | 65.7 | 90.6 | 52.0 | 87.3 | +12.5 |
| GPT-5.5 (TextGrad) | Direct Chat | 81.4 | 41.1 | 42.0 | 87.2 | 49.2 | 82.8 | +5.1 |
| GPT-5.5 (GEPA) | Direct Chat | 84.8 | 73.6 | 63.9 | 89.1 | 43.2 | 85.8 | +14.6 |
| GPT-5.5 (SkillOpt) | Direct Chat | 87.3 | 80.7 | 72.1 | 91.2 | 66.9 | 95.5 | +23.5 (82.3) |
| GPT-5.5 (No Skill) | Codex Harness | 81.8 | 27.5 | 38.4 | 87.2 | 35.2 | – | 基线 (54.0) |
| GPT-5.5 (EvoSkill) | Codex Harness | 61.4 | 67.5 | 42.4 | 89.3 | 63.2 | – | +10.8 |
| GPT-5.5 (SkillOpt) | Codex Harness | 87.3 | 85.0 | 51.1 | 92.2 | 78.4 | – | +24.8 (78.8) |
| GPT-5.5 (No Skill) | Claude Code | 81.9 | 22.1 | 57.6 | 86.6 | 40.8 | – | 基线 (57.8) |
| GPT-5.5 (EvoSkill) | Claude Code | 84.0 | 75.0 | 70.3 | 87.2 | 52.0 | – | +15.9 |
| GPT-5.5 (SkillOpt) | Claude Code | 85.9 | 80.4 | 71.5 | 90.1 | 56.5 | – | +19.1 (76.9) |
消融实验¶
消融实验在 GPT-5.5 基准下深入剖析了有界文本学习率、负反馈缓冲池以及跨周期慢更新的核心效能。
| 配置 | SearchQA | SpreadsheetBench | LiveMath | 说明 |
|---|---|---|---|---|
| SkillOpt (默认完整配置, \(L_t=4\)) | 87.1 | 77.5 | 61.3 | 完整优化机制与约束 |
| 动态无界学习率 (dynamic lr) | 85.8 | 71.8 | 54.0 | 缺乏严格步长剪枝，大幅退化 |
| 移除学习率约束 (without lr) | 84.6 | 75.7 | 57.3 | 自由文本修改导致泛化能力受损 |
| 移除负反馈缓冲池 (w/o rejected buffer) | 85.5 | 72.9 | 58.9 | 缺少失败探索记忆，容易重蹈覆辙 |
| 移除元记忆 (without meta skill) | 85.1 | 75.7 | 58.1 | 优化器缺乏跨步自适应反思指导 |
| 移除元记忆与慢更新 (w/o meta & slow) | 86.3 | 55.0 | 59.7 | 长期策略断层，复杂任务严重跌落 22.5 分 |
关键发现¶
- 程序性任务收益最为惊人：在强依赖格式和特定调用流程的 SpreadsheetBench（+38.9）、OfficeQA（+39.0）和复杂数学 LiveMath（+29.3）上，SkillOpt 带来质的跃升；甚至在具身仿真 ALFWorld 上使小模型 GPT-5.4-nano 表现翻倍（34.3→69.4）。
- 极高的编辑经济性（Edit Economy）：最终卓越表现仅来自 1～4 次被验证门控真正采纳的精确补丁（中位数仅 2.5 次）；绝大多数未经验证的次级修改被门控滤除并沉淀为负反馈，保证了最终技能文档的高度凝练与高信息密度。
- 卓越的零样本泛化与跨环境迁移：在 Codex 环境下训练的电子表格技能直接部署到 Claude Code 环境，不仅未发生水土不服，反而在零额外适配下带来 +59.7 的显著提升（22.1→81.8）；数学奥数题生成的技能可顺利迁移至 Omni-MATH 基准。
亮点与洞察¶
- 将文本技能提升为第一类可优化实体：跳脱出单纯依靠 Prompt 工程或微调权重的两极分化，借鉴优化器理论把自然语言技能作为离散受控状态优化，极具工程指导意义。
- 门控与负反馈缓冲的绝妙结合：严格的 \(\text{score} > \text{score}_{\mathrm{cur}}\) 挑选机制把大模型的狂想约束在实际收益之内，同时将失败成本转化为优化器的宝贵负面先验，构成了正负反馈兼备的双轮驱动。
- 完全解耦训练与推理开销：优化时利用强模型的高昂反思计算，但交付部署时仅产生一份数百词的纯文本 Markdown 规程，目标基座无需增加任何推理延迟和参数更新，极易嵌入生产管线。
局限与展望¶
- 依赖自动化判分环境：当前验证门控依赖确定性测试集与自动评分器（如精准匹配或代码执行结果），对于主观、长文本生成或开放式探索任务，缺乏廉价可靠的验证手段。
- 单领域单一技能的规模天花板：当前框架为特定领域优化一份独立技能文件，尚不支持跨领域动态路由的技能库（Skill Library）架构，难以应对多领域交叉的复合型任务。
- 缺乏反向模型自蒸馏机制：尽管技能文本迁移性极强，但长时间积累的高价值规程未内化进模型权重，后续可探索通过反思经验与精炼技能反向蒸馏强化基座模型。
相关工作与启发¶
- vs TextGrad / GEPA: TextGrad 与 GEPA 侧重于针对具体提示词节点执行基于反思的提示词演化，未将“智能体技能”作为持久、独立、结构化的可复用规程，且缺乏离散文本编辑步长预算和负反馈显式记忆。
- vs Trace2Skill / EvoSkill: Trace2Skill 侧重单向轨迹蒸馏，缺少闭环的留出集验证门控，易沉淀错误规则；EvoSkill 依赖启发式突变，缺少严密的反思合并与步长退火调度，导致文本膨胀且在多任务上稳定性逊于 SkillOpt。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性将深度学习优化思想完整映射到离散自然语言技能的闭环训练中。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 7 款模型、6 项硬核基准、3 种执行环境共 52 组测试，包含完备的消融与迁移分析。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，理论类比贴切生动，图表信息充沛且叙述清晰。
- 价值: ⭐⭐⭐⭐⭐ 为冻结大模型与智能体系统在闭源、受限资源环境下的领域自适应指明了轻量且强大的工业级落地路径。