跳转至

SkillGen: Verified Inference-Time Agent Skill Synthesis

会议: NeurIPS 2026
arXiv: 2605.10999
OpenReview: https://openreview.net/forum?id=uhXX7721wa
代码: https://github.com/yccm/SkillGen
领域: LLM Agent
关键词: 智能体技能, 推理时干预, 对比归纳, 因果验证, 多智能体系统

一句话总结

SkillGen 提出了面向大语言模型智能体的无训练、推理时技能自动合成框架，通过对基线成功与失败轨迹的对比归纳提取可复用行为模式与防错准则，并基于潜在结果框架建立生成-验证-精化循环与净收益部署门控，在无需更新模型参数的前提下实现稳健正向的跨模型泛化提升。

研究背景与动机

随着大语言模型（LLM）被广泛应用于多步交互、代码生成与复杂工具调用任务，智能体技能（Agent Skills）逐渐成为一种在不修改模型权重的约束下增强智能体能力的关键形态。技能通常以结构化提示词、辅助文档乃至可执行脚本的形式存在，具备推理时即插即用、模块化与可审计等显著优势。然而在实践落地中，高质量技能的编写仍极度依赖专家手工设计与经验启发，开发成本高且难以规模化适配多变的下游任务。

现有的自动化技能发现与合成方法面临两个核心瓶颈。一方面，以往工作（如基于成功回溯的轨迹提炼）主要从成功样本中总结经验，即便是少数考虑失败轨迹的方法也仅是对错误单独作孤立归纳，未能将其与同任务邻近成功轨迹进行细粒度对比。这种缺失使得智能体难以捕捉决定成败的关键对比信号——例如成功轨迹中包含的中间前置校验步骤在失败轨迹中被遗漏。另一方面，现有方法往往缺乏严谨的经验收益实证检验。在未受约束的迭代中，新生成的技能在修复部分基线失败案例的同时，极易引入未知副作用，破坏智能体原本能够正确解决的问题（即造成“倒退”）。

针对上述矛盾，本文跳出传统启发式搜索与单向成功反思的框架，从因果干预与潜在结果（Potential Outcomes）的视角重新审视推理时技能合成。核心 idea：将智能体技能形式化为作用于基线轨迹核的推理时因果干预，借助多智能体对比归纳提取正反轨迹间的细粒度行为差异，并通过闭环的生成-验证-精化循环以“修复数减倒退数”的经验净收益严格门控部署，确保技能带来可实证验证的全局正向增益。

方法详解

整体框架

SkillGen 的输入包括待增强的基线智能体 \(\mathcal{A}\)、由该智能体采样生成并划分为归纳子集 \(\mathcal{D}_{\mathrm{ind}}\) 与构建期验证子集 \(\mathcal{D}_{\mathrm{ver}}\) 的轨迹数据，以及任务级评估器 \(\mathcal{E}\)。整个系统采用多智能体协作架构，由基线诱导（Baseline Elicitation）、对比行为归纳（Contrastive Behavioral Induction）以及生成-验证-精化循环（Generation-Verification-Refinement Loop）三个核心阶段构成，最终输出一个经验净收益最大且通过门控检验的单一可审计技能 \(s^{\star}\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["基线轨迹采集<br/>成功与失败样本分层采样"] --> B["对比行为归纳<br/>聚类提取模式与局部对比对"]
    B --> C["候选技能生成<br/>三段式结构化提示词投影"]
    C --> D["成对因果验证<br/>计算修复数与倒退数净收益"]
    D --> E{"是否达到门控阈值<br/>并满足最大轮次预算？"}
    E -->|未收敛/继续迭代| F["结构化反馈精化<br/>keep/remove/add/emphasize 调整"]
    F --> C
    E -->|通过门控且收益最高| G["激活部署技能<br/>推理时注入系统提示词"]
    E -->|未达门控底线| H["废弃候选技能<br/>退化为空干预保障无害"]

关键设计

1. 局部对比归纳分析：精准捕获邻近成功与失败轨迹间的动作偏差

以往仅依赖成功轨迹或全局失败总结的机制往往遗漏决定任务成败的细微决策差异。为此，归纳智能体（Induction Agent）将基线轨迹集压缩为结构化诊断摘要 \(\mathcal{Z} = (a_0, \mathcal{F}, \mathcal{S}, \mathcal{C})\)。其中 \(a_0\) 抽象任务全局上下文，\(\mathcal{F}\) 与 \(\mathcal{S}\) 分别利用文本嵌入表征与聚类算法归纳出的共性错误根因与成功套路。更为关键的是局部对比集合 \(\mathcal{C}\)：对于每个失败样本 \(i \in \mathcal{I}^-\)，通过最近邻检索在嵌入空间中查找同一任务类型的最近成功样本 \(j(i) = \arg\min_{j \in \mathcal{I}^+} d(e_i^-, e_j^+)\)，并由 LLM 对比两者的全生命周期交互轨迹：

\[c_i = \operatorname{Contr}(x_i, \tau_i^0, x_{j(i)}, \tau_{j(i)}^0)\]

该观察结果精确指明了成功轨迹中存在、而失败轨迹中缺失的局部关键行为（如特定工具调用前置校验或中间容器状态检查），为后续生成提供了高度可执行且立足于模型自身潜在能力的具体经验。

2. 统一可审计技能范式：结构化自然语言与受限代码/文档扩展

为确保生成的技能具备人类可读性与可解释性，同时防止生成过程中智能体动作空间无序膨胀，生成智能体（Generation Agent）将诊断摘要投影为标准三段式提示词架构 \(u = (u_{\mathrm{ctx}}, u_{\mathrm{succ}}, u_{\mathrm{fail}})\)。其中 \(u_{\mathrm{ctx}}\) 明确任务边界与运行约束；\(u_{\mathrm{succ}}\) 沉淀成功流程中的标准化操作准则；\(u_{\mathrm{fail}}\) 归纳避坑反思与边界警示。针对需要外部辅助的计算或化学工具类任务，技能还允许包含受限的可执行辅助脚本 \(\mathcal{P}\) 与参考文档 \(\mathcal{R}\)。但在首轮生成确定后，后续精化轮次仅允许对自然语言正文 \(u\) 进行修订，锁死工具接口与脚本主体，从而在保证能力扩展的同时维持系统调用的确定性与安全性。

3. 潜在结果成对验证与净增益门控：平衡修复收益与倒退代价

传统的验证往往只统计添加技能后的绝对胜率，忽视了干预对原先已正确案例造成的潜在退化破坏。SkillGen 建立在因果潜在结果框架上，对每个验证样本 \(\tilde{x}_j \in \mathcal{D}_{\mathrm{ver}}\) 分别评估未加载技能时的基准输出 \(Y^0(\tilde{x}_j)\) 与加载技能后的干预输出 \(Y^s(\tilde{x}_j)\)。全集统计明确划分出两类关键变化：基线失败被逆转修复的案例数 \(n_{01}(s)\)，以及基线成功被破坏引入倒退的案例数 \(n_{10}(s)\)。经验净收益定义为：

\[G_m(s) = n_{01}(s) - n_{10}(s)\]

验证智能体据此提取结构化修正建议 \(\Phi = (\Phi_{\mathrm{keep}}, \Phi_{\mathrm{remove}}, \Phi_{\mathrm{add}}, \Phi_{\mathrm{emphasize}})\)，指导下一轮针对性局部修改。在完成多轮精化后，系统执行最佳版本优选（Best-of-\(K\)），并通过严格的部署门控判定是否激活技能：

\[G_m(s^{\star}) \ge \gamma_m, \quad \text{其中 } \gamma_m = \max\{g_{\mathrm{abs}}, \lceil g_{\mathrm{rel}} m \rceil, 1\}\]

若最优候选未能满足绝对修复底线或相对样本规模增益要求，则该技能被判定为已废弃（deprecated），在推理部署时退化为不加载任何干预的空操作 \(\varnothing\)，从根本上杜绝负收益技能上线的风险。

损失函数 / 训练策略

SkillGen 属于无需参数更新的纯推理时（Inference-time）技能合成范式，全流程通过 LLM 多智能体交互实现，不依赖反向传播优化。其核心控制目标为最大化验证集上的成对净因果增益 \(\Delta(s)\)：

\[\Delta(s) = \mathbb{E}_{x \sim p}\left[\mathbb{E}[Y^s(x) \mid x, s] - \mathbb{E}[Y^0(x) \mid x]\right]\]

在构建期，系统固定辅助智能体（实验中采用 GPT-5.4-Mini）负责归纳、生成与评估反馈，超参数设定包括最大精化轮次 \(K=8\)、聚类簇数量 \(k \in [2, 8]\)、局部对比对最多保留 20 对，门控阈值配置为 \(g_{\mathrm{abs}}=2\)、\(g_{\mathrm{rel}}=0.05\)。单次技能构建的平均代币消耗约为 5.6M tokens（折合 API 成本约 8.2 美元），一次构建完成后即可无缝复用于海量推理请求。

实验关键数据

主实验

评估涵盖交互具身（ALFWorld、ScienceWorld）、代码生成（LiveCodeBench）、Web 智能体（Mind2Web）、工具调用（MCPBench、\(\tau\)-Bench）、专业问答与化学（PubMedQA、ChemLLMBench）以及社交导航（SocialMaze）等基准，覆盖 8 款主流开源与闭源基础大模型。在 80 个测试配置中，SkillGen 在 50 个配置中取得显著提升，25 个保持持平（大多受门控安全拦截），仅 5 个出现轻微回退。

基准数据集 / 分割 评测基模型 基线准确率 (Base) 技能增强 (Skill) 净提升 (\(\Delta\))
ALFWorld (OOD) GPT-5.4-Nano 72.94% 94.90% +21.96%
ALFWorld (OOD) Gemma-4-26B 82.35% 93.73% +11.37%
ScienceWorld GPT-5.4-Nano 29.00% 54.00% +25.00%
ScienceWorld Gemma-4-26B 18.00% 34.00% +16.00%
SocialMaze (FTS) Claude-Haiku-4.5 58.00% 80.00% +22.00%
SocialMaze (FTS) GPT-5.4-Mini 56.00% 80.00% +24.00%
MCPBench (All) Llama-3.1-8B 17.50% 40.00% +22.50%
全局宏观均值 (8 模型) 开源与闭源混合 51.05% 56.70% +5.65% (各模型均涨 +3.27% ~ +10.08%)

在与 Trace2Skill、SkillX、EvoSkill 及 CoEvoSkills 等四项同类前沿技能生成基线的横向评测中，SkillGen 在相同单技能自然语言输出与无外部代码脚本约束的严格公平比较下，在 ALFWorld 与 ScienceWorld 上全面大幅领先所有对比基线。

消融实验

在 ALFWorld (OOD) 与 ChemLLMBench 产率预测任务上，对各功能模块的有效性进行了系统性切除分析（指标为相对无技能基线的准确率增益 \(\Delta\)）：

配置 / 变体 ALFWorld (OOD) 提升 ChemLLMBench 产率提升 说明
Full SkillGen (完整方案) +15.2% +16.1% 完整多智能体对比归纳+因果闭环精化
A1: ICL 替代 (k=3 范例检索) +4.1% +2.3% 证明收益来源于高阶抽象规则而非单纯上下文检索
A2: 无精化循环 (单轮即止) +8.7% +7.4% 表明多轮成对反馈与结构化调整显著拉大收益
A3: 无验证门控 (直接采纳最后候选) +3.5% -3.1% 缺少门控导致不稳定甚至造成严重负向倒退
A4: 移除失败教训 (仅从成功归纳) +6.2% +9.8% 缺乏正反对比导致无法定位关键边界脆弱点
A5: 纯文本技能 (无代码/文档束) +14.8% +4.2% 复杂领域任务对工具与参考文档的依赖极其显著

关键发现

  • 迭代精化的非单调性与最佳优选必要性：实验分析表明，单轮候选技能的性能波动剧烈。若直接使用最后一轮（如第 8 轮）生成的技能，其平均净收益可能退化至 \(-3.1\%\)；而通过 Best-of-\(K\) 准则结合因果门控挑选出的候选技能则达到 \(+8.1\%\)，两者差距超过 11 个百分点。验证门控不仅是防御性安全检查，更是稳定提炼最优技能的核心选择机制。
  • 跨模型技能迁移能力：在 120 组跨模型技能迁移测试中，70% 的组合展现非负收益，42% 的提升幅度超过 \(+5\%\)。值得注意的是，最强基模型生成的技能不一定具有最强通用性（例如在 ALFWorld 上 Qwen-2.5-7B 合成的技能迁移效果最优，而在 ScienceWorld 上 GPT-5.4-Nano 生成的技能泛化最佳）。
  • 任务特质与技能收益边界：在面向流程性强、长程规划依赖高的交互环境（ALFWorld、ScienceWorld）中，技能对完整执行链条的规范效果最好；而在重度依赖高深背景知识检索或底层组合算法洞察的场景（如 LiveCodeBench 困难算法题），纯推理时自然语言提示技能难以根本弥补模型的认知硬伤。

亮点与洞察

  • 将技能合成形式化为因果干预评估：巧妙借鉴因果推断中的潜在结果理论，把评估指标从传统的绝对胜率转化为“修复数减倒退数”的净因果增益，精准量化了技能可能带来的负面副作用。
  • 正反轨迹的局部近邻对比机制：打破了以往技能挖掘非全盘成功即孤立失败的局限，通过同类任务中失败与成功轨迹的逐动作差分对齐，以极小代价精准锁定智能体遗漏的关键前置判断。
  • 可复用的门控与部署机制：将门控作为一等公民内置于系统流中，对未通过净增益阈值的技能果断回退为空干预，这一机制可广泛复用于各类生产级智能体系统的提示词自动调优管线。

局限与展望

  • 作者承认的局限：验证集上的净提升不能完全杜绝在完全未见（Held-out）数据分布上的过泛化倒退；此外目前精化轮次锁定了外部脚本与工具扩展的接口结构，限制了更灵活的代码级工具自我演进。
  • 独立观察的局限：对任务级评估器（Evaluator）的准确度依赖度极高，在奖励函数稀疏或模糊的开放域场景中，成对比较可能引入评判噪声导致错误门控。
  • 未来改进方向：可进一步探索将动态工具编写与执行沙箱更深度地融合进精化循环，同时针对多步长程任务引入部分轨迹级（Sub-trajectory）的局部干预与修补。

相关工作与启发

  • vs Trace2Skill: Trace2Skill 采用分层结构对成功与失败分支独立提炼后合并；而 SkillGen 核心引入了基于最近邻匹配的同任务细粒度成对局部对比，且具备闭环实证验证门控，显著提升了技能的防倒退能力。
  • vs EvoSkill / SkillX: 这类方法通常维护并检索庞大的技能记忆库（Skill Library），推理阶段受制于检索策略与上下文开销；SkillGen 专注于构建经过经验证实的单一可审计技能文件，部署开销小且高度可控。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将因果潜在结果与成对对比归纳系统性引入推理时智能体技能合成。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 8 种代表性开源与闭源 LLM、10 个跨领域基准以及详尽的跨模型迁移与消融分析。
  • 写作质量: ⭐⭐⭐⭐⭐ 结构清晰，理论框架严密，图表自洽且逻辑严密。
  • 价值: ⭐⭐⭐⭐⭐ 为免微调的大模型智能体自适应增强提供了具备理论保障的标准化工程与学术范例。

相关论文