跳转至

OpenSkill: Open-World Self-Evolution for LLM Agents

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/OpenLAIR/OpenSkill
领域: 大语言模型智能体
关键词: 智能体自演化、开放世界技能获取、虚拟任务验证器、无监督技能精炼、跨模型迁移

一句话总结

OpenSkill 提出了首个无目标任务监督的开放世界大语言模型智能体自演化框架,通过解耦检索任务领域知识与客观验证锚点,构建基于确定性断言的虚拟测试套件驱动多轮反馈精炼,在 SkillsBench 等三大基准上取得最高自动化通过率且技能可零样本跨模型无损迁移。

研究背景与动机

大语言模型驱动的自主智能体在软件工程、科学探索与复杂工具调用等长程任务中展现出巨大潜力,但开放世界部署环境瞬息万变,智能体必须在上线后具备持续积累可复用技能的自演化(Self-Evolution)能力。现有的智能体自我提升范式高度依赖一个预先存在的良性闭环:要么仰赖人类专家预先编写的技能模板或高质量演示轨迹,要么在演化过程中依赖基准环境暴露的任务级标答、奖励函数或显式验证器反馈(如 Reflexion、Skill Creator、AutoSkill)。然而在真实的开放世界场景中,智能体面对的通常只有一个冷启动的种子任务描述与初始空环境,既不存在现成的优质技能库,也无法获取目标任务的任何隐式奖励或监督信号。

这种现实设定直接引出了两大核心技术瓶颈:其一是「技能构建的知识边界」,依赖参数化知识自生成或历史交互反思的传统方法只能重新排列模型记忆中的旧经验,无法触及最新发布的库接口、领域私有规范或前沿算法,导致技能质量从源头受限;其二是「自我验证的监督泄漏困境」,若直接利用下游任务环境反馈进行策略调整,极其容易造成目标答案的隐式泄漏或对特定评估机制的过拟合,而脱离客观环境的纯语言自省又饱受模型幻觉与确认偏差(Confirmation Bias)困扰,难以形成可靠的梯度或反思信号。智能体亟需一种既能从开放世界获取真实外部知识、又能自主构建独立练习与验证环境的新范式。

为了打破对目标任务监督信号的强依赖,本文将开放世界证据同时作为技能知识的供给池与检验闭环的支架,通过严格的信息隔离屏障阻断目标真值,实现端到端的自主闭环演化。核心 idea:将开放世界外部资源解耦为指导技能合成的领域知识与构建确定性断言的验证锚点,利用独立生成的虚拟测试环境驱动多轮诊断反思与定向补全,让智能体在完全不接触目标测试监督的前提下完成高质量技能的闭环演化与跨模型无损部署。

方法详解

OpenSkill 旨在仅给定自然语言指令 \(I_i\)、执行环境 \(E_i\) 与开放世界资源池 \(\mathcal{K}\)(包括公开文档、代码仓库、论文与教程)的条件下,构建出无需微调模型权重 \(\theta\) 的显式、可复用技能集合 \(\hat{S}_i = \{\hat{s}_{i,1}, \dots, \hat{s}_{i,m}\}\)。整个演化流程严格隔离目标任务隐藏测试集 \(T_i^{GT}\),分为开放世界知识获取、无泄漏技能演化以及零样本目标评估三大阶段。

整体框架

整个框架端到端运行流程清晰划分为三个阶段:首先在知识获取阶段,规划器根据任务指令检索领域核心文档与不变量验证锚点,合成技能架构规划;随后进入沙箱内的无泄漏演化循环,由基础智能体草拟技能并交由完全隔离的独立验证器执行确定性测试,若未完全通过则通过故障诊断器判断是代码缺陷还是知识盲区,触发定向检索或原地修正,直至通过率达到阈值或耗尽轮次;最后在目标评估阶段,将最终冻结的技能制品以零样本提示词或外挂模块形式注入目标智能体中,在隐藏的基准测试集上执行最终评测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 任务指令与初始环境<br/>(Ii, Ei)"] --> B["双路开放世界检索<br/>领域知识 ki 与验证锚点 kiv"]
    B --> C["技能规划与初始草拟<br/>规划 pi 与初始技能集 Si(0)"]
    C --> D["沙箱内虚拟任务执行与验证<br/>独立验证器生成确定性 pytest 断言"]
    D --> E{"虚拟通过率<br/>r~(j) == 1.0 ?"}
    E -- "未通过 (r~ < 1)" --> F["诊断驱动反思与分类补全<br/>区分代码 Bug 与知识盲区 (NEEDS-DR)"]
    F -->|定向检索补充 / 原地代码修复| D
    E -- "通过或达到轮次上限 J=3" --> G["零样本目标任务部署与评测<br/>冻结技能 Si* 注入目标智能体 πθ'"]

关键设计

框架围绕「外部知识支撑构建」与「无真值监督闭环驱动」两大核心主线展开,包含以下四个紧密协作的关键设计:

1. 双路开放世界检索:领域知识与验证锚点解耦获取

传统知识增强方法通常只做单次粗粒度的文档召回,容易将操作实现细节与评估基准混淆,不仅给长上下文注入冗余噪声,更可能引发虚假的自一致性校验。针对这一痛点,OpenSkill 采用双路正交检索机制:主检索器 \(\mathcal{D}\) 负责抓取任务背景概念、官方 API 签名、参数默认值、运行示例与常见陷阱,形成领域知识文档 \(k_i \subset \mathcal{K}\);正交检索器 \(\mathcal{D}_v\) 则通过严格过滤掉前 4000 字符已知上下文的独立轻量模型,专门定向搜寻外部独立可检验的「验证锚点」\(k_i^v\)。这些锚点严格限定为四类客观物理/统计不变量:手算微型测试用例基准值、公开数据集的统计不变量(如行数约束、概率和为 1、单调性与数值上下界)、领域标准工具交叉验证流程、以及官方发布的基准测试输入输出对。两路检索在发出前均经过 Leakage Filtering 模块严格清洗,强制剔除所有基准名称及派生标识符,从源头确保外部信息输入真实有效且杜绝真值泄漏。

2. 技能规划与初始草拟:模块化架构规划与上下文切片

面对复杂长程任务,智能体若一次性生成全包揽的巨型单体脚本,不仅难以调试,且在上下文窗口扩展时容易引发代码遗忘与死循环。OpenSkill 引入独立的技能规划器(Skill Planner),在分析任务元数据与环境文件后,将领域知识 \(k_i\) 自顶向下解构为包含 \(m\) 个子技能(\(1 \le m \le 4\))的结构化规划 \(p_i\)。每个子技能被严格界定其责任边界、核心调用接口以及所依赖的特定背景知识章节。规划器通过模糊匹配文档章节标题,为每个子技能切片生成独立的局部参考资料,使基础生成智能体 \(\pi_\theta\) 能在清晰的约束空间内生成高度模块化的初始技能代码集 \(\hat{S}_i^{(0)} = \{\hat{s}_{i,1}^{(0)}, \dots, \hat{s}_{i,m}^{(0)}\}\)。这种松耦合的架构设计不仅降低了单次生成的代码复杂度,也为后续针对特定子模块的细粒度测试与精准修复提供了结构支撑。

3. 沙箱内虚拟任务执行与验证:隔离验证器驱动的确定性断言测试

缺少目标任务真实答案时,依靠语言模型主观评估代码极易产生幻觉与偏袒倾向,导致错误的技能被误判为达标。OpenSkill 在沙箱容器内引入一个完全与技能生成过程隔离的独立验证器(Independent Verifier)\(g(I_i, E_i, k_i^v)\)。该验证器共享输出执行文件,但无法窥探技能生成者的思维链(CoT)推理过程与实现源码,从而从机制上彻底阻断确认偏差。验证器以检索到的验证锚点 \(k_i^v\) 为主要事实依据(Primary Oracle),自动合成包含确定性等式断言(如 assert output_shape == expected、assert metric >= lower_bound)的 pytest 单元测试套件 \(\tilde{T}_i = \{\tilde{t}_{i,1}, \dots, \tilde{t}_{i,K}\}\)(最多设置 60 条防御性断言)。整个评估过程不依赖模糊的语言打分,而是通过确定性执行解析虚拟通过率: $\(\tilde{r}^{(j)} = \frac{1}{|\tilde{T}_i|} \sum_{k=1}^{K} \tilde{t}_{i,k}(\pi_\theta(I_i, \hat{S}_i^{(j)}, E_i))\)$ 当 \(\tilde{r}^{(j)} = 1.0\) 时判定为虚拟通过(Surrogate Pass),否则将具体断言失败堆栈作为结构化反馈传递至下一环节。

4. 诊断驱动反思与分类补全:区分实现 Bug 与知识盲区的定向检索

当虚拟通过率 \(\tilde{r}^{(j)} < 1\) 时,若盲目将完整上下文喂回模型要求重新生成,往往会导致模型在同一个知识盲区中原地打转甚至改乱原有正确逻辑。OpenSkill 构建了轻量级二分类故障诊断机制,由专用分类器分析失败断言与环境状态,将错误根因判定为 SELF-FIXABLE(代码实现缺陷,如变量名笔误、差一错误、类型与格式不匹配)或 NEEDS-DR(领域知识盲区,如缺失未知算法、参数最优配置未经验证或第三方库高级功能用法不全)。若属于代码实现缺陷,系统仅向创建者回传失败用例与回溯堆栈,驱动其在沙箱内原地修复并重新执行;若判定为知识盲区,则触发定向检索模块 \(k_i^{(gap)} = \mathcal{D}(F^{(j)}, \mathcal{K})\),向外部开放世界补充搜索特定缺失事实并动态注入精炼上下文中(单任务限制最多 3 次定向检索)。该闭环至多迭代 \(J=3\) 轮,结合空转与 Token 预算早停机制,实现资源消耗与技能质量的最优收敛。

一个完整示例

以 SkillsBench 中的一项专业健康领域任务(计算生物医学序列匹配与统计特征)为例: 1. 知识与锚点检索:主检索器拉取目标生物信息学库的 API 接口规范与参数说明,正交检索器则从公开标准中检索到小规模测试用例(例如特定已知序列比对的基准相似度矩阵、输出格式的字段规范以及合法取值范围 \([0, 1]\))。 2. 规划与初始生成:规划器确定拆分为「数据预处理与合法性校验」和「核心特征矩阵提取」两个子模块,生成初始脚本 s_1 与 s_2。 3. 隔离虚拟测试:独立验证器生成 18 个 pytest 测试用例,执行后 16 个通过,2 个失败(报错显示序列长度为偶数时索引越界,且矩阵未满足对称性不变量,\(\tilde{r}^{(0)} = 16/18 \approx 0.889\))。 4. 根因分类与修复:诊断器判定该失败为 SELF-FIXABLE(属于典型的边界条件处理疏漏),将失败堆栈返回给技能生成智能体。生成器定位到边界切片代码并完成原地修改。 5. 二次验证与冻结:重新运行测试套件,18 个测试全部通过(\(\tilde{r}^{(1)} = 1.0\)),触发提前收敛,生成最终冻结的技能制品 \(\hat{S}_i^*\),并在零样本条件下注入目标推理模型。

实验关键数据

主实验

论文在涵盖 11 个跨行业专业领域的权威智能体技能基准 SkillsBench(Li et al., 2026)上,评估了不同方法在 Claude Opus 4.6 与 GPT 5.2 两大代表性模型下的平均任务奖励(通过率,%)。基线涵盖零技能(No Skill)、单次参数化自生成(Self-Gen, CoT)、闭环反思合成(Skill-Creator, AutoSkill, Memento)及人类专家编写上限(Human)。

任务领域 目标智能体 No Skill Self-Gen CoT Skill-Creator AutoSkill Memento OpenSkill (本文) Human (参考上限)
Software Opus 4.6 32.6 37.9 34.9 51.3 36.0 34.4 59.9 38.8
Office Opus 4.6 17.0 16.7 17.1 21.4 25.7 31.4 50.0 50.0
Cybersecurity Opus 4.6 17.8 18.8 20.4 24.6 16.6 28.8 44.1 55.0
Health Opus 4.6 24.8 19.8 19.2 31.2 14.5 25.0 69.6 80.0
Energy GPT 5.2 0.0 33.3 55.6 22.2 11.0 22.3 80.0 53.3
Cybersecurity GPT 5.2 25.0 20.8 34.7 36.8 4.1 12.5 52.5 42.5
Overall (全11领域) Opus 4.6 25.5 23.9 23.9 34.7 24.7 30.1 43.6 44.5
Overall (全11领域) GPT 5.2 25.0 32.2 33.3 29.2 11.2 15.6 42.1 44.8

在其他两大类型基准上的泛化表现(平均任务奖励 %): - SocialMaze (社交认知推理):Opus 4.6 上 OpenSkill 达到 82.7%(超越次优 No Skill 81.6% 与 Skill Creator 81.0%);GPT 5.2 上达到 70.7%(显著超越次优 Skill Creator 69.8% 与 Self-Gen 67.6%)。 - ScienceWorld (交互式科学实验):Opus 4.6 上 OpenSkill 达到 90.0%(超越 SkillNet 88.7% 与 Skill Creator 88.3%);GPT 5.2 上达到 85.3%(超越 Skill Creator 83.1% 与 CoT 80.0%)。

消融实验

在 SocialMaze 基准上基于 Opus 4.6 对核心模块贡献与迭代轮数进行的消融分析(图 4 统计):

实验配置 / 变量 平均奖励 (%) 相比基准增益 说明
Parametric-Only Baseline (无 OW / 无 VV) 74.5 - 仅依靠模型参数化记忆与单次直接生成
+ Open-World Query (仅加入开放世界检索) 80.6 +6.1% 弥补领域知识缺失,提供高质量 API 与上下文
+ Virtual Verifier (仅加入虚拟验证器) 80.8 +6.3% 依靠确定性虚拟反馈纠错代码缺陷与格式错误
+ Both (完整 OpenSkill 框架) 82.7 +8.2% 双重互补,达到最优性能表现
迭代轮数 \(J=1\) 81.2 - 单轮演化,未完全修复潜在缺陷
迭代轮数 \(J=3\) (默认配置) 82.7 - 达到全局性能峰值
迭代轮数 \(J=5\) 79.9 -2.8% 过度精炼导致对虚拟反馈产生一定程度过拟合
迭代轮数 \(J=10\) 78.0 -4.7% 验证器误判累积,策略偏离目标真实解空间

关键发现

  • 显著超越闭环基线,逼近人类专家上限:在 SkillsBench 全 11 个领域中,OpenSkill 在无任何目标真值监督的情况下,整体通过率达到 43.6% (Opus) 与 42.1% (GPT 5.2),相比闭环基线中最强方案(Opus 上的 Skill-Creator 34.7%、GPT 5.2 上的 CoT 33.3%)分别绝对提升 +8.9% 与 +8.8%,且距离人类专家手动编写的高质量技能上限(44.5% / 44.8%)仅差 1~3 个百分点。
  • 跨模型无损迁移能力极为突出:由 Opus 4.6 生成的技能文件在未经任何适配微调的情况下,直接跨模型零样本部署给四款参数量显著较小的开源/轻量级模型时(图 3),相较于各自的 No-Skill 基线均获得巨大提升:Haiku 4.5 从 10.4% 提升至 20.7% (+10.3%),Qwen 3 Coder 从 19.4% 提升至 26.6% (+7.2%),DeepSeek V3 从 8.4% 提升至 23.2% (+14.8%),Mistral Large 3 从 11.7% 提升至 17.9% (+6.2%);相比之下,AutoSkill 生成的技能在迁移后均出现明显负向崩塌(全部低于 No-Skill)。
  • 虚拟验证器具备强统计相关性与高意图覆盖率:在抽样 84 个任务的对齐分析中,虚拟验证器与真实隐藏评测结果的一致率达 60.7%,Fisher 精确检验比值比 \(OR = 2.97\) (\(p=0.035\)),点二列相关系数 \(r = 0.242\) (\(p=0.027\))。在 15 个随机任务的人工语义意图标注中,虚拟测试套件覆盖了真实隐藏测试意图的 88.9% (120/135),每任务生成的测试函数数量约为人工真值测试集的 3.4 倍。

亮点与洞察

  • 解耦「指导知识」与「验证锚点」的双路检索机制:巧妙地将开放世界检索目标正交拆解为实现层面的 API/流程指导与评测层面的物理/数学不变量,使自演化智能体既能获得如何写的知识,又拥有了独立检验对不对的裁判标尺。
  • 以确定性 pytest 断言替代主观语言模型打分:避免了传统 LLM-as-a-judge 常见的评分膨胀、同质偏好与虚假自洽,通过在沙箱中执行可复现的代码断言,为演化过程提供了坚实的工程级硬约束。
  • 一次构建、多端复用的持久化技能制品价值:将智能体自演化产物固定为显式、无模型绑定的 Markdown/Python 模块,使高昂的开放世界搜索与多轮验证成为一次性投入,极大降低了轻量模型在端侧运行时的计算与调用成本。

局限与展望

  • 作者承认的局限:开放网络与外部仓库的检索内容存在过时、冲突或充满噪声的风险,高度依赖检索器的质量;虚拟验证器对深度语义质量与特定基准底层防作弊机制缺乏先验感知,存在约 29.8% 的假阳性(Proxy Pass 但 GT Fail),过度迭代(如超过 3 轮)会导致策略向虚拟断言过拟合。
  • 自身发现的局限:在极端依赖硬件操作或不可微仿真环境的制造领域(Manufacturing),所有自动化方案(包括 OpenSkill)在两个模型上均录得 0.0% 的通过率,说明纯文本检索与通用沙箱尚无法跨越高度专业化的物理控制仿真鸿沟。
  • 未来改进方向:引入动态知识源置信度加权机制过滤网络矛盾知识;探索基于执行环境中间状态的多模态/因果不变性推断,以降低虚拟验证器的假阳性率;结合多模型交叉博弈检验提升复杂领域测试套件的抗过拟合能力。

相关工作与启发

  • vs Reflexion (Shinn et al., 2023):Reflexion 依赖目标任务在执行环境中的即时成功/失败标量奖励来驱动语言反思;OpenSkill 专注于真实的无监督开放世界部署,完全不依赖目标任务隐藏反馈,自主从外部构建练习与验证闭环。
  • vs Voyager (Wang et al., 2023) / AutoSkill (Yang et al., 2026):Voyager 与 AutoSkill 主要依赖智能体探索积累的历史交互轨迹与模型自身参数化记忆来提炼技能,受限于模型的先验视野;OpenSkill 将外部开放知识作为技能的主要源头,突破了模型固有知识边界,并具备强大的跨模型迁移泛化性。
  • vs CoEvoSkills (Zhang et al., 2026a):CoEvoSkills 依靠模型自身先验同时进化技能与判别器,容易陷入共谋(Collusion)或确认偏差;OpenSkill 通过解耦的正交检索从开放世界引入独立的客观不变量作为锚点,确保了验证信号的外部客观性与鲁棒性。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出并形式化无目标监督的开放世界智能体自演化问题,双路解耦检索与独立虚拟验证架构设计极具原创性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 11 个专业领域的 SkillsBench 及两大经典基准,跨越两大主力模型族与 4 种跨模型迁移目标,统计检验(CI、Bootstrap、McNemar)严密详尽。
  • 写作质量: ⭐⭐⭐⭐⭐ 问题形式化严谨(信息隔离屏障界定清晰),方法模块化设计逻辑自然,消融与失败模式审计剖析极其透彻。
  • 价值: ⭐⭐⭐⭐⭐ 为自主智能体在真实复杂业务环境中冷启动自我进化与低成本离线沉淀技能资产指明了切实可行的工程路径。