OpenSkill: Open-World Self-Evolution for LLM Agents¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/OpenLAIR/OpenSkill
领域: LLM 推理
关键词: 自演化Agent, 开放世界知识获取, 无监督自验证, 技能合成, 跨模型迁移
一句话总结¶
针对真实开放世界中缺乏现成轨迹与验证监督的问题,OpenSkill 通过两路解耦检索分别抽取领域知识与确定性验证锚点,构建无目标任务监督的虚拟测试环境驱动技能迭代进化与故障归因重搜,使生成的技能文件能在不同闭源与开源模型间零样本迁移并刷新三项智能体基准的自动化通过率。
研究背景与动机¶
大语言模型智能体(LLM Agents)正逐步从受控的单步文本生成迈向多轮交互与复杂工具调用。为了应对真实动态部署环境中不断变化的工具接口、领域规范与长程依赖,自演化智能体(Self-Evolving Agents)成为近年来的核心研究方向。然而,现有的自演化机制普遍建立在一个脆弱的理想化前提之上:假定部署环境中存在可用的闭环学习循环,例如人工精心编写的高质量技能库、现成的高奖励执行轨迹、或者能够即时打分的外部测试套件与奖励模型。然而在真实的开放世界场景中,智能体面对的往往只有一个裸任务提示(Seed Task Prompt),既没有任何初始示范动作,也没有现成的验证器来判断策略是否得到实质性改进。
这种理想化前提在开放世界任务中暴露出两大根本性瓶颈:其一是技能构建的局限性。现有方法要么受制于模型参数化先验知识的固有限度,导致在新兴库、小众领域规则或私有业务规范前频繁出现幻觉;要么依赖成功轨迹蒸馏,但在智能体首次面对高难度任务时根本无法获得成功的正向探索轨迹。其二是验证信号构建的局限性。当前常见的反射(Reflexion)与自纠错机制高度依赖目标任务的反馈或自我批判,但在无标注的真实开放环境中,目标任务测试用例与标准答案是严格不可见的,直接使用模型自身先验做自我评审极易陷入自我确证偏误,而直接探测目标测试又会导致严重的监督信息泄露(Data Leakage)。
面对“LLM 智能体能否在没有目标任务监督的开放世界中实现自主演化”这一核心难题,本文提出将开放世界本身同时作为“所学知识的供给源”与“无监督练习场的锚定物”。核心 idea:将自演化过程显式解耦为双路开放世界知识获取、确定性断言虚拟环境构建与归因驱动的技能进化循环,在严格阻断目标任务监督的前提下,利用独立于任务答案的公开文档与不变量锚点驱动技能迭代,生成具备跨模型零样本泛化能力的可解释技能文件。
方法详解¶
整体框架¶
OpenSkill 的整体流水线围绕“开放世界知识获取”、“无泄露技能进化”以及“零样本目标评估”三大阶段展开。其输入仅包含任务指令 \(I_i\) 与环境沙箱 \(E_i\),输出为经过验证的冻结技能文件集合 \(\hat{S}_i^*\)。在整个进化过程中,目标任务的标准答案与测试套件 \(T_i^{GT}\) 被严格物理隔离在沙箱外部,仅在最终评估阶段解锁。流水线首先通过两路正交的开放世界检索分别提取领域实践知识与可验证事实锚点,随后在沙箱内构建包含确定性断言的虚拟测试套件 \(\tilde{T}_i\),驱动技能编写器进行至多 \(J\) 轮(默认 \(J=3\))的编写-测试-诊断-针对性重搜循环,最终将定稿的技能集合无缝挂载至目标智能体执行测试。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["任务输入 (指令 I_i + 环境 E_i)"] --> B["双路开放世界知识获取<br/>Gemini Deep Research (k_i) + 事实锚点 (k_i^v)"]
B --> C["技能规划与初始生成<br/>模块化分解生成技能草稿 S_i^(0)"]
C --> D["虚拟测试套件构建<br/>独立验证器生成确定性 pytest 断言 (T~_i)"]
D --> E["沙箱执行与通过率计算<br/>无真实标签评估 r~^(j)"]
E -->|通过率 < 1.0| F["故障归因与针对性重搜<br/>SELF-FIXABLE vs NEEDS-DR 分类器"]
F -->|补齐知识 / 修复代码| C
E -->|通过率 = 1.0 或达最大轮次 J=3| G["最终技能集合冻结 S_i*"]
G --> H["跨模型零样本目标评估<br/>部署至目标 Agent 执行 T_i^GT"]
关键设计¶
1. 双路正交开放世界检索与防泄露过滤:解决先验受限与信息穿透的矛盾
针对单一检索容易将评估基准名称注入查询导致答案泄露、以及通用搜索无法提取严谨验证锚点的问题,OpenSkill 将外部检索设计为两条功能正交的通道:通用知识检索 \(\mathcal{D}\) 与验证锚点检索 \(\mathcal{D}_v\)。在查询构造阶段,系统通过 LLM Agent 规划器解析指令 \(I_i\)、任务元数据与环境文件,自动生成不含任务求解捷径的代码规范、API 签名与常见陷阱检索需求。在任何查询发送前,sanitize_query 模块严格执行不区分大小写的基准名与标识符正则过滤,防止触碰基准测试的公开页面。通用通道调用 Gemini Deep Research(deep-research-pro-preview-12-2025)遍历外部代码库、文档与教程,生成结构化背景文档 \(k_i\),并由技能规划器分解为 1–4 个具有独立职责的模块化技能计划 \(p_i\)。与此同时,验证知识通道 \(\mathcal{D}_v\) 借助带搜索接地的轻量模型(Gemini 3.1 Flash Lite),以前 4000 字符的 \(k_i\) 作为“已掌握知识排除块”,定向抽取四类独立于目标答案的确定性事实锚点 \(k_i^v\):已知公开数据的基准行数、统计不变量(如概率和为 1、单调性区间)、备选库交叉验证步骤以及标准库函数的规范输出格式。
2. 独立验证器与确定性虚拟测试构建:解决自评审偏误与无监督质量度量问题
为了在完全不触碰隐藏测试套件 \(T_i^{GT}\) 的前提下评估技能质量,OpenSkill 构建了由独立验证器智能体 \(g(I_i, E_i, k_i^v)\) 驱动的虚拟测试套件 \(\tilde{T}_i = \{\tilde{t}_{i,1}, \dots, \tilde{t}_{i,K}\}\)。为了避免智能体在自我反思时常见的“先入为主”确认偏误,该独立验证器在独立的 LLM 会话进程中启动,虽然与技能创建者共享同一 Docker 容器及输出文件,但完全无法访问创建者的推理轨迹与上下文提示。验证器将提取出的 \(k_i^v\) 作为第一真值来源(Primary Oracle),生成基于真实 python 环境的确定性 pytest 脚本,其中的每个断言 \(\tilde{t}_{i,k} \in \{0, 1\}\) 均为严格等式或断言检查(例如 assert row_count == 150),断言总数严格控制在 60 项以内以保证严谨性。执行输出由非 LLM 解析器直接计算虚拟通过率:
该虚拟通过率充当技能迭代的无监督代理信号,彻底摆脱了对目标答案的依赖。
3. 故障归因分类与针对性检索重修循环:精准解耦代码缺陷与外部知识盲区
当虚拟通过率 \(\tilde{r}^{(j)} < 1.0\) 时,盲目让模型重新思考往往会导致同一错误的循环重复。OpenSkill 引入了一个基于轻量分类器(Gemini 3.1 Flash Lite)的归因分流机制。分类器输入失败断言、报错堆栈以及先验领域文档,严格判定故障归因属于 SELF-FIXABLE 还是 NEEDS-DR。若判定为 SELF-FIXABLE(如变量名错位、差一错误、格式微调等在既有知识范围内可推导的逻辑 bug),系统仅向技能创建者返回断言失败报告与错误定位,促使其就地修改技能代码;若判定为 NEEDS-DR(表明缺少关键算法参数、未见过的外部 API 调用细节或特定领域公式),流水线则触发针对性知识检索 \(k_i^{(gap)} = \mathcal{D}(F^{(j)}, \mathcal{K})\),最多追加 3 次增量搜索并将新知识补充进上下文。整个技能演化在就地原地编辑机制下最多循环 3 轮,一旦 \(\tilde{r} = 1.0\) 即刻触发早停并冻结输出最终技能集合 \(\hat{S}_i^*\),防止过度微调导致的虚拟测试过拟合。
评估基准与实验设计¶
实验选取了三大多轮智能体核心基准:涵盖 11 个垂直专业领域的 SkillsBench(共 84 项长程复杂任务,技能质量为决定性瓶颈)、评测多智能体交互的社交推理基准 SocialMaze(包含 FTS、HRD、REFT、RDP、SGA、UPI 六项子任务),以及交互式具身科学实验模拟环境 ScienceWorld。评估对比了七大闭世界基线方法:无技能基线(No Skill)、单次参数化自生成(Self-Gen)、链式思考自生成(CoT)、Anthropic 官方技能精炼工具(Skill Creator)、经验轨迹终身学习智能体(AutoSkill)、记忆型反射学习系统(Memento)以及开源技能连接评估平台(SkillNet,专用于 ScienceWorld),并以领域专家人工编写的技能(Human Curated)作为理论参考上限。所有测试均基于严格的 Docker 容器物理隔离,采用 \(n_{eval}=5\) 次独立零样本运行报告最终在隐藏真实测试套件 \(T_i^{GT}\) 上的平均奖励(Pass Rate %)。
实验关键数据¶
主实验¶
在 SkillsBench 的 11 个细分领域以及 SocialMaze、ScienceWorld 上,OpenSkill 配合 Claude Opus 4.6 与 GPT 5.2(Codex)两大基座模型,均显著刷新了自动化方法的最高水准。
| 数据集 / 基准 | 目标代理模型 | No Skill | 最强自动化基线 | OpenSkill (本文) | 专家人工上限 (Human) | 提升幅度 (vs 最强基线) |
|---|---|---|---|---|---|---|
| SkillsBench (Overall) | Opus 4.6 | 25.5% | 34.7% (Skill Creator) | 43.6% | 44.5% | +8.9% |
| SkillsBench (Overall) | GPT 5.2 | 25.0% | 33.3% (CoT) | 42.1% | 44.8% | +8.8% |
| SocialMaze (Avg) | Opus 4.6 | 81.6% | 81.0% (Skill Creator) | 82.7% | - | +1.1% |
| SocialMaze (Avg) | GPT 5.2 | 66.6% | 69.8% (Skill Creator) | 70.7% | - | +0.9% |
| ScienceWorld (Avg) | Opus 4.6 | 87.1% | 88.7% (SkillNet) | 90.0% | - | +1.3% |
| ScienceWorld (Avg) | GPT 5.2 | 78.0% | 83.1% (Skill Creator) | 85.3% | - | +2.2% |
在 SkillsBench 各子领域的表现中,OpenSkill 在知识密集型领域展现出碾压性优势:在 Opus 4.6 下,医疗领域(Health)达到 69.6%(No Skill 仅 24.8%,Skill Creator 仅 31.2%),软件工程(Software)达到 59.9%(反超人类上限 38.8%);在 GPT 5.2 下,能源管理(Energy)达到 80.0%(显著超越人类的 53.3%),网络安全(Cybersecurity)达到 52.5%(超越人类的 42.5%)。
消融实验¶
在 SocialMaze(Opus 4.6)上对系统核心组件与演化迭代轮数的消融实验,清晰揭示了各个设计模块的贡献:
| 消融配置 | 变体描述 | 平均奖励 (Reward %) | 相对基线增益 / 现象说明 |
|---|---|---|---|
| 完整模型 (Full, J=3) | 开放检索 (DR) + 虚拟验证器 (VV), 3 轮循环 | 82.7% | 最佳平衡配置,峰值性能 |
| 单组件: 仅虚拟验证器 (+VV) | 移除开放知识检索,仅依靠参数化知识与虚拟测试 | 80.8% | +6.3% (vs 无组件基线) |
| 单组件: 仅开放检索 (+DR) | 移除虚拟验证闭环,仅检索外部文档单轮生成 | 80.6% | +6.1% (vs 无组件基线) |
| 无组件基线 (None) | 仅依赖模型内部参数化先验进行推理与执行 | 74.5% | 性能下界,单模型纯先验 |
| 迭代轮数: J = 1 | 仅执行 1 轮生成与断言检验 | 81.2% | 初步修正明显语法错误 |
| 迭代轮数: J = 5 | 增加至 5 轮演化循环 | 79.9% | 性能出现回落(过拟合虚拟断言) |
| 迭代轮数: J = 10 | 增加至 10 轮深度演化循环 | 78.0% | 显著过拟合虚拟环境特定边缘条件 |
关键发现¶
- 跨模型零样本技能可迁移性极强:将由 Opus 4.6 演化生成的技能文件直接挂载到四个弱模型(Haiku 4.5、Qwen 3 Coder、DeepSeek V3、Mistral Large 3)进行零样本测试,模型性能全面超越其对应的无技能基线(绝对增益达到 5.5% 至 14.8%)。相比之下,AutoSkill 在弱模型上出现了严重负迁移(低于 No Skill),证明 OpenSkill 提炼的技能是以规范化文档与解耦逻辑存在的纯粹知识制品,不绑定特定模型的上下文偏置。
- 虚拟验证器与真实测试意图高度一致:对随机抽样的真实测试函数进行语义意图匹配分析,虚拟验证器自动生成的确定性测试覆盖了 88.9% 的人类真值测试意图(120/135);在 84 个全量任务的真实判定一致性上,虚拟验证器取得了 60.7% 的判决一致率(Fisher 精确检验 OR = 2.97, \(p = 0.035\)),精确率为 56.9%,召回率达到 80.5%,在无任何真值信号指导下提供了高度信息化的闸门功能。
- 迭代轮次存在明显的边际过拟合拐点:自演化并非轮次越多越好。实验显示在 3 轮迭代时达到最佳平衡(82.7%),继续演化至 5 轮(79.9%)与 10 轮(78.0%)会导致性能单调退化。其根因在于模型过度迎合虚拟断言中的严格边界设定,从而牺牲了对未见目标测试环境的泛化空间。
亮点与洞察¶
- 将开放世界作为无监督练习场:传统 RAG 仅将开放检索视作回答问题的单次上下文补充,而 OpenSkill 极具开创性地将外部网络与文档库转化为“知识获取”与“自建评测锚点”的双重底座,实现了自足闭环的自演化。
- 确定性断言阻断自我确证偏误:放弃依赖主观模糊的 LLM-as-a-judge 评分,强制独立验证器利用外部统计不变量与规范数据生成可执行 pytest 脚本,利用符号断言的二值硬约束有效解决了智能体自我复盘时的自欺欺人现象。
- 知识制品化带来计算经济性:将进化沉淀在显式 Markdown 与代码技能文件中,避免了耗时昂贵的强化学习权重微调,使高能力模型沉淀的专家技能能以“一次生成、全网分发”的形式直接复用给开源轻量模型。
局限与展望¶
- 依赖外部检索与信息源噪声:开放世界网页与仓库代码可能存在过时、冲突或低质量等问题;若初始检索引入严重错误事实,将同时污染技能草稿与虚拟验证器,引发系统性级联偏差。
- 虚拟断言对深层语义的验证盲区:目前虚拟测试大多集中于输出结构、类型约束与边界条件,对深层语义逻辑(如化学分子相似度匹配、复杂代码重构语义等)的覆盖率仍相对有限(误判主要集中于此)。
- 未来方向:探索跨任务的全局技能库索引与动态剪枝机制,以及引入多源检索置信度交叉对齐,进一步降低多轮搜索与演化的 API 延时与 Token 消耗。
相关工作与启发¶
- vs Voyager / Reflexion: Voyager 依赖受控虚拟世界(Minecraft)的原生反馈,Reflexion 依赖目标任务执行后的环境回馈;OpenSkill 摆脱了对目标环境奖励函数的依赖,纯靠从开放互联网中构建练习环境。
- vs Skill Creator / AutoSkill: Skill Creator 依赖闭世界参数化先验迭代,AutoSkill 依赖对话历史轨迹抽象;OpenSkill 引入开放世界深层检索与独立正交验证器,在专业垂直领域和跨模型迁移上展现出质的飞跃。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出并系统实现了无目标任务监督的开放世界智能体自演化范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 跨三大知名基准、两大主流商业模型及四类开源小模型,分析详实完整。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密,符号定义清晰,消融实验与失效案例分析极为透彻。
- 价值: ⭐⭐⭐⭐⭐ 为长生命周期自主 Agent 在未知垂直领域的即插即用进化提供了极具工程参考价值的蓝图。