SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks¶

会议: NeurIPS 2026
arXiv: 2602.12670
OpenReview: https://openreview.net/forum?id=Utmr8dZbrt
代码: https://github.com/benchflow-ai/skillsbench
领域: LLM Agent
关键词: Agent Skills, 智能体基准评测, 配对评估, 程序性知识, BenchFlow

一句话总结¶

提出了首个将 Agent Skills 作为一等评估对象的基准 SkillsBench，包含 8 个专业领域共 87 项真实复杂任务与确定性评测器，通过严格配对评估揭示出人工精选 Skills 可带来平均 +16.6 个百分点的任务通过率提升。

研究背景与动机¶

随着大语言模型（LLM）智能体逐步落地到真实工业级软件工程与复杂专业工作流中，智能体面临的基础矛盾日益尖锐：通用的基础模型虽然具备宽泛的代码编写与推理能力，但在面对垂直工业领域或专业科学问题时，严重匮乏领域专家在第一天就能掌握的程序性知识与标准作业规范；另一方面，若针对每个细分领域进行全量微调，不仅代价高昂，而且会牺牲模型的通用推理与泛化能力。近期兴起的 Agent Skills（以包含 SKILL.md 及执行脚本、配置模板为代表的文件系统模块化包）成为了极具潜力的轻量化推理期增强手段，社区生态中的技能包更是呈现爆发式增长。

然而，现有智能体评测基准（如 SWE-bench、Terminal-Bench、WebArena 等）均采用孤立评测模式，将模型底座能力、执行脚手架与外部增强机制混杂为单一通过率，无法定量回答真实部署中的核心工程疑问：给智能体挂载某个特定的 Skill 到底能带来多大收益？何时会产生副作用甚至负优化？此外，现有社区的技能评测极易退化为答案泄漏下的“指令遵循测试”，缺乏隔离评测与防作弊机制。

本文针对这一评测盲区，填补了智能体增强技术因果评估的空白。核心 idea：构建首个以 Agent Skills 为一等评估公民的基准 SkillsBench，建立严格去污染、去答案泄漏的配对评测框架（Matched Paired Evaluation），通过容器化隔离环境与确定性验证脚本，系统度量不同模型-脚手架组合下模块化程序性技能对多领域长程任务的真实效能。

方法详解¶

整体框架¶

SkillsBench 提出了以“真实专业工作、技能提供经验而非答案、确定性测试验证”为核心的完整基准构建与评估流水线。流水线整体包含四个核心阶段：从社区吸纳海量技能与多领域候选任务、经四重自动化门禁与人工专家审计筛选出有效评测集、采用标准化的 task.md 封装容器化任务包、最后基于 BenchFlow 平台在同一沙箱环境下执行“无技能基线”与“挂载精选技能”的成对可复现评测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务源与技能池<br/>400 项社区提交 + 201万生态技能"] --> B["自动化四重门禁与防泄漏审查<br/>结构完整性 / Oracle 验证 / GPTZero / 泄漏检测"]
    B --> C["精选 87 项跨领域任务套件<br/>8 大专业领域 / 3 级耗时难度分层"]
    C --> D["单任务 task.md 容器化标准封装<br/>环境镜像 / 确定性 pytest 验证器 / 独立技能目录"]
    D --> E["双臂配对执行与增益度量<br/>无技能基线 (Arm A) vs 精选技能 (Arm B)"]
    E --> F["结果判定与归一化收益产出<br/>确定性 pass/fail 与 Hake 归一化增益 g"]

关键设计¶

1. 技能与答案严格解耦的防泄漏机制：杜绝基准退化为隐蔽答案库 如果技能直接硬编码了任务的目标文件名、专有路径、魔数或期望输出，整个评测就会直接退化为简单的静态指令遵循。SkillsBench 强制要求技能仅提供适用于同类问题的高阶程序性经验（如 USGS 洪峰频率分析的 Log-Pearson Type III 分布拟合流程、SEC 13F-HR 报表解析管线、OR-Tools 柔性车间调度约束建模），严禁出现单任务专属的特异解。为此，平台构建了自动化审查探针，结合 LLM 智能体在 CI 中全面扫描技能包与 Oracle 解法之间的符号重合、硬编码常数与命令序列；同时，任务提示词本身绝不指明当前应激活哪些技能，智能体必须依赖模型原生的渐进式发现机制（Progressive Disclosure），通过阅读元数据描述自发定位并加载技能。

2. 统一便携的 task.md 任务封装规范：支撑严格可复现的隔离评测 为避免不同评估工具链因配置漂移产生系统性测量偏差，SkillsBench 制定了跨框架通用的 task.md 统一标准。该格式由严格校验的 YAML 元数据前置块（声明难度、领域类别、网络策略 network_mode: no-network|allowlist、硬件资源限额）与 Markdown 任务指令正文组成，并同级挂载 environment/（含 Dockerfile 及可选技能包）、oracle/（可 100% 跑通的标准参考解）和 verifier/（确定性测试逻辑）。这一设计将任务定义、环境约束与求解要求收敛为单个可版本化文档，使得同一套任务可无缝移植并在干净销毁的 Docker 容器中执行，确保单次 Trial 间无状态残留。

3. 确定性无裁判评测器与配对增益度量：消除 LLM-as-a-judge 的随机性 传统的开放式智能体评测严重依赖大模型作为裁判，存在偏置高、方差大且容易受到对抗性输出欺骗的缺陷。SkillsBench 彻底弃用 LLM 评测裁判，全部 87 项任务均采用基于 programmatic assertions 的 pytest 自动化脚本，生成 CTRF 报告并输出确定性的二值通过/失败奖励（reward $\in \{0, 1\}$）。在度量方式上，提出成对评估原则：对每一个（模型-脚手架组合, 任务），分别在无技能（No-Skills，Arm A）与精选技能（Curated-Skills，Arm B）完全一致的沙箱环境下运行固定轮次。不仅计算绝对通过率差值 $\Delta = \text{pass}_{\text{skill}} - \text{pass}_{\text{vanilla}}$，还引入教育学中的 Hake 归一化增益指标： $$g = \frac{\text{pass}_{\text{skill}} - \text{pass}_{\text{vanilla}}}{1 - \text{pass}_{\text{vanilla}}}$$ 该指标直观度量了技能将模型未解决的剩余“能力天花板”闭合了多大比例，有效消除了基线能力差异造成的假象。

损失函数 / 训练策略¶

本文属于免训练的纯推理期增强（Inference-time Augmentation）与基准评估工作，不涉及梯度反向传播与模型参数更新。在评估配置上，所有被测模型采样温度统一固定为 $T=0$ 以保证确定性输出；模型推理时的思考预算（Reasoning effort）设置为最高可用等级；采用 8K 上下文滑动窗口管理智能体运行历史；针对 18 种主流模型-脚手架组合，以 256 并发执行完整框架下的 3 次独立重复试验（每种条件 4,698 次 Trial，全量评测集累计 9,396 次真实容器运行），全面统计各运行状态与故障类别。

实验关键数据¶

主实验¶

主实验在 87 项专业任务上对 18 种商业与开源前沿模型-脚手架组合进行了成对评测。下表汇总了部分代表性配置在无技能与挂载精选技能条件下的表现：

脚手架 (Harness)	模型 (Model)	无技能通过率 (No Sk.)	精选技能通过率 (Curated)	绝对提升 ($\Delta$, pp)	归一化增益 ($g$, %)
OpenHands	GPT-5.5	51.5%	67.3%	+15.8	32.6%
Codex CLI	GPT-5.5	46.8%	66.5%	+19.7	37.0%
Claude Code	Opus 4.7	43.0%	61.2%	+18.2	31.9%
Gemini CLI	Gemini 3.1 Pro	36.0%	60.8%	+24.8	38.7%
OpenHands	GLM 5.1	32.7%	58.4%	+25.7	38.1%
OpenHands	Claude Opus 4.8	45.7%	54.1%	+8.4	15.5%
OpenHands	Kimi K2.6	33.4%	54.0%	+20.6	31.0%
OpenHands	DeepSeek V4 Pro	26.9%	50.1%	+23.2	31.8%
OpenHands	Gemini 3.5 Flash	41.1%	48.2%	+7.1	12.1%
OpenHands	MiniMax M2.7	18.1%	34.9%	+16.8	20.5%
OpenHands	Gemini 3.1 Flash Lite	16.0%	20.1%	+4.1	4.9%
全组合平均 (Mean)	18 个配置全集	33.9%	50.5%	+16.6	25.5%

消融实验¶

论文对技能设计的关键维度（挂载数量与文档详尽程度）以及自生成技能条件进行了系统消融与对照分析：

实验维度 / 配置	任务数 ($N$)	无技能通过率 (No Sk.)	精选技能通过率 (With Sk.)	绝对增益 ($\Delta_{\text{abs}}$, pp)	核心说明
技能数量消融
1 个技能包	23	32.2%	50.2%	+18.0	紧凑聚焦，智能体检索干扰极低
2–3 个技能包	43	34.4%	53.4%	+19.0	最佳组合区间，多模块协同增益最高
$\ge 4$ 个技能包	21	34.8%	44.9%	+10.1	边际收益衰减，产生注意力认知负担与指导冲突
文档复杂度消融
紧凑型 (Compact)	22	37.6%	56.6%	+19.0	专注核心可执行步骤与关键边界
标准型 (Standard)	22	19.8%	41.2%	+21.5	平衡约束说明与执行模板，收益最显著
详尽型 (Detailed)	38	39.3%	53.8%	+14.5	包含长篇背景描述，增益适度收窄
穷尽百科型 (Comprehensive)	5	39.3%	40.0%	+0.7	冗长文档吞噬有效上下文，几乎无实质增益
技能来源对比 (Claude Code)	87	43.0%	34.9% (自生成)	-8.1	模型自创技能出现虚假自信错误且挤占解题预算

关键发现¶

精选技能实现全谱系普惠，但模型收益存在异质性：全部 18 个配置在挂载精心设计的技能后均取得正向收益（平均 +16.6 pp），但最强模型并不总是收益最大者。GLM 5.1 (+25.7 pp) 与 Gemini 3.1 Pro (+24.8 pp) 展现了极强的技能杠杆效应；而自身基线较高的 Gemini 3.5 Flash 仅提升 +7.1 pp，表明基础能力强并不天然等同于技能利用率高。
技能可部分弥补模型规模差距：仅具备 18.1% 基线通过率的 MiniMax M2.7 在挂载技能后跃升至 34.9%，超过了未挂载技能的 GLM 5.1（32.7%）与 MiniMax M3（29.7%），证明外置专业程序性知识可以在特定任务上实现降维弥补。
专业冷门领域收益远超通用成熟领域：自然科学（Natural Science, +28.8 pp）、多媒体制作 (+24.1 pp) 和网络安全 (+18.9 pp) 提升幅度位列前三；而在模型预训练语料极为充足的软件工程 (+11.6 pp) 与离散运筹数学 (+9.7 pp) 中，技能的边际提升相对平缓。
自生成技能（Self-Generated Skills）出现负优化：让智能体自行编写技能后再求解不仅无法媲美人工精选，反而导致通过率下降 8.1~11.5 个百分点，核心症结在于自生成技能容易固化幻觉假设（如 3d-scan-calc 中错误假设 STL 单位为毫米并硬编码 1000 倍转换系数），且生成过程严重侵占了推理轮次与上下文。

亮点与洞察¶

提出严格的配对消除评测范式：将智能体评测推进到了“控制变量式度量单一增强组件因果效应”的阶段，为未来评测记忆系统、检索机制与特定工作流脚手架提供了可直接复用的方法论。
提炼出高质量技能创作的五大黄金法则：通过对前 10 个收益最大任务（平均提升 +67.0 pp）的轨迹复盘，总结出有效技能必须具备：提供带校准默认参数的可执行脚本、指明权威数据源与解析避坑指南、明确测试器严审的输出格式约束、揭示核心算法不变量、以及具备高辨识度的元数据 frontmatter。
揭示技能负优化的核心机制：深入剖析了 13 个性能反向下降任务的执行轨迹，发现笨重的通用工作流挤占敏捷解法、泛化模板打压原生调试策略、以及引入智能体无法自我调试的脆弱框架，是导致技能失效的三大主因。

局限与展望¶

环境交互模态集中于命令行终端：目前所有 87 项任务均在 Ubuntu 容器的 CLI 环境中执行，尚不能直接覆盖富图形界面（GUI）操作、纯多模态交互或多智能体分布式协同编排场景。
上下文长度增长的因果剥离尚不彻底：挂载技能客观上增加了输入的 Prompt 长度，尽管自生成技能实验间接排除了单纯“增加字数”的解释，但未来仍需设计长度匹配的控制实验（如注入打乱的无关文本或普通文档）以做细粒度因果归因。
未来方向：探索面向视觉-语言多模态智能体的技能交互标准，以及带有复杂度感知与自动降级回退机制（Complexity-aware Fallbacks）的动态技能调度系统。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将 Agent Skills 作为一等公民进行严格去污染的配对基准测试，填补了智能体增强评价的空白。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 18 种主流模型与脚手架组合，累计完成超 9,000 次真实容器评测，并包含详实的领域分解与轨迹归因消融。
写作质量: ⭐⭐⭐⭐⭐ 概念界定极其清晰，流水线规范严谨，对成功与失效案例的成因剖析深入透彻。
价值: ⭐⭐⭐⭐⭐ 为大模型智能体生态从 Prompt/RAG 向模块化 Skills 演进奠定了关键的定量评估地基与设计指南。