SkillOrchestra: Learning to Route Agents via Skill Transfer¶

会议: NeurIPS 2026
arXiv: 2602.19672
OpenReview: https://openreview.net/forum?id=5B5fOqwuhG
代码: https://github.com/jiayuww/SkillOrchestra
领域: LLM Agent
关键词: 复合智能体系统, 智能体编排, 模型路由, 技能迁移, 帕累托优化

一句话总结¶

SkillOrchestra 改变了端到端强化学习直接训练编排策略的传统范式，通过构建可复用、跨模型迁移的结构化技能手册（Skill Handbook）显式建模智能体在细粒度技能上的能力与成本，在多轮模型路由与复杂智能体编排中以显著降低的训练与推理成本突破帕累托前沿。

研究背景与动机¶

现代人工智能系统正快速演进为协同调用多种大语言模型与外部工具的复合智能体系统（Compound Agent Systems）。在这类系统中，单个基础模型难以在准确率与调用成本之间取得全局最优，通常需要编排器在交互的不同状态下动态调度异构模型（如代码专用模型、数学推理模型或极轻量模型）与各类工具（如网页搜索、代码沙箱执行）。然而，现有的路由与编排方法面临着两难困境。早期的静态模型路由通常在查询输入层做单次决策，假定整个任务仅由单一模型完成，完全忽略了长程交互中不断演变的状态需求与操作模式切换；而近期基于强化学习（如 PPO、GRPO）端到端训练的多步编排器（如 Router-R1、ToolOrchestra）虽然具备序列决策能力，却伴随着极高的样本采样与训练开销，并且在模型或工具池动态变动时缺乏泛化与适配能力。

更严峻的是，端到端强化学习编排器在多轮决策中极易出现严重的“路由坍塌”（Routing Collapse）现象——策略在策略梯度优化过程中退化为单调、反复调用单一参数量最大且调用最昂贵的模型（例如在 Router-R1 中对 LLaMA-3.1-70B 的调用占比高达 98%），彻底丧失了多模型协同与成本优化的初衷。造成这种现象的核心矛盾在于：端到端黑盒策略将抽象任务意图、动作状态转移与具体模型身份深度绑定，缺乏显式的能力中介来刻画“当前状态需要何种技能”以及“各个模型在不同技能上的能力胜任度与开销期望”。

为了打破黑盒端到端策略的训练负担与坍塌瓶颈，本文提出将编排知识从模型参数中解耦出来，以显式能力为支点构建可复用的经验知识库。核心 idea：将多轮智能体编排解耦为显式的“操作模式选择”与“基于技能手册（Skill Handbook）的能力-成本权衡匹配”，通过从执行轨迹中对比归纳细粒度技能与智能体胜任力画像，实现免端到端强化学习微调、跨编排器骨干零样本迁移的高效编排。

方法详解¶

整体框架¶

SkillOrchestra 将复合智能体环境的形式化设定为：中央编排器 $\mathcal{O}$ 在时序交互状态 $s_t$ 下，首先选择当前所需的操作模式 $\psi_t \in \Psi$（例如网页搜索、代码执行或最终回答），随后在受该模式约束的候选智能体集合 $\mathcal{A}_{\psi_t}$ 中指派执行智能体 $A_t = (m, \mathcal{T}_A)$（由骨干模型 $m \in \mathcal{M}$ 与工具子集 $\mathcal{T}_A \subseteq \mathcal{T}$ 构成）。系统核心围绕全局技能手册 $\mathcal{H}$ 展开，该手册由三大核心层级构成：模式级执行先验（指导高层模式转换）、细粒度技能注册表（刻画特定模式下的具体能力需求）以及智能体胜任力画像（记录智能体在各技能下的成功率后验分布与执行开销）。

在推理部署阶段，系统并非直接使用粗粒度全量手册，而是先根据目标编排器的推理能力进行帕累托最优子集筛选，获得匹配编排器容量的手册 $\mathcal{H}_q$；随后编排器在每一步交互中完成“状态感知模式决策”与“基于贝叶斯胜任力期望的智能体择优路由”。整体运作流水线如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["用户查询与多轮交互状态"] --> S1["帕累托技能手册筛选<br/>对齐编排器容量与开销预算"]
    S1 --> S2["模式选择与技能提取<br/>先验指导操作模式与激活技能"]
    S2 --> S3["胜任力感知智能体路由<br/>后验成功率期望与成本折中"]
    S3 --> Out["执行轨迹与环境观测反馈"]

关键设计¶

1. 技能手册构建与对比归纳：从执行轨迹中抽象显式能力中介

传统端到端强化学习直接用标量奖励更新神经网络权重，忽略了失败轨迹中包含的结构化诊断信息。SkillOrchestra 引入显式技能抽象 $\sigma \triangleq \langle\mathcal{D}, \mathcal{I}\rangle$（包含自然语言能力描述 $\mathcal{D}$ 与上下文触发指示符 $\mathcal{I}$）。在离线构建阶段，系统通过在同一交互模式下对比成功轨迹 $\tau^\psi_+$ 与失败轨迹 $\tau^\psi_-$ 的执行差异 $\mathcal{D}_{\text{diff}}(\tau^\psi_+ \parallel \tau^\psi_-)$，利用大语言模型反思提炼出导致成败的关键能力缺口，形成结构化候选技能并注册到模式索引中。对于每个智能体 $A$ 在技能 $\sigma$ 上的胜任力，系统采用贝叶斯 Beta 分布建模其成功概率 $\phi_{A,\sigma} \sim \text{Beta}(\alpha_{A,\sigma}, \beta_{A,\sigma})$，并根据历史轨迹中的成败频次进行共轭先验更新。为了防止技能集合过度膨胀或语义碎片化，系统引入动态合并与分裂机制：若某技能下智能体表现方差过大则提示其蕴含异质子能力并进行分裂；若两个技能下的智能体表现画像统计不可分，则自动执行语义合并，保持手册紧凑与高辨识度。

2. 编排器容量敏感的帕累托手册筛选：匹配编排器推理边界

直觉上越细粒度的技能定义越能精准定位模型特长，但细粒度子技能（如代码模式下的符号逻辑 vs 数值逼近）对编排器本身的状态解析能力提出了更高要求。若轻量级编排器无法准确判别当前状态究竟激活了哪项细粒度子技能，就会产生误判并误导下游路由；相反，退回粗粒度技能（如通用的数据处理）反而能增强决策鲁棒性。为此，SkillOrchestra 提出了编排器特异性的帕累托验证机制，在验证集 $\mathcal{D}_{\text{val}}$ 上评估不同诱导子图结构诱导出的端到端轨迹表现：

\[\mathcal{H}_{\text{base}}^{(\mathcal{O})}=\operatorname*{argmax}_{\mathcal{H}\subseteq\mathcal{H}^{*}}\mathbb{E}_{q\sim\mathcal{D}_{\text{val}}}\left[R(\tau_{\mathcal{H}}(q))-\lambda\sum_{t=0}^{|\tau_{\mathcal{H}}(q)|}C(\psi_{t},A_{t})\right]\]

通过在全轨迹奖励与累积执行开销的权衡下搜索最优手册子集，使保留的技能粒度、画像维度与目标编排器 $\mathcal{O}$ 的认知容量完美对齐，避免小模型编排器因认知过载而性能劣化。

3. 贝叶斯后验与成本约束下的胜任力感知路由：抑制路由坍塌

在交互时步 $t$，编排器首先依据状态 $s_t$ 与模式路由元数据 $\mathcal{R}_\psi$ 选定当前模式 $\psi_t \sim \pi_{\text{mode}}(\psi \mid s_t; \mathcal{R}_\psi)$，并识别当前交互状态激活的技能子集 $\Sigma_t \subseteq \Sigma_{\psi_t}$。不同于强化学习策略容易陷入赢者通吃的局部极值，智能体选择被建模为显式的多目标打分排序。智能体的预期表现由其在激活技能上的 Beta 分布后验均值加权求和决定，并直接扣除模式特异性的执行开销期望：

\[A_{t}^{*}=\operatorname*{argmax}_{A\in\mathcal{A}_{\psi_{t}}}\left[\sum_{\sigma\in\Sigma_{t}}w_{t,\sigma}\frac{\alpha_{A,\sigma}}{\alpha_{A,\sigma}+\beta_{A,\sigma}}-\lambda_{c}\cdot\hat{C}_{A}(\psi_{t})\right]\]

式中 $w_{t,\sigma}$ 表示技能在当前状态下的归一化重要性权重，$\lambda_c$ 为成本权衡超参数，$\hat{C}_A(\psi_t)$ 综合统计了智能体的上下文 Token 单价、历史推理步数与平均输出长度。该机制从数学形式上打破了单一大模型的单调优势——当简单技能出现时，轻量模型因高胜任力与极低开销脱颖而出；只有在高壁垒技能被激活时，昂贵的大模型才会被调用，从根本上杜绝了路由坍塌。

损失函数 / 训练策略¶

SkillOrchestra 完全摒弃了昂贵的多步强化学习策略梯度优化（如 PPO / GRPO），编排器参数保持冻结，所有训练过程转化为样本高效的“手册知识提炼与统计更新”： 1. 探索性轨迹收集：每个数据集仅采样 $k < 50$ 条样本作为构建与验证集，远低于 Router-R1 所需的 1.4 万条强化学习交互轨迹。 2. 贝叶斯后验迭代更新：针对每个智能体在特定技能上的成功或失败事件，直接更新 Beta 分布参数 $\alpha_{A,\sigma}^{(t+1)} \leftarrow \alpha_{A,\sigma}^{(t)} + \mathbb{I}[\text{成功}]$ 与 $\beta_{A,\sigma}^{(t+1)} \leftarrow \beta_{A,\sigma}^{(t)} + \mathbb{I}[\text{失败}]$，无须反向传播梯度。 3. 帕累托验证裁剪：在验证集上离线评估候选手册诱导子图的轨迹总收益，确定最佳技能粒度，实现知识与模型权重的完全解耦。

实验关键数据¶

主实验¶

在多轮模型路由（无外部工具，纯模型能力调度）任务中，以 Qwen2.5-3B 为编排器，在 7 个通用与多跳问答基准数据集上进行对比（评价指标为 Exact Match，EM %）：

数据集类型	数据集 / 评测集	无路由最佳 (Search-R1)	判别/启发式最佳 (Largest/RouterDC)	RL编排 SOTA (Router-R1)	本文 (SkillOrchestra)	本文升级版 (SkillOrchestra+)
通用 QA	Natural Questions (NQ)	32.8	30.0	38.8	54.2	54.8
通用 QA	TriviaQA	51.0	59.2	70.6	71.6	80.2
通用 QA	PopQA	32.4	36.2	38.4	42.6	48.8
多跳 QA	HotpotQA	23.6	26.8	35.2	39.0	44.2
多跳 QA	2WikiMultiHopQA	27.8	27.4	43.4	48.0	49.6
多跳 QA	Musique	9.0	10.8	13.8	18.2	20.6
多跳 QA	Bamboogle	27.2	50.4	51.2	58.4	63.2
平均性能	7 项问答均值 (Avg. EM)	29.1	33.8	41.6	47.4 (+5.8)	51.6 (+10.0)

在复杂智能体编排（Agent Orchestration，含网页搜索、本地检索、Python 代码沙箱与直接回答）评测基准 FRAMES 上，以 Qwen3-8B 为编排器，对比当前前沿 RL 智能体及商业闭源大模型：

编排系统 / 编排器基座	编排机制	任务准确率 (Accuracy %)	运行总开销 (Cost USD $)	相对效率与表现对比
ToolOrchestra (Qwen3-8B)	端到端强化学习 (GRPO)	76.3	$92.7	存在路由坍塌与高试错成本
GPT-5 (商业闭源编排)	统一模型端到端决策	74.6	$120.4	准确率受限于多工具调度幻觉
Claude Opus 4.5 (商业闭源编排)	统一模型端到端决策	77.9	$758.1	高性能但单价极度昂贵
Gemini 3 Pro (商业闭源编排)	统一模型端到端决策	78.9	$1729.3	多轮长程上下文推高整体费用
SkillOrchestra (Qwen3-8B)	显式技能手册编排 (本文)	84.3	$72.7	准确率最高 (+8.0%) 且成本最低 (-21.6%)

消融实验¶

在 FRAMES 基准随机抽取的 100 项多轮智能体任务上，对技能手册各个核心组件进行消融分析（编排器为 Qwen3-8B）：

配置变体	技能发现 (Disc)	手册精炼 (Ref)	帕累托筛选 (Sel)	细粒度技能 (FG)	准确率 (Acc %)	总开销 (Cost $)	模块分析与消融结论
无技能手册 (No HB)	否	否	否	否	71.0	122.9	缺乏技能引导，盲目调用高开销模型
无精炼与筛选 (No Ref + Sel)	是	否	否	是	79.0	5.5	未经整合的手册仍具备基础引导作用
无帕累托筛选 (No Selection)	是	是	否	是	79.3	3.4	细粒度技能与编排器认知产生微弱错位
仅粗粒度技能 (No FG Skills)	是	是	是	否	80.4	15.1	缺乏专业能力区分，部分复杂子步调用冗余
完整系统 (Full System)	是	是	是	是	85.0	9.3	准确率与开销协同达到最优帕累托前沿

关键发现¶

彻底化解“路由坍塌”危机：在 9 项基准评测的模型调用分布统计中，强化学习编排器 Router-R1 将高达 98.02% 的调用集中在参数量最大的 LLaMA-3.1-70B 上，其他开源模型几乎从未被激活；而 SkillOrchestra 呈现出极高专业度的均衡调用模式：Mixtral-8×22B 占 44.53%、Qwen2.5-7B 占 25.99%、LLaMA-3.1-70B 仅占 15.38%、Qwen2.5-3B 占 11.50%，且编排器自身能就地直接解答简单时序，缩短了推理链长度。
极高的数据采样与训练效率：相比 Router-R1 消耗的 1.4 万条强化学习交互轨迹和 ToolOrchestra 的大批次 GRPO 采样，SkillOrchestra 仅依赖各数据集不足 50 条样本的对比反思，分别实现了 700 倍与 300 倍的训练开销缩减。
卓越的模型无关零样本迁移能力：在基于 Qwen2.5-3B 轨迹提炼的技能手册下，不经过任何重训练直接迁移至其他编排骨干时，所有骨干均大幅提升：Qwen2.5-3B（40.7% → 56.1%，+15.4%）、Qwen2.5-7B（35.7% → 60.0%，+24.3%）、Llama3.1-8B（35.5% → 58.0%，+22.5%）、Mistral-7B（36.5% → 59.8%，+23.3%）与 Mixtral-8×22B（46.5% → 61.3%，+14.8%），越强大的模型配合结构化技能引导展现出越显著的互补增益。

亮点与洞察¶

将策略参数拟合升维为模块化知识库沉淀：传统方案试图让神经网络权重“硬编码”多轮路由经验，一旦模型池增减一个新模型就必须全量重训 RL；SkillOrchestra 将智能体能力拆解为自然语言技能与统计画像，新增模型只需评估其在已有技能上的胜任力，实现了“即插即用”式的系统可扩展性。
发现“技能粒度与编排器认知容量匹配”规律：论文敏锐指出了细粒度并非越深越好，当编排器推理能力有限时，过于精细的技能反而会诱发分类幻觉与误路由，提出根据编排器容量进行帕累托子集筛选具有极强的工程落地借鉴价值。
将显式成本约束融入后验打分函数：在多轮交互中，单价低的模型若推理链冗长反而总开销更大，SkillOrchestra 通过在公式中显式结合历史综合开销期望与后验准确率，在数学上自然避开了贪婪与过度调用两种极端。

局限与展望¶

作者承认的局限：当前的技能发现严重依赖前沿反思大模型（如 GPT-5）对成功/失败轨迹的差异分析能力，若底层反思模型的归因逻辑产生偏差，可能沉淀出不准确或虚假的技能定义；此外，离线评估智能体胜任力画像时预设了静态分布，未能完全捕获工具环境动态变异（如网络 API 偶发抖动）带来的性能波动。
深入分析的潜在局限：在技能空间动态增长时，多轮交互中每一步计算相关技能子集与智能体打分的计算开销和上下文注入长度会随着技能库规模增加而递增；同时，模式级划分主要针对 Search / Code / Answer 等典型范式，对于具有高度动态物理交互或连续环境控制的通用智能体场景适配性尚待进一步验证。
可改进方向：可引入轻量级嵌入检索器替代纯 Prompt 技能手册注入以降低每步推理开销，并结合在线流式贝叶斯更新实现对智能体胜任力的实时追踪。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将多智能体编排从端到端参数微调重构为结构化技能手册构建与贝叶斯路由，思路清晰且架构优雅]
实验充分度: ⭐⭐⭐⭐⭐ [跨越 10 个问答与代码/搜索复合基准，深度剖析了路由坍塌现象、模型泛化迁移与帕累托前沿权衡]
写作质量: ⭐⭐⭐⭐⭐ [形式化表述严谨，动机阐述直击痛点，图表与消融设计高度自洽]
价值: ⭐⭐⭐⭐⭐ [为工业级构建低成本、高可靠、可动态扩容的复合大模型智能体系统提供了极具落地可行性的标准范式]