Reward Modeling for Multi-Agent Orchestration¶

会议: NeurIPS 2026
arXiv: 2606.13598
OpenReview: https://openreview.net/forum?id=9HnmEMnWjg
代码: https://github.com/Wang-ML-Lab/OrchRM
领域: LLM Agent
关键词: 多智能体系统, 编排奖励模型, 测试时扩展, 策略优化, 自监督偏好学习

一句话总结¶

针对大语言模型多智能体系统（MAS）中编排策略训练和评估严重依赖昂贵子智能体全轨迹展开的问题，本文提出 Orch-RM 自监督编排奖励建模框架，直接在编排计划层级评分，使测试时扩展 token 消耗降低达 17 倍且准确率提升高达 8%，并以节省 10-46 倍训练 token 的代价实现极具竞争力的编排器强化学习。

研究背景与动机¶

基于大语言模型（LLM）的多智能体系统通过任务分解、证据收集、辩论批判与结果聚合，能够展现出超越单智能体的复杂问题求解能力。近年来的研究正从人工预定义的静态多智能体工作流演进至动态自动化编排（Automated Orchestration）——由一个中心化的 LLM 编排器（Orchestrator）根据输入任务自适应规划智能体角色分工、协作拓扑与交互图。然而，未微调的通用模型很难胜任高质量的专业编排，如何有效训练和校准这一中心编排器成为多智能体系统的核心难题。

训练高性能编排器目前面临两大核心瓶颈：其一是监督信号极其匮乏，人工标注编排方案往往偏重表层可读性与人类主观偏好，难以反映多智能体协同运行的实际效能；其二是训练与评测的计算开销呈指数级爆发，例如前沿的 MAS-Orchestra 框架采用基于终局答案正确性的 GRPO 强化学习，但仅更新 100 步就需要消耗超过 10 亿 token。由于缺乏中间层级的评估手段，系统必须为每一个编排候选完整推演全部子智能体的多轮交互轨迹，这不仅引入了巨大的子智能体累积方差，更让测试时扩展（Test-Time Scaling）与持续训练的成本高不可攀。

现有针对单智能体的奖励模型（RM/PRM）或通用 LLM-as-a-Judge 面对多智能体复杂的角色分工与对话动态时，往往缺乏对编排策略优劣的辨别力。本文的切入视角是：不必等到子智能体执行完毕才判断对错，而是直接对编排器输出的协同计划本身建立打分能力。核心 idea：利用已有编排器训练过程中的中间轨迹与检查点自监督构建多维度编排偏好对，训练一个专门在编排层级运作的 Bradley-Terry 奖励模型 Orch-RM，从而在完全不展开子智能体执行的前提下实现高效的测试时编排重排与策略强化学习。

方法详解¶

整体框架¶

Orch-RM 旨在构建一个轻量且判别力强的编排级奖励模型 $r_\phi(\bm{x}, \bm{z})$，在接收用户问题 $\bm{x}$ 和编排计划 $\bm{z}$（包含智能体角色、能力描述与调用图）后直接输出质量标量。该框架包含数据自监督构建、奖励模型微调，以及下游测试时扩展与编排器策略训练两大应用流。

在数据构建阶段，无需任何额外人工标注，框架直接挖掘预训练 MAS 编排器（如 MAS-Orchestra）在训练日志中留下的模型检查点与推演产物，组合“特化编排优于基座编排”与“正确轨迹优于错误轨迹”构造配对偏好数据，并基于 Bradley-Terry 目标微调评分模型。在应用阶段：推断时通过 Best-of-N 并行采样 $N$ 个编排方案并仅用 Orch-RM 选出最优的一组方案交付子智能体执行；训练时将 Orch-RM 作为奖励函数直接计算编排层级的优势项，驱动 GRPO 策略梯度优化而无需在策略更新循环中执行任何子智能体调用。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询 x"] --> B["自监督偏好构建<br/>挖掘检查点与轨迹日志"]
    B --> C["编排奖励模型训练<br/>Bradley-Terry 偏好微调"]
    C --> D["测试时编排筛选<br/>Best-of-N 评分选优"]
    C --> E["免展开编排器训练<br/>编排优势驱动 GRPO"]
    D --> F["单次子智能体协同执行<br/>输出最终答案 a"]
    E --> G["编排策略模型更新<br/>省去子智能体展开开销"]

关键设计¶

1. 自监督编排偏好对构建：解耦昂贵子智能体展开与人类主观偏差
现有多智能体训练的核心痛点在于无法低成本获取反映真实协同有效性的编排监督信号。人工设计的 prompt 难以评判复杂拓扑的机器可执行性，而全轨迹穷举又受困于不可承受的算力开销。为此，Orch-RM 创新性地利用开源多智能体框架在强化学习演进中留下的中间产物（intermediate artifacts），构建了两种互补的自监督偏好数据源：第一类是“特化优于基座”（Specialized-over-Base, $\pi_{\bm{\theta}} \succ \pi_0$），通过对比经过领域微调的高阶编排器 $\pi_{\bm{\theta}}$ 与初始通用基座 $\pi_0$ 对同一问题生成的编排，捕捉专业编排在角色特化与任务分解上的结构性先验；第二类是“正确优于错误”（Correct-over-Incorrect, $\bm{z}^+ \succ \bm{z}^-$），直接抽取编排器历史探索日志中最终导向正确答案的编排计划作为胜者，导向错误答案的作为败者。通过以经验上最佳的比例（消融验证为 1:3）进行混合，模型既能建立宏观合理的协同拓扑认知，又能精细分辨相同任务下细微编排差异带来的成败结果。

2. 编排级奖励建模：将评估干预点大幅前置至子智能体执行前
传统的奖励模型与验证机制均作用于完整的执行轨迹或最终答案层级，这意味着即使编排方案从第一步就存在严重的角色冗余或逻辑死锁，系统也必须执行完所有子智能体调用才能得到反馈。Orch-RM 将评价对象聚焦于高阶编排结构 $\bm{z}$，模型输入仅为初始问题文本与生成的编排指令（包含各子智能体提示词、输出引用关系与工具约束），完全剥离中间的多轮会话历史。基于预训练奖励骨干网络（Skywork-Reward-LLaMA-3.1-8B），模型学习将高质量的编排模式映射到高标量空间。这一设计带来了显著的推断效率优势：面对并行采样的 $N$ 个编排方案，系统只需耗费极低的比对 token（仅评分编排文本），即可从几何级数中选出最有希望的协同方案，将昂贵的子智能体推理缩减为仅此一次的单路执行。

3. 免子智能体展开的高效强化学习：以密集编排反馈驱动策略演进
在编排器的持续优化与冷启动训练中，现有的基于规则或结果判定的强化学习算法由于奖励稀疏，往往需要每步执行大量的环境交互与多轮智能体调用，耗费巨大且方差极大。Orch-RM 将训练信号内化为代理奖励（proxy reward），在 GRPO 优化框架下，直接针对编排器生成的 $N$ 个并行编排方案计算编排级组内归一化优势项： $$A_n = r_{\bm{\phi}}(\bm{x}, \bm{z}_n) - \frac{1}{N} \sum_{j=1}^{N} r_{\bm{\phi}}(\bm{x}, \bm{z}_j)$$ 编排策略的梯度反向传播仅依赖编排生成的序列 log-probability 与标量打分，在整个强化学习训练循环中彻底绕过了耗时的子智能体黑盒执行。这不仅规避了下游智能体生成随机性对编排梯度的噪声污染，还将训练阶段的 token 消耗削减了 10 倍至 46 倍，使得在有限计算资源下对通用模型进行编排能力微调成为现实。

损失函数 / 训练策略¶

编排奖励模型 $r_{\bm{\phi}}(\bm{x}, \bm{z})$ 采用经典的 Bradley-Terry 逻辑斯蒂损失在构建的偏好集 $\mathcal{D}$ 上训练： $$\mathcal{L}_{\text{Orch-RM}}(\bm{\phi}) = -\mathbb{E}_{(\bm{x}, \bm{z}_w, \bm{z}_l) \sim \mathcal{D}} \left[ \log \sigma \big( r_{\bm{\phi}}(\bm{x}, \bm{z}_w) - r_{\bm{\phi}}(\bm{x}, \bm{z}_l) \big) \right]$$ 在下游策略微调时，编排策略 $\pi_{\bm{\theta}}$ 以 Qwen2.5-7B-Instruct 为基座，采用 LoRA（rank=32, $\alpha=32$ 作用于全部线性层）进行高效调优。策略采用 GRPO 算法，优化目标包含截断的策略比率优势项与针对参考策略的 KL 散度惩罚正则化项（KL 权重设为 0.001，剪切比设为 0.2）。训练在 2 张 RTX PRO 6000 96GB GPU 上运行，学习率设为 $1\times 10^{-5}$，采样子集大小为 16，每个输入展开 8 个编排候选。

实验关键数据¶

主实验¶

主实验在数学推理（AIME 24&25）、复杂网络检索（BrowseComp+）、多跳问答（HotpotQA）以及分布外科学问答（GPQA）上验证测试时扩展性能（Best-of-8 准确率及验证 token 消耗），并与轨迹级裁决和各类编排级基线对比。

方法	验证层级	AIME 24&25 准确率(%)	AIME 验证Token(M)	BrowseComp+ 准确率(%)	BrowseComp+ 验证Token(M)	HotpotQA 准确率(%)	HotpotQA 验证Token(M)
MAS-Orchestra (基线下界)	-	63.33	-	9.50	-	42.50	-
多数投票 (Maj. Vote)	轨迹级	63.33	-	9.50	-	42.50	-
GPT-5-mini 评判	轨迹级	70.00	12.62	12.50	142.80	44.00	14.86
Oracle (理论上界)	轨迹级	76.67	-	24.50	-	57.00	-
GPT-4.1-mini 评判	编排级	58.33	2.52	9.00	8.63	42.00	7.66
GPT-5-mini 评判	编排级	65.00	2.53	10.50	8.66	40.50	7.69
Skywork-LLaMA-3.1-8B	编排级	61.67	2.38	11.50	8.26	40.50	7.32
Orch-RM (本文)	编排级	68.33	2.38	14.00	8.26	42.50	7.32

消融实验¶

消融实验研究了三种数据配比（特化优于基座 SoB、特化优于其他领域 SoO、正确优于错误 CoI）对 Orch-RM 测试时扩展性能及正负编排平均归一化优势（Avg. Adv.）的影响。

配置编号	数据配比 (SoB : SoO : CoI)	AIME 准确率(%)	AIME 归一化优势	BrowseComp+ 准确率(%)	BrowseComp+ 归一化优势	HotpotQA 准确率(%)	HotpotQA 归一化优势
(a) 未微调奖励基模	- : - : -	61.67	0.32	11.50	0.12	40.50	0.03
(b) 纯领域偏好对比	3 : 2 : 0	63.33	0.18	14.00	0.18	41.00	-0.05
(c) 纯成败对偶对比	0 : 0 : 1	63.33	0.20	10.50	0.22	42.00	-0.04
(d) 等比混合微调	1 : 0 : 1	63.33	0.30	11.00	0.32	42.50	-0.03
(e) 默认配比 (本文)	1 : 0 : 3	68.33	0.25	14.00	0.31	42.50	-0.03
(f) Oracle 上界	- : - : -	76.67	-	24.50	-	57.00	-

此外，在编排器持续训练实验中，以 MAS-Orchestra 检查点为起点，继续使用传统 GRPO 耗费大量 token 最终获得 65.00%（AIME）和 6.00%（BrowseComp+），而 Orch-RM 引导的持续训练不仅准确率提升至 68.33% 和 11.00%，且训练消耗 token 较 GRPO 减少了 10 倍（AIME）至 46 倍（BrowseComp+）。

关键发现¶

显著超越轨迹级大模型裁判：在复杂网页问答 BrowseComp+ 上，Orch-RM 编排级打分获得了 14.00% 的准确率，反超消耗 142.8M token 的全轨迹 GPT-5-mini 裁判（12.50%），而验证计算量仅为 8.26M token，算力效率提升超过 17 倍。
混合偏好数据不可或缺：消融表明，单独使用成败偏好（CoI）或单独使用领域特化偏好（SoB/SoO）均无法实现最佳判别力；只有以 1:3 比例融合时，模型才能兼具结构合理性与执行可行性的敏锐判别力。
任务复杂度决定编排收益：在编排空间丰富、依赖严密分工的 AIME 和 BrowseComp+ 上提升最显著；而在拓扑相对单一固定的 HotpotQA 上，各编排级打分方法差异较小，表明编排奖励建模对具备实质分工弹性的复杂工作流最具价值。

亮点与洞察¶

将评估干预大幅前置：改变了过去“盲目推演多智能体全流程后再评判对错”的被动模式，将质量校验从高方差的后验判定转变为低成本的先验过滤，极大压缩了多智能体系统的无效试错开销。
自监督解密无标注冷启动：巧妙利用强化学习迭代训练产生的历史日志沉淀（成功/失败的拓扑差异），无需人工介入即可蒸馏出专门针对协同编排的高灵敏度奖励信号。
跨框架通用迁移潜力：该编排奖励建模范式独立于具体的子智能体底层模型（实验中使用 GPT-OSS-120B 作为子智能体），其评估信号可以直接即插即用到各类基于提示词或代码拓扑编排的多智能体框架中。

局限与展望¶

当前采用分领域独立训练：作者指出由于不同任务（如精简计算 vs. 网页深度工具调用）的编排模式差异极大，当前各领域的 Orch-RM 均为独立微调，跨领域统一泛化的大一统编排奖励模型仍待探索。
依赖基座探索的多样性上限：自监督对偶构建受限于离线编排器曾经探索过的轨迹空间，如果初始策略未能探索出有效的协作拓扑，奖励模型也难以学习到突破性的结构先验。
子智能体执行随机性容忍度有限：若下游子智能体自身执行脆弱、即使给出了理想的编排计划也频繁发生工具调用崩溃，编排层级的评估信号便可能与最终结果产生一定程度的解耦。

评分¶

新颖性: ⭐⭐⭐⭐ [首次提出面向多智能体编排层级的自监督奖励建模概念与数据挖掘管线]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖测试时扩展与持续训练两大场景，详尽对比 LLM 裁判、多数投票与传统强化学习，附带完备消融与定性分析]
写作质量: ⭐⭐⭐⭐⭐ [逻辑架构清晰严谨，问题动机直击多智能体训练算力痛点，方法阐述清晰]
价值: ⭐⭐⭐⭐⭐ [对缓解多智能体系统在工程落地和学术研究中的高昂推理与训练成本具有极高实用价值]