Heterogeneous Agent Collaborative Reinforcement Learning¶

会议: NeurIPS 2026
arXiv: 2603.02604
代码: https://zzx-peter.github.io/hacrl/
领域: 强化学习
关键词: 强化学习, RLVR, 异构智能体协同, 优势估计, 样本复用

一句话总结¶

本文提出异构智能体协同强化学习问题（HACRL）及 HACPO 算法，通过智能体能力感知优势基准、能力差异调制系数、指数重要性采样与逐步截断四大机制，在保证单模型独立推理的前提下实现异构模型训练期跨模型 rollout 高效复用与双向互补学习。

研究背景与动机¶

基于可验证奖励的强化学习（RLVR）已成为训练大语言模型数学、代码等强逻辑推理能力的核心范式。在 RLVR 中，诸如 GRPO、GSPO 和 DAPO 等基于组内相对优势的策略优化方法通过消除传统 PPO 中的价值网络（Critic），显著降低了显存开销。然而，这类 on-policy 强化学习依然高度受制于代价昂贵的在线采样与自动验证机制，在面对海量复杂推理任务时，数据生成和判据验证成为计算开销与训练扩展的最大瓶颈。

与此同时，现实部署中的大语言模型生态天然具有极强的异构性：不同智能体在训练阶段状态、参数量规模甚至底层架构与分词器（Tokenizer）上均存在明显差异。在现有实践中，针对同一任务的多款异构模型通常是完全隔离、独立进行各自的 RLVR 迭代；每个模型频繁生成推理轨迹并获取可验证奖励，但这些昂贵的中标中间轨迹仅用于自我迭代，彼此间互不相通，造成严重的样本浪费。

如果简单地跨智能体共享 rollout，异构模型间的巨大能力差异与策略分布偏移会导致优势估计严重失真、重要性采样权重剧烈震荡，甚至造成较弱智能体引入噪声瓦解强模型策略。现有的多智能体强化学习（MARL）强制要求推理期协同执行，而知识蒸馏（KD）则局限于单向的“强师导弱生”范式，均无法支撑异构模型“训练协同复用、推理完全独立”的双向互利诉求。本文的核心 idea 是：将异构协同抽象为训练期双向互利、推理期独立部署的协同强化学习框架（HACRL），并提出 HACPO 算法，通过批级能力缩放校准优势估计、能力系数梯度调制、指数重要性重加权与逐步递进截断，在理论无偏与分布控制下实现跨异构智能体的高效样本复用。

方法详解¶

整体框架¶

HACPO 面向 \(n\) 个在状态、规模或模型架构上存在异构性（Heterogeneous State / Size / Model）的 LLM 智能体。在训练阶段，针对任务分布中的提示词 \(x\)，各智能体独立采样生成 \(G\) 条候选响应，并通过环境共享的可验证奖励函数获取结果，构建联合响应集合 \(\mathcal{Y}_t(x)\) 与奖励集合 \(\mathcal{R}_t(x)\)。随后，每个智能体同时利用自身生成的 on-policy 样本以及来自其他异构智能体的 cross-agent 样本进行联合策略梯度更新。

为了解决异构智能体带来的能力失配（Capability Discrepancy）与策略分布偏移（Policy Distribution Shift），HACPO 将目标拆分为同构自身目标 \(\mathcal{J}_{\text{homo}}^{(k)}\) 与异构协同目标 \(\mathcal{J}_{\text{hete}}^{(k)}\)，并由四大核心机制协同保驾护航：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词与异构智能体采样<br/>各智能体独立生成 G 条轨迹"] --> B["环境可验证判题<br/>计算二元或标量奖励"]
    B --> C["智能体能力感知优势估计<br/>动态计算批级性能比率与校准基准"]
    C --> D["模型能力差异系数调制<br/>按相对水平放大强模梯度、衰减弱模扰动"]
    D --> E["跨分词器对齐与指数重要性采样<br/>序列级重切词与指数保守折减"]
    E --> F["逐步截断更新策略<br/>批内微步递进收紧截断界"]
    F --> G["联合策略梯度反向传播<br/>各智能体权重独立演进、推理单模部署"]

关键设计¶

1. 智能体能力感知优势估计：消除异构混合样本下的基准偏差

在常规单智能体组相对优势估计中，优势通过减去自身候选集的样本均值计算。若直接跨异构智能体混采并机械平均，强模型的低分答卷可能被弱模型拉低整体基线而误判为“高优势”，弱模型的高分正例也可能被强模型的高平均值淹没。为此，HACPO 构建了能力自适应基线 \(\mu_t^{(k)}\)，将其他智能体 \(j\) 的奖励通过批级相对能力系数 \(\omega_t^{(k, j)}\) 进行动态校准：

\[\mu_t^{(k)} = \frac{1}{nG} \sum_{j=1}^n \sum_{i=1}^G \omega_t^{(k, j)} R\left(y_{t, i}^{(j)}\right), \quad \text{其中 } \omega_t^{(k, j)} = \frac{P_t^{(k)}}{P_t^{(j)}}\]

这里 \(P_t^{(k)}\) 是智能体 \(k\) 在当前训练批次上的平均奖励。理论分析证明，当在总体分布期望下构建时，该基线满足 \(\mathbb{E}[\mu_{t,\star}^{(k)}] = p_t^{(k)}\)，中心化优势的期望精确为零（无偏估计）；同时在有限批次样本下，利用 Hoeffding 不等式给出了经验比率的高概率收敛界。

2. 模型能力差异系数调制：自适应控制跨模型学习激进度

除了在基线估计中进行重标定外，智能体能力比率还被显式引入策略更新的梯度调制中。当智能体 \(k\) 从其他智能体 \(j\) 的轨迹 \(y_{t,i}^{(j)}\) 学习时，有效优势函数被调整为：

\[\tilde{A}_{t, i}^{(k)}\left(y_{t, i}^{(j)}\right) = \begin{cases} A_{t, i}^{(k)}\left(y_{t, i}^{(j)}\right), & j = k \\ \omega_t^{(j, k)} \cdot A_{t, i}^{(k)}\left(y_{t, i}^{(j)}\right), & j \neq k \end{cases}\]

注意这里的调制权重为 \(\omega_t^{(j, k)} = P_t^{(j)} / P_t^{(k)}\)。当数据提供者 \(j\) 的综合表现优于学习者 \(k\) 时，\(\omega_t^{(j, k)} > 1\)，梯度信号被自适应放大，驱动弱智能体激进地向强智能体学习；反之，当学习者汲取来自更弱智能体的轨迹时，调制系数小于 1，从而主动衰减次优或探索性噪声带来的破坏，实现两全其美。

3. 指数重要性采样：跨架构与分词器对齐下的稳健重加权

当异构模型来自不同模型家族（如 Qwen 与 Llama）时，其词表大小与分词规则不同。HACPO 首先将其他智能体的响应文本反分词为字符串，再用目标智能体的 Tokenizer 重新分词，并采用序列级长度归一化的重要性比率消除轻微长度畸变：

\[s_{t, i}^{(k, j)} = \frac{\pi_\theta^{(k)}\left(y_{t, i}^{(j)}\right)^{\frac{1}{L_k}}}{\pi_{\theta_{\text{old}}}^{(j)}\left(y_{t, i}^{(j)}\right)^{\frac{1}{L_j}}}\]

由于不同模型间的策略分布发散度远大于常规 on-policy 策略的小步迭代，直接使用该比率极易导致梯度爆炸。HACPO 引入非梯度指数重加权机制：当 \(k \neq j\) 且比率小于 1.0 时，令 \(\tilde{s}_{t, i}^{(k, j)} = s_{t, i}^{(k, j)} \cdot \left(\text{sg}[s_{t, i}^{(k, j)}]\right)^\alpha\)（其中 \(\text{sg}[\cdot]\) 为停止梯度算子）。超参数 \(\alpha \ge 0\) 有效抑制了远离自身分布的离群轨迹权重，平衡了新颖解法引入与策略更新稳定性。

4. 逐步截断更新策略：遏制批内多步迭代的跨模型扰动累积

在单步训练内进行多次 mini-batch 权重更新时，自身轨迹的采样比率 \(s_{t, i}^{(k, k)}\) 围绕 1.0 缓慢发散，而跨模型比率 \(s_{t, i}^{(k, j)}\) 则天然显著低于 1.0 且波动剧烈。若采用固定的截断区间，在后期的 mini-batch 更新中自身样本可能被过早饱和截断，导致更新被剧烈波动的跨模型样本主导。HACPO 采用非对称下界与微步递进截断机制：

\[\text{clip}\left(s_{t, i}^{(k, j)},\, 1.0 - \delta + m \cdot \delta_{\text{step}},\, 1.0\right)\]

其中 \(m\) 为批内已执行的微步更新次数，\(\delta\) 初始设为 0.2，随着 \(m\) 递增以步长 \(\delta_{\text{step}}\)（如 0.025）逐步收紧下界。该动态调度确保在批次更新后期，跨模型样本的截断比例有序上升，避免晚期更新失稳。

损失函数 / 训练策略¶

对于任意智能体 \(1\)（以双智能体协同为例），其联合优化目标为同构损失与异构损失之和：

\[\mathcal{J}^{(1)} = \mathcal{J}_{\text{homo}}^{(1)} + \mathcal{J}_{\text{hete}}^{(1)}\]

同构部分遵循带窄区间截断的 GSPO 序列级优化目标：

\[\mathcal{J}_{\text{homo}}^{(1)} = \frac{1}{G} \sum_{i=1}^G \min\left(s_{t, i}^{(1, 1)} A_{t, i}^{(1)}\left(y_{t, i}^{(1)}\right),\, \text{clip}\left(s_{t, i}^{(1, 1)}, 1-\epsilon_l, 1+\epsilon_h\right) A_{t, i}^{(1)}\left(y_{t, i}^{(1)}\right)\right)\]

异构协同部分则结合了上述逐步截断、指数重加权与能力调制：

\[\mathcal{J}_{\text{hete}}^{(1)} = \frac{1}{G} \sum_{i=1}^G \left[ \text{clip}\left(s_{t, i}^{(1, 2)},\, 1 - \delta + m \cdot \delta_{\text{step}},\, 1.0\right) \cdot \left(\text{sg}[s_{t, i}^{(1, 2)}]\right)^\alpha \cdot \omega_t^{(2, 1)} \cdot A_{t, i}^{(1)}\left(y_{t, i}^{(2)}\right) \right]\]

在 verl 框架下基于 8 卡 GPU 训练，批次大小设为 128（mini-batch 64，每提示词生成 \(G=8\) 条响应），学习率设为 \(1 \times 10^{-6}\)。

实验关键数据¶

主实验¶

论文在 MATH 数据集的 7.5k 训练题上进行训练，并在 MATH-500、全量 MATH、GSM8K、AIME2025、AMC23、Minerva 和 OlympiadBench 七项数学推理基准上进行全面评测。对比基准包括独立训练的标准基线（GRPO、GSPO）、翻倍采样与更新的资源等价单智能体基线（\(\text{GSPO}\times2\)）以及无四大协同组件的朴素共享基线（Naive）。

异构设置与模型组合	方法	MATH-500	GSM8K	AIME2025	AMC23	Minerva	Olympiad	7项平均 (AVG)	相对GSPO×2提升
异构状态 (State)
Qwen3-4B	Base (零样本)	0.802	0.907	0.335	0.650	0.390	0.524	0.635	-
Qwen3-4B	GSPO	0.854	0.925	0.485	0.675	0.412	0.564	0.684	-
Qwen3-4B	\(\text{GSPO}\times2\)	0.876	0.923	0.522	0.675	0.390	0.579	0.691	基准
Qwen3-4B	Naive (朴素共享)	0.728	0.891	0.378	0.600	0.353	0.394	0.583	-10.8%
Qwen3-4B	HACPO (本文)	0.910	0.933	0.622	0.850	0.423	0.643	0.755	+6.4%
Qwen3-4B-Instruct	Base (零样本)	0.938	0.936	0.696	0.850	0.441	0.722	0.789	-
Qwen3-4B-Instruct	\(\text{GSPO}\times2\)	0.932	0.942	0.740	0.900	0.430	0.711	0.799	基准
Qwen3-4B-Instruct	HACPO (本文)	0.948	0.946	0.757	0.950	0.452	0.732	0.818	+1.9%
异构尺寸 (Size)
Qwen3-1.7B-Base	\(\text{GSPO}\times2\)	0.664	0.829	0.177	0.375	0.265	0.293	0.465	基准
Qwen3-1.7B-Base	HACPO (本文)	0.690	0.822	0.225	0.450	0.279	0.314	0.493	+2.8%
Qwen3-4B-Base	\(\text{GSPO}\times2\)	0.756	0.873	0.208	0.550	0.382	0.463	0.575	基准
Qwen3-4B-Base	HACPO (本文)	0.808	0.903	0.267	0.575	0.386	0.467	0.601	+2.6%
异构模型 (Model)
Qwen3-4B-Base	\(\text{GSPO}\times2\)	0.756	0.873	0.208	0.550	0.382	0.463	0.575	基准
Qwen3-4B-Base	HACPO (本文)	0.786	0.921	0.268	0.600	0.379	0.442	0.597	+2.2%
Llama3.2-3B-Instruct	\(\text{GSPO}\times2\)	0.488	0.829	0.000	0.175	0.188	0.159	0.334	基准
Llama3.2-3B-Instruct	HACPO (本文)	0.566	0.826	0.054	0.350	0.176	0.208	0.390	+5.6%

消融实验¶

1. 核心组件消融（在 Qwen3-1.7B-Base & 4B-Base 组合上评估）

配置	1.7B MATH-500	1.7B AVG	4B MATH-500	4B AVG	说明
完整 HACPO	0.690	0.493	0.808	0.601	完整四模块配置
w/o 能力感知优势估计 (Adv)	0.696	0.465	0.774	0.586	移除基线能力缩放，平均下降 2.8% / 1.5%
w/o 能力差异系数调制 (\(\omega\))	0.666	0.462	0.803	0.600	移除式(7)梯度自适应缩放，弱模平均下降 3.1%

2. 指数重要性加权系数 \(\alpha\) 的敏感性分析（MATH-500 准确率）

模型组合	智能体	\(\alpha=0.0\)	\(\alpha=1.0\)	\(\alpha=2.0\)	\(\alpha=3.0\)
Qwen3-1.7B / 4B-Base	1.7B-Base	0.630	0.664	0.654	0.668
Qwen3-1.7B / 4B-Base	4B-Base	0.756	0.792	0.768	0.770
Qwen3-4B / 8B-Base	4B-Base	0.772	0.776	0.770	0.776
Qwen3-4B / 8B-Base	8B-Base	0.764	0.772	0.766	0.778

关键发现¶

双向互惠效应：即使在强弱分明的组合中（如 4B 与 4B-Instruct、1.7B 与 4B），弱模型不仅大幅吸收强模型的成功经验（4B 提升 6.4%、1.7B 提升 2.8%），较强的智能体也能持续刷新上限（4B-Instruct 提升 1.9%）。这证明较弱智能体扮演了“互补探索者”的角色，提供了强模型自身分布中罕见的另类解题路径和信息量丰富的反例。
朴素共享的破坏性：若不加控制地机械共享轨迹（Naive），模型平均表现出现断崖式暴跌（如 4B 从 0.691 跌至 0.583）。这实证证明了能力差异带来的基准偏置和分布震荡必须通过理论严谨的机制加以约束。
显著节约 Rollout 算力：相比投入双倍采样算力与双倍更新的单模型强基线 \(\text{GSPO}\times2\)，HACPO 仅使用其 50% 的 Rollout 成本便在全基准上平均反超 3.6%，充分展现出多智能体协同带来的样本效率飞跃。

亮点与洞察¶

提出独立执行前提下的双向协同新范式：不同于 MARL 绑定多模型协作部署、也不同于单向黑盒/白盒蒸馏，HACPO 实现了“训练期轨迹互换充实样本、推理期单模型纯净部署”的全新协作范式。
无偏基线理论证明与工程截断的精妙结合：通过数学推导证明了能力加权优势基线的无偏性，并通过经验比率的大样本收敛界保证了稳定性；在工程层面巧妙配合序列级重分词与微步递进截断，消除了多模型混合训练的梯度震荡。
通用的可迁移机制：能力比率调制和逐步截断重要性采样不仅适用于数学推理，还可广泛迁移到代码生成、复杂工具调用以及多异构专家模型（MoE / Agent Pool）的联合强化学习对齐中。

局限与展望¶

智能体数量规模受限：受限于 Verl 框架的分布式工程实现难度以及多模型并行的显存/通信开销，目前主要实验局限在 2 个异构智能体对，尚未在实际训练中验证 \(n \ge 3\) 的更大集群系统。
验证域局限：目前主要验证了具有二元可验证判题环境的数学推理场景（RLVR），对于开放域主观生成、多轮工具交互对话等奖励非绝对确定的场景，能力评估比率的稳健性有待进一步探索。
未来方向：针对 \(n \ge 3\) 异构集群研发更轻量的拓扑共享机制（如动态路由或子集采样式协同），并将该范式拓展至多模态 VLM 推理协同训练中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 明确开创了“独立部署、协同训练”的异构 RLVR 范式，问题抽象与算法设计均极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖状态、大小、模型三种异构级别，并在 7 大数学评测基准上进行了详尽的消融与复现测试。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，方法动机自然承接，数学分析与理论证明详实自洽。
价值: ⭐⭐⭐⭐⭐ 为大模型异构联合训练和强化学习样本复用提供了坚实的理论基准与极具实用价值的工程路线。