PhGPO: Pheromone-Guided Policy Optimization for Long-Horizon Tool Planning¶

会议: NeurIPS 2026
arXiv: 2602.13691
OpenReview: https://openreview.net/forum?id=sAUmVeY7RI
代码: 待确认
领域: 其他
关键词: 工具规划, 强化学习, 蚁群算法, 信息素先验, 智能体

一句话总结¶

受蚁群算法启发，PhGPO 将历史成功工具调用轨迹显式蒸馏为 MCP 转移图上的信息素先验，通过挥发与任务检索动态更新，并在 GRPO 框架下引导采样与递进策略优化，显著提升长程多步工具规划的成功率与采样效率。

研究背景与动机¶

大语言模型智能体（LLM Agent）在利用外部工具（如网页搜索、代码执行、操作系统交互）解决复杂真实任务方面展现了强大能力。然而，当任务需要调用数十个至上百个候选工具、交互轨迹跨度延伸至十到二十步长程时（例如 Toolathlon 基准），工具规划面临着严峻的组合爆炸困境。在这一场景下，智能体早期的工具选择往往直接决定了后续状态的可达性与整条轨迹的成败；任何一步局部工具决策的失误，都会引发不可逆的级联失败，导致后续规划全盘崩溃。

强化学习（RL）通过与环境交互并利用结果或过程反馈更新策略，为长程多步工具规划提供了自然途径。然而，传统强化学习方法通常将交互探索的经验隐式吸收并固化在策略网络参数中，无法显式记录历史成功经验中的具体转移模式。这导致即使智能体偶然探索出一条成功的多步工具调用轨迹，该轨迹通常仅被作为单次步级更新的即时奖励信号，其蕴含的高价值工具转移序列无法在后续训练中被显式复用。当高价值成功轨迹极度稀疏时，策略网络在后续探索中仍会重新退回到盲目搜索状态，造成极低的样本利用效率。

针对隐式策略更新无法直接复用成功转移模式的核心痛点，本文提出可以从历史成功轨迹中显式蒸馏出工具转移先验以引导后续策略优化。受自然界中蚂蚁通过信息素（Pheromone）标记成功路径并引导同伴高效寻路的蚁群优化（ACO）算法启发，研究者将工具转移先验形式化为图结构上的信息素机制。核心 idea：基于模型上下文协议（MCP）构建工具转移图，将历史成功轨迹显式蒸馏为具备沉积与挥发机制的任务自适应信息素先验，并在组相对策略优化（GRPO）中作为对数先验引导轨迹采样与递进课程学习，实现长程工具规划经验的显式持续复用。

方法详解¶

整体框架¶

PhGPO 的核心设计原则在于将长程工具调用的成功经验显式转化为结构化图先验并持续赋能策略迭代。系统首先依托模型上下文协议（MCP）抽象出包含工具节点与高频参数调用节点的双层拓扑图。随后，在训练过程中维护任务无关与任务相关的双重信息素先验，根据历史成功轨迹的匹配率动态执行信息素沉积（Deposition）与衰减挥发（Evaporation）。在策略优化阶段，智能体在 GRPO 采样中将当前策略 logits 与对数空间的信息素先验相结合进行动作采样，并通过包含预热微调、教师强制衰减以及跨步长递进的课程调度平滑过渡到完全自主策略优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Task["任务描述与当前状态"] --> Sampling["信息素引导的动作采样与组相对策略优化<br/>Top-K候选过滤与对数信息素先验重加权采样"]
    Sampling --> Traj["生成候选轨迹组与相对优势计算"]
    Traj --> Score["轨迹评测与匹配度打分"]
    Score --> DualPhero["MCP 工具转移图与双重信息素建模<br/>任务无关挥发沉积 + 记忆库任务相关检索融合"]
    DualPhero -.->|更新信息素矩阵| Sampling
    Traj --> Progressive["渐进式递进训练管线与动态蒸发更新<br/>监督预热 → 教师强制衰减与课程学习 → 纯自主GRPO"]
    Progressive -.->|更新策略网络参数| Sampling
    Progressive --> Output["优化后长程工具规划智能体"]

关键设计¶

1. MCP 工具转移图与双重信息素建模：显式存储并自适应融合历史转移经验 传统强化学习将探索经验隐式沉淀在权重参数中，使得稀疏的高价值转移模式极易被遗忘或难以直接干预后续探索分布。针对这一痛点，PhGPO 依据 MCP 协议将所有基础工具抽象为工具节点集合 $\mathcal{V}_{\text{Tool}}$，并在有先后转移关系的工具间构建有向边 $\mathcal{E}$；同时针对每种工具提取高频参数调用模式构建参数集合 $\mathcal{V}_{\text{Arg}}$，形成工具-参数关联边 $\mathcal{E}_{\text{arg}}$，将单步决策解耦为“选工具”与“选参数模式”。为了使经验能够兼顾全局转移统计与特定任务上下文，模型维护两套信息素机制：任务无关信息素 $\tau^{\text{agn}}$ 采用经典蚁群规则更新，随轨迹匹配得分 $q_\tau(\xi)$ 沉积并按挥发率 $\rho$ 衰减： $$\tau^{\text{agn}} \leftarrow \text{clip}\left((1-\rho)\tau^{\text{agn}} + \alpha\,q_\tau(\xi),\, [\tau_{\min}, \tau_{\max}]\right)$$ 而任务相关信息素 $\tau^{\text{dep}}$ 则通过边级记忆库 $\mathcal{M}_{ij}$ 存储历史任务嵌入与打分元组，在推理时根据任务描述的余弦相似度检索加权平均；最终通过置信度因子 $c_{ij}(x)$ 将两者动态线性加权，既防止新任务冷启动时的过拟合，又保证了常见工具链的强引导。

2. 信息素引导的动作采样与组相对策略优化：在采样端打破盲目探索并强化组间对比 在包含数百个工具的超大动作空间中，无引导的标准策略采样极易生成全员低质的轨迹组，使得依赖组内对比的策略优化算法（如 GRPO）因相对优势接近全零而陷入学习停滞。为了使探索过程精准聚焦于有潜力的子空间，PhGPO 设计了解耦采样机制。在决定下一步基础工具 $a_t$ 时，首先从策略模型 $\pi_\theta(a_t \mid s_t)$ 中截取 Top-$K$ 候选集作为采样支撑集，随后利用融合后的工具转移信息素 $\tau_{\text{Tool}}$ 在对数空间进行分布调制： $$p(a_t \mid s_t, a_{t-1}) \propto \exp\left(\log \pi_\theta(a_t \mid s_t) + \beta \log \tau_{\text{Tool}}(a_{t-1}, a_t \mid x)\right)$$ 在选定基础工具后，直接从参数信息素 $\tau_{\text{Arg}}$ 中采样参数调用模板 $u_t$（不引入额外参数网络，避免多头复杂性）。该设计在保留策略探索灵活性的同时，借由信息素构筑的“高速公路”大幅提高了生成高分轨迹的概率，为 GRPO 计算组相对优势 $A_m = (R_m - \bar{R}) / (\sigma_R + \epsilon_{\text{adv}})$ 提供了高对比度的优质学习信号。

3. 渐进式递进训练管线与动态蒸发更新：平滑过渡自主能力并防止历史偏差固化 在训练初期，模型未积累足够的成功轨迹，直接施加信息素可能导致错误路径的正反馈循环；而在训练后期若缺乏衰减机制，过期或次优的转移路径又会锁死探索空间。为此，PhGPO 制定了一套多阶段递进训练策略。第一阶段采用标准监督微调预测下一工具进行热身；第二阶段启动包含步长课程（从短程到长程）与教师强制衰减的混合优化，在执行动作时以随时间衰减的概率 $p_{\text{tf}}$ 注入黄金参考动作，其余情况下由信息素引导采样生成；损失函数采用监督损失与策略梯度损失动态退火配比： $$\mathcal{L}^{\text{mixed}} = \lambda \mathcal{L}^{\text{SL}} + (1-\lambda)\mathcal{L}^{\text{PG}} - \gamma \mathcal{H}[\pi_\theta]$$ 伴随有效成功经验的积累，逐步退火 $\lambda$ 与 $p_{\text{tf}}$，同时线性增大引导系数 $\beta$ 与任务权重 $w$。第三阶段平滑过渡至完全自主生成的全信息素 GRPO 优化，辅以持续的蒸发衰减 $\rho$，既实现了从模仿到自主强化的平稳蜕变，又保证了信息素对策略演进的动态适应性。

损失函数 / 训练策略¶

PhGPO 采用三阶段递进训练策略： 1. 监督热身（Supervised Warm-up）：利用黄金参考轨迹上的下一步工具预测交叉熵损失 $\mathcal{L}^{\text{SL}} = -\log \pi_\theta(a_t^* \mid s_t)$ 初始化模型，规避早期随机乱选。 2. 混合强化学习（Mixed RL Curriculum）：联合优化监督损失、GRPO 截断代理损失 $\mathcal{L}^{\text{PG}}$ 以及策略熵正则化项 $\mathcal{H}[\pi_\theta]$，通过动态参数 $\lambda$ 平滑降低监督权重。 3. 全信息素自主强化（Full-Pheromone RL）：完全由信息素调制的策略分布采样 $M=5$ 条完整轨迹，采用 LoRA（秩 $r=64$, $\alpha=128$）高效微调骨干模型，采样温度设为 0.7，候选集截断 $K=20$，信息素引导系数上限 $\beta_{\max}=0.7$，最大规划步长设为 20。

实验关键数据¶

主实验¶

在涵盖数百种 MCP 工具的 Toolathlon、真实生产级 API 的 TRAJECT-Bench 以及大规模合成环境 TOUCAN 三大长程规划基准上，以 Qwen2.5-7B 和 Llama3.1-8B 为基座模型与主流基线进行全面评测。评估指标包括序列级匹配率（Match Ratio, %）与以 GPT-4o 作为裁判的任务成功率（Task Success Rate, %）。

数据集	骨干模型	指标	本文 (PhGPO)	之前 SOTA (最优基线)	提升
Toolathlon	Qwen2.5-7B	Match Ratio (%)	25.25	21.26 (TreeRL)	+3.99
Toolathlon	Qwen2.5-7B	Task Success Rate (%)	20.34	18.91 (TreeRL)	+1.43
Toolathlon	Llama3.1-8B	Match Ratio (%)	22.83	18.78 (TreeRL)	+4.05
Toolathlon	Llama3.1-8B	Task Success Rate (%)	19.76	14.22 (GTool)	+5.54
TRAJECT-Bench	Qwen2.5-7B	Match Ratio (%)	41.62	35.45 (TreeRL)	+6.17
TRAJECT-Bench	Qwen2.5-7B	Task Success Rate (%)	32.18	28.06 (GTool)	+4.12
TRAJECT-Bench	Llama3.1-8B	Match Ratio (%)	31.84	26.84 (ToolReAGt)	+5.00
TRAJECT-Bench	Llama3.1-8B	Task Success Rate (%)	22.66	21.78 (GTool)	+0.88
TOUCAN	Qwen2.5-7B	Match Ratio (%)	35.17	30.65 (TreeRL)	+4.52
TOUCAN	Qwen2.5-7B	Task Success Rate (%)	26.28	20.86 (StepTool)	+5.42
TOUCAN	Llama3.1-8B	Match Ratio (%)	24.67	20.20 (TreeRL)	+4.47
TOUCAN	Llama3.1-8B	Task Success Rate (%)	19.86	18.62 (TreeRL)	+1.24

消融实验¶

基于 Qwen2.5-7B 在 Toolathlon 基准测试集上的关键组件剥离消融实验如下：

配置	核心作用	Match Ratio (%)	降幅 (Drop M.)	Task Success Rate (%)	降幅 (Drop TSR)	说明
PhGPO (Full)	完整模型	25.25	—	20.34	—	启用所有组件的最优表现
w/o Mixed Curriculum	移除渐进式教师引导课程	19.34	-5.91	14.86	-5.48	纯依赖自主探索，早期缺乏优质信息素积累导致性能降幅最大
w/o Pheromone ($\beta=0$)	完全移除显式信息素先验	21.23	-4.02	16.72	-3.62	降级为传统无先验 GRPO，长程探索效率大幅受挫
w/o Evaporation ($\rho=0$)	移除信息素衰减挥发机制	21.72	-3.53	16.28	-4.06	历史次优经验过度累积固化，阻碍策略探索演进
w/o Task-dependent	仅保留任务无关全局信息素	22.45	-2.80	17.35	-2.99	缺少特定任务语义匹配的个性化转移先验
Static Prior	训练中途冻结信息素更新	23.93	-1.32	18.71	-1.63	无法随策略能力进化动态更新高阶转移经验

关键发现¶

混合递进课程贡献最关键：在消融实验中，去掉 Mixed Curriculum 导致任务成功率暴跌 5.48%、匹配率剧降 5.91%，说明在极度庞大的工具转移空间中，训练初期依靠教师强制与渐进步长先沉积一部分可信经验，是后续信息素飞轮能够良性运转的前提。
动态挥发机制不可或缺：设置挥发率 $\rho=0$ 使任务成功率下降 4.06%，证明了生物学启发中“不抹去旧痕迹就会陷入次优陷阱”的规律——无衰减的信息素会导致过时甚至错误的早期路径在权重上形成恶性循环。
长程轨迹收益更显著：在 10~20 步的长链工具交互中，由于组合状态空间随步数指数增长，PhGPO 相对基线的性能优势显著扩大（探索到首次成功轨迹所需的步数缩短近半），证明了显式转移先验对于长程多步稳定性的决定性支撑。

亮点与洞察¶

将生物蚁群寻路机制迁移至大模型智能体工具规划：将稀疏交互成功路径以信息素形式在图拓扑上显式物化与衰减，巧妙避开了传统强化学习将一切经验强行隐式拟合入模型权重带来的遗忘与低效。
解耦工具选择与参数模板选择：将高维复杂的长程调用分解为工具转移拓扑与高频参数模式匹配，避免了对庞大参数生成头端到端建模的高昂代价。
对数空间先验即插即用适配组相对策略优化：在不改变 GRPO 优势计算与策略截断损失的前提下，仅在采样阶段以对数先验形式调制概率分布，实现与主流策略梯度强化学习算法的优雅解耦融合。

局限与展望¶

作者承认的局限：目前信息素更新主要依赖参考轨迹匹配打分 $q_\tau(\xi)$ 进行沉积，对于完全无参考轨迹或开集开放域环境中的细粒度动态奖励沉积验证机制探索仍有待拓展；参数模式依赖预定义高频集合，在高度动态非标准参数环境下的泛化能力受限。
环境假定依赖：工具转移图假定工具集拓扑相对稳定（基于 MCP 协议枚举），若遇到实时动态增删 API 或动态工具发现场景，需进一步研究拓扑在线自适应演化与信息素平滑冷启动机制。
未来改进方向：可将任务相关信息素记忆库结合层次化聚类或动态图神经网络进行嵌入表示学习；同时结合运行时动态检验机制（如验证器智能体执行结果）为信息素赋予细粒度步级沉积能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙将蚁群信息素沉淀与挥发机制映射到 MCP 工具转移图与强化学习采样先验中，构思独到。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 Toolathlon、TRAJECT-Bench、TOUCAN 三大长程规划基准，包含详尽消融与转移矩阵演化定性可视化。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对照自洽，问题定义明确，从动机到算法递进自然流畅。
价值: ⭐⭐⭐⭐⭐ 为大模型长程工具规划与复杂 Agent 系统的经验沉淀与样本高效强化学习提供了高启发性的设计范式。