跳转至

HardGen: Generating Hard Samples for Tool-use Agents

会议: EMNLP 2026
论文: https://aclanthology.org/2026.emnlp-main.285.pdf
代码: https://github.com/xxx
领域: LLM Agent
关键词: 工具调用, 智能体, 难样本合成, API依赖图, 闭环推理校验

一句话总结

针对现有智能体工具调用合成数据过于平庸且依赖表面模式匹配的痛点,HardGen 提出“失败引导的依赖图采样 → 高级工具反向抽象与隐式难查询生成 → 闭环验证反馈 CoT 迭代修正”的三阶段管线,构建了包含 2.7 万条高难轨迹的语料库,使 4B 模型在 BFCLv3 上实现 79.14% 准确率并跨级别超越众多前沿大模型。

研究背景与动机

将大语言模型与外部工具和 API 进行交互(Function Calling)是构建自主智能体系统的基石。随着智能体在企业工作流自动化、复杂数据分析和跨系统交互等深层场景中的广泛落地,模型能否在长交互视界下处理多工具编排与隐式依赖,成为了决定其实际可用性的分水岭。然而,支撑高质量智能体训练的复杂交互数据严重匮乏,现已成为制约智能体推理能力演进的核心瓶颈。

现有工具调用数据合成方案(如 APIGen、ToolACE、TOUCAN 等)普遍遵循“在静态工具池中随机组合 API + 基于浅层用户-助手模拟生成交互”的范式。这种机制生成的轨迹绝大多数局限于平铺直叙的顺畅路径(Happy Path),其难度往往仅靠增加候选工具数量或人工结构规则来堆砌,无法真实反映物理世界中工具调用的内在逻辑障碍。真实业务问题往往具有深层的隐式依赖关系——前一个工具的输出是后续工具调用的潜在前置条件或隐藏输入,且用户指令通常高度概括,绝不会事无巨细地提示所有中间步骤。在缺乏此类复杂因果约束训练的情况下,现有智能体面对简单查询表现尚可,一旦面对含有未显式陈述的多步跳跃指令时,极易退化甚至崩溃。

破解该困境的关键在于打破随机采样的浅层生成模式,直接针对模型自身的薄弱环节自动化合成具备深层逻辑跳跃且可验证的真实难样本。核心 idea:基于模型失败案例构建动态 API 依赖拓扑图引导合法难序列采样,反向抽象高级工具以生成隐去中间步骤的难查询,并通过校验器闭环诊断反馈迭代精炼思维链,构建出兼具高逻辑深度与严格可执行性的智能体训练轨迹。

方法详解

整体框架

HardGen 包含初始化和三个递进阶段:首先在包含 2,095 个真实工具的模拟环境中通过轻量级双模型自评估筛选出模型共同出错的 1,204 个失败工具,建立融合语义兼容性与沙箱执行验证的动态 API 依赖图 \(G=(V, D, P)\);随后依次执行“阶段 I:执行序列采样”、“阶段 II:执行条件化工具进化”与“阶段 III:反馈引导的思维链迭代修正”,最终生成包含 27,000 条轨迹的高质量语料库。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["API 仿真环境<br/>2,095 个候选工具"] --> B["失败驱动的合法约束序列采样<br/>双模型自评估定位 1,204 失败 API,拓扑图贪心向目标采样"]
    B --> C["执行条件化工具进化与难查询生成<br/>Tool Maker 抽象多步为高级工具,生成省略中间步骤的 Q_hard"]
    C --> D["闭环验证反馈引导的思维链渐进修正<br/>Reasoner 解题 + Verifier 诊断错误形成无泄露反馈闭环"]
    D -->|全流程多步验证成功| E["高质量 27k 难样本数据集<br/>支持 SFT 与强化学习 Policy 优化"]

关键设计

1. 失败驱动的合法约束序列采样:通过动态 API 图与目标偏置定向挖掘高难执行链

随机组合 API 极易生成不可执行的无效调用序列,且会稀释模型最欠缺的困难模式。HardGen 部署包含 2,095 个真实 API 的环境(节点集 \(V\)),利用 Qwen3-4B 与 Llama-3.2-3B-Instruct 两个独立异构模型运行自评估查询,仅当两者推理均告失败时才将该 API 归入失败工具集 \(T\)(共识别出 1,204 个工具),有效排除了单一架构的偶然失误。在此基础上构建有向图 \(G=(V, D, P)\),边 \(D\) 表示参数前置依赖,并通过静态语义兼容性过滤(类型与值域匹配)与沙箱执行双重验证,将 8,462 条候选边精炼至 5,783 条可执行依赖。

在生成单条轨迹时,采样器以某一失败工具 \(T_a \in T\) 为锚点目标,每一步从满足前置依赖的合法候选集 \(T_{legal}(H) = \{T_c \in V \setminus H : Pre(T_c) \subseteq H\}\) 中选择节点。为了直达目标而不发生随机偏离,采用贪心策略优先挑选图拓扑距离 \(\text{dist}(T_k, T_a)\) 最短的工具:

\[T_s = \begin{cases} \text{rand}(T_{legal}(H)), & T_a \in H \\ T_a, & I(T_a, H) = 1 \wedge T_a \notin H \\ \arg\min_{T_k \in T_{legal}(H)} \text{dist}(T_k, T_a), & \text{otherwise} \end{cases}\]

调用产生环境反馈并实时更新沙箱状态与图约束(例如动态收紧实际观测到的参数范围)。序列采样持续至固定预算 \(M\) 步,形成严格保真且命中弱点的基底执行链 \(\Gamma_i = (C_1, E_1, \dots, C_M, E_M)\)。

2. 执行条件化工具进化与隐式难查询生成:通过反向抽象消除中间步骤以强化逻辑跳跃推理

如果直接基于显式执行序列 \(\Gamma_i\) 倒推用户查询,生成的问题往往形如“请先调用 A 查询 X,再用 X 调用 B”,这会导致智能体仅需做浅层关键词匹配,而无需进行真正的隐式状态推断。为此,HardGen 引入了两步反向进化机制。首先,工具生成代理 Tool Maker(\(A_T\))将多步复杂执行链 \(\Gamma_i\) 整体封装为一个端到端的高级抽象工具 \(T_{adv} = A_T(\Gamma_i)\),将其底层互相交织的数据流掩蔽在高级功能描述之后。

随后,难查询生成代理 Hard-query Generator(\(A_Q\))以 \(T_{adv}\) 的宏观语义为条件,生成业务意图明确但隐去全部中间执行细节的高难指令 \(Q_{hard} = A_Q(T_{adv})\)。这种设计在用户指令与底层原子 API 之间制造了显著的“逻辑断层”(Logical Jump)——智能体必须根据原子工具库自主推断出隐藏的中间变量(Latent Variables)与执行路径,例如自发意识到“城市名称不能直接买票,必须先调用转换接口获取邮编”,从而彻底摆脱对用户显式提示的依赖。

3. 闭环验证反馈引导的思维链渐进修正:通过诊断反馈闭环保证复杂推理轨迹的严格可执行性

高难度的隐式查询显著增加了合成正确思维链(CoT)的难度,直接依靠生成模型常因幻觉或参数偏差导致推理断裂。HardGen 建立了推理者(Reasoner \(A_R\))与验证者(Verifier \(A_V\))构成的闭环纠错系统。初始化时,推理者以难查询、候选原子工具集以及高级工具 \(T_{adv}\) 的功能描述作为隐式启发提示(Hint)生成候选思考与函数调用;若生成的调用与基底真实调用 \(C_i\) 不一致,验证者介入分析错误根源,生成不泄露直接答案的针对性纠错反馈 \(Error_i^{(k)}\)。

系统将诊断反馈追加至历史上下文以驱动渐进式推理演进:

\[Prompt_i^{(k+1)} = \text{Concat}(Prompt_i^{(k)}, Error_i^{(k)})\]

推理者基于新提示重新生成 \(CoT_i^{(k+1)}\) 与函数调用,最多迭代 \(K_{max}=3\) 次。只有当序列中所有 \(M\) 步调用均在限定尝试内成功闭环,整条轨迹才被采纳;在多轮对话扩展中,后续轮次继续建立在经严格验证的历史状态之上,保证长程交互不漂移。

一个完整示例

论文在附录给出了一个典型的机票预订场景(Case Study: Rivermist 到 Stonebrook): - 底层执行链:先调用 get_zipcode(city="Rivermist") 返回 "83214";再调用 get_zipcode(city="Stonebrook") 返回 "74532";最后调用 buy_tickets(zipcodeA="83214", zipcodeB="74532") 返回订票成功信息。 - 高级工具抽象:生成虚拟高级工具 buy_tickets_adv(cityA, cityB),功能描述为“根据始发与目的地城市名称直接购买航线机票”。 - 传统简单查询 vs 本文难查询:传统方法生成的查询为“请先查询 Rivermist 和 Stonebrook 的邮编,然后根据查询到的邮编购买机票”;而 HardGen 生成的高难查询仅为简洁的一句话:“请购买 Rivermist 市与 Stonebrook 市之间的机票”。 - 模型推理闭环:智能体在 <think> 中自主比对发现 buy_tickets 仅接受邮编输入,意识到必须在购票前并行发起两个 get_zipcode 调用,获得环境反馈后再拼装参数调用 buy_tickets,完美补齐了未显式提及的中间前置步骤。

损失函数 / 训练策略

基于 HardGen 合成的 27,000 条样本,训练覆盖有监督微调(SFT)与强化学习(RL): - SFT 配置:采用 LLaMA-Factory 框架,在对话中对用户指令与系统提示进行 Loss Masking,仅针对 Assistant 角色预测当前响应。全局 Batch Size 为 1024,学习率设为 \(4\times 10^{-5}\),最大序列长度截断为 20,480 tokens,训练 5 个 Epoch。 - RL 配置:基于开源 Verl 框架,跳过 SFT 阶段直接进行纯强化学习训练。采用严格格式与答案双重对齐的二值可验证奖励函数:

\[Reward = \begin{cases} 1, & \text{format correct } \wedge \text{ answer correct} \\ 0, & \text{otherwise} \end{cases}\]

当生成内容包含工具调用时,必须通过严格的 AST 解析、参数值完全匹配且符合指定推理模板;当参考答案无需调用工具时,模型必须输出纯文本而不得产生多余调用。KL 惩罚系数设为 \(1\times 10^{-3}\),Rollout 采样数为 16,温度为 0.7,学习率为 \(1\times 10^{-6}\)。

实验关键数据

主实验

在权威 Berkeley Function Calling Leaderboard v3(BFCLv3)上,基于 Qwen3-4B 训练的模型与前沿闭源/开源模型进行了系统对比(汇报官方评测准确率 %):

模型 参数量 单轮整体 (Single-Turn) 多轮整体 (Multi-Turn) 全局总分 (Overall)
GPT-4o (2024-11-20) - 77.21 42.50 65.64
GPT-5.2 (2025-12-11) - 76.12 28.13 60.12
Gemini-3-Pro-Preview - 86.89 60.75 78.17
Claude-Opus-4-5-20251101 - 84.19 68.38 78.92
DeepSeek-V3.2-Exp 671B 80.77 44.88 68.81
Qwen3-235B-A22B-Instruct 235B 84.51 44.63 71.21
Qwen3-4B (Base 基座) 4B 82.14 22.13 62.13
HardGen-4B-SFT (本文) 4B 85.73 (+3.59) 49.65 (+27.52) 73.70 (+11.57)
HardGen-4B-RL (本文) 4B 87.14 (+5.00) 63.13 (+41.00) 79.14 (+17.01)

在相同基座 Qwen2.5-7B-Instruct 下与主流数据合成管线的横向对比同样优势显著:

合成方案 单轮准确率 (%) 多轮准确率 (%) 全局总分 (%) 相比基座增益 (Δ)
基座模型 (Qwen2.5-7B) 77.30 7.62 54.07 -
TOUCAN 76.51 22.62 58.55 +4.48
InfTool 81.18 22.75 61.70 +7.63
ToolACE-MT 80.51 27.57 62.86 +8.79
HardGen-SFT (本文) 83.99 40.75 69.58 +15.51

消融实验

针对管线各阶段核心模块的消融实验(基于 Qwen3-4B 进行 SFT 并在 BFCLv3 上评测):

配置变体 阶段 I (采样源) 阶段 II (高级工具 \(T_{adv}\)) 阶段 III (CoT 闭环修正) BFCLv3 全局准确率 (%)
基座模型 (Base Model) - - - 62.13
(a) 随机拓扑采样 随机序列 - - 64.90
(b) 失败图引导采样 失败依赖图 - - 67.64
(c) 失败图 + 高级工具抽象 失败依赖图 引入 \(T_{adv}\) 与 \(Q_{hard}\) - 70.18
(d) 失败图 + 验证闭环修正 失败依赖图 - 引入 Verifier 闭环 69.23
(e) HardGen 完整管线 失败依赖图 引入 \(T_{adv}\) 与 \(Q_{hard}\) 引入 Verifier 闭环 73.70

在 BFCLv4 Agentic 评估(涵盖多跳 Web 搜索与长程 Memory)中,HardGen-8B-RL 达到 20.42 总分,远超基座 Llama-3.1-8B-Instruct 的 6.88(提升 +13.54),并超越 ToolACE-2-8B (13.50) 与 xLAM-2-8b-fc-r (10.24)。

关键发现

  • 多轮交互增益最显著:HardGen 在多轮对话上的提升幅度(Qwen3-4B 上 RL 提升 +41.00,SFT 提升 +27.52)远超单轮任务,证明高级工具抽象消除了显式中间指引,有效倒逼模型建立了上下文状态追踪与多步因果归纳能力。
  • 量化难度与模型增益高度正相关:数据集三大难度指标(依赖深度 \(d\)、隐式变量数 \(\ell\)、分支因子 \(b\))与基座模型错误率呈强正相关(\(r \ge 0.42, p < 0.01\)),且与模型经训练后的提升幅度 \(\Delta Acc\) 亦显著正相关(\(r \ge 0.37\)),直接佐证了“越难的样本带来的学习收益越丰厚”。
  • 各阶段正交互补:消融表明缺少任何一环均会导致显著掉点,其中失败引导采样提供定向靶点(+2.74),高级工具抽象促成逻辑跳跃(+2.54),闭环检验修正保障轨迹严格正确(+3.52)。

亮点与洞察

  • 反向抽象生成难查询的技术闭环:传统方法常靠 prompt 硬性要求“生成复杂问题”,往往只增加修饰词;HardGen 先组合真实执行序列,再逆向提炼为高级 API,最后依此生成端到端查询。这种以“信息压缩”制造“认知断层”的思路极其巧妙,从根本上杜绝了指令对中间工具的提示泄漏。
  • 双模型自评估的筛选准则:在图构建中采用 Qwen3-4B 与 Llama-3.2-3B 异构模型的“与门(Conjunction)”判定失败 API,消融证实其效果显著优于单一模型或“或门”准则,精准滤除了特定架构的表层词元化偏置,留存下了真正的图结构障碍。
  • 通用性与 Pareto 最优权衡:IFEval 与 BFCLv3 的权衡分析显示,HardGen 在极大释放智能体专业工具调用能力的同时,通用遵循能力仅产生微小衰减,且 RL 相比 SFT 展现出更优越的 Pareto 前沿。

局限与展望

  • 真实沙箱环境依赖:依赖可实际执行的环境进行双重边过滤与闭环运行校验,对于缺乏真实运行时环境、需要鉴权的高壁垒私有 API 而言,部署和迁移成本较高。
  • 高级工具抽象质量受限:高级工具的抽象精度高度依赖 Tool Maker 的概念聚合能力,若底层原子工具调用关系高度异构或语义不规则,可能产生模糊抽象,进而影响难查询质量。
  • 向超大动态 API 生态扩展:未来可探索如何将依赖图机制轻量化拓展至数万量级的开放网络 API,并引入自动化环境 Mock 技术以降低对可执行沙箱的硬性依赖。

相关工作与启发

  • vs APIGen / ToolACE: APIGen 与 ToolACE 主要侧重提升 API 覆盖面与格式准确率,合成轨迹多为单步或顺畅路径;HardGen 专注于隐式因果依赖与逻辑断层,通过失败图与反向抽象强迫智能体进行深层因果链推理。
  • vs TOUCAN: TOUCAN 通过扩充真实 MCP 环境提升数据规模,但样本难度多由环境的静态结构决定;HardGen 则引入以模型自身失败案例为支点的闭环生成与迭代校验,实现了高靶向性的“难度自适应”。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 逆向高级工具抽象与失败图拓扑采样的结合极具启发性
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 BFCLv3/v4、APIBank、ACEBench 以及多模型跨架构泛化分析
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密,符号体系规范,案例剖析透彻
  • 价值: ⭐⭐⭐⭐⭐ 为解决开源紧凑模型在复杂工具编排与多轮智能体任务上的性能瓶颈提供了可落地的工业级数据飞轮