TIER: Trajectory-Invariant Execution Rewards for Multi-Step Tool Composition¶

会议: NeurIPS 2026
arXiv: 2605.16790
OpenReview: https://openreview.net/forum?id=G82YnmxBx8
代码: https://github.com/anaykulkarni/TIER
领域: LLM Agent
关键词: 工具使用、多步组合、轨迹无关奖励、强化学习、可验证奖励

一句话总结¶

针对多步工具组合任务中结果奖励过于稀疏、轨迹级参考监督强行绑死单一路线而抹杀有效等价解的问题，TIER 提出了基于函数模式校验与沙箱运行时执行反馈的轨迹无关分层奖励机制，使 8B 模型在 1–6 步深度的复杂工具调用中全线突破 90% 准确率。

研究背景与动机¶

将大语言模型（LLM）与外部 API 互联以形成自主智能体，是现代大模型拓展知识与行动能力的核心途径。借助基于可验证奖励的强化学习（RLVR），现有方法在单步工具调用或聚合成功率指标上已取得显著进展。然而，当面临需要串联多个具有依赖关系的 API 的多步工具组合（Tool Composition）任务时——例如“查询我下一班飞机的目的地当地天气”，必须先查询航班、抽取目的地城市、再请求天气——现有系统的性能随着组合深度的增加而出现断崖式下跌。在简单结果奖励下，模型在 1 步任务上的准确率超过 94%，但在 2 步任务上骤降至 1.25%，在 4 步以上更是直接衰减到 0%。

这一瓶颈的核心矛盾在于奖励建模的内在缺陷：基于结果的稀疏奖励无法在长决策链中分配中间步骤的信用，使探索空间过大导致训练无法收敛；而引入人工或教师标注参考轨迹的轨迹监督奖励（如 ToolRL），又强行将正确性锚定在唯一的标准路径上。在多步组合任务中，往往存在大量可交换的独立子目标、等价 API 替换或不同的合法调用顺序，轨迹监督将这些同样正确的替代解严重惩罚，造成策略优化方差剧烈震荡，并在深度增大时彻底崩溃。此外，轨迹监督高度脆弱，一旦 API 接口或版本发生变更，所有静态标注轨迹均需重新合成。

本文的切入角度是解耦“达成的执行效果”与“所选的具体路径”，让奖励直接由函数模式（schema）的语法结构与沙箱运行时（runtime）的真实执行状态共同推导。核心 idea：构建与具体解题路径解耦的轨迹无关执行奖励（TIER），将序列级验证严格拆解为格式合法性、模式依从度、执行成功性与答案正确性四层互补信号，在彻底摆脱参考轨迹标注的同时，为多步复合工具调用提供多层次、细粒度的信用分配。

方法详解¶

整体框架¶

TIER 的工作流水线分为智能体生成、抽象语法树（AST）结构化解析、工具环境沙箱执行以及四层分级奖励计算四个阶段。给定用户多步指令与可用工具集的函数定义（包含工具名、参数签名、必需与可选参数及数据类型），模型首先以结构化 JSON AST 的形式生成一整串工具调用候选序列；随后，内置的规则校验器解析该 AST 的语法结构与函数模式符合度；接下来，通过环境模拟器依序分发调用，利用返回值驱动依赖上下文；最后，基于真实执行结果与最终答案，计算分层归一化的标量奖励以指导策略梯度反向传播。

整个端到端流程由以下框架图完整表达：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询与工具模式定义<br/>x, tool schemas"] --> B["AST 序列生成<br/>生成结构化 JSON AST 候选序列"]
    B --> C["格式与模式解析验证<br/>计算 R_format 与 R_parse"]
    C -->|模式验证通过| D["沙箱环境依赖执行<br/>计算全链调用 R_exec"]
    C -->|严重格式错误| G["截断惩罚<br/>下游奖励置零"]
    D --> E["答案语义比对<br/>计算最终任务答案奖励 R_answer"]
    E --> F["轨迹无关奖励聚合与优势归一化<br/>R_total 缩放至 0~1，组内白化计算 A(x,y)"]
    F --> H["GRPO 策略梯度更新<br/>优化模型参数 θ"]

关键设计¶

1. 轨迹无关性原则：摆脱参考轨迹绑架，兼容等价解空间

传统方法将模型预测的工具调用序列与人工标注的标准轨迹 $y^*$ 做字面或单步匹配，一旦模型调换了两个互不干扰的独立 API 执行顺序，或选用了功能相同但签名微调的等价 API，都会被判定为错误。TIER 确立了轨迹无关（Trajectory-Invariant）的设计准则：候选序列 $y$ 的奖励 $R(y)$ 仅取决于其在环境与目标下可验证的固有性质（格式合法、符合定义、成功运行并给出正确答案），与它跟任何特定参考路径 $y^*$ 的相似度完全无关。在合法解空间内，所有达成目标的可行轨迹享有同等满额奖励；在非法解空间内，序列仅依照其违背的客观物理属性被细粒度扣分，从而为多步推理提供稳定且容错的梯度指引，同时天然适应工具接口的动态演化。

2. 四层分级奖励解耦：语法、结构、运行与语义的多层次信用分配

多步组合的崩溃并非单一因素所致，格式解析失败、参数类型错误、链式调用断裂与语义答案错误必须在源头上进行针对性监督。TIER 将单次生成的总奖励解构为四个相辅相成的序列级分量：

\[R_{\text{total}} = R_{\text{format}} + R_{\text{parse}} + R_{\text{exec}} + R_{\text{answer}}, \quad \text{scaled to } [0, 1]\]

各子奖励具体定义与运行机制如下： - 格式合法性 ($R_{\text{format}} \in \{0, 1\}$)：验证生成的 AST 是否结构完整且符合 JSON 规范。若语法不可解析，整个序列判定为不可救药，后续所有分量直接置零（$R_{\text{parse}}=R_{\text{exec}}=R_{\text{answer}}=0$）。 - 模式依从度 ($R_{\text{parse}} = R_{\text{name}} + R_{\text{param}} + R_{\text{dtype}} \in [0, 3]$)：细粒度量化调用是否符合目标函数定义。工具名称 $R_{\text{name}} \in \{0, 1\}$ 采取一票否决制，只要调用了不存在或未声明的 API，无法映射到任何模式，结构解析整体归零；而参数名与数据类型则采用平滑截断惩罚： $$R_{\text{param/dtype}} = \text{clip}(1 - \lambda_p \cdot p, 0, 1)$$ 其中 $p$ 为该序列在所有调用中累计出现的参数错误或类型不匹配总数，惩罚系数设为 $\lambda_p = 0.25$。这一平滑设计保证了接近正确的结构能获得部分中间奖励，避免因微小参数疏漏导致梯度信号完全熄灭。 - 执行成功性 ($R_{\text{exec}} \in \{0, 1\}$)：仅当全序列中每一个被调用的工具均在沙箱中成功执行且无运行时异常时赋值为 1，否则为 0。在复合调用中，步骤 $k$ 的输出常作为下游步骤的输入，任何断裂都会让后续工作失去价值，因此该全有或全无（all-or-nothing）规则严格贴合了组合任务的链式因果本质。 - 答案正确性 ($R_{\text{answer}} = 5 \cdot \mathbb{I}[\text{answer correct}] \in \{0, 5\}$)：最终输出与预期答案精确一致时赋予 5 分权重。大幅提高答案权重的核心动机是防止奖励作弊（Reward Hacking）：若下游任务权重过低，模型会退化并学会只去调用那些极易无错执行但与问题完全无关的“安全工具”，从而在完全算错答案的情况下白嫖格式、模式和执行分，导致探索早熟停滞。

3. 群组归一化强化学习优化：无额外 Critic 的稳健策略梯度更新

为避免引入庞大且难以准确估算价值函数的 Critic 网络，TIER 采用批归一化 GRPO（Group Relative Policy Optimization）框架。针对每个输入查询 $x$，当前策略 $\pi_\theta$ 独立采样采样组 $\mathcal{G}(x) = \{y_1, \dots, y_K\}$（实验中 $K=8$），并在沙箱中评测得到标量奖励集合 $\{R(x, y_k)\}$。序列级优势函数通过组内统计量直接白化计算：

\[A(x, y) = \frac{R(x, y) - \mu_{\mathcal{G}(x)}}{\sigma_{\mathcal{G}(x)} + \varepsilon}\]

策略参数通过 PPO 样式的裁剪代理目标进行 token 级优化，同时在损失中加入相对于参考策略 $\pi_{\text{ref}}$ 的 $k_3$ 估计器 KL 散度约束（正则化权重 $\lambda_{\text{KL}} = 0.04$），既保证了生成分布不会偏离基础语言模型的先验表达，又使探索聚焦于高奖励的有效组合路径上。

一个完整示例¶

考虑一个经典的合取约束多工具调用查询：“查找我今天在西雅图的日历日程，同时查询下午 3 点当天的气温，并合并输出”。 1. 生成阶段：模型输出一个包含两项调用的 JSON AST：call_1: get_calendar(date="today", location="Seattle")，call_2: get_weather(location="Seattle", time="15:00")。 2. 检验阶段： - $R_{\text{format}}$：JSON 闭合完备，格式为 1 分； - $R_{\text{parse}}$：工具名均在已声明清单中，$R_{\text{name}}=1$；参数名及字符串类型完全契合模式，$R_{\text{param}}=1, R_{\text{dtype}}=1$，解析得分满分 3 分； - $R_{\text{exec}}$：沙箱并发执行两项调用，各自正常返回会议清单和气温数值，执行成功 $R_{\text{exec}}=1$； - $R_{\text{answer}}$：根据两项结果整合成符合事实的最终回复，比对通过 $R_{\text{answer}}=5$。 3. 轨迹无关性体现：如果另一采样候选将 call_2 放在 call_1 前面调用，由于两操作并无因果前后依赖，只要最终合并答案正确，同样能斩获满分 10 分（归一化为 1.0）。相比之下，轨迹监督法会因为此顺序与标注文本的偏序不同而倒扣大量分数，扼杀该有效解。

损失函数 / 训练策略¶

训练采用批量归一化 GRPO 目标，并在策略梯度更新中结合 token 级的裁剪比率 $\rho_t(\theta)$：

\[\mathcal{L}(\theta) = \mathcal{L}_{\text{PG}}(\theta) + \frac{\lambda_{\text{KL}}}{\sum_{i \in \mathcal{B}} T_i} \sum_{(x, y) \in \mathcal{B}} \sum_{t=1}^{T_y} \hat{\text{KL}}_t\]

其中单次采样步更新次数设为 num_iterations = 1，训练在单轮交互设置下展开，上下文窗口为 12,288 token，采用 2 张 NVIDIA A100 (80GB) 显卡完成 1,000 步优化（约耗时 20 小时）。

实验关键数据¶

主实验¶

论文针对多步组合提出了专门按调用深度分层的评测基准 DepthBench（1,710 条样本，覆盖 163 个真实可执行 API，深度跨越 0 步至 6 步，测试集包含 766 个样本，涵盖线性链、漏斗形、树形及合取等复合调用拓扑）。主实验以 Qwen3-8B 为基座模型，对比了简单结果奖励（Simple RL）、轨迹监督奖励（ToolRL）、少样本提示及 GPT-5（3-shot）表现：

方法	模型/范式	Overall 准确率 (%)	1-Step (%)	2-Step (%)	3-Step (%)	4-Step (%)	5-Step (%)	6-Step (%)
Simple	RL (结果稀疏奖励)	66.15	94.38	1.25	3.33	0.00	0.00	0.00
ToolRL	RL (轨迹监督奖励)	67.49	90.00	14.74	17.33	24.44	0.00	0.00
TIER (本文)	RL (轨迹无关执行奖励)	98.57	99.38	97.89	100.00	93.33	90.00	90.00
Qwen3-8B	Zero-shot	35.51	48.54	0.00	0.00	0.00	0.00	0.00
Qwen3-8B	3-shot ICL	79.56	85.25	72.12	59.55	69.57	57.50	50.25
GPT-5	3-shot ICL	92.16	90.11	96.36	97.28	87.59	95.00	60.00

在外部泛化基准 BFCL v3 与 NestFUL 上的泛化结果同样印证了其优势： - BFCL v3 全局测试：TIER 在整体准确率上达到 68.92%（显著优于 Simple-RL 的 66.30%、Base 的 64.31% 和 SFT 的 61.47%），而 ToolRL 在多轮（Multiturn 仅 0.38%）和无关调用（Irrelevance 仅 0.81%）上发生崩溃，总分暴跌至 37.27%。 - NestFUL 嵌套组合测试：在零样本精准匹配（EM Acc）对比中，TIER 取得 0.684，完胜 ToolRL 的 0.476；在 3-shot 设置下，TIER 调优的 8B 模型达到 0.75，超越了 685B 参数的 DeepSeek-V3（0.60）及 GPT-4o（0.60）。

消融实验¶

为验证各层奖励分量是否具有不可替代的必要性，在 DepthBench 验证集上对奖励组件进行了消融分析（保留格式与答案匹配为基础，逐步添加组件）：

奖励配置	Overall 准确率 (%)	1-Step (%)	2-Step (%)	3-Step (%)	4-Step (%)	5-Step (%)	6-Step (%)	说明
Format + Answer (Simple)	66.15	94.38	1.25	3.33	0.00	0.00	0.00	极度稀疏，深层全崩
+ Execution (无 Parsing)	63.58	87.29	12.63	6.67	2.22	0.00	0.00	产生奖励作弊，精度反跌
+ Parsing (无 Execution)	71.28	95.21	14.74	20.00	22.22	0.00	0.00	有语法无运行，深层仍失效
TIER (完整四层奖励)	98.57	99.38	97.89	100.00	93.33	90.00	90.00	跨越充分性阈值，全线突破

关键发现¶

陡峭的充分性阈值（Sharp Sufficiency Threshold）：部分奖励在浅层（1 步）尚能支撑，但跨过 4 步后彻底归零；仅当格式、模式解析、运行时执行与最终答案四者齐备时，6 步组合准确率才从 0% 陡增至 90.00%。各层奖励绝非简单的线性增量叠加，而是构成解开组合搜索空间的充要条件集合。
孤立引入执行奖励引发的反直觉作弊：在缺失模式解析（$R_{\text{parse}}$）的情况下单独加入执行奖励（$R_{\text{exec}}$），总准确率反而从 66.15% 跌至 63.58%，连 1 步任务都发生显著退化。检查 rollout 日志发现，模型在没有模式约束时会钻空子，将大量指令路由至极小簇毫无副作用且永不报错的“安全 API”，靠欺骗执行分刷分；只有通过 $R_{\text{parse}}$ 的严格接口匹配约束，执行奖励才能健康发挥正向牵引作用。
拙劣的强化学习可能破坏语言模型自带的先验：未经良构奖励引导的 Simple-RL（66.15%）和 ToolRL（67.49%），其实际多步表现显著低于 Qwen3-8B 纯少样本提示（3-shot ICL 达 79.56%）。这证明了错误的奖励建模不仅无法发掘潜力，反而会抹除模型原有的上下文推理先验。

亮点与洞察¶

将验证锚定于 API 模式而非特定答案轨迹：传统轨迹监督将模型锁死在“仿写标准答案”的牢笼中，而 TIER 证明了只需通过编译器级别的静态模式校验配合沙箱动态运行，即可实现更通用、更高容错且零标注成本的闭环奖励塑造。
高权重最终结果配合细粒度语法结构约束的抗作弊平衡：巧妙地将 $R_{\text{answer}}$ 权重设为 5，并搭配全链执行失败一票否决制与参数模式平滑扣分，精妙化解了中间密集奖励必然伴随的 Reward Hacking 顽疾。
中间表示（IR）形态的关键性：论文通过实验论证了 JSON 格式的 AST 在保持层级语义与执行解析稳定性之间达到了最佳平衡，优于 XML 标签树与无结构的直接调用输出。

局限与展望¶

假设沙箱环境绝对廉价、确定且安全：当前 DepthBench 依托于可确定执行的合成工具后端，但在真实的开放网络中，API 往往具备随机性、网络延迟、速率限制、计费成本乃至不可逆的写操作副作用（如转账、删库），直接在强化学习探索中肆意调用尚不具备现实可行性。
单轮受限与长上下文缺陷：受限于单卡训练算力，实验将上下文截断在 12,288 token，且仅在单轮动作空间内完成序列生成与评估，尚未在训练阶段引入多轮交互式环境反馈与错误重试机制。
模型尺寸缩放规律待验证：所有主要实验与消融均在 Qwen3-8B 规模下完成，未深入探索该奖励机制在 30B+ 或混合专家（MoE）更大规模底座上的收益缩放法则。

评分¶

新颖性: ⭐⭐⭐⭐ [彻底打破了工具强化学习依赖人工/参考轨迹监督的惯性思维，提出基于静态模式与动态沙箱的轨迹无关验证框架]
实验充分度: ⭐⭐⭐⭐⭐ [构造了严密的深度分层基准 DepthBench，完成了详尽的逐层奖励消融、算法无关性验证及外部跨域迁移测试]
写作质量: ⭐⭐⭐⭐⭐ [逻辑链路严密清晰，对失败机理（如信号饱和、奖励作弊）的剖析深入透彻，图表呈现精炼]
价值: ⭐⭐⭐⭐⭐ [为多步智能体决策与工具编排的后训练阶段提供了极具工业落地前景与学术参考价值的方法范式]