Prefix Executability: Evaluating Tool-Using Agents Beyond Final Success

会议: NeurIPS 2026
arXiv: 2610.40444
论文: arXiv PDF
领域: LLM Agent
关键词: 工具调用智能体, 前缀可执行性, 轨迹级评测, 首错深度, 恢复率

一句话总结

针对传统工具使用智能体评测仅以终局结果判定成败而忽视中间动作非法性的缺陷，本文形式化了前缀可执行性评估协议，构建了覆盖PEC、FED、TER、AUC-PEC与RR的完整指标族，揭示了“未经验证的规划可换取虚高终局成功却导致前缀严重崩溃”的评测脱节现象，并证明执行前显式计划检验能有效恢复前缀可靠性。

研究背景与动机

大语言模型驱动的工具使用智能体正在被广泛部署于复杂的 API 调用、多步骤软件交互和多轮任务编排中。在这些场景中，评测智能体不仅需要核验其最终输出是否达标，更需要保证执行过程中每一个动作在工具规范（tool schema）、环境前置条件（state preconditions）和跨步数据依赖（data dependencies）下的合法性。然而，现有的主流基准大多直接采用单一的终局任务成功率（final success rate）作为主要指标。这种“只看结果（outcome-only）”的机制存在严重的盲区：智能体可能在中间步骤触发了语法不兼容、状态不匹配或依赖过期的非法调用，随后凭借后续的探索或自修复动作歪打正着完成了目标；或者在不合法的执行前缀下产生了不可逆的外部环境破坏，却在终局评估中被判定为成功。

这种以终局为导向的评测与实际高可靠部署之间的核心矛盾在于：单一的终局成功或与静态金标准轨迹的比对，混淆了三个关键的正交维度——生成轨迹在无错状态下究竟存活了多深、非法状态最初是在哪一步引入的、以及智能体的最终达标究竟是源于一贯可靠的连贯执行还是遭遇崩溃后的侥幸恢复。在涉及持久化数据库写入、外部付费交易或需要人工接管的高风险业务流中，首次出现非法调用的深度直接决定了故障的扩散半径与修复成本。

为了填补这一评测空白，本文摆脱了对单一人工参考轨迹的严格匹配束缚，提出从动作生成序列的实际执行可行性出发建立评测基线。核心 idea：将智能体轨迹评估形式化为基于环境语义状态的前缀可执行性（Prefix Executability）协议，通过定义首错深度（FED）、前缀生存曲线（PEC）、轨迹可执行率（TER）、归一化 AUC-PEC 以及条件恢复率（RR），正交解耦智能体的无中断可靠执行与容错恢复能力。

方法详解

整体框架

前缀可执行性评测协议面向变长交互轨迹，将智能体生成的工具调用动作序列逐步置于环境动态语义下回放。协议核心包含两大部分：一是完全确定性、无须 LLM 介入的前缀可执行性评估与指标计算体系；二是用于探测前缀指标与终局指标行为差异的受控验证干预机制——双环验证器（Dual-Loop Planner-Verifier）。

整个评测回放与前缀检查流程如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户目标 + 初始环境状态 $s_0$"] --> B["Dual-Loop 规划与前置验证<br/>生成结构化候选计划并校验约束"]
    B --> C["执行器交互生成完整轨迹<br/>$\hat{\tau} = (a_1, \ldots, a_T)$"]
    C --> D["确定性前缀可执行性检查器<br/>逐步校验工具存在性/Schema/依赖/前置条件"]
    D -->|记录首次非法动作深度| E["首错深度与分类诊断<br/>定位 $\mathrm{FED}$ 并确定错误根因"]
    D -->|追踪各步骤合法性| F["前缀可靠性指标计算<br/>生成 PEC 曲线、TER、AUC-PEC"]
    C --> G["终局任务成功判定 $Y$"]
    E & G --> H["恢复率分析<br/>计算条件恢复率 $\mathrm{RR} = \Pr(Y=1 \mid \mathrm{FED} \leq T)$"]

关键设计

1. 前缀可执行性形式化与首错深度定义：精准捕捉轨迹合法性破裂点 给定模型生成的预测轨迹 \(\hat{\tau} = (a_1, \dots, a_T)\)，其中 \(a_t\) 表示在环境状态 \(s_t\) 下调用的带参工具。若工具可用、参数类型与校验器合法、所引用的前序变量均存在且兼容、并且环境状态满足该调用的所有显式前置条件，则该动作在语义上被判定为可执行（\(V_t=1\)）。长度为 \(k\) 的前缀 \(\hat{\tau}_{\leq k} = (a_1, \dots, a_k)\) 当且仅当此前每一步动作均在前面动作引发的状态上成功执行时才合法。据此，首错深度（First-Error Depth, FED）被形式化为轨迹中首个不可执行动作的下标：

\[\mathrm{FED}_i = \min \{ k \in \{1, \dots, T_i\} : \hat{\tau}_{i, \leq k} \text{ 不可执行} \}\]

若全轨迹自始至终完全合法，则约定记为 \(\mathrm{FED}_i = T_i + 1\)。一旦某一步出现非法调用，回放立即停止并锁定 \(\mathrm{FED}\)，但智能体生成的原始完整轨迹仍完整保留以供后续的终局结果和恢复能力分析。

2. 变长轨迹可靠性指标族：解耦生存期、全轨迹合法率与归一化面积 为了在不同视界（horizon）和任务难度下横向对比智能体，本文基于 \(\mathrm{FED}\) 建立了互补的指标族。首先是固定群组的前缀可执行性曲线（Prefix Executability Curve, PEC），将其定义为离散时间下的生存函数：

\[\mathrm{PEC}(k) = \Pr[\mathrm{FED} > k] = \Pr[T \geq k \land \hat{\tau}_{\leq k} \text{ 可执行}]\]

经验估计量 \(\widehat{\mathrm{PEC}}(k) = \frac{1}{N} \sum_{i=1}^N \mathbf{1}\{T_i \geq k \land \hat{\tau}_{i, \leq k} \text{ 可执行}\}\) 随深度 \(k\) 单调非增。为了区分“到达深度 \(k\) 时的合法性”与“任务本身在 \(k\) 步之前正常终止”，协议同时引入符合条件集合上的诊断曲线 \(\widehat{\mathrm{PEC}}_{\mathrm{elig}}(k)\)，两者满足分解关系 \(\widehat{\mathrm{PEC}}(k) = \frac{n_k}{N} \widehat{\mathrm{PEC}}_{\mathrm{elig}}(k)\)。在此基础上，定义轨迹可执行率（Trajectory Executability Rate, TER）为整条轨迹完全合法的概率：

\[\mathrm{TER} = \Pr[\mathrm{FED} = T + 1]\]

而针对步长各异的变长序列，设计了视界归一化面积指标 AUC-PEC：

\[\mathrm{AUC\text{-}PEC} = \mathbb{E}\left[ \frac{1}{T} \sum_{k=1}^T \mathbf{1}\{\mathrm{FED} > k\} \right] = \mathbb{E}\left[ \frac{\mathrm{FED} - 1}{T} \right]\]

AUC-PEC 严格落在 \([0, 1]\) 区间内，相比于 TER 的二值评判，它对晚期才发生错误的轨迹给予更高的部分信用。

3. 条件恢复率与终局成功解耦法则：看清成败背后的侥幸与稳健 智能体即便中间步骤出错，也可能在后续交互中实现自我修复。本文定义恢复率（Recovery Rate, RR）为在至少经历了一次前缀非法的条件下最终仍取得任务成功的条件概率：

\[\mathrm{RR} = \Pr[Y = 1 \mid \mathrm{FED} \leq T]\]

由此，终局成功率 \(\Pr(Y=1)\) 可以被严格正交分解为无中断执行成功与故障后恢复成功两部分的凸组合：

\[\Pr(Y = 1) = q \cdot s + (1 - q) \cdot r\]

其中 \(q = \mathrm{TER}\) 表示全程合法率，\(s = \Pr(Y=1 \mid \mathrm{FED} = T+1)\) 为全程合法轨迹的成功率，而 \(r = \mathrm{RR}\) 为故障恢复率。该公式从理论上证明了：终局成功率与 TER 之间不存在必然的单调正相关关系；一个智能体完全可能依靠极高的恢复率（\(r \to 1\)）在极低的轨迹合法率（\(q \to 0\)）下斩获极高的终局得分。

4. 错误诊断优先级与 Dual-Loop 验证探针：分流根因并提供受控干预 当定位到首错动作 \(\mathrm{FED}_i \leq T_i\) 时，评估协议按照严格的确定性优先级将其归因为互斥的五类根因： $\(\text{schema (模式缺失)} \longrightarrow \text{dependency (依赖断裂)} \longrightarrow \text{precondition (前置条件未满足)} \longrightarrow \text{state-consistency (状态冲突)} \longrightarrow \text{information (必要信息缺失)}\)$

同时，为了探测前缀指标对干预机制的敏感性，本文构建了轻量级的 Dual-Loop 探针：由 Planner 生成候选计划，由独立 Verifier 检查其工具存在性、接口约束、前置条件与变量绑定；验证失败则带反馈修正（上限 \(K_{\mathrm{val}}=5\)），校验通过后再交由 ReAct 执行器落地调用。这使得系统能够在不改变底层模型能力的前提下，量化预验证对前缀存活率的保护效应。

一个完整示例

以 ToolSandbox 环境中的联系人删除任务为例：用户要求“删除特定电话号码对应的联系人记录”。 1. 未校验执行（Plan-Conditioned ReAct）：智能体在第 1 步直接调用 remove_contact(identifier="+1-555-0199")。由于该接口要求传入内部联系人 ID 而非电话字符串，环境数据库判定找不到该 ID 并直接拒绝该动作，状态未发生变动。此时评测器捕获到第一步即失效，记录 \(\mathrm{FED}=1\)。随后智能体在第 2 步自适应调用 search_contact(phone="+1-555-0199") 获取到真实 ID id_8923，第 3 步再次调用 remove_contact(identifier="id_8923") 成功执行并达标。对于该任务，\(T=3, \mathrm{FED}=1\)，最终结果为 \(Y=1\)。在终局指标下该任务获得满分 1.0，但其 \(\mathrm{TER}=0\) 且 \(\mathrm{AUC\text{-}PEC}=0\)； 2. 合法执行（Dual-Loop 验证介入）：Verifier 在计划阶段发现 remove_contact 依赖尚未检索出的内部 ID，促使 Planner 在行动前调整顺序；智能体第 1 步先执行搜索，第 2 步利用返回的 ID 进行删除，全过程无任何被拒动作，\(\mathrm{FED}=3, T=2\)，在获得 \(Y=1\) 的同时实现了 \(\mathrm{TER}=1.0\) 与 \(\mathrm{AUC\text{-}PEC}=1.0\)。

实验关键数据

主实验

论文在 BFCL-v3 多轮基准（分层抽样 200 例）和 ToolSandbox 交互式基准（多标签分层抽样 200 例）上，系统评测了 GPT-5.4 (high reasoning)、GPT-4.1 和 Llama-4 Maverick 三种模型在四种智能体范式下的表现，总计包含 4,800 条轨迹。下表汇总了核心数据：

数据集	模型	方法范式	TER	Mean FED	AUC-PEC	RR-Eligible	RR (恢复率)	Final Success (终局成功)
BFCL-v3	GPT-5.4 (high)	ReAct	0.69	5.61	0.83	61	0.00	0.61
		Prompt Planning	0.78	5.72	0.85	44	0.00	0.78
		Plan-Cond. ReAct	0.47	4.11	0.54	106	0.88	0.94
		Dual-Loop	0.94	6.41	0.96	12	0.00	0.94
	GPT-4.1	ReAct	0.62	5.18	0.76	76	0.00	0.52
		Prompt Planning	0.79	5.84	0.87	43	0.02	0.77
		Plan-Cond. ReAct	0.35	3.55	0.42	130	0.90	0.93
		Dual-Loop	0.96	6.46	0.98	7	0.00	0.96
	Llama-4 Mav	ReAct	0.37	4.39	0.62	126	0.01	0.27
		Prompt Planning	0.60	5.51	0.79	79	0.00	0.56
		Plan-Cond. ReAct	0.05	1.96	0.15	190	0.73	0.74
		Dual-Loop	0.88	6.22	0.93	25	0.00	0.79
ToolSandbox	GPT-5.4 (high)	ReAct	0.74	3.84	0.83	52	0.27	0.59
		Prompt Planning	0.82	4.08	0.88	35	0.17	0.61
		Plan-Cond. ReAct	0.48	2.88	0.52	103	0.73	0.69
		Dual-Loop	0.94	4.32	0.95	13	0.15	0.63
	GPT-4.1	ReAct	0.72	3.84	0.84	56	0.20	0.49
		Prompt Planning	0.81	4.11	0.89	37	0.22	0.56
		Plan-Cond. ReAct	0.35	2.45	0.40	129	0.59	0.62
		Dual-Loop	0.96	4.38	0.97	8	0.38	0.62
	Llama-4 Mav	ReAct	0.49	3.33	0.68	101	0.23	0.38
		Prompt Planning	0.64	3.69	0.78	73	0.18	0.49
		Plan-Cond. ReAct	0.09	1.63	0.15	182	0.57	0.56
		Dual-Loop	0.80	4.13	0.90	40	0.35	0.61

消融与迁移实验：深度 PEC 存活与 \(\tau^3\)-bench 域迁移

下表列出 BFCL 与 ToolSandbox 在 GPT-5.4 下的前 4 步前缀可执行存活率 PEC@k，以及在 \(\tau^3\)-bench（Airline 与 Retail 共 164 个全样本任务）上的环境迁移表现：

评估维度 / 任务集	方法配置	PEC@1	PEC@2	PEC@3	PEC@4	迁移 TER	迁移 Final Success
BFCL (GPT-5.4)	ReAct	0.95	0.90	0.81	0.68	-	-
	Plan-Cond. ReAct	0.77	0.61	0.49	0.42	-	-
	Dual-Loop	0.98	0.97	0.94	0.82	-	-
ToolSandbox (GPT-5.4)	ReAct	0.92	0.81	0.59	0.47	-	-
	Plan-Cond. ReAct	0.67	0.49	0.35	0.32	-	-
	Dual-Loop	0.97	0.95	0.69	0.62	-	-
\(\tau^3\)-bench (GPT-5.4)	ReAct	-	-	-	-	0.95	0.43
	Prompt Planning	-	-	-	-	0.94	0.46
	Plan-Cond. ReAct	-	-	-	-	0.93	0.51
	Dual-Loop	-	-	-	-	0.93	0.46

关键发现

• 终局指标与过程可靠性严重脱节：在 BFCL 与 ToolSandbox 上，Plan-Conditioned ReAct 几乎均斩获了最高或并列最高的 Final Success（例如 GPT-5.4 下达 0.94 和 0.69），但其前缀可执行率暴跌（TER 仅为 0.47 和 0.48，AUC-PEC 仅为 0.54 和 0.52）。这种高成功率完全是依靠极高的错误恢复率（RR 分别高达 0.88 与 0.73）换来的，即智能体在生成了非法动作后强行挽救，掩盖了过程的脆弱。
• Llama-4 极端案例生动印证数学分解：在 BFCL/Llama-4 下，Plan-Conditioned ReAct 的 200 次运行中仅有 10 次全程合法（全部成功，\(s=1.0\)），而 190 次发生前缀错误的运行中有 138 次最终依然达标（\(r=0.726\)），最终成功率达成 0.74，而 TER 仅有 0.05。多达 93.2%（138/148）的成功案例建立在非法前缀基础之上。
• 环境交互特性制约预验证收益：在多轮用户交互密集的 \(\tau^3\)-bench 中，预规划反而易受用户多变输入影响导致计划陈旧，前置验证未展现出在静态工具组合场景中的压倒性优势，证明验证收益高度依赖于任务环境的确定性程度。

亮点与洞察

• 提出首个以环境语义为基准的免参考轨迹级评测协议：不依赖死板的人工金标准轨迹比对，而是利用环境沙盒底层的接口和状态定义判定每一步的真实可执行性，允许智能体以不同的合法路径完成任务。
• 严密形式化解耦“无错执行”与“失败自愈”：给出关于终局成功率的严密凸组合正交分解（\(Y = q s + (1-q)r\)），指明了过往学术界过度追求单一 Success Rate 时忽视的可靠性隐患。
• 揭示未经验证规划的“虚假繁荣”陷阱：单纯将未经校验的高层自然语言计划喂给执行器，容易导致模型盲目执行包含幻觉参数的非法操作，导致早期合法性 PEC 呈断崖式下跌。

局限与展望

• 依赖显式状态与环境语义定义：协议要求基准必须提供明确的 Tool Schema、类型校验机制及可访问的环境前置状态，在高度不完全可观测的真实开放网络（如 Web/GUI 真实操作环境）中难以完全确定性地裁决。
• 前缀可执行性不等于语义意图正确性：只要符合调用规范和状态约束的操作均被视作合法，因此前缀有效仅代表“无异常可跑通”，无法担保动作在业务逻辑上绝对符合用户核心意图。
• 未来方向：探索将前缀可执行性信号内化为运行时的即时监控与受控解码约束（Constrained Decoding），并在强化学习阶段作为稠密过程奖励信号（Process Reward）。

相关工作与启发

• vs T-Eval / ToolSandbox：T-Eval 仅做分步能力的打分，ToolSandbox 侧重于中间里程碑与黑名单状态检查；本文则追踪连续时间步上的前缀生存曲线与首次非法的确定性深度定位。
• vs TRAJECT-Bench / TRACE：TRAJECT-Bench 依赖参考轨迹匹配或 LLM 评审，易误伤合法替代路径；本文完全基于环境执行反馈，做无参考评测且计算开销极低。
• vs Beyond Success Rate：后者主要测试外部故障注入下的恢复能力；本文则是观察智能体在自然交互生成中内部产生的错误积累与自发修复。

评分

• 新颖性: ⭐⭐⭐⭐⭐ [首次形式化提出前缀可执行性指标体系与无中断/恢复能力数学分解]
• 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 BFCL-v3、ToolSandbox、\(\tau^3\)-bench 三大基准与多款顶尖大模型，累计 6,768 次完整轨迹回放]
• 写作质量: ⭐⭐⭐⭐⭐ [理论推导严谨自洽，概念界定明晰，图表详实且消融深入]
• 价值: ⭐⭐⭐⭐⭐ [对严肃高可靠 Agent 评估、部署审计及过程监督具有极高的指导意义]

相关论文

• [NeurIPS 2025] CORE: Full-Path Evaluation of LLM Agents Beyond Final State
• [NeurIPS 2026] Tracing Agentic Failure from the Flow of Success
• [NeurIPS 2026] Beyond Suspicious Steps: Ontological Trust in Long-Horizon Agents
• [NeurIPS 2026] Masked Diffusion Language Agents for Tool-Integrated Chemical Reasoning
• [NeurIPS 2026] Joint Optimization of Tool Creation and Use for Large Language Model Agents