A Matter of TASTE: Improving Coverage and Difficulty of Agent Benchmarks¶

会议: NeurIPS 2026
arXiv: 2605.28556
OpenReview: https://openreview.net/forum?id=i267XddnJt
代码: https://github.com/xxx
领域: LLM Agent
关键词: LLM智能体评估, 基准生成, 工具调用覆盖率, 任务演化, 对比n-gram模型

一句话总结¶

针对现有智能体基准严重饱和且工具调用模式单一的问题，本文提出反转任务构建流程的 TASTE 框架，通过自适应对比 n-gram 模型采样高覆盖率工具序列、聚类筛选代表性动作，并结合提示验证与对抗式难度演化，构建出更具挑战性与多样性的 \(\tau^c\)-Bench 基准。

研究背景与动机¶

基于大语言模型的工具调用智能体（Tool-Using Agents）正迅速应用于代码执行、客户账户管理、航线预订及订单处理等复杂多轮场景。在这类环境中，智能体的操作会改变环境世界状态，传统的静态单轮单项评估不再适用，以 \(\tau\)-Bench 为代表的终态评估（Final-State Evaluation）成为主流范式：只要交互终止时的世界状态与标准工具序列执行后的目标状态一致，即判定任务成功。然而，随着智能体能力的快速跃升，现有基准正面临严重饱和，领先模型在现有测试集上的通过率已接近天花板，无法对新一代模型形成有效的能力区分。

手工构建新的多轮交互基准极其耗时耗力且易引入缺陷。传统的基准构建模式通常遵循“自顶向下”的人工编写路径：专家先构思自然语言对话场景与用户意图，再人工反推对应的工具调用序列并配置环境数据库。这种依赖人工构思的做法导致工具序列空间从未得到系统的探索，基准中的工具调用链高度雷同、过度集中于少数高频组合，存在严重的结构盲区与覆盖率缺失。现有工作对基准的“有效性”（Validity）和“难度”（Difficulty）讨论较多，却普遍忽视了“覆盖率”（Coverage）的结构性刻画。

本文的核心洞察在于反转整个任务生成范式：不再从自然语言场景出发反推工具链，而是直接在工具序列空间中探索、采样与筛选具备高覆盖率且结构多样的有效工具调用链，再“由底向上”实例化任务并进行对抗演化。核心 idea：提出 TASTE 框架，通过自适应对比 n-gram 模型在线探索并生成高质量工具调用序列，利用语义加权编辑距离聚类筛选代表性序列，最后反向实例化场景并通过对抗扰动演化难度，系统化提升智能体基准的覆盖率与测试难度。

方法详解¶

整体框架¶

TASTE（Task Synthesis from Tool Sequence Evolution）包含三个核心阶段：工具序列采样、聚类与代表性筛选、任务生成与难度演化。首先利用双计数表的自适应对比 n-gram 模型在线采样兼具多样性与有效性的工具调用序列；接着使用基于语义加权编辑距离（WED）的 K-medoids 聚类从候选池中提炼出结构互异的骨干序列；最后通过大模型实例化对应世界状态与用户指令，经带提示的验证智能体过滤后，引入环境干扰实体与对抗性对话演化，生成最终的高难度基准任务。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境工具规范与种子任务"] --> B["自适应对比 n-gram 采样<br/>在线正负计数表与温度退火"]
    B --> C["语义加权 K-medoids 聚类<br/>类型感知距离矩阵与中心点校验"]
    C --> D["双层任务实例化与验证<br/>场景/DB生成 + 提示验证智能体"]
    D --> E["对抗式难度演化与分级回退<br/>环境干扰项注入与对抗指令重写"]
    E --> F["输出高难度高覆盖基准: τc-Bench"]

关键设计¶

1. 自适应对比 n-gram 采样：正负证据驱动的工具序列探索

直接在组合爆炸的工具调用空间中采样序列面临极低的有效率。随机采样在真实业务规则下的合法率不足 7%，因其容易产生无逻辑的操作倒置（如在取消预订后又修改该预订）。TASTE 采用自适应对比 n-gram 模型（默认 \(n=3\)），同时维护正向计数表 \(C^+\) 与负向计数表 \(C^-\)，分别记录经由大模型校验判定为合理与不合理的工具转移。给定前序上下文 \(\text{ctx}_i=(t_{i-n+1},\ldots,t_{i-1})\)，平滑条件打分与采样概率定义为：

\[S^{\pm}(t_{i}\mid\text{ctx}_{i})=\frac{C^{\pm}(\text{ctx}_{i},t_{i})+\lambda_{0}}{\sum_{t^{\prime}\in\mathcal{T}}C^{\pm}(\text{ctx}_{i},t^{\prime})+|\mathcal{T}|\lambda_{0}},\qquad P(t_{i}\mid\text{ctx}_{i})\propto\Bigg(\frac{S^{+}(t_{i}\mid\text{ctx}_{i})}{S^{-}(t_{i}\mid\text{ctx}_{i})^{\lambda_{\text{neg}}}}\Bigg)^{T(k)}\]

其中 \(\lambda_0=0.1\) 为狄利克雷平滑参数，\(\lambda_{\text{neg}}=1.0\) 控制对负向局部模式的惩罚力度。温度参数 \(T(k)=1+(T_0-1)\exp(-k/\tau_{\text{decay}})\) 随训练迭代步数 \(k\) 从 \(T_0=3.0\) 指数衰减（\(\tau_{\text{decay}}=1500\)）。采样序列长度由偏态正态分布（\(\mu=7,\sigma=5,\alpha=2\)，截断至 \([1, 15]\)）决定。该对比在线训练机制使得局部错误能够被负向表快速惩罚，从而在保障大范围探索的同时使有效序列生成率提升至 86.7%。

2. 语义加权 K-medoids 聚类：规避冗余与捕获结构多样性

从采样得到的超大规模候选池（\(N=2000\)）中直接抽取任务容易导致相近流程的扎堆。传统的编辑距离将所有替换等同看待，会破坏业务逻辑的聚类效果。TASTE 提出了语义感知的加权编辑距离（Weighted Levenshtein Distance, WED），对工具类型（读、写、通用）与功能组别（根据前缀如 search_、update_ 划分）分层赋权：

\[d_{\text{sub}}(a,b)=\begin{cases}0&\text{if }a=b,\\0.33&\text{if }\text{type}(a)=\text{type}(b)\text{ and }\text{group}(a)=\text{group}(b),\\0.66&\text{if }\text{type}(a)=\text{type}(b)\text{ and }\text{group}(a)\neq\text{group}(b),\\1.00&\text{if }\text{type}(a)\neq\text{type}(b)\end{cases}\]

插入和删除代价设为 1.0。基于该距离矩阵运行 K-medoids++ 聚类，选取簇中心（Medoid）作为代表性序列。若选出的中心序列未能通过大模型合理性校验，则由簇内与其距离最近的备选成员替代；若整簇均不合法，则冻结已有合法中心并在补充候选池后进行约束重聚类，确保最终保留的 \(K\) 个骨干序列在业务逻辑上具有最大化的代表性与相互区分度。

3. 双层任务实例化与验证：带提示智能体的可解性闭环

选定代表性工具序列 \(\bar{\sigma}\) 后，必须逆向生成真实环境初始状态 \(s_0\) 与用户自然语言指令 \(u\)。第一轮大模型调用根据业务策略生成连贯场景叙事及细致的用户指令；第二轮调用补充生成执行该序列所需的实体记录（如用户账户、订单、航线等）并并入基准数据库。为避免生成的任务由于信息缺失、实体不匹配而不可解，TASTE 设计了确定性规则校验与仿真验证的双重过滤器。

确定性规则验证包括参数完备性、数据库外键与实体存在性校验，以及金标工具序列在初始状态下的无错执行。为进一步验证自然语言指令是否包含充足上下文且具备交互可解性，框架构建了基于打乱与掩码的提示验证智能体（Hint-assisted Verifier Agent）。验证智能体在模拟交互中获得金标工具列表，但序列被随机乱序，且每个工具调用的参数以比例 \(p=0.3\) 随机剔除（\(\lceil p\cdot|\text{kwargs}|\rceil\)）。这既防止了智能体直接机械重放答案，又确保了任务逻辑的严密可解性，在航空和零售领域分别取得了 1.0 和 0.97 的验证精确率。

4. 对抗式难度演化与分级回退：全方位压榨交互鲁棒性

未加修饰的基础任务往往过于直白、缺乏现实交互中的噪音与对抗性。演化阶段通过三步流水线注入复杂交互难度：首先进行策略分析（Strategy Analysis），针对每个写操作从对抗模式库中匹配混淆手段（例如诱导违反业务政策的退款诉求、关键信息推迟透露等）；其次进行环境扰动（Environment Perturbation），在数据库中注入与目标高度相似但带有隐蔽失效属性的干扰实体（如相同起降地但余票为零的航班）；最后进行指令重写（Scenario Rewriting），让模拟用户利用模糊表达与对抗诉求施加交互压力。若完整演化版本在后续验证中失败，系统执行分级回退（Graduated Fallback），尝试轻度重写（Lite Rewrite），若仍失败则保留原始基础任务，保证基准构建的完整性与高鲁棒性。

实验关键数据¶

主实验¶

评估在 Airline（\(K=50\)）、Retail（\(K=114\)）与 Telecom（\(K=114\)）三个领域展开，评测了包含 6 种智能体模型与 2 种用户模拟器的 11 个组合，主要采用终态成功率指标 \(\text{pass}^1\)（Airline 额外包含 \(\text{pass}^3\)）。所有模型在 \(\tau^c\)-Bench 上的表现均出现显著下滑。

智能体模型	用户模拟器	Airline (\(\text{pass}^1\))	Airline (\(\text{pass}^3\))	Retail (\(\text{pass}^1\))	Telecom (\(\text{pass}^1\))	平均降幅 \(\Delta\%\)
Gemini-3-flash	Gemini-3-flash	0.72 \(\to\) 0.34 (-52.8%)	0.56 \(\to\) 0.22 (-60.7%)	0.88 \(\to\) 0.44 (-50.0%)	0.90 \(\to\) 0.55 (-38.9%)	-50.6%
Gemini-2.5-flash	Gemini-3-flash	0.58 \(\to\) 0.21 (-63.8%)	0.40 \(\to\) 0.10 (-75.0%)	0.79 \(\to\) 0.36 (-54.4%)	0.35 \(\to\) 0.27 (-22.9%)	-54.0%
GPT-5.2	Gemini-3-flash	0.57 \(\to\) 0.49 (-14.0%)	0.34 \(\to\) 0.26 (-23.5%)	0.92 \(\to\) 0.59 (-35.9%)	0.55 \(\to\) 0.44 (-20.0%)	-23.4%
Qwen-32B	Gemini-3-flash	0.50 \(\to\) 0.13 (-74.0%)	0.26 \(\to\) 0.06 (-76.9%)	0.48 \(\to\) 0.27 (-43.8%)	0.40 \(\to\) 0.38 (-5.0%)	-49.9%
deepseek-3.1	Gemini-3-flash	0.49 \(\to\) 0.41 (-16.3%)	0.30 \(\to\) 0.16 (-46.7%)	0.47 \(\to\) 0.47 (0.0%)	0.53 \(\to\) 0.48 (-9.4%)	-18.1%
Claude-Sonnet-4.6	Gemini-3-flash	0.72 \(\to\) 0.64 (-11.1%)	–	0.67 \(\to\) 0.54 (-19.4%)	0.81 \(\to\) 0.72 (-11.1%)	-13.9%
Gemini-3-flash	GPT-5.2	0.82 \(\to\) 0.56 (-31.7%)	0.68 \(\to\) 0.28 (-58.8%)	0.87 \(\to\) 0.55 (-36.8%)	0.94 \(\to\) 0.61 (-35.1%)	-40.6%
GPT-5.2	GPT-5.2	0.58 \(\to\) 0.34 (-41.4%)	0.36 \(\to\) 0.20 (-44.4%)	0.69 \(\to\) 0.61 (-11.6%)	0.62 \(\to\) 0.47 (-24.2%)	-30.4%

消融实验与覆盖率分析¶

下表对比了 Airline 领域自适应对比 n-gram 模型各组件对有效工具序列生成率的消融结果，以及 \(\tau^c\)-Bench 与原始 \(\tau\)-Bench Verified (\(\tau\text{BV}\)) 在序列覆盖率和复杂度上的定量指标对比。

模型配置 / 覆盖率指标	Airline (\(\tau\text{BV}\))	Airline (\(\tau^c\)-Bench)	说明 / 消融变化
均匀随机采样有效率	–	6.7%	缺乏转移规则，大量调用逻辑不合法
无在线训练种子 n-gram 有效率	–	16.7%	仅靠少量初始种子无法泛化到合理分布
加入负例证据迭代 (\(k=800\))	–	~45.0%	\(C^-\) 快速压制不合规工具转移，提升显著
完整模型有效率 (\(k=3000, \lambda_{\text{neg}}=1.0\))	–	86.7%	相对随机采样提升近 13 倍有效率
平均序列长度 (Avg. Length)	2.84	11.36	任务执行路径显著拉长，复杂度更高
簇内加权编辑距离 (WED intra)	3.76	8.42	序列间结构差异度增加 124%
归一化平均熵 (Norm. Avg. Entropy)	0.42	0.77	工具使用频率分布更加平缓均衡
唯一 3-gram 数量 (# unique 3-gram)	24	333	工具组合模式呈现出数量级的多样性提升
平均词元比 (Mean TTR)	0.37	0.78	独特 n-gram 占比翻倍，重复模板模式大幅缩减

关键发现¶

饱和度幻觉被打破：在 \(\tau\text{BV}\) 上接近满分的模型（如 Gemini-3-flash 在 Telecom 与 Retail 达到 0.90–0.94）在 \(\tau^c\)-Bench 上骤降至 0.55–0.61，相对下降幅度高达 35%–52.8%，表明旧基准的高分很大程度上是简单调用模板与低覆盖率带来的虚假饱和。
负例证据与自适应更新不可或缺：在序列模型消融中，缺乏负向计数表 \(C^-\) 的监督会导致模型反复踩中死循环或矛盾状态，引入负向对数几率比和在线迭代使合理序列采样率由 16.7% 跨越至 86.7%。
难度调控轴的有效性：序列长度与写操作比例是任务难度的直接决定因素。长序列任务较低序列任务的通过率平均降低 30%，高写操作比例任务较低写操作任务降低 43%，且对抗演化将成功率进一步削减了 36%–55%。

亮点与洞察¶

任务构建流程的范式反转：摒弃“先自然语言再人工标注工具”的旧范式，提出“在工具序列空间自适应探索，再向上反求任务情境”的逆向合成框架，真正解决了工具组合空间的覆盖率盲区。
语义分层的加权编辑距离：将工具根据业务前缀与读写属性进行层次划分，设计出具有先验语义距离的 WED，避免了传统 Levenshtein 距离将“直飞搜索与中转搜索”和“查询与删除”视作同等代价的缺陷，聚类质量极高。
带残缺提示的验证智能体闭环：通过打乱顺序与按比例随机扣除 30% 参数的提示设计，巧妙构建出既能验证任务内生逻辑可解、又无法依赖机械答案重放的自动化质检闭环。

局限与展望¶

依赖强模型的判别与演化质量：Stage 1 的合法性校验与 Stage 3 的对抗演化高度依赖 Gemini-3-Flash / Pro 的提示能力，弱基础模型可能在环境扰动中产生逻辑不自洽的死锁任务。
领域范围局限于客户交互环境：当前验证主要在 \(\tau^2\)-Bench 的航空、零售与电信三大客户支持领域，尚未拓展至操作系统操作、超长跨度软件开发工程或多智能体博弈等超大动作空间场景。
终态奖励的粗粒度限制：评估仍基于终态数据库匹配，未对中间步骤调用的冗余性、安全合规边界或沟通用词效率进行细粒度的过程级奖励建模。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 逆向生成工具序列结合自适应对比 n-gram 的设计极具启发性，重新定义了基准覆盖率指标。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 3 大领域、11 个智能体/用户配对，并提供了极详尽的序列诊断指标与消融实验。
写作质量: ⭐⭐⭐⭐⭐ 概念定义严谨，形式化推导清晰，实验图表及附录参数详实完备。
价值: ⭐⭐⭐⭐⭐ 为破除大模型智能体评估的过早饱和提供了低成本且可扩展的基准生成方案，对 Agent 社区具有重要指导意义。