TokenCliff: Benchmarking Output Token Budget Sensitivity in Multi-Turn LLM Agents¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 智能体
关键词: 智能体评测, Token预算, 预算弹性, 断崖指数, 多轮交互
一句话总结¶
TokenCliff 构建了涵盖 4 个能力域与多步复合拆分的 660 个确定性无噪声交互任务,评测 10 款主流 LLM 在 200 至 8,192 输出 Token 预算下的多轮推理表现,揭示出高达 32 个百分点的急剧断崖式性能衰退,并证明峰值准确率与模型规模均不能代表智能体的预算鲁棒性。
研究背景与动机¶
大语言模型智能体在多轮交互中展现出强大的复杂问题求解能力,通过交替执行规划、调用工具、观察环境反馈并动态调整策略,在软件工程、网页搜索与复杂数据分析等高价值场景中得到了广泛部署。然而,在实际生产服务与端侧部署环境中,模型生成的输出 Token 数量直接绑定着推理延迟、GPU 计算资源开销与商业 API 调用的经济成本。当服务提供商对智能体单次任务施加严格的计算资源或 Token 配额预算时,智能体的多轮交互与推演机制如何退化,长期以来缺乏系统性的严密测量。
现有针对智能体计算与资源约束的研究呈现出分散且不一致的局限性。一部分工作侧重于评估事后开销或将成本作为被动记录指标;另一些工作则施加了显式的外部约束,例如限制工具调用的次数上限、控制单轮隐式思考 Token 或测量单步问答在上下文截断下的降级。然而,这些评测要么将单步单轮长度与多轮长程规划混为一谈,要么依赖高度非确定性且调用外部真实 API 的复杂环境,使得环境延迟、接口变动、评测集固有方差以及 LLM 裁判的打分波动严重掩盖了由输出 Token 预算变化所引发的真实性能退化趋势。
在多轮轨迹中,输出 Token 预算不仅约束着最终答案的生成长度,更决定了智能体在每一轮中有多少余量展开链式思考、试错调用和反思回溯。面对缩紧的预算,智能体是会优雅平缓地牺牲次要探索步骤,还是会在达到临界点时发生灾难性的多轮崩溃,构成了大模型走向高效实用化必须回答的核心问题。核心 idea:通过构建跨 4 大能力域与复合多步评测的 660 个确定性可复现交互任务,系统性扫描多轮智能体在 200 至 8,192 token 的五级全局输出预算下的性能轨迹,并提出预算弹性与断崖指数双指标,揭示智能体在资源受限下的骤降断崖与非线性衰退机制。
方法详解¶
整体框架¶
TokenCliff 将每个评测任务形式化为包含用户指令、具备隐藏状态的确定性沙箱环境、外部工具集以及可执行判定程序的四元组。评测流程的核心目标是将任务实例、沙箱初始状态、提示词语义、动作接口及验证器全部固化,唯一将全局总输出 Token 配额设为自变量,在五级对数递增尺度(200、500、1,500、4,000、8,192 Token)上系统性扫描智能体在多轮闭环中的成功率变化。
整个系统的运行管线如下图所示,自上而下严格遵循确定性任务生成、动态预算追踪闭环交互以及容错兜底的精准评分机制:
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入: 任务描述、工具集与全局Token预算B1-B5"] --> B["确定性跨领域任务环境构建<br/>涵盖4大核心领域与Multi-Step复合任务"]
B --> C["动态余量感知交互循环<br/>THINK/USE/SUBMIT三元交互与动态单轮上限"]
C --> D["容错兜底确定性验证机制<br/>末轮答案提取与程序化确定性校验"]
D --> E["输出: 成功率响应曲线、预算弹性ε与断崖指数Cliff"]
关键设计¶
1. 确定性跨领域任务环境构建:真实环境混杂非受控噪声且评估不可复现 -> 种子控制程序化生成与全真确定性状态 -> 彻底解耦能力评测与外部随机性
现有智能体基准常依赖实时网络搜索或真实操作系统环境,极易引入外部网络抖动、页面结构变更与长尾偶发错误,导致模型在不同预算下的对比充斥随机噪声。为此,TokenCliff 设计了全封闭的纯 Python 模拟沙箱,依托随机数种子两阶段程序化生成 660 个确定性任务。基准涵盖四大基础能力领域(各 125 题):文件系统遍历与内容聚合(File Operations)、表格过滤多表联结与统计计算(Data Transformation)、多步骤与条件 API 调度(Tool Use)、冲突避让与时序调度(Planning);此外增设 160 个高复杂度 Multi-Step 复合任务,专门考察 30-59 行大表过滤计算、8-15 个文件深度抽取以及 4-6 步长链算术推导。所有任务环境均隐藏底层真实状态,仅通过标准工具接口暴露信息, ground truth 均由程序化逻辑直接合成,完全杜绝了模型裁判与外部依赖。
2. 动态余量感知交互循环:智能体易被单轮长生成击穿总预算致无法探索 -> 全程预算追踪、单轮上限钳制与余量注入 -> 强制暴露多轮自适应资源调配边界
在多轮智能体运行中,若不加约束,模型在第一轮生成的亢长自言自语便可能一次性耗尽全局额度,导致多轮交互退化为单轮瘫痪。为准确刻画多轮预算自适应行为,评测框架引入了全局动态截断与单轮保护机制。在交互开始前,系统提示词明确注入当前 episode 的总输出 Token 上限 \(b\);在交互过程中,智能体仅允许输出预定义的固定标记:用于内部规划推理的 THINK:、用于发起沙箱工具调用的 USE:、以及提交最终结果的 SUBMIT:。在每一轮交互生成前,评测机实时统计此前所有轮次消耗的累计补全 Token \(\sum_{\tau < t} c_\tau\),计算剩余余量 \(r_t = b - \sum_{\tau < t} c_\tau\),并在向模型下发“继续”指令时明确附带当前剩余可用预算。同时,评测机将该轮的实际生成最大输出 Token 设为 \(\min(r_t, 500)\)。500 Token 的单轮硬顶既防止单次失控推理直接吞噬全局预算,又在全模型间保持了公平一致的微观单步生成约束。
3. 容错兜底确定性验证机制:耗尽预算或格式微小偏移导致可恢复答案误判 -> 尾部状态兜底捕获与严格确定性匹配 -> 客观反映截断边界下的真实能力底色
在极限低预算(如 200 Token)下,智能体常在推理接近终点时被预算硬性截断,未能规范打印出 SUBMIT: 标记;或在多步执行后已在文本中输出了正确结果但未遵循格式语法。为了避免格式解析器过于脆弱而产生人为低估,评测机建立了严格却具备弹性的双层容错判别规则:若交互在耗尽预算或达到 20 轮上限时被动终止且未捕捉到标准 SUBMIT:,评测机自动回溯并抓取智能体最后一次生成的原始输出作为提交候选;同时,若智能体输出的内容既不属于有效工具调用也不属于规范思考,同样将其判定为最终候选答案送入判别器。判别器基于精确匹配或受控子串匹配,直接将提取出的答案与沙箱底层预生成的 ground truth 比对,给出布尔成败判定。这种无需任何 LLM 主观介入的确定性验证,确保了所有跨模型、跨预算的对比均建立在完全透明和零评分方差的基础之上。
评测指标与断崖判定¶
为定量刻画智能体性能随预算变化的非线性响应形态,TokenCliff 提出了两个互补的核心灵敏度指标:
对于在 \(K=5\) 个有序对数预算等级 \(B = \{b_1, \dots, b_K\}\)(200 到 8,192 Token)上评测的模型 \(m\),记其在第 \(k\) 级预算下的平均任务成功率为 \(s(m, b_k)\),峰值成功率为 \(s^* = \max_k s(m, b_k)\)。预算弹性(Budget Elasticity, \(\varepsilon\))被定义为在对数预算坐标系下、经峰值准确率归一化后的梯形面积(Normalized Area Under Curve, nAUC):
其中 \(\Delta_k = \log b_{k+1} - \log b_k\)。对数尺度的积分赋予各预算倍率区间对等的权重,防止高 Token 区域主导总体积分;通过除以峰值 \(s^*\),\(\varepsilon\) 成为衡量模型在面对预算紧缩时“性能保持形态”的纯形状相对鲁棒性指标(若模型在各预算下均能维持其峰值的 80%,则 \(\varepsilon=0.8\))。同时,基准定义未归一化的绝对指标 \(A_{\log}(m) = s^* \cdot \varepsilon(m)\),以兼顾全预算下的绝对综合解决能力。
为捕捉最具破坏性的突变点,基准定义了断崖指数(Cliff Index, \(\text{Cliff}\))与断崖发生区间(Cliff Location):
该指标精准标定了在相邻预算档位之间发生的最大单步成功率跃迁(或逆向缩减时的最陡峭跌幅)。若某模型的跌幅高度集中于某一特定转换区间,即表明该区间是该智能体完成多轮交互所必需的“临界计算相变点”。
实验关键数据¶
主实验¶
在 10 款涵盖开源与闭源前沿模型、总计 33,000 个交互轨迹(660 任务 \(\times\) 5 级预算 \(\times\) 10 模型)的全量评测中,各模型展现出显著分化的预算响应曲线。下表列出按预算弹性 \(\varepsilon\) 降序排列的主实验结果:
| 模型 | B1 (200) | B2 (500) | B3 (1.5K) | B4 (4K) | B5 (8K) | 弹性 \(\varepsilon\) | \(A_{\log}\) | 断崖 Cliff | 断崖区间 Cliff Loc. |
|---|---|---|---|---|---|---|---|---|---|
| Gemini-3.1-Flash-Lite | 0.567 | 0.829 | 0.936 | 0.932 | 0.932 | 0.919 | 0.860 | 0.262 | B1→B2 |
| Qwen2.5-72B | 0.353 | 0.532 | 0.605 | 0.609 | 0.597 | 0.910 | 0.554 | 0.179 | B1→B2 |
| GPT-4o-mini | 0.388 | 0.636 | 0.723 | 0.735 | 0.727 | 0.900 | 0.661 | 0.248 | B1→B2 |
| Claude-Haiku-4.5 | 0.477 | 0.724 | 0.838 | 0.833 | 0.850 | 0.897 | 0.763 | 0.247 | B1→B2 |
| Qwen2.5-7B | 0.271 | 0.352 | 0.359 | 0.405 | 0.368 | 0.884 | 0.357 | 0.080 | B1→B2 |
| Qwen3.6-Flash | 0.374 | 0.565 | 0.753 | 0.733 | 0.758 | 0.860 | 0.651 | 0.191 | B1→B2 |
| Qwen3.5-35B | 0.374 | 0.564 | 0.695 | 0.752 | 0.758 | 0.843 | 0.639 | 0.189 | B1→B2 |
| Qwen3.6-Plus | 0.426 | 0.680 | 0.915 | 0.961 | 0.958 | 0.839 | 0.806 | 0.255 | B1→B2 |
| Qwen3.5-397B | 0.391 | 0.711 | 0.906 | 0.973 | 0.964 | 0.833 | 0.810 | 0.320 | B1→B2 |
| DeepSeek-V3 | 0.300 | 0.561 | 0.861 | 0.918 | 0.917 | 0.794 | 0.729 | 0.300 | B2→B3 |
诊断与分析实验¶
为了深入验证预算断崖究竟是源自多轮交互机制本身,还是仅由单步输出长度被截断所致,论文在相同的 500 个基础任务上对比了单步直接生成(Single-Shot,在 Prompt 中一次性提供完整沙箱状态并让模型单步答题)与多轮交互智能体循环(Agent Loop):
| 模型 | 单步 \(\varepsilon\) | 单步 Cliff | 多轮智能体 \(\varepsilon\) | 多轮智能体 Cliff | \(\varepsilon\) 配对差异 95% 置信区间 |
|---|---|---|---|---|---|
| GPT-4o-mini | 0.991 | 0.018 | 0.887 | 0.236 | [0.079, 0.133] |
| Qwen2.5-72B | 0.977 | 0.012 | 0.917 | 0.136 | [0.041, 0.114] |
| Qwen2.5-7B | 0.989 | 0.006 | 0.884 | 0.084 | [0.040, 0.147] |
此外,针对全量 10,994 个失败交互轨迹的终端结果分类统计(Table 6),清晰揭示了不同模型在遭遇预算天花板时的底层行为异质性:
| 模型 | 预算耗尽无提交 (%) | 达到20轮上限 (%) | 提交错误答案 (%) | 首轮早退未调用工具 (%) | 其他格式/异常 (%) |
|---|---|---|---|---|---|
| Gemini-3.1-Flash-Lite | 60.6 | 2.4 | 29.4 | 1.5 | 6.0 |
| Qwen2.5-72B | 26.1 | 4.1 | 59.4 | 10.3 | 0.1 |
| GPT-4o-mini | 40.4 | 0.9 | 49.5 | 9.1 | 0.1 |
| Claude-Haiku-4.5 | 50.9 | 10.3 | 30.5 | 4.4 | 3.9 |
| Qwen2.5-7B | 13.8 | 3.0 | 69.0 | 14.0 | 0.3 |
| Qwen3.6-Flash | 54.5 | 20.3 | 21.7 | 3.0 | 0.6 |
| Qwen3.5-35B | 66.8 | 10.0 | 21.0 | 2.0 | 0.3 |
| Qwen3.6-Plus | 89.1 | 6.0 | 4.6 | 0.0 | 0.3 |
| Qwen3.5-397B | 88.8 | 2.9 | 7.9 | 0.0 | 0.4 |
| DeepSeek-V3 | 82.0 | 3.0 | 13.7 | 0.3 | 0.9 |
关键发现¶
- 剧烈的性能断崖普遍存在且集中于极低区间:全量评测中 9 款模型在 B1 \(\to\) B2(200 \(\to\) 500 Token)转换区间发生了最大跌幅,Qwen3.5-397B 的断崖落差甚至高达 32.0 个百分点(从 71.1% 暴跌至 39.1%)。这表明 200 Token 是绝大多数多轮智能体展开“一轮规划 + 一次工具调用 + 观察 + 结论生成”的最基本生理极限;一旦跌破 200 Token,模型因缺乏最基本的反思与调用空间而出现雪崩。
- 峰值性能与大模型规模无法代表预算弹性:Qwen3.5-397B 虽然拥有全场最高的峰值准确率(B4 达到 97.3%),但其弹性排名仅列第 9(\(\varepsilon=0.833\));DeepSeek-V3 峰值高达 91.8%,但弹性排在倒数第一(\(\varepsilon=0.794\))。相反,Gemini-3.1-Flash-Lite(\(\varepsilon=0.919\))与 Qwen2.5-72B(\(\varepsilon=0.910\))在峰值并非最高的情况下表现出极强的平稳降级能力。Spearman 相关性分析显示峰值准确率与弹性呈现弱负相关(\(\rho = -0.462\)),打破了“模型越大、能力越强就越省 Token 且越抗跌”的直觉认知。
- 断崖现象是多轮交互闭环独有的系统级脆弱性:在单步直答诊断中,即使将输出 Token 同样压缩到 200,模型成功率曲线也极度平缓(\(\varepsilon\) 高达 0.977-0.991,Cliff 仅 0.006-0.018)。这实证了多轮智能体的断崖并非源自模型无法输出简短文本,而是多轮交互中误差积累、调用开销与无法反思回溯所导致的乘性崩溃。
- 高效成功轨迹呈现“节约假象”,失败类型大相径庭:Token 利用率统计显示,成功轨迹平均消耗的 Token 显著少于失败轨迹(例如 Qwen3.6-Plus 在 B3 下成功用 544 Token,失败平均耗费 1,315 Token)。在失败归因上,超大模型(Qwen3.5-397B、DeepSeek-V3)绝大多数失败(82%-89%)表现为被动撞上预算墙导致无法提交,而中小模型(Qwen2.5-7B、GPT-4o-mini)主要表现为过早草率提交错误答案。
亮点与洞察¶
- 多轮交互的“计算临界相变”度量:论文首次将输出 Token 从一个事后统计的被动成本指标,转化为系统自变量,形式化了多轮智能体完成有效闭环所需的最小计算预算阈值(200-500 Token)。
- 无模型裁判的纯净基准范式:完全采用种子随机化的纯 Python 仿真环境与确定性匹配断言,以仅 $85 美元和 48 小时的单机 CPU 调度完成了 33,000 轮严谨的跨预算全景评测,消除了评测领域的环境与打分方差。
- 解耦“能力天花板”与“优雅降级能力”:提出了预算弹性 \(\varepsilon\) 与绝对曲线积分 \(A_{\log}\),证明了二者在智能体选型中的正交性,为在生产环境中基于特定预算分布做智能体选型提供了关键指标支撑。
局限与展望¶
- 合成环境与现实部署的真实度差距:作者明确指出,所有任务均基于合成逻辑沙箱(文件、表格、API、排程),虽杜绝了环境噪声,但未能完全覆盖如 SWE-bench 这种超长上下文真实代码库修复与真实复杂网络导航的噪声动态。
- 未将输入 Token 与多轮推理思考深度完全纳入总成本模型:基准严格管控的是可观测的多轮输出 Token,未将多轮历史累积导致的输入 Token 爆炸、服务商隐藏的内置 CoT 思考 Token、网络延迟与调用单价混合计算。未来工作需向端到端整体部署经济成本扩展。
相关工作与启发¶
- vs BCAS / BATS: 既有工作多在特定子领域(如检索增强生成或网络搜索)施加外部工具调用次数上限或总开销控制;TokenCliff 则是首个在完全统一的确定性多轮交互协议下,跨多能力域对全局输出 Token 预算做全景对数扫描的通用基准。
- vs SWE-Effi / AgencyBench: SWE-Effi 与 AgencyBench 侧重于真实长程复杂任务中的事后算力资源消耗审计;TokenCliff 聚焦于因果机制探究,将输出预算作为受控核心自变量,揭示出模型内在策略在受迫紧缩下的断崖特征。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次系统化探索多轮智能体在严格全局输出Token约束下的非线性断崖行为与相变边界]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖10款前沿主流模型、660个任务与5级预算,33,000轮实验外加单步诊断与严格评分消融]
- 写作质量: ⭐⭐⭐⭐⭐ [形式化定义严谨,逻辑链路推导清晰,实验结果展现了深度的行为学归因与敏锐洞察]
- 价值: ⭐⭐⭐⭐⭐ [为真实业务下智能体选型、自适应预算感知推理与高性价比小模型调优提供了至关重要的基准和方法论]