跳转至

AgentSpec: Speculative Decoding for Batch Inference of LLM Agents

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 智能体
关键词: 投机解码, LLM 智能体, 批处理推理, 结构隔离草稿, 冗余感知预算分配

一句话总结

针对投机解码在大批次 LLM 智能体推理中因高拒绝率与动态预算浪费而严重降速的瓶颈,本文提出 AgentSpec,通过基于下推自动机的结构隔离草稿生成与冗余感知动态预算分配,在 vLLM 上实现了最高 2.02× 的端到端吞吐加速且无损生成质量。

研究背景与动机

基于大语言模型(LLM)的自主智能体(LLM Agent)在多步推理、工具调用及环境交互等复杂任务中展现出卓越能力,并在软件工程、深度研究和多轮问答等实际场景广泛落地。然而,由于智能体工作流包含反复的多轮调用、迭代自我反思以及长上下文生成,其实际部署往往面临极高的计算开销与响应延迟。投机解码(Speculative Decoding)作为一种严格无损的推理加速技术,在单请求或极小批次下能够显著缩短解码时延;但在现代以高硬件利用率为核心的工业级服务系统(如 vLLM 和 SGLang)的大批次并发场景中,现有算法的加速比会发生急剧衰退,甚至退化至显著慢于标准自回归解码。

深入剖析智能体大批次投机推理的效率瓶颈,核心矛盾在于两个层面:其一,传统投机采样(无论基于轻量小模型如 EAGLE-3,还是基于全局历史匹配的无模型方法如 NGram 与 SuffixDecoding)脱离了智能体工作流的固有分段结构,其在跨轮次、跨工具调用边界甚至不同用户请求之间无差别检索候选 token,导致所生成的候选草稿与当前语义高度不匹配,拒绝率飙升至 50%~88% 以上;随着批大小增大,拒绝 token 带来的无效验证开销迅速吞噬并超过接受 token 所节省的时间。其二,底层硬件在不同并发批次下算力强度(Arithmetic Intensity)所决定的可用投机 token 预算动态波动,而现有调度要么采用均匀切分,要么依赖全局静态接受率反馈,无法精准捕捉各个请求在智能体执行阶段的即时可投机潜力,导致有效算力被盲目透支或闲置。

本文的切入角度在于:智能体内部生成模式虽然在全局跨轮次或跨任务时存在剧烈的语义跃迁,但在同一用户任务的同一语义执行块(如纯代码生成块、工具调用参数块或数学推导块)内却表现出极高的局部模板与词元复现性;若将草稿检索严格限制在语义隔离的结构边界内,并结合候选历史的聚合冗余置信度进行动态按需分配算力,即可完全规避无效推测。核心 idea:将智能体工作流显式抽象为语义块隔离的执行环境,利用轻量下推自动机(PDA)实现零分词器开销的结构隔离草稿生成,并根据历史候选前缀的冗余置信度动态重分配批级别投机预算,消除无效验证开销。

方法详解

整体框架

AgentSpec 是一种专门针对 LLM 智能体批处理推理设计的无模型(Model-Free)投机解码架构。智能体应用程序在向推理引擎提交请求时,除基础 Prompt 外还附带结构标识元数据 \(S_i = \{a_i, q_i, B_i\}\)(包含智能体 ID、查询 ID 以及语义块起止标记对集合)。在服务端解码主循环中,系统首先借助高效的词元-字符映射缓存将生成词元增量转入下推自动机(PDA),实时确定当前词元所处的语义块;随后仅从该语义块对应的隔离历史缓存中检索候选草稿,彻底切断跨结构误匹配;在批量送往目标模型并行验证之前,系统计算每个请求候选草稿的前缀冗余得分,并在批级别总预算约束下进行非均匀长度分配,确保高置信度请求获得充足推测长度,而低置信度请求仅保留最小保守前缀。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["智能体多轮并发请求<br/>输入 Prompt 与结构元数据"] --> B["基于 PDA 的语义块状态追踪<br/>增量映射与下推自动机转移"]
    B --> C["结构隔离草稿生成<br/>同任务/同语义块隔离缓存检索"]
    C --> D["冗余感知预算分配<br/>候选前缀一致性打分与动态分配"]
    D --> E["目标大模型批处理并行验证<br/>无损接收并更新历史上下文"]

关键设计

1. 基于 PDA 的语义块状态追踪:解决子词切分与在线边界判定的开销瓶颈

智能体结构通常由成对的字符串标识符(如 python ...、<tool_call> ... </tool_call> 或 $$ ... $$)界定,但现代大模型以子词(Subword Token)为单位解码,词元边界往往与字符标记边界发生错位与交叉。在 vLLM 等高性能生产级引擎中,如果每一步解码都频繁调用完整的 Tokenizer 进行双向解码转换,会带来不可承受的 CPU-GPU 交互与解析延迟。为此,AgentSpec 构建并维护了静态的词元-字符前缀映射表(Token-to-String Map),并在服务端为每个并发请求维护一个轻量级的字符串下推自动机(Pushdown Automaton, PDA)。每当生成新词元时,利用映射表以近乎 \(O(1)\) 的均摊时间将子词片段增量压入 PDA,精确判断当前状态是否进入、处于或离开某个特定语义块 \(b_i^k\),以确定后续操作的上下文边界。

2. 结构隔离草稿生成:消除异构执行阶段跨边界检索引发的高拒绝率

现有无模型投机算法(如 NGram 和 SuffixDecoding)在全局生成历史中无差别建立后缀树或 n-gram 索引,然而智能体在推理思考、工具调用传参以及观察反馈之间存在显著的语义鸿沟,盲目全局检索会导致候选草稿命中完全无关的历史阶段,实验统计其拒绝率高达 50%~88%。针对这一缺陷,AgentSpec 为每个请求分配独立的结构隔离缓存 \(H(a_i, q_i, b_i^k)\)。草稿生成器仅在当前 PDA 所锁定的同智能体、同查询、同语义块的历史记录中检索候选匹配串,并提取候选后续序列集合 \(CT_i\)。由于将推测范围严格限定在语法和语义高度同质的局部结构内,从源头消除了无效的语义漂移分支,将智能体推理的草稿拒绝率直接压缩至 26.4%,相较于主流基线降低了 50% 以上。

3. 冗余感知预算分配:突破静态均匀分配对动态硬件算力预算的低效占用

在批处理并发场景下,硬件算力强度与当前批大小 \(b_z\) 决定了系统每一步能够容纳的投机词元上限预算 \(B_t = \lfloor \alpha / b_z \rfloor\)。若各请求平均分配该预算,会导致低接受率请求占用过多验证通道造成计算浪费,而高置信度请求则因长度受限无法发挥加速潜力。为此,AgentSpec 设计了基于统计冗余度的置信度打分函数 \(g(c_i, n_i)\): $\(g(c_i, n_i) = \frac{c_i}{n_i} \cdot p(n_i), \quad p(n_i) = g_{\min} + (1 - g_{\min})(1 - e^{-n_i})\)$ 其中 \(n_i = |CT_i|\) 为匹配到的历史延续分支总数,\(c_i\) 为支持最频繁公共前缀 \(CT_i^*\) 的候选数量。比值 \(c_i / n_i\) 衡量历史演进的一致共识度,饱和衰减项 \(p(n_i)\) 用于在观测样本数较少时惩罚小样本估计方差,\(g_{\min}\) 设定基底最小置信度。在计算出全批各请求的冗余得分 \(g_i\) 后,请求 \(r_i\) 获得的分配草稿长度为: $\(L_i = \max \left( |CT_i^*|, \left\lfloor B_t \cdot \frac{g_i}{\sum_j g_j} \right\rfloor \right)\)$ 该机制既保证每个请求至少能推测其最具共识的保守前缀,又将剩余动态预算集中倾斜至高冗余、高接受概率的请求上,使得批级别总投机词元数始终紧密贴合硬件最优算力边界。

一个完整示例

在一个基于 Reflexion 的代码生成智能体中,系统并发处理多个算法题求解请求。假设当前处于大批次环境(\(b_z = 256\)),硬件设定预算基准因子 \(\alpha = 1024\),总可用投机预算 \(B_t = 4\)。 1. 语义追踪:请求 1 刚刚输出词元 ```python\ndef,经词元-字符映射增量送入 PDA,自动机状态进入代码块语义组 \(b_{\text{code}}\);而请求 2 正在生成自然语言反思分析,处于 \(b_{\text{text}}\)。 2. 结构隔离匹配:请求 1 仅在 \(H(\text{agent}_1, q_1, b_{\text{code}})\) 中检索历史函数前缀,检索到 4 个历史候选续写,其中 3 个一致预测 solve():\n n = int(input()),公共前缀长度为 6;请求 2 检索自身结构缓存仅得到 1 个稀疏匹配,且无共识前缀。 3. 冗余打分与分配:请求 1 的一致性比例为 \(3/4 = 0.75\),经样本加权后得出高冗余得分 \(g_1 = 0.71\);请求 2 得分极低 \(g_2 = 0.15\)。基于总预算与各自分数归一化加权,系统将大部分可用投机预算倾斜给请求 1,使其推测长度扩展至上限,而请求 2 仅分配其基本保守词元。 4. 模型验证:目标大模型单次前向并行验证两路草稿,请求 1 的 6 个词元全部通过验证,单步前向步进 7 个 token,直接节省了 6 次串行解码前向传播。

实验关键数据

主实验

论文在工业级部署引擎 vLLM(v0.12.0 V1)上实现 AgentSpec,硬件环境为单张 NVIDIA A100-SXM4-80GB GPU,并发最大批大小设为 256(测试硬件算力饱和区),并在 H100 GPU 上验证了可扩展性。评测覆盖四类具有代表性的智能体工作流与基准:基于 Reflexion 的代码生成智能体(USACO 基准)、基于 LangChain 的 Deep Research 智能体(DeepResearch-Bench 基准)、GAIA 以及 SWE-Bench-Lite(均运行于 OpenHands 框架)。核心对比指标为有效吞吐 Goodput(生成的总 Token 数除以工作流总耗时,tokens/sec)及其相对于标准自回归解码(Normal)的加速比(Speedup)。

下表摘录了论文表 2 中三款不同规模与架构模型在四大智能体负载下的主实验吞吐与加速对比数据:

模型 方法 Deep Research Agent (Tokens/s) Deep Research 加速比 Code Generation Agent (Tokens/s) Code Generation 加速比 GAIA (Tokens/s) GAIA 加速比 SWE-Bench (Tokens/s) SWE-Bench 加速比
Qwen-3-8B Normal 617.41 1.00× 636.09 1.00× 501.27 1.00× 652.44 1.00×
EAGLE-3 605.14 0.98× 539.01 0.85× 468.22 0.93× 523.12 0.80×
NGram 509.62 0.83× 422.58 0.66× 308.27 0.61× 408.28 0.63×
SuffixDecoding 598.74 0.97× 579.21 0.91× 498.16 0.99× 556.64 0.85×
AgentSpec (本文) 661.43 1.07× 828.10 1.30× 537.78 1.07× 854.69 1.31×
GPT-OSS-20B Normal 201.43 1.00× 289.26 1.00× 247.67 1.00× 351.22 1.00×
EAGLE-3 125.71 0.62× 161.34 0.56× 112.16 0.45× 198.81 0.57×
NGram 158.91 0.79× 175.19 0.61× 109.22 0.44× 253.36 0.72×
SuffixDecoding 196.54 0.98× 295.85 1.02× 187.79 0.76× 319.73 0.91×
AgentSpec (本文) 297.54 1.48× 584.43 2.02× 295.76 1.19× 595.20 1.69×
DSK-Distill-8B Normal 987.66 1.00× 1230.28 1.00× 823.39 1.00× 1432.27 1.00×
EAGLE-3 965.43 0.98× 1119.29 0.91× 864.43 1.05× 1098.82 0.77×
NGram 752.66 0.76× 797.18 0.65× 725.29 0.88× 1014.47 0.71×
SuffixDecoding 995.14 1.01× 1041.29 0.85× 820.09 1.00× 1498.69 1.05×
AgentSpec (本文) 1294.65 1.31× 1671.34 1.36× 924.47 1.12× 2281.87 1.59×

消融实验与执行开销分析

为了评估核心模块对性能的具体贡献,论文设计了模块消融变体:仅保留结构隔离草稿生成的 AgentSpec (S)、仅在 SuffixDecoding 上采用冗余感知预算分配的 AgentSpec (R),以及无需应用层显式提供结构标识符的无监督变体 AgentSpec (N)。下表综合了论文表 5(执行耗时细分)与表 6(模块消融数据):

实验维度 配置 / 变体 核心指标数据 详细说明
模块消融 Normal (基线) DeepResearch: 617.41 (1.00×) / CodeGen: 636.09 (1.00×) 标准自回归解码基准
(Qwen-3-8B) AgentSpec (S) 仅结构隔离 DeepResearch: 647.12 (1.05×) / CodeGen: 795.54 (1.25×) 单独隔离语义块,拒绝率大幅下降,加速显著
AgentSpec (R) 仅冗余分配 DeepResearch: 623.33 (1.01×) / CodeGen: 702.28 (1.10×) 在基线上动态调配预算,带来正向收益但略逊于结构隔离
AgentSpec (N) 无结构输入 DeepResearch: 661.08 (1.07×) / CodeGen: 809.12 (1.27×) 无需用户提供元数据,依然超越所有既有基线
AgentSpec (完整模型) DeepResearch: 661.43 (1.07×) / CodeGen: 828.10 (1.30×) 两大模块协同配合,获得最强加速表现
执行耗时细分 EAGLE-3 草稿耗时: 5.72 min / 验证耗时: 34.24 min / 总耗时: 39.96 min 训练小模型开销较大,且大批次验证极慢
(CodeGen 任务) NGram 草稿耗时: 0.68 min / 验证耗时: 39.82 min / 总耗时: 40.50 min 草稿检索虽快,但拒绝率高导致验证极其拖累
SuffixDecoding 草稿耗时: 1.41 min / 验证耗时: 33.12 min / 总耗时: 34.53 min 缺乏结构约束,验证开销依然占据超 95% 时间
AgentSpec (本文) 草稿耗时: 1.74 min / 验证耗时: 26.11 min / 总耗时: 27.85 min 验证开销骤降 21%,端到端执行总时间缩短 19%

关键发现

  • 大批次下现有投机算法发生普遍倒挂:在大批次并发(batch size = 256)下,EAGLE-3、NGram 以及 SuffixDecoding 的吞吐普遍落后于普通自回归解码(加速比仅在 0.44×~0.98× 之间),成为负优化。而 AgentSpec 在全部被测负载与模型中均保持稳定加速,最高加速比达 2.02×(GPT-OSS-20B 在 CodeGen 任务上)。
  • 结构隔离在收益中占据主导地位:消融实验表明,AgentSpec (S) 的收益明显大于 AgentSpec (R),证明遏制语义不匹配带来的高拒绝率是击破投机解码负优化壁垒的首要矛盾。
  • 微小的调度开销换取了巨大的验证时间压缩:AgentSpec 因维护 PDA 状态与计算冗余度仅增加了不到 2ms 的草稿端 CPU 开销,但使目标模型在 GPU 端的单步无谓验证时间缩减了 21%,真正实现了端到端净加速。
  • 超越前沿 MTP 预训练范式:在 MiMo-7B 模型上,专门在预训练阶段联合训练的 MTP(Multi-Token Prediction)机制在大批次智能体生成中依然出现了效率退化(USACO-All 加速比仅 0.73×),而无需任何训练参数的 AgentSpec 依然取得了 1.29× 的加速。

亮点与洞察

  • 洞察了智能体生成的结构局部性:指出智能体多轮复杂交互并非均匀无序的文本流,其语义重复性高度聚集在特定的执行语义块内;利用这一物理先验约束推测搜索空间,直接将草稿拒绝率斩半。
  • 零额外训练的纯系统层解决方案:不需要像 EAGLE 或 MTP 那样针对特定基座微调草稿小模型或修改网络预训练头,对任意主流开源 LLM 即插即用且完全数学无损。
  • 面向实际 Serving 算力边界的动态预算感知:将硬件算力强度与当前并发批处理状态相绑定,打破静态推测长度配置,把投机资源精确倾斜给高共识度请求。

局限与展望

  • 依赖智能体与服务端之间的元数据通信:AgentSpec 最佳性能依赖于智能体框架向服务端显式透传语义标记对与查询标识,若在完全黑盒、无法暴露内部结构的网关代理中部署,需要退回至 AgentSpec (N) 变体,加速比略有收窄。
  • 低重复度或极度发散任务的收益受限:由于本质上属于基于历史的模式复用解码机制,当智能体任务处于极度发散、每一步调用与输出均高度动态且毫无历史相似性时,草稿命中率可能降低,退化为较短的投机步长。

相关工作与启发

  • vs EAGLE-3 / MTP: 后两者依赖专门训练的轻量草稿模型或多词元预测头,在单请求下预测准,但在大批次下小模型的草稿推理时延不可忽略,且模型难以感知智能体多轮结构;AgentSpec 采用无模型设计,零参数开销,利用结构隔离与局部统计实现更高的大批次净吞吐。
  • vs NGram / SuffixDecoding: 传统无模型投机直接在全局上下文盲目匹配历史模式,在智能体场景中受跨轮次和跨工具调用的语义突变干扰,拒绝率极高(>65%~88%);AgentSpec 引入 PDA 隔离语义块并在块内检索,将拒绝率大幅压降至 26.4%。
  • vs AdaSpec: AdaSpec 仅基于粗粒度的请求历史接收率进行启发式预算分配;AgentSpec 深入分析候选续写前缀的统计共识度与样本饱和度,能够更精细地适应每一步生成的即时置信度波动。

评分

  • 新颖性: ⭐⭐⭐⭐ [准确定位了智能体大批次投机采样的结构性瓶颈,将下推自动机与冗余度度量巧妙结合引入 Serving 引擎]
  • 实验充分度: ⭐⭐⭐⭐⭐ [跨 4 大模型家族、4 类主流智能体工作流、Spec-Bench 全量子集,涵盖细粒度耗时分解与硬件扩展性测试]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密,瓶颈数学建模直观清晰,图表与实验支撑扎实]
  • 价值: ⭐⭐⭐⭐⭐ [对推动大模型智能体在生产级高并发集群中低成本、低延迟规模化落地具有极高的系统工程实用价值]