Spexis: Speculative Lookahead Scheduling for LLM Inference¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/mlsys-seo/spexis
领域: LLM效率
关键词: 投机并行, 前瞻调度, 流水线并行, KV Cache显存, 剩余长度预测
一句话总结¶
Spexis 提出了投机并行(Speculative Parallelism)这一全新的多 GPU 调度维度,将自投机草稿生成与流水线后续阶段的验证在时间上无缝重叠而不增加额外 KV Cache 显存,配合基于置信度的选择性投机与剩余长度预测的前瞻调度策略,有效打破了张量并行与流水线并行的扩展瓶颈,在单机与跨机配置下取得高达 34% 的推理服务加速。
研究背景与动机¶
随着前沿大语言模型参数规模与长上下文 KV Cache 需求的激增,单 GPU 往往难以承载高并发推理服务,分布式多卡乃至多节点推理已成为工业级部署的标准方案。在多 GPU 推理系统中,张量并行(Tensor Parallelism, TP)与流水线并行(Pipeline Parallelism, PP)是最常用的两项基础技术。然而,两者在大规模扩展时均面临严峻的系统级性能瓶颈:张量并行要求在每个 Transformer 层的注意力与 FFN 计算后执行跨卡同步通信(All-Reduce),即便在单节点高带宽 NVLink 环境下,通信延迟与同步开销也会导致 GPU 频繁空转;流水线并行虽然减少了高频细粒度通信,但为了填补层间依赖造成的流水线气泡,必须引入微批处理(Micro-batching),每个独立的微批次都必须独立维护专属的 KV Cache 状态,进而导致微批次大小被迫严重压缩,直接损害了 GPU 计算核心的利用率与吞吐量。
尽管现有生产系统普遍采用 TP+PP 的混合并行配置,但这两种技术之间内在的矛盾并未被根除。增加流水线阶段数会因微批次增多而加剧显存压力,而增加张量并行度又会放大集群网络同步的等待时间。另一方面,作为单节点加速经典技术的投机解码(Speculative Decoding)虽然能够打破自回归解码的逐 token 串行限制,但在既有实践中通常只被视作算法层的局部加速技巧,未能与底层的多卡流水线和内存调度深度融合。
针对这一困境,本文的核心思考在于:能否将投机解码升级为一种系统级的并行执行原语,让草稿生成与验证执行自然重叠,同时完全规避传统微批处理引入的独立 KV Cache 内存惩罚?核心 idea:引入投机并行(Speculative Parallelism, SP)作为与 TP/PP 互补的正交调度维度,利用早期自投机层与后续验证层的异步流水重叠且共享 KV Cache,并基于轻量置信度筛选与剩余长度预测实现前瞻式准入调度,最大化多卡推理吞吐并消除驱逐重计算。
方法详解¶
整体框架¶
Spexis 构建于 vLLM 与 Ray 分布式运行时之上。其核心在于打破了传统流水线并行中每个流水线阶段必须处理不同微批次并维持独立 KV Cache 的范式,而是引入了自投机(Self-speculative)结构并将其与流水线调度解耦。整体推理流程由两大部分协同运转:在底层执行层,模型的前半部分早期层作为草稿阶段部署于首个流水线 stage,后半部分作为验证阶段部署于后续流水线 stage。在生成过程中,第一 stage 产出候选草稿 token 后,无需等待整个模型计算完成,立即启动对下一 token 的投机执行,而第二 stage 则并发对上一轮的草稿进行批量验证。草稿执行与正常验证共享同一套物理 KV Cache,消除了显存冗余。
在顶层调度层,Spexis 结合系统分析代价模型(Cost Model)与前瞻式预测器(Lookahead Scheduler)。调度器通过轻量级 MLP 在线预测请求的剩余解码长度并实时评估未来 64 个迭代步的显存压力;当预测到准入新请求会导致正在运行的请求发生 KV Cache 驱逐时,调度器会定量计算“延迟准入吞吐损失”与“驱逐重计算惩罚”,智能决定新请求的最优准入时机。同时,调度器根据置信度分数过滤低质量草稿 token,仅保留高接受率请求执行投机,避免无效计算挤占显存与带宽。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["请求到达与输入序列"] --> B["前瞻调度决策<br/>基于剩余长度与驱逐代价模型"]
B -->|时机成熟准入| C["早期阶段:草稿适配器<br/>输出草稿 Token 与置信度"]
C --> D["选择性投机过滤<br/>依据置信度截断丢弃低分 α 比例"]
D --> E["投机并行流水重叠<br/>Stage 1 投机计算 ↔ Stage 2 验证计算并发"]
E -->|接受草稿 Token| F["输出验证 Token 并无缝更新共享 KV Cache"]
E -->|拒绝投机 Token| G["回退重新执行并释放预测分支"]
关键设计¶
1. 投机并行(Speculative Parallelism, SP)与稳态代价模型:打破显存爆炸瓶颈
传统的流水线并行(PP)为了降低空泡比率,必须在 \(N\) 个 stage 间轮转 \(N\) 个不同的微批次,导致单个微批次的最大并发序列数仅能达到单卡无微批次上限 \(B\) 的 \(1/N\)(即 \(B/N\)),显存因多个独立请求上下文被迅速耗尽。Spexis 提出的投机并行利用自投机模型(如 Kangaroo 结构,利用浅层接轻量 Adapter 产出草稿),将草稿生成与后续深层验证拆分到流水线的连续阶段中。最关键的突破在于:在迭代 \(t\),Stage 1 针对已生成的草稿 token 进行投机前向计算,而 Stage 2 并行执行对前序草稿的验证。由于投机计算是对已有序列上下文的推演,它与验证阶段完全共享相同的 KV Cache 物理条目,无需像传统 PP 那样分配额外的微批次显存空间。
为了刻画系统稳态吞吐并指导多卡部署时的并行配置选择,Spexis 建立了精确的递推分析代价模型。设单批次最大容量为 \(B\),\(N\) 为流水线 stage 数,\(\Theta\) 为投机接受率,\(s^a_t\) 和 \(s^r_t\) 分别为在迭代 \(t\) 接受和拒绝的投机请求数,\(n_t\) 为正常执行数,系统满足 \(s^a_t + s^r_t + n_t = B\)。在稳态极限下,系统每轮期望接受的有效 token 批次大小 \(B^\star_{\text{eff}}\) 满足守恒方程:
通过将离线测得的单阶段解码延迟函数 \(T_{\text{sp}}(B)\) 与上述有效批大小结合,系统能够精准预测 SP、PP 和 TP 的实际吞吐开销,自动在给定硬件拓扑下寻找最优并行切分方案。
2. 基于置信度排名的选择性投机:剪除低收益无效计算
投机并行的吞吐收益高度依赖于草稿 token 的接受率 \(\Theta\)。在全量并发场景下,如果强行对所有请求盲目执行投机,批次中尾部低置信度草稿的高失效率会导致昂贵的流水线阶段重算与算力浪费。为此,Spexis 引入了基于置信度排名的选择性投机策略(Selective Speculation)。
具体而言,Spexis 利用自投机 Adapter 输出的置信度得分对批次内所有候选 token 进行排序,主动剔除置信度最低的 \(\alpha\) 比例(实验中 \(\alpha \in [0.15, 0.3]\)),仅对其余高确信度的草稿执行投机调度。通过将低质量分支降级为常规解码,使得保留 token 的有效接受率显著提升。在数学建模上,丢弃 \(\alpha\) 比例后的总稳态批大小演化为 \(B^\star_\alpha = B / [1 + \alpha(N-1)]\),而最终的有效稳态批处理容量为:
该机制使得在草稿准确率原本偏低的模型(如 Qwen3-32B)上,投机准确率能实现 8% 到 14% 的绝对提升,极大改善了高并发下的稳态吞吐。
3. 剩余长度感知的前瞻式准入调度:平衡准入收益与重计算代价
由于 LLM 解码阶段显存随序列长度线性膨胀,现有系统在显存告急时往往采用两难策略:要么保守限制准入导致并发上不去,要么激进准入导致显存溢出、迫使部分请求的 KV Cache 被驱逐并引发代价高昂的全量上下文重计算(Prefill Recomputation)。Spexis 提出基于序数阈值(Ordinal-Threshold)的剩余长度预测与前瞻模拟算法(Algorithm 1)。
系统训练了一个 3 层轻量 MLP,仅需以自投机草稿层的隐状态作为输入,即可在线预测当前序列剩余长度是否低于 4、8、16、32、64 个 token。基于此高精度预测(精度达 83% 以上),调度器在前瞻的 64 步解码窗口内,利用二项分布期望实时推算每个请求的完成概率 \(P^{\text{fin}}(r)\),进而计算未来每个时间步的显存释放与占用轨迹。在此基础上,调度器推导了分析模型以量化“延迟准入策略”(Delay)相较于“激进准入策略”(Aggr)的吞吐增益比 \(G\):
其中 \(p_{\text{dr}} = t_p / t_d\) 为单次 Prefill 与单次 Decode 的延迟比值,\(n\) 为激进策略下将触发的驱逐次数,\(i^k_{\text{wait}}\) 与 \(i_{\text{delay}}\) 分别为等待重新计算的间隔与主动延迟的步数。当且仅当增益模型 \(G > 1\) 时,调度器才延迟新请求的准入,从而在最大限度抑制 KV Cache 驱逐重算的同时最大化系统有效吞吐。
损失函数 / 训练策略¶
Spexis 引入的辅助组件极度轻量,无需微调整个基座大模型: 1. 自投机草稿适配器(Drafting Adapter):采用轻量结构(包含一个线性层和一个注意力层,后接预训练好的 LM Head),挂载在模型的 \(1/2\)(两阶段流水)或 \(1/4\)(四阶段流水)截断处。在 ShareGPT 数据集上使用 AdamW 优化器微调 5 个 epoch,以标准交叉熵损失学习后续 token 预测。对于 Llama-3.3-70B,在单张 H200 GPU 上训练耗时仅约 12 小时。 2. 剩余长度预测器(Length Predictor):采用具有两个 GELU 激活函数的 3 层全连接 MLP,通过二元交叉熵损失分别预测剩余长度低于 4、8、16、32、64 的置信度。训练在单张 H100 GPU 上耗时约 15 小时(20 个 epoch)。在推理部署时,为平衡两阶段流水线的显存分布,Spexis 将首末流水线阶段均放置 LM Head,并将与 LM Head 参数量相当的输入 Embedding 权重卸载到主机内存中并在 CPU 执行查表,开销仅数百微秒,避免了显存不均衡。
实验关键数据¶
主实验¶
论文在跨节点(Inter-node:2 台各配 1 张 RTX PRO 6000,1GbE 网卡连接)和节点内(Intra-node:8 张 A40 GPU,PCIe 4.0 连接,以及 Runpod 上的 H100 SXM、A100 SXM、RTX PRO 6000、L40S 等单机 8 卡环境)开展了深入评测,涵盖 Llama-3.3-70B 与 Qwen3-32B 两个主干模型,使用 SpecBench、LMSYS-Chat 和 UltraChat 数据集。
在单节点 8 卡 Runpod 跨硬件环境下的固定批次解码吞吐(tokens/s,批大小 64)对比如下(见原论文 Table 2):
| 硬件配置 | 互联架构 | 评测模型 | Spexis (本文) | TP-only 基线 | 加速比 |
|---|---|---|---|---|---|
| H100 SXM | NVLink via NVSwitch | Llama-3.3-70B | 3587 | 3652 | 0.98× |
| H100 SXM | NVLink via NVSwitch | Qwen3-32B | 2402 | 5068 | 0.47× |
| A100 SXM | NVLink via NVSwitch | Llama-3.3-70B | 1228 | 966 | 1.27× |
| A100 SXM | NVLink via NVSwitch | Qwen3-32B | 1454 | 2058 | 0.71× |
| RTX PRO 6000 | PCIe 5.0 ×16 | Llama-3.3-70B | 1492 | 1236 | 1.21× |
| RTX PRO 6000 | PCIe 5.0 ×16 | Qwen3-32B | 2201 | 2062 | 1.07× |
| L40S | PCIe 4.0 ×16 | Llama-3.3-70B | 993 | 930 | 1.07× |
| L40S | PCIe 4.0 ×16 | Qwen3-32B | 1509 | 1473 | 1.02× |
在跨节点网络受限环境下(2 个 RTX PRO 6000 节点,1Gbps 以太网),Spexis 相比 PP 基线展现出更大优势:在服务级负载测试中,Spexis 实现了最高 34% 的请求吞吐率提升(Qwen3-32B on LMSYS-Chat);在解耦解码测试中,在高批大小(Llama 64-100,Qwen 128-256)下解码吞吐提升高达 54%。
消融实验¶
论文通过在 SpecBench 数据集上逐步引入投机并行(SP)、选择性投机(Selective)、剩余长度感知调度(Length-Aware)三个组件,详细评估了各模块的增量增益(以最大请求吞吐 req/s 及相对基线的累计提升率衡量,见原论文 Figure 8):
| 模型配置 | 模块组合 | 相对基线累计增益 | 说明 |
|---|---|---|---|
| Llama-3.3-70B | Baseline (PP 基线) | 0.0% | 基础双阶段流水线并行 |
| + SP (投机并行) | +10.0% | 引入投机执行重叠,共享 KV Cache 扩充有效批大小 | |
| + Selective (\(\alpha=0.15\)) | +13.0% (+3 pp) | 剔除 15% 低置信度草稿,提升整体投机命中率 | |
| + Length-Aware (完整模型) | +16.0% (+3 pp) | 预测剩余长度并延迟危险准入,抑制驱逐重算 | |
| Qwen3-32B | Baseline (PP 基线) | 0.0% | 基础双阶段流水线并行 |
| + SP (投机并行) | +15.0% | 带来基础并发重叠收益 | |
| + Selective (\(\alpha=0.30\)) | +27.0% (+12 pp) | 对准确率偏低模型效果显著,大幅降低无效投机 | |
| + Length-Aware (完整模型) | +30.0% (+3 pp) | 规避显存溢出与二次 Prefill 开销 |
关键发现¶
- 选择性投机对草稿精度偏弱的模型具有决定性意义:在 Qwen3-32B 模型上,由于其早期截断处的自投机精度原本仅有 60% 左右,直接使用 SP 仅提升 15%,而引入选择性投机丢弃 30% 低置信度 token 后,投机命中率由 62.6% 跃升至 76.7%,带来额外高达 12 个百分点的系统吞吐跃升。
- 互联带宽决定了 SP 相对于 TP 的优劣边界:在通信带宽较低的 PCIe 拓扑和跨机以太网环境中,TP 的高频 All-Reduce 同步开销成为吞吐杀手,Spexis 凭借更低的通信频次实现全面超越(PCIe 上提速 1.02×–1.21×,以太网上提速 1.34×)。然而在配置了 NVSwitch 极高带宽的 H100/A100 SXM 节点内,TP 同步开销极低,此时如果模型自投机接受率不足(如 Qwen),投机失败引入的计算冗余会导致 Spexis 逊于纯 TP。
- 剩余长度预测的保真度足以支撑毫秒级准入决策:基于 3 层 MLP 的序数阈值预测器在各长度阈值下均保持了 70%–90.7% 的高查准率(Precision),有效阻止了突发流量下的虚假显存溢出,使重计算惩罚大幅降低。
亮点与洞察¶
- 将投机解码重构为系统级并行维度:突破了投机解码仅作为单请求算法加速的固有认知,将其转化为能与 TP、PP 平行组合的正交调度原语。通过让 Stage 1 与 Stage 2 共享同一套 KV Cache 内存结构,彻底根除了传统流水线并行微批处理导致的显存膨胀与批大小萎缩。
- 软硬权衡驱动的精确数学代价模型:建立了一套严谨且可验证的稳态吞吐方程,成功将投机接受率 \(\Theta\)、剪枝比例 \(\alpha\)、流水线深度 \(N\) 与硬件通信延迟映射为解析表达式,使分布式 serving 系统能够自主依据网络拓扑和模型特征在“张量通信损耗”与“投机失效率”之间做出最优切分抉择。
- 非均匀显存开销的精巧硬件对齐:为了在两阶段流水线上部署辅助 LM Head 而不打破各卡计算平衡,创造性地将参数量相当的 Token Embedding 查表操作离线卸载至 CPU 主机内存,以仅数百微秒的微小代价实现了极佳的跨卡流水负载均衡。
局限与展望¶
- 依赖轻量辅助模型的离线前置微调:系统需要提前针对目标大模型在代表性语料(如 ShareGPT)上微调自投机 Adapter 以及剩余长度预测 MLP。虽然训练成本相对较小(单卡十几小时),但这在模型频繁迭代或私有化微调部署的敏捷场景中引入了额外的工程链路与运维负担。
- 极端领域迁移下的准确率敏感度:投机并行与长度感知的效率高度依赖于测试分布与训练分布的一致性。当在线业务遇到罕见分布输入(如超长逻辑代码、小语种翻译)时,若草稿接受率急剧下滑,系统吞吐优势将大幅收窄,甚至可能产生算力负收益。
- 更大规模集群与多级流水线的扩展空间:当前主要实证集中于 2 到 4 个流水线阶段的配置。在跨越数十个节点、流水线 stage 较深的超大规模集群中,如何递归泛化投机并行的树状或多级重叠模型,仍有待进一步探索。
相关工作与启发¶
- vs 经典流水线并行与微批处理(GPipe, Orca):传统系统为降低空泡率依赖微批次切分,但每个微批次持有专属 KV Cache,导致可用批大小急剧下降。Spexis 的 SP 通过投机执行重叠使得不同阶段协同服务同一批次上下文,完全消除了微批次导致的独立显存负担。
- vs 自投机解码(Kangaroo, LayerSkip, Draft&Verify):现有自投机方法主要面向单 GPU 上的串行“草稿-验证”步进交替,无法掩盖层间硬件闲置。Spexis 首次将其作为多 GPU 并行调度的基石,在物理流水线上让草稿生成与验证完全并发。
- vs 基于长度感知的调度策略(S3, LTR, TRAIL):此前工作主要通过预测序列总长度来实现最短作业优先(SJF)或调整批次大小,侧重于降低平均排队延迟。Spexis 则聚焦于精确预测解码过程中的近未来显存耗尽风险,将调度决策与显存驱逐重计算代价(\(p_{\text{dr}}\) 与 \(i_{\text{delay}}\))显式建立解析权衡,直接优化系统吞吐极限。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次将投机解码扩展为分布式多 GPU 的系统级并行调度维度,视角独特且实用]
- 实验充分度: ⭐⭐⭐⭐☆ [跨越 PCIe/SXM 多种硬件拓扑、单机与跨节点,包含详细的理论模型拟合与消融实验]
- 写作质量: ⭐⭐⭐⭐⭐ [动机叙述极其深刻,系统架构与数学推导严丝合缝,逻辑清晰]
- 价值: ⭐⭐⭐⭐⭐ [直击大模型推理服务中显存容量与通信开销的核心矛盾,对 vLLM 等工业级系统具有极强的落地指导意义]