OUTLETS: Output-Length Prediction from Speculative Decoding Backbones¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 模型压缩
关键词: 投机推理, 长度预测, 集群调度, 结构重用, 大模型服务
一句话总结¶
OUTLETS 揭示了投机推理前瞻表征与序列终结预测之间的内在结构联系,将轻量级对数空间回归头挂载于共享的投机解码骨干网络上,在维持投机接受率的同时实现高精度输出长度预测,使分离式推理集群短请求 P99 延迟降低 34.8%。
研究背景与动机¶
在大语言模型(LLM)的工业级服务场景中,自回归生成的输出长度呈现出极度显著的重尾分布(heavy-tailed distribution),不同任务(如摘要与代码生成)及同系列模型间的输出长度方差跨越数个数量级。当前高并发服务系统广泛采用预填充与解码解耦的分离式服务架构(disaggregated serving),但在请求饱和与 KV-Cache 承载极限下,传统的先来先服务(FCFS)和轮询(Round-Robin)调度策略暴露出严重缺陷:耗时极短的交互式请求常常被阻塞在耗时极长的大请求之后,引发严重的队头阻塞(Head-of-Line, HOL blocking),导致短请求的长尾延迟剧烈恶化,同时集群间算力分配严重不均。
为了实现最短作业优先(SJF)和基于真实负载的负载均衡,准确预测输出长度成为调度控制面的关键基语。然而,现有预测手段面临精度与开销的两难权衡:以独立小型模型(如 BERT 或分类模型)为代表的外部代理方案不仅引入额外的模型显存和通信延迟,且无法触及目标模型深层上下文,预测保真度低;而基于目标模型内部隐状态浅层探测(如挂接轻量 MLP)的方法,因其观测的隐藏层特征专门针对当前步的“下一个 token 预测”进行了高度优化,缺乏前向推演生成轨迹的时序感知能力。
与此同时,投机解码(Speculative Decoding, SD)通过草稿模型预先向前多步展开生成轨迹来加速推理,其隐层表征天然蕴含着对未来 token 演化与序列终结的宏观结构信息。核心 idea:将投机解码骨干网络作为轨迹感知预测器进行表征复用,在共享草稿解码器表征上接入轻量级对数空间长度回归头,以极小边际计算成本为集群调度提供高保真长度先验。
方法详解¶
整体框架¶
OUTLETS 将投机生成中的 token 起草(drafting)任务与序列长度回归(length regression)任务统一在单一计算图内。在预填充阶段结束或解码每一步时,系统从冻结的目标大语言模型中抽取多层深度隐状态,经过特征融合层映射至草稿嵌入空间;随后,基于门控注意力(Gated Attention)的轻量草稿解码器展开前向推演,生成既包含局部生成动态又包含全局时序趋势的前瞻隐状态;最终通过双头解耦,草稿头预测候选 token 分布,长度回归头输出对数尺度下的剩余生成长度。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["目标 LLM 浅中深多层隐状态<br/>H = {h^(2), h^(N/2), h^(N-2)}"] --> B["1. 多层隐状态特征融合<br/>跨深度拼接投影得到 fctx"]
B --> C["2. 门控注意力草稿解码器<br/>推演前瞻表征 hdraft_t 抑制注意力汇聚"]
C --> D["3. 双头解耦协同预测<br/>同时输出草稿 token 与对数剩余长度"]
D -->|调度控制面| E["实例级负载均衡 (LB)<br/>与队列级最短作业优先 (SJF)"]
关键设计¶
1. 多层隐状态特征融合:捕获跨深度语义与语法先验 仅依赖目标模型顶层隐状态往往会导致表征过度特化于当前步词表预测,丧失了长程规划所需的丰富语义结构。OUTLETS 选取目标 LLM 深度集合 \(I = \{2, \lfloor N/2 \rfloor, N - 2\}\),分别抽取浅层词法特征、中间层句法模式与深层语义抽象,将其沿特征维度拼接后,通过可学习线性投影矩阵映射到草稿维度 \(d\): $\(f_{\text{ctx}} = W_{\text{proj}} \left[ \text{Concat}\left(\{h^{(i)}\}_{i \in I}\right) \right]\)$ 该融合特征 \(f_{\text{ctx}}\) 作为静态上下文锚点,同时为草稿前瞻与序列终结判断提供了稳固的表征基底。
2. 门控注意力草稿解码器:构建无注意力汇聚的长程时序推演 为了突破浅层探针无法感知未来轨迹的局限,OUTLETS 引入轻量级 Transformer 解码器 \(M_{\text{draft}}\) 模拟序列演进。与标准 EAGLE-3 的传统注意力不同,OUTLETS 采用门控注意力(Gated Attention)机制替代标准 Llama 注意力结构。门控机制有效抑制了自回归过程中的“注意力汇聚”(attention sink)异常,使得表征在连续多步前推时能够稳定保留长程终结信号,避免预测梯度在前向展开时发生信息衰减。
3. 双头解耦协同预测与对数空间回归:解耦局部词表分布与全局剩余尺度 在共享的前瞻草稿隐状态 \(h_t^{\text{draft}}\) 之上,OUTLETS 构建双输出分支。草稿头沿用标准投机生成线性层 \(W_{\text{lm}}\) 计算词表概率分布 \(P_{\text{draft}}(y_{t+1} \mid y_{1:t})\);长度回归头则针对生成长度的极端重尾分布,在对数空间将预测目标建模为 \(z = \log(1 + \text{length})\),采用多层逐级降维的感知机 \(\text{MLP}_{\text{len}}\) 计算标量估算值 \(\hat{z}_t = \text{MLP}_{\text{len}}(h_t^{\text{draft}})\)。该设计避免了线性空间大梯度引起的震荡,且使网络天然聚焦于相对长度误差。
损失函数 / 训练策略¶
模型采用端到端联合多任务优化目标,平衡局部 token 模仿与全局结构预测: $\(\mathcal{L} = \mathcal{L}_{\text{SD}} + \lambda \mathcal{L}_{\text{len}} + \gamma \|\theta_{\text{MLP}}\|_2^2\)$ 其中 \(\mathcal{L}_{\text{SD}}\) 为草稿模型与目标模型输出分布之间的 KL 散度,\(\mathcal{L}_{\text{len}}\) 为对数空间下的均方误差(MSE),最后一项对长度回归头施加 L2 正则化以抑制过拟合(\(\gamma = 10^{-5}\))。经实验验证,简单的固定权重 \(\lambda = 0.1\) 优于复杂的不确定性加权(Uncertainty Weighting)或 GradNorm,在对投机接受率零干扰的前提下提供了充分的时序监督。全流程采用 AdamW 优化器,学习率设为 \(1\times 10^{-5}\),权重衰减 0.02,使用 BF16 混合精度训练 10 个 epoch。
实验关键数据¶
主实验¶
在单请求静态预测(\(t=0\))与跨步动态预测场景下,评估各方法在 ShareGPT、Alpaca、LMSYS 数据集上的平均绝对误差(MAE,越低越好):
| 模型 | 场景 | 数据集 | 目标均长 (Avg. Len) | OUTLETS | MLP 基线 | BERT 代理 | OPT 代理 | PIA 提示词 |
|---|---|---|---|---|---|---|---|---|
| Llama-3.2-1B | 静态 | ShareGPT | 324.4 ± 268.9 | 100.1 | 109.5 | 128.6 | 130.6 | 204.3 |
| Llama-3.2-1B | 静态 | Alpaca | 237.6 ± 198.3 | 53.4 | 56.9 | 70.0 | 70.4 | 132.7 |
| Llama-3.2-1B | 静态 | LMSYS | 246.6 ± 276.8 | 69.6 | 73.6 | 83.7 | 84.5 | 171.8 |
| Llama-3.2-1B | 动态 | ShareGPT | 274.2 ± 226.7 | 63.8 | 72.5 | — | — | — |
| Llama-3.2-1B | 动态 | Alpaca | 202.1 ± 175.8 | 31.8 | 39.1 | — | — | — |
| Llama-3.2-1B | 动态 | LMSYS | 279.1 ± 256.7 | 41.7 | 50.3 | — | — | — |
| Llama-3.1-8B | 静态 | ShareGPT | 355.9 ± 276.7 | 80.6 | 84.9 | 132.8 | 135.2 | 283.3 |
| Llama-3.1-8B | 动态 | ShareGPT | 286.0 ± 232.9 | 67.6 | 90.4 | — | — | — |
| Qwen3-30B-A3B | 静态 | ShareGPT | 1053.9 ± 536.8 | 186.7 | 210.8 | 262.2 | 255.2 | 936.2 |
| Qwen3-30B-A3B | 动态 | ShareGPT | 664.1 ± 460.8 | 117.1 | 158.4 | — | — | — |
在分离式服务系统(1 个 prefill 实例 + 3 个 decode 实例)中,100 QPS 饱和压力测试下的端到端调度表现:
| 调度与预测组合 | 系统吞吐 (tokens/s) | 平均延迟 (s) | 短任务 P99 (s) [<800 tok] | 中任务 P99 (s) [800-1300 tok] | 长任务 P99 (s) [≥1300 tok] |
|---|---|---|---|---|---|
| RR + FCFS (vLLM 基线) | 17,840.4 | 51.6 | 59.8 | 74.6 | 103.0 |
| RR + SJF (OUTLETS) | 18,108.2 | 50.8 | 38.0 | 61.7 | 100.8 |
| LB + SJF (OUTLETS) | 18,434.7 | 50.5 | 39.0 | 60.1 | 100.1 |
消融实验¶
在 Llama 与 Qwen 体系下对比联合训练与单独训练任务分支的效果(MAE 表现):
| 模型配置 | 评测场景 | 数据集 | OUTLETS (联合训练) | 单独长度模型 (LP-ONLY) | 结果说明 |
|---|---|---|---|---|---|
| Llama-3.2-1B | 静态预测 | ShareGPT | 100.1 | 97.1 | 静态样本稀疏,两者性能旗鼓相当 |
| Llama-3.2-1B | 静态预测 | Alpaca | 53.4 | 54.1 | 投机正则化协助缓解静态过拟合 |
| Llama-3.2-1B | 静态预测 | LMSYS | 69.6 | 71.7 | OUTLETS 泛化更优 |
| Llama-3.2-1B | 动态预测 | ShareGPT | 63.8 | 60.3 | 步级稠密监督下纯回归模型略占优 |
| Llama-3.1-8B | 静态预测 | ShareGPT | 80.6 | 81.1 | 联合学习有效保持表征多功能性 |
| Llama-3.1-8B | 动态预测 | ShareGPT | 67.6 | 65.3 | 性能差距极小(仅 2.3 MAE) |
| Qwen3-30B-A3B | 静态预测 | ShareGPT | 186.7 | 195.0 | 大模型复杂场景联合训练显著胜出 |
| Qwen3-30B-A3B | 动态预测 | ShareGPT | 117.1 | 103.3 | 纯回归头更具容量特化优势 |
关键发现¶
- 投机解码质量零损耗:测试集前向 1-3 步投机接受率曲线表明,加入长度回归目标后的 OUTLETS 与纯投机基准(SD-ONLY)的接受率曲线几乎重合,证实草稿解码器具有充足容量同时容纳局部生成与全局时序表征。
- 草稿解码器层是贡献核心:特征重要性消融表明,移除草稿解码器层会导致 MAE 剧烈上升,而特征融合层与 TTT 机制的影响次之,证明静态融合特征唯有经过时序解码推演才能转化为有效的终结信号。
- 对数回归明显优于分桶分类:相比于离散分桶分类(50 个区间),对数连续回归保留了顺序距离敏感性,更契合下游集群控制面的连续数值调度需求。
- 短任务加速不以饿死长任务为代价:在 LB + SJF 调度下,短请求长尾延迟削减 34.8% 的同时,长任务 P99 延迟由 103.0 秒微降至 100.1 秒,说明合理调度减少了队列碎片与空转等待,改善了全集群有效吞吐。
亮点与洞察¶
- 巧妙揭示投机前瞻与长度预测的表征共性:投机草稿解码器的目标是生成未来词元序列,这一过程隐式对齐了未来的展开轨迹,与“预测何时遇到终止符”在结构上高度耦合。
- 零额外骨干开销的控制面增强:在已部署投机推理的服务集群中,仅需挂载仅 2.6M 参数、0.7ms 耗时的 MLP 回归头,即可无缝解锁实例级负载均衡与队列排队优化。
- 优秀的零样本跨域迁移能力:仅在 LMSYS 对话集训练的 Qwen3-30B-A3B 预测器,在未经专门训练的 GSM8K 数学推理(MAE 397.9,均长 1561.2)和 HumanEval 代码生成(MAE 506.6,均长 2324.5)上,相对误差均稳定在 25% 左右。
局限与展望¶
- 骨干共享依赖性:当集群未开启投机解码时,单独部署草稿模型(以 Qwen3-30B 为例约 72.3M 参数、1.7ms 延迟)会带来非忽视的冷启动与算力负担。
- 动态重调度与动态迁移机制尚未闭环:当前系统评测仅采用了静态预填充预测(\(\hat{r}_0\))指导初始路由与排队,动态解码预测(\(\hat{r}_t\))尚未被用于运行中请求的主动抢占或跨实例在线迁移。
- 超长轨迹与非确定性采样泛化:论文评测截断在 2048/4096 tokens 以内,面对智能体(Agent)循环、长思考链及高随机度温度采样时的长尾预测稳定性有待进一步验证。
相关工作与启发¶
- vs TRAIL / ARES / Overclocking: 传统内部隐状态方法直接在目标冻结大模型顶层激活上施加浅层探针,受限于“单步预测”特化表征;OUTLETS 借助投机解码器的展开层获得了显式前向推演能力,大幅降低预测 MAE。
- vs S3 / BERT / OPT / ShuffleInfer: 外部代理模型需要跨进程额外编码 prompt 且无法感知目标模型参数与内部计算状态;OUTLETS 依托模型自身隐状态,精度更高且消除了独立代理模型的显存与通信开销。
- vs PIA: 提示词让大模型自预测长度(PIA)需修改用户 prompt 且占用昂贵的自回归生成步数;OUTLETS 属于非侵入式控制面预测,完全解耦于用户正文生成流程。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次揭示并严谨验证了投机解码与生成长度预测之间的内在表征协同。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 种架构模型、3 个主流对话集、动静态对比、消融分析及真实的 4 节点 disaggregated vLLM 压力集群验证。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨,系统问题与算法设计剖析透彻。
- 价值: ⭐⭐⭐⭐⭐ 为大模型在线推理系统的软硬件协同优化提供了极具落地可行性的轻量化解决方案。