SP2ec: Adaptive Self-Speculative Decoding for Vision-Language Models¶

会议: NeurIPS 2026
arXiv: 2610.18735
OpenReview: https://openreview.net/forum?id=i1ipNcYYoM
代码: https://github.com/hyuqi/sp2ec
领域: VLM 效率
关键词: 投机解码, 视觉语言模型, 自投机解码, 单峰多臂老虎机, 墙钟时间遗憾

一句话总结¶

针对视觉语言模型在多模态与超长上下文下小草稿模型难以对齐且静态配置失效的问题，本文提出基于单峰多臂老虎机框架的免训练自适应自投机解码算法 SP2ec，动态权衡草稿准确率与计算开销，实现高达 1.62× 的无损推理加速。

研究背景与动机¶

投机解码（Speculative Decoding）作为加速自回归大模型推理的经典范式，通过轻量级草稿模型预先推演若干候选 token 并交由目标模型并行验证，在纯文本 LLM 场景中取得了显著成功。然而，当将其拓展到多模态视觉语言模型（VLM）时，模型面临严重的分布漂移瓶颈：视觉输入的异构模态表征以及数千甚至上万 token 的长视觉上下文，使得独立训练的小草稿模型极难与大目标模型保持稳定的多模态对齐，导致接收率剧烈下滑，前向推演节省的时间往往被验证失败与重采样开销彻底抵消。

为规避额外草稿模型的对齐难题，自投机解码（Self-Speculative Decoding）应运而生。它直接复用目标模型自身的部分结构作为草稿模型——例如通过跨层跳跃（Layer Skipping）或视觉 token 剪枝（Token Pruning）来构建轻量前向通路。这类方法天然保留了目标模型的多模态感知能力与表征空间，但其推理吞吐量（Tokens per Second, TPS）极度敏感于草稿配置的选择。保留过多的层或视觉 token 会使草稿前向延迟逼近目标模型，失去加速意义；而过度跳层或剪枝又会造成表征退化，导致接收率跌落谷底。更核心的矛盾在于，不同 query 乃至不同生成阶段的最优配置差异极大，静态预设的固定子网络配置根本无法在多样化的提示词分布下普适。

然而，现有自适应探索方法（如通用老虎机 BanditSpec）将各个候选配置视作完全独立的臂，每次探索低吞吐臂都需要承受高昂的草稿与验证墙钟时间，探索代价甚至反向拖垮了解码速度。针对这一矛盾，本文发现自投机解码在有序配置序列上天然呈现接收率边际递减与时间开销线性增长的双重特性，二者交织必然诱导出一个严格的单峰吞吐量曲面。核心 idea：将多模态自投机解码的配置选择建模为单峰多臂老虎机问题，提出免训练自适应算法 SP2ec，在解码过程中仅围绕经验最优领导臂的邻域执行置信上限局部探索，以可忽略的对数级墙钟时间遗憾动态锁定每个提示词的最优子模型。

方法详解¶

整体框架¶

SP2ec 作为一个即插即用的免训练自适应调度器，在自回归生成的每轮投机解码中根据过往接收 token 数与耗时反馈，动态挑选本轮使用的草稿配置（如层跳跃比例或视觉 token 剪枝比例）。整体解码管线由初始化构建阶段、局部邻域置信上限决策阶段、以及草稿生成与并行验证阶段闭环构成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 Prompt: 图像/视频序列 + 文本指令"] --> B["余弦相似度层级构建 (cosSim)<br/>根据隐藏状态相似度递归剔除冗余 Transformer 块"]
    B --> C["单峰老虎机状态更新<br/>计算各臂经验平均生成速度与经验领导臂 Lt"]
    C --> D{"探索节拍判断<br/>T_Lt mod 3 == 1 ?"}
    D -->|是 (强制利用)| E["单峰局部探索与决策<br/>直接采样领导臂 Lt"]
    D -->|否 (局部探索)| F["单峰局部探索与决策<br/>在领导臂邻域 N(Lt) 内选择局部 UCB 最大臂"]
    E --> G["自投机生成与目标模型并行验证<br/>草稿前向 L 步 + 目标验证输出 At+1 个接收 Token"]
    F --> G
    G --> H{"遇到 EOS 或达到最大输出长度?"}
    H -->|否| C
    H -->|是| I["输出最终文本响应并返回实际总耗时"]

在推理开始时，算法首先将有序草稿模型序列转化为按计算预算递增排序的臂集合 \(\bar{\mathcal{S}}=\{S_k\}_{k=1}^K\)。在解码循环的每一步 \(t\)，调度器依据历史观测更新各个臂的经验吞吐速度，仅在当前领先臂 \(L_t\) 及其相邻邻域 \(\mathcal{N}(L_t)=\{L_t-1, L_t, L_t+1\}\cap [K]\) 中选择本轮草稿模型。选中的草稿模型展开 \(L\) 步推演，目标模型并行验证并返回接收的 token 序列与耗时，更新历史信息后驱动生成继续推进。

关键设计¶

1. 余弦相似度自适应草稿构建 (cosSim)：利用表征冗余度递归剔除冗余层

为消除自投机解码对离线训练小模型或启发式繁复搜索的依赖，本文提出了轻量级的递归块消除算法 cosSim。在多层 Transformer 架构中，全量保留首尾各两块（共 4 块）以维持特征投影与词表映射的稳定，其余中间块则通过计算输入与输出隐藏状态的平均余弦相似度衡量其表征冗余度：

\[r_b = \frac{1}{|\mathcal{U}|} \sum_{u \in \mathcal{U}} \frac{\langle h_{b,u}^{\mathrm{in}}, h_{b,u}^{\mathrm{out}} \rangle}{\|h_{b,u}^{\mathrm{in}}\|_2 \|h_{b,u}^{\mathrm{out}}\|_2}\]

相似度 \(r_b\) 越接近 1，意味着该块前向变换带来的表征信息增益越小。算法在利用全量目标模型执行 4 个 token 的预热生成后，先剔除当前冗余分数最高的块构成第一个臂 \(S_K\)；随后用 \(S_K\) 执行一轮投机解码并刷新其余块的相似度，递归剔除次冗余块得到 \(S_{K-1}\)。此过程不仅构建过程开销可忽略不计（仅占总生成时间的 0.76%–0.89%），而且天然产生按保留层数严格单调的草稿模型序列，为后续单峰建模奠定了数学基础。

2. 墙钟时间遗憾与单峰吞吐量结构：揭示边缘效益递减与线性开销的权衡

传统投机解码通常以接收 token 数量最大化或终止步数遗憾作为优化目标，忽略了运行更强草稿模型所激增的物理耗时。本文将目标重塑为端到端墙钟时间延迟最小化，正式定义墙钟时间遗憾（Wall-Time Regret）：

\[\textrm{WTReg}(\Lambda, \textrm{pt}) := \mathbb{E}[\textrm{WT}_{\tau(\textrm{alg},\textrm{pt},\Lambda)}] - \mathbb{E}[\textrm{WT}_{\tau(\textrm{alg}^*,\textrm{pt},\Lambda)}]\]

其中 \(\textrm{alg}^*\) 为在给定提示词下全程采用最优固定配置 \(S^*\) 的理想预言机算法。在理论层面，平均接收 token 长度 \(\mu_S\) 随着保留组件增多表现出明显的凹性边际递减（即 \(\mu(S_{k+1})-\mu(S_k) \leq \mu(S_k)-\mu(S_{k-1})\)），而每步投机的前向耗时 \(c(S)\) 严格正比于保留组件数（\(c(s) = \kappa \cdot s + b\)）。两者之比即实际解码速度 \(\nu_S = \mu_S / c_S\)。论文在引理 3.5 中严格证明了在上述凹性与线性假设下，\(\nu_S\) 沿着排序臂集合必为严格单峰函数（Single-Peak Function）。

3. 单峰局部探索与决策 (SP2ec)：将全局多臂试错收敛至领导臂局部邻域

常规多臂老虎机算法（如 UCBSpec）在候选配置集合上盲目开展全局探索，而在单峰曲面下，远离最优峰值的劣质臂（如过度跳层导致接收率为 0，或几乎不跳层导致延迟翻倍）每次被试探都会引起严重的延迟惩罚。SP2ec 充分利用单峰性质，将决策空间限制在当前经验最优臂 \(L_t\) 的三点邻域 \(\mathcal{N}(L_t) = \{L_t-1, L_t, L_t+1\} \cap [K]\) 之内：

\[L_t = \argmax_{i} \frac{\hat{\mu}_i(t)}{c_i}, \quad \mathrm{UCB}_{i,L_t}(t) = \frac{\hat{\mu}_i(t) + \mathrm{cr}_{i,L_t}(t)}{c_i}\]

其中局放射半径 \(\mathrm{cr}_{i,L_t}(t)\) 根据本地领导时间 \(\tilde{T}_{L_t}(t)\) 自适应缩放。为了防止过早陷入次优局部震荡，算法每隔 3 步强制采样一次领导臂 \(L_t\)（当 \(\tilde{T}_{L_t}(t) \equiv 1 \pmod 3\)），其余步则选择邻域内置信上限最大的候选臂。理论证明该算法的渐进墙钟时间遗憾仅由最优臂两侧直接相邻的两个次优臂贡献，使得探索开销与总候选臂数量解耦，实现 \(O(\ln \mathbb{E}[\tau])\) 的极低遗憾上界。

损失函数 / 训练策略¶

SP2ec 属于完全无需训练（Training-Free）的推理时即插即用算法，无需对视觉语言模型或草稿头执行任何反向传播与参数微调。在推理过程中，算法在每个新 prompt 输入时初始化老虎机历史记录；为应对长文本生成过程中因 KV Cache 累积引发的耗时轻微漂移，默认每执行 512 步投机解码周期性重置一次内部 arm-pull 统计，以保障分段平稳假设成立。

实验关键数据¶

主实验¶

实验采用 Qwen2.5-VL-7B-Instruct 与 LLaVA-NeXT-Mistral-7B 两个主流 VLM 架构，在三个复杂多模态视频/图像基准（Video-MME、MMBench-Video、ARKitScenes）与纯文本复杂长推理基准 AIME25 上开展评估，统一采用单批次贪婪解码与草稿长度 \(L=4\)。基准对比覆盖原始静态方法、通用全局探索 UCBSpec 以及 SP2ec。

模型与方法配置	Video-MME (MAT / SU)	MMBench-Video (MAT / SU)	ARKitScenes (MAT / SU)	AIME25 (MAT / SU)	综合平均 (MAT / SU)
Qwen2.5-VL-7B-Instruct
cosSim + UCBSpec	2.53 / 1.21×	2.84 / 1.16×	4.33 / 1.15×	4.08 / 1.13×	3.45 / 1.16×
cosSim + SP2ec (Ours)	2.86 / 1.28×	3.38 / 1.27×	3.87 / 1.25×	3.35 / 1.22×	3.37 / 1.26×
SWIFT (原始固定配置)	2.43 / 1.14×	2.60 / 1.16×	3.22 / 1.22×	2.92 / 1.10×	2.79 / 1.16×
SWIFT + UCBSpec	2.76 / 1.16×	2.87 / 1.13×	3.80 / 1.20×	3.45 / 1.15×	3.22 / 1.16×
SWIFT + SP2ec (Ours)	2.51 / 1.23×	2.65 / 1.19×	3.55 / 1.24×	3.29 / 1.22×	3.00 / 1.22×
KnapSpec (原始固定配置)	3.38 / 1.22×	4.31 / 1.34×	4.32 / 1.30×	4.45 / 1.28×	4.12 / 1.29×
KnapSpec + UCBSpec	3.75 / 1.17×	4.64 / 1.27×	4.57 / 1.28×	4.55 / 1.25×	4.38 / 1.24×
KnapSpec + SP2ec (Ours)	3.62 / 1.31×	4.39 / 1.40×	4.24 / 1.35×	4.29 / 1.32×	4.14 / 1.35×
SpecVLM (原始固定配置)	3.54 / 1.50×	3.60 / 1.51×	3.60 / 1.39×	– / –	3.58 / 1.47×
SpecVLM + UCBSpec	3.86 / 1.55×	3.66 / 1.50×	3.63 / 1.41×	– / –	3.72 / 1.49×
SpecVLM + SP2ec (Ours)	3.99 / 1.62×	3.90 / 1.60×	3.75 / 1.47×	– / –	3.88 / 1.56×
LLaVA-NeXT-Mistral-7B
cosSim + SP2ec (Ours)	3.00 / 1.26×	2.87 / 1.26×	2.80 / 1.23×	4.28 / 1.40×	3.24 / 1.29×
SWIFT + SP2ec (Ours)	2.87 / 1.19×	3.24 / 1.28×	3.04 / 1.22×	4.23 / 1.32×	3.35 / 1.25×
KnapSpec + SP2ec (Ours)	3.24 / 1.30×	3.02 / 1.30×	3.05 / 1.24×	4.56 / 1.40×	3.47 / 1.31×
SpecVLM + SP2ec (Ours)	4.17 / 1.48×	4.08 / 1.42×	4.00 / 1.46×	– / –	4.08 / 1.45×

消融实验¶

下表汇报在 Qwen2.5-VL-7B-Instruct 与 LLaVA-NeXT-Mistral-7B 上，周期性重置优化器状态（每 512 步投机重置一次，适应上下文增长引发的延迟漂移）与仅提示词间重置（无步内重置）的平均加速比消融对比。

模型架构	底层投机配置方法	每 512 步周期重置 SU	无步内重置 (保持全历史) SU	增益 / 说明
Qwen2.5-VL-7B	cosSim + SP2ec	1.26×	1.25×	+0.01×，算法对上下文长度变化具强鲁棒性
	SWIFT + SP2ec	1.22×	1.22×	性能持平，长程探索与历史复用达到平衡
	KnapSpec + SP2ec	1.35×	1.31×	+0.04×，清除过时延迟先验有利于新阶段决策
	SpecVLM + SP2ec	1.56×	1.55×	+0.01×，视觉 token 剪枝受 KV 增长影响轻微
LLaVA-NeXT-7B	cosSim + SP2ec	1.29×	1.27×	+0.02×，周期重置能微幅提升长视频生成效率
	SWIFT + SP2ec	1.25×	1.24×	+0.01×，避免早期次优观测持久偏置决策
	KnapSpec + SP2ec	1.31×	1.28×	+0.03×，更敏锐捕捉生成后期的算力分配需求
	SpecVLM + SP2ec	1.45×	1.45×	性能持平，保持高度稳健

此外，在与参数外挂训练草稿模型的代表方案 EAGLE3 进行横向对比时（在 MVBench 基准与 Qwen3-VL-4B-Instruct 上）：EAGLE3 因辅助小模型难以应对复杂多模态长文本交织，MAT 仅有 1.9，加速比仅 1.20×；而免训练的自投机 cosSim+SP2ec 与 KnapSpec+SP2ec 分别实现了 4.5 / 1.31× 与 4.6 / 1.27× 的优异加速。

关键发现¶

盲目自适应反而劣化吞吐量：在 KnapSpec 方案中，UCBSpec 由于在全部候选臂中盲目试探，平均加速比在两款模型上分别从 1.29×/1.22× 反向跌落至 1.24×/1.20×；而 SP2ec 将探索收敛在单峰邻域，分别提速至 1.35×/1.31×。拉取分布统计显示，UCBSpec 有高达 49.1%–53.1% 的采样消耗在前三名之外的低效臂，而 SP2ec 仅有 6.1%–16.1% 溢出前三名。
高接收率并不等价于高墙钟加速：某些配置拥有极高的平均接收 token 数（MAT 接近 4.5），但因保留过多网络层导致单步前向耗时过大，最终端到端 TPS 反而低于 MAT 适中（例如 3.6）但前向轻量化的配置。SP2ec 以物理吞吐率直接作为优化奖励，精准找到了理论与实测的兼顾平衡点。
视觉 Token 剪枝对输入长度高度敏感：SpecVLM 配合 SP2ec 在视觉长序列上展现出最高的加速比（最高达 1.62×），但当输入视觉 token 少于 8,000 时，剪枝带来的算力节省不足以覆盖投机验证开销，提速效应迅速收缩；而层跳跃类方法（cosSim 与 KnapSpec）在各种输入尺度下表现出极强的稳定性。

亮点与洞察¶

将离散系统加速调优严格映射为单峰老虎机理论：突破了投机解码调参凭经验试凑的局限，从数学上推导了边际递减接收率与线性计算时间下吞吐量的单峰性，给出了探索开销与总臂数解耦的坚实理论界限。
免训练自投机避免了多模态表征对齐的灾难：外挂轻量草稿模型在文本域行之有效，但在面对交错视觉、高清图及视频帧时极易发生表征失真；复用目标模型骨干结合自适应配置调度，既保全了零泛化损失与多模态能力，又省去了复杂的蒸馏与预训练流水线。
通用调度思想可横向赋能多种加速范式：SP2ec 不仅适用于层跳跃和视觉 token 剪枝，任何具有边际递减效益与递增物理耗时的加速旋钮（例如动态 KV 缓存压缩、推测步数 \(L\) 的自适应调节等）均能无缝作为 candidate arms 接入该单峰调度引擎。

局限与展望¶

单峰凸性假设依赖候选序列的严格排序：算法要求预先构造一个大致满足边际递减与时间线性的有序臂序列；若底层跳层算法未按照表征贡献良好排序，可能出现多峰震荡，导致局部邻域搜索陷入局部次优峰。
多维超参数联合自适应尚未覆盖：当前算法将草稿步数 \(L\) 视为固定值（默认 \(L=4\)），仅在一维子网络配置空间寻优。未来可拓展至交替优化或高维单峰流形，实现草稿子网络拓扑与推演步长的双重自适应寻优。
长上下文生成时硬件利用率波动的挑战：随着自回归生成长度推进至万级 token，KV Cache 加载与显存带宽受限会导致时间成本函数的斜率发生非线性漂移，周期性重置仅为折中策略，未来需探索连续自适应的动态时间标定机制。

评分¶

新颖性: ⭐⭐⭐⭐ [首次揭示自投机解码中接收率与时间的单峰吞吐特性，并构建了严谨的单峰老虎机数学映射]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖两大顶尖开源 VLM、四大经典与前沿基准、四种自投机架构，附带完备消融与 EAGLE3 严密对比]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严密自洽，理论界与算法伪代码清晰完备，实验图表洞察深刻]
价值: ⭐⭐⭐⭐⭐ [为多模态长上下文推理提供了免训练、即插即用、且有理论安全边界的端到端加速落地范式]