SwiftVLM: Efficient Vision-Language Model Inference via Cross-Layer Token Bypass¶

会议: NeurIPS 2026
arXiv: 2602.03134
OpenReview: https://openreview.net/forum?id=dxV7Vwadng
论文: https://arxiv.org/abs/2602.03134
领域: VLM 效率
关键词: 视觉词元剪枝、推理加速、跨层词元旁路、表征对齐、动态规划选层

一句话总结¶

SwiftVLM 揭示了 VLM 视觉词元重要性在层间的非单调与漂移现象，提出训练无关的跨层词元旁路（Bypass）与表征偏移对齐机制，在浅层暂存未选词元并在深层重新评估，有效消除早期不可逆剪枝造成的定位崩溃，在 77.8% 剪枝率下实现约 2 倍预填充加速与领先的细粒度推理保留。

研究背景与动机¶

视觉语言模型（VLM）通常将高分辨率图像编码为数百至数千个视觉词元（visual tokens），并与文本指令拼接输入大语言模型骨干网络进行自回归推理。在多模态理解与问答中，真正与文本紧密相关的视觉线索往往只占其中很小一部分，大量冗余词元不仅占据显存，更大幅推高了预填充（prefill）阶段的计算复杂度与延迟。为了加速推理，现有无需训练（training-free）的视觉词元剪枝方案（如 FastV、PDrop、SparseVLM）主要依赖跨模态文本到视觉（Text-to-Vision, T–V）注意力得分来评估词元重要性，并在浅层网络中对低分词元执行单向丢弃（drop）或渐进修剪。

然而，这类基于早期决策的剪枝策略在粗粒度问答上虽尚可维持性能，在需要细粒度视觉线索的定位任务（如视觉定位、文字识别）中却常出现灾难性掉点。作者通过系统的层级探测实验发现了一个核心矛盾：视觉词元的重要性排序在模型不同深度间存在剧烈的动态变化。在浅层（如第 1–9 层）被判定为无关、处于末尾 50% 的词元，随着跨模态语义逐步融合，在深层（如第 10–20 层）反而可能演变成排名前 10% 的关键线索。一旦浅层网络由于信息尚未完全抽象而过早丢弃这些词元，深层网络将永远失去关键证据，被迫在残缺的视觉特征上进行推理，从而给出幻觉或错误结论。此外，各层自身识别关键视觉词元的能力也并非随深度单调递增，浅层存在剧烈抖动，中深层才展现出最强的辨识力。

针对过早硬剪枝导致的不可逆信息丢失以及层级判别力的不均问题，研究切入点在于：能否在浅层享受大幅削减词元带来计算加速的同时，为那些暂时被低估的视觉词元保留“翻案”重审的机会？核心 idea：提出跨层词元旁路（Token Bypass）与表征偏移对齐机制，结合动态规划选定的高判别力剪枝层，在浅层暂存未选词元并通过分组均值演化偏移将其对齐到深层表征空间重评估，以训练无关（training-free）方式杜绝过早硬剪枝导致的不可逆信息损失。

方法详解¶

整体框架¶

SwiftVLM 是一个针对自回归 VLM 的训练无关型推理加速框架。其输入为预训练 VLM 的文本与图像特征网格，在预填充阶段通过特定层级的动态剪枝与重评估实现端到端加速。整个流程包含三个互锁阶段：首先，利用离线动态规划为目标模型自适应选取具备单调判别增益的黄金剪枝层；其次，在浅层剪枝点筛选高分词元直接透传，对低分词元执行相似度分组并聚合为少量合并词元输入后续主干网络，同时将所有原始低分词元送入侧路“旁路缓存（bypass cache）”；最后，在深层高判别力剪枝层前，利用合并词元的层间累积演化偏移对旁路词元执行零成本表征对齐，重新恢复所有候选词元并利用深层注意力进行高精度二次筛选。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 图像 Patch 嵌入 + 文本 Token"] --> B["动态规划剪枝层选择<br/>确定单调判别增益剪枝层"]
    B --> C["浅层前向传播 (Layer 1 ~ x)"]
    C --> D["跨层词元旁路与相似度分组<br/>保留 Top 词元; 底层词元合并进入主干, 原始词元存入旁路"]
    D -->|合并词元与保留词元| E["中间层高效前向推理 (Layer x+1 ~ y-1)"]
    D -.->|旁路原始词元| F["残差偏移表征对齐与深层重评估<br/>计算合并词元位移偏移并矫正旁路词元"]
    E --> F
    F --> G["深层 T-V 注意力重评分与最终硬剪枝"]
    G --> H["剩余深层计算与自回归解码"]

关键设计¶

1. 动态规划剪枝层选择：最大化层级判别增益的剪枝位置寻优

为了解决“盲目在浅层剪枝可能撞上判别力极弱层”的痛点，该设计旨在从全模型深度中科学选出辨识能力逐级增强的剪枝层集合。作者首先固定首两层的全量视觉计算（该阶段处于模态初级对齐期，直接剪枝破坏严重），然后通过记录各层依据 T–V 注意力选出 top-\(V\%\) 词元并在后续层验证模型表现，得到表征各层词元识别能力的性能序列 \(\{x_i\}_{i=1}^L\)。由于各层识别力呈非单调波动（例如在 LLaVA-1.5 中性能于第 15 层达到峰值），直接等间隔或凭经验设层往往选入次优层。

SwiftVLM 将其严格形式化为一个动态规划问题。在固定总剪枝阶段数 \(K\) 的约束下，要求所选剪枝层必须满足性能单调递增，即 \(x_i > \max_{j<i} x_j\)。定义层间累积性能增益为：

\[ P(s)=\frac{\sum_{k=0}^{K}x_{i_{k}}(i_{k+1}-i_{k})}{L-2} \]

若前一次更新发生在层 \(i_{k-1}\)，下一次在层 \(j\)，则当前层 \(i\) 的边际面积增益为 \(\Delta U(i \mid i_{k-1}, j) = (x_i - x_{i_{k-1}})(j - i)\)。在最后一次更新判定中，选择层 \(j\) 优于层 \(i\) 的充要条件构成了状态转移方程：

\[ x_{j}(L-j) \ge x_{i}(L-i) - x_{i_{m-1}}(j-i) \]

通过多任务归一化性能曲线求解该动态规划，LLaVA-1.5-7B 自适应选出的最佳剪枝层为第 3、11 和 15 层，从数学上保障了后续阶段决策能力的可靠性与递进性。

2. 跨层词元旁路与相似度分组：防止浅层早剪的信息暂存与压缩

现有方法在浅层判定词元不重要后直接执行物理丢弃，导致局部细粒度线索永久灭失。跨层词元旁路（Bypass）机制改变了这一单向不可逆范式。在选定的浅层剪枝点（如第 \(x\) 层），根据最后一个文本词元对所有视觉词元的 T–V 交叉注意力分数进行排序。高分词元直接保留并正常前向传递至第 \(x+1\) 层。

对于低排名的 \(R\) 个视觉词元，算法不将其丢弃，而是按其余弦相似度进行聚类分组：

\[ s_{i,j}=\frac{(\mathbf{h}_i^{\,x})^\top \mathbf{h}_j^{\,x}}{|\mathbf{h}_i^{\,x}||\mathbf{h}_j^{\,x}|} \]

每个组 \(\mathcal{G}_g\) 内的词元在特征维度取均值，压缩为一个代表性的合并词元（merged token）：

\[ \tilde{\mathbf{h}}_{gm}^{\,x} = \frac{1}{|\mathcal{G}_g|}\sum_{i\in\mathcal{G}_g}\mathbf{h}_i^{\,x} \]

合并后的极少数词元替代原本庞大的低分词元群体，与保留的高分词元一同参与第 \(x+1\) 到第 \(y-1\) 层的主干 Transformer 计算，大幅削减了中间层的序列长度。与此同时，所有原始未压缩的低分词元被完整保留在侧路缓存（bypass pathway）中，既享受到极低序列长度的加速红利，又为后续深层决策保留了完整的特征实体。

3. 残差偏移表征对齐与深层重评估：利用残差演化无损恢复候选词元

被旁路暂存的原始词元停留在第 \(x\) 层的表征空间，而主干网络在第 \(y-1\) 层已经历多层非线性演化，直接将旧词元拉回重排会导致特征空间错位。该设计利用 Transformer 残差结构的演化特性，实现了轻量级表征对齐。由于因果注意力下视觉词元主要与前序同模态词元及自身演化相关，同一语义组内的词元在深层演化方向上高度相似。

在进入深层剪枝层（第 \(y\) 层）之前，SwiftVLM 利用合并词元在深层与浅层之间的隐状态差值，作为该组的整体演化残差偏移量：

\[ \Delta\mathbf{h}_{gm} = \tilde{\mathbf{h}}_{gm}^{\,y-1} - \tilde{\mathbf{h}}_{gm}^{\,x} \]

进而对旁路暂存的每个原始词元执行线性残差修正：

\[ \hat{\mathbf{h}}_i^{\,y-1} = \mathbf{h}_i^{\,x} + \Delta\mathbf{h}_{gm}, \quad \forall i \in \mathcal{G}_g \]

对齐后的所有视觉词元利用第 \(y\) 层的投影矩阵 \(W_K^y\) 映射为 Key，与文本末尾词元的 Query 进行点积注意力重算，在深层高判别力环境下重新打分。此时被平反的关键细粒度词元重新进入主干流，其余真正冗余的词元才被最终丢弃。整个过程不需要任何额外可训练参数，开销极小。

损失函数 / 训练策略¶

SwiftVLM 完全属于无须训练（training-free）的即插即用方法，不需要任何参数微调、梯度反向传播或辅助对齐模块。在部署与工程优化方面：

FlashAttention 兼容与高效重算：由于现代高效注意力算子（FlashAttention）不向外部持久化完整的中间注意力矩阵，SwiftVLM 无须在每层都回传庞大矩阵，而是在剪枝层仅重算最后一个文本词元与视觉词元之间的点积打分。相较于 SparseVLM 需对所有文本词元进行注意力重算，SwiftVLM 显著降低了额外开销。
算力开销（FLOPs）增量极小：设低排名词元数为 \(R\)，聚类合并后词元数为 \(Z\)，视觉词元总数为 \(n_v\)，模型隐藏层维度为 \(d\)，保留比例为 \(r\)。合并开销为 \(2RZd\)，对齐开销为 \(Rd\)，查询投影 \(2d^2\)，键投影与点积重算分别为 \(2n_vd^2\) 与 \(2n_vd\)。整体额外计算量公式为：

\[ F_o = 2RZd + Rd + 2n_v d + 2d^2 + 2(1-r)n_v d^2 \]

该额外计算量仅占单个 Transformer 层运算量的一小部分，与序列缩短节省的 FLOPs 相比微不足道。

实验关键数据¶

主实验¶

在 LLaVA-1.5-7B 上，实验对比了完整模型（Vanilla，576 词元）与当前主流训练无关剪枝方法在定位（RefCOCO/+/g）与非定位（TextVQA、GQA、SQA、MME、MMB、POPE）共 9 个基准上的表现。

词元预算	方法	RefCOCO	RefCOCO+	RefCOCOg	定位均值相对	TextVQA	GQA	SQA	MMB	POPE	非定位均值相对	FLOPs (T)
576 (100%)	Vanilla 上界	75.9	67.0	70.7	100%	46.9	61.4	69.6	64.6	86.8	100%	4.29
192 (↓66.7%)	FastV (ECCV'24)	30.6	25.8	29.7	40.3%	43.6	57.2	69.4	63.2	82.0	95.9%	1.71
192	VisionZip (CVPR'25)	7.0	5.7	6.3	8.9%	45.2	58.9	68.8	62.9	86.6	97.5%	1.71
192	PDrop (CVPR'25)	22.2	18.2	18.7	27.6%	42.9	55.5	69.2	63.2	81.1	93.8%	1.72
192	SparseVLM (ICML'25)	8.7	7.5	7.1	10.9%	45.8	58.9	69.1	64.2	86.7	98.0%	1.72
192	FEATHER (ICCV'25)	52.0	45.5	45.4	66.9%	42.9	58.6	70.5	63.9	84.4	96.5%	1.82
192	SwiftVLM (本文)	66.6	58.5	60.6	86.9%	45.3	60.7	69.0	64.5	87.1	99.0%	1.75
128 (↓77.8%)	FastV (ECCV'24)	12.8	11.1	13.8	17.7%	39.7	53.6	68.5	62.3	77.7	91.3%	1.29
128	VisionZip (CVPR'25)	4.6	3.6	4.3	5.8%	44.4	57.5	68.9	62.0	85.1	96.1%	1.29
128	PDrop (CVPR'25)	3.0	2.3	2.3	3.6%	39.9	54.3	70.2	61.9	80.9	91.8%	1.28
128	SparseVLM (ICML'25)	4.8	3.9	4.1	6.0%	42.0	57.4	69.8	63.6	86.0	95.8%	1.30
128	FEATHER (ICCV'25)	39.0	34.3	35.2	50.8%	41.2	56.5	69.6	63.2	83.3	95.0%	1.44
128	SwiftVLM (本文)	55.2	46.6	47.4	69.8%	41.8	59.2	68.5	63.9	86.1	96.7%	1.31

消融实验¶

以结合了位置编码修正的 PDrop 为基准，逐步引入选层算法（\(X_S\)）、词元聚类合并（\(X_M\)）与跨层旁路重评估（\(X_B\)）。

词元预算	配置	RefCOCO 精度	TextVQA 精度	核心说明
192 Tokens	Baseline (PDrop + RoPE 修正)	42.6	43.2	基础渐进剪枝基线
192 Tokens	+ \(X_S\) (动态规划选层)	64.5	45.3	跃升至单调高判别力层，定位指标提升 21.9 点
192 Tokens	+ \(X_S\) + \(X_M\) (引入词元合并)	63.7	44.8	预算相对充足时单纯合并带来轻微信息模糊
192 Tokens	+ \(X_S\) + \(X_M\) + \(X_B\) (完整 SwiftVLM)	66.6	45.3	旁路重评估机制恢复被暂时低估的关键细粒度词元
128 Tokens	Baseline (PDrop + RoPE 修正)	23.2	41.2	极端压缩下直接丢弃导致定位严重崩塌
128 Tokens	+ \(X_S\) (动态规划选层)	42.8	40.1	选层增益显著 (+19.6 点)，但早期硬剪仍有损伤
128 Tokens	+ \(X_S\) + \(X_M\) (引入词元合并)	51.9	40.7	预算极度吃紧时，合并有效防止特征断崖式丢失
128 Tokens	+ \(X_S\) + \(X_M\) + \(X_B\) (完整 SwiftVLM)	55.2	41.8	旁路重评估带来最大收益 (+3.3 点)，逼近高预算性能

关键发现¶

定位任务对早剪极度脆弱：在 128 词元预算下，传统依赖早期硬丢弃的方法（FastV、PDrop、SparseVLM、VisionZip）在 RefCOCO 上的保留率均跌破 20%（甚至低至 3.6%），而 SwiftVLM 凭借旁路重审机制仍能保留 69.8% 的定位相对精度，大幅超越次优方案 FEATHER 近 20 个绝对百分点。
动态规划选层的不可或缺性：消融表明，仅通过动态规划替换剪枝层位置（\(X_S\)），就能使 RefCOCO 性能从 42.6 暴增至 64.5（192 词元），证明了规避浅层低辨识力层、对齐模型固有认知峰值层对剪枝成功具有决定性影响。
真实延迟与加速比契合理论：在 POPE 数据集测试中，SwiftVLM 在 192 词元下实现 1.79 倍预填充加速（37.6 ms vs 67.3 ms），在 128 词元下实现 2.04 倍预填充加速（33.0 ms vs 67.3 ms），同时端到端总时间缩短约 35%（546.2 s vs 850.7 s）。

亮点与洞察¶

颠覆“早期丢弃”惯性，开创词元旁路（Bypass）新范式：以往 VLM 剪枝默认遵循丢弃或单向合并，SwiftVLM 首次指出词元重要度具有跨层非单调漂移特性，通过侧路旁路机制实现了“浅层压缩计算，深层平反召回”，化解了浅层加速与深层精度之间的固有矛盾。
近乎零成本的残差偏移表征对齐：巧妙利用 Transformer 残差流特性，用聚类合并词元的均值演化位移 \(\Delta \mathbf{h}_{gm}\) 线性矫正原始孤立词元，t-SNE 分析证实该近似高度贴合 vanilla 模型的真实特征演化轨迹，避免了引入昂贵投影器的参数与延迟负担。
FlashAttention 友好的单 Query 评分机制：避开传统全局注意力矩阵捕获的束缚，仅利用末位文本 Token 的单向量与视觉词元做轻量点积重排，兼顾了主流算子工程落地可行性与推理吞吐。

局限与展望¶

依赖两阶段手工分段预算：尽管剪枝层位置由动态规划自动搜索确定，但各阶段的具体词元保留数量与合并簇数仍依赖经验超参设定，未来可探索自适应熵阈值来动态确定每张图像各阶段保留词元数。
文本引导局限性与长上下文交互：当前重评分主要依托最后一个文本词元（Last text token）作为 Query。在多轮对话或复杂长文本指令场景下，单个文本词元可能难以充分概括复杂的视觉查询需求，未来可扩展至支持局部多 Query 检索机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示 VLM 词元重要度的跨层非单调与漂移现象，提出优雅的旁路重评估机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 9 大经典评测集、细致的定位与非定位拆解、消融实验、t-SNE 表征验证与真实硬件延迟。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，动态规划与残差对齐分析扎实，图表逻辑严密。
价值: ⭐⭐⭐⭐⭐ 极具实用价值的 Training-free VLM 推理加速方案，为细粒度多模态高效推理提供了全新思路。