UltraViT: Latency-Optimized On-device Vision Encoder for Large Vision-Language Models¶

会议: ECCV 2026
论文: ECCV 官方页面
领域: 多模态 VLM
关键词: 视觉编码器、端侧轻量化、多模态大模型、异构空间混合器、生成式预训练

一句话总结¶

针对多模态大语言模型端侧部署中视觉编码器计算重、延迟高的瓶颈，UltraViT 基于真实端侧 NPU 延迟系统搜索并构建了宏块级异构金字塔视觉编码器，结合密集特征蒸馏与动态混合容量语言模型直接监督的两阶段生成式预训练，在端侧推理速度提升 1.7× 至 19.1× 的同时刷新了多项密集多模态基准 SOTA。

研究背景与动机¶

大型多模态语言模型（LVLMs）近年来在视觉理解与复杂推理任务中取得了突破性进展，但庞大的参数量与高昂的计算足迹严重阻碍了它们在算力和内存受限的移动端与边缘设备上的实时部署。面对高昂的推理开销，现有端侧 LVLM 加速研究主要聚焦于两类技术路径：一是在 LLM 输入端暴力缩减视觉 token 序列（如通过训练感知压缩模块或后处理式的零样本 token 剪枝与稀疏化），二是将模型挂接更小的轻量级语言模型底座。然而，极少有工作深入反思视觉编码器本身的架构瓶颈。在实际系统中，绝大多数模型仍将计算沉重的 CLIP-ViT-L 或 SigLIP-400M 作为固定的特征提取器，尤其在处理高分辨率图像或视频流时构成了极具破坏性的计算延迟。

这种依赖导致了一个严重的系统矛盾：随着边缘端语言模型底座不断向极致轻量化演进（如 0.5B 或 1.5B 级别），视觉编码器的相对延迟占比被急剧放大。以搭载 SigLIP-400M 与 Qwen2.5-1.5B 的端侧模型为例，在处理 $1024 \times 1024$ 分辨率图像时，仅视觉特征提取阶段就占据了移动设备端到端总推理延迟的近 50%。与此同时，过往针对 ImageNet 分类任务设计的轻量级 ViT（如 EdgeViT、SH-ViT）通常在所有层级均匀复制同一种空间混合器（如统一的稀疏注意力或深度可分离卷积），忽视了多模态密集推理与端侧 NPU 硬件底层算子访存效率在网络不同深度的异构需求。此外，主流的对比学习预训练信号过粗，与后续自回归多模态对齐存在天然目标错位，而掩码重建类自监督又缺乏高层语义。

本文的切入角度是：面向端侧多模态部署，彻底告别均匀同构架构与粗粒度对比预训练，直接以物理设备真实 NPU 延迟为基准，联合重构硬件感知的空间混合器搜索与生成式预训练范式。核心 idea：通过系统级端侧真实延迟测试构建宏块级异构金字塔视觉编码器 UltraViT，并提出“密集特征蒸馏 + 动态容量冻结 LLM 生成式监督”两阶段预训练，从根源上在无后处理压缩器下实现 16 倍原生视觉 token 缩减与 1.7× 以上端侧速度提升。

方法详解¶

整体框架¶

UltraViT 专为移动端及边缘端 LVLM 部署设计，采用了严格遵循 Metaformer 宏块拓扑的标准四阶段金字塔架构。输入高分辨率图像 $I$ 首先经过下采样率为 4 的卷积 Stem 提取浅层特征，随后依次通过四个阶段，逐级将空间分辨率下采样 2 倍，同时扩展通道维度（通道数配置为 $C_{1-4} = [192, 512, 768, 1536]$，块数配置为 $N_{1-4} = [4, 7, 10, 2]$）。每一级跨阶段下采样均采用包含 $1 \times 1$ 卷积、步长为 2 的 $3 \times 3$ 深度可分离卷积（DWConv）和 SE 通道注意力模块的轻量设计。最后，各阶段特征通过多尺度特征聚合器融合为多模态投影器提供紧凑而高语义的表征。在预训练阶段，模型首先接受来自大尺度教师模型的密集蒸馏，再接入动态切换容量的冻结多模态 LLM 进行自回归生成监督。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入图像 (H × W × 3)"] --> Stem["卷积 Stem<br/>下采样率 4x"]
    Stem --> S1["Stage 1: 卷积混合器<br/>DWConv + 1x1 Conv 高分辨率局部建模"]
    S1 --> S2["Stage 2: 卷积与稀疏注意力交替混合器<br/>融合下采样与近邻上采样的高效稀疏注意"]
    S2 --> S3["Stage 3: 通道分区单头注意力混合器<br/>CPSA: 仅 1/4 通道做注意力，规避显存碎片"]
    S3 --> S4["Stage 4: 全通道单头注意力混合器<br/>最低分辨率全局感受野建模"]
    S4 --> Agg["多尺度特征聚合器<br/>跨阶段对齐拼接 + 1x1 Conv 降维"]
    Agg --> Distill["密集特征蒸馏预训练<br/>局部 Patch 余弦相似度 + 全局 Pooling 蒸馏"]
    Distill --> GenPre["动态容量 LLM 生成式预训练<br/>交替采样 0.5B / 1.5B 冻结语言解码器"]
    GenPre --> Out["端侧多模态语言模型 (UltraVLM)"]

关键设计¶

1. 宏块级异构空间混合器设计：按网络深度与 NPU 硬件瓶颈定制算子

在网络不同深度，特征分辨率 $N = H \times W$ 与通道维度 $C$ 的计算瓶颈截然不同。统一采用单一空间混合器的传统 ViT 容易在浅层遭受注意力二次复杂度的严重延迟惩罚，或在深层缺乏全局语义建模能力。UltraViT 在固定的 Meta 架构残差块拓扑下，系统定制并适配了四种对移动端 NPU 友好的空间混合器： - 卷积混合器（Stage 1）：在浅层超大分辨率场景下，全局寻址计算代价不可承受。该混合器采用 $5 \times 5$ DWConv 结合前后 $1 \times 1$ 逐点卷积，完全由 NPU 原生高效支持的算子构成，以极高吞吐注入空间局部性与平移等变性。 - 硬件适配稀疏混合器（Stage 2）：针对传统 EdgeViT 稀疏注意力在移动端 NPU 上存在明显算子延迟瓶颈的问题，提出四项定制硬件优化：(1) 将多头注意力替换为单头注意力；(2) 将离散采样算子直接融合进带步长卷积的 $Q, K, V$ 投影层；(3) 用硬件极度友好的近邻插值上采样（NN Upsample）完全取代反卷积（ConvTransDW）；(4) 极致压缩投影维度，将 Key/Query 投影至 $C_{qk}=16$，Value 维度压缩 4 倍至 $C/4$： $$Q = \mathrm{Conv}_{s=4}(X; W^Q), \quad K = \mathrm{Conv}_{s=4}(X; W^K), \quad V = \mathrm{Conv}_{s=1}(X; W^V)$$ $$\tilde{X}_{global} = \mathrm{Softmax}\left(\frac{Q K^T}{\sqrt{C_{qk}}}\right) V, \quad Y = \mathrm{NN\_Upsample}(\tilde{X}_{global}) W^O$$ - 通道分区单头注意力混合器（Stage 3）：传统多头注意力将通道维度拆散分配给多个注意力头，在移动设备上导致极其严重的内存碎片化与碎片访存。采用通道分区单头自注意力（CPSA），仅抽取 $C_p = C / 4$ 通道进行单头注意力运算，其余通道直接恒等残差连接： $$X_{att}, X_{res} = \mathrm{Split}(X; [C_p, C - C_p])$$ $$Y = \mathrm{Concat}\left(\mathrm{SH\text{-}Attention}(X_{att} W^Q, X_{att} W^K, X_{att} W^V), X_{res}\right) W^O$$ - 全通道单头注意力混合器（Stage 4）：在最终深层阶段，空间尺寸已被大幅降采样，注意力计算量不再是主瓶颈，全局上下文表达成为核心。为了兼顾硬件连续访存与全通道全局交互，采用全通道单头注意力，既保持了连续内存访问排布，又完全捕获全局高层语义。

2. 基于真实物理设备测速的系统性宏架构搜索与多尺度聚合

现有的网络架构搜索与轻量化工作通常过度依赖理论 FLOPs、理论计算复杂度或 GPU/CPU 代理设备性能，但理论指标在具有特定片上 SRAM 大小、算子融合限制与访存带宽壁垒的手机 NPU 上往往严重失真。UltraViT 首次直接在三星 Galaxy S25 Ultra 真实硬件（基于高通 QNN SDK 编译与 INT8 量化）上对每个混合器候选在全面的通道数与 token 分辨率网格上进行了系统化测量。实测表明各混合器在不同阶段的表现差异巨大，进而精选候选子集并根据 LLaVA 微调后的实际精度与 FPS 联合排序，确定了 Stage 1（纯 Conv）、Stage 2（Conv + 稀疏注意力交错）、Stage 3（CPSA）与 Stage 4（单头全通道 Attention）的最佳异构组合。此外，为了支撑文档 OCR 和细粒度定位等密集任务，在骨干网络末端配置了轻量级多尺度特征聚合器，通过带步长卷积将各阶段特征下采样到统一空间尺度，沿通道维度拼接后经由 $1 \times 1$ 卷积融合，使最终特征兼顾底层细节与高层抽象。

3. 密集表征蒸馏：保留精细空间结构的两阶段对齐

常规跨架构蒸馏往往粗暴地将高分辨率教师特征图双线性插值或下采样以迎合学生网络，这直接抹杀了对密集视觉问答和细粒度文字识别至关重要的局部空间细节。UltraViT 提出通过结构重排来桥接教师特征 $F_T \in \mathbb{R}^{H_T \times W_T \times C_T}$ 与学生特征 $F_S \in \mathbb{R}^{H_S \times W_S \times C_S}$ 之间的分辨率鸿沟。当比例 $r = H_T / H_S$ 为整数时，利用 Pixel Shuffle 将学生 token 在通道维度展开重排，获得与教师完全空间对齐的高分辨率特征 $\hat{F}_S \in \mathbb{R}^{H_S \cdot r \times W_S \cdot r \times \frac{C_S}{r^2}}$。在此基础上构建密集局部匹配与全局语义保持的双目标蒸馏损失： $$\mathcal{L}_{dense} = 1 - \frac{1}{H_T W_T} \sum_{i=1}^{H_T} \sum_{j=1}^{W_T} \frac{\hat{F}_S(i,j) \cdot F_T(i,j)}{\|\hat{F}_S(i,j)\| \|F_T(i,j)\|}$$ $$\mathcal{L}_{global} = 1 - \frac{\mathcal{P}_T(\hat{F}_S) \cdot \mathcal{P}_T(F_T)}{\|\mathcal{P}_T(\hat{F}_S)\| \|\mathcal{P}_T(F_T)\|}$$ 其中 $\mathcal{P}_T(\cdot)$ 表示教师网络冻结的注意力池化算子，整体蒸馏损失为 $\mathcal{L}_{distill} = 0.5 \mathcal{L}_{dense} + 0.5 \mathcal{L}_{global}$。

4. 动态容量冻结 LLM 的生成式预训练：解耦语言建模负担

传统的对比学习（CLIP/SigLIP）将整个图像映射为单一语义矢量，信号过粗且与自回归多模态预测存在天然错位；而此前尝试生成式预训练的工作（如 SigLIP 2 或 CapPa）往往采用极小规模的文本解码器，这无形中将复杂的语言建模和句法构造负担强行转移给了轻量视觉编码器，挤占了端侧视觉模型极其有限的表征容量。本文提出将视觉编码器直接挂载至预先完成视觉对齐的冻结 LLM 上，由强语言底座承担全部语言生成任务，使视觉编码器完全专注于提取与多模态生成兼容的高层语义。为了平衡预训练计算开销与表征容量，进一步设计了动态 LLM 混合策略：在预训练批次中动态交替采样 0.5B 与 1.5B 两种规模的冻结 LLM 解码器。该机制既避免了全部使用 0.5B 模型时语言建模负担向视觉端倒灌的缺陷，又省去了全程运行 1.5B 模型的庞大算力开销，以极高样本效率完成了向大语言模型的语义对齐。

损失函数 / 训练策略¶

UltraViT 的完整训练分为三个阶段： 1. 密集蒸馏预训练：在 DataComp-1B 的 1.5 亿子集上训练 25 个 epoch，采用余弦学习率衰减（最大学习率 $1 \times 10^{-4}$，权重衰减 0.1，批大小 32k），以 $\mathcal{L}_{distill}$ 优化。 2. 生成式预训练：从阶段 1 权重初始化，在 8500 万样本混合数据集上训练 1 个 epoch，学习率 $1 \times 10^{-5}$，批大小 192，接入经 400 万 LLaVA-OV 样本预对齐的冻结 Qwen2 语言模型，动态切换 0.5B 与 1.5B 解码器进行自回归交叉熵损失训练。 3. 监督微调（SFT）：将训练好的 UltraViT 接入 LLaVA-OV 架构构建 UltraVLM，严格采用标准的 LLaVA-OV 三阶段微调方案（阶段 2 采用 400 万 OCR 与图文描述数据，阶段 3 采用 310 万指令微调数据），全部训练在 32 张 NVIDIA H100 GPU 上基于 Deepspeed 完成。

实验关键数据¶

主实验¶

在统一采用 LLaVA-OV 训练配方和相同视觉 token 预算（256 tokens）的标准测试下，UltraVLM 与端侧 SOTA 模型 FastVLM 以及主流大模型基准进行了全面对比。测试涵盖跨领域问答、科学图表、文档与高精度 OCR 任务。所有移动端推理速度均在 Samsung Galaxy S25 Ultra 实体手机上以 INT8 量化实测（输入分辨率 $512 \times 512$）。

模型	视觉编码器	编码器速度 (inf./s)	GQA	TextVQA	DocVQA	InfoVQA	ChartQA	MMSTAR	平均分
LLaVA-OV	SigLIP-400M	7.6	58.6	69.9	76.6	46.7	64.2	40.5	60.1
FastVLM (重训)	FastViTHD	91.4	59.9	62.9	66.7	43.5	66.0	44.1	58.4
UltraVLM (本文)	UltraViT	148.9	60.5	68.9	71.8	47.9	72.2	49.8	63.4
QwenVL-2 (定额256)	QwenVL-2	3.7	59.3	66.8	64.5	30.7	49.4	43.0	54.4
QwenVL-2.5 (定额256)	QwenVL-2.5	6.9	60.5	66.5	61.8	35.0	71.5	55.0	60.7

在与后处理视觉 Token 缩减算法的系统级对比中，UltraVLM 展现了原生金字塔架构的巨大优势：

方法	Token 缩减比	编码器推理加速	TextVQA	DocVQA	ChartQA	MMSTAR	平均得分
LLaVA-OV 原生基线	1.0×	1.0×	69.9	76.6	64.2	40.5	63.8
VisionZip	5.7×	1.0×	62.0	55.1	50.0	38.1	56.4
PyramidDrop	4.6×	1.0×	60.3	54.5	47.9	37.5	55.4
VisPruner	5.7×	1.0×	54.8	51.2	40.0	38.4	52.8
HiRED	5.0×	1.0×	59.8	52.3	44.1	39.3	54.9
UltraVLM (本文)	16.0×	19.1×	68.9	71.8	72.2	49.8	65.1

消融实验¶

消融实验深入验证了阶段一密集蒸馏与阶段二生成式预训练中各模块的设计增益：

实验组别	模型 / 预训练变体配置	DocVQA	InfoVQA	MMSTAR	SQA	说明
预训练目标对比	UltraViT + 标准对比学习 (SigLIP)	58.9	36.4	42.3	75.8	基准对比损失
预训练目标对比	UltraViT + 本文密集蒸馏	63.9	39.5	44.6	76.9	细粒度任务提升显著 (+5.0% DocVQA)
预训练目标对比	UltraViT + 密集蒸馏 + 更强教师	67.5	42.8	44.4	78.5	展现对教师容量与蒸馏时长的强扩展性
生成预训练解码器	基础密集蒸馏 (+大教师)	67.5	42.8	44.4	78.5	无第二阶段生成式预训练
生成预训练解码器	+ 冻结 0.5B LLM 生成监督	70.0	44.7	47.3	81.5	小语言模型导致部分语义建模反压
生成预训练解码器	+ 冻结 1.5B LLM 生成监督	72.0	46.8	49.1	83.1	精度最优但训练计算开销较高
生成预训练解码器	+ 动态混合 LLM (0.5B / 1.5B 切换)	71.8	47.9	49.8	82.9	综合性能逼近甚至反超 1.5B，且训练成本大幅削减

关键发现¶

异构混合器显著超越同构基线：在相同宏块与参数规模下，全卷积架构（C, C, C, C）虽吞吐最高（171 inf./s），但多模态平均表现仅为 56.4；而本文提出的（C, C+S, CP, A）异构混合不仅在吞吐上维持在 148.9 inf./s 的极高水平，更将多模态下游任务平均分推高至 58.5，显著改善了细粒度视觉推理能力。
预训练样本效率质的飞跃：相比 FastVLM 采用的对比蒸馏需要消耗 20 亿独立图像与 130 亿次样本训练，UltraViT 提出的“密集蒸馏 + 生成监督”两阶段策略仅需处理 2.35 亿独立图像和 41 亿总训练样本（独立样本减少近 10×，总训练步数减少 3×），即实现了更优的多模态对齐表征。
端侧延迟优势在各分辨率下保持稳固：在从 $256 \times 256$ 到 $1536 \times 1536$ 的广泛输入分辨率区间内，UltraViT 相较于此前最强端侧编码器 FastViT 均稳定维持约 1.7× 的端到端硬件推理加速，相比标准 SigLIP-400M 实现了高达 19.1× 的端侧加速。

亮点与洞察¶

将真机 NPU 实测引入编码器宏架构搜索：跳脱出学术界只看理论 FLOPs 或 GPU 延迟的范式，直接在 Galaxy S25 Ultra 实体手机上逐层实测算子，证明了不同阶段访存与计算瓶颈的差异，为移动端多模态视觉骨干确立了首个可靠的异构架构设计空间。
结构重排驱动的无损密集蒸馏：利用 Pixel Shuffle 空间通道重组克服学生与教师网络间的特征分辨率差异，避免了常规下采样对微小文字与局部边缘的模糊化，使小模型完整继承了高分辨率教师的密集定位能力。
冻结强 LLM 的生成式预训练解耦：洞察到以往生成式预训练失败的核心在于小文本解码器倒逼视觉模型学习文本句法，通过冻结预对齐的大语言模型并动态混合容量，让视觉编码器 100% 专注于高层语义和图文对齐。

局限与展望¶

作者承认的局限：在两阶段预训练的生成监督环节，依然需要依赖一个预先完成视觉语言对齐的语言模型作为教师解码器，预训练启动管线相对传统单阶段自监督略显繁琐。
潜在改进方向：当前硬件测速与算子优化主要针对高通 QNN 与移动端 NPU 执行单元展开，对于苹果 Apple Neural Engine (ANE)、联发科 NeuroPilot 以及边缘端嵌入式 Linux 芯片（如瑞芯微、昇腾边缘）的针对性算子图融合与量化敏感度尚待进一步验证。未来可探索将异构混合思想进一步推广至视频多帧时空统一编码。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立面向端侧 LVLM 的真机延迟感知异构 ViT 搜索体系，提出冻结 LLM 解耦生成式预训练。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖物理手机 NPU 严苛基准实测、数十项主流多模态权威基准横向测评与完备消融。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，软硬件结合逻辑紧密，架构与方法论述清晰。
价值: ⭐⭐⭐⭐⭐ 为大模型端侧实时落地提供了极具实用价值的视觉编码器架构与预训练新范式。