跳转至

⚡ VLM Efficiency

🧠 NeurIPS2026 · 11 篇论文解读

📌 同领域跨会议浏览: 🎞️ ECCV2026 (62) · 📷 CVPR2026 (63) · 🔬 ICLR2026 (18) · 💬 ACL2026 (6) · 🧪 ICML2026 (4) · 🤖 AAAI2026 (5)

🔥 高频主题: 多模态 ×5 · 模型压缩 ×4 · 压缩/编码 ×2

Beyond Selection: Token Parameterization for Extreme Visual Token Compression

Braco 不再从原始 patch 中挑出少数 token,而是用 DCT 低频骨干、基坐标嵌入、预算相关的坐标组织与稀疏池化空间残差构成紧凑视觉接口,在 576→16 token 时保留 94.0 的 Vanilla 归一化综合得分,并将全流水线 prefill 延迟降至 40.59 ms。

Breaking Modality Heterogeneity in Low-bit Quantization for Large Vision-Language Models

针对视觉语言模型中图文激活异常值通道分布不一致导致的量化崩溃难题,本文提出通道解耦量化框架 SplitQ,通过显式分离模态专属异常通道与自适应跨模态微校准,在极低比特(如 W4A4、W3A3 与 W3A2)下实现了无损或高保真性能。

EventPrune: Cascaded Event-Assisted Token Pruning for Efficient First-Person Dynamic Scene Understanding

提出了首个面向第一人称动态空间推理的免训练事件辅助级联剪枝框架 EventPrune(ECP),通过因果时间采样、运动显著性滤波与非参数化注意力秩融合,在 80% Token 剪枝下不仅超越全量 Token 基线(37.62% vs. 36.31%),同时带来 1.89× 推理加速与 52% 计算量降低。

G2TR: Generation-Guided Visual Token Reduction for Separate-Encoder Unified Multimodal Models

G2TR 在分离编码器统一多模态模型的 LLM 预填充之前,利用 VAE 潜在锚点选择并合并理解侧视觉词元;保留 50% 词元时,BAGEL 的理解相对平均分为 99.0%、编辑为 98.0%,预填充 FLOPs 降低约 1.94 倍,但并非所有任务都无损。

Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic Context Memory

针对流式视频理解在高 token 预算下因局部滑动窗口冗余导致的时间检索偏差与召回率骤降难题,本文提出训练无需微调的 MemStream 框架,通过自适应键选择(AKS)稀疏化编码与结合外部模型的倒数排名融合(RRF)专家混合检索,在 CG-Bench 和 LVBench 上大幅超越 SOTA。

Good Token Hunting: A Hitchhiker's Guide to Token Selection for Visual Geometry Transformers

针对多视角视觉几何 Transformer(VGGT、\(\pi^3\) 等)跨帧全局注意力计算带来的二次方计算瓶颈,提出免训练的分层 Token 选择框架 GoToHunt,通过帧间多样性最远点采样与基于注意力熵的层自适应帧内稀疏化,在 500 帧场景下实现超过 85% 的推理加速且性能超越原始基线。

OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models

针对全模态大模型长序列音视频Token爆炸与固定模态引导失效的问题,OmniSelect利用轻量AudioCLIP动态评估问题相关性并切换剪枝策略,配合时序分组细粒度剪枝,在免训练下实现1.19×至1.33×推理加速并保留94%~99%全量性能。

SP2ec: Adaptive Self-Speculative Decoding for Vision-Language Models

针对视觉语言模型在多模态与超长上下文下小草稿模型难以对齐且静态配置失效的问题,本文提出基于单峰多臂老虎机框架的免训练自适应自投机解码算法 SP2ec,动态权衡草稿准确率与计算开销,实现高达 1.62× 的无损推理加速。

SwiftVLM: Efficient Vision-Language Model Inference via Cross-Layer Token Bypass

SwiftVLM 揭示了 VLM 视觉词元重要性在层间的非单调与漂移现象,提出训练无关的跨层词元旁路(Bypass)与表征偏移对齐机制,在浅层暂存未选词元并在深层重新评估,有效消除早期不可逆剪枝造成的定位崩溃,在 77.8% 剪枝率下实现约 2 倍预填充加速与领先的细粒度推理保留。

TwinPrune: Density-Aware Two-Phase Token Pruning for Vision-Language Models

针对视觉语言模型在长序列与高分辨率下的预填计算与解码显存瓶颈,提出基于局部空间余弦相异度的统一密度信号,在前向预填阶段执行密度倾斜的最远点二部合并,在自回归解码阶段复用相同密度进行KV缓存一步驱逐,实现计算、显存与精度的三维帕累托前沿提升。

Vision Token Pruning via Query-Vision Interaction Decomposition

本文提出免训练的查询感知视觉 token 剪枝方法 QViD,通过在早期 Transformer 层对未加位置编码与 Softmax 的查询-视觉交互矩阵进行奇异值分解(SVD),利用前 \(r\) 个主奇异模式计算视觉 token 的杠杆分数并保留关键 token,在极低 token 预算下大幅超越现有剪枝基线并加速推理。