ECCV2026 VLM Efficiency 论文解读论文笔记模型压缩多模态扩散模型压缩/编码 LLM 语义分割

⚡ VLM Efficiency¶

🎞️ ECCV2026 · 62 篇论文解读

📌 同领域跨会议浏览： 🧠 NeurIPS2026 (1) · 📷 CVPR2026 (63) · 🔬 ICLR2026 (18) · 💬 ACL2026 (6) · 🧪 ICML2026 (4) · 🤖 AAAI2026 (5)

🔥 高频主题： 模型压缩 ×20 · 多模态 ×11 · 扩散模型 ×11 · 压缩/编码 ×9 · LLM ×3

RoMa v2: Harder Better Faster Denser Feature Matching: RoMa v2 用冻结 DINOv3 上的多视图粗匹配、解耦训练的高效细化和像素级不确定度预测，兼顾困难视角匹配与亚像素精度，在 AerialMegaDepth 上将 RoMa 的 EPE 从 25.05 降至 4.12 像素，但并未在极端跨模态泛化或绝对速度上全面领先。
Towards Scalable Pre-training of Visual Tokenizers for Generation: VTP 让视觉分词器同时学习重建、视觉语义与图文对齐，使增加分词器预训练投入能够改善下游扩散生成，在 ImageNet 256×256 上以 675M 生成模型训练 600 epochs 后取得有引导 gFID 1.11。
FlashVLM: Text-Guided Visual Token Selection for Large Multimodal Models: FlashVLM 在视觉编码器与语言模型的接口处，用查询相关性和视觉显著性的融合分数选出关键区域，再补充非冗余背景，在 LLaVA-1.5-7B 上将 576 个视觉 token 压到 128 个时报告 100.6% 的相对性能，但这不代表所有任务都无损。
ResilPhase: Plug-and-Play Phase Mapping and Noise-Resilient Macro-Trajectory Extrapolation for Diffusion Acceleration: ResilPhase 将 DiT 免训练加速从逐层导数外推范式重构为 ODE 空间中的宏观轨迹外推：用端到端 Global Drift 消除逐层误差级联，用无导数 Barycentric Lagrange 插值绕过导数混沌噪声，再用 Chebyshev/Balanced 相位映射将离散时间步投影到有界相位空间以抑制 Runge 现象，在 FLUX.1-dev 上以约 5 倍加速仍保持 SOTA 画质。
TinyHistory: Lightweight Video History Embeddings via Two-Stage Context Learning: TinyHistory 先让轻量历史编码器学会从任意时间位置查询画面，再与视频扩散模型联合学习续写，在 Wan 2.1 的 480p 评测中将历史上下文降至 195 tokens/s，同时获得高于滑动窗口的角色一致性与用户偏好。
Fast-dVLA: Accelerating Discrete Diffusion VLA to Real-Time Performance: Fast-dVLA 把离散扩散 VLA 改造成可缓存前缀、可跨块并行去噪的模型，以少量非对称蒸馏完成适配，在 LIBERO 上将 Dream-VLA 的解码吞吐从 98.8 提高到 313.1 tokens/s，并在实机任务报告 30 Hz 执行频率。
Why and When Visual Token Pruning Fails? A Study on Relevant Visual Information Shift in MLLMs Decoding: 本文发现静态视觉 token 剪枝难以跟上多步推理中的视觉证据转移，提出免训练插件 DSTP，在解码时检测注意力变化并临时恢复相关 token，使 Qwen3-VL-4B 在初始保留 33.3% token 时的 MathVerse 准确率从 FastV 的 32.23% 提升到 52.54%，但仍低于完整模型的 61.29%。
DC-Gen: Post-Training Diffusion Acceleration with Deeply Compressed Latent Space: DC-Gen 先对齐输入与输出接口，再用 LoRA 将预训练扩散主干迁移到更少 token 的深压缩潜空间，在多类生成任务上接近原模型质量；论文报告 FLUX 4K 生成最高 53.8 倍加速，但计时仅覆盖 Transformer 主干。
Spatial-TTT: Streaming Visual-based Spatial Intelligence with Test-Time Training: Spatial-TTT 将在线更新的快权重、局部滑窗注意力与少量全注意力层结合，用稠密三维场景描述教会模型保留空间证据，使 2B 模型在 VSI-Bench 上取得 64.4 分，并在 1024 帧输入时比 Qwen3-VL-2B 使用更少显存与计算。
ToDRE: Effective Visual Token Pruning via Token Diversity and Task Relevance: ToDRE 先在 LLM 输入前贪心保留多样的视觉 token，再在跨模态交互衰减的深层移除全部剩余视觉 token，无需训练即可让 LLaVA-NeXT-7B 在仅保留 10% 输入视觉 token 时维持八项图像任务平均 95.0% 的相对性能，并在四任务消融计时中达到约 2.6× 加速。
DASH: Dynamic Audio-Driven Semantic Chunking for Efficient Omnimodal Token Compression: DASH把音频相邻表征的突变作为语义分块线索，再用边界、表征独特性和注意力共同决定保留哪些Token，使Qwen2.5-Omni-7B在25%目标保留率下达到WorldSense 44.9%准确率，以14.9T FLOPs超过35%保留率的OmniZip的44.7%和21.4T FLOPs。
MMLoP: Multi-Modal Low-Rank Prompting for Efficient Vision-Language Adaptation: MMLoP 将 CLIP 两个编码器中的深层提示分解为共享低秩因子与模态专属因子，再用文本漂移校正和零样本一致性约束保护泛化能力，以约 11.5K 可训练参数取得 79.70% 的基础类到新类调和平均准确率，但并非绝对精度最高的方法。
BATQuant: Outlier-Resilient MXFP4 Quantization via Learnable Block-wise Optimization: BATQuant 将可学习非正交变换限制在 MXFP4 的 32 元素量化块内，再用共享分解与局部裁剪降低部署开销及残余异常值影响，使 Qwen3-VL-8B-Instruct 在 W4A4KV16 下达到 96.43% 的多模态性能恢复率。
Keeping the Evidence Chain: Semantic Evidence Allocation for Training-Free Token Pruning in Video Temporal Grounding: SemVID 将视频 token 剪枝改为有语义分工的证据分配，在保留对象证据的同时保留跨帧状态变化和上下文锚点，使 Qwen3-VL-4B 在 ActivityNet-Grounding 上仅用 12.5% 视觉 token 达到 38.49 mIoU，相当于完整输入的 95.4%。
Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models: VISE 提出纯无监督的单模型自演化框架，用几何不变性和语义不变性两种奖励信号直接正则化解码器的视觉条件化策略（而非优化答案一致性），在 Qwen3-VL-2B 上 COCO CIDEr 提升 +16.85、TextCaps CIDEr 提升 +19.66、幻觉 Chair-I 降低 5.0 点，且跨 4 个模型规模（2B/4B/8B/32B）与 4 种架构主干一致有效，无任何任务间的 tradeoff。
HSD: Training-Free Acceleration for Document Parsing Vision-Language Models with Hierarchical Speculative Decoding: 本文提出层次化推测解码（HSD），一种免训练的端到端文档解析加速方法：先用轻量级 pipeline 为每个区域生成粗草稿，再分两阶段验证——Stage 1 在裁切区域上并行做局部验证以获得高吞吐，Stage 2 在全页上做全局验证以恢复跨区域连贯性；在 HunyuanOCR 上实现 2.78 倍端到端加速且精度近乎无损，长文档场景最高加速 7.04 倍。
AnchorPrune: Relevance-Anchored Contextual Expansion for Visual Token Pruning: AnchorPrune 将视觉 token 选择拆成“保护查询相关证据”和“补充重要且不重复的上下文”两个有先后顺序的阶段，无需训练，在 LLaVA-NeXT-7B 上仅保留 160/2880 个 token，仍达到完整模型 97.6% 的平均相对性能。
Fourier Compressor: Frequency-Domain Visual Token Compression for Vision-Language Models: Fourier Compressor 将视觉特征网格变换到频域，截取低频后在更小网格上重建；配合适配训练，LLaVA-v1.5-7B 从 576 个视觉 token 压到 36 个时，八项基准平均分由 64.6 降至 62.1，FLOPs 从 8.54 T 降至 1.38 T。
Glance: Accelerating Diffusion Models with 1 Sample: Glance 冻结预训练图像生成器，仅用一个图文样本训练负责早期语义与后期细节的两个 LoRA，以非均匀减步实现论文所称的五倍加速，但文字渲染并未无损保留。
Accelerating Multimodal Large Language Models with Prior-Corrected Token Reduction: PriorTR 是一种无需训练的视觉 token 剪枝方法，通过用 null token（分隔符）估计模型固有的注意力先验，再用 V-可用信息 \(P \cdot \log(P/Q)\) 替代原始注意力分数进行 token 排序，在单次前向传播中完成先验校正与物理剪枝，在激进 token 预算下显著提升了 MLLM 的精度-效率权衡。
Activation Quantization of Vision Encoders Needs Prefixing Registers: RegCache 从参考图像中提取可跨图像复用的中层寄存器 KV 缓存，通过前缀注入和残余异常 token 删除改善视觉编码器的训练后量化，使 CLIP-B/16 在 ERQ W4A4 下的 ImageNet-1k 准确率从 1.56% 提升到 46.07%，但并不能普遍恢复全精度性能。
CASA: Cross-Attention over Self-Attention for Efficient Vision-Language Fusion: CASA 通过受控实验重新评估交叉注意力，用不进入语言主干的图像表示和可替换的窗口视觉 KV 支持高效融合；Helium1 设置下普通 CA 的受控流式吞吐为 6.8 FPS、插入式为 1.2 FPS，但复杂信息图理解仍有明显性能差距。
CMuon: Accelerating and Stabilizing Diffusion Transformer Training via Chunked Momentum Orthogonalization: CMuon 将 DiT 中融合存储的 QKV、FFN gate/up 和 AdaLN 投影按功能分块后独立正交化动量，使 675M DiT-XL 在 ImageNet-1K 256×256 上用 200 epochs 达到 FID 1.18，优于 AdamW 训练 400 epochs 的 1.21，且收益不局限于训练早期。
MoE-ViE: Mixture of Experts Vision Encoder for Efficient Image and Video Understanding: MoE-ViE 把 CLIP 视觉塔的 MLP 换成细粒度 MoE——每个 MoE 层 32 个宽度只有原 MLP 四分之一的专家、外加若干常开共享专家、Sigmoid 门控、用"按失衡幅度缩放"的偏置项做无辅助损失负载均衡——再配上自研 Triton 分组 GEMM / 算子融合内核与"帧级蒸馏 + 专家冻结"的视频微调，串成图像与视频共用的编码器：最大的 H 型号 3.5B 总参数只激活 1.1B，零样本性能追平 1.7 倍大的稠密 SOTA 编码器 PEcoreG，延迟约为它的 76%。
P-MTP: Efficient Document Parsing via Multi-Token Prediction with Progressive Depth Scaling: P-MTP 让文档解析模型先学可靠的近距离预测、再逐步承担远距离预测，并按置信度调整推测长度，在 Qwen3-VL-2B 的 PubTabNet 实验中将原生解码延迟从 26.71 降至 5.10、加速 5.24 倍，但这一数字不能替代 vLLM 部署收益，也不能概括所有任务的精度变化。
PanoSAM2: Lightweight Distortion- and Memory-aware Adaptions of SAM2 for 360 Video Object Segmentation: PanoSAM2针对全景视频中的投影畸变、左右接缝和稀疏目标记忆，改造SAM2的解码与记忆机制并加入几何感知监督，使Hiera-S版本在360VOTS测试集的\(\mathcal{J}\&\mathcal{F}\)从60.2提升到65.8，但伴随一定推理速度下降。
Semantic-Geometric Dual Compression: Training-Free Visual Token Reduction for Ultra-High-Resolution Remote Sensing Understanding: DualComp 根据问题对物体语义与场景几何的不同需求，动态组合局部语义聚合与结构路径补全，在 XLRS-Bench 的 GeoLLaVA-8K 实验中将报告的平均准确率从 51.5% 提高至 53.1%，同时把推理时间从 8.15 降至 3.87 秒/图；免训练的是压缩模块，而非离线路由器。
ViQ: Text-Aligned Visual Quantized Representations at Any Resolution: ViQ 提出两阶段视觉量化框架——先做文本对齐预训练让连续特征富含语义，再渐进式压缩并用量化器 FSQ 做低维离散化——使离散视觉编码器在 9 个多模态基准上首次达到与连续编码器接近甚至超越的性能，同时带来 20%-70% 的训练加速和接近 1/96 的存储压缩比。
3DZip: Spatial-Aware Feature Diversity-Guided Token Compression for 3D Question Answering: 3DZip 在语言模型前依次用粗体素化去除重复观测、用特征多样性 DPP 选择锚点、用空间约束合并补回上下文，在 LLaVA-3D 上将 1410 个视觉 token 压至 128 个，保留论文报告的 94.7% 相对性能，并在单张 RTX 4090 上将单样本推理延迟从 342 ms 降至 178 ms。
Combating Textual Noise and Redundancy: Entropy-Aware Dense Visual Token Pruning: EADP 先通过文本对图像响应的空间熵过滤分散噪声，再融合局部与全局语义、平滑显著图并按覆盖收益选择视觉 token，使 LLaVA-NeXT-7B 在仅保留 640/2880 个 token 时达到与完整模型相同的 66.3 平均分。
CoverPrune: Coverage-Driven Token Pruning for 3D VLMs via Optimal Transport: CoverPrune 用特征、空间和时间联合定义“哪些保留 token 能代表原始证据”，通过最优传输近似选择覆盖性原型，使 GS-Reasoner 在 VSI-Bench 仅保留 10% 视觉 token 时获得 56.83 分，高于同预算 DTC 的 51.66 分；Lite 则以局部分组代替反复求解传输，将剪枝开销从 2.53 秒降至 0.41 秒。
CUST : Clustered Unit-level Similarity Transformer for Lightweight Image Super-Resolution: CUST 先按窗口代表特征把远处相似 patch 聚在一起做注意力，再以降采样重建误差引导局部细节修复，使 CUST-Base 在五个 ×4 基准上较 CATANet 平均提高 0.094 dB，同时由另一个配置 Base+ 展示显存与延迟的实用折中。
FlashBEV: Fast and Memory-Efficient Exact BEV Transformation with IO-Awareness: FlashBEV 将基于采样的视角转换（Sampling-VT）重新表征为聚集归约（gather reduction）算子，通过单核函数融合、线程级局部归约与动态重计算，在保持数学完全等价的前提下消除了庞大的中间三维张量，将视角转换显存峰值降低逾 37 倍并实现 5.2 倍前向加速。
HQ-DM: Single Hadamard Transformation-Based Quantization-Aware Training for Low-Bit Diffusion Models: 针对低比特扩散模型中激活离群值加剧量化误差且难以部署的问题，HQ-DM 提出仅对激活矩阵执行单哈达玛变换，在平滑激活尖峰的同时避免双重哈达玛变换对权重的离群值放大，完美兼容整型卷积与线性算子，在 W4A3 下将 LDM-4 的 Inception Score 提升超 467%。
LinCa: Accelerating Diffusion Models via Learnable Decomposed Feature Caching: 针对传统特征缓存方法在时间步与特征维度上动力学不匹配导致的累积误差，LinCa 利用轻量级可逆神经网络将缓存特征分解为不同连续性的子分量并进行差异化阶数多项式外推，以不足 0.2% 的额外参数量在 FLUX、Qwen-Image 和 HunyuanVideo 上实现了 5-7 倍近乎无损的高倍率推理加速。
Rethinking Token Reduction for Diffusion Models via Output-Similarity-Awareness: 针对扩散模型中传统基于输入相似度的 Token 缩减导致恢复误差偏高的问题，提出输出相似度感知缩减方法 DiTo，利用相邻时间步输出的高时序一致性，在匹配步利用前序输出相似度建立索引并在多个缩减步复用，结合 PMR 自适应调度与频次感知惩罚，在 Flux 和 SD3 上取得 1.6–3.9 dB 的 PSNR 提升及高达 18.6% 的延迟降低。
SMART: When is it Actually Worth Expanding a Speculative Tree?: SMART 提出了一套硬件感知的边际分析框架，将推测解码中的推測树构建重写为最大化端到端加速比的序列决策问题——只有在节点的边际收益-成本比超过当前树的整体加速比时才扩展该节点，从而避免了大批量下验证开销超线性增长导致的"负加速"悖论，平均额外带来 20.0%（MLLM）和 15.4%（LLM）的加速提升且无需重新训练。
Structured Redundancy Modeling for Efficient Visual Token Pruning in High-Resolution MLLMs: 针对高分辨率 MLLM 中子集优化剪枝算法依赖迭代搜索导致严重时延瓶颈的问题，本文提出单次前向剪枝器 SFPruner，通过语义引导岭杠杆分数衰减全局协方差冗余，并结合排序有向掩码并行消除局部重叠，在保持高达 99.0% 相对精度的同时将词元选择耗时从 112.4 ms 压缩至 2.5 ms。
When Token Compression Breaks: Structural Pruning vs. Token Reduction for Robust ViT Segmentation under High Compression: 本文构建了视觉 Transformer 语义分割在轻度至重度压缩区间下的统一评测基准，揭示了 Token 压缩在极端压缩率下表征崩溃与边界失效的本质缺陷，并提出了结合温和剪枝与温和合并的“先剪枝后合并”流水线，在大幅削减计算量的同时显著提升了清洁与损坏场景下的鲁棒性。
Accelerating Diffusion Models via Equal-Risk Caching: ERC 只探测一种缓存长度下各时间位置对最终输出的影响，把得到的一维风险曲线累加后等分刷新预算，以低于完整区间搜索的离线成本获得有竞争力的缓存日程，例如 FLUX.1 [dev] 在 15 次刷新预算下达到 3.23 倍加速、LPIPS 0.1954。
ARVAR: Accelerating Visual Autoregressive Model via Attention Retrospect: ARVAR 把低分辨率阶段的注意力和激活当作高分辨率阶段的计算依据，通过重要 token 重算、其余位置重建以及晚期条件分支复用，在单张 RTX3090 上将 HART 和 Infinity-2B 分别加速 1.56 倍、3.01 倍，并比 FastVAR 更好地保留原模型生成图像。
AViTS：Adaptive Spatiotemporal Token Selection for Efficient Dynamic-Resolution Generation: AViTS 用“哪些潜空间 token 与文本最相关”和“哪些 token 在去噪中仍持续变化”共同决定提前升采样的区域，在 FLUX.1-dev 的 14 步配置中将延迟从 25.78 s 降至 3.65 s，同时使 ImageReward 从 0.9719 变为 0.9723，但更激进的加速仍会损失质量。
Bayesian Self-Attention with Local Pixel Correlations for Lightweight Denoising Transformers: NLformer 把轻量去噪 Transformer 从“寻找相似图像块并求平均”扩展为“同时利用块内像素依赖并显式求逆修正”，以 2.44M 参数在 SIDD / DND 达到 39.88 / 39.92 dB，优于论文比较的轻量模型，但并非所有资源指标都最优。
BLOB-Q: Boosting Low Bit ViT Quantization via Global Optimization on Model Distortion: BLOB-Q 将 ViT 权重与激活的混合精度分配转化为模型输出失真的可加近似优化，再用动态规划求解预算内的最佳组合，达到 ImageNet 上 ViT-S 平均 4 比特 76.85% Top-1；其全局最优性应限定于近似后的离散问题，而非无条件的原网络精度最优。
CURE: Cumulative Knowledge Reuse for Efficient Device-Server Hybrid Inference in Vision-Language Models: CURE 不把云端分类结果用完即弃，而是将其累积到设备端的高斯知识库，通过两级不确定性路由与预测融合，在 13 个图像分类数据集上以 33.26% 的平均委托频率取得 85.75% 的平均准确率，接近或超过始终调用服务器的整体表现。
DARL: Efficient Document-to-Markup Generation via Look-Ahead Diffusion Trajectory Sampling: DARL让文档VLM保留可验证的自回归前缀、并行修正短窗口内的候选token，再以在线采样和前瞻奖励训练更容易连续通过验证的轨迹，使dots.ocr-3B在OmniDocBench-1.5上达到2.31倍加速、总分87.69，但不意味着所有识别子项都优于原始AR模型。
Dense Video Understanding with Inter-tokenization Acceleration: 本文用 DIVE-Bench 把“几乎每帧都有信息”的视频问答单独定义为高帧率视频理解，并提出 Gated Residual Tokenization（GRT）：在视觉编码前仅处理发生变化的补丁、编码后再合并语义相近场景，从而在 1 FPS 下减少 53.6% tokenization 延迟，同时改善密集文字与高运动任务的回答质量。
DIVA: Instruction-Aware Vision Token Pruning via Dual-Probe Attention Discrepancy: DIVA 不再把注意力绝对值直接当作视觉 Token 重要性，而是比较“能看到指令”和“看不到指令”的两组文本探针对视觉 Token 的注意力分布差异，再校准绕过自注意力的 Token；在 LLaVA-NeXT-7B 上仅保留 80/2880 个视觉 Token 时仍保留 92.6% 基线性能，并将 KV 缓存缩小 10.8 倍。
Efficient Quantization-Aware Adaptation for Visual Foundation Models: 针对视觉基础模型在量化感知微调时深层骨干网络与激活量化器反向传播显存爆炸的痛点，EQuA 将骨干网络按重要性拆出轻量级子网络侧边分支并冻结主干计算图，配合无缓存梯度重算与块级激活量化微调，在将训练显存削减 70% 以上的同时实现部署期零计算与参数开销合并。
GoodQ: 利用现成生成模型实现目标检测器的零样本量化: GoodQ 利用现成的扩散模型生成多样化训练图像，再通过信息密集提示、固有分布感知选择和教师引导自适应降噪三个组件系统性地解决生成图像与目标检测零样本量化之间的三大挑战，在 W4A4 和 W3A3 等极低位宽下大幅超越此前基于噪声优化的方法。
GTR: Guide-Then-Refine Token Compression for Training-Free Acceleration of Video-LLMs: 提出无需重训练的两阶段视觉 Token 压缩框架 GTR（Guide-Then-Refine），先利用全局跨帧独特性与文本查询相似度动态分配帧级预算，再结合帧内局部邻域相似度精细筛选关键 Token，仅保留 15% 视觉 Token 即可保留 95.8% 的原模型性能。
Improved Immiscible Diffusion: Accelerating Diffusion Training by Reducing Miscibility: 揭示扩散模型中去噪轨迹混溶交错导致高噪声层监督退化的理论根源，证实生成样本与初始噪声具有天然的稳定双射相关性，并提出复杂度仅为 \(O(n)\) 的 KNN 噪声选取与无需配对的图像尺度缩放方案，在保证生成多样性的同时将多种扩散模型训练加速 2.5×~4.5×。
Lightweight Online Reinforcement Learning for Block Decomposition of CAD Models: 针对三维CAD模型块分解依赖昂贵离线预训练与人工交互的痛点，提出首个纯在线强化学习框架，通过冻结拓扑图编码器与连续-离散动作投影机制，无需任何预训练数据集即可在单个目标模型上自主探索并生成高质量扫掠体分解方案。
MobileSAM2: Lightweight Segment Anything in Images and Videos via Hypergraphical Knowledge Distillation: 针对 SAM2 参数量过大无法在边缘端部署的问题，提出基于超图知识蒸馏（HyperKD）的 MobileSAM2，通过构建时序与多粒度超图建模高阶依赖，结合渐进式模型收缩搜索轻量骨干，在仅需约 10% 训练数据下实现高效高精度的图像与视频分割。
ORFC: Orthogonal Reparameterization for Low-Bitrate ViT Feature Coding: 针对端云协同分割推理中视觉 Transformer 中间特征低码率编码时因特征空间均方误差失配与通道子空间任务敏感度极不均匀导致的性能崩溃问题，ORFC 提出在固定分组乘积量化前引入基于 Cayley 变换的可微正交重参数化旋转，并以冻结后置网络的输出偏差作为任务代理失真进行端到端率失真优化，在小于 0.1 BPFP 的极低码率下显著消除了任务精度崩塌。
SpecEyes: Accelerating Agentic Multimodal LLM via Speculative Planning and Perception: SpecEyes 首次将投机加速范式从 token 级跃迁至智能体级，通过无工具轻量小模型快速草拟答案，配合基于 Top-K Logit 可分离度的认知门控拦截高置信样本，并辅以异构并行漏斗掩盖大模型的串行工具调用，在 V*、HR-Bench 和 POPE 等基准上取得平均 1.73x（最高 3.35x）的加速比，且平均准确率提升 2.87%。
Spectral Evolution-Guided Token Pruning in Multimodal Large Language Models: 本文提出 CLSE(Cross-Layer Spectral Evolution),一个 training-free 的视觉 token 剪枝框架:不再用单层 attention 或特征幅值判断 token 重要性,而是把每层视觉 token 变换到频域、经高通滤波后度量其高频结构能量在相邻 LLM 层之间的相对变化量,变化剧烈的 token 被判为语义活跃并保留;在 LLaVA/Qwen2-VL/Video-LLaVA 等多个 MLLM、剪到 11%~33% token 的激进压缩下,精度保持显著优于 FastV、SparseVLM、PDrop 等。
Stabilizing Ultra-Low-Bit Quantization of Multimodal LLMs via Global Bit Allocation: 针对多模态大语言模型在 2~3 比特超低位宽量化下精度崩溃的问题，GloBitQ 揭示了由下流误差传播与离群激活共振诱发的块级输出通道双层各向异性，并提出基于统一超参数调控的全局重要性平衡比特分配与轻量仿射平滑，在 2.01/3.01 比特下实现高鲁棒性且免微调的模型压缩。
STAT: Soft Tail-dropping for Adaptive Visual Tokenization: STAT 提出了一种带有软末端丢弃（Soft Tail-dropping）机制的自适应 1D 离散视觉分词器，通过预测逐 token 保留概率并施加内容自适应与单调递减先验，使分配的 token 数量与图像感知复杂度对齐，在更低平均 token 数下实现了 SOTA 重建并解锁了极具扩展潜力的自回归变长生成。
SWIFT: Spatial-Window Integrated Frequency-aware Token Pruning for Efficient MLLMs on Edge Devices: 针对传统注意力驱动 Token 剪枝导致高频细节丢失与空间坍缩的问题，SWIFT 通过矩阵分解提取高频残差指标并结合局部空间窗口正则化，在边缘设备上实现高达 75% 压缩率下的近无损多模态推理与 2.66 倍解码加速。
TAQ: Static-Deployable Temporal-Aware Quantization for Real-World Video Super-Resolution: 针对端侧视频超分辨率部署中动态量化开销过大以及静态量化忽略时序漂移的问题，TAQ 提出了仅在离线校准阶段感知时序的静态后训练量化框架，通过序列级直方图初始化、相邻帧间差分时序微调以及量化边界集成，生成单一静态量化参数，在 Jetson Orin Nano 上实现了 3.56 倍实际加速并显著抑制了时序闪烁。
VQT: Vector Quantization Tuning for Efficient Fine-tuning and Compression of Pre-trained Vision Transformers: 针对低比特矢量量化微调中 LoRA 与直通估计器相互作用诱发的耦合量化噪声（CVQN），本文提出 VQT 框架，通过随机子向量替换与渐进对齐调度实现高效微调与极限压缩，并支持单任务低于 1-bit 的超轻量云端多任务存储。