OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models¶

会议: NeurIPS 2026
arXiv: 2605.18041
代码: https://github.com/Yangmrl-nlp/OmniSelect
领域: VLM Efficiency
关键词: 全模态大语言模型, 免训练Token剪枝, 动态模态感知, 跨模态相关性, 时序分组剪枝

一句话总结¶

针对全模态大模型长序列音视频Token爆炸与固定模态引导失效的问题，OmniSelect利用轻量AudioCLIP动态评估问题相关性并切换剪枝策略，配合时序分组细粒度剪枝，在免训练下实现1.19×至1.33×推理加速并保留94%~99%全量性能。

研究背景与动机¶

全模态大语言模型（Omni-LLMs）通过自回归架构统一整合视觉、音频与文本信号，显著增强了复杂动态环境下的感知与多模态协同推理能力。然而，高帧率视频与连续音频流在Token化后产生海量序列，由于自注意力机制计算复杂度随Token长度呈二次方增长，海量多模态Token带来了难以承受的计算开销与显存瓶颈。针对图像、单视频或纯音频的Token压缩已无法直接适用于跨模态强耦合的场景，如何在全模态交互中兼顾吞吐效率与推理保真度成为亟待攻克的核心难题。

现有探索多模态Token剪枝的方法往往依赖单向且固定的模态引导机制。例如OmniZip利用音频显著性作为锚点动态引导视频剪枝，而OmniSIFT则通过空间-时间视频剪枝与视觉引导音频选择构成非对称方案。这类固定引导的根本缺陷在于将模态贡献预设为静态关系，无法适应不同查询下视听重要性的剧烈漂移——在动作辨识或画面检测等视觉主导任务中过度依赖音频引导会导致关键帧丢失，而在乐器识别或语音问答等音频主导任务中以视觉为主导又容易遗漏声学线索。

这种「一刀切」的静态引导机制不可避免地诱发错误表征与语义崩溃。因此，多模态Token剪枝的指导策略绝不应被预先硬编码，而必须根据具体查询与当前上下文动态决策。核心 idea：利用轻量级多模态编码器动态评估查询与各模态的全局相关性并自适应划分剪枝策略，结合局部时序组内的平滑预算重分配与非对称显著性筛选，实现免训练的高保真全模态Token压缩。

方法详解¶

整体框架¶

OmniSelect由两阶段构成的免训练管道：第一阶段为「模态感知动态比例分配」，通过轻量AudioCLIP计算文本查询与下采样音视频特征的余弦相似度，依据模态相关性差值划分出以视频为中心、以音频为中心或均匀剪枝三种策略，并在全局Token预算约束下动态平滑分配各时序分组的保留比例；第二阶段为「时序分组剪枝管道（TGP2）」，针对音视频各自的信息冗余特性分别执行非对称剪枝，对音频特征提取最后一层自注意力权重取Top-K，对视觉特征计算局部余弦相似度并取Bottom-K剔除过度聚集的冗余Token。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["多模态输入<br/>视频帧序列 V + 音频流 A + 文本查询 q"] --> B["模态感知相关性估计<br/>AudioCLIP 提取特征并计算视听文本余弦相似度"]
    B --> C["策略决策与动态预算重分配<br/>依据差值划分三类策略并基于 Sigmoid 迭代匹配全局预算"]
    C --> D["时序分组非对称剪枝 (TGP2)<br/>音频 Attention Top-K 结合视频 Cosine Bottom-K"]
    D --> E["压缩多模态Token序列<br/>拼接对齐输入 Omni-LLM 骨干网络进行自回归推理"]

关键设计¶

1. 模态感知相关性估计与动态策略决策：克服固定引导模态导致的语义漂移 以往方法依赖单向固定引导（如仅用音频引导视频），在面对跨模态重要性动态变化的问答任务时容易选错先验。为此，OmniSelect引入参数量仅约200M的轻量AudioCLIP，将各模态映射至统一隐空间。在预处理阶段，视频帧进行时序下采样以控制开销，文本则通过轻量级语言学过滤仅保留名词与形容词，剔除无实质语义的虚词干扰。分别计算各时序组中视频帧与音频块同文本的余弦相似度：

\[s_{i}^{(v)}=\frac{\mathbf{v}_{i}\cdot\mathbf{t}}{\|\mathbf{v}_{i}\|\,\|\mathbf{t}\|},\quad s_{i}^{(a)}=\frac{\mathbf{a}_{i}\cdot\mathbf{t}}{\|\mathbf{a}_{i}\|\,\|\mathbf{t}\|}\]

随后计算全时序维度的平均相似度 \(\bar{s}^{(v)}\) 与 \(\bar{s}^{(a)}\)。通过设定自适应阈值 \(\theta\)，将压缩模式划分为三类：当 \(|\bar{s}^{(v)}-\bar{s}^{(a)}|\leq\theta\) 时判定为均衡重要，启用均匀剪枝（Uniform Pruning）；当 \(\bar{s}^{(v)}-\bar{s}^{(a)}>\theta\) 时判定视觉更为关键，采用以视频为中心剪枝（Video-Centric Pruning）；反之则采用以音频为中心剪枝（Audio-Centric Pruning）。对于判定为次要的模态，系统施加标准均匀剪枝以防信息过度丢弃。

2. 组间平滑预算动态重分配：在严苛全局压缩率下自适应倾斜有效时序 确定引导模态后，若直接按原始相似度硬性截断Token，会打破预设的全局压缩预算约束，甚至引发个别时间窗口极端欠载或过载。OmniSelect将各时序组的相似度进行均值 \(\mu_s\) 与标准差 \(\sigma_s\) 归一化，通过带温度超参数 \(\tau\) 的负向Sigmoid映射获得基础剪枝概率：

\[p_{i}=\sigma\left(-\frac{\hat{s}_{i}-\mu_{s}}{\tau\cdot\sigma_{s}}\right)\]

随后根据全局期望剪裁总量 \(N_{exp}=\rho_{v/a}\sum n_i\)，对组内概率缩放并在有效集合 \(\mathcal{A}=\{i\mid 0<\rho_i^{(k)}<1\}\) 内迭代修正残差：

\[\rho_{i}^{(k+1)}=\text{clip}\left(\rho_{i}^{(k)}+\frac{N_{exp}-\sum_{j=1}^{G}\rho_{j}^{(k)}n_{j}}{\sum_{j\in\mathcal{A}}n_{j}},0,1\right)\]

这保证了时序维度的动态弹性，使信息密度更高（与问题更相关）的时间步获得更高的Token保留配额，同时精确满足全局FLOPs约束。

3. 时序分组非对称剪枝管道（TGP2）：适配视听模态异构特性的显著性筛选 在时序分组分配完成后，各组内部仍存在大量的空间局部与声学冗余。针对视觉与音频表征特点的不同，OmniSelect设计了非对称筛选机制。对于音频，其在编码器最后一层的自注意力具有很强的时间对齐与声学事件敏感度，因此提取音频编码器 \(\mathcal{E}_a\) 的注意力矩阵 \(\mathbf{A}^{(a)}\) 并在相同池化对齐后，通过Top-K选择高注意力Token：

\[\mathcal{I}_{i,a}=\text{TopK}\left(\mathbf{A}_{avg}^{(a)},\ k=\lfloor(1-\rho_{i,a}\%)\cdot\lceil\frac{n_{i,a}}{2}\rceil\rfloor\right)\]

对于视觉Token，由于深层注意力往往存在严重的Attention Sink偏置且全注意力计算复杂度过高，OmniSelect转向特征层级的余弦相似度矩阵 \(\mathbf{S}=\bar{\mathbf{V}}_i\bar{\mathbf{V}}_i^\top\)。在组间动态预算已经解决跨时间关键帧定位的前提下，时序组内的视觉冗余主要体现为局部背景与高度重叠补丁的高相似度聚集。因此，算法反其道行之采用Bottom-K选择机制保留平均相似度最低的视觉Token：

\[\mathcal{I}_{i,v}=\text{BottomK}\left(\frac{1}{N_{v}}\sum_{j=1}^{N_{v}}\mathbf{S}_{v,j},\ k=\lfloor(1-\rho_{i,v}\%)\cdot n_{i,v}\rfloor\right)\]

该策略优先剔除局部高冗余特征簇，极大拓展了组内视觉语义的多样性与代表性。

损失函数 / 训练策略¶

OmniSelect为完全免训练（Training-free）架构，不引入任何可学习参数，亦无需通过Straight-Through Estimator等技巧进行昂贵的多模态微调。超参数设置方面，阈值 \(\theta\) 采用分段启发式设定：当 \(|\bar{s}^{(v)}-\bar{s}^{(a)}|\leq 2\) 时设 \(\theta=0\)，当模态差值大于2时设 \(\theta=5\)，在单次前向中即可稳定判定；推理环境全流程启用 FlashAttention 优化。

实验关键数据¶

主实验¶

在 Qwen2.5-Omni（3B与7B）模型上评估 OmniVideoBench、VideoMME 和 DailyOmni，对比全量Token基线、随机剪枝、DyCoke（V&A）以及具有代表性的多模态压缩方法 OmniZip。

模型	方法	保留比例	OmniVideoBench Avg.	VideoMME Avg.	DailyOmni Avg.
Qwen2.5-Omni-3B	Full Tokens	100%	52.8	63.89	62.82
	Random	55%	52.4	61.00	53.55
	DyCoke (V&A)	50%	52.4	62.11	55.89
	OmniZip	45%	52.7	63.74	56.14
	OmniZip	30%	52.7	61.48	53.05
	OmniSelect (Ours)	45%	53.3*	63.93*	58.06
	OmniSelect (Ours)	30%	53.2	61.59	54.39
Qwen2.5-Omni-7B	Full Tokens	100%	55.4	66.44	64.16
	Random	55%	55.3	65.07	56.89
	DyCoke (V&A)	50%	55.1	65.15	59.48
	OmniZip	45%	55.4	66.03	59.98
	OmniZip	30%	55.4	65.29	55.97
	OmniSelect (Ours)	45%	56.4*	66.33	60.65
	OmniSelect (Ours)	30%	56.3	65.48	57.39

注：* 表示结果超越全量Token基线。OmniVideoBench输入为128帧，VideoMME输入为512帧。

消融实验¶

在 WorldSense 基准上以 30% 保留比例进行非对称剪枝组件消融（视觉与音频不同剪枝算子组合），准确率（%）如下：

配置	剪枝策略组合	Overall	Music	Games	Tech/Sci	Daily Life	说明
Ours	\(V_{\mathrm{sim}} + A_{\mathrm{attn}}\)	44.42	46.80	41.20	49.80	43.92	视觉相似度Bottom-K + 音频注意力Top-K
Similarity Only	\(V_{\mathrm{sim}} + A_{\mathrm{sim}}\)	43.25	43.84	39.48	48.37	41.95	音频换用相似度后 Music 显著掉点 (-2.96)
Attention Only	\(V_{\mathrm{attn}} + A_{\mathrm{attn}}\)	40.70	44.33	34.33	47.14	40.58	视觉换用注意力后 Games 严重掉点 (-6.87)

在推理效率方面（WorldSense，Qwen2.5-Omni-7B，128帧，30%保留），OmniSelect将GPU显存从 25.08GB 降至 22.28GB（节约 2.80GB），Prompt Prefilling 耗时从 1119ms 大幅缩减至 317ms（3.53× 加速），端到端平均延迟从 3.66s 降至 2.76s（1.33× 加速），优于同比例 OmniZip 的 2.94s。

关键发现¶

非对称模态算子的合理性：视觉侧使用余弦相似度 Bottom-K 能够最大程度避免局部视觉块扎堆并消除注意力汇（Attention Sink）噪声；音频侧复用预训练注意力的 Top-K 能精准保留高能量、高信息密度的突发声学事件。两者互换均导致显著掉点。
动态分流避免「一刀切」失效：相比单一策略，结合视频主导、音频主导与均匀压缩的三分法在 DailyOmni 上表现最优；在特定长视频与高干扰任务中（如 OmniVideoBench），剔除冗余Token甚至取得了超越 Full Tokens 的性能。
跨模态评估器的轻量化权衡：AudioCLIP（~200M参数，0.191s延迟，22.28GB显存）在精度上达到 44.17%，优于参数达 1B 的 ImageBind（43.88%精度，2.701s延迟，26.45GB显存），验证了极轻量评估器在免训练流水线中的高性价比。

亮点与洞察¶

模态自适应策略划分：摆脱了以往「单一模态强制引导另一模态」的固有思维，首次揭示出全模态Token压缩必须依据上下文与问题动态调整模态侧重。
Bottom-K 视觉去冗余机制：巧妙发现局部时间窗口内的视觉Token具有极强相似聚集性，通过保留相似度最低的向量而非最高向量，有效增强了空间语义覆盖度。
全局预算闭环迭代重分配：将启发式相似度平滑映射为剪枝概率，并通过快速迭代校正算法严格锁定全局预设预算，实现无缝部署。

局限与展望¶

决策边界依赖分段阈值：当前依赖固定的启发式 \(\theta\) 阈值进行策略划分，难以平滑建模弱模态区分度或高度纠缠场景下的连续变化。
轻量评估器辨识精度受限：AudioCLIP在复杂跨模态细粒度对齐上存在误判，引发个别实例策略分流不准；实验表明在 Any-Correct 理想分流下性能仍有进一步提升空间。
模型覆盖面待拓展：实验主要围绕 Qwen2.5-Omni 展开，未来需进一步向其他开源全模态模型及端到端可学习剪枝框架拓展。

评分¶

新颖性: ⭐⭐⭐⭐ [针对全模态动态查询特性提出自适应剪枝分类，视角敏锐且实用]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖4大主流全模态Benchmark，多尺度模型、严谨消融与硬件开销实测完备]
写作质量: ⭐⭐⭐⭐⭐ [框架逻辑清晰，公式推导严谨，动机与实验对照呼应紧凑]
价值: ⭐⭐⭐⭐ [免训练特性便于工业界端侧及服务端Omni-LLM快速落地加速]