Towards Fast and Effective Long Video Understanding of Multimodal Large Language Models via Adaptive Quasi-Gaussian Sampling

会议: NeurIPS 2026
arXiv: 2606.24187
代码: https://github.com/Zkayovo-xmu/AdaQ
领域: 视频理解
关键词: 多模态大模型, 长视频理解, 关键帧采样, 准高斯分布, 3-sigma原则

一句话总结

针对现有关键帧选择方法因硬采样缺乏灵活性和抗噪性导致全局理解掉点的缺陷，本文提出一种免训练的自适应准高斯采样框架 AdaQ，利用查询-帧相似度方差动态调节采样温度与 3-sigma 有效窗口，在 4 种主流 MLLM 上大幅提速并全面超越现有关键帧方法与均匀采样基线。

研究背景与动机

多模态大语言模型（MLLMs）在图像与简短图文理解任务上取得了突破性进展，然而在长视频理解场景中依然面临着极大的计算瓶颈与显存开销。以一小时包含 1000 帧候选的长视频为例，先进开源模型 Qwen3-VL-8B 单次全量推理需占用高达 58GB 的 GPU 显存，且耗时超过 3.28 分钟。这种巨大的资源消耗严重限制了多模态长视频系统在边缘设备或资源受限场景下的实际部署，亟需在将视频帧送入 MLLM 之前大幅压缩帧序列长度。

受大语言模型检索增强生成（LLM-RAG）思想的启发，主流优化方案通常采用外置的视觉-语言预训练模型（如 CLIP、LongCLIP 或 BLIP）计算用户提问与各候选帧之间的图文匹配相似度，并通过 Top-K 硬筛选保留少数关键帧。然而，现有的硬采样范式存在两大系统性硬伤：首先是任务适应的灵活性严重匮乏。硬挑选高度偏向局部高相似度片段，在“大海捞针”（Needle-in-a-Haystack）等局部细节定位任务上表现尚可，但在需要全片时序线索汇聚的全局宏观理解任务（如长视频事件梳理、叙事摘要）中表现往往剧烈下滑，视野完整性远逊于朴素的均匀采样；其次是相似度噪声抗干扰能力差。外部小图文嵌入模型大多在静态图像-文本配对上预训练，面对复杂动态视频序列时其打分存在显著语义漂移与高频噪声，硬截断会将噪声帧误选并完全丢弃临近关键上下文。直接利用 Softmax 归一化转化为普通概率采样也无法解决问题，因为海量候选帧会导致概率质量被极端稀释，分布过于扁平而丧失区分度。

深入分析可以发现，不同性质的任务在查询-帧相似度的统计方差上呈现出极具信息量的天然分化：局部针尖式查询仅在个别帧具有尖锐响应，导致候选集相似度方差较小；而全局综合性查询对全片多个片段均有一定响应，呈现出显著更高的相似度方差。核心 idea：将长视频关键帧选择重构为受高斯分布 3-sigma 规律约束的自适应准高斯采样问题，利用查询-帧相似度方差动态调整采样温度，自适应收放有效采样区间并配合无放回加权软采样，实现兼顾局部聚焦与全局覆盖的高鲁棒免训练帧选择。

方法详解

整体框架

给定输入长视频 \(V\)（按 1 FPS 均匀抽取 \(T\) 个候选帧）与用户提问 \(Q\)，AdaQ 的目标是在不微调任何模型的前提下，抽取出 \(K\) 个最具代表性的有序关键帧子集 \(V_{\text{key}}\) 送入下游 MLLM 解答。整个处理流线包含四个紧密衔接的阶段：首先，利用冻结的预训练视觉-语言嵌入模型提取每个候选帧与查询文本的相似度向量；其次，计算归一化相似度的统计方差，动态生成样本级自适应温度 \(\tau\)；再次，以温度参数调控构造离散准高斯概率分布，依据 \(3\text{-}\sigma\) 截断原则剔除落在高置信区间之外的低质噪声帧，形成有效候选集合；最后，在截断集合内按重新归一化的概率执行无放回加权概率采样，并将选中的 \(K\) 帧按原始时序重排后注入 MLLM。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入长视频与用户指令<br/>1 FPS 抽取 T 候选帧"] --> B["特征相似度计算<br/>VL 嵌入提取帧-查询得分"]
    B --> C["方差驱动的自适应温度调节<br/>依据相似度方差动态生成采样温度"]
    C --> D["准高斯分布构建与 3-sigma 区间截断<br/>确定有效采样集合并抑制离群噪声"]
    D --> E["无放回加权概率采样与时序重排<br/>抽选 K 个关键帧保持多样性与连续性"]
    E --> F["下游 MLLM 生成最终回答"]

关键设计

1. 方差驱动的自适应温度调节：破解静态分布扁平与局部/全局任务不兼容

在关键帧采样中，不同问题的证据时间跨度截然不同。大海捞针任务的证据往往集中在秒级片段，而全局总结任务需要覆盖全片时钟。若使用固定的 Softmax 温度，海量候选帧会使概率分布过于平坦，使得高价值帧与普通背景帧难以区分。AdaQ 观察到不同类型的提问在相似度分布方差上展现出高度稳健的判别特征。为了根据指令语义自适应调节采样分布的尖锐程度，方法引入了方差驱动的动态温度机制：首先对全部候选帧与查询的原始余弦相似度 \(s_i\) 执行 Min-Max 极值归一化得到 \(\tilde{s}_i \in [0, 1]\)，再计算其均值 \(\mu = \frac{1}{T}\sum_{i=1}^{T}\tilde{s}_i\) 与样本方差，最终将采样温度 \(\tau\) 显式定义为方差的线性缩放：

\[\tau = \gamma \cdot \frac{1}{T}\sum_{i=1}^{T}(\tilde{s}_i - \mu)^2\]

其中 \(\gamma\) 是整套方法中唯一需要预先指定的缩放超参数（在大多数基准与骨干模型上通用默认设为 0.5）。当面对局部细节定位查询时，相似度响应分布集中且方差较小，从而产生极低的温度 \(\tau\)，大幅拉大峰值概率与其他候选帧的差距；而在面对全局问答时，全片多处呈现广泛相关性使得方差增大，进而提升温度 \(\tau\)，使概率分布趋于舒缓，保留广谱的采样机会。

2. 准高斯分布构建与 3-sigma 区间截断：依据高斯置信法则自适应抑制噪声

传统的概率归一化通常在全集 \(T\) 帧中进行软采样，这会导致处于长尾区域的大量无关乃至负面噪声帧仍有不可忽略的累积概率被抽中；而硬截断 Top-K 则完全抛弃了不确定性建模。为在概率建模中引入强健的边界感，AdaQ 借鉴了高斯分布的经典 \(3\text{-}\sigma\) 准则（正态分布中约 99.73% 的概率质量落在距均值 \(3\sigma\) 之内，之外被视作离群异值）。方法将离散帧的采样概率建模为围绕最大相似度峰值索引 \(\hat{\mu} = \arg\max_{j} p_j\) 展开的准高斯形式：

\[p_i = \frac{\exp(s_i / \tau)}{\sum_{j=1}^{T} \exp(s_j / \tau)}\]

通过将候选帧重新按相似度排序，AdaQ 在累积概率分布上确定满足有效置信度阈值 \(\theta\) 的核心高概率子集 \(Z \subseteq \mathcal{I}\)：

\[P(\hat{\mu} - 3\hat{\sigma} \le i \le \hat{\mu} + 3\hat{\sigma}) = \sum_{i \in Z} p_i = p_{\hat{\mu}} \sum_{i \in Z} \exp\left(-\frac{s_{\hat{\mu}} - s_i}{\tau}\right) = \theta\]

理论推导表明，有效候选帧集合的基数 \(|Z|\) 与采样温度 \(\tau\) 呈现直接的正相关依赖（\(|Z| \propto \tau\)）。当温度较低时，非峰值概率衰减极其剧烈，有效区间 \(|Z|\) 迅速收窄，自动实现紧凑的局部聚集；当温度升高时，衰减变缓，\(|Z|\) 显著拓宽以容纳全局视野。更关键的是，严格落在 \(3\text{-}\sigma\) 窗口之外的冗余帧直接被截断剔除、置概率为零，从根本上免疫了长尾不相关帧与嵌入模型误匹配噪声的侵蚀。

3. 无放回加权概率采样与时序重排：兼顾信息相关性与时序多样性

在通过 \(3\text{-}\sigma\) 准则圈定高可信候选集 \(Z\) 之后，若继续采取确定性的贪心排序选帧，极易因为局部相邻帧的高度视觉重叠而导致选出的关键帧扎堆冗余，丢失其他维度的线索。针对这一缺陷，AdaQ 在有效子集 \(Z\) 上对概率质量进行二次归一化得到修正分布 \(P_Z\)，并基于 Tillé 加权抽样算法执行无放回的加权随机采样抽取 \(K\) 个关键帧：

\[V_{\text{key}} \sim \mathrm{Sample}(\{V_i\}_{i \in Z}, P_Z, K)\]

每个有效帧被抽中的几率与其准高斯概率严格成比例。这种机制既确保了高相似度证据帧拥有极高的选中期望，又给予次高潜力的不同时序片段充分的入选空间，兼顾了任务相关度与时间覆盖多样性。最后，将选出的 \(K\) 个离散帧重新按照其在原始长视频中的真实时间戳升序排列，组合成结构连贯的时序多模态 Token 序列输入 MLLM 产生最终推理。

实验关键数据

主实验

论文在 LongVideoBench、Video-MME、LVBench 和 MLVU 四大主流长视频评测基准上，将 AdaQ 与朴素均匀采样、Top-K 硬筛选以及 SOTA 关键帧选择方法（FRAG、OneClip-RAG、AKS、Q-Frame、BOLT 等）进行了全面横向对比，覆盖 LLaVA-OneVision-7B、LLaVA-Video-7B、Qwen2.5-VL-7B 及 Qwen3-VL-8B 四大开源骨干网络。下表汇总了各模型在默认帧数设置下的核心表现：

模型架构	选帧策略	嵌入模型	帧数	LongVideoBench	Video-MME	LVBench	MLVU	相对均匀平均提升
LLaVA-OneVision-7B	Uniform (基线)	-	32	56.8	58.3	38.6	63.7	-
LLaVA-OneVision-7B	Top-K	CLIP	32	58.3 (+1.5)	58.9 (+0.6)	43.8 (+5.2)	66.9 (+3.2)	+5.5%
LLaVA-OneVision-7B	AKS	BLIP	32	59.3 (+2.6)	58.4 (+0.1)	43.5 (+4.9)	66.8 (+3.1)	+5.5%
LLaVA-OneVision-7B	Q-Frame	LongCLIP	32	59.4 (+2.6)	58.4 (+0.1)	44.3 (+5.7)	68.5 (+4.8)	+6.8%
LLaVA-OneVision-7B	AdaQ (本文)	CLIP	32	59.8 (+3.0)	59.3 (+1.0)	44.3 (+5.7)	68.5 (+4.8)	+7.3%
LLaVA-OneVision-7B	AdaQ (本文)	LongCLIP	32	60.0 (+3.2)	59.5 (+1.2)	44.8 (+6.2)	69.4 (+5.7)	+8.2%
LLaVA-Video-7B	Uniform (基线)	-	64	58.9	64.2	41.9	69.5	-
LLaVA-Video-7B	Top-K	CLIP	64	59.5 (+0.6)	64.4 (+0.2)	46.9 (+5.0)	71.2 (+1.7)	+3.9%
LLaVA-Video-7B	OneClip-RAG	CLIP	64	62.5 (+3.6)	65.2 (+1.0)	48.2 (+6.3)	71.2 (+1.7)	+6.3%
LLaVA-Video-7B	AKS	BLIP	64	62.7 (+3.8)	65.3 (+1.1)	47.6 (+5.7)	71.8 (+2.3)	+6.3%
LLaVA-Video-7B	Q-Frame	LongCLIP	64	61.5 (+2.6)	64.7 (+0.5)	47.1 (+5.2)	72.4 (+2.9)	+5.4%
LLaVA-Video-7B	AdaQ (本文)	CLIP	64	63.1 (+4.2)	66.0 (+1.8)	48.5 (+6.6)	72.6 (+3.1)	+7.5%
LLaVA-Video-7B	AdaQ (本文)	LongCLIP	64	63.2 (+4.3)	65.3 (+1.1)	49.1 (+7.2)	74.2 (+4.7)	+8.2%
Qwen3-VL-8B	Uniform (基线)	-	64	62.2	67.6	43.6	71.0	-
Qwen3-VL-8B	Top-K	CLIP	64	64.1 (+1.9)	67.7 (+0.1)	49.2 (+5.6)	73.2 (+2.2)	+4.8%
Qwen3-VL-8B	AKS	BLIP	64	65.2 (+2.4)	68.6 (+1.0)	49.0 (+5.6)	74.2 (+3.2)	+5.8%
Qwen3-VL-8B	Q-Frame	LongCLIP	64	65.0 (+2.8)	67.9 (+0.3)	50.2 (+6.6)	74.7 (+3.7)	+6.3%
Qwen3-VL-8B	AdaQ (本文)	CLIP	64	66.5 (+4.3)	69.8 (+2.2)	50.6 (+7.0)	75.0 (+4.0)	+8.0%
Qwen3-VL-8B	AdaQ (本文)	LongCLIP	64	66.9 (+4.7)	69.6 (+2.0)	51.4 (+7.8)	76.4 (+5.4)	+9.0%

此外，将 AdaQ 赋能于 64 帧的 Qwen3-VL-8B 时，模型在 LVB、Video-MME、LVBench 和 MLVU 上分别取得 66.9、69.4、51.4、76.4 的高分，全面超越了使用 256 帧（0.5 FPS）的商业闭源模型 GPT-4o（得分分别为 66.7、71.9、34.7、64.6），平均超出达 15.8%；而在 Qwen3-VL-30B 上配合 AdaQ（64 帧），四项基准进一步达到 70.2、71.1、52.4、77.8，显著刷新了开源长视频理解的极限。

消融实验

1. 采样概率调节策略与置信区间截断范围消融（基于 Qwen3-VL-8B，64 帧）

实验配置	概率调整方式	采样截断区间	LongVideoBench	Video-MME	LVBench	MLVU	平均相对提升
Uniform (基准)	无（均匀步长）	全视频 (All)	62.2	67.6	43.6	71.0	-
Probs-Ori	原始相似度 Softmax	全候选 (All)	62.5 (+0.3)	68.0 (+0.4)	44.1 (+0.5)	70.8 (-0.2)	+0.5%
Probs-Adjusted	方差自适应温度调节	全候选 (All)	66.0 (+3.8)	69.4 (+1.8)	50.0 (+6.4)	74.8 (+3.8)	+7.2%
AdaQ (\(2\text{-}\sigma\))	方差自适应温度调节	\(2\text{-}\sigma\) 紧凑区间	65.7 (+3.5)	69.1 (+1.5)	51.9 (+8.3)	74.6 (+3.6)	+8.0%
AdaQ (\(3\text{-}\sigma\))	方差自适应温度调节	\(3\text{-}\sigma\) 标准区间	66.5 (+4.3)	69.8 (+2.2)	50.6 (+7.0)	75.0 (+4.0)	+8.0%

2. 采样帧数与性能收敛消融（Qwen3-VL-8B + CLIP）

采样帧数 \(K\)	Uniform	Top-K (硬筛选)	AdaQ (本文)	AdaQ 较 Uniform 净胜	Top-K 较 Uniform 净胜
32 帧	58.0 (均值)	60.5 (+4.6%)	62.6 (+8.6%)	+4.6	+2.5
64 帧	60.9 (均值)	63.7 (+5.2%)	65.5 (+8.2%)	+4.6	+2.8
128 帧	64.3 (均值)	66.0 (+3.2%)	66.7 (+4.3%)	+2.4	+1.7
256 帧	66.3 (均值)	67.4 (+1.8%)	67.9 (+2.7%)	+1.6	+1.1

关键发现

• 方差自适应调节是性能爆发的关键催化剂：消融数据显示，直接对原始相似度做 Softmax 概率采样（Probs-Ori）仅能带来极其微弱的 +0.5% 增益，甚至在 MLVU 上略有倒退；而引入方差动态调节温度（Probs-Adjusted）后，平均增益猛增至 +7.2%，充分验证了根据提问性质动态压缩与平滑概率分布的决定性作用。
• \(3\text{-}\sigma\) 截断有效筑起防噪隔离带：在方差调控的基础上进一步加入 \(3\text{-}\sigma\) 区间过滤，剔除长尾低置信候选，使 LongVideoBench 和 Video-MME 得分进一步提升；对于高度依赖局部针尖线索的 LVBench，更紧凑的 \(2\text{-}\sigma\) 截断可获得高达 +8.3% 的单项爆发，而 \(3\text{-}\sigma\) 在四大泛化基准上取得了最平衡稳健的综合效果。
• 极端帧数下的高利用率与上限逼近：在仅使用 32 或 64 帧的极度稀疏输入下，AdaQ 分别取得了 +8.6% 和 +8.2% 的显著增益；而在帧数充裕的 256 帧设置下，AdaQ 仅需 64 帧即可逼近普通 Top-K 在 128 甚至 256 帧时的精度表现，极大地节约了下游 MLLM 的视觉 Token 吞吐与计算开销。

亮点与洞察

• 统计学先验与视觉-语言检索的优雅结合：不同于以往盲目引入启发式阈值或复杂贪婪搜索的选帧方法，AdaQ 巧妙地将高斯分布经典的 \(3\text{-}\sigma\) 规则投射到重排离散分布上。用连续统计学规则确定软采样置信区间的边界，既规避了硬 Top-K 的离散死板，又根除了全概率采样的长尾噪声。
• 方差作为任务类型的无监督指示器：敏锐地捕捉到了局部检索与全局理解提问在相似度分布方差上的统计学分化。无需构建额外的任务分类器或提示工程，仅凭样本自身方差即可闭环实现温度自适应调节，实现了仅依赖单个超参数 \(\gamma=0.5\) 的高度通用性。
• 低成本可复用技巧：整套流程纯粹在 CPU/GPU 内存中基于向量点积与简单张量运算完成，完全免除微调与参数反向传播。可作为即插即用的轻量化前置模块，与任意前端视觉检索器（CLIP、BLIP、LongCLIP）及后端多模态基座（Qwen-VL、LLaVA）无缝挂载。

局限与展望

• 对视觉-语言嵌入模型表示能力的依赖：尽管 AdaQ 对相似度噪声展现出了超越 Top-K 的鲁棒性，但采样分布的基底仍完全取决于前端嵌入模型的特征匹配质量。若长视频中包含极度抽象的动作时序因果或长程多跳关联，静态图像-文本小模型若在特征层面完全无法捕捉线索，准高斯分布依然可能出现中心偏移。
• 单峰准高斯假设对复杂多事件复合查询的约束：当前模型基于单一全局最大值点 \(\hat{\mu}\) 展开准高斯建模。若面对包含多个并列子事件的复杂复合查询（例如“先描述厨师切菜，再对比顾客用餐反应”），多模态分布可能存在多个分离的峰值，单一准高斯假设可能对次峰区域存在轻微欠采样。
• 未来改进方向：可进一步探索混合高斯采样模型（Gaussian Mixture Sampling），根据相似度频谱的多峰特性动态聚类多个子高斯区间，实现对复合长程事件的时序解耦采样。

相关工作与启发

• vs Top-K 静态硬截断（Baseline）：Top-K 机械保留前 \(K\) 个最高相似度帧，极易扎堆在单一片段且在全局问答中因视野狭隘发生严重负迁移；AdaQ 通过方差调节自适应放缩视野，并在 \(3\text{-}\sigma\) 有效集内执行加权随机采样，在全局与局部任务上均保持稳定正收益。
• vs Q-Frame（Zhang et al., 2025）：Q-Frame 引入 Gumbel 噪声来打乱相似度 Softmax 分布，本质上依然属于带有随机扰动的硬筛选（hard selection）；AdaQ 则是显式构造准高斯概率包络并限定可信度置信区间，采样过程遵循严格的概率质量权重，数学解释性与抗噪鲁棒性显著更优。
• vs BOLT（Liu et al., 2025a）：BOLT 采用累积分布函数（CDF）提升关键帧概率并执行逆变换采样，但缺乏对不同查询任务性质的动态响应；AdaQ 利用样本相似度方差作为动态调节杆，显式收放 \(3\text{-}\sigma\) 采样窗口，对多样化查询意图的适配更为灵活。

评分

• 新颖性: ⭐⭐⭐⭐☆ 首次将高斯分布 \(3\text{-}\sigma\) 规律和相似度方差特性系统引入长视频免训练关键帧选择，构思新颖巧妙。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 款先进开源多模态基座、3 种跨模态图文检索器和 4 大主流视频基准，消融和对比极其详实。
• 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层层递进，从观测现象到数学建模再到实验验证闭环完整，表达清晰精炼。
• 价值: ⭐⭐⭐⭐☆ 极简的单超参免训练架构，工程落地成本极低，对于长视频多模态系统降本增效具有高度实用价值。

相关论文

• [AAAI 2026] TSPO: Temporal Sampling Policy Optimization for Long-form Video Language Understanding
• [NeurIPS 2026] VideoOdyssey: A Benchmark for Ultra-Long-Context and Omni-Modal Video Understanding
• [NeurIPS 2026] VideoSTF: Stress-Testing Output Repetition in Video Large Language Models
• [NeurIPS 2025] FastVID: Dynamic Density Pruning for Fast Video Large Language Models
• [NeurIPS 2026] FreshMem: Brain-Inspired Frequency-Space Hybrid Memory for Streaming Video Understanding