FrameScout: Scouting Query-Relevant Frames for Long Video Understanding¶

会议: NeurIPS 2026
arXiv: 2610.23975
代码: https://github.com/Hubert-1102/FrameScout
领域: 视频理解
关键词: 长视频理解, 关键帧选择, 流式架构, 对比学习, 继承者聚合

一句话总结¶

针对长视频理解中视觉 token 爆炸导致模型难以全量处理的痛点，提出了轻量级关键帧选择框架 FrameScout，通过滑动窗口 KV 缓存与反向继承者聚合构建具备全时序上下文的解耦帧表征，并基于帧-查询对比学习直接拉开正负样本间距，以恒定显存与线性复杂度实现精确帧检索与多查询场景下的显著加速。

研究背景与动机¶

长视频理解要求多模态大语言模型（VideoLLMs）针对数十分钟乃至数小时的视频内容回答细粒度时序推理与事实问答查询。然而，输入视频的视觉 token 总量随视频时长线性激增，在长视频场景下轻易达到数十万乃至百万量级，不仅迅速击穿多数模型的有限上下文窗口，还给注意力机制带来不可承受的二次方计算与显存开销。虽然均匀降采样能粗暴压缩帧数，但不可避免地丢失与特定查询密切相关的关键线索。因此，训练轻量级关键帧选择器（Keyframe Selector）从长视频中精准挖掘最贴近查询的紧凑帧子集，成为了突破长视频落地瓶颈的核心路径。

然而，现有的关键帧选择方法在表征构建与优化目标两方面均存在显著缺陷。像 FOCUS 这类基于预训练视觉语言编码器（如 CLIP/BLIP）的相似度检索方案，将每一帧与文本查询独立打分，不仅完全割裂了视频帧之间的跨时序依赖，且冻结的表征空间仅包含浅层语义重叠，难以应对需要复杂时序推理的长视频问答。近期的 FlexSelect 尝试将视频切分为独立视频块（chunks）并使用 Spearman 秩相关损失进行监督训练，但块与块之间互不联通，使得帧表征无法感知跨块时序上下文；更严重的是，其秩相关损失强行对全局所有帧的相对全序进行打分回归，既极其难以优化，又把帧编码与具体查询深度耦合，导致面对同一视频的后续查询时必须重复对全视频进行前向重算。

面对上述矛盾，理想的选择器必须同时满足两个核心条件：其一，在极低的恒定显存与线性计算开销下，为每一帧构建融合了前后全局时序上下文的富信息表征；其二，学习一个直接面向“相关 vs 不相关”二元区分的紧凑对齐空间，并将视频表征与文本查询解耦以复用离线特征。核心 idea：利用基于注意力汇的滑动窗口 KV 缓存向前传递历史上下文，结合受强化学习启发的一次反向递推继承者聚合（Successor Aggregation）融入衰减未来信息，并在解耦的共享特征空间中通过帧-查询对比损失（Contrastive Loss）直接拉近相关帧与查询嵌入。

方法详解¶

整体框架¶

FrameScout 由流式选择器架构与帧-查询对比学习目标两大支柱构成。在模型结构上，选择器采用轻量级 VideoLLM（包含冻结的视觉编码器 $\mathcal{E}$、轻量语言模型主干 $\mathcal{G}$ 和两层 MLP 投影头 $\phi$）。输入视频首先按固定大小切分为多个视频块，在流式向前处理时依靠注意力汇（Attention Sink）与滑动窗口维护固定上限的 KV 缓存，捕获完整的上游历史；随后通过单次反向递推聚合未来帧的状态，生成全局双向时序感知的帧嵌入。在训练阶段，利用教师大模型注意力生成的伪标签指导帧-查询对比学习；在推理阶段，视频编码仅需单次离线运行，多查询场景仅需计算轻量文本向量与已存帧嵌入的点积。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入长视频序列 F (N 帧)"] --> B["切分视频块 + 视觉编码器提取视觉 Token"]
    B --> C["滑动窗口 KV 缓存机制<br/>固定系统 Prompt 汇 + 局部前序窗口"]
    C --> D["单向自回归流式前向<br/>逐块输出历史感知隐状态 h_i"]
    D --> E["继承者聚合机制<br/>指数折扣单次反向递推未来上下文"]
    E --> F["MLP 投影头映射<br/>获得双向全局解耦帧嵌入 M_i"]
    G["文本查询 Q"] --> H["语言骨干与共享投影头<br/>生成查询嵌入 M_Q"]
    F --> I["帧-查询对比学习与检索<br/>拉开正负帧间距 / Top-K 余弦相似度筛选"]
    H --> I
    I --> J["选定 K 帧关键帧序列送入下游基座 VideoLLM"]

关键设计¶

1. 滑动窗口 KV 缓存机制：恒定显存传递全视频历史 为了让每一帧都能融合前序时序信息而又不超出上下文限制，设计了一种流式滑动窗口缓存体系。将视频序列切分为长度为 $B$ 帧的非重叠块 $\mathcal{B}_t$。缓存 $\mathbf{C}_t = (\text{KV}(\mathbf{s}), \text{KV}_{[t-W, t-1]})$ 由两部分组成：第一部分为固定长度系统提示词 $\mathbf{s}$ 的 KV 缓存，作为注意力汇（Attention Sink）永久保留，防止滑动窗口移动时引发注意力分布崩溃；第二部分为最近 $W$ 个块的局部滑动窗口。处理当前块时，主干网络直接以该混合缓存为前置上下文： $$(\mathbf{h}_{(t-1)B+1}, \dots, \mathbf{h}_{tB}) = \mathcal{G}(\mathbf{C}_t, \mathbf{V}_t)$$ 处理完毕后，将当前块的 KV 移入窗口并淘汰最老的一个块，同时利用 RoPE 重新调整位置编码。尽管显存占用始终被严格限制在 $|\mathbf{s}| + WBL$ 个 token 的恒定常量级，但根据因果注意力的链式传递特性，前序块在生成时已结合了更早期的历史状态，因而历史信息得以跨越窗口边界被隐式递归地向后传递，保证每个隐状态 $\mathbf{h}_i$ 充分融合了 $F_1, \dots, F_i$ 的全部前序背景。

2. 继承者聚合机制：一次反向遍历捕获未来时序上下文 滑动窗口机制本质上是单向因果的，帧隐状态 $\mathbf{h}_i$ 无法感知未来的事件走向，而长视频中的许多线索（如因果事件的后果、动作的完成态）必须依赖后向上下文才能准确判断其与当前查询的关联度。传统的双向 Transformer 编码器需要保留全序列注意力矩阵，显存与计算随视频长度二次方或线性爆炸。为此，借鉴强化学习中将状态价值表征为未来折扣奖励累积的“继承者表征（Successor Representation）”思想，设计了指数衰减的时序后向聚合算子： $$\mathbf{M}_i = \phi\left(\sum_{k=0}^{N-i}\beta^k \mathbf{h}_{i+k}\right) = \phi(\mathbf{z}_i)$$ 其中 $\beta \in [0, 1]$ 为时间折扣因子（默认设为 0.3）。该式满足递推关系 $\mathbf{z}_i = \mathbf{h}_i + \beta \mathbf{z}_{i+1}$（以 $\mathbf{z}_N = \mathbf{h}_N$ 为初值），因此只需从最后一帧向第一帧进行一次极其轻量（计算量仅 $\mathcal{O}(Nd)$、显存 $\mathcal{O}(d)$）的反向线性递推，即可为所有帧融合未来语义，且相邻近的未来帧权重高、久远的未来帧影响逐步衰减，完美平衡了双向全局视野与恒定显存约束。

3. 帧-查询对比学习与查询解耦检索：直击正负分离本质 针对以往方法采用复杂的全局相对排序损失（如 Spearman 损失）难以收敛、且将帧打分与文本查询深度绑定的痛点，FrameScout 明确指出关键帧选择的本质仅是“挑出相关帧，剔除无关帧”，无需对大量负样本内部的微弱次序强行建模。方法首先利用强基座 VideoLLM（如 InternVL2.5-8B）对视频进行全局注意力采样，提取查询词到视频帧的交叉注意力均值，选取注意力最高的 Top-$k$ 帧构成正样本集合 $\mathcal{T}_+$，其余归入负样本集合 $\mathcal{T}_-$。随后使用与视频帧共享的骨干网络和投影头将查询文本映射为嵌入 $\mathbf{M}_Q = \phi(\mathcal{G}(Q))$，并通过多正例对比损失进行端到端优化： $$\mathcal{L} = -\frac{1}{|\mathcal{T}_+|}\sum_{i\in\mathcal{T}_+}\log\frac{\exp(\operatorname{sim}(\mathbf{M}_Q, \mathbf{M}_i)/\tau)}{\exp(\operatorname{sim}(\mathbf{M}_Q, \mathbf{M}_i)/\tau) + \sum_{j\in\mathcal{T}_-}\exp(\operatorname{sim}(\mathbf{M}_Q, \mathbf{M}_j)/\tau)}$$ 该目标直接推大正负帧在余弦相似度空间中的间距。由于帧嵌入 $\mathbf{M}_i$ 的生成完全不依赖特定查询，对于任意长视频只需计算并保存一次帧特征；当新查询到达时，仅需一次文本前向和轻量向量内积排序即可输出 Top-$K$ 关键帧，彻底杜绝重复编码开销。

损失函数 / 训练策略¶

训练时，为了最大化吞吐效率并降低显存激活开销，FrameScout 采用“独立块训练 + 流式推理”的解耦策略：在训练反向传播时，每个样本的视频块仅依托注意力汇 $\text{KV}(\mathbf{s})$ 进行并行独立前向，避免维持跨块梯度图；跨块时序依赖则完全由反向继承者聚合算子提供。实验证明，该策略在相同训练时间预算下收敛更快、损失更低，且与测试时激活的滑动窗口机制高度兼容自洽。

实验关键数据¶

主实验¶

在 VideoMME、MLVU 和 LongVideoBench（LongVB）三大权威长视频理解基准上，针对闭源与开源共 6 款主流基座 VideoLLM，以严格一致的 $K=60$ 帧预算与现存顶尖帧选择基线对比，主实验关键数据如下表所示：

基座 VideoLLM	方法	VideoMME-Long	VideoMME-Overall	MLVU (M-Avg)	LongVB (Val)
GPT-5.4-mini	Uniform FOCUS FlexSelect FrameScout (Ours)	46.9 42.1 (-4.8) 50.4 (+3.5) 52.3 (+5.4)	56.1 53.2 (-2.9) 59.3 (+3.2) 60.8 (+4.7)	57.8 62.3 (+4.5) 61.2 (+3.4) 62.7 (+4.9)	52.9 54.2 (+1.3) 58.8 (+5.9) 58.9 (+6.0)
GPT-5.4	Uniform FOCUS FlexSelect FrameScout (Ours)	60.9 54.2 (-6.7) 64.7 (+3.8) 65.4 (+4.5)	66.9 64.9 (-2.0) 70.6 (+3.7) 72.5 (+5.6)	68.5 67.3 (-1.2) 64.7 (-3.8) 72.0 (+3.5)	63.6 63.2 (-0.4) 68.1 (+4.5) 68.4 (+4.8)
Qwen2.5-VL-7B	Uniform FOCUS FlexSelect FrameScout (Ours)	51.4 54.3 (+2.9) 55.4 (+4.0) 57.3 (+5.9)	62.6 63.4 (+0.8) 64.9 (+2.3) 65.6 (+3.0)	64.9 69.3 (+4.4) 67.2 (+2.3) 70.3 (+5.4)	59.0 61.1 (+2.1) 63.0 (+4.0) 63.3 (+4.3)
LLaVA-Video-7B	Uniform FOCUS FlexSelect FrameScout (Ours)	53.5 46.9 (-6.6) 51.8 (-1.7) 56.1 (+2.6)	63.8 59.2 (-4.6) 62.6 (-1.2) 65.7 (+1.9)	71.5 69.3 (-2.2) 70.2 (-1.3) 72.3 (+0.8)	60.4 63.2 (+2.8) 62.5 (+2.1) 63.4 (+3.0)
InternVL2.5-8B	Uniform FOCUS FlexSelect FrameScout (Ours)	51.4 54.2 (+2.8) 55.0 (+3.6) 55.4 (+4.0)	62.7 61.9 (-0.8) 63.3 (+0.6) 64.3 (+1.6)	68.9 69.5 (+0.6) 69.6 (+0.7) 70.2 (+1.3)	61.8 63.9 (+2.1) 65.0 (+3.2) 65.7 (+3.9)
Qwen3-VL-8B	Uniform FOCUS FlexSelect FrameScout (Ours)	54.7 57.5 (+2.8) 60.3 (+5.6) 61.2 (+6.5)	65.1 64.8 (-0.3) 67.7 (+2.6) 69.3 (+4.2)	67.9 70.7 (+2.8) 71.6 (+3.7) 72.6 (+4.7)	62.9 64.4 (+1.5) 64.1 (+1.2) 67.8 (+4.9)

消融实验¶

基于 Qwen2.5-VL-7B 在 VideoMME 与 LongVB 上对架构组件与训练目标进行逐步拆解消融：

配置 / 变体	VideoMME (Overall)	LongVB (Val)	说明
Full FrameScout	65.6	63.3	完整模型（滑动窗口KV + 继承者聚合 + 对比学习）
w/o 滑动窗口 KV 缓存 (Separate Windows)	65.0	61.3	移除滑动缓存，块间无历史时序传递（性能下降 0.6% / 2.0%）
w/o 继承者聚合 (β = 0)	65.3	62.7	移除后向未来递推，仅含单向因果上下文（下降 0.3% / 0.6%）
w/o 对比目标 (替换为 Spearman 秩损失)	61.1	60.7	替换为全序排序目标，严重劣化（大幅暴跌 4.5% / 2.6%）

关键发现¶

对比学习目标是性能的核心支柱：消融显示将对比学习替换为 FlexSelect 所用的 Spearman 秩损失后，性能直接狂跌 4.5%（从 65.6 跌至 61.1），证明在关键帧选择任务中，迫使模型对不相关的背景帧强行学习全序排序会极大干扰对关键证据的判别，而拉开正负区分度的对比空间才是最优设计。
极端低预算下优势极为显著：在 $K=4$ 帧的极致受限预算下，FrameScout 在 VideoMME Overall 上相较 Uniform 提升高达 +5.9%（55.1 vs 49.2），显著优于 FOCUS (54.4) 与 FlexSelect (52.7)；表明对比学习对最相关特征头部精度的建模能力极强。
恒定显存与多查询推理加速：随着视频帧数从 64 增加到 4096，FlexSelect 的显存占用突破 80GB，而 FrameScout 始终维持在约 8GB 的恒定水平（显存降低超 10 倍）；面对 8 个连续查询时，由于特征可完全复用，FrameScout 相比 FlexSelect 取得了 6.3 倍端到端加速，相比 FOCUS 取得了 21.2 倍加速。

亮点与洞察¶

将强化学习的继承者表征迁移至双向视频流：传统双向注意力在长序列上面临不可承受的显存开销，而 FrameScout 巧妙借用单次反向指数递推算子，以不可思议的 $\mathcal{O}(Nd)$ 极小代价将未来时序信息融入因果流表征中，实现了既保流式处理又得双向视野。
正负划分与查询解耦的二元哲学：打破了学术界盲目追求全局帧间打分排序的思维惯性，将问题准确定义为“区分相关与不相关”，用多正例对比学习实现表征空间的高度自洽与帧特征复用，极大提升了多轮视频问答的工业实用价值。

局限与展望¶

依赖大模型注意力的伪标签质量：训练正样本的监督信号源于教师 VideoLLM 在下采样帧上的交叉注意力权重，若教师模型本身对长程多跳逻辑存在定位幻觉，可能会将错误的背景帧作为正例引入噪声。
固定时间衰减因子的适应性有限：目前后向继承者聚合采用全局固定的折扣系数 $\beta=0.3$，对于动作跨度长短极不均衡的多样化视频（如数小时的慢节奏监控 vs 数分钟的高频体育集锦），自适应动态衰减因子可能会带来更优的时序上下文粒度。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙融合注意力汇流式缓存与反向继承者聚合，在恒定显存下打通双向时序，架构精妙。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 6 款前沿基座大模型与 3 大主流长视频基准，包含了深入的效率、显存、消融与可视化评估。
写作质量: ⭐⭐⭐⭐⭐ 核心问题痛点抓取精准，理论分析与复杂度推导严密清晰，逻辑连贯自洽。
价值: ⭐⭐⭐⭐⭐ 为长视频问答提供了极其高效实用的前置选帧框架，具备显著的工业落地与学术推广价值。