跳转至

VISA: Video Skeleton-Aware Efficient Frame Selection for Long Video Understanding

会议: EMNLP 2026
论文: https://aclanthology.org/2026.emnlp-main.1142/
领域: 视频理解
关键词: 视频帧选择、长视频理解、多模态大语言模型、I 帧锚点、跨 GOP 精炼

一句话总结

VISA 利用视频原生图像组(GOP)中的稀疏 I 帧构建无文本先验的时序骨架并自适应聚合文本相关性,通过动态规划在骨架上分配预算并跨相邻 GOP 进行精细化搜索,在大幅降低候选帧解码开销的同时显著提升长视频理解准确率。

研究背景与动机

多模态大语言模型(MLLMs)在视频问答与复杂时序推理任务中展现出令人瞩目的潜力,但将其实际扩展至数十分钟甚至数小时的长视频时面临着严重的计算与上下文瓶颈。现实长视频往往包含数万帧画面,若将所有帧稠密编码为视觉 token,不仅推理显存开销与时延呈爆炸式增长,甚至会直接击穿当前模型受限的上下文窗口容量。为了在可接受的计算开销下保留关键时空线索,帧选择(Frame Selection)成为长视频理解流水线中不可或缺的预处理环节,其核心目标是在有限的帧预算(如 32 帧)内筛选出承载最关键答案信息的紧凑帧子集。

然而,现存的主流帧选择范式存在两个关键的效率与理解瓶颈。首先是在候选采样阶段,现有方法大多采用全局均匀采样策略来获取初筛帧,由于视频编码标准中大部分帧为依赖前序参考的 P 帧或 B 帧,无法独立解码,解码这些帧必须从其所在 GOP(Group of Pictures)的前序关键 I 帧开始做时序依赖解码,导致实际上解码了解码器能够触碰的大部分视频流,带来了极高的前期 I/O 与解码时延。其次是在帧选择阶段,主流策略(如 AKS、FOCUS 等)主要依据候选帧与文本 query 的跨模态相似度进行无约束贪心排序或局域检索,这极易导致选出的帧过度集中于局部强相关的镜头(例如反复出现的特写物体),而忽略了视频全局的粗粒度时序推进与转场结构,造成隐式因果线索和动作连贯性的断裂,从而诱导大语言模型生成看似合理却存在幻觉的事实错误答案。

长视频理解在本质上要求兼顾“局部查询相关性证据”与“全局语义时序完整性”,且这一平衡必须建立在极低的时序解码成本之上。针对视频编码本身天然具备分层结构的特性,I 帧作为 GOP 内唯一可完全独立自解码的参考基准,天生凝聚了场景、背景与主要对象的全局轮廓。核心 idea:直接将视频编码原生的稀疏 I 帧提取为时序锚点并基于亮度余弦距离自适应切分场景以构建视频全局骨架,再将查询相关性由锚点逐级汇聚至骨架,最后利用动态规划做多场景预算分配并跨相邻 GOP 做边界感知精细化搜索。

方法详解

整体框架

VISA 的整体流程遵循“粗到细”的分层处理范式,共分为三个核心阶段:视频骨架构建(Video Skeleton Construction)、骨架感知锚点选择(Skeleton-Aware Anchor Selection)以及跨 GOP 候选帧精炼(Cross-GOP Frame Refinement)。首先,算法绕过耗时的稠密全视频解码,仅从视频原生比特流中快速抽取所有能够独立解码的稀疏 I 帧作为时序锚点,通过超轻量亮度图余弦变化率自适应切分为连贯场景,构建出保持原始时序进程的全局视频骨架,并通过层次化池化将 I 帧的 CLIP 查询相关度聚合至场景与视频级;随后,根据各场景的证据盈余与锚点边际效益,通过动态规划将总帧预算 \(B\) 在骨架场景间做非冗余分配;最后,针对选出的粗粒度锚点扩展相邻 GOP 候选窗口,利用局部稳健标准化相似度、锚点一致性、场景边界门控与跨场景时序衰减四重机制,精确锁定最具信息量的最终帧集合 \(X^\star\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    IN["长视频 V 与文本查询 Q<br/>总帧预算 B"] --> S1["视频骨架构建<br/>提取原生 I 帧锚点与轻量场景切分"]
    S1 --> S2["查询感知证据聚合<br/>锚点到场景与骨架的温度对数加权池化"]
    S2 --> S3["骨架感知锚点选择<br/>局部冗余衰减与场景级动态规划分配"]
    S3 --> S4["跨 GOP 候选帧精炼<br/>三 GOP 窗口展开与边界感知四重打分"]
    S4 --> OUT["最终紧凑帧集合 X* (|X*| <= B)<br/>输入多模态大模型进行高效推理"]

关键设计

1. 视频骨架构建与轻量场景切分:规避密集解码开销与提取时序骨架

传统帧采样在未定位关键信息前即做全局均匀采样,导致大量非关键 P/B 帧必须递归解码,极大消耗计算资源。VISA 充分利用视频编码的固有特性,直接提取视频比特流中所有 GOP 原生的 I 帧构成稀疏时序锚点集合 \(\mathcal{A} = \{a_1, a_2, \dots, a_M\}\)。为捕捉场景转场而无需运行笨重的高级感知模型,VISA 对每个解码出的 I 帧提取灰度亮度分量 \(Y_i = 0.299R_i + 0.587G_i + 0.114B_i\),将其双线性下采样到极低分辨率的 \(32 \times 32\) 缩略图并做 \(\ell_2\) 归一化向量化为 \(g_i\)。相邻锚点之间的视觉变化率直接通过余弦距离衡量: $\(\delta_i = 1 - g_i^\top g_{i+1}\)$ 为了消除局部相机抖动或微小光照突变引起的假阳性波动,算法对变化序列应用三点滑动平均平滑,并采用自适应 Otsu 阈值分割算法对局部峰值进行显著性过滤,从而在无需任何文本偏置的条件下,将全视频精准切分为 \(K\) 个语义连贯的时序场景片段 \(\mathcal{S} = \{S_1, S_2, \dots, S_K\}\)。这些场景片段连同 I 帧锚点构成了保留全局时序结构的 query-agnostic 视频骨架。

2. 查询感知证据聚合:跨层次的全局与局部信息融合

单纯依靠单帧与文本查询的匹配容易陷入局部细节而丧失宏观语义支持。VISA 首先采用轻量级 CLIP ViT-B/32 编码器分别提取文本查询向量 \(e_q\) 与各个 I 帧锚点向量 \(e_i\),计算余弦相似度并实施视频内部的 Min-Max 归一化,得到校准后的锚点查询相关度得分 \(p_i\)。为了评估某个场景甚至整部视频与当前任务的宏观关联度,VISA 设计了自底向上的双层平滑对数指数加权聚合(Log-Sum-Exp Pooling): $\(E_k = \tau \log \left( \frac{1}{|S_k|} \sum_{i \in S_k} \exp(p_i / \tau) \right), \quad E_v = \tau \log \left( \frac{1}{K} \sum_{k=1}^K \exp(E_k / \tau) \right)\)$ 其中平滑温度系数设为 \(\tau = 0.1\)。该公式在理论上平滑逼近了最大值操作,既能对场景内显著相关的锚点保持高度敏感,又不会因为单帧异常峰值而失真,从而输出兼备锚点级相关性 \(p_i\)、场景级证据量 \(E_k\) 和骨架级整体基线 \(E_v\) 的多层级证据表征。

3. 骨架感知锚点选择:边际收益递减与动态规划预算分配

若直接根据查询相关度从所有锚点中贪心选择 Top-\(B\) 项,极易把预算浪费在同质化镜头中。VISA 将锚点选择建模为带有冗余惩罚的树状骨架分层优化问题。首先定义场景证据盈余 \(\Delta_{scene}^k = [E_k - E_v]^+\) 与锚点局部超额增益 \(\Delta_i = [p_i - E_k]^+\)(其中 \([x]^+ = \max(x, 0)\))。为惩罚时序相邻的重复镜头,定义时间半径 \(r=2\) 内的局部视觉相似冗余度 \(\rho_i^{(r)}\),从而修正出有效锚点增益: $\(e_i^\Delta = \Delta_i \cdot \left(1 - \rho_i^{(r)}\right), \quad \rho_i^{(r)} = \frac{1}{|N_r(i)|} \sum_{j \in N_r(i)} \frac{e_i^\top e_j + 1}{2}\)$ 在分配预算时,每个场景分配 \(m_k\) 个锚点所带来的效用函数定义为 \(U_k(m) = \Delta_{scene}^k \log(1+m) + \sum_{j=1}^m w_j e_{k,(j)}^\Delta\),其中 \(w_j = \log(1+j) - \log(j)\) 强制引入了边际效用递减机制,严格防止预算过度倾斜到单一场景中。全局最优分配问题被分解为标准的二维动态规划求解: $\(dp[k, b] = \max_{0 \le t \le \min(b, |S_k|)} \left[ dp[k-1, b-t] + U_k(t) \right]\)$ 通过状态转移与回溯表,VISA 能够在线性多项式时间内确定每个场景的最佳锚点配额,选出信息充沛且结构均匀的粗粒度锚点集 \(\mathcal{A}^\star\)。

4. 跨 GOP 候选帧精炼:四重边界感知打分机制

I 帧虽然奠定了宏观位置,但受固定编码周期限制,瞬态动作的最关键发生时刻(如“将相机放下置于桌面”)往往出现在相邻的 P/B 帧甚至跨越到了紧邻的 GOP 中。VISA 针对每个选定的锚点 \(a_i \in \mathcal{A}^\star\),自适应向前后扩展一个相邻 GOP,构建精炼候选窗口 \(\mathcal{W}_i = \text{GOP}(i-1) \cup \text{GOP}(i) \cup \text{GOP}(i+1)\)。为防止引入无关的交叉场景噪声,VISA 设计了四重因子的综合精炼打分函数: $\(r_i(x) = u_i(x) \cdot q_i(x) \cdot b_i(x) \cdot \omega_i(x)\)$ 第一项 \(u_i(x) = \frac{1}{1 + \exp(-(s(x)-\mu_i)/\sigma_i)}\) 为局部稳健 Sigmoid 评分,以局部中位数 \(\mu_i\) 和基于 MAD 估计的离散度 \(\sigma_i\) 衡量候选帧在该窗口内的突出程度;第二项 \(q_i(x) = \frac{e_x^\top e_{a_i} + 1}{2}\) 约束其与原锚点的语义一致性,防止漂移;第三项 \(b_i(x) = \eta_b + (1-\eta_b)\chi_i(x)\) 为场景证据边界门控,当候选帧跨入证据不足的相邻场景时施加软惩罚(下限 \(\eta_b = 0.70\));第四项 \(\omega_i(x) = \exp(-\lambda_{dist} d_i(x) c_i(x))\) 为跨场景时序距离指数衰减项(\(\lambda_{dist}=0.70\))。最终在局部窗口内以字典序综合考量 \(r_i(x)\)、原始相关度及时间紧邻度选取最优精炼帧,保证了微观证据的精确捕捉。

评估基准与实验设计

实验基于统一多模态评测框架 lmms-eval,在 6 张 NVIDIA A100 GPU 平台上开展。测试覆盖三大具有挑战性的长视频多任务理解基准:VideoMME(涵盖短/中/长视频时序问答)、MLVU(长达 2 小时的多任务视频基准)以及 LongVideoBench(LVB,聚焦长时交错时空指代推理)。骨干评测模型涵盖三大主流开源多模态大模型:Qwen2.5-VL-7B-Instruct、InternVL3-8B 与 LLaVA-OneVision-Qwen2-7B-OV,全流程完全在无训练/免微调的推理阶段执行。对比基线包括均匀采样 Base(32 帧)以及三大多模态视频帧选择 SOTA 算法:AKS(CVPR 2025)、FOCUS(ICLR 2026)和 WFS-SB(CVPR 2026)。

实验关键数据

主实验

下表展示了 VISA 与各主流帧选择方法在 32 帧固定预算下,搭配三大 MLLM 骨干网络在 VideoMME(不同时序长度子集与总分)、MLVU 以及 LongVideoBench 上的准确率对比:

模型 Backbone 方法 Method VideoMME Short VideoMME Medium VideoMME Long VideoMME Overall MLVU LongVideoBench 平均相对提升 \(\Delta\)
LLaVA-OV-7B Base (Uniform-32) 70.7 56.3 49.0 58.7 62.9 55.7 +0.0%
AKS [CVPR'25] 72.0 57.9 51.2 60.4 65.8 58.7 +4.3%
WFS-SB [CVPR'26] 73.0 63.1 50.0 62.0 67.9 55.8 +4.6%
FOCUS [ICLR'26] 67.3 57.2 50.7 58.4 67.9 59.8 +5.0%
VISA 70.6 59.2 50.0 59.9 66.5 58.6 +4.4%
InternVL3-8B Base (Uniform-32) 74.1 63.2 54.2 63.9 68.6 59.2 +0.0%
AKS [CVPR'25] 76.3 65.4 54.1 65.3 74.3 61.0 +4.5%
WFS-SB [CVPR'26] 75.7 66.4 54.3 65.5 73.6 58.3 +2.8%
FOCUS [ICLR'26] 70.9 63.9 56.0 63.6 71.8 61.3 +2.6%
VISA 76.0 65.4 55.6 65.7 73.5 62.3 +5.1%
Qwen2.5-VL-7B Base (Uniform-32) 72.8 61.8 49.7 61.4 59.3 58.6 +0.0%
AKS [CVPR'25] 72.8 62.4 53.6 62.9 65.4 61.6 +5.9%
WFS-SB [CVPR'26] 74.4 64.4 54.2 64.4 70.3 58.8 +7.8%
FOCUS [ICLR'26] 70.2 60.9 53.4 61.5 67.9 62.3 +7.0%
VISA 75.0 62.3 54.4 63.9 67.2 63.8 +8.8%

消融实验与端到端效率分析

表 A 展示了在 Qwen2.5-VL-7B 下各模块的消融评测;表 B 则汇报了 LongVideoBench 上的解码帧数、解码耗时与整体验证端到端时延(单视频平均长达 20,033.7 帧):

表 A:核心模块消融实验 (Qwen2.5-VL-7B, 32 帧预算)

配置结构变体 VideoMME Acc (%) VideoMME 变化幅度 LongVideoBench Acc (%) LVB 变化幅度
Full VISA (完整模型) 63.9 - 63.8 -
模块 2: 骨架感知锚点选择
w/o 骨架感知分配 (改为全局打分排序) 62.8 \(\downarrow 1.1\) 61.0 \(\downarrow 2.8\)
w/o 局部冗余惩罚 (\(1 - \rho_i^{(r)}\)) 62.8 \(\downarrow 1.1\) 62.5 \(\downarrow 1.3\)
w/o 场景-锚点分层结构 62.7 \(\downarrow 1.2\) 62.3 \(\downarrow 1.5\)
模块 3: 跨 GOP 候选精炼
w/o 跨 GOP 精炼 (直接输出初始锚点) 62.2 \(\downarrow 1.7\) 62.8 \(\downarrow 1.0\)
w/o 边界感知打分 (\(b_i, \omega_i\) 等) 63.1 \(\downarrow 0.8\) 63.5 \(\downarrow 0.3\)
局限在单 GOP 精炼 (不展开邻域) 63.4 \(\downarrow 0.5\) 63.0 \(\downarrow 0.8\)

表 B:LongVideoBench 端到端计算与解码效率对比 (Qwen2.5-VL-7B)

方法方案 平均解码帧数 (Dec. Frames) 解码用时 Dec. Time (s) 端到端总时延 E2e Lat. (s) 相对 VISA 时延比率
AKS [CVPR'25] 736.4 35.93 83.19 +113.3% (慢 2.13x)
WFS-SB [CVPR'26] 750.9 35.74 84.03 +115.5% (慢 2.15x)
FOCUS [ICLR'26] 348.1 36.08 58.09 +48.9% (慢 1.49x)
VISA (Ours) 408.2 22.40 39.00 基准 (最快)

关键发现

  • 骨架分配是保持长时序全局上下文的核心支柱:在消融实验中,去除骨架感知分配(退化为 Flat 排序)对 LongVideoBench 造成了高达 2.8% 的剧烈跌幅,这表明在超长视频中若不显式按场景分散预算,贪心选择极易将帧预算全部浪费在单一局部高频镜头中。
  • 解码时延削减立竿见影:VISA 虽然平均解码帧数(408.2 帧)略高于 FOCUS(348.1 帧),但解码总时间却从 36.08s 骤降至 22.40s,总端到端耗时降低了 32.9% 至 53.6%。这是因为 FOCUS 采样的候选帧散布在需要链式递归解码的 P/B 帧中,而 VISA 起始锚点 100% 对应独立自解码 I 帧,仅对选出的数十个锚点邻域解冻单帧,完全绕过了大量帧间依赖链解码。
  • 帧预算敏感度与伸缩性优异:在 8、16、32、64 帧等不同预算测试下,VISA 在 LongVideoBench 上全面压制基线。当预算从 32 扩充至 64 帧时,Base 增益极其微弱,FOCUS 甚至在 VideoMME 上出现负优化(61.5% 跌至 62.1% 比 Base 还低 1.0%),而 VISA 保持持续上扬(达 65.2%),证明其保留结构骨架的选择范式具备更强的抗冗余饱和能力。

亮点与洞察

  • 硬件解码亲和性与算法设计的完美结合:传统算法将视频抽象为独立图片序列,无视底层 H.264/HEVC 压缩格式机制;VISA 巧妙借用原生 GOP 与 I 帧边界,从底层消除了 80% 以上不必要的参考解码链,这种针对底层系统开销的“反向优化”非常值得在流式与实时多模态系统设计中推广。
  • 树状边际递减的场景预算分配:通过对数函数 \(g(m)=\log(1+m)\) 与差分权重构造的边际效益递减公式,以极为纯粹优雅的动态规划彻底消除了复杂的手工启发式规则或贪心聚类超参,有效兼顾了多镜头覆盖与单场景精细度。
  • 稳健局部标准化与跨场景衰减门控:跨 GOP 搜寻容易引入截然不同的转场噪音,VISA 采用基于局部 MAD 的稳健 Sigmoid 规避异常高分,同时结合边界指示因子与时序指数衰减阻断跨场景漂移,细节打磨极为扎实。

局限与展望

  • 模型验证规模局限:受限于计算预算,论文当前的定量测试主要集中在 7B-8B 级别开源 MLLM 上,尚未在 72B 级别超大模型或闭源商业多模态 API(如 GPT-4o、Gemini 1.5 Pro)上验证其精度上限与泛化弹性。
  • I 帧间隔高度依赖原始转码参数:视频编码中的 GOP 尺寸(如开放式 GOP 与固定固定间隔 GOP)因编码软件与压缩比不同而参差不齐。若遇到未设关键帧、GOP 极端冗长(例如数百帧一个 I 帧)或动态场景频繁导致 I 帧过于密集的极端视频流,骨架切分阶段的鲁棒性仍有待进一步针对性自适应自愈机制。
  • 缺乏动态帧预算分配:当前选帧方案受限于固定总预算 \(B\)(如 32 帧),无法根据视频内在复杂度与问题难度自主决策所需帧数。

相关工作与启发

  • vs AKS (Tang et al., CVPR 2025): AKS 联合优化查询相关度与时间覆盖率,但基于全视频的低帧率均匀解码,在大规模长视频上时延极高(83.19s vs VISA 的 39.00s)。VISA 引入 I 帧骨架在显著降低时延的同时,在 Qwen2.5-VL 上实现了更高的准确率(63.8% vs 61.6%)。
  • vs FOCUS (Zhu et al., ICLR 2026): FOCUS 首先粗筛时间片段再选帧,但未显式维护全局视频结构骨架,容易断裂上下文因果链。VISA 利用原生 I 帧构建完整骨架,端到端延迟降低 32.9%,在 LVB 上的精度持续超越 FOCUS(63.8% vs 62.3%)。
  • vs WFS-SB (Chen et al., CVPR 2026): WFS-SB 利用小波变换提取语义边界片段,需要额外的信号分解计算且依然产生较高的解码开销(84.03s)。VISA 采用轻量亮度图与原生 GOP 锚点,计算极轻且无需复杂变换。

评分

  • 新颖性: ⭐⭐⭐⭐ 将原生视频编码 GOP/I 帧结构作为结构骨架引入长视频帧选择,切入角度实用新颖。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 大主流 MLLM、3 大长视频权威基准,消融实验详实,给出了罕见严谨的物理端到端时延分解。
  • 写作质量: ⭐⭐⭐⭐⭐ 数学建模严整,各阶段问题与对应机制阐释得极其通透自洽。
  • 价值: ⭐⭐⭐⭐⭐ 对于长视频 MLLM 推理部署降本增效具备立竿见影的工程落地与学术参考价值。