Rethinking Long-Video Efficiency: A Joint Allocation Perspective on Frames, Pixels, and Front-End Latency¶

会议: NeurIPS 2026
arXiv: 2610.04318
OpenReview: https://openreview.net/forum?id=a9xLyT4hG4
代码: https://sixundong.com/projects/lohi
领域: 其他
关键词: 长视频理解, 视觉语言模型, 计算效率, 跨分辨率分解, 行列式点过程

一句话总结¶

针对长视频大模型以往仅在固定高分辨率下做帧/token筛选而忽视空间下采样与解码耗时的瓶颈，本文提出免训练单阶段框架 LoHi，将视频解耦为覆盖全时序的密集低分辨率视频流与补充关键细节的稀疏高分辨率图像流，在相同 token 预算下大幅超越现有方法并降低多达 7 倍的前端解码耗时。

研究背景与动机¶

长视频理解是大模型通往通用视觉智能的关键跳板，与静态图像或短视频不同，长视频中的任务相关线索往往高度离散地散落在数十分钟乃至数小时的时间跨度中，且部分核心线索（如字幕 OCR、细粒度物体属性）对分辨率极度敏感。然而在固定视觉 token 预算的严苛约束下，现有多模态大模型（VLM）通常被迫在时间采样密度与单帧空间细节之间做两难权衡。更遗憾的是，当前主流的长视频高效推理工作几乎清一色局限在“固定原始分辨率下的重要信息筛选”视角——要么在模型前基于文本相似度筛选稀疏关键帧（如 AKS、BOLT），要么在编码后通过网络层剪枝丢弃空间 token（如 VisionZip、FlashVid）。

这一既有范式存在两个被长期忽视的系统性盲区：其一，单帧空间分辨率本身就是可以被交换为时序覆盖密度的关键维度，但现有方案默认将分辨率锚定在原始尺度，导致长视频时间采样过于稀疏、关键动作片段极易漏采；其二，以“解码后筛选”为代表的关键帧算法需要先对整段视频进行稠密解码以构建候选帧池，在长视频场景下，依赖视频编解码器 GoP 逐帧寻道的真实物理耗时将急剧膨胀，前端解码延迟往往远超模型本身的推理计算，却从未被统一纳入端到端效率评估之中。

通过跨多个主流 VLM 与长视频基准的深入实证分析，本文揭示了三条颠覆常识的核心认知：密集低分辨率采样在同等 token 预算下全线压制稀疏原始分辨率基线；不同下游任务对空间分辨率的敏感度截然不同（OCR/属性感知强依赖高分辨率，而动作识别/时序推理在低分辨率下极其鲁棒）；以恒定帧数解码取代整段稠密解码可消除前端解码对视频时长的线性依赖。核心 idea：将长视频表征显式拆解为密集的低分辨率视频流与稀疏的高分辨率图像流，分别通过 VLM 原生视频通道与图像通道进行单阶段免训练联合前向，在统一预算下实现全局时序连续性与局部细粒度辨识力的解耦分配。

方法详解¶

整体框架¶

LoHi 将长视频输入从传统的单流单尺度配置，重构为跨分辨率联合分解体系。输入视频首先按固定的全局帧数 $N$ 进行一次原生分辨率解码（完全避免全视频密集预解码）；随后，这 $N$ 帧图像被直接下采样至低分辨率尺度 $r_\ell$，构成时序密集低分辨率视频流（Lo-V），通过原生视频通路及其内置的 3D mRoPE 编码注入全局连续时序上下文；与此同时，帧选择器在完全相同的已解码 $N$ 帧池中挑选出 $K$ 帧（$K \ll N$）关键帧，保持原始高分辨率尺度 $r_h$，作为细粒度图像流（Hi-I）送入原生图像通路，各自分配独立 2D 位置编码以保留精细辨识力。两个流在自然语言提示词的语义引导下无缝拼接，送入同一个 VLM 骨干网络完成单阶段回答生成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长视频输入 (H.264 等)"] --> B["原生单次统一解码 (固定预算 N 帧)"]
    B --> C["下采样分支 (缩放至低分辨率 r_l)"]
    B --> D["高分辨率抽取分支 (保持 r_h)"]
    C --> E["密集低分辨率视频流 (Lo-V)<br/>通过 VLM 视频通道及 3D mRoPE 建模"]
    D --> F["稀疏高分辨率选择器<br/>LoHi-Uniform / Anchor / SemDiv"]
    F --> G["稀疏高分辨率图像流 (Hi-I)<br/>通过 VLM 图像通道及独立 2D 位置编码"]
    E --> H["结构化语义交织文本提示词连接"]
    G --> H
    H --> I["VLM 单阶段联合推理<br/>输出长视频问答结果"]

关键设计¶

1. 跨分辨率联合分解与双通路映射：打破时空精度单一耦合

传统视频处理对输入采用单一的 $(N, r)$ 采样配置，在严格 token 预算 $B$ 下强制满足 $N \cdot \tau(r) \le B$。然而时序动作理解需要大 $N$，而微小文字识别需要大 $r$，单一配置无法两全。LoHi 将配置正交解耦为双流联合分配问题： $$N \cdot \tau(r_\ell) + K \cdot \tau(r_h) \le B, \quad N_{\text{dec}} = N$$ 其中 $N$ 取较大值（如 128 帧）而 $r_\ell$ 采用下采样（如 0.25），$K$ 取极小值（如 8 帧）而 $r_h$ 保持全分辨率（1.0）。在架构映射层面，巧妙利用了现代统一多模态大模型（如 Qwen-VL 系列）的原生双输入设计：Lo-V 流走视频通路，利用 3D 多模态旋转位置编码（mRoPE）建立严谨的时间连续步长；Hi-I 流走图像通路，使用独立 2D 位置编码承载高分辨率空间 patch。双流之间无需任何模型架构改动或权重微调，仅使用显式自然语言标记拼接，使大模型能够在全局时间轴背景下精准调用局部高分辨图谱。

2. 编解码感知选择器（LoHi-Anchor）：零计算开销利用码流先验

长视频解码的核心物理瓶颈源于现代编解码器（如 H.264/AVC）的图像组（GoP）结构。P/B 帧依赖前后参考帧，单帧寻道成本极其高昂。LoHi-Anchor 洞察到视频编码本身已为场景结构提供了天然切分：I 帧（关键帧）通常对应场景突变或强运动边界。因此，LoHi-Anchor 仅需调用解码库元数据接口直接读取预设的 I 帧时间索引，无需进行任何像素级渲染或神经网络打分。在均匀时间锚点附近，直接寻找最近的 I 帧并将其对齐到已解码的 Lo-V 候选池下标中。这一策略不仅完全消除了语义打分的推理耗时，而且自然捕捉到了视频镜头切换的关键瞬态。

3. 质量-多样性行列式点过程选择器（LoHi-SemDiv）：时序子模图优化

为在有限的 $K$ 个槽位中挑选最具信息量的高清帧，LoHi 提出了兼顾文本相关性与视觉差异性的子模选择算法。不同于以往直接取 CLIP 余弦相似度 Top-K 容易导致相邻帧严重冗余的问题，LoHi-SemDiv 将其形式化为时序行列式点过程（DPP）的 MAP 推断。首先计算每个低分辨率帧与问题 $Q$ 的余弦相似度并经过极值归一化与幂次锐化（指数 $\alpha=5$）得到质量项 $q_j$；结合帧间 CLIP 特征向量内积构建半正定核矩阵： $$L = \text{diag}(\mathbf{q})\, E E^\top \, \text{diag}(\mathbf{q}), \quad L_{ij} = q_i q_j e_i^\top e_j$$ 为保证目标函数的非负单调次模性，引入正则化对数行列式目标： $$\mathcal{S}^* = \arg\max_{|\mathcal{S}|=K} \log\det(L_\mathcal{S} + \mathbf{I})$$ 采用一阶贪心增量更新结合 Cholesky 分解加速，以 $\mathcal{O}(NK^2)$ 的近乎瞬时耗时获得 $(1 - 1/e)$ 近似比的最优候选子集，确保被挑选的 Hi-I 图像既高度紧扣问题，又在视觉空间上相互正交、互不重叠。

4. 动态熵驱动早退机制：按需激活高清细视

虽然高清图像输入能大幅增强空间辨识，但长视频中大量概括性或宏观动作类问题仅凭 Lo-V 即可高置信度回答。LoHi 提出自适应早退分支：首轮先以超轻量低分辨率视频流 Lo-V 进行初次推理，监测输出预测分布的信息熵 $H(p_{\text{Lo-V}}(\cdot \mid Q))$。当熵值低于预设阈值 $\theta$ 时直接输出预测；仅在模型处于高不确定性时，才动态激活 Hi-I 高清流执行第二轮完整前向。该机制使模型能在仅额外调用约三分之一高分辨率前向的前提下，维持与全量 LoHi 相当的优异准确率。

损失函数 / 训练策略¶

LoHi 属于纯粹的免训练（Training-free）与无需架构微调框架，整个流程完全构建于现有冻结权重的 VLM 预训练模型基础之上。双流之间的信息交互与时空对齐完全由提示词模板驱动：输入组织为形如 "[Video] The above low-resolution video provides temporal context. The following K high-resolution images show selected key frames: [img1], ..., [imgK]. [Question]" 的交叉提示（Interleaved Cue）。在推理阶段，视觉编码器前向只计算经过下采样的 128 个轻量 patch 和 8 个高清 patch，彻底省去了传统预训练或复杂强化学习微调的开销。

实验关键数据¶

主实验¶

在 Qwen3-VL-4B 骨干下，各方法在严格统一的 visual token 预算（约 5,760 tokens）及解码帧数约束下的对比结果如下：

数据集 / 基准	设定 (Frames@Res)	视觉 Token 预算	本文 (LoHi-SemDiv)	之前SOTA (BOLT)	提升
VideoMME (All)	[email protected]+8Hi-I vs [email protected]	5,760	66.81%	60.81%	+6.00%
VideoMME (Short)	[email protected]+8Hi-I vs [email protected]	5,760	77.11%	71.44%	+5.67%
VideoMME (Medium)	[email protected]+8Hi-I vs [email protected]	5,760	65.78%	59.00%	+6.78%
VideoMME (Long)	[email protected]+8Hi-I vs [email protected]	5,760	57.56%	52.00%	+5.56%
MLVU	[email protected]+8Hi-I vs [email protected]	5,760	74.38%	68.11%	+6.27%
LVBench	[email protected]+8Hi-I vs [email protected]	5,760	45.90%	42.48%	+3.42%
三大基准平均 (Avg.)	[email protected]+8Hi-I vs [email protected]	5,760	62.36%	57.13%	+5.23%

注：对比 vanilla 原始分辨率基准（[email protected] 平均 51.76%），LoHi 平均提升高达 +10.60%。

消融实验¶

在 VideoMME 上对 Lo-V 与 Hi-I 通路的必要性及不同配置进行系统性剥离（Qwen3-VL-4B，统一约 5,760 预算）：

配置	视觉 Token 数	VideoMME 准确率 (Acc.)	说明
纯低分辨率基线 ([email protected], 无 Hi-I)	5,760	64.44%	仅具时序广度，缺失细粒度空间分辨力
纯高分辨率稀疏图像 ([email protected], SemDiv, 无 Lo-V)	5,760	63.74%	仅具空间清晰度，时序极度碎片化
极低预算稀疏高分辨率 ([email protected], SemDiv, 无 Lo-V)	2,880	60.85%	欠采样严重，时序严重断裂
LoHi-Uniform ([email protected] + 8Hi-I)	5,760	65.78%	均匀挑选高清帧，相比纯低分辨率提升 +1.34%
LoHi-Anchor ([email protected] + 8Hi-I)	5,760	65.89%	编解码 I 帧引导，准确率进一步提升
LoHi-SemDiv ([email protected] + 8Hi-I 完整模型)	5,760	66.81%	时空双流互补，相比纯低分辨率提升 +2.37%

前端解码及端到端延迟对比：在 60 分钟长视频中，密集预解码方案（如 BOLT/AKS）解码延迟高达 53.3s，而 LoHi 恒定采样机制仅需 7.2s，实现 7.4 倍前端加速；在端到端 TTFT 层面，LoHi 规避了稠密全分辨率 ViT 编码，ViT 阶段耗时由 token 剪枝基线的 2,486ms 骤降至 195ms（加速 12 倍），首 token 延迟由 8,186ms 缩短至 3,906ms。

关键发现¶

低分辨率密集采样的压倒性优势：仅依靠空间下采样换取 16 倍帧数密度的单纯基线（[email protected]）在三大基准平均得分即达 59.17%，直接击败了此前所有基于复杂注意力或相似度剪枝/筛选的高阶算法。
分辨率敏感任务的互补恢复：将任务细分为空间敏感类（OCR、属性感知）与空间不敏感类（动作识别、时序关系），低分辨率对前者有明显精度损伤，而加入仅 8 帧高分辨率图像流即可完全抹平差距，验证了双流正交互补性。
Token 剪枝在视频域的局限：实验表明，简单的空间 Resize 在效率与精度上均显著优于 VisionZip、FlashVid 等剪枝方法，因为不规则丢弃 patch 破坏了视频帧间的时空连续性先验与位置编码结构。

亮点与洞察¶

跳出“单纯选 Token”思维定式，将系统瓶颈扩展到全链路物理成本：敏锐指出现代多媒体编解码（GoP）与硬件开销才是长视频吞吐的核心现实堵点，让算力分配直接对齐计算与 I/O 双重物理法则。
软硬件协同的优雅映射：不改写任何预训练权重，直接将低分辨率流与高分辨率流分别对接大模型的 Video 通道（带 3D 连续时间位置编码）与 Image 通道（带独立静态空间位置编码），巧妙借力已有预训练分布。
可复用的时空次模多样性选择器：将静态图像内部的多样性 DPP 推广至时序尺度并与语义相关性闭环结合，为各类动态多模态检索与长序列感知任务提供了极具鲁棒性的通用选帧工具。

局限与展望¶

对大模型动态分辨率能力的依赖：方法假设底层 VLM 具有较强的 AnyRes 或低分辨率特征融合机制（如 Qwen-VL 系列）；对于早期固定 Patch 编码的老旧视觉底座，极端下采样可能导致浅层特征退化。
提示词形式的轻微敏感性：由于免训练依赖自然语言引导大模型识别两组输入流的时空关系，提示词的穿插位置对最终结果有小幅波动（交织式提示比尾缀提示高约 0.5%）。
未来改进方向：可进一步探索在编解码内部复用运动矢量（Motion Vectors）与参考残差，将免费的解码器副产物直接注入时序特征，消除独立的特征提取步骤。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 突破单一分辨率与忽略解码耗时的局限，首创长视频跨分辨率双流分解范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 大主流模型、三大基准与海量消融，包含详实的系统级硬件与端到端延迟画像。
写作质量: ⭐⭐⭐⭐⭐ 论点极其鲜明，逻辑层层递进，从三条深刻实证发现自然推导至系统方案。
价值: ⭐⭐⭐⭐⭐ 对工业界与学术界长视频多模态系统的大规模推理落地具有关键的架构设计指导意义。