OneVision-Encoder: Codec-Aligned Sparsity as a Foundational Principle for Multimodal Vision-Language Models¶

会议: NeurIPS 2026
arXiv: 2602.08683
OpenReview: https://openreview.net/forum?id=PhUCpeOqyR
代码: https://github.com/EvolvingLMMs-Lab/OneVision-Encoder
领域: 多模态 VLM
关键词: 视觉编码器, 视频编解码器稀疏性, Codec Patchification, 3D RoPE, 聚类判别学习

一句话总结¶

本文提出 HEVC 编解码器驱动的视觉编码器 OneVision-Encoder（OV-Encoder），通过提取 P 帧运动矢量与残差能量自适应保留 3.1%~25% 的高信息熵 Patch，配合 3D RoPE 与百万级概念聚类判别，在保持密集时序覆盖的同时节省 75%~96.9% Token，视频理解与多模态下游性能显著超越 Qwen3-ViT 与 SigLIP2。

研究背景与动机¶

通用人工智能本质上是一个预测与压缩问题：当模型架构与底层数据的内在物理规律或信息论结构深度共振时，深度学习才能实现最高效的规模化扩展。在自然视频中，信号本身包含极高的时空冗余，绝大部分视觉内容可直接由上下文推断，而真正具有判别力的信息（即信息论中的“惊喜”或信息熵）在时空分布上极为稀疏。然而，当前主流的视觉 Transformer（ViT）大多深陷在“密集网格均匀计算”的框架中，在每一帧将所有 Patch 一视同仁地映射为 Token，把海量的计算资源白白浪费在静态背景上，忽视了定义动作与交互本质的时序残差变化。

这种粗暴的帧中心建模导致了现有视频多模态模型长期面临的严峻矛盾：为了捕捉长视频时序上下文，通常只能采取稀疏抽帧策略（如每秒仅采样1~2帧），这必然导致高速运动、微小动作与细粒度因果关系的致命丢失；若强行增加帧率做全采样，稠密的 Token 数量在自注意力机制中会引发计算开销的二次方爆炸。现有的 Token 剪枝或合并方案往往依赖模型内部不可靠的注意力权重，不仅打乱时空连续性，还会导致运动建模退化。事实上，成熟的视频编解码标准（如 H.264、H.265/HEVC）早已给出了优雅的解法：将视频流显式分解为建立全局静态上下文的关键帧（I帧）与依靠运动补偿和预测残差进行增量更新的前向预测帧（P帧）。

受此启发，本文认为解决视频理解的关键在于将视觉表示学习与视频 Codec 的底层信息论原理对齐。核心 idea：将视觉建模重塑为编解码器对齐的预测性压缩，提出 HEVC 驱动的 OneVision-Encoder，利用 P 帧的运动矢量与残差能量自适应过滤出高信息熵视觉 Patch（保留率仅 3.1%~25%），结合 3D-RoPE 统一不规则时空布局，并在包含超百万语义概念的大规模全局聚类判别目标下联合优化目标级静态语义与动作级运动动态。

方法详解¶

整体框架¶

OneVision-Encoder（OV-Encoder）是一个以标准 Vision Transformer（如 ViT-L/14）为骨干的通用自监督多模态视觉编码器。其核心流程包括输入数据流的 Codec Patchification、不规则时空序列的 3D-RoPE 位置注入、共享 Transformer 特征提取，以及双粒度（目标级与动作级）全局概念聚类判别。

输入阶段将连续视频（如 64 帧、分辨率 $224 \times 224$）按 HEVC 规范拆分为图像组（Group of Pictures, GOP）。在每个 GOP 内，完整的 I 帧提供宏观空间结构，而 P 帧根据编解码器中已有的运动矢量与残差能量提取局部显著 Patch。随后，所有保留的 Patch（配合 Chunk-wise 时序采样与单图输入模式）被转化为 Token 序列，通过映射至 64 帧虚拟网格的 3D-RoPE 建立统一时空拓扑，输入共享 ViT 中编码，最后由多头注意力池化（Attentive Pooling）聚合为紧凑的特征向量，对接全局语义概念库进行对比学习。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始输入流<br/>(64帧密集视频 / 视频分块 / 静态图像)"] --> B["Codec Patchification 显著性过滤<br/>I帧保留全量上下文 + P帧运动矢量与残差筛选"]
    B --> C["3D-RoPE 统一时空相对编码<br/>对齐 (Δt, Δx, Δy) 不规则稀疏 Token 布局"]
    C --> D["共享 Vision Transformer 骨干<br/>ViT-L/14 + FlashAttention-2"]
    D --> E["多粒度全局概念聚类判别<br/>100万+ 语义中心联合优化物体与动态"]
    E --> F["统一视觉表征<br/>(下游 LMM 对齐与 Attentive Probing)"]

关键设计¶

1. Codec Patchification：基于 HEVC 运动矢量与预测残差自适应筛选高熵 Patch

针对密集像素网格在静态背景上浪费海量算力的痛点，该设计直接从 HEVC 码流中提取结构化预测信号指导 Patch 稀疏化。每个视频 $\mathcal{V}_i$ 被拆分为 $N_i$ 个 GOP，每个 GOP 包含 1 个 I 帧 $F^{\mathrm{I}}_{i,n}$ 与若干 P 帧 $\{F^{\mathrm{P}}_{i,n,\tau}\}$。对于 P 帧，编码单元（CU）的运动矢量 $\bm{d}_{i,n,\tau}$ 反映宏观物理位移，而未被运动补偿解释的亮度预测残差则反映不可预测的外观突变。将这两个信号投影并累加到每个 ViT Patch（如 $14 \times 14$）内，构成 Patch 显著性得分。根据得分在剪枝比例 $r$ 下构建二值掩码 $\Omega_{i,n,\tau}$，输入序列形式化表示为： $$\mathcal{F}_{i,n}^{(\mathrm{hevc})} \triangleq \Big[ \Pi_{p}(F^{\mathrm{I}}_{i,n}) \;\oplus\; \big\{ \Pi_{p}(\bar{F}^{\mathrm{P}}_{i,n,\tau})[\Omega_{i,n,\tau}] \big\}_{\tau=1}^{K_{i,n}-1} \Big]$$ 其中 $\bar{F}^{\mathrm{P}}$ 为解码后的像素级 RGB P 帧，$[\Omega]$ 表示仅选取显著 Patch，$\oplus$ 为 Token 拼接。在 64 帧视频、GOP 大小为 32、总 Token 预算限制为 2048 的默认设置下，2 个 I 帧共分配 512 个 Token（各 256 个），其余 62 个 P 帧在全时程内竞争共享剩余的 1536 个 Token。这使得模型保留密集时序覆盖（覆盖完整 64 帧）的同时，整体 Token 数量相比密集计算的 16,384 个压缩了 87.5%（极端预算下压缩率高达 96.9%）。

2. 3D-RoPE 相对位置编码：赋予不规则离散时空 Token 结构连贯性

由于 Codec Patchification 挑选出的 Patch 在时间和空间上是不均匀离散分布的，传统的绝对三维位置编码在此类非网格化稀疏序列中会造成时空拓扑撕裂。本文引入 3D 旋转位置编码（3D-RoPE），将空间与时间坐标解耦为相对位移三元组 $\Delta p = (\Delta t, \Delta x, \Delta y)$。具体地，模型支持三种输入模式的统一泛化： - 密集视频 Codec 模式：$\Delta p_{\mathrm{codec}} = (t_i - t_j, x_i - x_j, y_i - y_j)$，其中时间坐标映射到 64 帧虚拟网格上，保留准确的帧间残差时序间距； - 分块时序采样（Chunk-wise）模式：将视频切分为 $C$ 个时间块并分块采样，$\Delta p_{\mathrm{chunk}} = (c_i - c_j, \Delta x, \Delta y)$，有效缓释中心空间偏置； - 单图静态模式：时间跨度退化为 0，即 $\Delta p_{\mathrm{spatial}} = (0, \Delta x, \Delta y)$。 3D-RoPE 使得共享的双向注意力机制能够无缝处理任意稀疏率与不同时空密度的 Token 序列，在注意力计算中显式保持因果与空间相对拓扑。

3. 多粒度百万级概念聚类判别：解耦单样本局部对比，学习结构化语义

传统的单实例对比学习（如 CLIP、SigLIP）依赖批次内负样本或文本弱监督，难以显式建模类内一致性与复杂的时空动作语义；而像素级重建（如 MAE）又偏向低阶纹理重建，语义抽象能力不足。本文构建了一个包含超 100 万个语义质心的离线概念库 $\mathcal{C}_{uni} = \mathcal{C}_{\mathrm{obj}} \cup \mathcal{C}_{\mathrm{vid}}$。利用冻结的 MetaCLIP 骨干，在图像模态上对超 6.5 亿样本聚类得到 200 万个目标级质心 $\mathcal{C}_{\mathrm{obj}}$，在视频模态上提取时空特征聚类得到 40 万个动作级质心 $\mathcal{C}_{\mathrm{vid}}$。多标签聚类判别损失函数定义为： $$\mathcal{L} = \sum_{m \in \{\mathrm{obj}, \mathrm{vid}\}} \mathbb{E}_{(u, k) \sim \mathcal{C}_m} \log\Big(1 + \exp\big(-y_{u,k}^m \, (e_u^{\top} c_k^m)\big)\Big)$$ 每个样本匹配距离最近的 Top-10 个语义质心作为正标签（$y=+1$），同模态其他采样质心作为负标签（$y=-1$）。这一目标驱动共享编码器同时掌握静态物体的语义不变性与动态事件的精细动作演化。

损失函数 / 训练策略¶

模型预训练采用两阶段方案： - 阶段 1（图像静态预训练）：使用 LAION-400M、COYO-700M、ImageNet-21K 等数据集（共 13B 样本），在分辨率 $224 \times 224$ 下基于 200 万目标级质心训练图像表征，优化器为 AdamW，学习率 $1 \times 10^{-3}$，权重衰减 0.2； - 阶段 2（多模态与视频 Codec 训练）：引入 OCR 数据（OBELICS、Zero250M）及长短视频数据（HowTo100M、Panda-70M、Kinetics-710、SSV2 等共 4B 样本）。图像分辨率提升至 448，视频输入 64 帧、分辨率 224，按 50% Codec 模式、37.5% Chunk 均匀采样、12.5% Tiling 空间拼接混合组批。学习率降低至 $1 \times 10^{-4}$，在 128 张 NVIDIA A800 GPU 上完成分布式预训练。

实验关键数据¶

主实验¶

在严格受控的 LMM 多模态探针评测中，所有模型以 Qwen3-4B-Instruct 为语言基座，经过统一的 1.5M 指令微调（LLaVA-NeXT + LLaVA-NeXT-Videos）。OV-Encoder 在大幅压缩 Token 的情况下全面领先同级别业界标杆模型。

任务类型	评测基准	指标	OV-Encoder-Lang (Codec)	Qwen3-ViT (Frame)	SigLIP2 (Frame)	相对领先幅度 (vs Qwen3-ViT / SigLIP2)
视频理解	MVBench	Top-1 Acc (%)	53.2	47.4	47.2	+5.8% / +6.0%
视频理解	VideoMME	Acc (%)	54.1	47.2	46.8	+6.9% / +7.3%
视频理解	NExT-QA (MC)	Acc (%)	76.1	70.1	70.6	+6.0% / +5.5%
视频理解	Perception Test	Acc (%)	60.6	57.1	56.0	+3.5% / +4.6%
视频理解	LongVideoBench	Acc (%)	51.6	45.0	45.2	+6.6% / +6.4%
图像理解	DocVQA	ANLS (%)	83.2	85.1	75.0	-1.9% / +8.2%
图像理解	InfoVQA	Acc (%)	51.6	49.0	42.0	+2.6% / +9.6%
图像理解	ChartQA	Relaxed Acc (%)	80.1	79.6	76.4	+0.5% / +3.7%
图像理解	AI2D	Acc (%)	80.2	77.8	78.6	+2.4% / +1.6%
图像理解	OCRBench	Score (0-1000)	657	706	621	-49 / +36

在表征质量评估（Attentive Probing，冻结骨干网络，Patch Budget = 2048）中，OV-Encoder (Codec) 在 8 项视频基准上取得平均 60.2% 的高精度，在强动作关联的 Diving48 数据集上达到 67.2%，相比 SigLIP2（50.1%）提升 +17.1%，相比 DINOv3（58.6%）提升 +8.6%。

消融实验¶

为了验证 Codec 显著性选择是否真正发挥了因果功能（而非随机稀疏或正则化带来的附带效应），作者在 4096 Token 预算下对 Codec 提取的运动 Patch 进行了多维度受控干预：

干预配置	平均准确率 AVG (%)	Diving48 (%)	SSV2 (%)	HMDB51 (%)	说明
OV-Encoder (Codec) 完整模型	61.5	69.4	60.1	85.3	完整保留 Codec 引导的高熵运动 Patch
非运动 Patch 替换 (50%)	55.4	55.4	52.1	79.4	相同视频、相同位置替换为静态背景 Patch (-6.1%)
反事实运动 Patch 替换 (50%)	54.9	57.2	50.6	79.0	替换为来自其他不相关视频的运动 Patch (-6.6%)
时空位置洗牌 (Position Shuffle)	48.1	46.3	41.8	73.6	保留 Patch 内容，但随机打乱时空坐标 (-13.4%)

此外，在计算预算扩展性消融（Table 5）中，当 Token 预算从 4096 缩减至 512（保留率从 25% 降至 3.1% 时，整视频计算量下降 96.9%），OV-Encoder (Codec) 平均准确率依然维持在 50.1%，明显超越同等 512 预算下均匀采样的 SigLIP2（43.4%），且与密集 1024 预算的 SigLIP2 性能相当。

关键发现¶

信息熵驱动的稀疏性打破了性能与效率的对立：实验证明绝大部分视频背景区域无需高频刷新，将 Token 集中在运动矢量与残差密集区域不仅没有损害表征，反而在时序动作基准（如 Diving48、VideoMME）上取得了远超全帧密集编码的判别精度。
运动 Patch 具有严格的语义特异性：消融实验表明，当用无关视频的运动 Patch 替换当前 Patch 时，模型在细粒度时序任务上下降剧烈，这有力排除了“稀疏化充当注意力掩码正则化”的假说，证明模型高度依赖运动特征本身的语义真实性。
Chunk-wise 采样成功缓解了 Codec 的中心空间偏倚：统计显示，单纯依靠 Codec 信号会导致显著的画面中心偏置；引入 Chunk-wise 随机采样后，Token 在画面边缘区域的分布均匀度显著提升，兼顾了局部动态与全景上下文。

亮点与洞察¶

从信息论和压缩协议重新审视视觉骨干架构：现代多模态大模型长期受困于庞大的视觉 Token 序列，本文跳出“训练后剪枝”的修补式思路，直接借力高度成熟的视频编解码标准（HEVC），将压缩算法暴露的运动向量与残差转化为零推理开销的先验显著图，设计兼具理论优雅与工程落地的双重价值。
3D-RoPE 与虚拟网格实现时空解耦统一：通过引入 64 帧虚拟时间轴，将不同帧率、不同长度、稀疏/稠密以及静态单图等异构输入统一映射至同一个相对坐标系中，巧妙消除了不规则稀疏输入造成的时空不连续性。
在更小预训练数据量下实现性能逆袭：相比 Qwen3-ViT 使用的超 2.1T Token 预训练规模，OV-Encoder 仅用约 100B Token 便在全线视频理解评测中实现反超，充分验证了基于信息熵对齐架构设计的样本效率优势。

局限与展望¶

依赖视频原生编解码信息：方法高度依赖输入视频自带的运动矢量与残差元数据，如果遇到未压缩的 raw 像素流、极端失真的重编码文件或缺少 GOP 结构的合成图像序列，需要先经轻量编解码器处理，增加前置流水线复杂度。
全局聚类质心库规模庞大：包含上百万个语义类别的全局聚类中心在分布式训练时需要巨大的显存与通信开销，对训练系统设计提出了较高门槛。
双向密集交互扩展受限：目前骨干网仍采用密集双向注意力机制，未来可进一步结合时空稀疏注意力（如 Flash-Sparse Attention），使单卡能够直接以交互方式原生处理万帧级的超长流媒体视频。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙借力成熟视频编解码协议的运动残差先验指导视觉 Transformer 稀疏化，立意深刻且物理直观强。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 16 个 LMM 多模态评测、7 项 Attentive Probing 基准，并设计了详尽的因果干预消融与空间偏置分析。
写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣，从信息论第一性原理出发，图表严谨规范，叙述极具学术说服力。
价值: ⭐⭐⭐⭐⭐ 为下一代面向超长视频理解的高效视觉大模型基础架构提供了极具启发性的技术路线。