AdaCodec: A Predictive Visual Code for Video MLLMs¶

会议: NeurIPS 2026
arXiv: 2606.02569
论文: https://arxiv.org/abs/2606.02569
代码: https://HaowenHou.github.io/AdaCodec-Page/
领域: 多模态VLM
关键词: 视频多模态大模型, 预测视觉编码, 运动残差表征, 自适应GOP, 高效视频理解

一句话总结¶

AdaCodec 将预测编码思想引入视频 MLLM 视觉接口，仅对高预测成本帧分配完整 ViT token，而对可预测帧提取紧凑的运动与残差 P-token，在节约超 84% 视觉 token 的同时大幅降低首字时延并全面超越独立逐帧 RGB 基线。

研究背景与动机¶

随着视频多模态大语言模型（Video MLLMs）从短片段理解迈向长视频分析、细粒度时序推理和低时延交互，模型对长时序覆盖与高帧率密集事件捕捉的需求急剧上升。然而，现有视频 MLLM 的视觉接口几乎停留在「逐帧独立 RGB 编码」的原始范式：将采样视频拆分为离散帧，每帧独立通过 ViT 提取数百个视觉 token，再顺序拼接入大语言模型上下文中。由于自然视频在时间维度具有极强的局部相关性，相邻帧之间绝大部分背景、静态物体和宏观布局完全重合，这种独立编码方式不断向 LLM 上下文注入海量重复信息，导致 token 数量随采样帧数线性膨胀，使模型深陷覆盖范围与计算开销不可调和的矛盾之中。

以往的高效视频 MLLM 方案多通过关键帧抽样选择、帧内/跨帧 token 动态剪枝聚类，或引入流式稀疏记忆机制来缓解上下文压力。但这些方案不论在何处压缩，其保留的视觉证据底层依然脱胎于独立 RGB 帧，未曾触碰「逐帧重复表达」这一核心冗余根源。另一类工作尝试引入传统视频编解码器（如 H.264/HEVC）生成的运动矢量与残差，但此类方法直接受制于面向人类视听与比特率优化的标准化码流格式，其非规则分块与特定语法并不匹配现代 ViT patch 结构与 LLM 的多模态表征空间。

受认知神经科学中人脑视觉皮层「仅对预期外偏差进行前馈传递」的预测编码理论启发，本文提出直接革新视频 MLLM 的视觉输入接口：在时序强相关的视频序列中，模型真正需要传输的是「前序上下文未能解释的动态变化」。核心 idea：构建面向 MLLM 的自适应预测视觉编码接口 AdaCodec，依据帧级预测成本自适应划分 GOP，仅在预测成本突增的关键帧投入完整 ViT token，而在中间过渡帧提取仅含运动与残差的极紧凑 P-token，在视觉进入大模型前彻底消除时序冗余。

方法详解¶

整体框架¶

AdaCodec 的处理流程贯穿视频分组、多模态特征提取与 LLM 自回归生成。对于输入连续视频序列，系统首先以重用运动搜索代价的方式动态评估帧间预测成本，自适应切分图像组（Group of Pictures, GOP）；每个 GOP 的首帧作为参考帧（I-frame），后续可预测帧转换为 5 通道的运动-残差联合表征并作为 P-frame；随后通过双分支架构并行编码，I-frame 由冻结的主视觉 ViT 产生完整的细粒度视觉 token，P-frame 则送入宽度适配的紧凑 P-tokenizer 压缩为极少量的 P-token；最后将两类 token 辅以时间位置编码按时序交织拼接，送入大语言模型进行指令微调与自回归推理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入采样视频序列<br/>X = {x_0, x_1, ..., x_T-1}"] --> B["自适应 GOP 划分<br/>基于预测成本 pcost 阈值触发"]
    B --> C["面向 MLLM 的运动残差编码<br/>ViT 网格对齐宏块 + 六边形局部搜索"]
    C --> D["双分支视觉 Token 化架构<br/>I-frame 完整编码 + P-frame 紧凑压缩"]
    D --> E["两阶段对齐训练流水线<br/>教师特征重构对齐 + MLLM 指令微调"]
    E --> F["LLM 自回归多模态推理输出"]

关键设计¶

1. 面向 MLLM 的运动残差编码：摆脱播放器束缚的视觉特征重构 传统视频编解码器（如 H.264/HEVC）设计目标是压缩码流和人眼回放，其多尺度非均匀宏块、YCbCr 色彩空间和复杂的熵编码无法直接供神经网络无缝消费。针对此痛点，AdaCodec 重新设计了契合 ViT 计算特性的运动与残差提取逻辑。首先，将图像划分为与 ViT patch 尺寸严格一致的规则宏块（默认 \(16\times 16\)），确保每个宏块的运动向量与后续视觉 patch 形成自然的几何对应。对于当前帧 \(x_t\) 的宏块 \(b\)，以紧邻的前一采样帧 \(x_{t-1}\) 为参考，在局部窗口 \(\mathcal{D}_b\) 内执行带有 \(\ell_1\) 位移正则的六边形运动搜索，得到最优二维运动位移向量 \(m_t^b\) 及像素残差 \(r_t^b\)：

\[\ell_t^b(d) = \mathrm{SAD}(x_t^b, x_{t-1}^{b+d}) + \lambda \|d\|_1, \qquad m_t^b = \arg\min_{d\in \mathcal{D}_b} \ell_t^b(d)\]

\[r_t^b = x_t^b - x_{t-1}^{b+m_t^b}\]

其中 \(\mathrm{SAD}(\cdot,\cdot)\) 为像素绝对差和，\(\ell_1\) 惩罚项温和偏好位移更小的平滑解。将所有宏块的残差像素与运动向量空间广播后的通道在 RGB 空间拼接，构成 5 通道的张量 \(u_t = [r_t, M_t] \in \mathbb{R}^{H\times W\times 5}\)。这种设计不仅消除了复杂的码流熵解码开销，而且放大了搜索窗口以适应低采样率视频中帧间较大位移的建模。

2. 自适应 GOP 划分：零额外开销的内容驱动关键帧触发 固定长度的 GOP（如每 8 帧或 16 帧固定插一个 I 帧）无法适应不同视频内容的多样动态：在安防监控等静态场景中会白白浪费 I 帧 token，而在镜头切换或剧烈视角晃动时又会导致残差急剧发散、误差累积。传统编解码器通常需要独立的预分析 Pass，增加了前处理时延。AdaCodec 提出直接复用运动搜索过程中已算出的匹配代价，将当前帧内全部宏块的最优成本聚合为整帧预测成本：

\[\ell_t = \sum_{b} \ell_t^b(m_t^b)\]

当 \(\ell_t > \gamma\) 时，表明前序上下文无法有效预测当前帧的显著新信息，系统自动终止当前 GOP 并将当前帧强制重置为新的全量 I-frame；同时设立最大长度上限 \(K_{\max}=16\) 以防止时序过长导致注意力和累积漂移失效。阈值 \(\gamma\) 在训练集上校准使得每个 GOP 中位数为 8 个 P 帧，全局推理时零额外计算直接执行自适应跳变，实现了计算开销与表征保真度的高度平衡。

3. 双分支视觉 Token 化架构：极低代价的时空变化沉淀 为了以最少 token 传递丰富的帧间时序动态，AdaCodec 设计了非对称的双分支视觉处理结构。对于 I-frame \(x_0\)，使用冻结的标准主干 ViT 提取 \(N_I\) 个细粒度视觉 token（如 \(N_I=256\)）；对于中间的 P-frame，设计了参数量极轻（约 576M）的 P-tokenizer。P-tokenizer 将预训练 ViT 的 Patch Embedding 权重从 3 通道拓宽为 5 通道（RGB 卷积核直接复制，新增的 2 个运动矢量通道零初始化），并在原始 patch 序列后追加 \(N_L\) 个可学习的潜在查询 token。通过特殊的块注意力掩码（Block Attention Mask），阻止原始 patch token 关注潜在 token，而强制潜在 token 单向聚合全局运动与残差特征：

\[\tilde{z}_t^P = F_P\big([B_P(u_t), q_1, \ldots, q_{N_L}]\big)_{q_1:q_{N_L}}\]

输出经过与主干相同的 \(2\times 2\) 空间合并层后，每帧仅产出 \(N_P = N_L / 4 = 16\) 个压缩 P-token（仅占 I-frame 的 1/16）。辅以时间可学习位置编码 \(e_t\)，整个 GOP 消耗的 token 仅为 \(N_I + K N_P\)，相较于 \((K+1)N_I\) 的全 RGB 基线，理论压缩率高达 88.2%（实测平均达 84.6%）。

4. 两阶段对齐训练流水线：自监督特征迁移与多模态下游对齐解耦 直接联合微调 LLM 学习未对齐的运动残差 P-token 极易破坏多模态语言模型的原有先验。为此，AdaCodec 制定了解耦的双阶段训练策略。在阶段一（P-tokenizer 教师特征对齐），系统冻结参考帧编码器 \(E_I\) 与目标帧教师编码器 \(E_T\)，仅利用一个轻量级的辅助特征预测器 \(H_\phi\) 和 P-tokenizer，迫使从参考帧特征 \(z^I\) 与连续 \(n\) 个 P-frame tokens \(\{z_t^P\}_{t=1}^n\) 中高保真重构出目标帧的完整 RGB 教师特征 \(z^T\)：

\[\mathcal{L}_{\text{stage1}} = \|\hat{z}^T - z^T\|_1 + \big(1 - \cos(\hat{z}^T, z^T)\big)\]

该自监督目标驱动 P-tokenizer 学会精准提取能够补偿帧间变化的紧凑表征。在阶段二（多模态对齐微调），彻底丢弃辅助头 \(H_\phi\)，冻结所有视觉分支（\(E_I\) 与 \(E_P\)），仅更新大语言模型的自回归文本预测损失，使得 LLM 快速适应由 I-token 与 P-token 混合组成的时序视觉码流。

实验关键数据¶

主实验¶

在 Qwen3-VL-8B 基座模型上，AdaCodec 在涵盖长视频理解、时序运动推理和通用视频理解的全部 11 个权威基准上进行了全面评测。在 1/7 极低视觉 token 预算下，AdaCodec 全面维持或反超基线；而在同等计算预算（长视频 224k token，短视频通过 2 FPS 提至 16 FPS 补齐）下，AdaCodec 刷新了多项开源最高水平。

评测基准类别	评测数据集	指标	Qwen3-VL-8B 基线 (224k)	AdaCodec (1/7 预算)	AdaCodec (同等预算)	同预算提升
长视频理解	MLVU (test)	Macro Avg	62.2	62.7	65.3	+3.1
长视频理解	LongVideoBench (val)	Accuracy	62.4	63.2	67.8	+5.4
长视频理解	LVBench (test)	Accuracy	58.0	58.2	58.4	+0.4
时序动作推理	TempCompass (test)	MCQ Acc	74.3	75.8	75.9	+1.6
时序动作推理	MotionBench (val)	Accuracy	56.9	58.8	59.9	+3.0
时序动作推理	TOMATO (test)	Accuracy	35.7	39.8	40.0	+4.3
通用视频理解	Video-MME (test)	Accuracy	75.2	75.0	75.5	+0.3
通用视频理解	MVBench (test)	Accuracy	68.7	75.3	76.6	+7.9
通用视频理解	NExT-QA (test)	Accuracy	83.4	83.1	84.2	+0.8
通用视频理解	PerceptionTest (val)	Accuracy	72.7	75.1	80.5	+7.8
通用视频理解	EgoSchema (test)	Accuracy	69.8	70.2	70.4	+0.6

在推理效率方面，在 5 个通用基准的 11,347 个测试视频上统计，AdaCodec 平均每视频消耗的视觉 token 从 55,893.2 骤降至 8,550.4（减少 84.7%），首字时延（TTFT）从 9.26s 锐减至 1.62s（即便加上 CPU 侧 0.12s 的编解码耗时，也达到 5.3 倍加速），端到端时延（E2EL）从 11.18s 降低至 3.20s，同时 5 项基准平均准确率从 74.0 分提升至 75.7 分。

消融实验¶

消融实验首先在表征层面验证预测编码相对于其他低 token 基线的优越性，然后在编解码器机制层面验证 ViT 规则宏块和自适应 GOP 的必要性。

表征消融配置	P-frame 输入模式	长视频平均 (Long)	时序平均 (Temporal)	通用平均 (General)	说明
I-only	仅保留 I 帧 (丢弃 P 帧)	52.7	48.5	68.2	丢失中间运动细节，大幅掉点
Per-frame RGB	全量独立 RGB (YaRN外推)	58.6	55.6	74.0	受到长序列注意力稀释影响
Thumbnail P (untrained)	低分辨率 RGB 缩略图 (16 tokens)	58.2	53.8	73.6	损失细粒度几何与纹理信息
Thumbnail P (trained)	缩略图并经对齐微调 (16 tokens)	61.4	54.4	73.2	未显式建模运动与残差，依然受限
AdaCodec	紧凑运动+残差 P-tokens	63.8	58.2	75.7	显著超越所有对比方案

机制消融配置	变动说明	长视频平均 (Long)	时序平均 (Temporal)	通用平均 (General)
AdaCodec (默认)	\(16\times 16\) 宏块 + 自适应 GOP	60.3	56.2	74.1
动态宏块划分	H.264 风格非规则可变尺寸宏块	58.4 (-1.9)	54.8 (-1.4)	72.6 (-1.5)
固定 GOP (\(n_P=8\))	固定每 8 个 P 帧插入 1 个 I 帧	58.2 (-2.1)	56.0 (-0.2)	73.7 (-0.4)
固定 GOP (\(n_P=16\))	固定每 16 个 P 帧插入 1 个 I 帧	59.7 (-0.6)	55.4 (-0.8)	72.3 (-1.8)

关键发现¶

表征本质优于简单分辨率压缩：对比相同 token 预算下的低分辨率 RGB 缩略图（Thumbnail P），AdaCodec 在时序推理任务上大幅领先 3.8 个点。证明将帧间物理位移与残差解耦编码，远比强制模糊全画面的做法保留了更高保真度的时序动态特征。
自适应 GOP 机制天然适配视频内容复杂度：在监控安防等慢变场景（如 MLVU 异常检测），自适应 GOP 长度可自动拉长至平均 16.69 帧，使模型在固定上下文窗口内覆盖的时间跨度提升数倍，准确率暴涨 +20.6（71.8 vs 51.2）；而在第一人称等剧烈运动场景下，GOP 自动收缩至 9.07 帧以频繁刷新参考帧，防止误差发散。
Patch 对齐宏块是与视觉 Transformer 协作的关键：传统 H.264 的动态宏块虽然在图像压缩领域有助于节省比特，但破坏了与 ViT Patch Embedding 的规则空间网格对齐，导致各维度性能全面下跌 1.4 至 1.9 分。

亮点与洞察¶

预测编码在 MLLM 视觉接口的成功具象化：借鉴生物视觉神经系统的预测误差传递机制，打破了以往视频模型把每一帧都当作静态独立相片输入的固有思维，使得视频理解在 token 层面上真正实现了按「信息增量」付费。
免二次计算的内容敏感型 GOP 分割 Trick：利用运动估计阶段产生的 block-matching SAD 代价直接累加成整帧预测成本 \(\ell_t\)，完全无需调用外部场景切换检测模型或进行第二遍前处理，做到了几乎零开销的自适应控制。
低成本架构平滑兼容现有生态：P-tokenizer 复用主干视觉 ViT 架构并轻量增加 2 通道与 Latent Queries，输出能严密适配 Qwen3-VL 的 Conv3D 步幅、DeepStack 注入层和空间 Merger，工程可落地性极强。

局限与展望¶

输入分辨率尚处固定尺寸：当前实验基于固定的 \(512\times 512\) 分辨率展开，尚未探索结合 AnyRes/动态多分辨率切片机制的自适应扩展。
P-frame token 预算目前仍属均匀分配：当前模型对所有 P-frame 均固定输出 \(N_P=16\) 个 token，未根据每帧实际残差能量和运动剧烈程度动态增减 token 数，未来可进一步引入自适应 token 剪枝。
流式实时推断尚未做系统端到端测试：尽管因果单向参考的 I/P 结构理论上天然契合流式视频理解，但本文目前主要在离线批量测试集上评估，端到端在线流式延迟仍待验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从 MLLM 消费端全面重构针对大模型的预测编码视觉接口，立意极其深刻。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 11 个跨领域基准，兼具超大范围的表征消融与底层编解码器机制参数分析，数据扎实。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅，逻辑严密，图表与数学定义表达精确规范。
价值: ⭐⭐⭐⭐⭐ 为长视频与实时视频 MLLM 在突破上下文长度瓶颈与大幅降低计算推理时延上提供了极具潜力的工程新范式。