DeRA: Decoupled Representation Alignment for Video Tokenization¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/3946
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/3794.pdf
作者: Pengbo Guo, Junke Wang, Zhen Xing, Chengxu Liu, Daoguo Dong, Xueming Qian, Zuxuan Wu
领域: 视频生成
关键词: 视频分词、外观运动解耦、表示对齐、梯度冲突、自回归生成

一句话总结¶

DeRA 把一维视频分词器的外观与运动表示分开学习，分别接受图像和视频基础模型的监督，再用对称梯度投影缓解共享编码器上的目标冲突，在相同 1024 token 预算下将 UCF-101 重建 rFVD 从 LARP 的 20 降到 15，并改善下游自回归生成。

研究背景与动机¶

离散视频分词器先把像素压成有限词表中的索引，再让自回归生成器逐个预测这些索引。网格式表示保留局部结构，但视频越长、分辨率越高，下游需要处理的 token 通常越多。LARP 一类一维分词器改用可学习查询汇聚整个视频，使压缩序列长度不再由输入网格直接决定；代价是查询必须同时学会保留纹理、对象身份和运动变化，训练并不轻松。

DeRA 关注的不是再缩小生成器，而是让分词器更快学出有用的潜在空间。单一视频编码路径把静态内容与时间变化混在一起，仅靠重建目标很难规定每组 token 应该负责什么。引入预训练特征可以提供方向，但图像模型擅长外观，视频模型更适合时序，两种监督直接作用于共享参数时又可能相互抵消。

因此，本文同时改表示组织方式和监督的优化方式：先给外观、运动分配不同查询，再让各自对齐合适的基础模型；遇到两个对齐目标的梯度方向冲突时，只修正冲突分量。核心 idea：用分工明确的双流表示承接两类视觉知识，并在共享编码器的更新层面协调它们，而不是让一个混合潜在空间自行学会所有分工。

方法详解¶

整体框架¶

输入是一段视频及其第一帧，输出是能够重建整段视频的离散 token。共享双流编码先用独立查询分别提取外观、运动表示；解耦表示对齐用冻结的图像与视频基础模型监督对应分支；对称冲突投影只在训练时协调这两个监督目标的更新。两组压缩查询的输出拼接、量化后交给解码器，生成阶段则由自回归模型预测同一种离散序列。

需要区分两条路径：重建路径负责把压缩查询变成视频；辅助训练路径对齐的是编码器输出的图像或视频 patch 表示，再通过共享编码器影响压缩查询。论文示意图和概述常统称为潜在表示对齐，但方法正文明确使用的是 patch 输出，而不是要求少量压缩查询与教师 token 直接一一对应。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["视频与第一帧"] --> B["共享双流编码"]
    B --> C["解耦表示对齐<br/>冻结图像与视频模型"]
    C --> D["对称冲突投影<br/>协调对齐梯度"]
    D -.->|训练更新| B
    B --> E["查询拼接与量化"]
    E --> F["解码重建视频"]

关键设计¶

1. 共享双流编码：让外观和运动有各自的压缩入口

外观流只读第一帧，运动流读完整视频。这不是先估计光流，也不是从每帧显式减去背景：运动分支仍能看到外观信息，只是输入范围、查询集合和后面的监督共同鼓励它关注动态变化。第一帧切成二维 patch，完整视频切成时空块，各自经过线性投影，再与所属的可学习查询拼接。

两路序列分别通过同一个 Transformer 编码器，因此“解耦”不等于训练两套独立骨干。每次编码都输出查询位置和 patch 位置的特征：前者是要保存的紧凑表示，后者还承接辅助监督。默认外观查询 256 个、运动查询 768 个，合计 1024 个；给运动更多位置，是在整个片段的时间变化与单帧内容之间分配表示容量，不是把外观复制到每一帧。

接着，将两组查询输出拼接并做向量量化，映射到大小为 8192 的码本，量化潜在维度为 16。解码器把量化 token 与自己的可学习查询一起处理，最后把解码查询位置的输出还原为视频。分词器因此保留“编码—量化—解码”的常规接口，不要求下游生成器理解两个教师模型的内部结构。共享编码器节省参数，但不会消除两路前向计算；论文也没有声称双流编码本身没有代价。

2. 解耦表示对齐：把两个专家的监督放到对应分支

只有两组查询并不能保证它们自动形成稳定分工。DeRA 让外观流的编码 patch 特征对齐冻结的 DINOv3 ViT-B/16 图像特征，让运动流的编码 patch 特征对齐冻结的 InternVideo2-B/14 视频特征。轻量两层 MLP 将学生特征投影到相应教师空间，再对对应 token 的负余弦相似度取平均。这样的约束主要规定表示方向，不要求两个模型的原始通道值完全相等。

这一监督与重建目标互补：重建要求信息足以还原像素，外观对齐提供更成熟的空间语义，运动对齐提供视频表征中的时间线索。监督沿 patch 输出回到共享编码器，使压缩查询能在同一表示系统中受益；它不是额外增加一串教师 token 供生成器使用，也不是在推理时调用教师。两个基础模型保持冻结，训练完成后连同辅助对齐模块一起移除，保留原分词器的推理路径。

还应避免把方法解释为严格的统计独立性约束：这里没有对外观和运动互信息直接设定目标，视频教师也不是纯运动传感器。论文用重建、生成和 token 交换结果支持“有用的语义分工”，但不能据此保证两类 token 完全不含对方的信息。缓存正文也未详细说明学生与教师 patch 网格不一致时的对应处理，复现时需要核实。

3. 对称冲突投影：避免两个对齐目标把共享参数往相反方向推

共享参数让两个分支可以交换知识，也让梯度冲突变得直接。SACP（Symmetric Alignment-Conflict Projection）先分别计算外观对齐损失和运动对齐损失对编码器参数的梯度。如果两者内积非负，就保持原目标；如果内积为负，则分别减去各自在另一个梯度方向上的冲突投影。与只修正某一个目标相比，对称处理不预先指定外观或运动为必须让步的一方。

下面把原文算法 1 的操作整理为标准记号；缓存中的部分排版公式损坏，此处依据算法步骤，而非补充新的目标。令 \(g_a\)、\(g_m\) 分别表示两个对齐梯度，\(s=\langle g_a,g_m\rangle\)，则发生冲突时：

\[ g'_a=g_a-\frac{s}{\|g_m\|_2^2+\varepsilon}g_m,\qquad g'_m=g_m-\frac{s}{\|g_a\|_2^2+\varepsilon}g_a,\qquad s<0. \]

实现时并不需要把投影过程当作新的高阶优化问题。算法先计算投影系数，再用停止梯度把系数当常数，将每个对齐损失减去系数乘以另一个对齐损失；如此改写的损失在反向传播时给出上述修正方向。稳定常数取 \(\varepsilon=10^{-8}\)，避免分母为零。这里只处理两个辅助对齐梯度之间的冲突，并未处理它们与重建、感知或对抗目标之间的一切冲突，也不构成全局收敛保证。

损失函数 / 训练策略¶

分词器原有目标由像素 \(\ell_1\) 重建损失、LPIPS 感知损失、GAN 损失和 VQ 损失组成，再加入两个经过 SACP 处理的对齐目标。外观对齐权重为 1.0，运动对齐权重为 0.5；这两个权重仍需选择，“不新增调参项”仅指 SACP 不像 Soft Loss 那样再引入冲突惩罚权重。

训练和评估均使用 16 帧、\(128\times128\) 视频，时空块的时间尺寸为 4、空间尺寸为 8，编码隐藏维度为 768。主结果使用 632M 参数的 LLaMA 风格自回归生成器：UCF-101 类条件生成在序列前放类别提示，K600 帧预测用分隔 token 区分上下文和目标。生成器以交叉熵学习下一 token，采样时 CFG 系数为 1.2，再将预测索引送进分词器解码器。

消融只训练分词器 75 epochs，并使用 343M 参数生成器，不能把消融表的生成 FVD 与主表直接作差。对于 K600，正文规定给定前 5 帧、预测后 11 帧；图 7 只展示较少帧，图注的展示数量不能当成另一套评估协议。

实验关键数据¶

主实验¶

rFVD 是重建视频与真实视频的 Fréchet Video Distance，gFVD 是生成视频与真实视频的同类分布距离，均越低越好，不是百分比准确率。下表摘取论文表 1；重建列对应 UCF-101，生成列分别对应 UCF-101 类条件生成和 K600 帧预测。

方法	分词器参数	生成器参数	token 数	UCF-101 rFVD ↓	UCF-101 gFVD ↓	K600 gFVD ↓
OmniTokenizer	82.2M	650M	1280	42	191	32.9
LARP	173M	632M	1024	20	57	5.1
DeRA	174M	632M	1024	15	50	4.1
MAGVIT-v2-MLM	未报告	307M	1280	8.6	58	4.3

DeRA 对 LARP 的重建改善是下降 5 个 FVD 单位，即相对下降 25%，不是提高 25 个百分点。UCF-101 和 K600 生成 FVD 分别下降 7 和 1.0；MAGVIT-v2-MLM 的重建 rFVD 仍更低，因此不能把“优于 LARP”扩大为“所有分词器重建最优”。MLM 与 AR 的生成方式、token 数和参数规模也不同。

消融实验¶

以下摘取表 3 和表 4，保留各表自己的基线；两组实验不能合成逐步加模块的单一轨迹。均属于 75 epochs、343M 生成器的消融设置。

实验组	配置	rFVD ↓	gFVD ↓
表 3：对齐来源	Base	24.47	112
表 3：对齐来源	+ DINOv3	20.14	98
表 3：对齐来源	+ InternVideo2	22.64	107
表 3：对齐来源	+ DINOv3 + InternVideo2	18.83	94
表 4：冲突处理	无冲突正则化	19.81	97
表 4：冲突处理	Soft Loss，权重 0.5	19.42	96
表 4：冲突处理	Soft Loss，权重 1.0	20.12	103
表 4：冲突处理	SACP	18.83	94

图像对齐单独带来的改善大于视频对齐，联合使用进一步改善。SACP 相对其自己的无冲突正则基线将 rFVD 降低 0.98、gFVD 降低 3；Soft Loss 的权重从 0.5 改为 1.0 反而恶化，说明“加入一个冲突惩罚”并不自动有效。

关键发现¶

训练加速应按达到同一质量所需时间理解。表 8 中，LARP 用 150 epochs、145.6 小时达到 rFVD 20；DeRA 用 73 epochs、78.2 小时达到相同值，约为 1.86 倍墙钟加速。两者都训练 150 epochs 时，DeRA 是 158.6 小时而非更快，只是质量更好；测量使用 8 张 H100。
共享编码器是有代价的取舍。表 7 中，分离编码器为 343M 参数、0.88 秒、rFVD 18.61；共享后为 174M、0.54 秒、18.83，省资源但略损失重建质量。
深层对齐整体更有效，但不是每一层都单调改善。表 6 的 DINOv3 从第 6 层到第 8 层，rFVD 从 21.34 变为 21.68；第 12 层为 20.14。论文正文“持续改善”的表述需要按表中数据收窄。

亮点与洞察¶

方法把表示分工与优化协调同时考虑。若只增加两路监督而不检查它们在共享参数上的作用方向，教师更强也未必带来更稳定的联合训练。
对齐位置与最终离散 token 不必相同。利用 patch 输出承接教师知识，仍可保留固定长度查询作为生成接口，避免让教师特征网格决定自回归序列长度。
token 交换给出比单一重建指标更直观的解耦证据。不过它是定性展示，说明存在可控分工，不等于证明任意视频都能无损交换外观和运动。

局限与展望¶

评估集中在低分辨率短片段及 UCF-101、K600，尚不足以支持开放域高分辨率长视频结论；文中可视化的时间一致性也不能替代更长时域测试。
视频监督仍是相对薄弱的一环。作者将专门的高保真运动表示模型列为后续工作，目前实验只支持所选图像教师的收益更强，不能概括为所有图像模型都优于视频模型。
复现信息有缺口：部分缓存公式损坏，patch 对应细节未展开；表 2 的无对齐 rFVD 为 24.48，而表 3 为 24.47，表 3 与表 4 的 Base 也不相同，不能擅自把这些数值统一为同一基线。
教师没有推理开销不代表训练免费。冻结模型仍需前向计算，SACP 也需要取得两个对齐梯度；相同 epochs 下的墙钟时间应与收敛速度分开报告。

评分¶

新颖性: 4/5。双流分词、异构对齐与对称梯度协调形成连贯设计，但组成思想都有既有基础。
实验充分度: 4/5。包含生成、重建、教师选择和训练成本分析，但尺度与数据覆盖仍有限。
写作质量: 3/5。整体动机清晰，部分表间基线和定性措辞需要更精确交代，缓存公式也影响阅读。
价值: 4/5。对希望改善紧凑视频 token 与自回归生成训练效率的研究者有直接参考意义。