Video Generation Models are General-Purpose Vision Learners¶

会议: ECCV2026
论文: ECCV 原文
领域: 视频生成 / 视频理解
关键词: 生成式预训练、单步感知、统一任务表示、合成数据、多任务学习

一句话总结¶

GenCeption 将 WAN 文本到视频生成模型改造成文本指令控制的单步感知网络，通过 RGB 化目标、稀疏查询 token 和统一 L2 后训练支持多种任务，在多个基准接近或超过专用模型，但稀疏关键点与稠密任务的联合训练仍有明显冲突。

研究背景与动机¶

Depth Anything、SAM 等基础模型在各自任务上很强，却不能仅靠换一句指令就同时解决深度、法线、分割和相机运动。给一个共享骨干接多个任务头虽然能共享特征，任务增加时仍要维护新的输出结构、损失函数和权重。本文追问的是更靠前的问题：什么预训练目标能让一个模型积累足够通用的视觉知识，使后训练主要变成定义任务数据，而非不断重新设计网络？

文本到视频生成是一个有吸引力的候选。生成连续视频需要同时处理物体外观、遮挡、运动及几何变化，文本条件又提供了视觉与语义之间的联系；这些模型也已经接受大规模训练。不过，能生成合理画面不代表能精确测量场景。扩散模型原本从噪声出发反复采样，而深度或分割更需要稳定、直接的预测；任务目标也不是自然 RGB 视频，贸然更换解码器或增加大量模块可能破坏预训练表示。

本文于是选择尽量保留原视频生成网络，把适配压力转移到输入、输出与监督的组织方式上。核心 idea：以视频生成预训练提供时空先验，用单步前向替代迭代采样，并把感知目标尽可能编码成原模型熟悉的连续视觉表示，让同一骨干通过文本指令承担不同任务。

方法详解¶

整体框架¶

输入是一段 RGB 视频和指定任务的文本，例如深度估计或某个对象的指代表达。视频经过 WAN 的 VAE 编码器，文本经过原文本编码器，两者进入预训练扩散 Transformer（DiT）；改造后的 DiT 只执行一次前向，不从随机噪声反复生成。稠密任务由共享 VAE 解码器输出三通道目标视频，稀疏任务则从附加查询 token 经 MLP 读出逐帧坐标等结构化量。

框架的统一有明确范围：稠密任务共享骨干和解码器，稀疏任务需要额外 token 与 MLP，并非所有输出都经过同一个头。文本用于选择所需模态或目标，不能把“一次前向”理解为同时产出全部任务结果。以下实线表示预测数据流，虚线表示训练监督；目标编码和 L2 不属于测试时额外生成步骤。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["RGB 视频与任务文本"] --> B["单步感知改造<br/>VAE 与文本编码后进入 DiT"]
    B --> C["稠密目标 RGB 化<br/>共享 VAE 解码器"]
    B --> D["稀疏查询扩展<br/>附加 token 与 MLP"]
    C --> E["深度、法线、分割与光线图"]
    D --> F["关键点与相机位姿"]
    G["训练目标与统一 L2"] -.->|目标潜变量监督| C
    G -.->|输出空间监督| D

关键设计¶

1. 单步感知改造：让生成骨干直接读取无噪视频

原扩散过程的输入是带噪潜变量，时间步告诉网络当前噪声程度。GenCeption 改为直接输入 RGB 视频的干净潜变量，并将时间步固定为原采样过程末端所使用的时间步，向网络表明输入无噪。这比简单把生成视频当作答案更直接：原骨干不再负责从随机变量逐渐形成场景，而是将已有场景编码转换成任务目标编码，整个后训练因此是确定性的监督映射。

WAN 使用 rectified flow 速度预测，原文采用 \(v=\epsilon-x_0\) 的约定，因此在送入损失或解码器前取负，得到 \(-v=x_0-\epsilon\)。作者观察到这种初始化更接近 RGB 视频的潜编码，有利于收敛；这里不是声称取负后已经精确得到目标深度，也不是在后训练中继续优化原始去噪目标。实际任务能力仍来自标注目标监督，取负只是尽量顺应预训练参数的输出语义。

2. 稠密目标 RGB 化：用表示设计替代任务专用解码器

所有稠密输出都被组织到范围为 \([0,1]\) 的三通道空间。深度与分割这类单通道结果复制到三个通道，法线和 DensePose 等三维量则分配到不同通道。目标视频也通过 VAE 编码，训练直接比较预测与目标潜变量，无需为每种模态搭建独立解码器。关键不是把结果涂成方便观看的颜色，而是让网络看到与生成预训练兼容的张量形式，且复用同一套视频编码与解码机制。

相机信息展示了这一思路的弹性：光线图（raymap）同时包含三维光线原点和三维方向，直接存储需要六个通道。作者设计“Rothko”光线图，把原点放到图像中心区域、方向放到边缘区域，以空间布局容纳六维信息而不扩展通道数。这样保持了三通道解码接口，但也意味着输出格式本身包含任务知识；“任务无关网络”不等于无需任何任务专用的数据处理。

3. 稀疏查询扩展：用逐帧 token 读出显式结构化结果

像素表示很适合深度图，却不一定方便直接输出机器人或动作分析需要的坐标。因此作者向视频潜变量追加每帧一个可学习 token，经同一 DiT 处理后，由 MLP 输出每帧的 \(K\) 维目标。这里的逐帧指原视频帧，不是 VAE 压缩后的潜变量帧；原始帧数 \(T\) 大于潜序列长度 \(T'\)，必须处理两种时间分辨率之间的位置对应。

具体做法是保留 DiT 原有的 3D RoPE：查询 token 的空间位置未知，因此设为可学习；时间位置已知，但通过位置插值缩放进预训练见过的时间范围。论文称这种附加查询方案优于额外加入注意力层，却也报告其联合训练会严重损害关键点与其他稠密任务。作者推测，新 token 改变了原注意力交互，同时坐标回归偏离像素空间预训练；因此该扩展证明了接口可用，但还没有解决稀疏与稠密任务完全兼容的问题。

一个完整示例¶

考虑一段 81 帧的人体视频，需要预测深度。输入以 480×832 分辨率编码，文本指定深度任务；DiT 读取干净视频潜变量，以固定末端时间步做一次前向，取负的输出经 VAE 解码为三通道深度表示。三个通道表达同一标量，而不是三种不同的深度。训练时比较的是目标深度编码与预测潜变量，测试时不提供真值深度，也不需要逐步去噪。

如果任务改成三维关键点，视频仍经同一骨干，但要读取对应 81 帧的附加查询 token，经 MLP 给出坐标。这解释了为什么“换指令做任务”与“所有模态共用一个输出头”不同。若要在同一输入上获得深度和关键点，不能从论文的单步描述推断只需一次调用，更不能把专用关键点模型的结果算成统一多任务模型已经达到的成绩。

损失函数 / 训练策略¶

训练只采用标准 L2：稠密任务在潜空间比较，稀疏任务在输出空间比较。难点转移到如何让不同目标拥有适当的数值分布。例如单目深度存在尺度不确定性，作者先用场景中位深度对每帧深度图归一化，再把归一化深度 \(d\) 映射到 RGB 范围：

\[ d' = \operatorname{clip}(\alpha\log(d+1),0,1). \]

参数 \(\alpha\) 调整近处细节和远处结构的侧重；这里的中位深度归一化作用于训练目标，不要求推理时读取真值。这个设计让尺度处理进入数据表示，而非另设尺度不变损失。不同任务的平衡通过数据混合比例控制，但比例仍是需要选择的训练配置；统一损失消除了多套目标函数，并没有消除所有多任务调参问题。

作者用 800 个 RenderPeople 人体资产、200 种 CMU 动作生成 7,500 段合成视频，改变背景、焦距、相机位置及轨迹。Blender 分别渲染深度、法线、分割，绑定骨架提供关键点真值；输入视频、目标视频的潜变量及文本嵌入预先缓存。多模态标注来自同一场景，因此几何与外观在时间上天然对应，也避免从真实视频分别采集各任务标注的成本。

完整训练还混入 TartanAir、Virtual KITTI、MVS Synth 的深度数据，以及 TartanAir 的相机轨迹。指代表达分割例外地使用 MeViS、Ref-COCO、YouTube-VOS 真实数据，所以“纯合成后训练”不能泛化为整套系统所有任务。输入为 24 FPS 的 81 帧视频，VAE 时间下采样因子为 4、空间因子为 8；以 batch size 64 在 256 个 v6e TPU 上运行 Adam，共 15,000 步，学习率为 5e-5，前 250 步线性 warmup，并使用梯度裁剪和异常梯度批次丢弃保障稳定性。

实验关键数据¶

主实验¶

下表摘录原文表 1，必须区分同框架的任务专用版本（Specialist）与联合训练版本（Generalist）。法线 mAE 是平均角度误差，深度 AbsRel 是相对绝对误差，前景 MSE 是均方误差，均越低越好；指代表达 J&F 是区域 IoU 与轮廓准确率的平均，越高越好。

任务 / 基准	指标	专用对照模型	GenCeption 专用	GenCeption 通用
法线 / Sintel	mAE，度	Lotus-2：30.3	29.7	29.3
法线 / Hi4D	mAE，度	Sapiens-2B：12.14	10.99	11.47
深度 / Sintel	AbsRel	DepthAnything 3：0.201	0.130	0.156
深度 / ETH3D	AbsRel	VGGT-Ω：0.016	0.037	0.044
前景 / VideoMatte	MSE	RVM：0.0010	0.0027	0.0010
指代表达 / MeViS	J&F	ReferEverything：60.3	70.0	69.0

Hi4D 采用 pairs 28、32、37 的 camera 4，共 1,195 帧；VideoMatte 使用 RVM 的静态合成划分；指代表达任务遵循 VoCap 的评测协议。原文 §4.3 称未使用评测基准配套训练集，但 §4.1 同时列出 MeViS 训练数据且表 1 在 MeViS 上评测，两者存在表述冲突；缓存未明确具体 MeViS 划分，故不能把该结果称为已核实的跨数据集零样本表现。

消融实验¶

原文表 2 在相同深度后训练数据上比较预训练骨干，并扩展数据量和模型规模。平均值覆盖 Sintel、KITTI、ETH3D；δ1 是预测与真值深度比值双向最大值小于 1.25 的像素比例，以百分数报告，越高越好。

骨干	参数量	后训练视频 / 帧数	平均 AbsRel	平均 δ1（%）
V-JEPA-H	0.6B	7.5K / 0.9M	0.281	52.2
VideoMAE V2-G	1B	7.5K / 0.9M	0.154	66.9
WAN 2.1-S	1.3B	7.5K / 0.9M	0.122	85.8
WAN 2.1-L	14B	7.5K / 0.9M	0.093	90.7
WAN 2.1-S，4 个数据集	1.3B	8.08K / 1.23M	0.094	90.6
WAN 2.1-L，4 个数据集	14B	8.08K / 1.23M	0.071	93.8

同样的 7.5K 视频下，WAN-S 相对 VideoMAE V2-G 的平均 AbsRel 由 0.154 降至 0.122，但模型并非严格等参数，预训练数据和算力也未被控制。扩展到 4 个数据集同时改变了数量与分布，因此不能把改善全部归因于样本量。表中资源仅统计后训练，不包含 WAN 原本的大规模视频预训练成本。

关键发现¶

多任务增益并不普遍：VideoMatte MSE 从 0.0027 降到 0.0010，但 Sintel 深度 AbsRel 从 0.130 升到 0.156。联合训练存在真实的任务间取舍。
ETH3D 上专用与通用版本都弱于 VGGT-Ω，不能用部分任务领先推导“全面超过专用模型”。
原文表 1 的 EMDB MPJPE 为专用版本 71.8，对照 GVHMR 为 72.6，通用版本记为未获得结果；§4.4 还明确报告稀疏联合训练退化，不能补填通用成绩。
图 7 显示从零训练的 DiT 学习曲线近乎平坦，迁入更多预训练层后改善；这是预训练重要性的证据，不是生成目标优于所有其他目标的严格因果证明。

亮点与洞察¶

把任务特性放进表示而非网络分支，确实减少了稠密任务适配的工程负担。Rothko 光线图是具体例子，而不是停留在“统一多模态”的口号。
单步改造同时处理输入噪声约定、时间步和速度输出符号，说明迁移不仅是换数据继续训练。尊重预训练接口有助于保留可用初始化。
稀疏查询的负面结果很有启发：统一输入输出格式和统一优化行为不是一回事。扩展任务接口时，必须单独检查它是否破坏已有表示。

局限与展望¶

作者明确观察到关键点联合训练严重退化，并推测原因是坐标回归与像素预训练不匹配、随机初始化查询干扰注意力；这些解释尚不是逐项隔离验证的因果结论。
本笔记判断：预训练范式比较仍受参数量、预训练语料和计算预算混杂影响；“7× 到 500× 更少数据”的宣传口径应限定为后训练，不代表总数据或总成本下降。
本笔记判断：动物、机器人和多实例迁移主要由图 8 定性展示，不能等同于在全面 OOD 基准上验证了通用物理理解。指代表达分割也并非纯合成训练。
本笔记判断：单次前向不等于低延迟部署；14B 模型和 256 TPU 训练配置依然昂贵，当前缓存正文未给出足够的实际延迟与显存比较。可进一步研究原生支持稀疏查询的预训练，以及任务干扰和部署开销的系统测量。

评分¶

新颖性: 4/5。将视频生成先验、单步预测和数据表示统一结合，系统性较强，但多个技术元素已有前作。
实验充分度: 4/5。任务与基准覆盖广，公开呈现联合训练失败；预训练预算控制和 OOD 定量评估仍不足。
写作质量: 4/5。方法主线清楚，但统一架构叙事与稀疏分支边界、MeViS 训练说明需要谨慎对照。
价值: 4/5。为视频生成模型的感知迁移提供了具体范式，也揭示了走向真正通用模型的障碍。