Seeing Fast and Slow: Learning the Flow of Time in Videos¶

会议: ECCV2026
论文: ECCV 原文
项目: Seeing Fast and Slow
领域: 视频生成 / 视频理解
关键词: 播放速度估计、慢动作数据集、速度条件生成、时间超分辨率、自监督学习

一句话总结¶

本文先利用音频变调和时间重采样学习视觉速度感知，再标注 SloMo-44K 慢动作数据，将其用于显式速度控制生成与联合去模糊的时间超分辨率；在模糊输入的 8 倍重建中，FVD 从基础模型的 436.1 降至 134.3。

研究背景与动机¶

视频模型识别出事件内容，并不意味着知道它以怎样的现实速度发生。同样是物体下落，正常播放和极慢回放都可能保持正确的运动方向，但对应的时间尺度完全不同。常见训练视频主要以 24–60 FPS 提供画面，模型容易学习某种固定节奏，却缺少跨速度理解同一类动力学的经验。因此，给视频语言模型询问播放倍率，或者给生成模型添加“极慢动作”提示词，未必能得到准确的时间判断或控制。光流也不能直接解决问题：画面位移同时受物体大小、相机运动和动作本身影响，并不是绝对播放速度的读数。

高帧率慢动作素材能补足这种经验，但网络视频的播放倍率和拍摄帧率常常缺失，同一视频内部还可能突然变速。如果只把普通视频重复帧或人为拉长时间，就没有增加曝光期间丢失的中间运动细节，反而可能把卡顿教给生成模型。已有高帧率数据集又受到规模、内容类型或最高帧率限制，难以支撑广泛场景的生成训练。本文由此把“怎样标注时间”放在“怎样控制时间”之前：先从天然信号学习速度，再把没有可靠元数据的视频变成训练资源。这里的监督不是要求人工逐帧测量物理过程，而是利用可观测的音频变化和人为已知的重采样倍率。

音频能够定位变速发生的时刻，重采样则能告诉模型两个版本之间应该有怎样的相对速度关系。少量已知拍摄条件的视频进一步提供绝对尺度，使模型不仅会排序快慢，还能输出相对于正常速度的倍率。这些感知工具最终服务于数据整理，而不是在每次视频生成时作为额外检测器运行。 核心 idea：先用跨模态线索、速度等变性和少量绝对校准学会给真实慢动作素材标注时间，再用这些真实细节训练能够显式控制时间尺度的生成模型。

方法详解¶

整体框架¶

整个方法包含四个相连的设计：速度感知、慢动作数据构建、显式速度条件生成、联合去模糊时间超分。前两个设计将网络视频转化为带速度和文本描述的 SloMo-44K；后两个设计是分别训练的下游分支，并不是串联的同一个生成器。生成分支输入图像、文本和目标播放速度，输出以指定节奏展开的新视频。超分分支输入低帧率视频及 VACE 条件掩码，恢复更密集且更清晰的帧序列。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Source["网络视频"] --> Perception["速度感知"]
        Supervision["原声音频、重采样<br/>与已知速度样本"] -.->|训练监督| Perception
        Perception --> Dataset["慢动作数据构建"]
        Dataset -->|训练数据| Generation["显式速度条件生成"]
        Dataset -->|合成配对训练数据| Reconstruction["联合去模糊时间超分"]
        Conditions["图像、文本、目标速度"] --> Generation
        LowFPS["低帧率视频与掩码"] --> Reconstruction
        Generation --> Generated["可控节奏的新视频"]
        Reconstruction --> Restored["高帧率清晰视频"]

关键设计¶

1. 速度感知：将变速位置、相对倍率和绝对尺度分别解决

首先需要识别视频什么时候变速，否则给一段同时包含正常与慢动作的素材分配单一倍率会引入错误监督。作者利用时间压缩会提高原声音调、时间拉伸会降低音调的性质，从音频中自动获得超过 8K 个变速标签。这一线索依赖与画面对应的原声音轨，不适用于任意配乐、配音或保持音高的编辑。标签用于微调 VideoMAEv2 视觉变速检测器，训练目标是二元交叉熵。部署时检测器只看画面，因此音频是训练监督来源，而不是必需的推理输入。

定位变速还不足以知道慢了多少，第二个模型负责估计播放倍率。对于没有真值的片段，作者构造原视频和加速版本，让同一估计器对两者的输出遵守已知倍率关系。这样不需要先知道原片段是正常速度还是慢动作，也能产生一致性监督。以下是原文第 3.2 节明确描述的等变目标关系，不是对损坏损失公式的补写：

\[ f_{\theta}(V^k) \approx k f_{\theta}(V). \]

其中 \(V^k\) 是 \(V\) 的 \(k\) 倍加速版本，\(f_{\theta}\) 输出相对于现实正常速度的播放倍率。作者在对数空间约束上述关系，因为速度是乘法量，倍率误差比线性差值更适合比较极慢与正常视频。仅靠相对关系，预测仍可能整体相差一个尺度；因此加入 Adobe240fps 等已知播放速度样本，在对数空间做监督校准。对于运动差异极小的超慢片段，再根据当前估计将视频加速到接近正常速度，重新估计并结合重采样倍率细化原预测，展开 3 次。这一迭代预测把难以辨认的微小变化放大到模型更熟悉的运动范围，但不是凭空恢复已丢失的视觉信息。

2. 慢动作数据构建：把网络素材整理为速度一致的训练片段

数据来自 YouTube、Vimeo 和 Flickr，检索线索包括高帧率、高速相机与慢动作。常规清洗先由 TransNetv2 切分镜头，再用 OCR 剔除过量文字覆盖，用 Qwen2.5-VL 排除 CGI 与屏幕录制，并按视频质量评分筛选。这些步骤处理的是镜头边界、内容来源和可见质量，不能替代播放速度标注。随后视觉变速检测器进一步切出速度较均匀的片段，速度估计器给每段赋予倍率，InternVL3 生成细致文本描述。这使速度标签、视频动态和文本条件可以共同用于后续生成训练，避免跨越变速点的样本被错误标成固定速度。

表 1 将数据规模区分为 44,632 个片段和 18,235 个源视频，总计约 18M 帧，最高原始拍摄帧率超过 10,000 FPS。这些数字不意味着每个片段都达到最高帧率，也不意味着每个自动估计倍率都有人工真值。素材覆盖多种内容与运动类型，价值不仅是增加样本数量，还在于捕捉普通曝光条件下看不到的细小动态。作者把此集合称为 SloMo-44K，用它训练速度估计与生成任务，并通过标准视频训练的对照检验时间尺度覆盖的作用。从系统角度看，这是一条以感知模型整理训练数据的流程，而不是完全无人工信息的闭环：绝对校准仍有已知速度样本支撑。

3. 显式速度条件生成：同时告诉模型全局倍率与逐帧时间坐标

生成器以 Wan2.1-I2V 为基础，保留图像到视频的输入形式，额外接收目标播放速度。第一路将 0.01× 到 1.0× 的速度范围划成 10 个对数间隔桶，使极慢区间也获得有意义的条件分辨率。桶编号经过正弦位置编码和 MLP 后，加到扩散时间步嵌入上，为整个去噪过程提供全局速度条件。这里的扩散时间步是生成算法的去噪坐标，不等同于视频中的物理时间；作者通过附加嵌入把二者联系起来。第二路则对每个潜在视频帧加入由帧索引乘目标速度得到的编码，让局部时序特征也能感知所要求的时间进度。

逐帧条件在原文第 4.1 节写为以下可读关系，潜在张量的时间索引记为 \(i\)：

\[ \operatorname{latent\_vid}[i] \leftarrow \operatorname{latent\_vid}[i] + \operatorname{MLP}_{\psi}(\phi(i\cdot\operatorname{speed})). \]

这两路信号分别表达整体处于哪个速度范围，以及不同帧在该速度下应对应怎样的时间位置。它们比在提示词中加入“稍慢”或“极慢”更直接，因为运动倍率不再完全依附于语义文本。训练更新线性投影层和 Transformer 主干上的 LoRA 适配器，而非从头训练或全量微调整个基础模型。推理只需指定图像、文本和速度条件即可生成视频，不需要先生成正常速度版本、提取轨迹再重新合成。因此本文控制的是新生成事件的时间节奏，不只是把已有序列在时间轴上重新播放。

4. 联合去模糊时间超分：训练时模拟低帧率曝光，而不只删除帧

普通插帧评测常把清晰高帧率视频隔帧抽取，默认输入端点仍然清晰。真实低帧率拍摄往往伴随更长曝光，一个输入帧本身已混合多个运动状态，直接在这些模糊端点之间插帧会延续模糊。作者从慢动作真值出发，先对以目标时刻为中心的 8 帧窗口求平均，再做时间下采样，合成带曝光模糊的低帧率输入。这对训练数据同时提供模糊观测和清晰高帧率目标，让模型学习去模糊与补齐中间运动，而不是仅提高输出帧数。基础模型选择 Wan2.1-VACE，利用参考视频和二值掩码表达条件及待生成帧或区域，训练仍采用 LoRA。

本文受算力约束聚焦 8 倍时间上采样，没有声称任意倍率都已验证。训练中的模糊是时间窗口平均近似，不是覆盖任意相机曝光、滚动快门和压缩失真的完整成像模型。推理时给入实际低帧率视频，由微调后的生成先验恢复密集序列；这与速度条件生成分支共享数据资源，但使用不同基础模型和输入接口。在缺少真实高帧率参考的场景，输出的观感改善仍不能自动证明每个中间物理状态被精确还原。

损失函数 / 训练策略¶

变速检测使用二元交叉熵；速度估计结合对数空间重采样一致性和少量已知倍率的监督回归。两个生成分支分别微调 Wan2.1-I2V 与 Wan2.1-VACE，并使用 SloMo-44K 的标注或合成配对数据。缓存的式 (1) 损失末尾、重采样分布排版和式 (2) 速度分桶表达式损坏，不能据此可靠核对损失幂次、采样细则或桶端点处理。本笔记因此只保留正文明确的目标关系、10 桶范围与可读逐帧条件，不猜补作者精确实现；学习率、损失权重和训练步数也不作推断。

实验关键数据¶

主实验¶

速度估计在 111 个具有核实播放倍率的视频上评测；表 2 位于原文第 9 页，评测协议见第 11–12 页第 5.2 节。 Pearson \(\rho\) 衡量预测与真值的线性相关，Spearman \(r_s\) 衡量排序相关，RMSE 衡量误差，前三者采用对数速度。 eRMSE 是对数 RMSE 的指数形式，用来解释乘法尺度上的偏差，并非逐样本相对误差的算术平均。

方法	\(\rho\) ↑	\(r_s\) ↑	RMSE ↓	eRMSE ↓
人类专家	0.880	0.783	0.492	1.636
Gemini 2.5 / VideoLLM	0.426	0.308	1.568	4.796
SpeedNet	0.476	0.331	1.261	3.529
Pulse-of-Motion	0.508	0.525	1.181	3.258
本文	0.735	0.706	0.649	1.913

本文明显优于所列自动方法，但 \(\rho\) 和 RMSE 仍落后于人类，不能将“接近人类”理解为达到人类水平。变速检测另有独立实验：第 11 页第 5.1 节报告准确率 92.4%，光流基线 82.5%，Gemini 2.5 为 59.5%。其测试标签经 4 名标注者复核，仅保留人工与音频标签一致的样本；这不是随机网络视频上未经筛选的准确率。

下表选自原文第 9 页表 3，条件为 SloMo-44K-Test 的合成模糊输入和 8 倍时间超分，所有指标越低越好。 FloLPIPS 衡量面向插帧的时序感知差异，LPIPS 衡量图像感知差异，FID 与 FVD 分别比较图像和视频特征分布。

方法	FloLPIPS ↓	LPIPS ↓	FID ↓	FVD ↓
FILM	0.099	0.080	20.3	250.0
LDMVFI	0.136	0.117	31.4	340.4
Generative Inbetween	0.123	0.108	26.1	439.4
Wan2.1-VACE	0.126	0.095	28.5	436.1
本文	0.067	0.058	12.4	134.3

速度条件生成另在 56 组图像与提示词上检查条件顺序和平均光流，条件值为 1、4、7、10，数值越大越快。 FID/FVD 使用其中有真值的 48 个文本、图像、速度三元组，不能把 56 组全部当作有配对真值。第 12 页表 4 报告本文 FID/FVD 为 68.4/1114.1，Wan2.1 为 72.2/1266.8，ATI 为 73.4/1473.5。光流随条件单调变化支持相对可控性，但没有直接证明每段生成视频的真实倍率都准确匹配指定数值。

消融实验¶

下表选自原文第 14 页表 7，使用相同速度估计任务检验迭代预测（IP），不是生成质量消融。

模型	IP	\(\rho\) ↑	\(r_s\) ↑	RMSE ↓
VideoLLM	无	0.426	0.308	1.568
VideoLLM	有	0.552	0.479	1.221
本文	无	0.680	0.684	0.917
本文	有	0.735	0.706	0.649

本文加入 IP 后 RMSE 从 0.917 降至 0.649，说明重采样后重新观察确实有助于估计，而不只是对基础模型的特定调整。第 14 页表 8 中，同样使用 IP 时，标准数据训练的 RMSE 为 0.737，SloMo-44K 训练为 0.649，支持宽速度覆盖的作用。第 12 页表 5 中，速度控制生成使用标准视频训练的 FVD 为 1392.9，使用 SloMo-44K 为 1114.1；定性图 8 还指出人工减速素材会带来卡顿。

关键发现¶

改善不局限于合成模糊输入：第 13 页表 6 的清晰输入测试中，本文在 DAVIS 上 FVD 为 394.0，在 SloMo-44K-Test 上为 182.2。
清晰输入并非所有单帧指标都最优：DAVIS 的 LPIPS 为本文 0.203、FILM 0.200，SloMo-44K-Test 的 FID 为本文 10.9、FILM 10.7。
真实输入缺乏慢动作真值；第 14 页正文报告该设置的人类偏好超过 90%，不能把它解释为客观重建正确率。

亮点与洞察¶

时间监督来自可控变换而非密集人工标签：重采样倍率已知，即使原始速度未知，也能约束预测关系。少量绝对校准补上了相对学习的尺度缺口。
感知工具的价值体现在数据质量上：检测变速点后再给片段标注倍率，减少了一个样本混有多种时间尺度的歧义。数据构建因此与后续训练目标直接对应。
真实高帧率数据与简单慢放不可互换：前者包含额外运动细节，后者只改变播放时长。本文的生成数据对照给这一差别提供了实验支持。

局限与展望¶

作者承认少运动画面和人为刻意放慢动作会误导速度感知。视觉模型需要区分“动作本来慢”和“视频被慢放”，而图像证据有时无法唯一决定答案。
作者也指出生成能力依赖 Wan 主干；目前主要使用 LoRA，尚不能将效果归因于新的完整生成架构，超分实验范围限于 8 倍。
从评测角度看，音频与人工一致性筛选可能偏向更容易辨认的变速事件；合成模糊也没有覆盖全部真实成像退化。这些是读者对外推范围的判断。
从可复核性看，缓存式 (1)、式 (2) 和表 9 存在排版损坏，本笔记未转录表 9 的混排数值，也不猜补实现细节；未提供的补充材料不作为已阅读证据。

评分¶

新颖性: 4/5。将速度感知、数据标注和显式时间控制贯通，贡献主要在监督设计与真实慢动作数据。
实验充分度: 4/5。覆盖感知、生成、超分及数据消融，但绝对生成倍率和真实重建保真度仍需更直接的评测。
写作质量: 4/5。问题链条清晰，训练与应用对应紧密；当前全文提取损坏使少量公式不能完整复核。
价值: 4/5。为跨时间尺度视频学习提供可复用的数据与方法，同时揭示普通慢放无法替代高帧率细节。