ART-VSR: Adaptive Rectified Trajectories for One-Step Video Super-Resolution¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4653
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/6876.pdf
代码: https://github.com/Roveer/ART_VSR
领域: 视频超分辨率 / 生成式视频恢复
关键词: 一步生成、自适应时间图、潜空间轨迹校正、流匹配、时序一致性

一句话总结¶

ART-VSR 用自适应时间估计器决定每个 token 应走多长的生成路径，再用潜空间轨迹校正器调整对应起点，让 Wan2.1 视频先验只需一步生成就能恢复细节；在作者统一重测协议下，REDS 的 LPIPS 为 0.197，但并非所有保真度和感知指标都最优。

研究背景与动机¶

视频超分辨率既要补回单帧缺失的高频纹理，又要让补出的内容在相邻帧中保持一致。回归模型以像素误差为主要目标，遇到多种可能的真实纹理时容易输出平均结果。扩散和流匹配视频模型拥有更强的生成先验，但多次调用大型视频网络代价很高。因此，一步生成的价值不只是加速采样，还在于能否利用低分辨率输入中已经可靠的结构，避免重新生成整段画面。

轨迹调整路线直接把低分辨率潜变量当作生成过程的中间状态，比从纯噪声出发更贴近恢复任务。不过，真实的压缩伪影、模糊和传感器噪声不等价于预训练时某个时刻的噪声分布。与此同时，同一帧的平坦天空与破损纹理需要不同的恢复强度：统一的小时间步容易抹平纹理，统一的大时间步又可能污染干净区域。作者将这两个问题分别概括为初始状态失配和全局时间步约束，并用“轨迹漂移”描述它们造成的偏离。

这里的关键不是简单再加一个增强网络，而是让起点和积分长度相互兼容。仅给不同区域分配不同时间，却不改变其不匹配的潜变量，仍可能从错误状态开始；仅过滤潜变量而不约束它对应的时间，又会让一步更新的尺度不合适。核心 idea：联合学习逐 token 的生成时间与受该时间引导的潜空间起点校正，再用几何约束把二者连接起来。

方法详解¶

整体框架¶

输入是低分辨率视频，输出是恢复后的高分辨率视频。冻结的 VAE 提供潜空间表示；自适应时间估计器（Adaptive Timestep Estimator，ATE）读取像素和潜变量，输出与 DiT token 对齐的连续时间图。潜空间轨迹校正器（Latent Trajectory Rectifier，LTR）按时间图调整细节分量，随后 DiT 同时接收校正后的状态与时间图，完成一次局部积分近似，最后由 VAE 解码。

训练时还需要配对的高分辨率目标，为校正起点提供几何监督，并与重建、感知损失联合优化 ATE、LTR 和 DiT。推理时不需要高分辨率参考，也不计算几何损失；但 ATE、LTR 和 VAE 的实际计算仍然存在，“一步”指生成网络的一步更新，不等于整个系统只运行一个算子。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    INPUT["低分辨率视频<br/>像素与 VAE 潜变量"] --> ATE["自适应时间估计<br/>逐 token 时间图"]
    ATE --> LTR["潜空间轨迹校正<br/>结构保留与细节调制"]
    INPUT --> LTR
    ATE --> JOINT["状态与时间联合学习<br/>DiT 一步更新"]
    LTR --> JOINT
    TARGET["高分辨率目标<br/>仅训练时使用"] -.->|几何与重建监督| JOINT
    JOINT --> OUTPUT["VAE 解码<br/>高分辨率视频"]

关键设计¶

1. 自适应时间估计：把全局时间步变为有物理先验的局部积分长度

ATE 不是为整段视频挑选一个更好的标量，而是输出取值在 \([0,1]\) 的逐 token 时间图。其启发式分支在低分辨率像素上计算三种能量：局部纹理标准差、Sobel 结构梯度和 FFT 高频残差。原文明确给出组合权重为 0.8、0.2、0.6；局部窗口为 \(7\times7\)，随后采用 \(9\times9\) 平均平滑和 \(\tanh(4E)\) 归一化。这为刚开始训练的网络提供一个不依赖可学习参数的纹理强度参照，但纹理能量本身不是退化严重度的真值。

因此 ATE 还设置神经分支。一条路径提取潜变量中的结构语义，另一条在像素上进行二维 Real-FFT，将复频谱的实部和虚部送入门控网络，再用实值门控调制频谱并逆变换回空间域。作者把这一操作描述为在保留复数相位结构的同时调节频率幅度。两路特征经过时空对齐与融合，以 Sigmoid 输出神经时间图。时间图最终由启发式图 \(M_H\) 与神经图 \(M_N\) 凸组合得到：

\[ T_{\mathrm{map}}=\lambda M_H+(1-\lambda)M_N,\qquad \lambda=0.25. \]

这一关系依据正文对式 (9) 的明确描述整理。固定的启发式权重稳定早期训练，神经分支则学习复杂内容与退化之间不能靠高频能量简单区分的关系。最终得到的是可学习的局部生成条件，不应把某个 token 的时间数值解释为经过校准的噪声概率。

2. 潜空间轨迹校正：保留可靠结构，只对待恢复细节进行随机调制

LTR 的出发点是：低分辨率潜变量并不天然位于预训练生成路径上，直接要求 DiT 一步把它变成高质量结果，会同时承担“消除错误状态”和“补细节”的任务。LTR 在冻结的 VAE 潜空间中先将输入分为低频结构分量与高频细节分量。结构分量绕过随机调制；细节分量则与标准高斯噪声一起输入由时间图控制的自适应调制模块。这里不是对整张潜变量统一加噪，也没有把低频结构整块丢弃。

保留的结构与调制后的细节经过组合模块和非线性校正器，再通过来自原始低分辨率潜变量的全局残差连接得到校正起点。残差有助于在本来就没有伪影的区域保持近似恒等映射。该起点随后被 token 化并传入 DiT，时间图同时继续作为 DiT 的条件，所以 ATE 不只是 LTR 的内部控制量。

缓存能够确认这种分解、调制、组合和残差的数据流，但式 (10)、(11) 的运算符与参数排版有缺损，正文也没有完整给出各子块的层数与卷积配置。这里不把细节调制擅自简化为某个确定的噪声相加公式，也不补造可直接复现的网络配置。

3. 状态与时间联合学习：校正位置必须匹配随后一步更新的尺度

普通流匹配沿时间从噪声端 \(t=1\) 走向数据端 \(t=0\)；一步恢复用一次 Euler 近似代替多次积分。ART-VSR 将全局积分长度换为逐 token 时间图，但并不是拿冻结的全局时间模型对每个 token 各算一次：DiT 与 ATE、LTR 在完整空间时间图条件下共同微调，因此网络仍可利用跨 token 的时空关系。一步的直观含义是，在校正起点预测向量场，再按各位置的积分长度向干净视频端更新。

几何监督解释了为什么“校正器”不只是一般的可学习滤波器。训练时，以高分辨率潜变量 \(z_{\mathrm{HR}}\) 为锚点、标准高斯噪声 \(\epsilon\) 为另一个端点，定义路径方向，并将状态相对锚点的位移投影到该方向。正文明确给出的定义为：

\[ u=\frac{\epsilon-z_{\mathrm{HR}}}{\|\epsilon-z_{\mathrm{HR}}\|_2}, \qquad \pi(z)=\langle z-z_{\mathrm{HR}},u\rangle u. \]

几何损失 \(\mathcal L_{\mathrm{LTR}}\) 一方面惩罚校正状态偏离参考方向的正交分量，另一方面要求沿路径的进度与时间图指示的比例距离一致。前者处理“偏到路径外”，后者处理“虽然靠近路径，却站在错误时间位置”。纵向对齐的内部权重为 \(\lambda_{\mathrm{align}}=0.1\)。这是一种 VAE 潜空间方向正则化，不是证明各潜变量通道具有物理正交性，也不是证明真实生成轨迹严格为直线。

需要保留一个数学边界：缓存中式 (12) 的括号和部分符号损坏，且空间变化的时间图与全局方向投影如何在实现中广播，不能仅凭损坏公式完全确定。因此这里报告可读正文明确的两项约束与权重，不拼出看似精确的完整损失式。推理时，已训练的非线性 LTR 直接预测校正状态，不再使用上述 HR 锚点。

一个完整示例¶

可以设想一段同时包含平坦天空和模糊建筑立面的低分辨率视频。这是机制示例，不是原文另一个带测量数值的案例：ATE 通过能量线索和神经诊断，为两个区域生成不同的局部积分长度；它不是预先规定“建筑必须等于 0.8、天空必须等于 0.2”。

LTR 先留下两处已有的低频轮廓，再依时间图调整细节分量，使后续生成不必从未经校准的压缩伪影状态直接出发。DiT 接收整段校正潜变量和时间图，在一次更新中恢复细节，同时利用视频先验处理跨帧关系；训练时的几何约束负责约束起点与时间的一致性，推理时并没有额外检索 HR 视频。

损失函数 / 训练策略¶

总目标由 MSE 重建项、LPIPS 感知项和几何校正项组成。按正文对式 (13) 的描述整理为：

\[ \mathcal L_{\mathrm{total}}=\mathcal L_{\mathrm{rec}} +\alpha\mathcal L_{\mathrm{perceptual}} +\beta\mathcal L_{\mathrm{LTR}},\qquad \beta=0.5. \]

初始化使用官方 Wan2.1 DiT checkpoint，在 NVIDIA A800 上联合微调 ATE、LTR 和 DiT，VAE 冻结。数据来自 HQ-VSR/YouHQ 视频与 Flickr2K/DIV2K 图像，采用 DOVE/FlashVSR 路线的图像与视频混合训练及退化设置。

第一阶段先稳定潜空间映射：使用 33 帧、\(640\times960\) 序列，batch size 32，学习率 \(1\times10^{-5}\)；重建项在潜空间计算，关闭 LPIPS，即 \(\alpha=0\)，保留几何损失。第二阶段再优化可见纹理：使用 17 帧、\(480\times640\) 序列，batch size 4，学习率 \(6\times10^{-5}\)；经过冻结的 VAE 解码后在 RGB 空间计算 MSE，并设 \(\alpha=1.0\)。

两阶段均使用 \(\beta=0.5\)、\(\lambda_{\mathrm{align}}=0.1\)，ATE 的缩放系数为 \(\tau=4.0\)。论文说明常数通过默认设置附近的单因素验证选取，但缓存未提供完整敏感性曲线、训练迭代数、具体优化器类型或完整退化参数，不能据此宣称已具备完全复现条件。

实验关键数据¶

主实验¶

原文表 1 覆盖 REDS、YouHQ40、UDM10、MVSR4x 和 VideoLQ。下表选择 DOVE、FlashVSR 与 ART-VSR 的部分结果；所有数值都是作者使用官方 checkpoint 和官方推理设置、在统一测试片段与退化协议下重新评测的结果，不是直接摘取各基线原论文成绩。LPIPS 越低越好；PSNR、MUSIQ、CLIPIQA、DOVER 越高越好。

数据集	指标	DOVE	FlashVSR	ART-VSR
REDS	LPIPS	0.252	0.273	0.197
REDS	MUSIQ	53.463	63.051	64.965
UDM10	LPIPS	0.270	0.294	0.242
UDM10	PSNR	26.944	24.012	26.302
YouHQ40	LPIPS	0.165	0.246	0.180
YouHQ40	DOVER	0.686	0.708	0.738
MVSR4x	CLIPIQA	0.515	0.595	0.711
VideoLQ	DOVER	0.465	0.476	0.489

ART-VSR 在 REDS 的 LPIPS 比 DOVE 低 0.055，但 YouHQ40 的 LPIPS 反而比 DOVE 高 0.015；UDM10 的 PSNR 也低于 DOVE。全表中 VideoLQ 的 MUSIQ 是 DLoRAL 的 60.530 高于本文的 55.272。因此“感知质量有竞争力”比“全面超过所有方法”准确，不能把多个指标的取舍压缩成一个没有定义的综合提升率。

消融实验¶

下表摘自原文表 2 的 REDS 结果。固定时间配置只替换 ATE 的自适应时间图，仍保留 LTR 及几何损失；它不是删除整个 ART-VSR 后的普通基线。Only \(M_H\) 和 Only \(M_N\) 分别表示只用启发式或神经时间图，NIQE 越低越好。

时间配置	LPIPS	MUSIQ	NIQE
固定 \(T_L=0.2\)	0.251	43.058	4.823
固定 \(T_L=0.4\)	0.231	42.595	5.154
Only \(M_H\)	0.205	61.684	3.259
Only \(M_N\)	0.201	62.911	2.886
完整 ATE	0.197	64.965	2.806

原文表 3 保留 ATE，再区分去掉 LTR 与只去掉几何监督。下面列出 REDS 的受控结果，各配置共享数据、退化、帧设置及优化日程。

校正配置	LPIPS	MUSIQ	NIQE
无 LTR	0.264	46.437	5.856
有 LTR，无 \(\mathcal L_{\mathrm{LTR}}\)	0.212	63.497	3.972
完整模型	0.197	64.965	2.806

关键发现¶

在 REDS，完整 ATE 相对仅神经分支的 LPIPS 改善为 0.004，说明物理先验在神经估计之外仍有增益；更大的差距出现在空间自适应与固定时间之间。
去掉 LTR 后，REDS MUSIQ 从 64.965 降至 46.437，差值为 18.528；保留网络但去掉几何损失也不能达到完整模型，支持“学习一个滤波器”与“学习受约束起点”并不等价。
时序一致性的专门证据主要是原文图 6 的 X-t 剖面：固定水平扫描线随时间形成的纹理是否连续、清晰。它属于可视化分析，不能当作已经报告了带置信区间的数值闪烁评测。

亮点与洞察¶

恢复任务中的“时间”不一定是整幅画面的统一噪声等级，也可以是局部更新尺度。价值在于把空间非均匀退化显式传给生成过程，而不是只交给网络隐式消化。
起点校正与时间估计需要共同训练。若把 ATE 当作可以直接插入任意冻结流模型的调度器，会忽略论文依赖空间条件联合微调这一前提。
结构保留、细节调制与残差连接构成一种克制的生成策略。它将随机性集中在需要修复的成分，而不是要求视频先验从噪声重新猜测全部场景。

局限与展望¶

缓存正文没有独立局限性章节。以下是基于实验与方法描述的阅读判断，不冒充作者明确承认的缺陷。
一步生成不等于实时部署：全文未给出运行时间、FPS、显存、参数量或匹配硬件下的速度对照；几何损失不在推理时计算，也不意味着 ATE/LTR 的计算免费。
质量改善不是全面支配，部分 PSNR、LPIPS 和无参考指标仍落后于基线。对文本、细线或证据性视频，应进一步验证细节真实性，而不能只凭更锐利的外观判断成功。
时间图同时受内容纹理与退化影响，不能直接等同于真实退化图。可补充已知空间退化分布的受控实验，测量它到底编码了什么。
长时序稳定性的证据有限，缓存未报告专门的长视频量化、遮挡分组或统计置信区间。可增加独立闪烁度量与跨随机种子分析。
部分核心公式在本地文本缓存中损坏，完整广播约定、调制结构及部分复现超参仍有缺口；不应把本文给出的方向性几何解释升级为严格的轨迹对齐定理。

评分¶

新颖性: 4/5。局部时间估计与受几何约束的起点校正构成清晰的联合设计，但仍建立在已有流匹配与一步恢复路线之上。
实验充分度: 4/5。五个基准及分开的 ATE/LTR 消融支持核心机制，但缺少效率量化与更系统的时序统计。
写作质量: 3/5。问题分解和受控实验说明较清楚，但局部时间与全局几何的关系仍需谨慎理解；缓存公式缺损另外限制了核验。
价值: 4/5。为生成式恢复提供了可复用的状态与时间协同思路，实际部署价值仍需速度与显存数据支撑。