NanoVSR: Towards Real-Time Video Super-Resolution on Edge Devices¶
会议: ECCV 2026
论文: ECCV 原文
领域: 视频生成
关键词: 视频超分辨率, 边缘计算, 结构重参数化, 双向循环网络, 隐式对齐
一句话总结¶
针对边缘端算力与带宽极度受限的瓶颈，NanoVSR 摒弃昂贵的光流估计与注意力机制，提出全卷积双向循环架构，结合加性时序传播与结构重参数化，在推理期融合成纯单路标准卷积，在 NVIDIA Jetson Orin NX (25W) 上达成 27.20 FPS 的实时 \(4\times\) 超分辨率输出（REDS4 达 28.64 dB）。
研究背景与动机¶
视频超分辨率（VSR）旨在利用相邻帧间丰富的时空互补信息重建高分辨率细节。近年来以 RVRT、VRT 为代表的 Transformer 架构和以 BasicVSR++、EDVR 为代表的光流/可变形卷积（DCN）方法在各基准数据集上刷新了重建质量纪录。然而，这类顶级算法高度依赖密集的双向光流计算、二次复杂度的时空注意力算子或自定义 CUDA 算子，在高端服务器 GPU 上尚且消耗可观资源，在移动端和边缘计算芯片上更是因显存带宽受限、算子融合困难和高昂延迟而完全无法实现实时推断。
现有轻量化探索的瓶颈在于，主流循环架构（如 BasicVSR 系列）在时序传播中往往使用通道拼接（Concatenation）来融合隐状态与当前特征，这导致后续卷积通道翻倍、访存开销剧增；同时，若保留显式运动补偿（如 SPyNet），其参数和推理耗时甚至超过了超分重构主体自身。而直接移除运动对齐又常因物体运动与镜头移动导致严重的伪影和模糊，难以保证时序一致性。
本文的切入角度是：边缘端加速器（如 TensorRT）的实际瓶颈往往不是纯参数量，而是碎片化的访存与无法深度融合的小算子图。核心 idea：采用训练时多分支、推理时融合为纯标准卷积的结构重参数化主干，结合直接逐元素相加的双向隐式时序传播，配合两阶段课程预训练迫使循环单元自适应捕获运动残差，实现硬件友好的边缘端超实时高保真视频超分辨率。
方法详解¶
整体框架¶
NanoVSR 采用纯卷积、双向循环的时空建模流水线。给定低分辨率输入视频序列 \(x \in \mathbb{R}^{T \times 3 \times H \times W}\)，整个推理过程完全由标准张量操作构成，天然兼容 ONNX 导出与 TensorRT 深度层融合。架构包含三个主要处理阶段：浅层特征提取、双向加性时序传播以及高分辨率重建。
首先，时间维度被折叠进批次维度，输入帧通过单个重参数化卷积块映射至通道数为 \(C\) 的高维潜在特征空间；随后恢复时间维度并送入前向与后向循环网络中进行隐式运动建模，两路隐藏状态在时序步上直接采用逐元素相加进行更新，避免通道膨胀；最后，双向隐藏状态拼接并通过 \(1 \times 1\) 卷积降维融合，经过由两级亚像素卷积（PixelShuffle）级联构成的上采样模块恢复到高分辨率空间，并与双线性插值的基线输入相加形成全局残差输出。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["低分辨率视频输入 x"] --> B["浅层特征提取<br/>RepVGG 块映射到 C 通道"]
B --> C["双向加性隐式时序传播<br/>前向与后向 RepVGG 序列"]
C --> D["双向特征降维融合<br/>1x1 卷积压缩回 C 通道"]
D --> E["级联亚像素重建<br/>两级 PixelShuffle 4x 放大"]
A -->|轻量双线性插值 4x| F["全局残差分支"]
E --> G["残差加和输出"]
F --> G
G --> H["高分辨率视频序列 y"]关键设计¶
1. 逐元素相加的直接双向时序传播：根除通道拼接带来的访存与算力剧增 传统循环超分架构（如 BasicVSR、FRVSR）通常将前一时间步的隐藏状态与当前输入特征沿通道维度拼接，作为后续模块的输入。这种做法使进入卷积核的通道数瞬间翻倍，在计算量和中间显存读写（Memory Bandwidth）上造成了巨大浪费。NanoVSR 提出直接采用逐元素相加更新前后向隐藏状态 \(h^{\rightarrow}_i\) 和 \(h^{\leftarrow}_i\)： $\(h^{\rightarrow}_i = \mathcal{H}_{\text{forward}}(f_i + h^{\rightarrow}_{i-1}), \quad h^{\leftarrow}_i = \mathcal{H}_{\text{backward}}(f_i + h^{\leftarrow}_{i+1})\)$ 其中 \(h^{\rightarrow}_0\) 与 \(h^{\leftarrow}_{T+1}\) 初始化为全零张量，\(\mathcal{H}_{\text{forward}}\) 与 \(\mathcal{H}_{\text{backward}}\) 为由 RepVGG 结构单元构成的轻量非线性变换。加性传播机制消除了额外的通道翻倍与复杂变形操作，迫使网络在线性叠加的潜在空间中隐式学习帧间残差位移，极大压降了边缘推理延迟。
2. 结构重参数化端到端卷积流：训练期多分支表征与推理期单路极速融合 在边缘加速设备上，分散的多分支拓扑与频繁的小算子调用会导致剧烈的 CUDA kernel 启动开销与访存碎片化。NanoVSR 引入结构重参数化思想，将网络模块在训练和部署两个阶段解耦。在训练期间，每个核心模块均由 \(3 \times 3\) 卷积、\(1 \times 1\) 卷积和恒等映射（Identity）三条并行分支构成，每条分支紧跟批归一化（Batch Normalization）层以保障梯度流动和强表达能力。 在推理前夕，BN 的均值、方差及仿射参数被精确吸收到卷积核权重与偏置中，随后通过零填充将 \(1 \times 1\) 卷积核与恒等映射核对齐至 \(3 \times 3\) 大小，并在数学上完全线性等价地叠加合并为一个纯粹的单路 \(3 \times 3\) 卷积核： $\(W_{\text{fused}} = W'_{3\times3} + \text{Pad}(W'_{1\times1}) + \text{Pad}(W'_{\text{identity}})\)$ 这一变换使整个模型在推理部署时完全蜕变为一组标准连续的卷积流，消除全部非连续访存开销，完全释放 TensorRT 静态图融合优化的极限吞吐。
3. 双阶段课程训练策略：稳健引导无显式对齐下的长程时序感知 没有显式光流或可变形对齐先验的 VSR 网络从头在大运动、长序列上训练极易出现梯度弥散与不稳定发散。NanoVSR 设计了两阶段渐进式课程训练：第一阶段在 Vimeo-90K 上使用较短的 7 帧序列训练 50,000 次迭代，专注建立局部空间特征提取与短程时空上下文融合能力；第二阶段将序列拓展至 REDS 数据集上的 30 帧长视频滑窗，微调 100,000 次迭代。长时序序列的强迫输入使得双向隐藏状态在持续的反向传播中学会跨大位移运动轨迹自适应捕获特征相关性，从而在免光流的前提下保持了优异的画质稳定性。
损失函数 / 训练策略¶
模型采用端到端方式训练，总计进行 150,000 次迭代。全局批大小为 12，输入裁剪补丁为 \(256 \times 256\)。优化目标采用平滑鲁棒的 Charbonnier 损失函数（\(\epsilon = 1 \times 10^{-6}\)）： $\(\mathcal{L} = \sqrt{\| \hat{y} - y_{\text{GT}} \|^2 + \epsilon^2}\)$ 使用 Adam 优化器（\(\beta_1 = 0.9, \beta_2 = 0.99\)），学习率由余弦退火调度器在两个阶段连续调节，从 \(3 \times 10^{-4}\) 衰减至 \(1 \times 10^{-7}\)。训练全流程采用 BFloat16 自动混合精度（AMP）与阈值为 0.5 的梯级裁剪，配合几何变换（翻转、旋转、时间逆序）以及 CutBlur 数据增强技术，确保模型在有限算力下快速收敛。
实验关键数据¶
主实验¶
在 Vid4（Y通道）、REDS4（RGB通道）和 Vimeo-90K-T（Y通道）三个基准数据集上进行全面评测。运行延迟在 NVIDIA H100 GPU 上统一采用 FP32 精度测量 \(180 \times 320\) 分辨率单帧耗时；在边缘设备 Jetson Orin NX (16GB, 25W TDP) 上采用 TensorRT 10.3 引擎与 FP16 精度评估吞吐量。
| 模型 | 参数量 | H100 耗时 (ms) | REDS4 (dB / SSIM) | Vid4 (dB / SSIM) | Vimeo-90K-T (dB / SSIM) | Orin NX (25W) FPS |
|---|---|---|---|---|---|---|
| NanoVSR-226k | 226k | 1.910 | 28.23 / 0.8057 | 25.26 / 0.7252 | 34.31 / 0.9130 | 43.86 |
| NanoVSR-644k (旗舰) | 644k | 2.982 | 28.64 / 0.8215 | 26.05 / 0.7761 | 35.00 / 0.9226 | 27.20 |
| NanoVSR-1.7M | 1.7M | 4.268 | 29.15 / 0.8364 | 26.44 / 0.7964 | 35.49 / 0.9294 | 19.58 |
| NanoVSR-5.4M | 5.4M | 8.547 | 29.73 / 0.8526 | 26.76 / 0.8089 | 35.85 / 0.9335 | 8.66 |
| MobileRNN (MAI'22) | 474k | 5.676 | — / — | 25.42 / 0.7369 | 34.45 / 0.9156 | — |
| SPAN (单帧超分) | 498k | 5.820 | 28.48 / 0.8109 | 25.43 / 0.7357 | 35.06 / 0.9213 | — |
| EDVR-M | 3.3M | 27.343 | 30.53 / 0.8699 | 27.10 / 0.8186 | 37.09 / 0.9446 | — |
| BasicVSR | 6.2M | 15.160 | 31.42 / 0.8909 | 27.24 / 0.8251 | 37.18 / 0.9450 | 8.04 |
| RVRT (SOTA) | 10.8M | 47.867 | 32.75 / 0.9113 | 27.99 / 0.8462 | 38.15 / 0.9527 | 无法实时 |
在感知与时序一致性评估中，NanoVSR-644k 在 REDS4 上达成 LPIPS 0.2546 与 ST-RRED \(6.64 \times 10^{-5}\)，相较单帧图像超分基线 SPAN（LPIPS 0.2757，ST-RRED \(8.91 \times 10^{-5}\)）展现出更强的时序连贯性与更低的高频闪烁。
消融实验¶
基于 NanoVSR-226k 变体在核心设计维度进行的消融对比（H100 GPU 测速）：
| 配置 | 参数量 | 耗时 (ms) | REDS4 PSNR/SSIM | Vid4 PSNR/SSIM | 说明与关键发现 |
|---|---|---|---|---|---|
| NanoVSR-226k (完整基准) | 226k | 1.910 | 28.23 / 0.8057 | 25.26 / 0.7252 | 融合后单路推理，质量无损且测速近乎翻倍 |
| w/o 重参数化融合 (-NOFUSE) | 245k | 3.471 | 28.23 / 0.8057 | 25.26 / 0.7252 | 保持三分支多路运行，指标严格一致但耗时剧增 81.7% |
| w/o 多分支训练 (-SINGLE) | 226k | 1.885 | 28.13 / 0.8027 | 25.25 / 0.7296 | 从头纯单路训练，模型容量受限导致 REDS4 掉点 0.10 dB |
| w/o 课程预训练 (-NOPRET) | 226k | 1.887 | 28.23 / 0.8054 | 25.17 / 0.7271 | 略去 Vimeo-90K 短序列阶段，跨数据集 Vid4 泛化掉点 0.09 dB |
| w/ 显式对齐 (+SPYNET) | 1.7M | 3.953 | 29.44 / 0.8460 | 25.95 / 0.7701 | 引入光流后指标提升 1.21 dB，但参数暴涨 6.5 倍且耗时翻倍 |
| 仅单向推断 (-ONEWAY) | 151k | 1.470 | 28.04 / 0.8005 | 25.00 / 0.7107 | 移除后向隐藏状态实现零缓冲流式，Vid4 掉点 0.26 dB |
关键发现¶
- 重参数化在边缘端具有非对称红利：多分支结构在训练期有效提供了过参数化表征优势，而在部署阶段通过数学等价融合，不仅完全不掉点，还将推理耗时从 3.471 ms 压降至 1.910 ms（提速约 \(1.82\times\)）。
- 显式光流是边缘超分的算力黑洞：增加 SPyNet 虽然能提高 1.21 dB，但仅光流模块就额外引入了约 1.5M 参数，使端到端耗时翻倍以上，彻底摧毁了在边缘设备上维持 30 FPS 的可能性；NanoVSR 的隐式加性建模是在硬件约束下的最优折中。
- 容量扩张的边际递减拐点在 5.4M 附近：模型缩放实验表明，网络从 22k 扩至 644k 时指标跃升 1.02 dB；扩至 5.4M 时达到 29.73 dB；但继续扩张至 9.6M 时，PSNR 仅微增 0.17 dB，表明全卷积隐式架构在约 5.4M 左右呈现出渐进饱和。
亮点与洞察¶
- 硬件友好的单路卷积哲学：NanoVSR 直击深度学习部署中“低 FLOPs 不等于低延迟”的现实矛盾，利用结构重参数化消除分支和内存碎片，使得极度紧凑的网络能最大限度跑满 TensorRT 算子融合。
- 极简加性隐藏状态替代拼接：在循环 VSR 中用简单的逐元素加和替代标准的通道 Concatenation，直接砍半了隐藏特征进入变换层的通道计算负担，是实现极低内存带宽占用的关键 trick。
- 两阶段课程对齐的泛化收益：利用短序列先稳固特征提取、长序列再打磨运动跟踪的训练策略，证明了无显式几何变换的轻量网络同样具备鲁棒的跨帧信息汇聚能力。
局限与展望¶
- 极端剧烈运动下的细节重构上限：由于完全摒弃了显式几何运动补偿，在快速镜头平移或非刚性物体大形变场景下，网络依靠隐式加性残差对高频纹理的恢复能力仍落后于百兆参数的 SOTA 大模型。
- 双向机制固有的帧缓存延迟：虽然双向循环带来了时序互补增益，但在端侧流水线中引入了 15 帧的 look-ahead 缓冲等待，对于毫秒级极低延迟交互场景，仍需降级至单向（ONEWAY）模式运行。
- 更大分辨率输入评估缺失：论文主要在 \(180 \times 320\) 与 \(270 \times 480\) 输入（上采样至 \(720\text{p}/1080\text{p}\)）上完成边缘实测，针对 \(720\text{p} \to 4\text{K}\) 等更高吞吐场景下的显存瓶颈与性能扩展仍有待后续验证。
相关工作与启发¶
- vs BasicVSR / BasicVSR++：BasicVSR 奠定了双向循环 VSR 的经典范式，但其依赖 SPyNet 密集光流与特征拼接，无法在边缘端部署；NanoVSR 证明了通过隐式加性传播与两阶段训练，无需任何光流模块即可实现实时且具备竞争力的超分效果。
- vs RepNet-VSR / RepVGG：延续了结构重参数化使复杂多分支在推理期回归极简卷积的思想，但 NanoVSR 将其进一步深化至循环时空双向建模与帧间加性传递中，解决了时序视频领域的访存瓶颈。
- vs SPAN / MobileRNN：相较于单帧轻量超分模型 SPAN，NanoVSR-644k 耗时减半却大幅提升了时序连续性与画质（REDS4 提升 0.16 dB，ST-RRED 明显改善）；相较于移动端竞赛模型 MobileRNN，NanoVSR 摆脱了非标准循环单元的调度开销，速度领先近一倍。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 巧妙将结构重参数化与隐式无拼接双向循环结合，攻克了边缘端 VSR 的算子与带宽瓶颈。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖三项权威基准、完整的消融实验、以及在 NVIDIA Jetson Orin NX (8GB/16GB) 真实边缘硬件上的实测剖析。
- 写作质量: ⭐⭐⭐⭐⭐ 结构清晰紧凑，硬件瓶颈剖析精准，方法动机与设计细节逻辑严密。
- 价值: ⭐⭐⭐⭐⭐ 为边缘嵌入式设备（如无人机、便携式终端、车载边缘盒）的超实时视频画质增强提供了极具实用价值的工程参考。