Aligning Anything: Hierarchical Motion Estimation for Video Frame Interpolation¶

会议: ECCV 2026
论文: https://eccv.ecva.net/virtual/2026/poster/5280
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/9736.pdf
代码: https://github.com/hhhhhumengshun/SAM-VFI
领域: 视频理解 / 视频插帧
关键词: 物体先验、混合上下文、光流蒸馏、物体内特征相关性、SAM

一句话总结¶

本文把 SAM 的物体区域先验接入视频插帧的特征提取、光流蒸馏和特征监督三个位置，使像素运动既参考物体整体又保留局部变化，同设定重训的 AMT-G 在 Vimeo90K 上由 36.42 提升至 36.62 dB。

研究背景与动机¶

视频插帧需要根据前后两帧，推断中间时刻每个位置应该从哪一帧、哪个位置取内容。AMT、IFRNet 等方法先提取多尺度特征，再估计指向输入帧的双向中间光流，最后通过扭曲和融合生成中间帧。困难不是单纯缺少纹理，而是相似纹理可能对应不同物体，同一物体的不同像素又可能被网络匹配到互不协调的位置。扩大注意力范围可以看见更远的候选，却不自动告诉模型哪些候选属于同一个运动实体。

物体级信息能减少这种歧义，但不能把物体内所有像素都强制成相同位移：肢体摆动、形变和局部遮挡本来就需要细粒度运动。另一方面，直接蒸馏外部光流估计器也不可靠，因为伪光流在遮挡、运动边界和大位移处可能出错，而光流估计的目标并不完全等同于插帧质量。这里需要的是用物体结构校正像素估计，而不是用一个刚性物体运动替代整个像素场。

SAM 提供了不依赖预定义类别的区域划分，使这种约束能够覆盖开放场景。核心 idea：把物体掩码同时作为上下文聚合的范围、伪光流可信度判断的参照和特征相关性的边界，在保留像素级运动自由度的同时学习物体级一致性。

方法详解¶

整体框架¶

方法是对已有运动型插帧网络的增强，而不是从头设计新的合成器。输入仍然是两张相邻图像和目标时间；编码器提取多尺度特征，运动解码器预测双向中间光流，原有合成模块负责扭曲与融合。完整配置在特征路径加入混合上下文特征提取 HCE，并在训练时加入层级运动损失 HML 和层级特征损失 HFL；AMT 的 all-pairs correlation 等原有计算并不是本文的修改对象。

训练时有真实中间帧，因此可以用其 SAM 掩码定义监督区域，用 LiteFlow 估计从中间帧到两张输入帧的伪光流。推理时真实中间帧不可用，HML、HFL 及其教师分支全部移除；若启用 HCE，则仍要处理两张输入帧的 SAM 掩码。下图展示完整配置，损失节点是训练约束，不是推理中依次执行的后处理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入帧与多尺度特征"] --> B["混合上下文特征提取<br/>HCE"]
    S["输入帧 SAM 掩码<br/>唯一归属预处理"] --> B
    B --> C["原有运动解码器<br/>与帧合成器"]
    C --> D["预测中间帧"]
    C -.-> E["层级运动损失<br/>HML"]
    T["真实中间帧及其掩码<br/>LiteFlow 伪光流"] -.-> E
    D -.-> F["层级特征损失<br/>HFL"]
    T -.-> F

关键设计¶

1. 混合上下文特征提取：让局部像素知道自己属于怎样的整体

HCE 首先需要明确每个像素属于哪个区域。SAM 原始输出可能有嵌套或重叠掩码，也可能漏掉背景；作者按掩码面积从大到小处理，使每个像素最终只有一个归属，未覆盖像素另设背景掩码。缓存正文没有进一步写清重叠像素的覆盖实现细节，因此不能把这一描述扩展成自行设计的优先级算法。这里也没有引入跨帧物体 ID 匹配器，掩码主要在各帧内部组织特征。

对每个区域，HCE 从插帧编码器的像素特征中索引出区域内特征，做平均池化，再把这个区域级向量复制回区域内各位置。于是每个像素同时拥有局部细节和整个物体的汇总信息。两者沿通道拼接后经过卷积、PReLU 和通道注意力，并按结构图通过残差路径保留原始像素特征。物体向量提供的是上下文，不是把输出光流平均化；保留像素路径正是避免丢失物体内部形变的关键。注意，这里的物体特征来自插帧编码器在掩码内的聚合，并非直接把 SAM 图像嵌入当作插帧特征。

2. 层级运动损失：用两种偏差判断哪些伪光流值得学

HML 的教师是预训练 LiteFlow，其输入包含训练时可见的真实中间帧。对两个方向的伪光流，先计算它与学生预测之间的逐像素端点误差，得到像素层面的偏差；再对每个真实中间帧物体区域中的伪光流做平均并复制回去，得到区域平均运动参照，计算每个伪光流向量偏离这个参照的端点误差。第一项反映师生分歧，第二项反映教师运动在物体内部的偏离程度。平均运动只用于评估蒸馏可靠性，不是要求学生最终输出刚性运动。

两种偏差通过原文式 (10) 形成层级可靠性量，其中 \(P_l\) 是师生端点误差，\(O_l\) 是伪光流相对物体均值的端点误差，\(l\) 表示运动方向：

\[ H_l=\exp\left[-\beta(P_l+O_l)\right]. \]

偏差越大，可靠性越低。关键不只是给普通损失乘一个权重：作者用可靠性改变鲁棒 Charbonnier 惩罚的参数，取 \(\epsilon=10^{(H_l-1)/3}\)、\(\alpha=H_l/2\)，再对上采样到对应尺度的低层解码光流进行蒸馏。这样会减弱可疑伪标签的影响，而不是盲目追随教师。缓存式 (11) 的排版抽取丢失了运算符，这里不补造其完整公式；可确认的是它聚合三个低层尺度及两个方向，且正文没有给出 \(\beta\) 的具体取值。

3. 层级特征损失：把生成质量约束放到物体内部的相关关系上

即使抑制了错误伪光流，合成结果仍可能在同一物体内部出现破碎纹理或不连贯结构。HFL 因而从真实与预测中间帧分别提取 VGG19 特征，借助自注意力建立位置之间的特征相关关系，再引入真实中间帧的物体掩码，排除其他物体的干扰。它比较的是两张图像经过物体内相关性建模后的表示，而不是仅逐像素比较颜色，也不是额外监督一个跨帧物体跟踪结果。

这一设计把“同一物体的局部应该保持协调”转化为感知特征约束，补足 HML 对伪光流质量的依赖。其对运动连续性的改善是通过插帧重建训练间接实现的，不能说它在数学上保证了光流连续。缓存式 (12) 至 (14) 存在括号和运算符缺失，正文还将注意力缩放量解释为注意力头数；因此这里保留可辨认的机制，不把标准注意力公式擅自替换成作者的精确实现。物体掩码限制相关区域、VGG19 提取表示、真实与预测分支比较这三点是明确的。

一个完整示例¶

以论文讨论的肢体运动场景为例，以下是机制走读，不是额外实验。输入两帧中的肢体局部纹理可能相似，HCE 先把每个位置与其所在掩码的区域特征结合，帮助解码器减少跨物体的错误匹配，同时仍允许不同部位输出不同位移。

训练时，如果 LiteFlow 在边界给出了与区域整体明显不一致的向量，HML 会结合师生分歧和物体内偏差减弱其蒸馏影响。若预测中间帧局部仍有断裂，HFL 就通过真实中间帧的掩码约束物体内特征关系，避免相邻背景参与混合。到了部署阶段，后两种约束已经体现在网络参数中；选择无 HCE 的配置时，连输入帧分割也不再需要。

损失函数 / 训练策略¶

图像重建使用 Charbonnier 损失，基本参数为 \(\alpha=0.5\)、\(\epsilon=10^{-3}\)；HML 使用前述自适应参数，HFL 提供额外的物体内特征监督。三者分别作用于重建误差、运动蒸馏和感知结构，不能把 HFL 当成一个替代全部重建目标的独立损失。正文未明确给出完整总损失系数，这里不补设权重。

训练使用 Vimeo90K 的 51,312 个三帧样本，裁剪为 224×224，AdamW、batch size 48、300 epochs，在 8 张 RTX 4090 上训练；学习率从 \(10^{-4}\) 按余弦退火降至 \(10^{-5}\)。大模型 HCE 数量设为 6，小模型为 1。完整配置追求质量；仅 HML+HFL 的配置保持原网络推理结构，但训练阶段仍有生成分割和教师监督的成本。

实验关键数据¶

主实验¶

以下取原文表 1 的同设定重训 AMT-G 对照，指标依次为 PSNR（dB，越高越好）、SSIM（越高越好）、LPIPS（越低越好）。原文用 ‡ 标记重训版本，避免将不同训练设置混作本文组件的净收益。

测试集	AMT-G 重训基线	本文 AMT-G 完整配置	PSNR 增量
Vimeo90K	36.42 / 0.9816 / 0.0174	36.62 / 0.9820 / 0.0168	+0.20 dB
SNU-FILM Medium	36.07 / 0.9798 / 0.0376	36.33 / 0.9802 / 0.0341	+0.26 dB
SNU-FILM Hard	30.75 / 0.9377 / 0.0614	30.97 / 0.9384 / 0.0583	+0.22 dB
SNU-FILM Extreme	25.38 / 0.8637 / 0.1080	25.61 / 0.8647 / 0.1036	+0.23 dB
Xiph 4K	34.73 / 0.9489 / 0.1339	34.87 / 0.9490 / 0.1295	+0.14 dB

Vimeo90K 测试集包含 3,782 个三帧样本；SNU-FILM 包含 1,240 个三帧样本，分四档难度；Xiph 使用 8 段 4K 视频，并按既有协议构造 2K/4K 测试。Xiph-4K 的命名不能简单解读为所有网络均原生处理完整 4K 图像：原文描述包含中心裁剪到 2K 的操作。

消融实验¶

以下为原文表 2 的 IFRNet-M 消融，不能直接与上面的 AMT-G 数值相减。推理时间按论文报告，为 RTX 3090 上 1280×720 输入的测量。

配置	Vimeo90K PSNR / SSIM / LPIPS	Medium PSNR / SSIM / LPIPS	时间	参数 / FLOPs
基线	35.70 / 0.9789 / 0.0176	35.84 / 0.9796 / 0.0327	30 ms	5.0M / 0.21T
仅 HCE	35.85 / 0.9793 / 0.0171	36.01 / 0.9798 / 0.0325	38 ms	5.5M / 0.24T
仅 HML	35.87 / 0.9795 / 0.0175	35.96 / 0.9798 / 0.0330	30 ms	5.0M / 0.21T
HCE + HML	35.96 / 0.9800 / 0.0172	36.03 / 0.9799 / 0.0325	38 ms	5.5M / 0.24T
HML + HFL	35.84 / 0.9793 / 0.0172	35.92 / 0.9797 / 0.0327	30 ms	5.0M / 0.21T
HCE + HML + HFL	35.98 / 0.9802 / 0.0169	36.01 / 0.9800 / 0.0320	38 ms	5.5M / 0.24T

表中并未单列 SAM 分割的时延、参数和 FLOPs，不能把 38 ms 或 5.5M 直接当作已经充分核算分割模型的端到端部署成本。原文明确警告 HCE 及 SAM 会带来额外推理开销；“零额外推理开销”仅适用于去掉 HCE 的损失增强配置。

关键发现¶

单独 HCE、HML 分别使 Vimeo90K PSNR 增加 0.15、0.17 dB，二者联合增加 0.26 dB，完整配置增加 0.28 dB。它们有互补作用，但收益不是简单相加。
表 3 中像素特征版 HCE 为 35.76 dB，加入物体特征后为 35.85 dB；因此不能把 HCE 的全部提升都归因于物体先验，新增特征处理本身也有贡献。
表 4 中仅像素、仅物体和层级组合蒸馏分别为 35.79、35.80、35.87 dB，支持联合可靠性判断优于其中单一层次。
HFL 体现感知质量与失真指标的取舍：对 HML-only 加 HFL，Vimeo90K PSNR 从 35.87 降至 35.84，但 LPIPS 从 0.0175 降至 0.0172；完整配置在 Medium 的 PSNR 也低于 HCE+HML，不能宣称所有指标单调改善。
跨骨干效果并非全指标一致：表 1 中 IFRNet-L 重训版本在 Extreme 的 PSNR 从 25.25 升至 25.33，但 LPIPS 从 0.1057 变为 0.1072，反而略差。

亮点与洞察¶

物体先验不只用于增加输入通道，而是分别作用于表征、教师可靠性和感知结构。这使区域划分有明确的优化角色，而不是仅把基础模型当成另一个编码器。
区域平均光流是蒸馏可信度参照，不是学生的硬性输出模板。这保留了非刚性运动的表达能力，也解释了为何层级学习仍以像素光流为输出。
把部分物体知识仅放在训练损失中，是有实际部署价值的选择。完整配置与无 HCE 配置应按质量需求和算力预算分开评估。

局限与展望¶

作者明确指出，严重遮挡或模糊边界会使掩码不准，错误区域先验可能反过来损害插帧；更强的分割与边界定位是直接改进方向。
即使掩码准确，极大位移和复杂非刚性运动仍然可能失败。区域归属不能替代长距离对应建模，也不能解决所有速度歧义。
从机制看，真实物体内部复杂形变也可能偏离平均光流，因此物体偏差不等于教师错误的完美标签。原文没有系统拆分这类误降权情况，值得通过形变强度和遮挡分层评估。
从实验看，缺少掩码质量扰动曲线、分割开销拆分与总损失权重的完整正文说明，限制了鲁棒性和成本结论的可复现程度。
作者提出未来结合 Velocity Disambiguation，把被动的区域正则推广到用户指定物体轨迹或非刚性运动的主动控制；这仍是未来方向，不是本文已经验证的功能。

评分¶

新颖性: 4/5。区域先验、鲁棒蒸馏与特征约束组合明确，但并非首次利用 SAM 或语义信息辅助运动估计。
实验充分度: 4/5。覆盖多个基准、两类骨干和分模块消融，但掩码鲁棒性及分割成本拆分仍不足。
写作质量: 3/5。核心路径清晰，部分公式与实现细节在当前全文缓存中难以准确恢复，复现时需要核对代码。
价值: 4/5。对现有插帧器有可迁移的训练增强价值，尤其是无需增加推理结构的 HML+HFL 配置。