ViBe: Ultra-High-Resolution Video Synthesis Born from Pure Images¶

会议: ECCV2026
论文: ECCV 原文
领域: 视频生成
关键词: 超高分辨率视频、Relay LoRA、全局粗局部细注意力、高频重构、流匹配

一句话总结¶

ViBe 在已有视频 DiT 上只用图像完成分辨率适配，通过推理时移除模态适配器、保留空间适配器，再结合稀疏注意力和高频重构训练，在表 1 的 4K 设置下取得 74.4% 的六指标均值，比 CineScale 高 0.8 个百分点。

研究背景与动机¶

视频 DiT 的注意力需要联合处理空间与时间 token，提高分辨率会显著放大计算和显存压力；若同时保留多帧训练，成本进一步上升。图像比高分辨率视频更容易获得，也不需要承担训练序列的时间维开销，因此用高分辨率图像升级现成视频模型很有吸引力。不过，这里的目标不是从静态图像中重新学会运动，而是保留视频预训练已经获得的运动能力，只补充空间细节能力。

直接在高分辨率图像上训练一个 LoRA 并用于视频，并不能保证这种分工。这个适配器同时学到了“视频变单帧图像”和“低分辨率变高分辨率”两种变化；推理时它们一起施加到视频模型，就可能引入明显噪声和伪影。另一方面，即使解除了模态干扰，全局注意力也未必善于恢复细纹理，常规流匹配目标也没有专门要求模型补回上采样后缺失的高频信息。

核心 idea：先让一个辅助 LoRA 吸收视频到图像的模态变化，再在这个起点上训练负责空间提升的第二个 LoRA；生成视频时只保留后者，并通过局部细节注意力与干净潜变量重构监督强化细节。

方法详解¶

整体框架¶

输入是文本提示，输出是超高分辨率视频。推理遵循由粗到细的既有思路：先用模型原生分辨率建立主体、布局和运动，再以这段视频为基础生成高分辨率版本。ViBe 的训练并不需要高分辨率视频，而是通过 Relay LoRA 在静态图像上完成适配。

第一阶段在低分辨率图像上训练 LoRA1；第二阶段合并并冻结这个适配后的骨干，加入 LoRA2，将自注意力替换为全局粗局部细注意力（GCLFA），并采用高频感知训练目标（HFATO）。这三项设计分别处理模态干扰、注意力的空间覆盖以及细节恢复监督。下图的中间链条表示第二阶段的模型与目标配置，不是把注意力和损失当成两个独立生成器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Images["低分辨率与高分辨率图像"] --> Relay["Relay LoRA"]
    Relay --> Attention["全局粗局部细注意力"]
    Attention --> Objective["高频感知训练目标"]
    Objective --> Adapter["保留 LoRA2<br/>移除 LoRA1"]
    Prompt["文本提示"] --> Native["原生分辨率视频"]
    Native --> Refine["高分辨率细化<br/>输出视频"]
    Adapter --> Refine

关键设计¶

1. Relay LoRA：将训练需要的模态桥梁与推理需要的空间能力分开

第一阶段冻结基础视频模型，在低分辨率单帧图像上训练 LoRA1，使它先适应没有时间变化的图像输入。第二阶段将 LoRA1 合并到基础权重并冻结，再用高分辨率图像训练新的 LoRA2。由于第二阶段的起点已经能够处理图像，新增参数就更有机会集中表达分辨率提升，而不是再次承担从视频到图像的全部变化。

关键不在于连续训练两次，而在于部署时不保留完整训练模型。将基础权重记为 \(W^{(0)}\)，两阶段增量记为 \(\Delta W_1\) 和 \(\Delta W_2\)，原文式 (5)、(6) 对应的权重关系可整理为：

\[ W_{\mathrm{stage2}}=W^{(0)}+\Delta W_1+\Delta W_2, \qquad W_{\mathrm{infer}}=W^{(0)}+\Delta W_2. \]

第二阶段只优化 \(\Delta W_2\)，推理则去掉 \(\Delta W_1\)。读者可以把 LoRA1 理解成训练空间适配器时需要的临时环境：它帮助第二阶段避开模态错配，但最终任务仍然是视频，因此不随 LoRA2 一起部署。原文给出的是经验上的解耦设计，并没有证明两个增量在参数空间中严格正交，也不能据此断言运动能力完全不受影响。

2. 全局粗局部细注意力：保留完整局部窗口，同时提供压缩的全局上下文

仅靠全局粗表示容易丢细节，仅靠局部窗口又可能让不同区域失去共同的主体与布局。GCLFA 在第二阶段替换所有自注意力层：局部分支保留细粒度 token，但每个 query 只看附近窗口；全局分支对施加 RoPE 后的 key 及对应 value 做池化，提供覆盖整幅画面的粗 token。细粒度与池化后的 key/value 拼接后，通过注意力掩码控制访问范围，让同一 query 同时利用局部纹理与全局语义。

局部分支还处理了一个容易忽略的边界问题。普通滑窗遇到画面边缘会被截短，使边缘 query 能看到的 token 更少；ViBe 将越界窗口向画面内部平移，保留与原生尺度相应的窗口大小，而不是缩小窗口或跨边界回卷。原文举例是为 480P 模型使用对应 480P 的窗口。这一机制维持的是空间感受野大小，不等于额外学习了跨帧运动对应关系。

全局分支仍然必要，因为只保留局部高频信息无法可靠决定远处物体的布局。原文用 PyTorch FlexAttention 实现这种稀疏访问，减少高分辨率全量交互；它没有在主结果表中给出固定时长 4K 视频的实际生成耗时，因此“注意力更稀疏”不应被直接换算成未经报告的端到端加速倍数。

3. 高频感知训练目标：让模型面对缺细节的输入，却仍然对完整细节负责

HFATO 首先对干净图像潜变量做下采样再上采样，得到空间尺寸恢复、但高频成分被削弱的版本；然后才加入高斯噪声。模型从这个退化且带噪的输入预测流，并据此重构干净潜变量。监督目标不是退化后的版本，而是最初的干净潜变量，因此仅消除随机噪声、却不补回纹理，不能满足训练要求。

这个区别与推理中的粗到细任务相吻合：已有低分辨率视频提供大体结构，却不包含全部细节，第二阶段需要恢复的不只是噪声污染。HFATO 将潜变量退化与 \(x_0\) 重构监督结合起来；表 2 又分别去掉整个 HFATO 和仅去掉 \(x_0\) Loss，以区分“输入变难”与“显式监督干净结果”的作用。缓存的式 (11) 加噪表达存在转录缺字，这里按相邻正文解释机制，不补写无法可靠核对的具体噪声参数化。

一个完整示例¶

以生成有人物面部细节的视频为例，原生分辨率模型先确定脸的位置、身份与动作，高分辨率细化随后沿用这段粗视频的结构。模型此时加载的是基础权重加 LoRA2，而不是两组 LoRA 的总和，因此不会主动带入第一阶段的单帧模态适配。

细化面部时，局部窗口负责皮肤纹理，池化全局 token 帮助这些纹理与整张脸保持一致；若脸靠近画面边缘，窗口向内移动而不被截短。HFATO 则已经在训练中要求模型从缺失高频的潜变量恢复原始细节。原文图 7 以皮肤皱纹说明局部细节差异，但这不能证明生成纹理与真实人物细节逐像素一致。

损失函数 / 训练策略¶

训练数据为 FLUX 1.1 Pro Ultra 生成的 2.3K 张图像，高分辨率为 \(2752\times1536\)。第一阶段使用低分辨率图像和标准流匹配损失训练 3K 次迭代；第二阶段使用高分辨率图像和式 (11) 的重构目标再训练 3K 次。只适配注意力层中的参数，不是对整个视频骨干进行全参数重训。

原文称两个阶段在单张 A100 上约一天完成，未另行指定时推理也使用单张 A100。LoRA rank、优化器与 scheduler 沿用 DiffSynth-Studio 默认设置，正文没有给出这些超参数的具体值，不能将“默认设置”写成固定且已核验的配置。

基础模型包括 Wan2.2-5B 和 14B：前者的原生分辨率为 \(1280\times704\)，VAE 下采样因子为 \(16\times16\times4\)；后者使用 \(832\times480\) 与 \(1280\times720\) 混合分辨率，因子为 \(8\times8\times4\)。这些预训练模型已经使用视频数据，纯图像限制仅适用于 ViBe 的新增适配。

实验关键数据¶

主实验¶

评测从 VBench 标准提示集合随机选取 100 条提示，每种方法对每条提示使用 5 个随机种子，即每个分辨率设置生成 500 段视频。原文图 5 及用户研究明确采用 Wan2.2-5B；表 1 只标为 Wan2.2，并没有分别列出 5B 与 14B 的数值，不将它解释为两个规模各自通过了同样比较。

下表选取原文表 1 中的 4K 结果，全部为百分比且越高越好。表 1 标注的尺寸是 \(3840\times2176\)，但第 4.1 节写成 \(3820\times2176\)；这里按结果表保留 \(3840\times2176\)，不将原文的不一致悄悄改为标准 UHD 尺寸。

方法	美学质量	成像质量	总体一致性	Overall Score
Wan2.2	59.1	33.9	13.6	65.5
Real-ESRGAN	59.8	58.3	24.3	72.0
Upscale-A-Video	61.1	65.7	25.8	73.5
I-Max	57.0	61.8	26.9	72.5
HiFlow	56.6	54.4	27.0	71.5
CineScale	60.1	66.3	25.1	73.6
T3-Video	60.8	64.8	24.7	72.8
ViBe	61.4	66.1	27.1	74.4

表 1 的 Overall Score 定义为六个指标的算术均值，另外三项是主体一致性、背景一致性和运动平滑度；不是上表所展示三列的均值，也不能直接当作完整 VBench 官方总分。ViBe 对应另外三项为 95.2%、97.1%、99.2%，关系为：

\[ S_{\mathrm{overall}}=\frac{1}{6}\sum_{j=1}^{6}s_j. \]

在 \(1920\times1088\) 设置下，ViBe 的 Overall Score 为 74.3%，Wan2.2 为 72.5%，Real-ESRGAN 为 72.6%。4K 下 ViBe 比 CineScale 高 0.8 个百分点，但成像质量 66.1% 低于 CineScale 的 66.3%，不能概括成所有指标都第一。

消融实验¶

以下为原文表 2。完整模型数值与表 1 的 4K 行一致，但表 2 表题没有独立重述分辨率与模型规模；应将它视为论文报告的对应消融，避免补充未经注明的运行配置。DR 指第 4.4 节讨论的 GCLFA 下采样比，不将其误写为 HFATO 退化算子的已确认超参数。

配置	美学质量	成像质量	Overall Score	相对 DR = 1/2 的总分差
w/o Relay LoRA	46.7	37.4	66.0	-8.4 个百分点
w/o GCLFA	52.2	49.0	69.1	-5.3 个百分点
w/o HFATO	53.7	59.0	70.8	-3.6 个百分点
w/o X0 Loss	57.3	59.2	72.3	-2.1 个百分点
ViBe，DR = 1/2	61.4	66.1	74.4	0.0 个百分点
ViBe，DR = 1/4	61.3	65.6	74.2	-0.2 个百分点

图 7 图注将 w/o Relay LoRA 定义为基础模型只装 LoRA1，而正文又以直接高分辨率 LoRA 适配讨论这项对照；两种描述不够一致。因此 8.4 个百分点是这行配置与完整模型的观测差距，不应解释成已经严格隔离出的单一因果效应。

关键发现¶

Relay LoRA 的移除对应最大总分差距，尤其成像质量从 66.1% 降到 37.4%，支持模态适配干扰是主要风险。
去掉 \(x_0\) Loss 后总分为 72.3%，说明仅使输入退化不足以替代显式重构监督；这些差距不能简单相加，因为模块可能相互作用。
DR = 1/4 的总分为 74.2%，略低于 DR = 1/2 的 74.4%；作者根据局部视觉案例建议前者追求更细纹理，后者追求更稳健效果。
用户研究有 35 位参与者，作者报告各偏好维度领先；缓存没有可读的图 6 百分比，不补写偏好率。图 8 展示了 4 步蒸馏模型与图像到视频迁移，但没有给出完整数值对照。

亮点与洞察¶

训练时的最优辅助组件不一定应该部署。Relay LoRA 用临时模态适配帮助学习，再将它移除，这比把全部训练增量永久叠加到基础模型更有针对性。
边界处理与全局语义可以同时兼顾。向内滑窗保留边缘 token 的局部信息量，池化全局 token 则防止细节恢复变成彼此孤立的局部生成。
HFATO 改变了模型必须解决的问题。它不只要求沿噪声轨迹预测流，而是要求在高频缺失时仍恢复原始潜变量，这与粗到细生成的输入缺陷相匹配。

局限与展望¶

主文没有独立局限章节。适配无需视频不代表基础训练无需视频，也没有证明可以从纯图像学到新的复杂运动或长时序因果关系。
100 条提示、每条 5 个种子的比较没有报告置信区间；仅凭 0.8 个百分点的均值差，不能判断统计显著性或所有场景的稳定优势。
缓存止于参考文献，没有正文提及的其他 DiT 附录结果。4 步采样和图像到视频目前只能按所见定性证据描述，不能扩展为量化泛化结论。
分辨率、消融定义和超参数披露仍有复现歧义；还缺少固定帧数下的峰值显存、推理延迟以及高分辨率视频训练基线的统一成本表。
后续可在同一模型、提示与种子下单独比较是否移除 LoRA1，并加入运动幅度、时长和遮挡分层评测，以检验空间能力与时间能力是否真正分离。这是笔记提出的验证方向，不是原文已完成的实验。

评分¶

新颖性: 4/5。推理时舍弃模态桥梁的两阶段适配具有明确辨识度，但粗到细与局部注意力有既有基础。
实验充分度: 3/5。包含多类基线、组件消融及用户研究，但缺少误差条、完整成本和跨骨干定量证据。
写作质量: 3/5。主要机制可理解，分辨率与消融定义的不一致影响精确复现。
价值: 4/5。为已有视频模型提供低成本的空间分辨率升级路线，适用边界需要更充分的运动与长视频测试。