Ultra Flash: Scaling Real-Time Streaming Video Generation to High Resolutions¶

会议: NeurIPS 2026
arXiv: 2606.09150
项目主页: https://xin1u.github.io/UltraFlash/
领域: 视频生成
关键词: 实时流式视频生成、级联生成、隐空间上采样器、自强制偏好优化、动态块稀疏注意力

一句话总结¶

Ultra Flash 提出了一种级联流式视频生成框架，通过保持架构的生成式超分辨率转换、轻量因果隐空间上采样器与级联流式自强制偏好优化，在单张 GPU 上首次实现了 1K 分辨率约 30 FPS 与 2K 分辨率约 18 FPS 的实时交互式流式视频生成。

研究背景与动机¶

近年来视频扩散模型与扩散 Transformer（DiT）取得了令人瞩目的生成质量，但高算力开销与双向非因果注意力机制将其限制在离线批处理模式。在交互式预览、游戏动态资产生成及实时流媒体创作等前沿应用中，系统对流式输出与超低延迟提出了极高要求。近期以 CausVid、Self Forcing 为代表的自回归流式扩散模型，通过不对称蒸馏与自强制展开将双向模型转化为单向块级因果生成器，实现了单卡 480P 下约 30 FPS 的实时流式生成。然而，直接将这类方法扩展到 1K 或 2K 高分辨率时，注意力机制平方级计算复杂度和庞大的显存带宽占用构成了根本瓶颈。

为了规避高分辨率端到端生成的计算灾难，先生成低分辨率视频确立语义与大范围动态、再由超分辨率（SR）模型补充高频细节的级联式架构成为业界共识。然而现存级联方案面临三大矛盾：首先，传统像素级视频超分方法（如 FlashVSR、Stream-DiffVSR）在级联管线中引入了额外的隐变量编解码往返开销，且大幅修改 DiT 结构而丢失了基础文本到视频（T2V）模型的生成先验；其次，现存隐空间上采样策略要么采用双线性/双三次插值带来严重频谱走样，迫使后续超分阶段必须注入大噪声掩盖走样，极大加剧了超分训练与单步蒸馏的难度，要么依赖重型非因果上采样器而无法流式外推；最后，级联系统存在严重的曝光偏差（Exposure Bias）与累积误差，流式生成时超分模型需处理来自上游生成器和自身历史块的不完美预测，导致长序列生成时画面急剧漂移、闪烁与失真。

针对上述困境，本文的核心思路在于解耦时空特征重建并消除级联曝光偏差。核心 idea：构建轻量级因果隐空间上采样器以极低开销无走样对齐高低分辨率特征，通过零初始化扩展通道将预训练 T2V 无缝转为生成式超分辨率模型，并在流式自强制框架下结合解耦 DMD 单步蒸馏与级联 DPO 偏好对齐，实现单卡 1K@30FPS 与 2K@18FPS 实时高分辨率流式视频生成。

方法详解¶

整体框架¶

Ultra Flash 的流水线采用低分辨率流式生成器与高分辨率超分处理的级联设计。输入文本提示词与随机噪声后，上游生成器逐块因果生成 480P 隐变量；随后因果流式隐空间上采样器将其升采样至高分辨率隐空间；保持架构的超分辨率 DiT 模型结合动态块稀疏注意力完成单步流式去噪；最终由轻量高分辨率解码器直接还原为高质量像素级视频流。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["文本提示词 + 噪声序列"] --> B["低分辨率流式生成器<br/>480P 块级自回归生成"]
    B --> C["因果流式隐空间上采样器<br/>时空相干因果记忆网络"]
    C --> D["保持架构的 TV2V 超分模型<br/>零初始化通道扩展与流匹配"]
    D --> E["混合奖励稀疏因果单步蒸馏<br/>解耦 DMD + 块稀疏注意力"]
    E --> F["级联自强制偏好优化与缓存管理<br/>消除累积误差 + 动态跳步刷新"]
    F --> G["轻量因果高分辨率解码器<br/>实时输出 1K/2K 视频流"]

关键设计¶

1. 保持架构的 T2V 转 TV2V 超分训练范式与 AIGC 退化管线：零破坏继承预训练生成先验并适配生成伪影 传统超分模型往往通过修改网络浅层结构或引入外部特征引导层，破坏了预训练模型原本强大的文本对齐与视觉先验。Ultra Flash 仅将 DiT 的首层输入投影通道从 $c$（16 通道）扩展为 $2c$（32 通道），用于在通道维度拼接噪声隐变量 $\epsilon$ 与上采样后的低分辨率隐变量 $\mathbf{z}^{\text{HR}}$，并将新增权重初始化为零。这一设计使模型在训练伊始完全等价于原始 T2V 模型，并在训练中平滑吸收超分条件信号。为防止超分模型过度退化为对低分辨率输入的机械拷贝，训练时引入了条件噪声注入（在隐变量中混入随机高斯噪声 $\sigma_{\text{cond}} \in [0.4, 0.6]$，推理时固定为 0.5）以及概率为 $p_{\text{drop}}=0.4$ 的条件丢弃，迫使模型在条件退化时自主激发强大的无条件生成先验，同时保证分类器自由引导（CFG）的调节自由度。

针对真实自然图像退化模型无法模拟 AI 生成视频伪影的问题，本文专门构建了两阶段 AIGC 退化管线：第一阶段施加五种时间平滑演化的 AIGC 合成退化，包括模拟扩散曝光融合的时间变形（Temporal Morphing）、模拟自回归抖动的随机丢帧插值、模拟各向异性扩散伪影的方向运动模糊、模拟果冻效应的 ROI 约束网格形变以及 H.264 编码压缩；第二阶段级联双遍 Real-ESRGAN 风格的空间退化（锐化、多尺度高斯模糊、随机缩放、噪声与 JPEG 压缩）。两阶段通过 CutMix 随机混合后进行双三次下采样，生成高度保真的配对数据，使超分模型能在流匹配目标下精准抑制扩散视频特有的闪烁与模糊。

2. 因果流式隐空间上采样器与高分辨率解码器：低开销无走样跨分辨率因果映射 常规方法依赖的双线性或双三次插值在隐空间中会引发严重的高频频谱走样，迫使下游超分模型不得不增大去噪噪声水平以覆盖瑕疵，这极大削弱了超分模型利用低频轮廓的能力并拉长了去噪步数。Ultra Flash 提出了轻量级的统一因果记忆网络架构（Causal Memory Network），仅包含约 2.1M 参数，跨分辨率阶段开销低于管线总延迟的 5%。该网络由三级级联模块组成，每级包含若干因果记忆块（CausalMemBlock），通过跨时间维度的特征缓存将前一帧隐特征 $\mathbf{m}_{t-1}^{(\ell)}$ 与当前帧隐特征拼接： $$\mathbf{h}_{t}^{(\ell)}=\sigma\!\left(\text{Conv}_{3{\times}3}^{(3)}\!\left(\text{Conv}_{3{\times}3}^{(2)}\!\left(\sigma\!\left(\text{Conv}_{3{\times}3}^{(1)}\!\left([\mathbf{h}_{t}^{(\ell-1)};\;\mathbf{m}_{t-1}^{(\ell)}]\right)\right)\right)\right)+W_{\text{skip}}\mathbf{h}_{t}^{(\ell-1)}\right)$$ 空间上采样通过卷积扩充通道后执行 PixelShuffle 实现，时间上采样则利用 $1\times 1$ 卷积提升通道并展开为新时间帧。上采样器仅配置空间倍率（如 $2\times$ 或 $3\times$），而高分辨率解码器则配置 $8\times 8\times 4$ 的时空联合展开。二者联合优化隐变量均方误差与光流扭曲时序一致性损失 $\mathcal{L}_{\text{eWarp}}$，直接输出时空平滑的高分辨率隐变量，从源头消除了混叠假频，使后续超分模型免于注入大方差噪声。

3. 混合奖励稀疏因果化单步蒸馏：兼顾流式硬件效率与极致感知画质 为了在单张 GPU 上承受 1K 及 2K 分辨率的庞大 Token 量，密集双向注意力必须彻底转换为流式因果注意力并大幅稀疏化。本文将三维时空 Token 网格划分为 $(2, 8, 8)$ 大小的非重叠块，构建动态块稀疏因果注意力机制。每层注意力结合局部滑动窗口掩码 $\mathbf{M}_{\text{local}}$ 与严格时序因果掩码 $\mathbf{M}_{\text{causal}}$，并通过块内均值池化的 Query 和 Key 点积评估块间关联度，自适应保留各头得分最高的 top-$k$ 个相关块执行硬件加速的稀疏计算，在保证时序因果推断的同时消除显存溢出。

在此基础上，Ultra Flash 采用解耦分布匹配蒸馏（Decoupled DMD），由冻结的多步双向超分教师模型指导单向稀疏学生模型，将去噪过程压缩至单步前向传播。为了弥补单步蒸馏带来的高频纹理模糊与过平滑，训练不仅采用高频小波 L1 损失 $\mathcal{W}_{\text{HF}}$ 与 LPIPS 感知损失，更在输出端通过可微高分辨率解码器回传混合奖励梯度的无监督画质信号： $$\mathcal{L}_{\text{reward}}=-\lambda_{\text{clip}}\cdot\text{CLIP-IQA}^{+}(\hat{\mathbf{I}}_{0})-\lambda_{\text{musiq}}\cdot\text{MUSIQ}(\hat{\mathbf{I}}_{0})-\lambda_{\text{aes}}\cdot\text{LAION-Aes}(\hat{\mathbf{I}}_{0})$$ 这使学生模型在单步前向推断中被显式引导向锐利边缘、丰富纹理及自然色彩分布，达到甚至超越多步教师模型的视觉质感。

4. 级联流式自强制偏好优化与动态缓存管理：消除时序曝光偏差并榨干单卡吞吐 单步因果蒸馏模型虽然具备单步生成速度，但在流式长序列推理时面临多级级联系统的复合曝光偏差：下游超分模型在推理时接收到的是上游低分辨率生成器产生的带有微小缺陷的隐变量，以及超分模型自身上一块生成的预测特征。这种训练与测试间的分布脱节会在几秒内导致画面累积崩溃。Ultra Flash 引入第二阶段流式自强制 DPO 偏好对齐，训练过程中端到端展开级联管线，将当前单步流水线在自身预测历史上自回归生成的样本作为负样本 $\mathbf{z}^{-}$，同时引入更强的大模型（Wan2.2-5B 像素级超分）多步推断产物作为正样本 $\mathbf{z}^{+}$，通过 DPO 损失显式拉伸分布偏好： $$\mathcal{L}_{\text{pref}}=-\log\sigma\!\left(\beta\left(\log\frac{\pi_{\theta}(\mathbf{z}^{+}|\mathbf{c})}{\pi_{\text{ref}}(\mathbf{z}^{+}|\mathbf{c})}-\log\frac{\pi_{\theta}(\mathbf{z}^{-}|\mathbf{c})}{\pi_{\text{ref}}(\mathbf{z}^{-}|\mathbf{c})}\right)\right)$$ 在推理阶段，管线进一步实施三项动态缓存管理策略：一是低分辨率生成器步数递减，仅在首块采用标准 4 步去噪，后续块由于继承前序时序隐状态降至 3 步去噪；二是基于 IQA 的自适应 KV 缓存刷新，当上一块解码画面的图像质量评分高于预设阈值 $\tau_{\text{IQA}}=0.65$ 时，跳过额外的预测 $\mathbf{x}_0$ 前向重算，直接复用最后去噪步的 KV 缓存；三是动态自适应裁剪超分模型的 KV 缓存窗口长度。这三大工程优化在不损画质的前提下为每块节省超过 40ms，使端到端生成帧率从 22.4 FPS 跃升至 30.2 FPS。

损失函数 / 训练策略¶

Ultra Flash 的训练分为四个循序渐进的阶段： 1. 超分辨率模型基础微调：采用流匹配目标（Flow Matching），从预训练 Wan2.1-1.3B 零初始化通道扩展后，在 AIGC 退化配对数据上以 AdamW 优化器、学习率 $10^{-5}$ 训练，结合条件噪声与丢弃策略。 2. 因果记忆网络预训练：独立优化上采样器与高分辨率解码器，目标为隐空间/像素空间的重建均方误差与光流扭曲损失 $\mathcal{L}_{\text{cmn}} = \|\hat{\mathbf{x}}-\mathbf{x}_{\text{gt}}\|_{2}^{2} + \lambda_{\text{warp}}\mathcal{L}_{\text{eWarp}}$。 3. 稀疏因果单步蒸馏（Phase I）：总损失包含解耦 DMD 梯度、高频小波加权 L1 损失、LPIPS 感知损失及混合感知奖励：$\mathcal{L}_{\text{Phase\,I}} = \mathcal{L}_{\text{d-DMD}} + \mathcal{L}_{\text{reg}} + \mathcal{L}_{\text{reward}}$。 4. 级联流式自强制 DPO 偏好对齐（Phase II）：冻结 Phase I 检查点作为参考策略 $\pi_{\text{ref}}$，在端到端流式自回归展开下最小化 $\mathcal{L}_{\text{Phase\,II}} = \mathcal{L}_{\text{pref}}$。

实验关键数据¶

主实验¶

在 VBench 全面基准评测与单卡推理效率测试中，Ultra Flash 在保持前沿画质与时序连贯性的同时，大幅突破了此前流式视频生成的吞吐量与分辨率边界。

方法	分辨率	步数	SC (主体一致性) ↑	BC (背景一致性) ↑	MS (运动平滑度) ↑	IQ (成像质量) ↑	AQ (美学质量) ↑	VBench 总分 ↑	单卡 FPS ↑	延迟 (ms) ↓	流式生成
Wan2.1 (双向教师)	480P	50	96.87	97.35	98.31	65.02	62.79	83.37	0.78	103,000	✗
CausVid	480P	4	96.58	96.74	97.82	67.45	63.87	81.33	29.4	34	✓
Self Forcing	480P	4	97.12	97.08	97.63	67.92	63.50	83.74	32.0	31	✓
Causal Forcing	480P	4	97.53	97.19	98.05	68.88	64.15	84.04	31.2	32	✓
DummyForcing	480P	4	96.45	96.81	98.14	67.28	63.62	83.48	28.0	36	✓
Self Forcing + FlashVSR	768P	5	96.82	96.80	97.64	67.50	63.90	80.21	15.0	67	✓
Ultra Flash (本文 1K)	960×1664	4	97.68	97.42	98.13	68.90	64.21	84.17	30.0	40	✓
Ultra Flash (本文 2K)	1440×2496	4	97.55	97.38	98.08	69.05	64.35	84.25	18.0	56	✓

消融实验¶

消融实验系统评估了流式管线中各核心模块对于 1K 分辨率下生成质量、显存开销及生成帧率的影响。

配置	CLIP-IQA+ ↑	MUSIQ ↑	时序一致性 (TC) ↑	FPS (1K) ↑	峰值显存 (GB) ↓	核心说明
Ultra Flash 完整管线	0.692	73.8	97.2	30.0	12.6	全套设计组合，达实时平衡
无自适应 Top-$k$（改用固定局部窗口）	0.674	72.1	96.8	28.5	12.6	缺少全局长程动态路由，画质下降
无混合画质奖励 $\mathcal{L}_{\text{reward}}$	0.665	71.4	97.0	30.0	12.6	单步蒸馏产生平滑模糊，缺乏高频纹理
无 Phase II 级联 DPO 偏好对齐	0.673	72.5	95.6	30.0	12.6	存在严重曝光偏差，长时序时一致性大幅下跌
无动态缓存管理机制	0.690	73.6	97.1	27.4	16.8	未精简步数与缓存跳步，吞吐跌破 30 FPS 门槛
隐空间改用双三次插值（无因果上采样器）	0.625	69.1	94.8	31.5	12.5	严重频谱走样导致下游超分画质断崖下跌

关键发现¶

因果隐空间上采样器对时序一致性影响最关键：将因果上采样器替换为传统双线性或双三次插值后，CLIP-IQA+ 从 0.692 骤降至 0.625，VBench 漂移评分剧烈恶化。这表明频域混叠假频是级联超分模型训练困难的本质来源。
级联自强制 DPO 是长序列流式不崩溃的核心支柱：在 20 秒长序列连续生成对比中，未经 Phase II DPO 训练的模型质量评分随时间推移累积下降达 8.21 分，呈现严重的闪烁与颜色漂移；而引入 DPO 后，由于模型在自产生的不完美分布中进行了偏好鲁棒化对齐，20 秒内的画质衰减严格被抑制在 1.12 分以内。
动态缓存管理是实现无损超实时的工程关键：将低分辨率生成步数从 4 步减至 3 步并利用 IQA 自适应跳过无意义的 KV 缓存重算，每块节省了超 40ms，在画质波动小于 0.002 CLIP-IQA+ 的前提下直接将生成帧率从 22.4 FPS 提升至 30.2 FPS，跨越了实时交互体验的临界线。

亮点与洞察¶

零结构改动通道扩展无缝保留基础生成先验：仅扩展首层输入投影为 32 通道并将新权重全零初始化，使超分微调完美继承预训练 1.3B DiT 拥有的广博视觉知识与文本遵循能力，避免了传统结构魔改造成的知识灾难性遗忘。
可微解码器打通显式画质反传链路：在 DMD 蒸馏中将轻量级因果高分辨率解码器纳入梯度流，把不可导的扩散过程映射为像素级输出，并借由 CLIP-IQA+、MUSIQ 等冻结质量判别器直接提供高阶感知奖励，彻底解决了单步模型纹理发虚的通病。
即插即用的上游生成器兼容性：Ultra Flash 将分辨率扩展完全封装在下游隐空间中，上游低分辨率生成器不仅可以使用 Self Forcing，也可以无缝接入 CausVid 或 Causal Forcing 等任意流式生成内核。

局限与展望¶

硬件内核深度绑定：块稀疏因果注意力的高度加速依赖于特定硬件特性（如 H200/B200 GPU 上的专用块稀疏算子），在缺乏相应张量核心支持的边缘端或中低端消费级设备上加速效益会有所收窄。
离线正样本生成依赖强模型 Oracle：Phase II DPO 目前依赖性能更强但速度较慢的 Wan2.2-5B 像素级超分模型来提供高画质正样本，探索在线自进化（Self-Rewarding）的无监督偏好采样方案将有助于摆脱外部强模型的约束。
向更高分辨率（4K）实时流式的扩展：当前框架在 2K 分辨率下单卡可达 18 FPS，但向 4K 扩展时注意力二次方开销与显存带宽将面临物理极限，未来需结合次线性注意力、多分辨率渐进流式展开及软硬件协同设计以攻克 4K 实时屏障。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出保持架构的零初始超分微调、因果隐空间上采样以及级联流式自强制偏好优化。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 16 维 VBench 评测、多卡多分辨率吞吐测试、长达 25.6 秒流式稳定性分析以及极其详实的模块与超参消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密，问题定义明确，图表数据详实且技术细节公开透明。
价值: ⭐⭐⭐⭐⭐ 首次打破流式视频生成的 480P 分辨率禁锢，为交互式高分辨率视频生成开辟了极具可行性的工业与学术路线。