AtlasVid: Efficient Ultra-High-Resolution Long Video Generation via Decoupled Global-Local Modeling¶

会议: NeurIPS 2026
arXiv: 2605.16649
OpenReview: https://openreview.net/forum?id=i7HwynFyoG
论文: https://arxiv.org/abs/2605.16649
领域: 视频生成
关键词: 视频生成, 超高分辨率, 长视频生成, 解耦全局局部建模, 保持局部性注意力

一句话总结¶

AtlasVid 通过将长程全局语义代理与高分辨率局部细节分支显式解耦，配合时间尺度缩放 RoPE 与保持几何局部性的分块注意力，以仅在 720P 上训练的轻量 LoRA 实现了最高 8K、321 帧超高清长单镜头视频的直接泛化生成与 60.9 倍推理加速。

研究背景与动机¶

基于扩散 Transformer（DiT）的视频生成模型在画面真实度与文本可控性上取得了突破，但在影视长镜头、舞台演出和纪录片等需要超高分辨率（4K/8K）与长时长（>10s 连续单镜头）的专业制作场景下仍步履维艰。当前产业级系统大多采用分段拼接的自回归生成策略，单段通常限制在 5 秒以内，极易引入镜头跳跃与累积误差；而直接将 DiT 扩展至超高分辨率长视频时，全自注意力机制的计算与显存复杂度随空时 token 总量呈二次方增长（\(O((HWT)^2)\)），空间分辨率翻倍且时长翻倍将直接引发高达 64 倍的算力激增。

面对这一算力屏障，现存方案主要呈现三大困境：基于超分辨率级联的“先低清后放大”范式仅能平滑插值或锐化边缘，无法可靠生成丰富的高频物理纹理与纠正全局语义漂移；免训练注意力稀疏化或线性化方法虽然降低了推理复杂度，但依然无法跨越原生 4K 长视频训练数据极度匮乏、显存墙崩溃与极长序列训练不稳定的深层瓶颈；而原生 4K 全量微调方法（如 UltraGen、T3-Video）通常高度依赖数十张高端 GPU 集群进行昂贵训练，且依然只能生成数十帧的短片段，无法拓展至超长单镜头。

本文的核心洞察在于重新审视基础模型的视觉先验：大规模预训练视频生成模型在多种尺度下已经学习了充足的局部几何结构与细粒度视觉知识，真正的生成瓶颈并不在于缺乏局部细节合成能力，而在于随着空时分辨率扩张导致的全局长程依赖建模难以兼顾效率与连贯性。核心 idea：将超高分辨率长视频生成显式解耦为“低帧率全局语义代理生成”与“保持几何局部性的高分辨率细节联合去噪”两阶段，通过时间尺度 RoPE 扩展全局时序跨度，并利用单向全局引导注意力让 720P 训练的模型零样本外推至 4K/8K 超高清长视频合成。

方法详解¶

整体框架¶

AtlasVid 摒弃了对超高分辨率视频整体执行端到端全自注意力的暴力做法，提出了一种高效的分层解耦生成流水线。整体框架包含两个阶段：第一阶段是全局语义生成器（Stage-1 Semantic Generator），通过在时间维度放大 RoPE 旋转步长，生成低分辨率、低帧率但覆盖超长时间跨度的粗粒度全局语义代理（Global Semantic Proxy）；第二阶段是高分辨率细节生成分支（Stage-2 Detail Branch），将带噪的高分辨率长视频潜变量切分为保持空间-时间物理局部性的紧凑三维数据块（Cubes），并通过非对称分层注意力在接收对齐全局语义指导的同时，高效完成局部高频细节去噪。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入文本提示词 + 目标空时分辨率"] --> B["时间尺度 RoPE 语义生成器<br/>放大时间步长生成低帧率全局语义代理"]
    B --> C["空时重排序局部保持注意力<br/>3D 体积重排为物理紧凑立方体窗口"]
    C --> D["非对称分层联合去噪机制<br/>单向因果掩码阻断细节噪声倒灌"]
    D --> E["空时坐标缩放对齐<br/>全局语义锚点引导超高清长视频输出"]

关键设计¶

1. 时间尺度 RoPE 语义生成器：以固定 token 预算扩展全局时间视界 超长视频的核心语义演化（如主体运动轨迹、场景切换与光影演进）通常在低帧率下即可被完整刻画，无需在宏观阶段计算全帧率的时间冗余。为了让基础 DiT 模型在不增加训练序列长度、不显著耗费显存的前提下习得长程时间推理能力，本文设计了时间尺度缩放的旋转位置编码（Temporally Scaled RoPE）。通过为时间维度引入缩放因子 \(r_t\)（在实现中取 \(r_t=4\)），相邻生成帧在时间序列上被感知为更大的物理间隔。例如，在 4 fps 下生成 81 帧的语义代理，其时序覆盖跨度等价于目标 16 fps 下长达约 20 秒的宏观动态，而模型自注意力的序列长度却与原本仅 5 秒的短视频完全一致，使时序全局注意力的计算量直接降低了 \(16\times\)。该阶段仅需在 720P 数据上使用 LoRA 微调基础模型，极大降低了显存开销并保留了基础生成先验。

2. 空时重排序局部保持注意力：打破一维序列与三维几何局部性的错配 高分辨率长视频包含数以百万计的潜变量 token，直接使用全注意力计算不可行，而传统的局部窗口注意力通常直接在展平的一维 token 序列上滑动切片。由于展平操作打破了多维空间与时间邻近关系，一维窗口内的连续 token 在实际三维物理视频体积中可能相距甚远，破坏了局部生成的平滑性并引发块状伪影。针对此问题，AtlasVid 提出了严格保局的空时重排机制。将维度为 \(T \times H \times W\) 的视频潜变量划分为大小为 \(t \times h \times w\) 的物理空时立方体（实验中对应像素空间 \(256 \times 256 \times 32\)，潜空间即 \(8 \times 8 \times 4\)）。在输入自注意力之前，先将立方体内部的 token 重排至物理连续的内存块，再以 \(b = t \cdot h \cdot w\) 为窗口大小执行窗口自注意力，并允许邻域块适度交叉以消除接缝。此举将复杂度从 \(O(N^2)\) 压缩至 \(O(N \cdot b)\)，使计算图与物理局部几何完全匹配，保留了预训练 DiT 处理精细质感的固有能力。

3. 非对称分层联合去噪机制：防止噪声倒灌的纯净单向语义引导 为了让全局代理有效指导细节分支去噪，AtlasVid 将高分辨率带噪 tokens \(X_{\text{detail}}\)（长度 \(N\)）与低分辨率全局代理 tokens \(X_{\text{global}}\)（长度 \(n\)）拼接为统一输入序列 \(X = [X_{\text{detail}}; X_{\text{global}}]\)，并构造了非对称联合自注意力掩码：

\[M = \begin{bmatrix} M_{dd} & M_{dg} \\ -\infty & M_{gg} \end{bmatrix} \in \mathbb{R}^{(N+n) \times (N+n)}\]

其中 \(M_{dd}\) 为高分辨率细节 tokens 之间的空时局部保持注意力掩码；\(M_{dg}\) 为细节 tokens 查询全局语义代理的跨层级交互掩码；\(M_{gg}\) 为全局语义代理内部的全向自注意力掩码；而左下角的 \(-\infty\) 构成了刚性阻隔，严格禁止全局代理 token 去关注带有高斯噪声的高分辨率细节 token。这一非对称设计确保了全局语义代理在去噪过程中保持绝对纯净，杜绝了高频噪声特征倒灌破坏宏观构图与时序轨迹的风险。在文本交叉注意力中，仅高分辨率细节分支关注文本条件，进一步解除了多路条件冲突。

4. 空时坐标缩放对齐：跨分辨率几何锚定与去 CFG 极速采样 为了实现全局粗粒度代理与高分辨率细节立方体之间的精确空间对应，AtlasVid 在联合去噪时对全局代理的 RoPE 坐标实施几何投影缩放：

\[r_x = \frac{W}{w}, \quad r_y = \frac{H}{h}, \quad r_t = \frac{T}{t}\]

全局代理中位于坐标 \((w', h', t')\) 的语义 token 经过坐标缩放后，能精确定位至高分辨率潜空间网格中对应的空时局部立方体中心，形成强一致的语义锚点。这种明确的几何语义引导使得细节分支无需从纯白噪声中猜测宏观构图，从而允许完全移除推理阶段耗时严重的无分类器引导（Classifier-Free Guidance, CFG）。由于省去了每步去噪中无条件前向传播的冗余计算，扩散推理速度直接提升了近一倍，且不会带来生成质量的退化。

损失函数 / 训练策略¶

模型以 Wan2.1-T2V-1.3B 为基础底座，采用与原模型一致的流匹配（Flow-Matching）目标进行训练，在 2 张 NVIDIA RTX Pro 6000 Ada（48GB）工作站级显卡上即可完成全流程轻量化训练： 1. 第一阶段训练：在 720P 81 帧视频上微调 Stage-1 语义生成器，设置时间跨度步长 \(r_t=4\)（等效降采样至 4 fps），使用 AdamW 优化器、LoRA rank 16、学习率 \(1\times 10^{-4}\)，梯度累积为 4，迭代 15K 步。 2. 第二阶段训练：联合去噪分支同样仅在 720P 81 帧分辨率下微调。为了最大程度继承预训练模型的细节合成先验，仅对全局语义交互相关的注意层以及细节分支的 Q/K/V 投影层启用 LoRA 微调，将细节分支的 FFN（前馈网络）层完全冻结，借助 PyTorch 的 flex_attention 算子实现动态长宽比与可变长度的高效掩码计算。 3. 可选 4K 微调（Refinement）：仅需微调细节分支此前冻结的 FFN 层，使用 UltraVideo 数据集中极短的 13 帧 4K 视频微调 2K 步，即可进一步增强极端局部的像素真实度，而无需动用昂贵的长 4K 视频数据。

实验关键数据¶

主实验¶

在 4K 超高清长视频生成主实验中，作者从 VBench 基准中抽取 100 条复杂文本提示，涵盖运动连贯性（VBench Motion）与语义画质（VBench Semantics）两大部分，并结合高分辨率专属指标 HD-FVD 与 HD-LPIPS 与主流代表性方法进行全面评估。

方法	分辨率	帧数	HD-FVD ↓	HD-LPIPS ↑	CLIP ↑	SC ↑ (主体一致)	TF ↑ (时序闪烁)	DD ↑ (动态幅度)	IQ ↑ (画面质感)
Wan2.1	720P	81f	512.32	0.6424	0.3076	96.34	99.49	85.56	66.51
UltraGen	1080P	29f	432.71	0.6358	0.2848	94.19	98.90	71.34	65.88
UltraWan	4K	29f	372.39	0.6211	0.2903	95.71	98.86	62.22	67.39
T3-Video	4K	81f	311.29	0.6471	0.2972	97.02	95.12	78.92	68.17
AtlasVid (本文)	4K	81f	284.71	0.6695	0.3019	97.41	99.57	82.21	68.52

(注：SC: Subject Consistency; TF: Temporal Flickering; DD: Dynamic Degree; IQ: Imaging Quality。在 4K 生成配置下，AtlasVid 在衡量高分辨率分布拟合与细节清晰度的 HD-FVD 和 HD-LPIPS 上全面领跑原生 4K SOTA。)

消融实验¶

消融实验围绕 CFG 剔除影响、各关键注意力机制的作用以及 4K 微调的增益展开评估。

配置	推理设置	FVD ↓	HD-LPIPS ↑	CLIP ↑	说明
完整模型 (含 4K 微调)	w/ CFG	273.64	0.6612	0.3012	开启无分类器引导，耗时翻倍
完整模型 (含 4K 微调)	w/o CFG	284.71	0.6695	0.3019	最终方案：指标几乎无损，推理吞吐翻倍
仅 720P 训练 (无 4K 微调)	w/ CFG	408.53	0.6398	0.3017	验证分辨率不可知特性的基线
仅 720P 训练 (无 4K 微调)	w/o CFG	409.15	0.6401	0.3011	无需 4K 微调即可平稳外推，去 CFG 依然稳健
结构消融：w/o 全局代理引导	w/o CFG	明显裂化	-	-	失去长程时序锚点，发生严重色彩漂移与结构坍塌
结构消融：w/o 局部保局重排	w/o CFG	出现块伪影	-	-	采用普通一维序列分块导致无法外推至 4K 分辨率

关键发现¶

去 CFG 计算无损红利：由于低分辨率全局语义代理已经对场景拓扑与物性演化形成了高度约束的先验条件，去除 CFG 不仅没有造成文本对齐度（CLIP 0.3019 vs 0.3012）或画面质量的降低，反而将高分辨率去噪过程的推理耗时直接缩短约 50%。
算力与显存的代际跃迁：在 4K 81 帧测试下，AtlasVid 的端到端推理速度达到了 Wan2.1 原生全注意力基线的 60.9 倍，比专门设计的加速方案 T3-Video 仍快 1.48 倍；在 8K 分辨率下，每层注意力 FLOPs 相比 FlashAttention 降低了整整 1208.2 倍，甚至在计算开销上低于通用的线性注意力。
分辨率与时长的自由外推：即使完全不经历 4K 数据微调，模型在 720P 训练权重下直接推断 4K、161 帧乃至 8K、29 帧视频时，仍能保持高保真纹理与平滑动态，彻底摆脱了“生成多高分辨率就必须用多高分辨率全量微调”的算力诅咒。

亮点与洞察¶

全局宏观与局部细粒度的清晰解耦：将生成长超高清视频的复合难题拆解为低帧率粗语义与局部几何保真去噪两个独立且互不冲突的阶段，从架构源头粉碎了 \(O((HWT)^2)\) 二次方复杂度诅咒。
时间尺度 RoPE 实现零序列膨胀长程建模：巧妙利用位置编码的坐标拉伸特性，用仅 81 帧的序列载荷表达了长达 20 秒的长程演变，以极轻量开销完成了宏观时序规划。
几何物理局部性的重排复现：通过将 3D 潜变量立方体在连续内存空间重整，解决了序列展平截断引起的邻域失真问题，确保了基础 DiT 在稠密局部纹理生成上的先验无损复用。
平民化全流程训练与推理：将此前动辄依赖 32 到 64 张 H 系列服务器集群的 4K 视频训练门槛，压缩至仅需 2 张 RTX Pro 6000 显卡，为高校与独立创作者提供了超高清视频生成的落地范式。

局限与展望¶

阶段间误差级联风险：高分辨率生成高度依赖第一阶段全局语义代理的准确度，若 Stage-1 产生逻辑结构缺陷或严重伪影，这些误差将作为条件强行引导 Stage-2，导致细节分支无法纠正宏观错误。
极端动态下的跨块边界接缝：在相机发生剧烈旋转或极高速运动时，局部空时立方体之间的交互可能受限，虽然引入了邻近块重叠采样，但在极端光影形变下偶尔仍存在微弱的边界过渡不均。
未来改进方向：可进一步引入多阶段反馈机制或轻量流形校正模块，同时探索与步数蒸馏技术（如 DMD、LCM）正交结合，将多步扩散去噪压缩至单步或几步内完成。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 架构级解耦思路极其清晰，打破了传统以暴力算力堆砌长超高清视频的思维定势。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 720P/1080P/2K/4K/8K 与 29/81/161/321 帧全维度评测，定量、定性、消融及算力对比详实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密、动机阐述层层递进，软硬件实现细节公开完整。
价值: ⭐⭐⭐⭐⭐ 真正实现了用工作站显卡训练出工业级超高清长单镜头视频，学术与实用价值兼备。