Dynamic Video Generation: Shaping Video Generation Across Time and Space¶

会议: NeurIPS 2026
arXiv: 2605.21042
代码: https://github.com/DarrenZheng303/DVG
领域: 视频生成
关键词: 视频扩散模型, 动态分辨率与帧率, 联合时空分配, 无训练加速, 扩散Transformer

一句话总结¶

DVG (Dynamic Video Generation) 针对视频扩散模型推理中时空计算瓶颈，提出在轻量潜在草图中估计空间纹理与时间动态需求，自适应联合选择时空压缩策略并在多网格间灵活重缩放与重加噪，实现无需重训练、跨密集模型与MoE架构的最高18倍无损推理加速。

研究背景与动机¶

基于扩散Transformer（DiT）的大规模视频生成模型在生成画质、动作连贯性与物理逼真度上取得了显著突破。然而，扩散模型固有的数十步迭代去噪机制带来了极其沉重的推理计算负担。在视频场景下，计算复杂度随着空间像素与时间帧数的乘积呈二次方或超线性增长，导致即使单次生成在高端计算卡上也需要耗费数分钟，极大地阻碍了大规模实时落地与边缘部署。为了缓解这一瓶颈，学术界主要探索了减少去噪步数（如步数蒸馏、一致性模型、高阶数值求解器）以及单步计算优化（如特征缓存、稀疏注意力、Token剪枝）。然而，当步数蒸馏将采样步数压缩至仅数步乃至十几步时，单步处理海量时空Token的计算开销便成为了系统瓶颈。

渐进式分辨率采样技术在图像生成领域展现了巨大潜力，其核心思想是在去噪初期采用低分辨率潜在网格，待宏观结构建立后再升采样至全分辨率。然而，将这一思想直接拓展到视频领域面临着根本性的挑战。不同于静态图像，视频包含高度多样化的时空内容需求：有些提示词描绘的是高纹理、慢速乃至静态的景物，对空间细节的保留要求极高，但对时间帧率并不敏感；而另一些提示词描述的是剧烈运动或复杂运镜，时间连续性与帧间动态远比微观细节更为关键。现有方法若仅固定地压缩单一维度，往往陷入困境：过度压缩空间分辨率会导致严重的画面闪烁与结构溃散，而强行降低时间帧率则会扼杀运动动态度，导致动作僵硬与时间伪影。

解决这一矛盾的切入点在于：将视频扩散加速重构为一个在给定计算预算约束下的联合时空资源分配优化问题。由于在计算预算固定的前提下，多分配空间Token必然挤占时间Token的预算，因此高效的加速系统必须具备根据内容自适应分配时空算力的能力。核心 idea：在去噪极早期通过少量低开销步数单步外推得到粗糙潜在草图，直接在潜在空间以超轻量运算估计空间与时间需求权重，从预设时空动作空间中筛选出满足计算预算并与内容动态匹配的最优压缩策略，并结合基于锚点的时空重缩放与坐标哈希重加噪实现全流程平滑恢复。

方法详解¶

整体框架¶

DVG 是一个专为视频扩散Transformer设计的免重训练、内容自适应的时空动态加速框架。整个推理流程分为三个阶段：早期感知（Early Sketching）、内容感知的中期压缩去噪（Intermediate Denoising）、以及全分辨率精细化（Refinement）。在去噪初期，模型以固定的低分辨率和低帧率进行极少数步的粗糙去噪，并通过单步外推快速构建当前潜在视频的粗糙感知草图；随后，直接在潜在空间内利用轻量算子评估空间高频能量与时间光流强度，计算归一化的时空需求权重；接着，在预设的离散时空压缩动作库中，首先过滤出满足目标计算预算密度的候选动作集，再通过欧氏匹配选出与当前视频时空需求最吻合的最优动作；最后，利用锚点插值将潜在张量弹性变换至所选网格并注入坐标对齐的哈希高斯噪声完成去噪，末期恢复全分辨率全帧率以还原所有微观质感与时间一致性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：随机高斯噪声与文本提示词"] --> B["潜在草图早期感知<br/>低分辨率+低帧率粗去噪并单步外推"]
    B --> C["潜在空间内容需求推断<br/>FFT空间高频能谱 + 潜在光流时间动态"]
    C --> D["时空动作空间预算匹配<br/>计算密度约束下求解最优压缩动作 a*"]
    D --> E["弹性时空潜在重塑与去噪<br/>锚点重缩放 + 坐标哈希重加噪流转"]
    E --> F["全分辨率全帧率精细去噪与VAE解码<br/>最终高清连贯视频"]

关键设计¶

1. 潜在草图早期感知：规避无效决策与昂贵解码的轻量预测 在扩散采样的最开始，潜在变量被高斯噪声彻底主导，几乎不存在语义和空间结构信息，此时直接进行时空分配会导致完全随机的决策。若为了获取结构而完整去噪数十步，又违背了加速初衷；若将潜在表示解码为像素视频再做特征分析，昂贵的VAE解码耗时（如单次通常需数秒乃至十秒）会完全抵消加速收益。为此，DVG 设计了基于流外推的早期潜在草图生成机制。系统在前几个时间步采用极低的空间分辨率（如目标尺度的0.5倍）和较低的时间帧率（如全长31个潜在帧中仅保留13帧）执行低成本采样，得到粗略潜在特征 $X_k$。此时模型已经掌握了全局语义布局。DVG 随后直接利用当前时间步的流模型速度预测 $v_\theta(X_k, k)$，通过单步线性外推直接近似出无噪潜在草图： $$\tilde{X} = X_k + \alpha_k v_\theta(X_k, k)$$ 其中 $\alpha_k$ 为对应时间步的尺度缩放因子。这一机制在完全不引入额外网络前向传播和像素级VAE解码的前提下，用不足 0.01 秒的时间构建出具备宏观运动轨迹与语义纹理轮廓的潜在草图。

2. 潜在空间内容需求推断：双模态解耦的时空复杂度评估 给定获取的潜在草图 $\tilde{X} \in \mathbb{R}^{C \times F \times H \times W}$，系统需要量化该视频在“空间纹理细腻度”与“时间运动剧烈度”上的相对需求，以便将算力精准投放。针对空间需求，DVG 引入快速傅里叶变换（FFT），对每个潜在帧应用高通滤波算子 $\mathcal{H}(\cdot)$ 提取高频响应，并定义归一化空间能量指标： $$d_s = \operatorname{Norm}\left(\frac{1}{F}\sum_{t=1}^{F}\left\|\mathcal{H}(\tilde{X}_t)\right\|_2\right)$$ $d_s$ 越大，表明画面蕴含的高频纹理与精细几何结构越密集，必须分配更高的空间分辨率。针对时间需求，DVG 在连续潜在帧之间计算潜在光流 $\mathcal{F}_{t\rightarrow t+1}$，定义归一化时间运动强度指标： $$d_t = \operatorname{Norm}\left(\frac{1}{F-1}\sum_{t=1}^{F-1}\left\|\mathcal{F}_{t\rightarrow t+1}\right\|_2\right)$$ $d_t$ 越大，表明物体移位或相机运镜幅度越强，必须分配更密集的帧率以防断裂。随后，系统通过带锐度参数 $\alpha$ 的 Softmax 函数将双维需求解耦归一化为动态权重： $$m_s = \frac{\exp(\alpha d_s)}{\exp(\alpha d_s) + \exp(\alpha d_t)}, \quad m_t = 1 - m_s$$ 该权重构成了后续动作选择的直观引导目标。

3. 时空动作空间预算匹配：预算约束下的最优策略搜索 为了实现加速比的严格可控并消除手动调参的不稳定性，DVG 预设了一个离散的时空动作空间 $\mathcal{A}$。每个动作 $a = \{(r_s^1, r_t^1), \dots, (r_s^L, r_t^L)\}$ 详细定义了各个去噪阶段在空间与时间上的压缩比例（以 0.05 为网格步长）。对于给定的动作 $a$，其整体计算密度 $\rho(a)$ 可由各阶段时空Token体积相对于全量采样的比例精确估计： $$\rho(a) = \frac{\sum_{\ell=1}^L H_\ell W_\ell F_\ell \cdot N_\ell}{H W F \cdot N}$$ 给定用户设定的全局算力预算密度 $D$ 及容差 $\epsilon$，DVG 首先执行预算硬过滤： $$\mathcal{A}_B = \{a \in \mathcal{A} \mid |\rho(a) - D| \le \epsilon\}$$ 在所有可行的候选动作中，系统计算其平均空间保留度 $g_s(a) = \frac{1}{L}\sum_{\ell=1}^L r_s^\ell$ 与平均时间保留度 $g_t(a) = \frac{1}{L}\sum_{\ell=1}^L r_t^\ell$，并通过极小化与内容需求的加权偏差求解最优动作 $a^\star$： $$a^\star = \arg\max_{a \in \mathcal{A}_B} \left[ -\lambda (g_s(a) - m_s)^2 - (1 - \lambda)(g_t(a) - m_t)^2 \right]$$ 此举确保了在满足总体硬算力限制的前提下，静止微距视频获得最高的空间分辨率，而高速运动场景获得最高的时间采样率。

4. 弹性时空潜在重塑：基于锚点的连续变换与坐标哈希重加噪 传统渐进式采样往往受限于固定的 2 倍整数倍升降采样，导致动作空间严重受限，无法精细匹配连续预算。DVG 提出了两项突破性机制。首先是基于锚点的时空插值重缩放：对于任意非整数尺度的源长度 $K$ 与目标长度 $N$，将源索引 $i$ 映射至离散锚点 $a_i = \operatorname{round}\left(\frac{i(N-1)}{K-1}\right)$，并据此在时间、高度、宽度三轴上逐维执行弹性线性内插，生成重塑潜在特征 $\bar{X}$。其次，为了解决不同尺寸网格在时间步过渡时噪声扰动不匹配导致的去噪偏折，DVG 摒弃了传统的独立随机加噪，设计了确定性坐标哈希重加噪机制。对于目标网格上的任意时空坐标 $(t, h, w, c)$ 与固定随机种子 $s$，通过哈希函数映射为均匀变量，再由 Box-Muller 变换生成坐标对齐的高斯噪声： $$\epsilon_{\mathrm{coord}}(t,h,w,c) = \sqrt{-2\ln u_1}\cos(2\pi u_2), \quad u_1, u_2 = \operatorname{Hash}(t,h,w,c,s)$$ 再按调度器更新公式 $X_\tau^{\mathrm{next}} = \bar{X} + \sigma(\tau)\epsilon_{\mathrm{coord}}$ 完成无缝状态切换。该设计消除了跨分辨率缩放时的结构形变与频率伪影。

一个完整示例¶

以一段提示词为“疾驰穿过雨夜赛道的赛车，车轮飞溅水花，镜头高速横摇平移”的高动态视频生成为例（全量设定：720p，125帧，50步，计算密度预算目标 $D=50\%$）： 1. 草图生成：模型首先在 $0.5\times$ 空间分辨率、13个潜在帧（全长31潜在帧的约42%）的极低开销下执行前置去噪，在 $t=k$ 步由单步流外推得到粗糙潜在草图 $\tilde{X}$，此阶段仅耗时约 4 秒，且判定运算仅占 0.01 秒。 2. 需求判定：潜在光流模块检测到剧烈的车体平移与摄像机横摇，计算出的时间需求指标显著高于空间高频指标，通过 Softmax 得到权重 $m_s = 0.28, m_t = 0.72$。 3. 动作决策：在满足 $\rho(a) \approx 0.50$ 的候选动作集合中，匹配算法自动排除了“空间0.8、时间0.35”的方案，选中针对高动态特化的动作 $a^\star$（例如中间阶段使用空间压缩比 0.45、时间压缩比 0.85）。 4. 弹性重塑与去噪：锚点插值将潜在张量由初始 13 帧平滑重采样并拓展至该动作对应的帧数，并通过坐标哈希重新注入对齐噪声，在低分辨率高帧率下以极低单步耗时稳定推进去噪。 5. 高清精细化：在最后关键的几个去噪步，系统恢复到全分辨率 720p 与 125 帧全帧率，快速补全雨丝、水珠反光及车漆纹理，最终生成兼具震撼动态度与高清细腻画质的完整视频。

实验关键数据¶

主实验¶

在文生视频（T2V）基准 VBench（946 个全量提示词）上，DVG 分别在稠密模型 HunyuanVideo（720p, 125帧）、MoE 模型 Wan2.2-14B（480p, 81帧）以及高效模型 HunyuanVideo-1.5（480p, 121帧）上与当前代表性加速方案进行了量化对比。

方法	模型基底	NFE	延迟 (s)	加速比	质量得分 (Quality)	语义对齐 (Semantic)	综合得分 (Total)
HunyuanVideo 基线	HunyuanVideo (Dense)	50	1947.38	1.00×	82.97	71.41	80.66
SpargeAttn	HunyuanVideo (Dense)	50	1094.01	1.78×	83.26	71.24	80.35
LIPAR	HunyuanVideo (Dense)	50	1421.44	1.37×	81.72	69.14	79.63
ToMe	HunyuanVideo (Dense)	50	1343.02	1.45×	80.65	67.87	78.39
VGDFR	HunyuanVideo (Dense)	50	1209.55	1.61×	80.45	69.45	79.03
Jenga-ProRes	HunyuanVideo (Dense)	50	1361.38	1.43×	83.53	70.11	80.07
TeaCache ($l=0.15$)	HunyuanVideo (Dense)	50	861.23	2.26×	82.09	69.17	79.51
AdaCache	HunyuanVideo (Dense)	50	743.27	2.62×	81.78	70.12	79.58
DVG ($D=50\%$)	HunyuanVideo (Dense)	50	608.56	3.20×	82.10	73.83	80.45
TeaCache ($l=0.3$)	HunyuanVideo (Dense)	50	522.09	3.73×	81.55	68.73	78.99
Fresco	HunyuanVideo (Dense)	20	491.76	3.96×	81.58	66.93	78.65
DVG ($D=40\%$)	HunyuanVideo (Dense)	25	264.95	7.35×	81.59	74.33	80.14
Wan2.2-14B 基线	Wan2.2-14B (MoE)	40	460.27	1.00×	85.21	73.37	82.84
DVG ($D=50\%$)	Wan2.2-14B (MoE)	40	200.85	2.29×	85.02	72.54	82.53
DVG ($D=50\%$)	Wan2.2-14B (MoE)	25	122.31	3.76×	84.61	72.33	82.15
HunyuanVideo-1.5 基线	HunyuanVideo-1.5	50	285.59	1.00×	83.19	62.05	78.96
SpargeAttn	HunyuanVideo-1.5	50	186.00	1.53×	83.83	66.52	80.36
DVG ($D=70\%$)	HunyuanVideo-1.5	50	136.73	2.09×	84.22	65.69	80.51
DVG ($D=50\%$)	HunyuanVideo-1.5	50	91.95	3.11×	84.05	65.83	80.41
DVG ($D=50\%$)	HunyuanVideo-1.5	25	43.42	6.58×	83.39	65.26	79.77

在图生视频（I2V）与蒸馏结合的场景下（VBench-I2V 1118 个样本），DVG 与先进蒸馏架构（CFG Distilled 与 R-MeanFlow）展现出卓越的正交加速兼容性：

方法组合	NFE	延迟 (s)	加速比	I2V得分	Total得分	PSNR ↑	SSIM ↑	LPIPS ↓
HunyuanVideo-1.5 基线	100	540.04	1.00×	94.13	88.45	-	-	-
CFG Distilled	50	278.37	1.94×	93.56	87.15	$\infty$	1.000	0.000
+ VGDFR	50	176.48	3.06×	91.75	85.59	19.37	0.683	0.145
+ AdaCache	50	137.76	3.92×	91.88	85.71	19.95	0.654	0.183
+ Jenga-ProRes	50	199.28	2.71×	92.35	86.38	19.87	0.663	0.157
+ Bottleneck	30	132.69	4.07×	91.23	86.11	18.86	0.681	0.201
+ DVG ($D=70\%$)	50	142.47	3.79×	92.75	86.74	23.03	0.710	0.101
+ DVG ($D=50\%$)	50	99.82	5.41×	92.86	86.47	22.52	0.700	0.117
R-MeanFlow (少步蒸馏)	12	75.23	7.18×	94.10	87.34	$\infty$	1.000	0.000
+ VGDFR	12	55.33	9.76×	91.97	85.25	19.63	0.727	0.189
+ Fresco	12	52.48	10.29×	91.85	84.88	18.78	0.662	0.365
+ AdaCache	12	52.02	10.38×	91.79	85.21	19.08	0.707	0.208
+ TaylorSeer	12	46.76	11.55×	92.03	85.39	19.34	0.714	0.205
+ DVG ($D=70\%$)	12	39.18	13.78×	93.60	86.47	23.92	0.767	0.081
+ DVG ($D=50\%$)	12	29.86	18.09×	93.51	86.42	23.73	0.766	0.083

消融实验¶

在 HunyuanVideo-1.5（预算密度 $D \approx 50\%$，50步，480p）上针对时空分配模式、插值与加噪策略进行的消融研究如下：

配置	平均空间缩减比	平均时间缩减比	延迟 (s)	加速比	动态度 (Dynamic)	画面质量 (Quality)	综合得分 (Total)
DVG (完整模型)	0.29	0.46	91.95	3.11×	43.75	84.05	80.41
仅压缩时间 (Temporal Only)	0.00	0.71	93.03	3.07×	35.00	85.13	78.98
仅压缩空间 (Spatial Only)	0.49	0.00	89.54	3.19×	47.25	82.16	76.84
手动调参固定比例 (Fixed Ratio)	0.30	0.45	88.13	3.24×	41.50	83.05	78.85
替换为普通线性升采样	0.29	0.46	90.25	3.16×	43.00	79.92	79.11
替换为独立随机重加噪	0.29	0.46	89.37	3.19×	43.50	78.37	78.92
像素空间解码评估需求 (Pixel-Space)	0.31	0.40	102.19	2.79×	43.75	84.83	80.63

关键发现¶

单维度压缩存在显著瓶颈：消融表明，在同等 $\approx 50\%$ 计算密度下，“仅压缩时间”导致动态度断崖式下跌至 35.00（掉点 8.75），动作呈现明显抽搐与僵直；“仅压缩空间”则使画质显著下滑（82.16，掉点近 2 分），引发剧烈闪烁；而 DVG 的双维自适应分配完美兼顾了两端。
潜在空间评估极致轻量高效：相比于昂贵的像素空间评估（需要调用反向 VAE 解码），潜在评估耗时从数秒乃至十秒骤降至仅仅 0.01 秒（加速开销占比几乎为零），在 1118 个样本测试中取得了 85% 的 Top-1 策略吻合度与 99% 的 Top-2 吻合度。在 R-MeanFlow + DVG 极速模式下，若使用像素评估会将总延迟由 29.86s 拖慢至 40s 以上（额外产生 38% 的无效开销）。
坐标哈希加噪与锚点插值不可或缺：若退化为普通独立随机重加噪，画面质量暴跌至 78.37（-5.68），证实坐标哈希在跨网格无缝过渡中维持隐空间高频流形连续性的关键作用。

亮点与洞察¶

将视频生成加速升华为“时空计算资源分配”运筹学：打破了过去将图像渐进式分辨率生搬硬套到视频上的陈旧范式，深刻指出空间分辨率与时间帧率是相互竞夺 Token 算力预算的联合维度，推导出了清晰的闭环匹配机制。
完全解耦的潜在空间无监督感知：无须额外的辅助轻量分类网络，无须昂贵的 VAE 像素解码，直接通过 FFT 频域能谱与潜在光流即可敏锐捕捉纹理细度与物体动势，判定速度达到 0.01 秒量级。
广泛的即插即用性与正交叠加优势：DVG 既不需要微调模型权重，也不引入任何结构修改。它与步数蒸馏（Distillation）、稀疏注意力（SpargeAttention）、甚至 MoE 稀疏激活天然正交，在 HunyuanVideo-1.5 上成功将蒸馏的极速潜能进一步压榨至 18 倍。

局限与展望¶

离散动作空间的粒度约束：目前预设的离散动作库步长为 0.05。虽然保证了计算密度的精确计算与免训练安全性，但若能探索端到端可微的连续时空动态重网格化，可能达到更极致的帕累托前沿。
微小局部语义感知的边界：潜在空间中的 FFT 和光流虽然擅长捕捉宏观运镜和全局纹理，但对于局部微小交互（如瞳孔微动、手指精细扣合）的敏感度有限，在极端微观交互场景下可能低估局部时间或空间需求。
跨架构与更长视频时长的拓展：论文验证了 81 至 125 帧的生成模型，未来在数十秒乃至分钟级的长视频自回归/流式扩散模型中，时空需求在时间轴上的局部漂移更为剧烈，动态切片分配策略仍待进一步探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从时空双维资源联合分配的角度重塑视频扩散加速，提出的潜在空间轻量需求感知与坐标哈希重塑极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖了主流开源顶流视频模型（HunyuanVideo dense、Wan2.2 MoE、HunyuanVideo-1.5）、文生视频与图生视频双任务，并严格报告了端到端实测耗时与 VBench 分项指标。
写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密，问题驱动鲜明，图表与推导详实严谨。
价值: ⭐⭐⭐⭐⭐ 属于完全免训练（training-free）的工业级工程与算法利器，为大模型视频生成系统的落地提供了即插即用的显著加速。