AdaState: Self-Evolving Anchors for Streaming Video Generation

会议: NeurIPS 2026
arXiv: 2605.30349
OpenReview: https://openreview.net/forum?id=elLf1P8oAQ
代码: https://adastate.github.io
领域: 视频生成
关键词: 流式视频生成, 自回归扩散模型, 动态状态演化, 注意力汇聚, 视界加权蒸馏

一句话总结

AdaState 针对自回归流式视频生成中静态首帧 Anchor 锁死场景动态的固有缺陷，设计了联合去噪但不解码渲染的自演化隐状态（Adaptive State），将单向去噪过程重构为隐式循环状态转移，彻底打破视频长程生成中的「一致性-动态度」权衡。

研究背景与动机

自回归视频扩散模型在流式生成领域备受关注，其核心思路是按 Chunk 逐段生成视频帧，并将已生成历史作为 KV 缓存进行因果条件约束。在长序列生成场景中，受限于注意力汇聚（Attention Sink）机制，因果 Softmax 会自发将极大注意力权重倾斜至最开头的第 0 个位置。现有主流方法（如 LongLive、Rolling Forcing 等）顺水推舟，将首帧的 KV 特征永久固定在第 0 位作为场景全局 Anchor。然而，首帧作为缓存中最干净、无误差累积的位置，持续吸引了不成比例的注意力质量，直接将相机构图和场景内容强行锚定在最初始视角。随着时间推移，镜头推拉、主体剧烈运动或场景变换都会被这个静态 Anchor 视作漂移而加以抑制，最终导致视频动作僵化、镜头停滞，沦为近乎静止的浅层视频。

为了缓解长程退化，已有工作尝试对 Anchor 进行更新，但本质上都是内容无关的外置启发式操作：例如 Reward Forcing 采用指数移动平均（EMA）平滑滑出窗口的 token，最终退化为无特征的模糊均值；MemRoPE 引入双速率 EMA 配合 RoPE 动态重索；Rolling Sink 则按固定步长将近期缓存生硬替换到第 0 位，导致模型倾向于机械复读前序画面；Infinity-RoPE 则通过块相对位置编码使时序相对化，但位置 0 的静态内容依然形成硬约束。这些外挂机制未能解决根本矛盾：Anchor 的更新脱离了扩散生成模型自身的数据分布演化逻辑，要么锁死动态，要么导致生成崩溃。

本文的核心洞察是：既然第 0 位的注意力汇聚是因果 Transformer 的天然属性，那么就不应粗暴放置静态首帧，而应在该位置部署一个与内容协同演化、由扩散模型自身去噪循环驱动的隐藏状态。核心 idea：引入联合去噪但不直接解码渲染的自演化隐状态（Adaptive State）替代静态首帧 Anchor，以扩散去噪步作为循环状态转移函数、KV 缓存作为状态载体，并配合视界加权分布匹配蒸馏（Horizon-Weighted DMD），使 Anchor 随生成内容自然演进并释放丰富的时空动态度。

方法详解

整体框架

AdaState 构建于自回归视频扩散蒸馏框架（基于 Wan2.1-T2V-1.3B 学生模型与 DMD 蒸馏）。在每个 Chunk 生成步中，模型不仅需要去噪生成 \(F\) 帧当前视频内容，还并行引入 \(F_s\) 帧隐状态 Latent。该隐状态与内容噪声拼接后共同输入 DiT 骨干网络进行多步去噪，但去噪完成后隐状态不经过 VAE 解码器渲染为视频像素，而是直接将其无噪的 KV 表达覆写至 KV 缓存的第 0 位置，作为下一个 Chunk 的场景 Anchor；同时已生成的最新视频内容进入滑动窗口提供局部上下文。

在整个生成流程中，时间坐标完全基于块相对 RoPE（Block-Relativistic RoPE）构建，剥离了绝对时间零点的概念，使去噪过程在形式上构成一个优雅的隐式递归循环神经网络（RNN），而无需引入任何额外的门控单元或外置记忆网络。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：前一轮隐状态 KV(s_{n-1}) 与局部滑动窗口内容 KV(x_c^{past})"] --> Joint["隐状态与内容联合去噪<br/>[ϵ_s, ϵ_c] 与完整可见缓存联合交互去噪"]
    Joint --> Split{"去噪产物路径分流"}
    Split -->|"内容分支 x̂_c^(n)"| Decode["VAE 解码输出视频帧<br/>并滑入局部 KV 缓存窗口"]
    Split -->|"状态分支 s_n（不解码）"| StateRec["状态递归传递与缓存覆写<br/>写入位置 0 成为下一 Chunk 的自演化 Anchor"]
    Decode --> Loss["视界加权 DMD 优化<br/>随帧序号增大梯度权重，强迫末端帧回传梯度塑造状态"]
    StateRec --> Loss

关键设计

1. 隐状态与内容联合去噪：消除时序绝对锚定并统一噪声分布

针对静态首帧作为 Anchor 导致注意力过度集中并冻结画面的痛点，AdaState 定义了一个隐藏张量 \(s \in \mathbb{R}^{F_s \times H \times W \times C}\)（实践中 \(F_s=1\)）。在生成第 \(n\) 个 Chunk 时，生成器接收的完整可见上下文缓存 \(\mathbf{h}_n\) 包括四大组成部分：上一轮遗留的干净状态 \(\mathrm{KV}(s_{n-1})\)（位于首位，占 \(F_s\) 位置）、当前正在去噪的带噪状态 \(\tilde{s}_n\)（占 \(F_s\) 位置）、先前已生成内容的局部滑动窗口 \(\mathrm{KV}(\hat{\mathbf{x}}_c^{(\text{past})})\)（占 \(W_p\) 帧）以及当前待去噪的内容块 \(\mathbf{x}_c^{(n)}\)（占 \(F\) 帧）：

\[\mathbf{h}_{n} = \big[\;\underbrace{\mathrm{KV}(s_{n-1})}_{F_{s}}\;;\;\underbrace{\tilde{s}_{n}}_{F_{s}}\;;\;\underbrace{\mathrm{KV}(\hat{\mathbf{x}}_{c}^{(\text{past})})}_{W_{p}}\;;\;\underbrace{\mathbf{x}_{c}^{(n)}}_{F}\;\big]\]

这一构造的关键优势在于分布完全自洽：缓存部分均处于无噪状态（\(\sigma=0\)），而待去噪的状态与内容均由独立高斯噪声采样，在相同的反向去噪时间步下同步演进，完全符合预训练 DiT 的注意力输入分布，避免了任何因分布偏移引起的结构性伪影。

2. 状态递归传递与缓存覆写：将扩散去噪重构为无外置模块的隐式循环

为了在无需新增门控网络或 SSM 模块的前提下保持跨 Chunk 的时序演化，AdaState 直接将 Transformer 原生的 KV 缓存与多步扩散去噪过程复用为循环机制的载体与状态转移函数：

\[[s_{n},\,\hat{\mathbf{x}}_{c}^{(n)}] = G_{\theta}\big([\boldsymbol{\epsilon}_{s},\,\boldsymbol{\epsilon}_{c}]\,;\;\mathbf{h}_{n}\big),\quad \boldsymbol{\epsilon}_{s},\boldsymbol{\epsilon}_{c} \sim \mathcal{N}(0,I)\]

去噪完成后，视频内容 \(\hat{\mathbf{x}}_c^{(n)}\) 经 VAE 解码输出为可见画面并移入短程滑动窗口，而隐状态 \(s_n\) 则被截断梯度后覆写至位置 0：

\[\mathbf{h}^{(s)}_{n+1} = \mathrm{KV}(s_{n}),\qquad \mathrm{KV}(\hat{\mathbf{x}}_{c}^{(\text{past})}) = \mathrm{KV}(\hat{\mathbf{x}}_{c}^{(n-W_{p}+1:n)})\]

在注意力交互中，当前块的内容 Query 可以从位置 0 的 \(s_{n-1}\) 中检索已滑出局部窗口的历史全局场景精髓，而当前块的状态 Query 则主动观察正在生成的局部内容 \(\mathbf{x}_c^{(n)}\)，将场景的演变（如光照变迁、新物体进入、地貌更迭）压缩吸收进新的状态 \(s_n\) 中。因为每一次生成步骤在相对 RoPE 下具有完全一致的坐标拓扑，系统彻底消除了特权时间零点，实现了真正的自演化。

3. 视界加权 DMD 优化：利用长程累积误差反向塑造隐状态表征

在无外部显式监督的情况下，隐状态到底应该存储什么、遗忘什么成为首要问题。在自回归生成链条中，后端的 Chunk 面临更严重的漂移累积，且随着早期内容彻底滑出滑动窗口，后端帧对位置 0 隐状态的依赖度单调递增。若使用传统均匀权重的 DMD 蒸馏损失，优化器往往在容易拟合的前期干净帧上耗尽容量，导致关键的后端帧缺乏足够回传梯度。为此，论文提出了视界加权（Horizon-Weighted）DMD 损失，按全局帧索引 \(i \in [0, N-1]\) 线性递增权重：

\[\mathcal{L} = \frac{1}{2}\sum_{i=0}^{N-1}w_{i}\left\|\hat{\mathbf{x}}_{i}-\left(\hat{\mathbf{x}}_{i}-\frac{S_{\text{fake}}(\hat{\mathbf{x}}_{i,t},t)-S_{\text{real}}(\hat{\mathbf{x}}_{i,t},t)}{\gamma}\right)_{\!\text{sg}}\right\|^{2},\quad w_{i}=1+\alpha\cdot\frac{i}{N-1}\]

式中 \(S_{\text{real}}\) 为冻结的 14B 双向教师模型，\(S_{\text{fake}}\) 为可学习的判别器网络，\(\alpha\) 为梯度倾斜因子。隐状态本身不需要任何独立的正则或辅助损失，视频内容帧在强加权区域通过跨注意力自然向位置 0 的隐状态注入高质量梯度，驱动模型自主学会如何在单个 Latent 帧中提炼对后续生成最具支持性的场景信息。

损失函数 / 训练策略

模型从 Self-Forcing 的 DMD 蒸馏检查点微调出发，使用 Wan2.1-T2V-14B 作为教师引导 Wan2.1-T2V-1.3B 学生模型。训练采用 21 帧（7 个 Chunk，每 Chunk \(F=3\) 帧）的自回归 Rollout 展开，每个 Chunk 经历 \(K=4\) 步 Rectified Flow 去噪。微调仅需 1000 次迭代，生成器学习率 \(\eta=2\times 10^{-6}\)，判别器学习率 \(4\times 10^{-7}\)，在 2 张 H200 GPU 上总共耗时极低。针对不同生成长度设定：域内评估使用 \(\alpha=2\)，外推超长生成（如 30 秒 120 帧）则采用 \(\alpha=4\) 强化长程状态保持。跨 Chunk 的状态传递在边界处截断梯度（Stop-Gradient），保证单步优化的数值稳定。

实验关键数据

主实验

实验在 MovieGenBench 提示词集上评估，对比覆盖了四大主流 Anchor 范式：无持久 Anchor（Self-Forcing、CausVid、Causal Forcing）、静态 Anchor（LongLive、Rolling Forcing、Infinity-RoPE）、EMA/启发式更新（Reward Forcing、MemRoPE、Rolling Sink）。评估包含 5 秒（21 帧，域内）和 30 秒（120 帧，6 倍外推）两个长程视界，全面考察主体一致性（Subj.）、动态度（Dyn.）、美学质量（Aesth.）、整体质量（Total）、文本一致性（Consist.）以及 VisionReward（VR）：

机制类型	方法	5s Dyn.↑	5s Total↑	5s VR(×10)↑	30s Subj.↑	30s Dyn.↑	30s Total↑	30s Consist.↑
非自回归参考	Wan 2.1-1.3B	0.609	0.823	0.664	–	–	–	–
无持久 Anchor	Self-Forcing	0.635	0.832	0.806	0.972	0.392	0.794	0.224
无持久 Anchor	CausVid	0.547	0.819	0.620	0.986	0.096	0.761	0.213
无持久 Anchor	Causal Forcing	0.747	0.851	0.774	0.944	0.933	0.843	0.194
静态 Anchor	LongLive	0.393	0.806	0.840	0.983	0.373	0.801	0.255
静态 Anchor	Rolling Forcing	0.367	0.804	0.864	0.991	0.042	0.769	0.254
静态 Anchor	Infinity-RoPE	0.628	0.832	0.820	0.986	0.267	0.788	0.237
EMA / 启发式	Reward Forcing	0.643	0.838	0.791	0.979	0.607	0.837	0.252
EMA / 启发式	MemRoPE	0.622	0.836	0.798	0.974	0.718	0.848	0.249
EMA / 启发式	Rolling Sink	0.508	0.822	0.812	0.977	0.402	0.807	0.252
自适应 Anchor (本文)	AdaState	0.828	0.860	0.868	0.959	0.922	0.865	0.259

消融实验

论文在 5 秒设定下对隐状态尺寸 \(F_s\)、局部内容窗口大小 \(W_p+F\)、视界权重斜率 \(\alpha\) 以及是否保留静态首帧 Sink 进行了系统消融（Table 2）：

配置	保留静态 Sink	\(F_s\)	\(W_p+F\)	\(\alpha\)	Subj.↑	BG↑	Smooth↑	Dyn.↑	Aesth.↑	Total Avg.↑
多状态宽窗口	–	3	9	–	0.971	0.964	0.984	0.602	0.623	0.811
单状态宽窗口	–	1	9	–	0.962	0.959	0.980	0.581	0.631	0.802
单状态紧凑窗口	–	1	6	–	0.965	0.956	0.981	0.734	0.627	0.829
AdaState (域内)	–	1	6	2	0.961	0.953	0.980	0.828	0.630	0.842
AdaState (长程倾向)	–	1	6	4	0.971	0.961	0.984	0.688	0.628	0.824
混合 Anchor	✓	1	6	4	0.977	0.966	0.986	0.570	0.629	0.805

关键发现

• 打破一致性-动态度二维权衡：传统方法无一例外落在对角线上——静态 Anchor（如 Rolling Forcing 30s 动态度暴跌至 0.042）通过完全冻结画面保住一致性；而无 Anchor 的 Causal Forcing 虽有 0.933 的高动态，但文本一致性崩塌至 0.194 且产生剧烈伪影。AdaState 是唯一进入右上角象限的方法，在 30 秒超长程保持 0.922 动态度的同时，文本一致性达到最高的 0.259。
• 状态比例设计准则（Proportional Design Rule）：消融表明，动态度并不取决于状态槽位的绝对数量，而取决于其在缓存窗口中的相对集中度。将 \(F_s\) 从 1 扩充到 3 反而稀释了汇聚在位置 0 的 Anchor 效应（动态度从 0.734 降至 0.602）；紧凑的局部窗口（\(W_p+F=6\)）配合单一状态（\(F_s=1\)）在位置 0 形成了最有效的递归注意聚集。
• 静态 Sink 的排他性抑制：消融最后一组显示，一旦在保留自适应状态的同时强行保留静态首帧 Sink，动态度立刻大幅跌落至 0.570。注意力机制会惰性地抄近道直接连接干净无噪的首帧，导致自适应状态无法正常演化，证明彻底移除静态首帧是释放动态度的必要前提。

亮点与洞察

• 将扩散去噪重新诠释为递归循环函数：以往方法为自回归模型增加长程记忆往往引入复杂的外部状态机（如 SSM、RNN 门控或测试时微调 TTT）。本文指出 DiT 自带的多步联合去噪就是最强大的非线性状态演化算子，KV 缓存就是天然的状态载波，零额外参数、零结构修改便实现了深层循环。
• 让网络直面自身误差而非被干净首帧遮蔽：静态首帧长期充当「庇护所」，吸收了所有自回归累积的误差，导致模型在遇到未见状态时脆弱不堪。AdaState 在第 0 位呈现自演化的有误差状态，强迫网络在整个 Rollout 过程中学会自我纠偏与持续更新。
• 视界加权梯度的精准调优策略：在没有自监督或重建标签定义「理想隐状态」的情况下，巧妙利用因果生成末端帧的 DMD 蒸馏损失回传，反向塑造了隐状态在潜空间的表达形态，展现了极简且极高效的端到端强化设计思想。

局限与展望

• 单帧隐状态容量上限：当前隐状态固定分配为 1 帧潜变量（\(F_s=1\)），在面对长镜头复杂叙事（例如多人物交互、平行情节分支、多场景剧烈切换）时，单个状态帧可能会面临信息瓶颈。
• 未结合结构化显式长程记忆：目前对于极大尺度的流式生成，场景可能完全离开并随后重新返回最初地点，此时自演化状态由于持续演进而可能遗忘最初的具体外观，未来可考虑将局部演化状态与全局稀疏外部存储器（如 Titans 架构）协同设计。

相关工作与启发

• vs LongLive / Rolling Forcing: 后者将首帧静态锁定在 Attention Sink 位置以保证生成不崩，但代价是彻底阉割了镜头的时空自由度；AdaState 用相同的槽位放置动态演化隐状态，保留了汇聚带来的长程稳定，同时释放了场景动态。
• vs MemRoPE / Reward Forcing: 后者通过无监督内容盲目平均（EMA）试图更新 Anchor，但多帧平均会不可逆地平滑掉高频细节，最终收敛至模糊均值；AdaState 通过扩散生成模型自身的参数去噪主动重建高质量场景表征。
• vs Diffusion Thinking Tokens (CODI/Coconut/Reasoning Latents): 语言模型中的 Thinking Tokens 通常只存在于单次 Forward 计算流中；AdaState 首次将未解码的 Latent Token 作为跨自回归 Chunk 传递的物理载体，将推演状态持久化到了 KV 缓存中。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用 Attention Sink 与去噪过程作为 RNN 循环算子，概念深刻且架构极其极简优雅。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5s/30s 双尺度、全指标对比、完整消融、注意力质量分析及 40 人规模的主观双盲评测。
• 写作质量: ⭐⭐⭐⭐⭐ 动机阐述一针见血，问题切中要害，数学表达与注意力分析推导严密。
• 价值: ⭐⭐⭐⭐⭐ 为流式长视频生成彻底摆脱画面锁死困境指明了全新方向，训练成本极低（仅需 1000 iter 微调），实用价值巨大。

相关论文

• [NeurIPS 2026] SPIRAL: Self-Evolving Action-Conditioned Video Generation via Reflective Planning
• [NeurIPS 2026] Ultra Flash: Scaling Real-Time Streaming Video Generation to High Resolutions
• [NeurIPS 2026] LaMo: Self-Supervised Latent Motion Priors for Physical Realism in Video Generation
• [NeurIPS 2026] Beyond Distribution Matching: Self-Supervised Representation Forcing for Few-Step Video Generation
• [ECCV 2026] MemRoPE: Training-Free Infinite Video Generation via Evolving Memory Tokens