Equilibrium Forcing: Adaptive Video Generation Without Noise Conditioning¶

会议: NeurIPS 2026
arXiv: 2608.14706
代码: https://equilibriumforcing.github.io/
领域: 视频生成
关键词: 视频生成, 流匹配, 自回归生成, 无噪声条件, 闭环自适应采样

一句话总结¶

针对传统流匹配与扩散模型在自回归视频生成中依赖固定噪声调度导致噪声偏离与误差累积的问题，本文提出无噪声条件的平衡强迫（Equilibrium Forcing, EqF）框架，通过学习统一平衡速度场，在推理阶段结合轻量读出器实现闭环反馈、NAG 加速与预算自适应采样，显著提升了长序列视频生成的质量与时序一致性。

研究背景与动机¶

自回归视频生成作为世界模型构建、物理仿真以及交互式内容生成的核心技术，通常采用滑动窗口机制，以前序生成的视频帧作为干净上下文来循环预测未来的视频片段。然而，现有基于扩散模型（Diffusion Forcing）与流匹配（Flow Matching）的主流视频去噪方法，严重依赖严格的人工预设噪声调度序列。在这类开环推断体系中，模型在每一采样步仅根据外部传入的硬编码噪声水平条件执行去噪更新。随着自回归滚动的不断推进，样本的真实噪声水平不可避免地与预设的调度噪声条件产生系统性偏离，导致训练-推断分布失配，并在自回归长程循环中引发严重的局部误差累积与画质退化。

这种失效的核心矛盾在于：现有流匹配模型被训练在刚性的非平衡速度场链条上，模型输出强依赖于“外部噪声标签必须精准匹配当前样本真实噪声”的假设。而在高维自回归采样中，由于前序生成上下文残留噪声、数值积分截断误差以及动态步长更新，样本的实际状态很容易脱离预设轨迹；此时强行传入过低或过高的调度噪声条件，会导致去噪速度场产生严重的方向偏航与过冲。更致命的是，硬编码调度完全封死了推理算法利用样本当前生成质量进行动态自适应调整的可能，无法引入优化领域成熟的动量加速（如 NAG）与早停机制。

本文的切入角度是打破“显式噪声条件是稳定高质量视频生成所必需”的固有假设。基于高维空间中高斯壳噪声后验概率高度集中的几何特性，去噪模型完全有能力仅凭含噪视频样本自身内生表征其噪声水平，从而将多尺度非平衡场坍缩为一个统一的平衡速度场。核心 idea：彻底摒除外部噪声水平条件，提出平衡强迫（Equilibrium Forcing, EqF）框架，以无调制的速度回归目标学习跨噪声尺度的统一平衡场；并在推理期解耦引入基于内部特征读出的闭环反馈、$\eta$ 扭曲诱导吸引子动力学与预算自适应分配，实现兼具高收敛速度与稳定性的自回归视频生成。

方法详解¶

整体框架¶

平衡强迫（EqF）将去噪模型的训练与推断动力学进行彻底解耦。在训练阶段，模型接收具有独立逐帧噪声水平的含噪视频潜变量 $\mathbf{x}^{\boldsymbol{\sigma}}$，但不传入任何噪声条件标量或嵌入向量，仅以纯粹的含噪潜变量作为输入，回归无调制的条件速度目标 $\mathbf{v} = \boldsymbol{\epsilon} - \mathbf{x}$。在推断阶段，模型中间层的隐藏特征被轻量级读出头（Readout Predictor）实时探查以估计当前的真实噪声水平 $\widehat{\boldsymbol{\sigma}}$；该估计值通过时间扭曲函数 $\eta(\widehat{\boldsymbol{\sigma}})$ 动态调节采样步长，不仅将传统的传输流问题重塑为不动点吸引子寻优，更能够结合剩余推断步数预算实行闭环自适应重调度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["含噪视频潜变量输入<br/>x 包含上下文与生成帧"] --> B["无噪声条件平衡去噪目标<br/>回归统一速度场 v_hat"]
    B --> C["内部特征抽取<br/>截取中间层激活 z"]
    C --> D["轻量级噪声读出预测器<br/>估计当前帧真实噪声 sigma_hat"]
    D --> E["吸引子时间扭曲与优化加速<br/>eta 扭曲衰减 + NAG 动量前瞻"]
    D --> F["预算自适应步长动态重分配<br/>依据剩余步数 N-i 闭环缩放"]
    E --> G["闭环自回归样本更新<br/>滑动窗口推进至下一时刻"]
    F --> G

关键设计¶

1. 无噪声条件平衡去噪目标与后验集中理论 传统流匹配模型 $f_{\text{FM}}(\mathbf{x}^{\boldsymbol{\sigma}}, \boldsymbol{\sigma})$ 需要在输入端显式注入噪声水平 $\boldsymbol{\sigma}$ 作为条件信号，导致模型在外部条件失真时完全丧失校正能力。EqF 彻底移除该条件输入，构建直接以含噪状态 $\mathbf{x}^{\boldsymbol{\sigma}}$ 为输入的去噪网络 $f_{\text{EqF}}(\mathbf{x}^{\boldsymbol{\sigma}})$，并通过无调制的均方误差优化统一速度场： $$\mathcal{L}_{\text{EqF}} = \mathbb{E}_{\mathbf{x}, \boldsymbol{\epsilon}, \boldsymbol{\sigma}}\left[\|f_{\text{EqF}}(\mathbf{x}^{\boldsymbol{\sigma}}) - \mathbf{v}\|_{2}^{2}\right], \quad \text{其中 } \mathbf{v} = \boldsymbol{\epsilon} - \mathbf{x}$$ 从贝叶斯最优去噪器的角度，EqF 的最优解对应于在后验分布 $p(\boldsymbol{\sigma} \mid \mathbf{x}^{\boldsymbol{\sigma}})$ 上对条件目标取期望。理论证明表明，最优 EqF 风险与流匹配风险满足严格的正交平方分解： $$\mathcal{L}_{\text{EqF}}^{\star} = \mathcal{L}_{\text{FM}}^{\star} + \mathbb{E}_{\mathbf{x}, \boldsymbol{\epsilon}, \boldsymbol{\sigma}}\left[\|f_{\text{FM}}^{\star}(\mathbf{x}^{\boldsymbol{\sigma}}, \boldsymbol{\sigma}) - f_{\text{EqF}}^{\star}(\mathbf{x}^{\boldsymbol{\sigma}})\|_{2}^{2}\right]$$ 根据高维空间高斯壳浓度定理，当维度较高时，后验分布 $p(\boldsymbol{\sigma} \mid \mathbf{x}^{\boldsymbol{\sigma}})$ 急剧坍缩为狄拉克测度 $\delta(\boldsymbol{\sigma} - \widehat{\boldsymbol{\sigma}})$。这意味着 EqF 在无需外部噪声标签的情况下，网络内部已自然隐式学习到了对噪声强度的精准识别，使得两个去噪器之间的超额风险差距趋近于 0，且彻底避免了 Equilibrium Matching (EqM) 在训练期引入 $c(\boldsymbol{\sigma})$ 调制带来的高噪声样本过加权病态偏差。

2. 隐式激活噪声读出预测器与闭环反馈机制 为了在推理阶段利用模型内部已经捕获的去噪进度，EqF 设计了一个极轻量级（在 Minecraft 实验中仅 260k 参数、仅消耗骨干网络万分之一计算量）的帧级读出预测器 $h_{\omega}$。与直接从原始含噪图像回归噪声的模型 $g_{\phi}$ 相比，$h_{\omega}$ 直接以冻结的 EqF 骨干网络深层激活特征 $\mathbf{z}$ 作为输入： $$\widehat{\boldsymbol{\sigma}} = \operatorname{sigmoid}(h_{\omega}(\mathbf{z}))$$ 在训练收敛性上，$h_{\omega}$ 仅需 10k 步即可完美收敛，且在低噪声边界区域（$\sigma \to 0$）具备极其精准的预测分辨率。在推理执行时，每一步更新都不再机械读取静态预设时间步，而是将当前帧特征喂入 $h_{\omega}$ 获取实时噪声估计 $\widehat{\boldsymbol{\sigma}}^{(i)}$，将原本单向开环的前向欧拉积分彻底改造为根据样本实际物理状态动态反馈闭环系统。

3. 吸引子时间扭曲与 NAG 优化加速器 在拥有了实时的内部噪声反馈 $\widehat{\boldsymbol{\sigma}}^{(i)}$ 后，推断更新步长可以通过时间扭曲函数 $\eta(\widehat{\boldsymbol{\sigma}})$ 进行重塑：$\mathbf{x}^{(i+1)} = \mathbf{x}^{(i)} - \eta(\widehat{\boldsymbol{\sigma}}^{(i)}) \odot \widehat{\mathbf{v}}^{(i)}$。传统传输型流匹配在干净数据流形处的速度往往不为零，而 EqF 通过选用在 $\sigma \to 0$ 时满足 $\eta(\sigma) \to 0$ 的吸引子型扭曲函数（如分段线性的 cc-function 或 linear log-SNR），使得目标向量场在数据流形表面形成稳固的不动点吸引子。这种收敛性质首次打破了高阶梯度优化方法无法应用于视频去噪采样的禁区。在此基础上，EqF 成功引入了带有前瞻项的 Nesterov 加速梯度（NAG）算法： $$\mathbf{x}_{\text{look}}^{(i)} = \mathbf{x}^{(i)} - \mu \mathbf{m}^{(i)}$$ $$(\widehat{\mathbf{v}}^{(i)}, \mathbf{z}^{(i)}) = f_{\text{EqF}}(\mathbf{x}_{\text{look}}^{(i)}), \quad \widehat{\boldsymbol{\sigma}}^{(i)} = h_{\omega}(\mathbf{z}^{(i)})$$ $$\mathbf{m}^{(i+1)} = \mu \mathbf{m}^{(i)} + \eta(\widehat{\boldsymbol{\sigma}}^{(i)}) \odot \widehat{\mathbf{v}}^{(i)}, \quad \mathbf{x}^{(i+1)} = \mathbf{x}^{(i)} - \mathbf{m}^{(i+1)}$$ 闭环读出保证了外推步不会因步长跃迁而发生条件失配，动量因子 $\mu$ 显著拉高了收敛加速度，使得最终生成帧能在更少步数下逼近真实流形，从根本上消除了标准流匹配在终点处残留非零噪声的缺陷。

4. 预算自适应重分配与自适应早停机制 传统采样调度器在开始前就固化了全流程的步长间隔，当步数预算极低时极易产生严重过冲或欠去噪。EqF 提出了预算自适应采样（Budget-Adaptive Sampling）策略：在总预算步数 $N$ 的第 $i$ 步，算法直接计算剩余步数 $N - i$，并以 $\text{step\_size} = \widehat{\boldsymbol{\sigma}} / (N - i)$ 动态重标定当前步长。该更新法则赋予了模型在极低步数（如 10-50 步）下全局重新规划整条去噪轨迹的能力。此外，针对滚动生成中不同帧去噪进度不一致的现象，EqF 扩展出基于噪声阈值的自适应早停机制（Adaptive Early Stopping）：一旦特定时间窗口内的最大噪声估计值低于设定阈值 $\sigma_{\text{thresh}}$，模型即触发 $C_s$ 步精细清理（cleanup refinement）后提前提交帧，大幅降低了无效函数的计算开销。

损失函数 / 训练策略¶

EqF 的训练策略极其简洁高效。在从零训练时，网络采用 bfloat16 精度、Adam 优化器（$\beta_1=0.9, \beta_2=0.99$）配合线性预热与余弦衰减，以标准的无加权 MSE 损失优化条件速度目标 $\mathbf{v}$。在针对开源大型基础视频模型（如 Wan 2.1 1.3B 及 Wan 2.2 5B）进行平衡微调（Equilibrium Finetuning, EqF-FT）时，本文发现无需复杂的噪声退火课程或辅助正则，直接以概率 $p=1$ 将模型的外部噪声条件信号置零（$\boldsymbol{\sigma} = \mathbf{0}$），仅需原预训练算力的极小一部分（例如 60k-100k 步微调），网络便能平滑忘却刚性噪声依赖并内部涌现出平衡去噪场。

实验关键数据¶

主实验¶

主实验在 Minecraft 动作条件长程视频生成（300 帧长程自回归滚动，5 随机种子）、RealEstate10K 相机轨迹条件视频生成（Wan 2.1 1.3B 微调，189 帧）以及 Droid 机器人具身操作生成（Wan 2.2 5B 微调）上展开全面评测，衡量生成分布质量（FVD）与视频多维一致性（VBench）。

数据集 / 场景	方法	采样器与调度配置	FVD ↓	VBench ↑	相对提升
Minecraft (300帧)	Flow Matching (FM)	Euler, cc-function	$104.13 \pm 4.33$	$0.7703 \pm 0.0012$	基线
Minecraft (300帧)	Diffusion (DDPM)	DDIM, Cosine	$106.00 \pm 1.22$	$0.7681 \pm 0.0008$	-1.80 FVD
Minecraft (300帧)	NU-FM (Sun et al.)	梯度下降 (GD)	$101.16 \pm 3.57$	$0.7698 \pm 0.0011$	+2.97 FVD
Minecraft (300帧)	EqM (Wang & Du)	NAG ($\mu=0.1$)	$77.02 \pm 5.21$	$0.7679 \pm 0.0009$	+27.11 FVD
Minecraft (300帧)	EqF (本文)	NAG ($\mu=0.3$), cc-function	$\mathbf{64.34 \pm 1.78}$	$\mathbf{0.7733 \pm 0.0008}$	+39.79 FVD
Re10K (Wan 2.1 1.3B)	FM-FT	Euler, 50 步	$174.3 \pm 2.17$	$0.7429 \pm 0.0010$	基线
Re10K (Wan 2.1 1.3B)	EqF-FT	NAG ($\mu=0.1$), 50 步	$142.0 \pm 5.80$	$0.7472 \pm 0.0010$	+32.30 FVD
Re10K (Wan 2.1 1.3B)	EqF-FT (Adaptive)	Adaptive NAG, 50 步	$\mathbf{139.5 \pm 3.93}$	$\mathbf{0.7472 \pm 0.0010}$	+34.80 FVD

在极低步数预算（50 步及以下）下的跨数据集通用自适应评测（Table 3 & Table 9 综合）：

数据集	采样步数	FM 基线 FVD ↓	EqF NAG FVD ↓	EqF 预算自适应 NAG FVD ↓	极低步数相对增益
Minecraft	10 步	$570.30 \pm 3.72$	$952.46 \pm 11.91$	$\mathbf{271.22 \pm 2.19}$	FVD 降低 299.08 点
Minecraft	50 步	$135.37 \pm 1.74$	$92.08 \pm 0.30$	$\mathbf{91.45 \pm 0.92}$	FVD 降低 43.92 点
RealEstate10K	10 步	$169.13 \pm 4.47$	$244.41 \pm 2.58$	$\mathbf{165.15 \pm 0.53}$	FVD 领先标准 NAG 79 点
RealEstate10K	50 步	$145.42 \pm 5.93$	$166.73 \pm 2.98$	$\mathbf{127.69 \pm 1.57}$	FVD 降低 17.73 点
Droid (5B 模型)	10 步	$207.59 \pm 6.70$	$223.89 \pm 4.50$	$\mathbf{150.89 \pm 6.32}$	FVD 降低 56.70 点
Droid (5B 模型)	50 步	$108.69 \pm 3.71$	$113.58 \pm 3.51$	$\mathbf{107.38 \pm 0.82}$	VBench 达 0.812 最高

消融实验¶

在 Minecraft 300 帧生成任务中针对采样器类型、动量系数 $\mu$、$\eta$ 扭曲类型及反馈机制开展系统性消融（Table 2）：

$\eta$ 扭曲类型	动力学性质	反馈机制	采样器与动量 $\mu$	FVD ↓	关键观察与机理解释
cc-function	吸引子型 ($\eta \to 0$)	闭环 (Closed Loop)	NAG ($\mu=0.3$)	$\mathbf{64.12}$	闭环反馈允许高动量加速，收敛至不动点
cc-function	吸引子型 ($\eta \to 0$)	开环 (Open Loop)	NAG ($\mu=0.1$)	$67.94$	缺乏闭环校准，动量只能设为 0.1，性能受限
cc-function	吸引子型 ($\eta \to 0$)	开环 (Open Loop)	GD ($\mu=0$)	$78.69$	无动量加速，收敛效率下降
Linear log-SNR	吸引子型 ($\eta \to 0$)	闭环 (Closed Loop)	NAG ($\mu=0.3$)	$67.70$	吸引子形态与 NAG 高度契合
Linear log-SNR	吸引子型 ($\eta \to 0$)	开环 (Open Loop)	GD ($\mu=0$)	$92.54$	无闭环无动量时性能明显劣化
SD3 ($r=3$)	传输型 ($\eta(0)=r$)	闭环 (Closed Loop)	NAG ($\mu=0.1$)	$203.73$	传输型在边界速度不为零，NAG 严重过冲发散
SD3 ($r=3$)	传输型 ($\eta(0)=r$)	开环 (Open Loop)	GD ($\mu=0$)	$137.85$	标准梯度下降依然受到传输场截断误差影响
无调度 (Identity)	传输型 ($\eta(0)=1$)	闭环 (Closed Loop)	NAG ($\mu=0.1$)	$80.25$	均匀步长表现中规中矩
无调度 (Identity)	传输型 ($\eta(0)=1$)	开环 (Open Loop)	GD ($\mu=0$)	$105.44$	无任何优化下退化至基线水准

关键发现¶

吸引子景观是梯度加速的前提：当且仅当 $\eta$ 扭曲满足边界消失条件（$\eta(\sigma) \to 0$，即吸引子场）时，NAG 优化器才能稳定收敛；而在 SD3 等传输型流中，边界速度不为零导致 NAG 动量发生严重过冲（FVD 恶化至 203.73）。
闭环反馈大幅拓宽稳定动量区间：开环采样由于状态与时间步脱节，动量只能保守取 $\mu=0.1$；引入 $h_{\omega}$ 闭环反馈后，动量可激进提升至 $\mu=0.3$ 而不发散，直接驱动 FVD 从 78.69 跃升至 64.12。
去噪场等价性与误差溯源：在相同含噪样本测试集上，EqF 与 FM 的预测速度场皮尔逊相关系数高达 0.984 - 0.999，相对均方误差低至 2.4% - 7.3%。这证实了 EqF 确实恢复了与 FM 一致的最优去噪流，其画质提升完全来源于摆脱了失真的外部噪声条件及由此解锁的自适应闭环求解器。

亮点与洞察¶

贝叶斯分解揭示免条件去噪机理：通过平方损失正交分解严格证明了噪声非条件模型与条件模型的理论下界关系，指出高维高斯浓缩使得去噪网络无需任何人工标签即可内生捕获当前噪声状态。
训练目标与采样动力学的模块化解耦：彻底纠正了 EqM 将吸引子调制硬编码进训练损失的做法，消除了对高噪声区域的非良态加权偏差；将动力学塑造后置到推理期的 $\eta$ 扭曲中，极大简化了调参开销。
百倍算力优势下的预训练模型迁移：证明了现存基于流匹配的大型视频基础模型（如 Wan 2.1 / 2.2）天然蕴含平衡去噪场，只需轻量“全置零微调”（$p=1$ dropout）即可无损转型为自适应生成模型。

局限与展望¶

极端分布偏移下的读出器鲁棒性：虽然读出预测器 $h_{\omega}$ 在标准分布下误差极小，但在自回归多轮严重伪影累积的极端离群点处，其特征可能超出 $h_{\omega}$ 的训练域，造成步长缩放误判。
通用开放域预训练尺度验证：论文主实验集中于 Minecraft、Re10K 和 Droid 机器人操控等特定场景及微调任务，尚未在千万级通用图文混排开放视频数据上从头预训练 10B+ 级别巨型模型。
未来方向：探索高阶自适应常微分方程求解器（如自适应步长 Runge-Kutta）与 EqF 读出头的结合，并将闭环早停机制与流式具身世界模型策略规划深度融合。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了视频生成领域对显式噪声注入调度的教条式依赖，确立了无条件平衡建模范式。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖从零训练与 1.3B/5B 大模型微调，兼具长程自回归滚动、在线重规划与极低步数分析。
写作质量: ⭐⭐⭐⭐⭐ 贝叶斯理论推导严密自洽，几何动力学解释直观深刻，图表详实规范。
价值: ⭐⭐⭐⭐⭐ 为长视频生成稳定性、自适应推理以及流匹配优化器设计开辟了极其开阔的技术路径。

\(\eta\) 扭曲类型	动力学性质	反馈机制	采样器与动量 \(\mu\)	FVD ↓	关键观察与机理解释
cc-function	吸引子型 (\(\eta \to 0\))	闭环 (Closed Loop)	NAG (\(\mu=0.3\))	\(\mathbf{64.12}\)	闭环反馈允许高动量加速，收敛至不动点
cc-function	吸引子型 (\(\eta \to 0\))	开环 (Open Loop)	NAG (\(\mu=0.1\))	\(67.94\)	缺乏闭环校准，动量只能设为 0.1，性能受限
cc-function	吸引子型 (\(\eta \to 0\))	开环 (Open Loop)	GD (\(\mu=0\))	\(78.69\)	无动量加速，收敛效率下降
Linear log-SNR	吸引子型 (\(\eta \to 0\))	闭环 (Closed Loop)	NAG (\(\mu=0.3\))	\(67.70\)	吸引子形态与 NAG 高度契合
Linear log-SNR	吸引子型 (\(\eta \to 0\))	开环 (Open Loop)	GD (\(\mu=0\))	\(92.54\)	无闭环无动量时性能明显劣化
SD3 (\(r=3\))	传输型 (\(\eta(0)=r\))	闭环 (Closed Loop)	NAG (\(\mu=0.1\))	\(203.73\)	传输型在边界速度不为零，NAG 严重过冲发散
SD3 (\(r=3\))	传输型 (\(\eta(0)=r\))	开环 (Open Loop)	GD (\(\mu=0\))	\(137.85\)	标准梯度下降依然受到传输场截断误差影响
无调度 (Identity)	传输型 (\(\eta(0)=1\))	闭环 (Closed Loop)	NAG (\(\mu=0.1\))	\(80.25\)	均匀步长表现中规中矩
无调度 (Identity)	传输型 (\(\eta(0)=1\))	开环 (Open Loop)	GD (\(\mu=0\))	\(105.44\)	无任何优化下退化至基线水准

数据集	采样步数	FM 基线 FVD ↓	EqF NAG FVD ↓	EqF 预算自适应 NAG FVD ↓	极低步数相对增益
Minecraft	10 步	\(570.30 \pm 3.72\)	\(952.46 \pm 11.91\)	\(\mathbf{271.22 \pm 2.19}\)	FVD 降低 299.08 点
Minecraft	50 步	\(135.37 \pm 1.74\)	\(92.08 \pm 0.30\)	\(\mathbf{91.45 \pm 0.92}\)	FVD 降低 43.92 点
RealEstate10K	10 步	\(169.13 \pm 4.47\)	\(244.41 \pm 2.58\)	\(\mathbf{165.15 \pm 0.53}\)	FVD 领先标准 NAG 79 点
RealEstate10K	50 步	\(145.42 \pm 5.93\)	\(166.73 \pm 2.98\)	\(\mathbf{127.69 \pm 1.57}\)	FVD 降低 17.73 点
Droid (5B 模型)	10 步	\(207.59 \pm 6.70\)	\(223.89 \pm 4.50\)	\(\mathbf{150.89 \pm 6.32}\)	FVD 降低 56.70 点
Droid (5B 模型)	50 步	\(108.69 \pm 3.71\)	\(113.58 \pm 3.51\)	\(\mathbf{107.38 \pm 0.82}\)	VBench 达 0.812 最高