Beyond Distribution Matching: Self-Supervised Representation Forcing for Few-Step Video Generation¶
会议: NeurIPS 2026
arXiv: 2610.35594
论文: https://arxiv.org/abs/2610.35594
代码: https://github.com/SOTAMak1r/SF2/
领域: 视频生成
关键词: 视频生成, 少步数蒸馏, 分布匹配, 自监督特征对齐, 渐进掩码
一句话总结¶
针对分布匹配蒸馏在少步数视频生成中缺乏内部特征显式约束而导致的时空闪烁与细节退化，提出自流强迫（SF2），通过非对称轨迹噪声加权与自启动 EMA 教师对齐中间层表征，在保持边际分布保真度的同时显著提升时空动态一致性与几何稳定性。
研究背景与动机¶
现代视频扩散与流匹配模型在生成高质量逼真动态场景方面取得了巨大突破，但其标准推理过程通常依赖数十至上百步的迭代去噪，极大地限制了实时交互与规模化工业部署。为了解决这一采样效率瓶颈，基于分布匹配蒸馏（DMD）等少步数生成范式备受青睐。DMD 通过利用师生模型在输出边际分布上的得分匹配反向 KL 散度，摆脱了对抗训练的不稳定性，并在各种学生架构上保持了优良的输出保真度。
然而，当 DMD 被推向极少生成步数（如 4 步）的视频生成领域时，普遍会出现严重的结构性退化：细粒度的空间结构（例如场景文本渲染、复杂精细几何以及微小物体细节）出现模糊扭曲甚至拼写混乱，而时间维度上的运动则伴随强烈的时序闪烁、运动失真和物理不符合规律的突变。这一双重退化现象在双向扩散和因果自回归架构中同时存在，其根源在于 DMD 完全依赖最终输出空间的边际分布监督，对模型内部深层时空表征的演变缺乏显式正则化约束。在多步去噪中，输出层监督尚可依靠逐步去噪来缓慢吸收空间特征；但在 4 步以内的极度压缩体制下，学生模型缺乏反复推演的容量，极易收敛到仅仅取巧拟合输出得分、却丧失内部时空连贯性的表层分布。
自监督表征学习（如 V-JEPA、VideoMAE 等）已充分证明：通过在受损输入下预测稳健特征，是赋予模型时空常识与几何约束的核心归纳偏置。但以往表征对齐大多依赖外部冻结视觉编码器或仅用于基础大步数扩散模型预训练，在极少步数视频蒸馏中仍属空白。本文的切入点在于利用自监督预测的思想弥补 DMD 的结构性盲区，且不引入外部特征提取器。核心 idea：提出自流强迫（SF2），复用 DMD 本身展开的去噪轨迹构建噪声信息非对称性，迫使学生网络从高噪掩码视角预测自启动 EMA 教师模型的稳健深层内部表征，实现无外部特征依赖的特征-分布联合强迫蒸馏。
方法详解¶
整体框架¶
SF2 旨在为少步数视频生成学生模型提供显式表征对齐监督，同时无缝兼容双向与因果自回归视频扩散骨干。训练流程由三个主要模块构成：学生网络 \(G_\theta\)、无梯度的自启动 EMA 教师 \(G_{\theta'}\)、以及用于计算 DMD 损失的一对冻结真实得分判别器 \(s_{\text{real}}\) 与可学习假样本判别器 \(s_\psi\)。
在每个训练周期中，模型首先在去噪轨迹上执行标准前向采样，计算生成样本 \(x_0\) 的输出空间 DMD 得分损失 \(\mathcal{L}_{\text{DMD}}\)；接着，从同一条轨迹中采样一深一浅两个不同噪声步的时间状态 \((x_t, x_s)\)（其中 \(t > s\)），利用空间补丁掩码构建非对称输入——学生网络输入两状态的随机嵌合体，而 EMA 教师仅接收低噪声状态 \(x_s\)。最后，通过浅-深跨层对齐投影器将学生层特征映射至教师空间计算余弦距离 \(\mathcal{L}_{\text{rep}}\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入潜变量与轨迹展开<br/>DMD K-step Rollout"] --> B["双状态采样与空间掩码<br/>xs (浅噪) / xt (深噪)"]
B --> C["非对称输入构建<br/>学生输入混合态 / 教师输入净态"]
C --> D["特征提取与跨层对齐<br/>浅层学生特征 30% 深度 / 深层教师特征 70% 深度"]
D --> E["双重目标协同优化<br/>DMD 得分匹配输出损耗 + 投影余弦表征损耗"]关键设计¶
1. 轨迹双状态复用与空间纯空掩码机制：零开销构建信息非对称
如果为了表征对齐单独执行一次额外的生成展开，会极大增加训练显存和计算负担；此外，若直接对时空 token 随机完全屏蔽或随机加噪，会剧烈破坏视频底层的生成动力学流。SF2 直接复用 DMD 原本就需要展开的 \(K\) 步轨迹 \(\mathcal{R} = \{(x_{t_k}, t_k)\}_{k=1}^K\)，从中随机选取两个噪声步骤 \(t > s\)，获得高噪态 \(x_t\) 和低噪态 \(x_s\)。随后，引入二值空间补丁掩码 \(M \in \{0, 1\}^{B \times F \times H_p \times W_p}\)，且采用“空间专属（space-only）”采样，即在空间维度随机采样一个掩码并在时间轴的所有帧上广播共享。学生输入定义为两者的逐 token 融合： $\(\tilde{x}^{\text{stu}} = M \odot x_s + (1 - M) \odot x_t, \quad \tilde{x}^{\text{tea}} = x_s\)$ 这种空间专属掩码严格切断了跨帧时间轴直接“复制相邻干净像素”的作弊捷径，迫使学生必须从同帧空间上下文推断全局结构，从而建立鲁棒的全局时空表征。
2. 深度非对称跨层对齐：语义引导与生成解耦
在特征提取设计上，如果直接在相同深度层进行特征对齐，容易引发浅层结构学习的不稳定。基于深层网络自然涌现高阶语义与空间时序布局的现象，SF2 选取更深层的教师层作为目标，而对齐监督施加于相对较浅的学生层。通过固定网络深度比例设定层对 \((\mathcal{S}, \mathcal{T})\)，对于具有 \(N_b\) 层的 Transformer 架构，学生特征读取位置设定为 \(\ell_\theta \approx 0.30 N_b\)（如 Wan2.1 的第 9 层，HunyuanVideo 的第 18 层），教师特征读取位置设定为 \(\ell_{\theta'} \approx 0.70 N_b\)（如第 21 层或第 42 层）。这一设计既让浅层学生及早捕获全局几何语义，又避免了表征目标直接干扰顶层输出生成头的局部细粒度细节去噪。
3. 自启动 EMA 教师与投影器暖机机制：摆脱外部编码器且保障稳定性
许多表征引导方法需要借助 DINOv2、SigLIP 等外部大模型，不仅增加显存带宽，而且外部特征与视频扩散潜空间往往存在表征分布鸿沟。SF2 采用学生自身参数的指数移动平均（EMA，动量 \(\mu = 0.99\)）作为教师，无需任何外部模型即可自我净化。同时，由于对齐投影器 \(\pi_\ell\)（3 层 MLP，隐层升维至 \(4D\)）在训练初期为随机初始化，直接施加梯度会导致未校准的随机梯度破坏预训练骨干网络。SF2 设计了长度为 \(T_{\text{proj}} = 100\) 步的投影器专属暖机阶段：在暖机期内暂时关闭 \(\mathcal{L}_{\text{DMD}}\)，截断进入投影器前学生特征的梯度，将投影器学习率放大 50 倍使其快速匹配教师特征空间；在暖机结束后，重新同步学习率并开启联合优化与 EMA 更新。
损失函数 / 训练策略¶
训练总损失函数结合了标准输出级 DMD 得分匹配损失与自流强迫表征损失： $\(\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{DMD}} + \lambda_{\text{rep}} \mathcal{L}_{\text{rep}}\)$ 其中表征损失采用负余弦相似度计算，避免了因模型参数演变导致的特征模长尺度差异： $\(\mathcal{L}_{\text{rep}} = \frac{1}{L} \sum_{\ell=1}^L \mathbb{E}_n \left[ 1 - \cos \left( \pi_\ell(h_{s_\ell, n}^{\text{stu}}), \text{sg}[h_{t_\ell, n}^{\text{tea}}] \right) \right]\)$ 其中 \(\text{sg}[\cdot]\) 为停止梯度算子，权重设为 \(\lambda_{\text{rep}} = 0.5\)。优化器采用 AdamW，批次全局大小为 8，骨干更新学习率为 \(2 \times 10^{-6}\)，判别器更新学习率为 \(4 \times 10^{-7}\)，按照 5:1 的判别器与生成器更新比率执行交替优化。整个 SF2 分支（前向提取、投影与余弦对齐）仅占用单个训练周期约 6.2% 的耗时，带来几乎可以忽略的计算开销。
实验关键数据¶
主实验¶
实验在 Wan2.1-T2V-1.3B 和 HunyuanVideo-1.5 骨干上展开，覆盖双向视频扩散与因果自回归生成两大阵营，均采用 4 步少步数采样。评测标准采用官方 VBench 套件与反映人类综合视觉偏好的 VisionReward 指标，并在单张 H100 GPU 上实测吞吐与延迟。
| 模型类型 / 方法 | 参数量 | 吞吐 (FPS) ↑ | 延迟 (s) ↓ | 分辨率 | VBench 总分 ↑ | 质量得分 ↑ | 语义得分 ↑ | VisionReward ↑ |
|---|---|---|---|---|---|---|---|---|
| 双向多步基线 | ||||||||
| LTX-Video [13] | 1.9B | 8.98 | 13.5 | 768×512 | 79.83 | 81.88 | 71.62 | -6.218 |
| Wan2.1 [41] (多步基模型) | 1.3B | 0.78 | 103.0 | 848×480 | 83.37 | 84.30 | 79.65 | 5.275 |
| 双向少步蒸馏 | ||||||||
| CausVid [50] | 1.3B | 16.2 | 4.22 | 848×480 | 83.19 | 84.08 | 79.63 | 5.310 |
| SF2 (Ours 双向) | 1.3B | 16.2 | 4.22 | 848×480 | 84.15 | 84.92 | 81.07 | 7.060 |
| 自回归少步蒸馏 | ||||||||
| CausVid [50] | 1.3B | 17.0 | 0.69 | 848×480 | 81.33 | 83.98 | 70.72 | 5.741 |
| Self-Forcing [16] | 1.3B | 17.0 | 0.69 | 848×480 | 83.74 | 84.48 | 80.77 | 5.820 |
| Causal-Forcing [53] | 1.3B | 17.0 | 0.69 | 848×480 | 84.04 | 84.59 | 81.84 | 6.326 |
| SF2 (Ours 自回归) | 1.3B | 17.0 | 0.69 | 848×480 | 84.15 | 84.67 | 82.06 | 7.523 |
消融实验¶
消融实验重点验证了特征表征对齐对内部三维时空一致性的探针影响（通过 120 条静态场景视频经 WorldMirror-2 重建为 3D 高斯泼溅 3DGS 后重新沿轨迹渲染的保真度对比），以及掩码采样策略的影响。
| 实验配置 / 变体 | 核心变动说明 | PSNR ↑ | SSIM ↑ | LPIPS ↓ | 闪烁得分 ↑ | 背景一致性 ↑ |
|---|---|---|---|---|---|---|
| HunyuanVideo-1.5 DMD 基线 | 去除表征损失 \(\mathcal{L}_{\text{rep}}\) (纯 DMD) | 20.64 | 0.6982 | 0.2144 | 96.39 | 94.11 |
| SF2 (完整模型) | 引入非对称表征对齐 \(\mathcal{L}_{\text{rep}}\) | 21.24 | 0.7110 | 0.2096 | 96.86 | 94.65 |
| 掩码模式：独立时空采样 (Agnostic) | 每个 token 独立采样二值掩码 | - | - | - | 动态度受抑 | 虚假背景偏高 |
| 掩码模式：空间专属采样 (Space-only) | 单帧掩码沿时间轴跨帧广播 | - | - | - | 动态度显著提升 | 时空平衡最优 |
关键发现¶
- 3DGS 重建探针证实深层几何内化：在没有引入任何 3D 几何显式监督的条件下，SF2 重建出的 3DGS 视角重渲染 PSNR 提升了 0.60 dB，SSIM 提升 0.0128，且大幅降低了时间闪烁（从 96.39 提升至 96.86）。这直接证明了非对称表征对齐有效迫使网络内部自发沉淀出符合真实物理世界的稳健几何构型。
- 空间掩码切断跨帧时序抄近道：若采用各 token 独立的掩码采样，学生极易学到直接从前后帧的相同空间位置“时序拷贝”像素特征的捷径，造成生成的动态幅度被人为压制；而 space-only 模式迫使模型进行空间推理，彻底释放了真实动力学与动态幅度（Dynamic Degree）。
- 极小训练开销带来稳定收益：时间剖析显示，增加的 EMA 教师前向传播和单层对齐仅占单次迭代耗时的 6.2%，相比庞大的扩散生成判别器回传几乎可以忽略不计。
亮点与洞察¶
- 复用生成轨迹破除信息对称：巧妙利用 DMD 自带的生成去噪序列挑选深浅两个时态构建非对称输入，无需为自监督对齐单独生成额外的视频前向序列，计算极度高效。
- 跨层浅拉深表征蒸馏：让 30% 浅层的学生网络去拟合 70% 深度 EMA 教师的高阶抽象表示，既给浅层注入了丰富的全局语义约束，又避免了直接将顶层输出特征绑定所引起的生成多样性受损。
- 自回归因果环境下的精准状态转移：在交互式世界模型 WorldPlay 的测试中，SF2 显著减轻了因果生成过程中的位姿与视角漂移，证明少步数因果生成本质上是状态转移建模，紧凑的表征对齐对于控制条件依从至关重要。
局限与展望¶
- 性能上限受限于教师生成上限：作为一种蒸馏阶段的目标函数，SF2 能够让少步数学生逼近多步教师的表征丰富度，但无法弥补基础教师模型在长复合文本遵循或罕见概念理解上的先天不足。
- 网络架构覆盖范围有限：目前仅在主流 Transformer 架构（DiT、MMDiT）中验证通过，对于纯状态空间模型（Mamba / S4）或混合注意力骨干，固定深度比例选取最佳特征层的策略可能需要重新标定。
相关工作与启发¶
- vs DMD (Distribution Matching Distillation)：DMD 仅在最终输出图像空间对齐反向 KL 散度，少步数下内部特征严重欠约束；SF2 在输出 DMD 损失完全不变的前提下，正交引入内部表征强迫对齐，消除了文字扭曲与画面闪烁。
- vs REPA / Self-Flow：REPA 依赖外部冻结的大型视觉编码器（如 DINOv2），存在特征对齐鸿沟且仅用于多步训练；SF2 采用自启动 EMA 教师与双状态轨迹采样，将自监督对齐无缝嫁接至少步数视频蒸馏场景。
- vs Self-Forcing / Causal-Forcing：二者主要通过 KV cache 闭环解决因果自回归生成的曝光偏差；SF2 可直接作为插件集成到二者之中，在因果 chunk 粒度上提供跨时间步的几何特征稳健性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次指出了 DMD 在极少步数视频蒸馏中由于输出空间单向约束导致的表征坍塌本质，创新性地构建了基于轨迹采样的非对称特征对齐范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖双向与因果两大架构、多款百亿及轻量模型，设计了 3DGS 重建探针、文本渲染测试和交互式世界模型位姿漂移评测，证据链极具说服力。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述环环相扣，实验设计针对性极强，结构完整且逻辑推导严密。
- 价值: ⭐⭐⭐⭐⭐ 为少步数生成模型从纯分布匹配走向表征与分布双轮驱动提供了全新的标准化范本，且代码已开源，工程实用价值极高。