OmniForcing: Unleashing Real-time Joint Audio-Visual Generation¶

会议: ECCV2026
论文: ECCV 原文
领域: 视频生成
关键词: 音视频联合生成、块因果注意力、注意力 sink、联合自强制蒸馏、流式解码

一句话总结¶

OmniForcing 将 19B 的双向音视频模型 LTX-2 蒸馏为按秒联合生成的因果模型，以音频 sink 稳定训练、联合自强制缓解误差积累，并在单 H200 的 480p 设置下达到约 0.7 秒首块延迟和约 25 FPS，而非完全无损地保留教师质量。

研究背景与动机¶

联合音视频扩散模型让画面动作、语音和环境声在同一个生成过程中协调，但双向注意力要求模型同时处理整段时间轴。用户即使只想先看到第一秒，也要等整段采样结束。LTX-2 在论文的 5 秒片段设置中耗时 197 秒；先生成视频再补音频的级联方案虽可使用专门的音效模型，却增加了后一个模态等待前一个模态的依赖，难以直接得到同步流式输出。

视频领域已有 CausVid、Self-Forcing 等把双向教师改造成因果学生的方案，但双流模型不能仅复制它们的 mask。LTX-2 的视频潜帧率是每秒 3 帧，音频是每秒 25 帧；视频每个潜帧又有 384 个空间 token，音频每个潜帧只有一个 token。因此，音频虽然潜帧率更高，每秒可参与注意力的 token 却远少于视频。移除未来上下文后，两路承受的条件分布变化并不对称，论文观察到直接因果化会造成训练 NaN；后续生成还会将一条流的错误传给另一条流。

本文因而把问题拆成时间对齐、训练稳定和自生成历史适应三个相连环节，而不是只压缩采样步数。核心 idea：以完整物理秒组织非对称音视频块，保留全局起点与无位置偏置的音频 sink，再让学生在自己生成的双流历史上接受联合蒸馏，使少步生成、因果依赖与跨模态同步共同成立。

方法详解¶

整体框架¶

输入是描述视觉内容及声音事件的文本，输出是可逐块播放的音视频。骨干仍为 LTX-2 的 14B 视频分支与 5B 音频分支，保留各自 VAE 和双向跨模态交互能力，但将时间轴上的可见范围改为“当前块及过去块”。这里的因果性以一秒块为单位，块内仍允许双向交互，不是每个采样点或每一视频帧都严格逐点因果。

训练先用双向分布匹配蒸馏（DMD）取得少步去噪能力，再在非对称块因果对齐与音频 sink 约束下回归教师轨迹，最后做联合自强制蒸馏。推理只运行得到的学生，通过模态独立滚动缓存和流式 VAE 解码输出结果；教师、critic 与蒸馏损失不在在线生成路径上。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    T["双向教师与<br/>少步 DMD 初始化"] -.->|阶段 II 轨迹监督| B["非对称块因果对齐"]
    B --> C["无位置偏置音频 sink"]
    C --> D["联合自强制蒸馏"]
    T -.->|阶段 III 分布监督| D
    D -.->|训练所得学生| E["模态独立滚动缓存"]
    A["文本与双流噪声"] --> E
    E --> O["因果解码与<br/>同步音视频输出"]

图中虚线标明训练监督及训练所得参数的传递，在线路径是文本与噪声进入学生缓存生成过程，再进行解码。下述前两项是学生的结构设置，第三项是训练方式，第四项是部署方式。

关键设计¶

1. 非对称块因果对齐：按物理时间而非 token 个数划分共同历史

若强行让两路每个潜帧一一对应，25:3 的频率比会产生截断或边界错位。本文改用一秒宏块：每块容纳 3 个视频潜帧与 25 个音频潜帧，视频在当前设置下展开为 1152 个 token，音频则是 25 个 token。四条注意力路径，即视频自注意力、音频自注意力及两个方向的跨模态注意力，统一根据物理块索引控制可见性。当前块可以互看同块的另一模态，也可以读所有允许保留的过去块，但不能读未来块。这样两路虽然 token 数不同，看到的物理时间范围仍一致。

因果 VAE 对绝对首帧和后续帧使用不同的时间步幅，因此起点处的视频潜帧和音频潜帧不能硬塞进普通一秒块。作者把它们单独设为全局前缀 B0，在前缀内部允许双向注意力，并使后续块始终可见这一锚点。这个设计同时解决边界对齐和长期语义参考：保留起点不是额外补一个内容提示，而是利用 VAE 本身的首帧结构避免丢帧。缓存中的潜帧计数公式存在抽取损坏，此处依据正文解释机制，不重建为作者的精确公式。

2. 无位置偏置音频 sink：给稀疏音频注意力提供全局可学习缓冲

因果 mask 把原先整段可见的音频上下文压缩到少量历史。作者将训练崩溃解释为稀疏上下文下注意力过度集中、条件分布突变和数值不稳定的共同结果，并在音频序列前加入 16 个可学习 sink token，固定归属 B0、对后续查询可见。这些 token 不代表要输出的真实声音，也没有独立的 sink 标签监督，而是随训练形成全局上下文缓冲。尤其在序列早期，它们能提供额外的注意力目标，减少模型对极少数真实音频 token 的依赖。

仅增加 token 还不够：若给这些抽象记忆依次附上普通位置编号，就会把本不存在的物理时间顺序写进它们。Identity RoPE 让 sink 的旋转变换退化为恒等映射，使其不携带人为的时间相位。论文消融中，同为 16 个 sink，普通递增 RoPE 的单步损失是 0.402，而恒等 RoPE 是 0.081。这支持“记忆槽的位置语义很重要”，但不能将作者关于 Softmax 分母和梯度爆炸的定性解释视为普遍数学证明；饱和的 Softmax 本身并不自动意味着其局部导数无限大。

3. 联合自强制蒸馏：训练时就让双流承担自身历史的偏差

经过因果轨迹回归的学生可以在受限上下文中去噪，但在线生成使用的是它自己此前生成的画面和声音，而不是始终可靠的历史。一个动作提前发生，或某段声音延后出现，都可能成为下一块的条件，继续放大跨模态错位。联合自强制（Joint Self-Forcing）因此在训练时逐块展开学生，把生成块的无噪声 KV 表示写入缓存，再据此生成下一块。训练分布不再回避部署时实际遇到的错误历史。

监督来自冻结的双向教师与学习学生输出分布的 critic：对学生生成的音视频轨迹加噪，通过两者的 score 差异构造 DMD 更新，并对视频、音频项加权。教师提供整体联合分布的目标，学生则在双流同时自回归的条件下逼近它，因而能学到对另一模态既有偏差的适应。这里不是增加一个显式口型或事件同步损失，也不是推理时另设纠错器；所谓自纠正来自训练所见历史与部署历史更接近。原文主公式抽取残缺，故不猜补其梯度和范数形式。

4. 模态独立滚动缓存：利用双流计算结构实现在线执行

视频分支比音频分支重，但层内的自注意力和前馈子层可以各自计算，只在跨模态注意力边界交换信息。作者利用这一结构为两路维护独立滚动 KV 缓存，并安排并发执行，避免每次生成都重新处理全序列。论文把缓存窗口内每步的上下文复杂度记为 O(L)，其中 L 是窗口内潜帧数；这不等于整个端到端系统对任意长输出都具有固定成本，尤其音频解码仍有另一种增长方式。跨设备非对称张量并行只是文中提出的扩展路径，主性能结果来自单卡。

解码也必须遵守因果约束，否则潜空间能流式生成仍不代表用户能及时播放。视频使用当前块加前面 W 个块的滑窗解码，最终选择 W=2；音频则从起点累计重解码，并接声码器，以维持与整段解码一致的输出。两种解码并发进行，已生成块的解码还可与后续块生成重叠。选择不同解码策略是基于模态成本差异：视频需要限制窗口，音频在论文测到的 30 秒范围内累计重解码仍不超过 14 ms，但这并不证明无限时长下也成立。

一个完整示例¶

以论文图 1 中“老人在缝纫机旁讲述为孙女制作被子”的场景为例，文本同时约束人物、缝纫动作、讲述和机器声。生成器先建立 B0，再联合生成第一个一秒块 B1；B1 内包含 3 个视频潜帧和 25 个音频潜帧，两路在同一块内互相提供上下文，而无需等待整段 5 秒完成。

首块延迟 TTFC 的计时覆盖 B0 与 B1 的生成及解码。输出后，B1 的无噪声 KV 成为 B2 的历史条件，后续块仍保留起点参考；视频解码最多回看前两个块，音频累计解码已生成前缀。这里应区分“3 个视频潜帧”和“约 25 FPS 输出吞吐”：前者是压缩空间的时间粒度，后者是还原后的视频生成速度，不能直接互换。

损失函数 / 训练策略¶

阶段 I 在保留双向感受野时进行音视频加权 DMD，先学会少步去噪；阶段 II 加入因果 mask、sink 与 Identity RoPE，回归阶段 I 教师的 ODE 速度预测，以适应架构转换；阶段 III 使用联合自生成历史做因果 DMD。依次运行 2000、3000、2000 步，而不是同时从零学习所有约束。阶段 I 与 III 使用 backward simulation；缓存正文未清晰给出最终采样步数和两模态损失权重，不能据“少步”自行填入具体数值。

训练使用 32 张 GPU、bf16、全局 batch size 32、学习率 0.00002；视频和音频 CFG scale 分别为 3 与 5。文本来自配有 Open-Sora-Plan 描述的 Mixkit 片段及 AudioCaps 音频描述，再由 Gemma 3 12B 改写为音视频连贯描述。应把这些视为蒸馏所用提示来源，不把“文本包含声音描述”误写成所有数据都具备新采集的严格配对音视频监督；主质量来源仍是预训练教师。

实验关键数据¶

主实验¶

主评测使用 JavisBench。FVD 和 FAD 分别衡量生成视频、音频与参考分布的特征距离，越低越好；CLIP 衡量文本与视频的语义一致性，越高越好；DeSync 衡量音视频时间不同步程度，越低越好。下表摘取原文表 1 的代表模型，不能把这些指标相互替代为同一个“质量分”。正文未列出评测样本数、具体测试划分与随机种子，跨模型结论需保留这一可复现性边界。

模型	参数量	FVD ↓	FAD ↓	CLIP ↑	DeSync ↓	运行时间 ↓
JavisDiT++	2.1B	141.5	5.5	0.316	0.832	10 s
LTX-2 双向教师	19B	125.4	4.6	0.318	0.384	197 s
OmniForcing	19B	137.2	5.7	0.322	0.392	5.7 s

效率实验对应 5 秒、480p 音视频，使用单 NVIDIA H200、bf16、CUDA 12.8、PyTorch 2.9.1 与 SDPA MemoryEfficient；计时包含 VAE 和声码器，预热 3 次、测试 100 次，使用 CUDA 同步屏障。正文报告中位数 TTFC=0.71 s、FPS=24.8，表 2 四舍五入为 0.7 s 和 25 FPS。约 35 倍是 197 s 对 5.7 s 的整段运行时间比，不是首块延迟的倍率；其他基线是否逐一按完全相同实现重测，正文说明不足。

同提示 VBench 比较中，学生的美学质量为 0.595、教师为 0.569，图像质量为 0.594、教师为 0.574（原文表 2）。这说明部分视觉指标可以超过教师，但 FVD、FAD 和 DeSync 仍落后，不能概括成“质量全面无损”或“所有指标超过教师”。

消融实验¶

原文表 3 在阶段 II 训练 3000 步后比较稳定化策略，损失是评测集上噪声水平 0.5 的单步去噪损失，不是最终 JavisBench 得分。下表保留能区分机制的设置；普通 sink 设置均使用 Identity RoPE。

配置	收敛状态	最大梯度范数	单步损失 ↓	输出观察
无稳定器	NaN	无穷	未报告	噪声
sink 数量 2	NaN	无穷	未报告	噪声
sink 数量 4	稳定	49.71	0.141	正常
sink 数量 16	稳定	9.23	0.081	正常
sink 数量 24	稳定	9.15	0.110	正常
16 个 sink + 递增 RoPE	稳定	11.21	0.402	较嘈杂
QK-Norm	稳定	4.45	0.232	正常
Tanh-Gated Attention	停滞但无 NaN	10.61	1.258	块状伪影

原文表 4 单独比较流式解码相对整段解码的保真度。PSNR 越高表示越接近同一潜序列的参考解码结果，而不是表示生成内容更真实；W 是过去潜块数量，不包括当前块。硬件与上述单 H200 测试一致。

模态与解码设置	MAE ↓	PSNR / dB ↑	每块解码延迟
视频：LTX-2 内置因果模式	0.083	20.5	426 ms
视频：滑窗 W=1	0.065	19.8	201 ms
视频：滑窗 W=2	0.002	47.4	288 ms
视频：滑窗 W=4	0.002	47.4	444 ms
音频：累计解码及声码器	0	无穷	≤14 ms，30 秒处最坏实测

关键发现¶

音频潜帧更多不代表上下文更丰富：空间展开后的视频 token 数远大于音频，稳定器应针对真正稀疏的一路设计。
梯度范数最小不等于生成效果最好：QK-Norm 的 4.45 低于 16 个 sink 的 9.23，但损失反而更高；24 个 sink 也未优于 16 个。
W=2 与 W=4 同为 47.4 dB，延迟却分别为 288 和 444 ms。原文称接近“半延迟”，表中数字并非严格减半，应以数值为准。

亮点与洞察¶

把物理时间作为跨模态接口，比对齐 token 序号更适合异构 VAE。全局前缀又把首帧编码的特殊性变成持久语义锚点，而不是裁剪掉边界信息。
sink 的价值不只是增加参数，还在于不给抽象记忆强加时间位置。递增 RoPE 对照提供了比单纯“加 token 有效”更具体的设计证据。
端到端延迟包含解码与声码器，使少步扩散的收益真正对应用户可播放的输出。训练稳定、上下文缓存和解码策略必须一起考虑。

局限与展望¶

作者明确承认因果感受野会牺牲部分一致性与同步质量；教师在 FVD、FAD、DeSync 上仍更好，实时性有代价。
笔记观察：主要运行时间对应 5 秒、480p，音频累计解码只给出 30 秒处实测。缺少分钟级联合质量曲线、提示切换和长期缓存淘汰实验，不能把流式架构直接等同于无限长稳定生成。
笔记观察：表 3 主要验证 sink 与位置编码，没有独立量化全局前缀或联合自强制对最终同步指标的贡献；稳定性机理仍以现象及定性解释为主。
笔记观察：19B 参数和 H200 单卡条件不代表消费级设备可实时运行，32 卡训练成本也应与在线单卡成本区分。更高分辨率与多卡非对称并行仍需实测。

评分¶

新颖性: 4/5，异构双流的时间对齐与稳定化组合具有明确针对性，基础蒸馏思想来自既有方法。
实验充分度: 3/5，包含质量、稳定器和解码对照，但缺少长序列与完整组件消融。
写作质量: 3/5，三阶段流程清楚，部分机理推断和延迟表述需谨慎解读。
价值: 4/5，为大型联合音视频模型的低延迟部署提供了可操作的结构与训练方案。