Bernini: Latent Semantic Planning for Video Diffusion¶
会议: NeurIPS 2026
arXiv: 2605.22344
OpenReview: https://openreview.net/forum?id=GDdIbzbPVF
代码: https://bernini-ai.github.io
领域: 视频生成
关键词: 视频生成与编辑, 多模态大模型规划, 扩散Transformer, ViT隐空间, 分段感知3D旋转位置编码
一句话总结¶
Bernini 提出以 MLLM 原生 ViT 嵌入空间为语义桥梁的“语义规划-像素渲染”解耦框架，配合分段感知 3D RoPE 与思维链规划，统一了文本生视频、参考图生视频及指令视频编辑。
研究背景与动机¶
多模态大语言模型（MLLM）与扩散模型（Diffusion Models）近年来各自取得了突破性进展：MLLM 擅长长上下文指令理解、多参考图多模态推理与高层语义对齐；而基于 Diffusion Transformer（DiT）的视频生成模型则在像素级逼真度、高分辨率和长时序平滑度上表现优异。然而，在视频生成与视频编辑领域，如何将这两大技术范式深度结合仍是一个未解难题。现有方案要么尝试从零训练单一的全模态自回归或离散扩散统一骨干网络，面临巨大的训练开销与模态竞争；要么直接使用 MLLM 的最后一层隐藏状态或少量查询 Token 作为扩散模型的条件输入，导致高层语义表征与低层视觉先验脱节，在复杂指令编辑和多源视觉参考场景下频现参考信息泄露、背景不一致与主体身份丢失。
这种困境的本质在于视觉生成与编辑任务内在的语义指导与细节保持解耦需求。视觉场景的高层语义意图往往非常紧凑，只需若干语义 Token 即可明确；而像素级的纹理细节、源视频在未编辑区域的严格一致性，则必须依赖密集的像素级潜变量（如 VAE 特征）。更关键的是，MLLM 本身就是在连续的 ViT 视觉嵌入空间中进行多模态理解与对齐的，若强行引入外挂模块或离散离散化接口，必然破坏 MLLM 已学到的语义先验。
本文的切入点是将多模态理解与视频生成明确划分为两级分工体系：让 MLLM 专注在原生的 ViT 空间中执行目标语义规划，而让 DiT 渲染器在 VAE 潜空间中专注执行像素级去噪渲染。核心 idea：以 MLLM 自身的 ViT 嵌入空间作为规划器与渲染器的连续语义接口，通过掩码生成式规划预演目标语义，并辅以分段感知 3D 旋转位置编码（SA-3D RoPE）与思维链机制，实现理解向高保真视频生成与编辑的直接迁移。
方法详解¶
整体框架¶
Bernini 将生成与编辑任务解耦为两个核心组件：基于 MLLM 的语义规划器（Planner）与基于 DiT 的像素渲染器（Renderer）。在输入端，模型采用统一的序列化协议，将文本指令、多个源视觉输入（参考图像或源视频）的 ViT 嵌入以及目标视频的 ViT 嵌入拼接为统一的 1D 序列。在推理阶段，目标视觉 Token 初始全被掩蔽，MLLM 规划器以渐进式掩码生成方式预测目标在 ViT 空间中的连续表征；轻量级 MLP 连接器将该语义隐状态映射为 DiT 的条件嵌入；最终，DiT 渲染器在 Flow Matching 机制下，联合结合文本特征、目标语义嵌入以及源视频/图像的 VAE 潜变量，完成像素级去噪输出。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["统一多模态输入序列<br/>文本指令 + 多源视觉Token + 目标掩码Token"] --> B["掩码生成式语义规划<br/>MLLM在ViT连续嵌入空间中渐进式去掩码与CoT推理"]
B --> C["分段感知3D旋转位置编码<br/>SA-3D RoPE解耦跨片段身份与时空坐标"]
C --> D["双分支联合去噪引导渲染<br/>DiT在VAE潜空间融合语义嵌入与源VAE特征"]
D --> E["最终高保真输出视频<br/>支持T2V / R2V / V2V / RV2V统一生成与编辑"]关键设计¶
1. 掩码生成式语义规划：在 ViT 原生空间中对齐高层生成目标 针对传统条件生成直接向扩散模型注入 MLLM 最后一层文本状态导致视觉先验不匹配的问题，Bernini 直接锚定在 MLLM 原生的 ViT 连续嵌入空间。在训练阶段，输入序列包含文本嵌入 \(\mathbf{t}\)、源视觉输入 ViT 嵌入 \(\mathbf{v}^{\text{src}}_{i}\) 以及目标视觉嵌入 \(\mathbf{v}^{\text{tgt}}\)。目标 Token 以随机比例采样掩码：掩码率服从任务自适应的 Beta 分布 \(r \sim \text{Beta}(\alpha, \beta)\)。针对信息冗余度更高的任务（如从文本生图到视频编辑），动态增大 \(\alpha\) 减小 \(\beta\)，迫使模型在高掩码率下依赖上下文推理而非浅层复制。隐藏状态通过由 MLP 与 ResNet 残差头构成的轻量级解码器，以连续 Flow Matching 目标重构目标 ViT 嵌入： $\(\mathcal{L}_{\text{visual}} = \mathbb{E}_{t, x_0, x_1} \left\| v_{\theta}(x_t, t) - (x_1 - x_0) \right\|^2\)$ 推理时，目标 Token 初始全部置为掩码，采用余弦掩码调度函数 \(\text{mask\_ratio}(k, K) = \cos\left(\frac{\pi}{2} \cdot \frac{k+1}{K}\right)\) 进行 \(K=25\) 步渐进式精炼，极小开销下完成高质量语义预演。
2. 分段感知 3D 旋转位置编码（SA-3D RoPE）：彻底消除多源视觉片段身份混淆 当统一输入序列中包含多个参考图像、源视频及目标生成片段时，不同片段内的 Token 可能会共享完全相同的局部时空坐标 \((t, h, w)\)，传统 3D RoPE 无法区分片段归属，导致参考对象的特征严重泄漏到背景中。SA-3D RoPE 为每个视觉片段分配全局索引 \(i\)（目标片段为 \(i=0\)，参考源分别为 \(i=1, 2, \dots\)），构建全维度的片段旋转频率向量 \(\mathbf{r}^{\text{seg}}_{i}\)，并通过复数逐元素乘法施加全局相位调制： $\(\tilde{\mathbf{r}}_{t, h, w, i} = \mathbf{r}_{t, h, w} \odot \mathbf{r}^{\text{seg}}_{i}\)$ 这种连续相位调制既严格保留了原始 3D 空间时序连续性，又赋予自注意力机制清晰的片段区分能力。更重要的是，由于片段索引为连续相位，在推理阶段遇到超过训练上限 \(i_{\max}\) 的参考数量 \(n\) 时，可通过片段索引线性内插平滑映射至已训练区间： $\(i_k = 1 + \frac{(k-1)(i_{\max}-1)}{n-1}, \quad k=1, \dots, n\)$ 使得模型能够零样本支持多达 10 个参考输入的超限外推而不发生鬼影失真。
3. 双分支联合去噪引导渲染：平衡源视频时空一致性与动作自适应 视频编辑中最大的矛盾在于非编辑区域的细节保持与编辑动作的自然延展。为了构建高质量运动感知数据并在渲染阶段精细调控，Bernini 在数据侧构建了融合 I2V（引入动作自适应）与 V2V（保持源动作一致）的双分支合成机制，并在 DiT 推理时提出增量无分类器引导（Incremental CFG）： $\(\hat{\epsilon} = \epsilon_{\varnothing,\varnothing,\varnothing,\varnothing} + \omega_{\text{vid}}\Delta_{\text{vid}} + \omega_{\text{img}}\Delta_{\text{img}} + \omega_{\text{txt}}\Delta_{\text{txt}} + \omega_{\text{tgt}}\Delta_{\text{tgt}}\)$ 其中 \(\Delta_{\text{vid}}\)、\(\Delta_{\text{img}}\)、\(\Delta_{\text{txt}}\)、\(\Delta_{\text{tgt}}\) 分别代表逐步引入源视频 VAE 特征、源图像 VAE 特征、文本嵌入及目标语义 ViT 嵌入所带来的增量向量场。通过为不同任务配置正交的引导权重（如 V2V 任务中强调源视频与文本权重，RV2V 中增强图像参考权重），在严格保留未编辑区域原始像素纹理的同时，确保新动作与环境物理交互的高度自洽。
损失函数 / 训练策略¶
Bernini 采用四阶段渐进式训练管线： - Stage I（MLLM 预训练）：在 256p 分辨率下联合优化文本自回归与 ViT 掩码流匹配损失 \(\mathcal{L}_{\text{Stage I}} = \lambda_{\text{text}}\mathcal{L}_{\text{ntp}} + \lambda_{\text{visual}}\mathcal{L}_{\text{visual}}\)（权重分别为 0.2 与 1.0），融入 20M 视频对、30M 图像对与多模态理解数据。 - Stage II（DiT 预训练）：冻结 MLLM，在 480p/16fps 下优化 VAE 空间的流匹配损失 \(\mathcal{L}_{\text{dit}}\)，采用线性衰减的图像对/视频对采样率配合定制的时间步噪声调度（视频采用 Mode 调度，图像采用 Logit-Normal 调度）。 - Stage III（连接器训练）：冻结两侧骨干，仅训练轻量级 MLP 连接器完成语义到渲染空间的初步表征映射。 - Stage IV（全模型轻量联合微调）：联合微调所有模块，引入自文本与自视觉-文本思维链（CoT）推理数据，总损失为 \(\mathcal{L} = 0.2\mathcal{L}_{\text{ntp}} + \mathcal{L}_{\text{visual}} + \mathcal{L}_{\text{dit}}\)。
实验关键数据¶
主实验¶
评估涵盖视频编辑基准（自建的 Bernini-Bench、OpenVE-Bench、EditVerse、FiVE）以及视频生成基准（VBench、OpenS2V-Eval）。主模型采用 Qwen2.5-VL-7B 作为规划器，Wan2.2-A14B 作为渲染器。
在全新构建的真实场景视频编辑基准 Bernini-Bench 上的 GPT-5.4 自动化评测结果（满分 5 分）：
| 方法 | V2V 总分 (OS) | V2V 指令遵循 (IF) | V2V 视频一致性 (VC) | V2V 生成质量 (GQ) | RV2V 总分 (OS) | RV2V 图像一致性 (IC) |
|---|---|---|---|---|---|---|
| UniVideo | 2.44 | 2.58 | 3.30 | 3.16 | 2.36 | 2.87 |
| VINO | 2.85 | 3.08 | 3.14 | 3.26 | 2.25 | 3.51 |
| Kling O3 | 3.05 | 3.25 | 3.09 | 3.44 | 3.14 | 3.61 |
| Wan2.7 | 3.30 | 3.57 | 3.11 | 3.56 | 3.58 | 3.62 |
| Bernini (本文) | 3.49 | 3.60 | 3.65 | 3.52 | 3.55 | 3.67 |
在开源公认的多参考主体视频生成基准 OpenS2V-Eval 上的评测结果：
| 方法 | 总分 (Total) ↑ | 美学质量 ↑ | 运动平滑度 ↑ | 人脸保真度 (FaceSim) ↑ | 自然度评分 ↑ |
|---|---|---|---|---|---|
| Pika 2.1 | 51.88 | 46.88 | 87.06 | 30.38 | 63.32 |
| Kling 1.6 | 56.23 | 44.59 | 86.93 | 40.10 | 74.59 |
| Kling O3 | 59.19 | 48.05 | 92.94 | 57.20 | 70.51 |
| SkyReels-A2 | 52.25 | 39.41 | 87.93 | 45.95 | 60.32 |
| RefAlign-14B | 60.42 | 46.84 | 97.61 | 55.23 | 73.63 |
| Bernini (本文) | 63.83 | 44.54 | 94.39 | 77.34 | 73.94 |
消融实验¶
针对推理增强策略在 Bernini-V2V 基准上的消融分析：
| 配置 | 总分 (OS) | 指令遵循 (IF) | 视频一致性 (VC) | 生成质量 (GQ) | 说明 |
|---|---|---|---|---|---|
| Ours (Baseline) | 3.12 | 3.36 | 3.18 | 3.37 | 基础多模态规划模型 |
| + PE (Qwen2.5-VL-7B) | 3.20 | 3.43 | 3.21 | 3.39 | 引入基础提示词重写器 |
| + Self-text CoT | 3.33 | 3.55 | 3.31 | 3.44 | 内部自文本思维链推理 |
| + PE (GPT-5.4) | 3.49 | 3.66 | 3.51 | 3.49 | 引入强外部提示词扩展 |
| + PE (GPT-5.4) + Self-vision-text | 3.52 | 3.65 | 3.54 | 3.49 | 结合首帧图像级视觉中间推理 |
关键发现¶
- 非编辑区视频一致性（VC）显著领先：Bernini 在 V2V 任务中的视频一致性得分达到 3.65，远高于 Wan2.7 的 3.11 与 Kling O3 的 3.09。这表明直接注入未编辑源视频 VAE 特征配合解耦的语义掩码预测，能有效杜绝背景漂移。
- 人脸保真度取得突破：在 OpenS2V 基准上，Bernini 的 FaceSim 达到 77.34，相比此前最强模型 Kling O3（57.20）提升超过 20 个绝对点，证实了真实长视频检索配对数据与 SA-3D RoPE 对人脸身份锁定的巨大优势。
- SA-3D RoPE 杜绝特征泄漏：消融表明，普通 3D RoPE 叠加可学习片段 Embedding 仍会导致严重的参考图信息泄漏（如参考图背景混入目标视频）；SA-3D RoPE 借助相位解耦彻底隔离了不同视觉输入。
亮点与洞察¶
- ViT 嵌入空间作为理想界面：将 MLLM 的视觉隐空间直接作为规划载体，既不需要量化离散化引入的信息瓶颈，也不需要强行统一网络架构，实现了预训练理解与预训练生成的低成本即插即用协同。
- 片段索引相位内插技巧：通过将超出训练最大值 \(i_{\max}\) 的片段索引平滑压缩在 \([1, i_{\max}]\) 区间内，巧妙借用大模型上下文扩展的内插思路解决了多图参考下外推崩溃的问题。
- 工程系统的极致吞吐优化：结合 FlashAttention-4、FlexAttention、Ulysses 序列并行以及直接内存散射优化，将 GPU 训练显存开销从 72GB 降至 40GB，将单步上下文长度上限提升 4.4 倍至 440K Tokens。
局限与展望¶
- 依赖外部强提示词重写器：在复杂推理编辑场景下，模型自身的多模态推理能力仍显不足，依然高度依赖外部强语言模型（如 GPT-5.4）将粗略指令扩展为结构化提示词。
- 基础视觉质量受限于基座渲染器：尽管一致性与指令遵循优异，但原始视频纹理与动态范围（480p/16fps）受限于所使用的 Wan2.2-A14B 开源底座，相较于工业级闭源高分辨率模型（如 720p/24fps 系统）在微观画质上仍有代差。
- 未来方向：探索端到端强原生推理大模型与更高分辨率基座渲染器的联合迭代优化。
相关工作与启发¶
- vs UniVideo / VINO: 后者主要通过 MLLM 最终层的文本隐藏状态或外加可学习 Query Token 来驱动视频扩散，视觉表征跨度大；Bernini 直接在 MLLM 的原生 ViT 空间进行密集掩码生成，视觉语义对齐更为自然紧凑。
- vs Emu3 / Show-o: 全统一模态模型采用纯自回归离散 Token 建模，面临高昂的训练开销与离散化保真度损耗；Bernini 采用“高层语义规划 + 连续扩散渲染”的分工范式，训练更加轻量且生成画质更高。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出将 MLLM 原生 ViT 空间作为视频扩散语义规划接口，SA-3D RoPE 设计极具实用价值。
- 实验充分度: ⭐⭐⭐⭐⭐ 构建了包含 22 类精细任务的 Bernini-Bench，覆盖 4 个公开编辑基准及多模态生成基准，数据翔实。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，系统架构、数据引擎与训练细节披露完整。
- 价值: ⭐⭐⭐⭐⭐ 为开源社区提供了一套极具竞争力的视频统一生成与精准编辑方案，大幅缩短了开源与闭源系统的差距。