CineOrchestra: Unified Entity-Centric Conditioning for Cinematic Video Generation¶

会议: NeurIPS 2026
arXiv: 2606.13768
代码: https://snap-research.github.io/CineOrchestra/
领域: 视频生成
关键词: 电影级视频生成, 统一实体中心条件, 旋转位置编码, 多主体个性化, 镜头运镜控制

一句话总结¶

CineOrchestra 将视觉主体、运镜轨迹与分镜头转场统一抽象为带有时间区间的实体元语，通过无参的区间采样时间 RoPE 与 2D 实体-时间交叉注意力 RoPE，首次在单一视频 Diffusion Transformer 中联合实现了多主体个性化、事件时序控制、多镜头组合与自然语言镜头运镜控制。

研究背景与动机¶

电影级场景的生成远非单个静态镜头中孤立主体的单调动作，而是包含多个角色与道具在特定时刻的交互、具有导演意图的精密运镜，以及串联不同景别的分镜头转场过渡。这种复杂的镜头叙事要求视频生成模型具备极高维度的细粒度组合控制能力。然而，现有的文本到视频模型通常只接受单一全局文本描述，并倾向于生成单一视角的短视频片段，无法表达电影剧本级别的结构化叙事。

此前针对视频生成控制的研究各自为政：多主体个性化方法（如 Phantom、VACE、Video Alchemist）专注于跨帧维持角色身份一致性，却把整个剪辑视作单事件，无法解析带时间戳的时序交互；时序控制与多事件方法（如 Mind the Time、AlcheMinT）能够控制动作发生的起止时间，但镜头转场控制要么缺失，要么仅支持离散的无描述硬切（hard cut）；多镜头合成方法（如 CineTrans、EchoShot、MultiShotMaster）仅能生成静态切分的连贯镜头，却缺乏镜头内的细粒度时序与主体交互；相机运镜工作则严重依赖昂贵的 Plücker 外参矩阵或 3D 轨迹，与通用的语言驱动工作流难以协同。这种割裂导致现有方案无法协同处理主体、事件、运镜与转场。

这一割裂的本质矛盾在于：传统架构将异构的电影要素视作完全不同的控制模态，分别设计专有网络分支与学习参数。而本文的关键洞察在于，不管是视觉人物、道具，还是抽象的摄影机运镜、剪辑转场，其底层结构都是“在特定时间区间内发生作用的实体”。核心 idea：将多主体、时序事件、相机运镜与转场统一抽象为带有时间戳的实体中心条件元语，并在视频 DiT 中通过区间采样时间 RoPE 与 2D 实体-时间交叉注意力 RoPE 两个无额外参数的坐标设计，实现跨实体属性解耦与精准的时空区域注意力路由。

方法详解¶

整体框架¶

CineOrchestra 基于预训练的视频扩散 Transformer（Wan 2.1 架构与 VAE），在无需增加任何可训练模块的情况下，全盘接纳结构化的实体中心条件。整体输入包括视频潜变量、多主体参考图像、全局身份文本描述，以及打上时间区间的密集事件描述（涵盖主体交互、{camera} 运镜与 {transition} 转场）。参考图像经同一 VAE 编码为单帧特征后与视频 token 拼接，经过空间块对角拼接与实体平均时间坐标的自注意力层，实现跨帧身份注入；所有的全局描述与密集事件描述经 T5 编码后拼接为单一的 Key-Value 库，通过 2D 实体-时间 RoPE 引导交叉注意力将具体事件路由至对应的主体和帧段。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：多实体元语<br/>主体标签 + 运镜/转场标签 + 时间戳提示词 + 参考图"] --> B["实体中心统一条件表达<br/>统一抽象为 [ts, te, prompt] 元组"]
    B --> C["区间采样时间 RoPE<br/>均匀采样 N=16 步并做 beta(L) 范数重缩放"]
    C --> D["自注意力多参考图解耦<br/>空间对角块隔离 + 时间平均锚定"]
    D --> E["2D 实体-时间交叉注意力 RoPE<br/>实体索引轴解耦 + 时间轴时空路由"]
    E --> F["视频 DiT 无参主干去噪生成<br/>联合输出多主体/运镜/多镜头连贯场景"]

关键设计¶

1. 实体中心统一条件表达：打破模态异构的电影元素抽象 传统方法为控制角色、相机位移与转场硬切设计了各异的输入接口，无法联合优化。CineOrchestra 提出统一的实体中心元语，每个实体 $k \in \{1,\dots,K\}$ 绑定四个字段：(1) 唯一标识标签 $\tau_k$（如 {man_old}、{car_red}）；(2) 可选参考图像 $\mathbf{I}_k$（由 VAE 编码保留身份外貌）；(3) 可选全局身份描述 $g_k$（如人种、衣着细节）；(4) 密集事件集合 $\mathcal{E}_k = \{(t_{k,j}^s, t_{k,j}^e, e_{k,j})\}$，精准记录起止秒数与动作描述。更关键的是，摄影机运镜与分镜头转场被自然映射为两个保留实体标签 {camera} 与 {transition}，仅附带事件描述（如 [0.0s - 7.8s] {camera} pans left across {car_red} 或 [5.7s - 6.2s] {transition} fades to black）。这种设计完全避免了为运镜引入 3D 轨迹外参，且支持硬切、渐隐（fade）、叠化（dissolve）、划像（wipe）等多样化真实剪辑语言。

2. 区间采样时间 RoPE：跨数量级事件时长的注意力峰值归一化 在电影片段中，事件持续时间 $L = t_e - t_s$ 跨度极大，硬切转场仅 $0.1$ 秒，而长镜头运镜或主体动作可达 $10$ 秒。若沿用固定的离散步长（如逐帧或逐秒）计算旋转位置编码，短于步长的亚采样事件无法辨识；且更致命的是，多点平均会在高频分量上引发相位抵消，衰减因子服从 $\mathrm{sinc}(\theta_n L / 2)$，导致长事件的注意力相似度峰值被严重削弱。为此，本文在区间 $[t_s, t_e]$ 内均匀采样 $N=16$ 个坐标，并施加时长依赖的 Frobenius 范数归一化因子 $\beta(L)$： $$ \mathbf{P}^{\text{event}}(t_s, t_e) = \beta(L) \cdot \frac{1}{N} \sum_{i=0}^{N-1} R!\left(t_s + \frac{i}{N-1}(t_e - t_s)\right) $$ 其中缩放标量定义为： $$ \beta(L) = \frac{\sqrt{d_{\text{rope}}}}{\big|\frac{1}{N} \sum_{i=0}^{N-1} R(t_i)\big|F} = \left(\frac{2}{d $$ 在 }}} \sum_{n=1}^{d_{\text{rope}}/2} \mathrm{sinc}^2(\theta_n L / 2)\right)^{-1/2$L \to 0$ 时 $\beta(0) = 1$ 自然退化为标准单点 RoPE；当 $L$ 增大时，$\beta(L)$ 单调递增并有界在上界 $\sqrt{d_{\text{rope}}/2}$ 内，保证了从 $0.1$ 秒硬切到 $10$ 秒长镜头的相似度峰值波动维持在 $\pm 5\%$ 以内，从数学上保证了长短事件在 DiT 中的公平注意力竞争。

3. 自注意力多参考图解耦：空间对角隔离与时间平均锚定 当多个参考图像 $\mathbf{I}_k$ 作为单帧拼入视频 token 序列 $[\mathbf{V}; \mathbf{I}_1; \dots; \mathbf{I}_K]$ 进行全自注意力计算时，若直接沿用 3D 空间坐标会产生剧烈的位置碰撞。本文在空间维度上采用对角块分布：视频 token 占据空间网格 $[0, H) \times [0, W)$，第 $k$ 个参考图 token 则依次平移至 $[kH, (k+1)H) \times [kW, (k+1)W)$，空间坐标互不相交；在时间维度上，视觉主体的参考图仅应在其出场时刻生效，因而赋予每个参考图对应实体全部出场事件的时间 RoPE 均值： $$ \mathbf{P}^{\text{image}}(k) = \frac{1}{|\mathcal{E}k|} \sum(t_s, t_e) $$ 该设计使多主体参考图在时空上与视频特定区间形成自然共鸣，有效抑制贴图伪影与跨时间角色混淆。}_k} \mathbf{P}^{\text{event}

4. 2D 实体-时间交叉注意力 RoPE：精准路由与跨实体防混淆 交叉注意力需同时处理多达 16 个实体的全局描述和多达 32 个密集事件描述。为实现身份防混淆（Disambiguation）与时空路由（Routing），本文将注意力头维度划分为两个正交通道组，分别施加实体索引轴 RoPE（旋转角度为离散索引 $k$）与时间轴 RoPE。其坐标映射规则严密匹配物理含义： - 视频 Query token $\mathbf{V}$：在实体轴上取全实体旋转平均 $\frac{1}{K} \sum_{k=1}^K R_{\text{entity}}(k)$，使其平等地接收所有实体条件；时间轴使用其自身的 3D-RoPE 时间坐标。 - 参考图 Query $\mathbf{I}_k$ 与全局描述 Key $g_k$：实体轴设定为所属实体的单点索引 $R_{\text{entity}}(k)$，时间轴赋予该实体的平均时间坐标 $\mathbf{P}^{\text{image}}(k)$，温和地在出场区间提供外观先验。 - 密集事件 Key $e_{k,j}$：实体轴设定为宿主实体 $R_{\text{entity}}(k)$，时间轴使用精确区间采样编码 $\mathbf{P}^{\text{event}}(t_s^{k,j}, t_e^{k,j})$。在此 2D 坐标系下，仅当 Query 与 Key 属于同一实体且时间重叠时才会激发尖锐的注意力相似度峰值，从而以纯无参方式实现精确的事件路由。

损失函数 / 训练策略¶

训练基于流匹配（Rectified Flow）框架与 EDMv2 归一化回归目标，在 Wan 2.1 隐空间采用 Logit-Normal 时间步采样（均值 0，方差 1，Logit-Shift 3.0）。模型在通用视频-文本数据预训练后，在经过严格筛选与结构化标注的电影/电视剧 1 分钟片段集上微调。优化器采用 AdamW，基础参数学习率 $3 \times 10^{-5}$，经过 2D RoPE 重组的交叉注意力层以 $1 \times 10^{-4}$ 较大学习率加速对齐。在推理阶段，设计了多条件无分类器引导（CFG）： $$ \tilde{f}\theta = f\theta(z_t, c_{img}, c_{txt}) + \lambda_{joint}(f_\theta - f_\theta(z_t, \varnothing, \varnothing)) + \lambda_{img}(f_\theta - f_\theta(z_t, \varnothing, c_{txt})) + \lambda_{txt}(f_\theta - f_\theta(z_t, c_{img}, \varnothing)) $$ 其中引导系数设为 $\lambda_{joint}=5, \lambda_{img}=3, \lambda_{txt}=0$，在 40 步 Rectified-Flow 采样下保持极高提示词遵循度与图像保真度。

实验关键数据¶

主实验¶

实验在全新提出的包含真实影视片段的 CineBench（512 个片段，3.2k 实体，6.9k 事件，1.5k 参考图）以及合成极端情况的 CineBenchSyn 基准上，与多主体个性化（Phantom、VACE）及多镜头合成（CineTrans、EchoShot、MultiShotMaster、ShotStream）六大专用方法全面对比。涵盖主体身份一致性（M-DINO）、全局描述对齐（M-CLIP）、密集事件文本遵循（ViCLIP 四细分项：主体、场景、运镜、转场）以及转场时间召回率（Qwen2.5-VL 判决）。

方法	主体身份 M-DINO↑	全局描述 M-CLIP↑	密集主体 ViCLIP↑	密集场景 ViCLIP↑	密集运镜 ViCLIP↑	密集转场 ViCLIP↑	转场召回 Recall↑
Phantom	0.509	0.295	0.212	0.197	0.178	0.146	0.431
VACE	0.482	0.309	0.219	0.214	0.171	0.136	0.340
CineTrans	0.423	0.286	0.214	0.208	0.168	0.124	0.129
EchoShot	0.399	0.286	0.202	0.193	0.164	0.129	0.094
MultiShotMaster	0.383	0.286	0.207	0.207	0.172	0.126	0.343
ShotStream	0.391	0.289	0.214	0.197	0.172	0.141	0.267
CineOrchestra (本文)	0.502	0.295	0.235	0.208	0.193	0.150	0.486

消融实验¶

在 CineBench 上对核心组件进行的消融验证了区间采样、2D 实体-时间 RoPE 坐标结构及 $\beta(L)$ 归一化的必要性：

配置	M-DINO↑	M-CLIP↑	密集主体 ViCLIP↑	密集运镜 ViCLIP↑	密集转场 ViCLIP↑	转场召回 Recall↑	说明
(a) WeRoPE (3点采样)	0.455	0.285	0.236	0.192	0.145	0.399	替换为 AlcheMinT 的固定 3 点采样
(b) 区间采样 RoPE ($N=16$)	0.477	0.289	0.234	0.191	0.147	0.406	采用 $N=16$ 均匀区间采样
(c) + 实体轴 ($\mathbf{I}_k, g_k$)	0.485	0.287	0.234	0.191	0.147	0.422	参考图与全局描述引入实体轴
(d) + 时间轴 ($\mathbf{I}_k, g_k$)	0.484	0.288	0.233	0.190	0.148	0.394	进一步在参考图与全局描述加时间轴
(e) + 实体轴 ($\mathbf{V}$)	0.489	0.289	0.234	0.190	0.145	0.416	视频 token 融合可见实体轴
(f) 无 $\beta(L)$ 缩放 ($\beta \equiv 1$)	0.477	0.289	0.235	0.190	0.147	0.412	移除时长自适应范数归一化
完整模型 (Full)	0.502	0.295	0.235	0.193	0.150	0.486	完整 2D 实体-时间 RoPE 与 $\beta(L)$ 缩放

关键发现¶

联合控制打破单模态特化局限：专精主体身份的 baseline（Phantom、VACE）在单一镜头内维持较好 M-DINO（0.509），但在多镜头转场中彻底退化（转场召回率仅 0.431 和 0.340），且无法响应运镜与转场描述；多镜头基准方法（CineTrans 等）在跨切分转场时角色严重漂移（M-DINO 跌至 0.38-0.42）。CineOrchestra 在保持顶尖主体一致性（0.502）的同时，转场召回率大幅跃升至 0.486，并在运镜（0.193）与转场（0.150）的文本响应上均居首位。
$\beta(L)$ 时长自适应缩放决定转场成败：对比完整模型与消融变体 (f)，去掉 $\beta(L)$ 缩放后，由于 $0.1$ 秒的瞬时硬切转场与数秒的长动作注意力竞争失衡，转场召回率从 0.486 骤降至 0.412，主体一致性也显著下滑（0.502 $\to$ 0.477）。
人工双盲评测压倒性胜出：在 8 个维度的成对人类喜好评测中，针对全数 6 个 baseline，CineOrchestra 在主体一致性、密集事件遵循、运镜、分镜头结构等所有结构化控制维度上全面胜出（胜率通常在 60%–86% 之间），仅在与专门微调画质的基线对比时在无提示词约束的纯背景场景质量上出现平手。

亮点与洞察¶

将运镜与转场升格为一等实体公民：无需繁琐的相机 3D 姿态矩阵外参或专用的硬切拼接掩码，而是通过统一的 {camera} 和 {transition} 标签融入自然语言提示流，极具通用性与优雅度。
数学解析驱动的无参 RoPE 改造：通过严格的 Dirichlet 核与连续极限推导出 $\beta(L)$ 闭式解，仅凭位置编码的坐标分配便完美实现了多实体、多事件解耦与时空路由，给底座 DiT 零增参数。
向长时序与高分辨率的稳健迁移：得益于相对位置编码与时长自适应归一化，训练于 10 秒 288p 的模型能零样本平滑迁移至 40 秒复杂剧本多镜头生成，并在 720p 分辨率下保持清晰一致的主体与运镜。

局限与展望¶

粗粒度自然语言运镜缺乏几何严密性：通过文本描述运镜（如缓慢左摇、推进）虽然门槛低，但无法像 Plücker 轨迹那样提供毫米级可复现的摄影机精准轨迹，难以直接接入后续三维 NeRF/3DGS 重建管线。
单次前向推理的序列长度硬约束：模型采用单次前向扩散生成完整多镜头场景，虽然消除了镜头拼接的视觉断层，但长视频生成仍然受限于底层 DiT 显存上下文窗口，未来需探索自回归与实体缓存的结合。
缺失影视级音频联动：电影视听密不可分，当前模型纯粹输出静音画面，无法根据 {transition} 或角色对话事件对齐生成同步环境音与拟音。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙地将镜头转场与运镜纳入统一实体元语，配合无参 2D RoPE 机制实现一体化控制。
实验充分度: ⭐⭐⭐⭐⭐ 构建 CineBench 与 CineBenchSyn 两大基准，涵盖 7 维量化指标、详细组件消融与 8 维度人类双盲评测。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨（附录给出闭式解定理与极限证明），系统架构清晰易懂。
价值: ⭐⭐⭐⭐⭐ 为从简短 Prompt 到完整长篇剧本导演级视频生成提供了极其坚实优雅的范式基石。