ShotStream: Streaming Multi-Shot Video Generation for Interactive Storytelling¶

会议: ECCV2026
论文: ECCV 原文
领域: 视频生成
关键词: 多镜头生成、交互式叙事、双缓存、旋转位置编码、分布匹配蒸馏

一句话总结¶

ShotStream 将多镜头视频生成改为基于历史画面的下一镜头预测，用稀疏历史条件、显式区分镜头边界的双缓存和两阶段自强制蒸馏，在单张 H200 上以 15.95 FPS 生成视频，并取得 0.978 的镜头切换控制分数。

研究背景与动机¶

多镜头叙事不仅要求一个镜头内部动作连贯，还要求切换视角后人物、服饰和场景仍能对应起来。已有双向模型把多个镜头放进同一序列联合生成，能够利用全局关系，却通常必须提前拿到全部提示词。如果用户看完当前画面才决定下一个镜头的内容，预先联合生成的工作方式就不再自然；长序列注意力及多步去噪也带来明显等待。

因果视频模型能够逐块输出，但它们主要面向连续场景。电影式剪辑允许画面突然变化，此时既要记住历史人物，又不能把过去镜头误当成当前镜头应当连续延伸的画面。仅让模型接受新提示词并不足够：即便提示词变了，缓存仍可能把旧场景的延续惯性带入新镜头；生成历史中的错误还会跨镜头传播。

因此，本文把交互边界放在下一镜头，并把“跨镜头记忆”与“当前镜头连续性”分开处理。核心 idea：先教会模型根据稀疏历史生成下一镜头，再用区分历史与当前上下文的因果双缓存和逐步接近真实推理的自强制训练，把这种能力变成低延迟流式生成。

方法详解¶

整体框架¶

输入是全局叙事描述、各历史镜头对应的局部描述，以及用户给出的下一镜头描述；输出是逐镜头、镜头内部逐块合成的视频。训练先构建“稀疏条件教师”，再为学生引入“双缓存与 RoPE 区分”，最后进行“两阶段自强制蒸馏”。推理时只运行蒸馏后的因果学生，不需要重新调用双向教师，也不必事先提供所有未来镜头的提示词。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        INPUT["历史镜头与分镜描述"] --> TEACHER["稀疏条件教师"]
        TEACHER --> CACHE["双缓存与 RoPE 区分"]
        CACHE --> DISTILL["两阶段自强制蒸馏"]
        DISTILL --> OUTPUT["因果学生逐块输出"]
        PROMPT["运行时下一镜头描述"] --> OUTPUT

关键设计¶

1. 稀疏条件教师：在有限历史预算内建立画面与分镜文本的对应

教师以 Wan2.1-T2V-1.3B 为基础，任务不再是孤立地根据文本生成视频，而是读取若干历史画面后生成目标镜头。过去镜头可能包含数百帧，全部保留既冗余又昂贵，因此作者只选取稀疏条件帧，实验预算为 6 帧。分配时用总预算除以历史镜头数并向下取整，给每个历史镜头相同的基本份额，把余数分给最近的镜头。这比只取每个镜头的首帧更能利用有限预算，也让近期剧情获得额外上下文。

选出的画面经过基础模型的 3D VAE 编码，然后与目标镜头的噪声潜变量分别转换成 token，沿时间维拼接。仅目标镜头加噪，历史条件保持干净；原生 3D 自注意力便能直接在历史 token 与目标 token 之间建立联系，无需增加新的条件注入层。历史画面并不是全部配上目标镜头的描述：每个镜头的 token 经交叉注意力读取全局描述和自身的局部分镜描述。这样，“谁穿什么、谁出现在什么位置”能与历史视觉内容绑定，而不是被新镜头描述重新解释。

训练只更新 DiT 内的 3D 时空自注意力层，其他部分保持冻结。消融显示该策略优于全参数微调，但不能据此断言任何更大模型都应冻结相同部分。教师仍需约 50 次去噪，适合作为能力来源，不适合作为最终交互式生成器。

2. 双缓存与 RoPE 区分：让历史身份记忆不再被误当成当前镜头的连续画面

学生使用分块因果结构：当前块可以读取过去信息，但不能读取尚未生成的未来块。全局缓存保存采样得到的历史条件帧，用于跨镜头人物和场景一致性；局部缓存保存当前镜头已生成的块，用于镜头内部的连续运动。实验中每块包含 3 个潜帧，全局缓存为 2 块，局部缓存为 7 块。这里的潜帧和最终解码视频帧不是同一个计量单位，不能直接用缓存块数推算输出视频时长。

同时查询两类缓存会产生歧义：某个历史人物特写到底是需要参考的身份记忆，还是当前画面的直接前一帧？作者不只靠一个可学习标记区分它们，而是在旋转位置编码（RoPE）的时间相位中加入镜头级跳变。对第 \(k\) 个镜头中的第 \(t\) 个潜变量，正文给出的时间旋转角为：

\[ \Theta_t = \phi t + k\theta. \]

其中 \(\phi\) 是基础时间频率，\(\theta\) 是镜头边界的相位偏移。同一镜头内部保留随时间推进的结构，跨镜头则出现离散偏移，使模型能够把“参考历史”与“继续当前动作”区分开。正文未给出 \(\theta\) 的具体设置，不应凭此公式补造实现超参数。

生成新镜头前，从已生成历史重新采样全局条件；新镜头内部则逐块生成，并利用 KV 缓存复用已计算的信息。这不是把整个故事永远保存在缓存中，而是在固定预算内保留用于下一镜头预测的视觉证据。因此，极长叙事中早期细节是否仍可检索，需要单独实验验证。

3. 两阶段自强制蒸馏：先适应自己的镜头内预测，再适应自己的历史镜头

直接把教师的下一镜头能力蒸馏成因果学生，会遇到两层训练与推理差距：当前镜头的前序块不再完美，过去镜头也不再完美。作者采用分布匹配蒸馏（DMD），将多步教师压缩为 4 步因果学生，但不是从一开始就把所有历史都换成模型生成结果。第一阶段进行镜头内自强制：全局条件来自真实历史镜头，局部缓存则由学生自身已经生成的块填充。学生因而学会在目标镜头内部接着自己的预测生成，同时仍能依靠可靠历史学习基本的下一镜头能力。

第二阶段进行跨镜头自强制：学生先从头生成第一个镜头，之后全部根据自身生成的历史继续下一镜头。每个新镜头内部仍执行逐块自强制，每一轮的 DMD 仅施加在新生成的镜头上，而不是反复对整段历史共同计算目标。这种嵌套展开使局部缓存和全局缓存都接近推理时的分布，训练不再隐含“过去镜头永远正确”的假设。第二阶段并不取代第一阶段；单独执行第二阶段反而较差，说明适应有误差的长历史需要先建立基础生成能力。

一个完整示例¶

下面是按论文机制构造的说明性例子，不是额外实验：故事已经生成 4 个镜头，用户接着要求“切到同一人物的近景”。历史条件预算为 6 帧，因此每个历史镜头先分到 1 帧，剩余 2 帧归最近镜头，形成 1、1、1、3 的分配。这些条件帧与各自分镜描述共同提供人物身份信息，全局描述提供整体叙事背景。

学生开始新镜头时，利用 RoPE 的镜头偏移区分历史参考与当前镜头状态，按每块 3 个潜帧、4 步去噪逐块生成。当前镜头后续块读取自身已生成内容，保持近景内部连续；用户随后给出的新分镜描述只影响后续生成，不要求重做已经输出的历史。第一阶段训练时，这个例子的历史画面来自数据集；第二阶段及实际推理时，历史画面则由学生自身产生。

损失函数 / 训练策略¶

DMD 的目标是让学生输出分布接近教师所代表的数据分布，而不只是逐样本复制教师的某条去噪轨迹。训练在随机噪声时刻比较真实数据分布的 score 与学生生成分布的 score，后者通过去噪损失学习，二者之差提供学生更新方向。缓存正文只概述该机制并把详细目标留给补充材料，因此这里不补写未经核实的完整损失公式或权重。

教师使用内部 320K 多镜头视频训练，学生因果适配首先用教师采样的 5K 组 ODE 解对进行回归初始化。随后按上述两阶段进行蒸馏，第二阶段使用一个五镜头视频子集的描述；输出分辨率为 \(832\times480\)。正文未给出该子集规模、完整优化器设置及详细延迟拆分，这些都属于复现时需要补充的信息。

实验关键数据¶

主实验¶

测试集由 Gemini 2.5 Pro 生成的 100 组多镜头提示组成，并按各基线的输入风格调整文本。速度在单张 NVIDIA H200 上测量；下表摘录原文表 1，各质量指标均越高越好，FPS 为吞吐量。

方法	架构	FPS	跨镜头主体一致性	跨镜头背景一致性	切换控制	文本对齐
EchoShot	双向	0.643	0.392	0.396	0.664	0.186
LongLive	因果	16.55	0.594	0.565	0.693	0.216
Rolling Forcing	因果	15.32	0.561	0.473	0.684	0.223
ShotStream	因果	15.95	0.654	0.645	0.978	0.234

跨镜头主体与背景一致性先用 YOLOv11 和 SAM 分离关键帧内容，再用 DINOv2 特征评估；它们不是人物识别准确率。切换控制采用 Shot Cut Accuracy（SCA），衡量切换数量和时间位置的准确性，镜头边界由 TransNet V2 检测。正文未展开 SCA 的完整计算式，因此 0.978 应称为切换控制分数，不直接解释为“97.8% 的视频完全剪辑正确”。

消融实验¶

下表来自原文表 4，分别比较缓存区分方式和蒸馏阶段；前一组改变区分策略，后一组改变训练策略。

配置	跨镜头语义一致性	跨镜头主体一致性	跨镜头背景一致性	文本对齐	美学质量
无区分标记	0.728	0.507	0.465	0.203	0.549
可学习嵌入	0.737	0.518	0.588	0.204	0.523
RoPE 偏移（完整配置）	0.762	0.654	0.645	0.234	0.571
仅第一阶段	0.758	0.604	0.622	0.224	0.568
仅第二阶段	0.704	0.583	0.547	0.218	0.467
两阶段（完整配置）	0.762	0.654	0.645	0.234	0.571

关键发现¶

无区分标记时主体一致性为 0.507，RoPE 偏移达到 0.654，说明显式区分历史与当前镜头比简单混合缓存重要。
仅第一阶段的主体一致性为 0.604，两阶段达到 0.654；仅第二阶段为 0.583，支持先建立基础能力、再适应生成历史的顺序。
15.95 FPS 不超过 LongLive 的 16.55 FPS，优势是相近因果吞吐下更强的多镜头控制。相对 EchoShot 的 0.643 FPS，表中精确值约为 24.81 倍；正文“超过 25 倍”的概括不应不加区别地用于每个双向基线。
用户研究包含 54 位参与者、24 组提示；本文在视觉一致性、提示遵循、视觉质量上的选择率分别为 87.69%、76.15%、83.08%。允许多选，因此不是互斥的成对胜率。

亮点与洞察¶

把“下一镜头”作为交互单位，让用户可以根据已经生成的内容决定后续分镜。交互性首先来自任务条件的改写，不只是去噪步数减少。
历史图像必须绑定自己的描述，而非统一套用目标描述。这个细节让记忆保留“画面对应什么语义”，可迁移到依赖历史视觉条件的编辑任务。
自强制需要覆盖镜头内与镜头间两种递归。只让局部缓存接触生成误差，并不能自动解决全局历史的分布偏差。

局限与展望¶

作者承认复杂场景和复杂提示仍会出现视觉伪影与不一致，认为较小基础模型的容量是原因之一；扩展模型规模的收益尚待验证。
作者建议研究稀疏注意力和 attention sink 进一步提速。单张 H200 的吞吐与摘要中的亚秒级延迟表述，不能替代消费级硬件或端到端交互延迟测试。
内部 320K 训练视频及未在当前缓存中提供的补充材料限制了独立复现；代码与模型在正文中仅承诺发布，本笔记不猜测仓库地址。
原文表 1 的完整模型动态度为 63.56，而表 3、4 为 63.06，正文没有解释差异；本笔记不将它们当成同一次实验的可互换数字。
固定 6 帧历史预算与主要五镜头示例不足以证明无限长身份记忆；未来可按叙事长度、角色重现间隔和提示复杂度分别测量漂移。

评分¶

新颖性: 4/5。下一镜头条件化、双缓存区分与跨镜头自强制形成了完整方案，基础蒸馏技术来自已有工作。
实验充分度: 4/5。包含多类基线、两类设计消融和用户研究，但测试规模有限且训练数据不公开。
写作质量: 4/5。训练和推理关系清楚，动态度数值差异及速度概括需要更严谨说明。
价值: 4/5。为在线多镜头叙事提供了具体实现路线，复杂场景稳定性与更长历史仍是关键边界。