Advancing Narrative Long Video Generation via Training-Free Identity-Aware Memory¶

会议: NeurIPS 2026
arXiv: 2605.18733
代码: https://github.com/Eddie0521/IAMFlow
领域: 视频生成
关键词: 叙事长视频生成、自回归视频生成、身份感知记忆、跨提示词一致性、免训练加速

一句话总结¶

提出无需额外训练的自回归长视频生成框架 IAMFlow，通过大模型构建全局实体注册表以显式维护跨片段角色身份，结合注意力键向量匹配检索关键帧，并配合自适应提示词过渡与异步视觉校验，在显著提升长视频身份一致性的同时实现了 1.69 倍的端到端生成加速。

研究背景与动机¶

近年来基于扩散 Transformer（DiT）的视频生成模型取得了显著突破，但双向全局注意力固有的平方级计算复杂度，使其计算开销随视频时长呈二次方暴涨，从而受限于短片段生成。为了向分钟级乃至交互式连续叙事长视频拓展，自回归（Autoregressive, AR）视频生成范式成为重要发展方向，其核心优势在于能够根据历史生成上下文逐步预测未来帧。然而，在多提示词驱动的长程流式叙事场景中，自回归模型面临着严峻的上下文遗忘瓶颈：局部因果注意力窗口容量有限，早期的实体身份与视觉特征会迅速被后续生成步骤冲刷，导致人物在多轮剧情演进中频繁发生身份漂移（identity drift）、角色无故克隆复制（character duplication）以及衣物容貌等核心属性丢失。

现有长视频记忆方案主要受限于粗粒度的隐式表征，无法有效应对角色引用的动态流转。一方面，以 LongLive 为代表的静态位置锚定方法采用首块恒定注意力汇聚（sink tokens），虽能防止生成初期发散，却强行丢弃了后续生成过程中动态积累的故事线信息；另一方面，以 MemFlow 为代表的动态记忆库检索方法主要依赖提示词与候选帧之间的浅层 token 级相关性进行检索，缺乏显式的实体状态建模。当多个视觉特征相似的角色同时出现，或特定角色在消失多轮后被代词模糊唤回时，纯粹的特征检索极易产生身份混淆。与此同时，在每个提示词切换边界重新编码历史上下文的沉重算力负担，进一步限制了交互式流式生成的实际吞吐。

面对信息保留精度与生成计算效率之间的两难困境，本文指出关键症结在于当前模型缺乏一个持久化且可追踪的显式实体状态变量。本文的核心 idea 是：将长视频时序一致性问题转化为免训练的显式身份感知记忆维护，利用 LLM/VLM 构建全局实体注册与异步视觉纠偏闭环，在注意力键向量空间内实现目标实体的贪婪覆盖检索，并引入跨注意力自适应平滑过渡消除全量缓存重算。

方法详解¶

整体框架¶

IAMFlow 建立在开源因果自回归视频扩散底模（如以 Wan2.1 为骨干的 MemFlow）之上，在完全无需微调视频扩散生成器参数的前提下，通过“语言端显式规划 + 显式记忆库维护 + 跨注意力空间平滑”实现高质量流式长视频生成。系统输入为连续的 $T$ 段故事分镜提示词 $\{p_t\}_{t=1}^T$ 和初始隐空间高斯噪声块。整体流水线分为四大协同阶段：首先，LLM 负责从当前分镜提示词中解构具象人脸/服饰等物理属性并分配全局唯一身份 ID，更新实体注册表；随后，记忆库根据活跃实体 ID，在注意力键向量空间以贪婪集合覆盖算法检索出高信息量历史关键帧并注入 KV 缓存；在自回归分块去噪过程中，自适应提示词过渡机制平滑混合相邻分镜的跨注意力键值对；最后，局部窗口淘汰的隐空间块被异步送入后台线程进行轻量 VAE 解码与 VLM 视觉属性核验，纠正漂移并持续扩充高质量记忆库。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["连续流式叙事分镜提示词<br/>{p_t} 与初始噪声块"] --> B["显式实体注册与全局身份追踪<br/>LLM 抽取物理属性与代词消歧"]
    B --> C["实体感知候选帧打分与贪婪覆盖检索<br/>注意力键向量内积 + 最大覆盖求解"]
    C --> D["自适应提示词平滑过渡<br/>跨注意力 KV 余弦插值消除重算"]
    D --> E["DiT 自回归分块去噪<br/>结合 Sink 帧、局部窗口与检索记忆"]
    E --> F["异步视觉校验与属性漂移纠偏<br/>后台 TinyVAE 解码 + VLM 细粒度审计"]
    F -->|纠正属性并更新档案| B
    E --> G["连贯稳定长视频输出<br/>60s 多镜头连贯叙事渲染"]

关键设计¶

1. 显式实体注册与全局身份追踪：解决代词混淆与实体表征漂移 以往记忆机制将上下文仅视为无结构的 token 序列或帧特征，无法解析“男主角在第三幕再次出现”与“另一位新角色入场”的语义差异。IAMFlow 在各段分镜提示词 $p_t$ 刚介入时，首先调用轻量指令微调大语言模型（Qwen3-4B-Instruct）将其解析为结构化实体描述元组 $\mathcal{E}_t = \{(e_j, \mathbf{a}_j)\}$，其中 $e_j$ 为实体名称，$a_j$ 仅提取发型、服装、肤色等具象物理外观属性，严格滤除动态动作与即时情绪标签。随后，LLM 负责将抽取实体对齐到全局实体注册表 $\mathcal{R} = \{g_k: (\text{name}_k, \mathbf{A}_k)\}$。若提示词中出现明确的新角色标记（如 "another", "a new character"），则强制分配全新全局 ID；否则，LLM 将当前提取属性 $\mathbf{a}_j$ 与注册表内各活跃历史实体的累积属性集合 $\mathbf{A}_k$ 进行比对匹配。若置信命中则复用已有全局 ID 并更新别名和观测属性，若无法确信则保守开辟新 ID。这种以显式全局 ID 为中枢的组织方式，彻底将模糊的上下文关联锚定到具体的离散实体对象上。

2. 实体感知候选帧打分与贪婪覆盖检索：实现多实体高效召回与注意力注入 在自回归长程推演中，记忆库的容量受显存严格限制，必须在有限预算 $B$（如 2 到 4 帧）内最大化保留关键角色特征。当最旧的隐空间块从局部滑动窗口（大小 $N_{\text{loc}}=9$）淘汰时，IAMFlow 计算该块内各候选帧 $f$ 与当前活跃实体的兼容度。系统根据当前活跃实体及属性在文本提示词中的字符跨度，赋予实体相关 token 较高的权重（权重设为 2.5，非实体词降为 0.5 到 1.0），构造归一化权重向量 $\tilde{\omega} \in \mathbb{R}^S$。通过直接重用 DiT 生成器早期 Transformer 层的跨注意力键向量缓存，将文本锚点键向量 $\bar{\mathbf{r}}_{\text{id},h}$ 与候选视觉键向量 $\bar{\mathbf{k}}_{f,h}$ 进行多头内积计算： $$s_{\text{entity}}(f) = \frac{1}{H}\sum_{h=1}^H \frac{\langle \bar{\mathbf{r}}_{\text{id},h}, \bar{\mathbf{k}}_{f,h} \rangle}{\sqrt{d}}$$ 该得分与 VLM 视觉评分融合得到综合评价 $s(f) = (1-\lambda)\hat{s}_{\text{entity}}(f) + \lambda s_{\text{visual}}(f)$（$\lambda=0.3$），并将评分最高的帧及其 KV 缓存存入归档库 $\mathcal{F}$。在分镜切换时，模型将检索过程形式化为最大覆盖（Maximum Coverage）子模优化问题：利用贪婪近似策略，迭代挑选能够覆盖最多未覆盖活跃实体 ID 且得分最高的归档帧，组装为活跃身份记忆 $m_t^{\text{id}}$ 注入 DiT，从而确保复杂群戏或多角色交互场景下各主体均有高质量视觉锚点。

3. 异步视觉校验与属性漂移纠偏：掩盖感知延迟并消除累积误差 自回归生成在经过数十秒的演进后，微小的生成瑕疵容易在自反馈循环中滚雪球式放大为明显的面容畸变或属性错乱。若在主生成流中同步插入 VAE 解码和多模态大模型（VLM）判定，则会导致严重的推理停顿。IAMFlow 巧妙利用局部窗口的淘汰滞后（3 个分块，约覆盖后续生成的生成延迟），设计了并行的异步校验工作线程。当一个隐空间分块完成去噪并脱离局部滑动窗口后，后台线程调用 Wan2.1 适配的轻量 TinyVAE 对其进行解码，并由 Qwen3-VL-2B-Instruct 对抽样的三帧图像进行下采样打分，返回视觉保真度分数 $s_{\text{visual}}(f) \in [0, 1]$。更为关键的是，在每个新提示词的首个分块渲染后，VLM 同步比对实际生成画面的视觉属性与全局注册表，若发现角色服饰颜色等属性偏离，则直接将校正后的实际视觉特征写回注册表 $\mathcal{R}$，形成“生成-感知-纠正”的闭环反馈，有效切断了属性幻觉在长时序链条上的扩散。

4. 自适应提示词平滑过渡：消除全量上下文重编码与镜头硬切闪烁 传统多提示词长视频生成系统在分镜变更时，必须停下生成流程，以新提示词的条件对局部上下文窗口内的所有历史帧重新运行一次 DiT 前向传播以更新跨注意力 KV 缓存（即 full KV-recache），该操作随窗口长度成倍消耗算力。此外，离散文本条件的瞬间硬切极易导致相邻分块之间产生严重的画面闪烁与角色形变。IAMFlow 提出在跨注意力空间直接进行渐进余弦平滑插值（Adaptive Prompt Transition, APT）。在提示词切换发生后，模型冻结前一段的跨注意力键值 $(\mathbf{K}_{\text{old}}, \mathbf{V}_{\text{old}})$，在新分块去噪时按余弦时间表进行动态混合： $$\mathbf{K}_{\tau} = (1-\alpha_{\tau})\mathbf{K}_{\text{old}} + \alpha_{\tau}\mathbf{K}_{\text{new}}, \quad \mathbf{V}_{\tau} = (1-\alpha_{\tau})\mathbf{V}_{\text{old}} + \alpha_{\tau}\mathbf{V}_{\text{new}}$$ 其中插值步长根据相邻提示词文本特征的余弦距离动态调节，距离越大则平滑过渡窗口 $W_{\text{apt}} \in [3, 15]$ 越长。这不仅使得去噪方向连续过渡、消除画面边界跳跃，更完全摒弃了耗时的上下文重算过程。

一个完整示例¶

以一段包含角色再现的双人叙事长视频为例： 1. 分镜 1（引入主角）：“一位穿红夹克、戴眼镜的年轻男子坐在咖啡馆内。”LLM 提取出实体 {"entity": "young man", "attrs": ["red jacket", "glasses"]}，并在注册表中分配全局 ID g1。生成该段时，最佳帧缓存入库。 2. 分镜 2（引入配角）：“一位穿黑风衣的女子微笑着走入咖啡馆坐在对面。”LLM 识别到新实体，分配 g2 并记录其属性。当前场景中活跃实体包含 {g1, g2}。 3. 分镜 3（主角离开视角）：“女子独坐在桌前品尝咖啡，若有所思。”活跃实体仅有 g2，贪婪检索优先加载包含 g2 的高质量缓存帧。 4. 分镜 4（主角长程再现）：“此前离开的那位年轻男子端着两杯新咖啡重新回到桌前。”分镜未重复列写红夹克与眼镜，但 LLM 依据代词消歧将其准确归并至 g1。贪婪覆盖检索在记忆库中定位到第 1 分镜中留存的 g1 最优关键帧，连同第 3 分镜中 g2 的当前状态帧共同组装为 $m_t^{\text{id}}$ 注入 DiT。 5. 去噪与平滑：APT 在分镜边界以余弦节奏混合分镜 3 与分镜 4 的语义向量，消除角色突然跳变；后台 VLM 迅速核验男子生成的红夹克是否与原先一致，确保 g1 跨越长程时间跨度后外貌高度统一。

实验关键数据¶

主实验¶

为了客观评测流式长视频生成模型在多轮提示词演进、跨分段指令遵循及长程身份保持方面的综合表现，作者构建了 NarraStream-Bench 基准。该基准包含 324 个各长达 60 秒（划分为 6 个连续 10 秒分镜）的多提示词剧本，覆盖 6 大挑战维度，并在视觉质量（VQ）、时序一致性（TC）及指令遵循度（IC）三大组共 11 项指标上对代表性模型进行严格评估（分数均缩放至 100 分制）。

模型	训练状态	VQ 综合 ↑	边界平滑度 (BS) ↑	相邻一致性 (CAC) ↑	长程一致性 (CLC) ↑	VLM 对齐度 ↑	全局总分 (Overall) ↑
Self Forcing [19]	需要训练	67.09	60.25	50.57	39.54	50.96	56.71
Rolling Forcing [27]	需要训练	69.72	61.19	68.83	62.18	52.03	63.14
Deep Forcing [47]	免训练	79.23	48.10	80.09	77.28	59.35	69.57
LongLive [45]	需要训练	82.80	49.19	83.06	89.97	62.22	73.17
MemFlow [22]	需要训练	82.77	47.06	83.92	89.71	60.85	72.88
IAMFlow (本文)	免训练	83.34	65.03	86.07	91.25	62.61	75.73

注：在完整 11 项细分指标中，IAMFlow 在主体一致性 (SC: 95.88)、背景一致性 (BC: 93.43)、时序闪烁 (TF: 90.36)、运动平滑性 (MS: 59.49) 等维度均名列前茅，特别是在体现长程身份召回的 CLC (91.25 vs MemFlow 89.71) 以及消除镜头硬切跳跃的 BS (65.03 vs MemFlow 47.06) 上取得了显著提升。

消融实验¶

在 NarraStream-Bench 上针对记忆架构、检索策略、记忆容量分配及提示词平滑过渡等模块开展统一消融：

配置 / 变体	全局总分 ↑	视觉质量 (VQ) ↑	时序一致性 (TC) ↑	指令遵循 (IC) ↑	说明
IAMFlow 完整模型	75.73	83.34	80.78	63.07	完整系统，综合指标最佳
w/o 身份感知记忆 (ID memory)	74.28	82.74	77.85	62.25	移除记忆库，时序一致性剧烈下滑 (-2.93)
w/o LLM 实体规划	75.26	83.09	80.12	62.58	回退至规则字符串匹配，代词解析失效
w/o VLM 异步校验	75.41	83.17	80.22	62.83	缺少像素级属性纠错，长程漂移增加
仅纯视觉特征检索 (Visual-Only)	71.35	80.94	71.08	62.04	缺乏语义目标锚定，检索误匹配率高
仅文本语义检索 (Semantic-Only)	73.49	82.70	74.85	62.91	无法区分视觉上更清晰完整的关键帧
随机检索候选帧 (Random)	73.10	82.39	73.89	63.02	缺失定向上下文引导
全量上下文重编码 (Full KV recache)	75.27	83.12	79.71	62.97	带来高昂计算延迟，且边界平滑度劣于 APT
无平滑硬切过渡 (No transition)	75.10	83.01	79.42	62.88	镜头边界闪烁明显，稳定性降低

端到端推理效率对比¶

在两张 NVIDIA H20 GPU 构成的固定硬件预算下，评测各模型生成 60 秒长视频（分辨率 $832 \times 480$）的端到端耗时与实际吞吐：

方法	免训练	端到端总延迟 (s) ↓	相对加速比 ↑	生成帧率 (FPS) ↑
Self Forcing [19]	否	264.86	1.00×	4.72
Rolling Forcing [27]	否	312.11	0.85×	4.03
Deep Forcing [47]	是	250.62	1.06×	5.11
LongLive [45]	否	218.43	1.21×	6.14
MemFlow [22]	否	241.76	1.10×	5.36
IAMFlow (本文)	是	156.69	1.69×	6.20

关键发现¶

显式身份建模是防止长程记忆退化的核心支柱：消融实验显示，去掉全局实体记忆后时序一致性（TC）从 80.78 骤降至 77.85，说明无论局部注意力滑动窗口如何设计，单纯依靠隐式扩散特征均无法避免长期人物特征遗忘。
软插值过渡大幅改善生成连贯性与吞吐：自适应提示词过渡（APT）不仅使边界平滑度（BS）指标相比传统硬切跃升了 17.97 分，而且省去了反复重走上下文 DiT 前向编码的繁重开销，是模型取得 1.69 倍端到端加速的关键功臣。
异步并行流水线完美消化了多模态代理开销：通过利用 3 个分块的滑动淘汰时间窗口重叠 VAE 解码与 VLM 属性纠错，大模型协同推理完全脱离了生成的主关键路径，使得系统不仅没有变慢，反而比基于训练的 LongLive 与 MemFlow 展现出更高的全局吞吐。

亮点与洞察¶

多智能体符号记忆赋能连续扩散生成：将长视频时序一致性从传统的隐空间特征拟合解耦为“语言符号层实体管理 + 跨注意力空间物理注入”，以极小开销获得了对复杂叙事角色的全局掌控力。
注意力键向量内积作为免训练检索代理：巧妙重用 DiT 底模原生的文本-视觉注意力 Key 向量匹配度来量化帧间实体显著性，无需额外训练外置检索编码器，保证了轻量与高保真。
软插值替代硬重算的工程智慧：在跨注意力空间利用余弦时间表实现平滑渐变，用最简单的线性插值同时达成了“消除分镜跳切伪影”与“避免全量缓存重算”双重目标，具有极高的工程落地价值。

局限与展望¶

作者承认的局限：IAMFlow 强烈的身份记忆惯性在特定情境下会导致模型偏向保守。当用户提示词要求角色发生极其剧烈的戏剧性外观突变（如瞬间换装、面部重伤）或执行高度复杂的交互动作时，检索到的强身份先验可能压制动作生成幅度，引起一定的指令响应滞后。
现实场景约束：目前的实体抽取器仅针对人类角色进行专项调优，在包含拟人化动物、幻想生物、核心道具或车辆等非人主体的复杂世界观叙事中，实体注册与特征匹配的泛化边界尚未被充分探索。
改进思路：未来可探索可学习或自适应的记忆遗忘门控机制，根据提示词动作强度动态缩放身份记忆的注入权重；同时可拓展多模态细粒度实体追踪器，将道具与动态场景状态一并纳入全局图谱。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将显式全局实体 ID 注册与异步多模态校验引入免训练自回归长视频生成，架构构思巧妙。
实验充分度: ⭐⭐⭐⭐⭐ 提出了包含 324 个样本的 NarraStream-Bench 专用基准，指标完备，包含多种模型消融、 cross-judge 验证与人评对齐。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，理论建模、工程加速机制与实验分析均层层递进，清晰透彻。
价值: ⭐⭐⭐⭐⭐ 免训练、低开销且兼容开源底模，为高质量交互式影视创作与流式长视频生成落地开辟了切实可行的路线。