PermaVid: Consistent Video Generation Across Edits via Disentangled Context Memory¶

会议: NeurIPS 2026
arXiv: 2606.16449
OpenReview: https://openreview.net/forum?id=Ex3Eiix1Bn
论文: https://arxiv.org/abs/2606.16449
代码: https://ys-imtech.github.io/projects/PermaVid
领域: 视频生成
关键词: 视频生成 / 视频编辑 / 上下文记忆 / 跨视角一致性 / 多模态特征解耦

一句话总结¶

PermaVid 提出将空间上下文解耦为 RGB 语义外观记忆与深度几何结构记忆，并结合编辑感知的记忆失效与检索策略，在长程相机重访与视频编辑下保持时空与跨视角一致性。

研究背景与动机¶

近年来，相机轨迹控制视频生成与指令驱动的视频编辑取得了显著进展，用户可以通过指定相机运动合成大范围漫游视频，或通过文本指令进行全局风格迁移、局部物体替换等编辑操作。然而，在长时间尺度的视频生成中，维持时空视觉一致性依然是一项极具挑战性的难题。特别是当相机在三维场景中大幅漫游并重新访问（revisiting）先前观测过的区域时，生成模型必须在全新视角下精准还原先前的几何结构与场景细节；一旦场景中引入了编辑修改，后续帧与重访视角更需要同时保持对编辑结果的持久记忆，既不能退化回编辑前的旧状态，也不能产生结构畸变。

为了解决长时一致性，现有工作普遍引入了隐式状态缓存、压缩关键帧或基于位姿检索的外部记忆库。然而，这些方法几乎都建立在「历史观测在整个生成生命周期中恒久有效」的静态场景假设之上。当视频经历全局编辑（如昼夜切换、风格转换）或局部编辑（如插入或替换物体）时，历史记忆中存储的上下文就会部分或全部失效。现有架构将语义外观与几何空间结构强耦合在单一的 RGB 特征或潜空间表示中，导致一旦发生外观语义变化，整块历史记忆就变得不可信；模型若继续检索旧记忆，就会强行拉回编辑前的过时外观，若直接废弃历史记忆，又会导致原本完好的场景几何结构彻底丢失。

由此引发的核心矛盾在于：编辑操作引发的语义外观变化是高动态且局域/全局快速切换的，但底层的三维几何结构通常保持稳定或仅发生有限的局部形变；将二者混合存储必然导致「外观更新」与「几何复用」无法兼得。针对这一症结，本文提出将空间上下文显式拆解为语义外观与几何结构两条独立演化的记忆流。核心 idea：构建解耦的多模态上下文记忆库（RGB 外观记忆与深度几何记忆），配合编辑感知的全局/局部记忆失效与检索策略，在流式生成中选择性刷新过时语义并持久复用稳定几何，实现跨编辑的长程一致视频生成。

方法详解¶

整体框架¶

PermaVid 基于视频扩散 Transformer（DiT，基座采用 Wan2.1-14B）构建，整体由解耦多模态记忆库、编辑感知更新与检索机制，以及条件引导的 DiT 生成模型三大部分组成。在视频流式自回归生成过程中，模型在每一个视频块（chunk）生成后，利用单目深度估计网络预测几何深度图，分别将观测到的 RGB 帧与深度帧写入独立的记忆库中。当接收到编辑指令时，系统根据编辑类型（全局风格或局部物体编辑）选择性地失效部分外观或几何记忆；在合成后续新视角时，依据目标相机轨迹计算视锥重叠度，动态检索并筛选出空间相关且状态有效的混合模态参考上下文，通过专用的记忆上下文分支注入 DiT 主干完成一致性视频去噪。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入历史生成块与编辑指令<br/>相机位姿 P + 全局/局部编辑"] --> B["1. 解耦多模态上下文记忆库<br/>RGB 外观记忆 bank + 深度几何记忆 bank"]
    B --> C["2. 编辑感知记忆更新与视锥检索<br/>语义版本标记失效 + 空间重叠度过滤"]
    C --> D["3. 混合模态参考上下文贪心筛选<br/>覆盖目标轨迹且抑制冗余视角 (B=10)"]
    D --> E["4. 多模态记忆引导 DiT 生成主干<br/>共享 3D VAE 编码 + 级联 Context Blocks"]
    E --> F["输出跨视角与跨编辑一致的高保真视频帧<br/>单目深度预测反哺更新几何记忆"]

关键设计¶

1. 解耦多模态上下文记忆库：外观与几何的显式分离解耦

以往方法将历史帧编码为单一表征，编辑后无法区分哪些特征可信、哪些失效。针对这一痛点，PermaVid 显式将空间上下文分解为语义外观（Semantic Appearance $A_t$）与几何结构（Geometric Structure $G_t$），分别维护两个异构记忆库： $$\mathcal{M}^{\mathrm{rgb}}=\{(I_{i}^{\mathrm{rgb}},\mathbf{p}_{i},t_{i},g_{i})\}_{i=1}^{N},\qquad\mathcal{M}^{\mathrm{dep}}=\{(I_{j}^{\mathrm{dep}},\mathbf{p}_{j},t_{j})\}_{j=1}^{M}$$ 其中 $\mathbf{p}$ 代表 6-DoF 相机位姿，$t$ 为时间戳。特别地，RGB 外观记忆单元额外维护一个全局语义版本号 $g_i$。RGB 观测提供了视点一致性所需的高保真纹理、光照与色彩细节；而深度观测 $I_j^{\mathrm{dep}}$ 仅表征场景表面空间布局与几何形状，对光照、色彩和风格完全不敏感。这一解耦使模型在外观遭遇剧烈编辑时，仍能将深度记忆作为不变的空间骨架安全复用。

2. 编辑感知记忆更新与视锥检索：细粒度失效控制与时空对齐

在生成进程中，模型需要依据视频编辑操作的类型与空间作用域精确管理记忆生命周期。依照 Ditto 的编辑分类学，PermaVid 将编辑划分为全局编辑（如风格化、昼夜交替）与局部编辑（如物体增删改）。对于全局编辑，以往所有 RGB 记忆的语义全部过时，系统直接清空 RGB 记忆库并将全局语义版本推进 $\mathcal{M}^{\mathrm{rgb}}\leftarrow\emptyset,\ g^{\ast}\leftarrow g^{\ast}+1$，而深度记忆库 $\mathcal{M}^{\mathrm{dep}}$ 完全保留；对于空间影响区域为 $\Omega_e$ 的局部编辑，系统通过逆投影与视锥足迹 $\Pi(\mathbf{p}_i)$ 计算空间相交，仅精准剔除与编辑区域存在重叠的历史 RGB 记忆： $$\mathcal{M}^{\mathrm{rgb}}\leftarrow\mathcal{M}^{\mathrm{rgb}}\setminus\{m_{i}^{\mathrm{rgb}}\mid\Pi(\mathbf{p}_{i})\cap\Omega_{e}\neq\emptyset\}$$ 若局部编辑同时改变了物体几何形态，则对深度记忆执行相同的局部剔除。在目标轨迹 $\mathbf{P}$ 处的检索阶段，计算候选记忆视锥与目标视锥的最大归一化重叠度 $s_i=\max_{\mathbf{p}_q\in\mathbf{P}}\mathcal{L}(\mathbf{p}_i,\mathbf{p}_q)$，只检索空间重叠度高于阈值 $\tau$ 且版本匹配 $g_i=g^*$ 的 RGB 记忆以及所有空间相关的有效深度记忆。最后采用贪心策略保留最多 $B$ 个视角分散、互补覆盖的混合模态参考集 $\mathcal{R}^{\mathrm{mem}}$。

3. 记忆引导的 DiT 视频生成分支：多模态特征融合去噪

对于检索得到的离散跨时间稀疏参考帧集 $\mathcal{R}^{\mathrm{mem}}$，直接输入常规时空注意力机制会因绝对时间戳跨度过大而失效。PermaVid 借鉴 VACE 的上下文分支架构，在 DiT 主干侧平行构建了一组复制自选中 DiT 层的级联 Context Blocks。由于参考帧包含 RGB 和深度两种不同模态，模型采用参数共享的 3D VAE 分别对每帧独立进行潜变量编码，并在参考集内部采用相对位置编码（Relative Positional Encoding），解除了对视频全局绝对时序索引的依赖。相机轨迹位姿由相机编码器变换后与文本条件共同注入主 DiT，混合模态参考特征则通过交叉注意力与层级特征相加的方式无缝引导去噪生成： $$x_{t-1}=\epsilon_{\theta}(x_t,\,c_{\mathrm{text}},\,p_{\mathrm{cam}},\,\mathcal{R}^{\mathrm{mem}})$$ 从而使网络在去噪时同时受到最新 RGB 语义外观与长效几何深度的强力物理约束。

4. UE-Mem 回访数据集构建：长程闭环轨迹驱动策略

为了训练模型有效利用解耦多模态记忆并在重访场景时精准对齐，现有公开视频数据集缺乏长程回访路径与精确的 6-DoF 位姿真值。为此，PermaVid 基于 Unreal Engine 5 构建了自动数据生成管线。在 100 个高保真虚拟三维场景中部署具备 4-DoF 连续速度控制 $\mathbf{u}=[v_x,v_y,\omega,g]$ 的导航智能体，结合「目标驱动大范围探索」与「轨迹跟踪局部回环」双重策略，自动采集并合成了 4,000 条各包含 1,000 帧且具备大量回环重访的高分辨率 RGB-D 视频序列，为解耦记忆机制提供了坚实的训练监督。

损失函数 / 训练策略¶

模型训练采用两阶段递进方案： 1. 第一阶段（相机控制激活）：在公开短视频数据集 SpatialVid 上利用 32 张 NVIDIA H200 GPU 训练 10k 步。此阶段输入图像补齐至目标视频长度并送入记忆上下文分支（无额外参考帧），主 DiT 与相机编码器学习从位姿生成连贯相机运动； 2. 第二阶段（记忆与混合模态学习）：在自建的 UE-Mem 长程回访数据集上微调 8k 步。为促使模型学会从不对称的参考模态中自适应提取线索，训练样本中 40% 设置为纯 RGB 参考，40% 设置为纯深度参考，剩余 20% 为 RGB 与深度的混合模态参考。同时，从 VACE 继承的记忆上下文分支保持冻结，仅更新主 DiT 与相机编码器参数。

实验关键数据¶

主实验¶

评估基于包含 200 张具有复杂回环相机运动测试集的真实与风格化场景，使用 Qwen-Image 作为实时编辑执行器，全面对比 HY-Worldplay、HY-Gamecraft、Matrix-Game-2.0 及 VMem：

评估设置 / 方法	结构一致性 PSNR↑	结构一致性 SSIM↑	结构一致性 LPIPS↓	语义一致性 CLIP-Vid↑	视觉质量 VBench-Avg↑
全局编辑设置
HY-Worldplay	22.34	0.8674	0.2339	19.96	0.8488
HY-Gamecraft	18.83	0.8194	0.2951	26.17	0.8691
Matrix-Game-2.0	16.40	0.7065	0.4054	21.86	0.8417
VMem	14.92	0.6621	0.4386	18.74	0.8264
Ours (PermaVid)	22.84	0.8703	0.2102	27.87	0.8565
局部编辑设置	重访一致性 PSNR↑	重访一致性 SSIM↑	重访一致性 LPIPS↓	-	视觉质量 VBench-Avg↑
HY-Worldplay	21.922	0.8523	0.2470	-	0.8320
HY-Gamecraft	15.492	0.4388	0.4351	-	0.8377
Matrix-Game-2.0	14.408	0.3394	0.3465	-	0.8086
VMem	16.207	0.7018	0.3216	-	0.7893
Ours (PermaVid)	22.332	0.8622	0.2369	-	0.8544

消融实验¶

针对解耦上下文记忆机制的关键消融对比（比较使用解耦上下文记忆与单一 RGB 耦合记忆的生成表现）：

配置	全局语义传播表现	几何结构稳定性	说明
w/ Disentangled Contexts (完整模型)	优异 (稳定延续新语义)	高 (PSNR 22.84 / LPIPS 0.2102)	语义外观与几何解耦，全局编辑后丢弃旧 RGB、复用深度，新风格与建筑几何均完美保持
w/o Disentangled Contexts (无解耦 RGB 记忆)	较差 (反复退化回编辑前旧状态)	中等 (易受语义混淆干扰)	仅缓存全量 RGB 历史帧，编辑后检索到过时 RGB 上下文，导致编辑后的风格逐步被旧外观覆盖失效

关键发现¶

解耦记忆对跨编辑持久性的决定性作用：基线方法如 HY-Worldplay 虽具备几何重访能力，但因未解耦外观与几何，全局编辑后不断检索到旧版 RGB 图像，导致生成画面强行回退至编辑前的原始风格；而无长期记忆的自回归基线则在重访时彻底丢失三维几何。PermaVid 通过将 RGB 与深度分离，实现了语义彻底刷新而几何完全不塌陷。
记忆检索开销的极高计算性价比：计算开销分析表明，整个生成时延被视频生成 DiT 主干完全主导（占 95% 以上），单目深度估计与基于视锥的位姿检索在长程视频生成中耗时仅为毫秒级（最终仅约几百毫秒），对整体自回归推理速度几乎无负担。

亮点与洞察¶

模态非对称的解耦上下文记忆构架：跳出了传统视频记忆单纯堆叠 RGB 潜变量或 KV Cache 的局限，洞察到「几何长效恒定、语义易受编辑扰动」的时空物理特性，以极轻量代价实现了多视角下的编辑持久性。
编辑感知的版本化与视锥足迹失效策略：将高级语义编辑指令（全局 vs 局部）映射到具体的记忆擦除与更新规则上，为可交互视频世界模型提供了严密的状态转换规范。
可迁移的混合模态参考引导生成范式：通过冻结的上下文分支与相对位置编码，同时接纳变长、稀疏、跨模态的观测作为去噪参考，这一架构可无缝泛化至具身智能仿真环境与交互式游戏生成。

局限与展望¶

依赖外部单目深度估计的精度：推理阶段深度记忆完全由单目深度预测器（Video Depth Anything）动态生成，在复杂半透明、强反射或极端暗光场景下若深度估计出现严重几何漂移，可能会被错误写入几何记忆并在后续视点中放大误差。
复杂动态物体的几何演变建模不足：当前设计主要假设场景背景或未编辑区域为刚性三维几何，对于包含复杂铰接动作、非刚性流体变形的动态场景，单纯依赖刚性视锥相交的记忆剔除与深度检索机制仍显粗糙。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出将空间上下文解耦为外观与几何双记忆库以解决跨编辑长视频一致性问题，设计十分精巧。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖自建 UE-Mem 长程数据集、两阶段训练、全局/局部双重编辑定量指标与消融分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，图表清晰，方法动机与公式符号定义一致流畅。
价值: ⭐⭐⭐⭐⭐ 为交互式视频世界模型和可控视频生成向长程连贯、支持交互编辑的方向演进提供了极具启发性的技术路径。