Memory-V2V: Memory-Augmented Video-to-Video Diffusion for Consistent Multi-Turn Editing¶
会议: ECCV2026
论文: ECCV 原文
项目: Memory-V2V
领域: 视频生成
关键词: 多轮视频编辑、跨轮一致性、外部记忆、动态 token 化、自适应 token 合并
一句话总结¶
Memory-V2V 将历史编辑视频作为可检索、可压缩的视觉约束接入视频扩散模型，在三轮新视角合成中将平均 MEt3R 从 ReCam 独立生成的 0.1892 降至 0.1357，并支持跨片段保持外观的长视频编辑。
研究背景与动机¶
单轮视频编辑已经能响应相机轨迹或文字指令，但真实创作往往不是一次生成就结束。 例如，同一个动态场景先向左平移观察，再绕到另一侧，最后回到已看过的区域，用户会期待模型补出的背景仍然是同一个背景。 ReCamMaster 每轮都只根据原视频重新生成时，原视频之外的区域没有共同约束，因此各轮都可能合理，却互相矛盾。 将上轮输出直接作为下一轮输入也不充分：它只能携带最近一次生成的信息，还可能把误差连续传下去。
长视频编辑暴露了同类问题：LucyEdit 可以把短片段里的苹果改成橙子，但把长视频切段独立编辑后，各段可能出现外观不同的橙子。 这里要保持的是先前编辑选择，而不只是相邻帧运动平滑；相关记忆可能来自较早片段或相机重访的位置。 已有长视频记忆方法多围绕连续时间流组织上下文，而本文每一轮都是一次独立去噪，记忆的选择不能只看时间邻近。 直接拼接全部历史又会迅速增大注意力开销，并把无关视角、重复画面一起送入模型。
本文因而保留原始输入作为当前编辑依据，同时从历史中寻找与本轮真正相关的视觉证据。 检索决定“看哪些历史视频”，动态 token 化决定“每个视频保留多少空间细节”，合并则决定“哪些低响应内容可以压缩”。 这不是显式三维重建，也不是保证所有像素相等的硬约束，而是通过训练学会利用历史视觉条件。 核心 idea：把先前生成内容作为按任务检索、按相关性分配容量的外部记忆，让独立去噪的多轮编辑共享已经确定的视觉细节。
方法详解¶
整体框架¶
输入包括当前源视频、相机轨迹或编辑指令，以及先前已生成视频组成的外部缓存。 新视角合成以 ReCamMaster 为底座，长视频编辑以 LucyEdit 为底座，两者共享检索与压缩思路，但检索依据不同。 先经过任务相关检索，再通过动态 token 化分配分辨率，最后在 DiT 内用自适应 token 合并减少冗余。 当前轮去噪得到编辑视频后，将其编码写回记忆，供后续轮次使用。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
INPUT["当前源视频<br/>相机轨迹或指令"] --> RET["任务相关检索"]
CACHE["历史编辑缓存"] --> RET
RET --> TOK["动态 token 化"]
TOK --> MERGE["自适应 token 合并"]
MERGE --> OUT["完成本轮去噪<br/>输出编辑视频"]
INPUT --> OUT
OUT -->|编码并写回| CACHE图中实线描述推理时的数据流；目标视频扩展属于训练数据构建，不是推理时必需的额外生成分支。 缓存存放 VAE 编码后的视频潜变量，而不是要求不断拼接此前所有轮次的完整注意力状态。 原文将潜变量形状写作 \(F\times H\times W\times C\)，分别对应潜在时间、空间和通道维度。 这些潜在维度不应直接等同于原始视频帧数或像素尺寸。
关键设计¶
1. 任务相关检索：找到本轮需要遵守的历史编辑
新视角任务在每轮结束后，将输出潜变量与其相机轨迹一起存入缓存。 下一轮并不优先取最近的视频，而是比较目标相机轨迹与历史轨迹的视场覆盖，选出相关度最高的 top-k 视频。 VideoFOV 在目标轨迹的第一个相机位置放置单位球，并均匀采样 64,800 个方向。 对轨迹中的每一帧，将采样点变换到相机坐标系，只把深度为正且投影落在图像边界内的点计为可见。 所有帧可见集合的并集形成该视频的视场覆盖表示，因此比较对象是整段轨迹，不是某一张关键帧。 两个互补分数分别考虑覆盖集合的交并比，以及交集对目标覆盖集合的覆盖比例；后者强调历史是否包含当前要看的区域。 原文以权重参数 \(\lambda=0.5\) 组合它们后排序；缓存中的公式排版损坏，这里不补写无法逐符号核实的精确表达式。
这种检索能找回较早轮次曾生成的视野，为重访区域提供视觉参照，但视场重叠仍是几何代理，不等价于处理遮挡的完整三维可见性。 长视频编辑没有可靠的相机轨迹，而且多个片段可能共享相同的文字指令，直接按文本相似度难以区分哪段历史最相关。 因此模型维护源片段与已编辑片段的对应关系，用 DINO 特征比较当前源片段与历史源片段，再取回相应的已编辑视频潜变量。 检索依据来自编辑前的视觉内容，真正注入生成器的参照来自编辑后的内容，这个区分很关键。 检索本身是非参数化的；正文将详细相似度聚合和算法放在补充材料，本笔记不假定额外的帧池化规则。 正文也没有给出可统一套用到所有实验的固定 top-k 值，不能把训练抽样数量当作推理检索数量。
2. 动态 token 化：让相关视频得到更细的空间表示
视频级检索仍可能带来大量帧，新视角实验的一段视频含 81 帧，多轮记忆很容易累积到数百帧。 Memory-V2V 不对每个条件视频使用相同精度，而是训练不同压缩尺度的 tokenizer，将检索排名转化为 token 预算。 用户输入使用 \(1\times2\times2\) 压缩尺度，检索结果中最相关的 3 段使用 \(1\times4\times4\)，其余使用 \(1\times8\times8\)。 这里的三个数对应时间与两个空间维度，所以该阶段主要调节空间粒度，而不是按这个尺度直接丢掉时间帧。 相同潜在分辨率下，较大的空间块会生成更少的 token，让低相关历史保留粗结构而不占用同等注意力容量。 最精细的预算留给用户输入，避免当前源视频在大量历史记忆中反而被过度压缩。
它与只截断历史长度不同：历史是否入选由检索决定，入选后的表示精度再由相关性分层控制。 这也解释了为什么仅“把过去视频加进去”还不够，完整视频记忆需要同时解决选择与表示成本。 tokenizer 是学习得到的模块，不是推理时临时改变图像尺寸就能替代的无训练预处理。 训练时交替使用单一尺度和混合尺度，目的在于避免某个尺度总依赖另一个尺度传来的细节。
3. 自适应 token 合并：保留低响应信息，而不是直接删除
经过动态 token 化，序列依然可能很长，DiT 自注意力的二次复杂度仍然是主要负担。 模型先在每帧内部对 key 特征做空间平均，以较便宜的帧级代表估计该帧对当前目标生成的响应。 对应原文式 (4)，令 \(\mathcal{I}_t\) 表示帧 \(t\) 的 token 索引集合，则帧级 key 为：
随后以目标 query 对这些帧级 key 的缩放注意力响应为依据，取目标 query 范围内的最大响应衡量一帧的重要性。 最大值使“至少有一个目标位置非常需要此帧”的历史仍可保留，不会被大量无关位置的平均响应淹没。 高响应帧保留细粒度表示，低响应帧则经过可学习卷积算子，将原 token 融合为更紧凑的表示。 历史较多时采用更强压缩；这里压的是低响应信息的表示容量，而不是宣布它完全无用。 图 7 的定性消融显示，处理高响应 token 会破坏重叠新视角区域的一致性，直接丢弃低响应 token 也会带来细节与运动伪影。
合并时机同样重要：过早的注意力尚未稳定，被判断为不重要的帧可能在后续层变得关键。 作者分析 30 个 DiT block，表 1 中第 1 层与后续层的 Pearson 相关为 \(0.608\pm0.137\)，第 21 层与后续层为 \(0.753\pm0.144\)。 据此在第 10 和第 20 个 block 应用合并，而不是一开始就强力压缩所有条件。 这些相关性支持中后层决策更稳定，但不构成“合并不会丢信息”的理论保证。 原文式 (5) 的抽取存在缺损；式 (6) 的 \(N_t/r\) 写法与训练段报告的 \(r\in[0.3,0.7]\) 也存在约定疑点，因此不据此推算精确保留 token 数。
一个完整示例¶
以论文图 1 和图 5 的“把苹果改成橙子”为例，一段超过 200 帧的视频无法直接塞入约 81 帧的基础编辑窗口。 模型先把源视频切成可处理的短段；第一段完成编辑后，其输出成为历史记忆中的视觉样本。 后续片段出现同一个水果时，用源片段的 DINO 特征寻找相关历史，再取回那次生成的橙子视频作为条件。 动态 token 化为最相关片段保留较多空间细节，自适应合并则压缩当前生成很少关注的记忆帧。 当前片段仍根据自己的源视频和指令独立去噪，不是简单复制过去帧，也不是把所有段作为连续噪声流一起生成。 各段编辑后拼接成长视频，目标是让水果身份与外观连贯，同时保留各段原有动作和背景。 这说明记忆负责约束“应保持什么”，而源视频负责提供“本段发生什么”；示例不额外假定未报告的重叠窗口或拼接算法。
损失函数 / 训练策略¶
新视角分支使用每场景包含 10 段同步相机视频的合成多视角数据，每次训练随机选取 1–6 段作为记忆。 微调内容包括底座自注意力层、MLP projector、相机编码器，以及新增的 tokenizer 和压缩器。 训练有 50% 的时间只使用一种 tokenizer，另 50% 混合使用多种尺度，以便各尺度都学会提供有效条件。 自适应 token 合并以 50% 概率启用，正文报告随机压缩参数范围为 \([0.3,0.7]\)，其与式 (6) 的符号约定应以实现核实。 长视频分支使用从 Señorita-2M 筛出的 56K 样本，每个原始样本包含指令、源视频与目标视频。 作者只用现成视频扩展模型延长目标视频，将扩展片段用作训练记忆，因此不需要获取真实的长源视频与长目标视频配对。 这种增强教模型在当前短源片段之外还有目标侧视觉历史时进行编辑，但扩展视频本身可能带有生成偏差。 两个分支均使用 rectified flow matching 损失，在 32 张 A100 上以总 batch size 32 训练，约 1–2K 微调步达到稳定收敛。 本文的新增重点是条件组织与压缩机制，不能把它描述成无需训练的检索插件，也不应虚构额外的跨轮一致性损失。
实验关键数据¶
主实验¶
新视角实验使用 40 段公开视频，每段进行 3 轮具有较高视野重叠的相机轨迹生成；下表摘自原文表 2，第 11 页。 MEt3R 衡量跨视角几何一致性，越低越好；平均分汇总第 1–2、1–3、2–3 轮的配对比较。 RotErr 与 TransErr 也越低越好，表格没有明确单位，这里不自行标成角度或距离单位。
| 方法 | 平均 MEt3R | 第 1–3 轮 MEt3R | RotErr | TransErr |
|---|---|---|---|---|
| TrajCrafter | 0.1818 | 0.2110 | 3.66 | 57.44 |
| ReCam (Ind) | 0.1892 | 0.1982 | 1.97 | 24.23 |
| ReCam (AR) | 0.1485 | 0.1985 | 未报告 | 未报告 |
| Memory-V2V | 0.1357 | 0.1525 | 1.65 | 13.47 |
ReCam (Ind) 每轮使用同一原输入，ReCam (AR) 则把上轮输出作为下一轮输入。 Memory-V2V 的平均 MEt3R 比 ReCam (Ind) 低 0.0535；跨第 1–3 轮的结果也优于 ReCam (AR)，说明收益不只来自相邻轮条件传递。 不过表 2 中第 2–3 轮 MEt3R 为 0.1379，仍高于 ReCam (AR) 的 0.1290，不能宣称每个轮次对都最优。
长视频评测使用 Señorita 测试集的 50 段视频；下表摘录原文表 3，第 11 页的代表方法与指标，所有列按论文表头均为越高越好。 主体一致性和画质来自 VBench；DINO-F、CLIP-F 是跨帧特征相似度，不应直接当成指令执行成功率。
| 方法 | 主体一致性 | 画质 | DINO-F | CLIP-F |
|---|---|---|---|---|
| LucyEdit (Ind) | 0.8683 | 0.6429 | 0.6856 | 0.8225 |
| LucyEdit (FIFO) | 0.8737 | 0.5598 | 0.6784 | 0.8198 |
| FlowEdit | 0.9027 | 0.6433 | 0.8612 | 0.8943 |
| DynVFX | 0.9119 | 0.6666 | 0.8387 | 0.8682 |
| Memory-V2V | 0.9326 | 0.6759 | 0.8019 | 0.8741 |
本文主体一致性与画质优于这些对照，但 FlowEdit 的 DINO-F 和 CLIP-F 更高，DynVFX 的 DINO-F 也更高。 第 13 页“各指标均优于基线”的概括与表 3 不完全一致，应以逐列数值为准；原文也提醒高相似度可能来自编辑不足。
消融实验¶
下表摘自原文表 4，第 12 页；各增量项均以“仅动态 token 化”为基准，“完整模型”同时使用检索和合并。 正文未在该表附近完整列明计时硬件与记忆规模，因此只能在该消融内部比较时间，不应与表 2 的分数直接拼成同一协议。
| 配置 | 时间 / 秒 | MEt3R（低优） | 主体一致性（高优） | 画质（高优） |
|---|---|---|---|---|
| 仅动态 token 化 | 980.80 | 0.2234 | 0.9368 | 0.7307 |
| 加视频检索 | 965.95 | 0.2169 | 0.9338 | 0.7288 |
| 加自适应 token 合并 | 661.31 | 0.2344 | 0.9361 | 0.7287 |
| 完整模型 | 648.5 | 0.2208 | 0.9351 | 0.7300 |
关键发现¶
- 完整模型比仅动态 token 化少用 332.30 秒，约节省 33.9%；MEt3R 从 0.2234 变为 0.2208，收益主要是效率而非大幅提高该消融分数。
- 单独加检索得到最低的 0.2169，加入合并后的完整模型为 0.2208，显示压缩存在细微质量取舍。
- 第 15 页图 9 的文字报告相对朴素上下文扩展减少超过 90% 的 FLOPs 与延迟，合并额外减少约 30%；这些是作者图示结论，不是独立复测结果。
亮点与洞察¶
- 将“跨轮一致性”与“段内时间连续性”分开建模很有价值。历史选择以任务相关性而非生成顺序为中心，适合重访视角与反复出现的对象。
- 长视频分支用源片段检索、用目标片段约束，避免相同指令下文本检索失去区分度。该设计也让源内容匹配和编辑外观记忆各司其职。
- 低响应不等于无用，合并比删除更符合视觉生成需求。细节、结构和运动可能依赖一些当前注意力不高的历史条件。
局限与展望¶
- 作者明确承认仍受底座限制，例如大幅视角变化；外部记忆不能凭空修复基础生成器没有学会的能力。
- 训练仅覆盖连续单镜头视频，突然转场的多镜头长视频可能失败。镜头边界检测与按场景管理记忆是合理后续方向，但本文未验证。
- 读者分析：40 段与 50 段的测试规模，以及主要三轮定量评测，不足以证明无限轮次稳定；错误历史被反复利用的风险也值得单独测量。
- 抽取与复现边界：未取得补充算法和代码核验，FOV、响应公式部分损坏，压缩参数约定有疑点；不能据正文还原所有检索、合并和计时细节。
相关工作与启发¶
- vs ReCamMaster：底座完成相机可控的单轮生成，本文增加原输入之外的可选择视觉历史。自回归链只照顾最近输出，检索可以覆盖更早的重访区域。
- vs LucyEdit 与 FIFO-Diffusion：本文仍按短片段独立去噪，通过历史条件保持外观；FIFO 式时间噪声调度并不等于显式记住某次编辑的对象身份。
- vs TokenFlow、RAVE 与长视频记忆生成：前两者依靠跨帧特征传播或噪声组织，记忆生成工作多服务于连续生成；本文聚焦独立编辑轮次之间的条件一致性。
- 可延伸思路：给历史编辑加入质量或冲突置信度，在新指令要求改变旧属性时选择性解除旧约束。这是读者提出的研究方向，不是本文已有能力。
评分¶
- 新颖性: 4/5。任务相关记忆与两级压缩的组合切中了多轮编辑的实际问题。
- 实验充分度: 4/5。覆盖两个任务、多基线和组件消融，但长轮次、转场与错误记忆验证不足。
- 写作质量: 4/5。机制主线清楚，但表述与部分表格排名、压缩参数约定需谨慎核对。
- 价值: 4/5。适合作为已有视频编辑底座的跨轮一致性改造方案，而非通用无训练插件。