Transforming Image Editors into Video Editors¶

会议: NeurIPS 2026
arXiv: 2610.11037
代码: https://github.com/wangf3014/AVE
领域: 视频生成
关键词: 视频编辑、图像到视频、关键帧插值、轻量化运动编码器、锚点扩散

一句话总结¶

本文提出基于锚点的视频编辑范式 AVE，将视频编辑显式解耦为关键帧图像编辑与运动引导的时序插值两阶段，仅需训练轻量化运动编码器即可直接继承强图像编辑器的语义能力。

研究背景与动机¶

现代图像编辑系统在多模态大模型与大规模扩散先验的推动下，已经展现出极高的视觉保真度、细粒度语义理解以及精准的文本指令遵循能力。相比之下，主流视频编辑模型在生成质量、时序一致性和复杂指令遵循上仍有显著差距。这种滞后的核心技术症结在于：视频编辑模型必须同时应对跨时空长上下文建模与复杂的运动演化，这不仅导致端到端模型训练成本极其高昂，而且高质量、运动多样且指令严格对齐的视频编辑三元组数据采集极难。

面对这一挑战，现有视频编辑范式陷入了两难困境。一方面，单帧独立编辑策略（Per-frame editing）虽然能直接借助现有图像编辑器的强大能力，但由于缺乏帧间约束，会产生严重的画面闪烁、内容漂移和时序不连贯；另一方面，以 VACE、Ditto 等为代表的端到端视频编辑模型试图在一个庞大的网络中同时解决二维语义编辑与三维时空运动迁移，不仅算力消耗巨大，其生成画面的指令遵循精度还往往被运动平滑性稀释。深入分析可以发现，视频编辑任务虽然在形式上表现为 3D 视频到视频的生成，但其最本质的技术难点仍是底层的 2D 图像语义编辑，而原视频的动态运动信息完全可以通过极低成本的条件约束来实现复用。

本文的切入视角是破除对“端到端全量视频编辑模型”的单体依赖，通过模块化解耦把最难的语义编辑交给最成熟的图像编辑器，而让视频扩散模型专注于它最擅长的时序平滑与运动内插。核心 idea：将指令引导的视频编辑显式解耦为「组合关键帧编辑」与「运动引导的关键帧插值」两阶段，通过锚点钳位机制锁定编辑语义，配合仅占骨干 5% 参数的轻量化运动编码器实现低成本、高质量的视频编辑迁移。

方法详解¶

整体框架¶

AVE（Anchor-based Video Editing）的整体处理流程由输入源视频 \(V=\{x_t\}_{t=1}^T\) 和文本编辑指令 \(y\) 开始，目标是生成兼顾精准指令执行与原始运动动态的时序一致视频 \(\hat{V}=\{\hat{x}_t\}_{t=1}^T\)。整个框架划分为两个完全解耦的阶段：第一阶段（Composed Image Editing）从源视频中抽取稀疏关键帧集合 \(\mathbf{x}_{\mathcal{A}}\)，调用图像编辑器进行多帧协同编辑得到编辑后锚点 \(\hat{\mathbf{x}}_{\mathcal{A}}\)；第二阶段（Keyframe Interpolation）利用基于 Wan2.2-I2V-A14B 的预训练视频扩散模型，将编辑后的关键帧作为冻结锚点，在轻量化运动编码器提取的运动特征引导下补全所有中间过渡帧。

两阶段之间仅以编辑后的关键帧隐空间表征作为交互界面，实现了模型能力上的完全正交解耦。整体数据流与处理管线如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入源视频与编辑指令<br/>V, y"] --> B["场景感知关键帧抽取<br/>PySceneDetect + 最大间距"]
    B --> C["组合关键帧图像编辑<br/>多帧协同一致性编辑"]
    A --> D["轻量化运动编码器<br/>6层因式分解空时 Transformer"]
    C --> E["锚点保真扩散插值<br/>反向去噪全程隐空间锚点钳位"]
    D -->|注入 ControlNet 残差分支| E
    E --> F["3D VAE 解码输出目标视频<br/>保真时序连贯编辑结果"]

关键设计¶

1. 组合关键帧图像编辑：统一开放与闭源图像编辑器的跨帧语义一致性

直接用标准图像编辑器对抽取的单张关键帧分别独立编辑，极易导致同一主体在不同帧间出现外观细节、色彩风格和身份特征的随机漂移。为保证关键帧之间的长程语义一致性，AVE 针对开放权重与商业闭源两种场景设计了统一的组合编辑策略：

在开源模型实现上，作者基于 BAGEL 多模态扩散模型进行适配微调。利用约 150 万个由视频编辑数据抽取的关键帧对齐元组 \((\mathbf{x}_{\mathcal{A}}, y, \mathbf{x}^{\star}_{\mathcal{A}})\)，将同一时间戳对应的多帧隐编码 \(\mathbf{z}^{\star}_{\mathcal{A}}\) 拼接送入去噪网络，采用标准扩散去噪损失联合训练，迫使图像编辑器隐式学会跨视图/跨时刻的主体一致性建模：

\[ \mathcal{L}_{\text{img}}=\mathbb{E}_{\mathbf{z}^{\star}_{\mathcal{A}},\,\epsilon,\,\tau}\left[\left\|\epsilon-\epsilon_{\phi}\!\left(\alpha_{\tau}\mathbf{z}^{\star}_{\mathcal{A}}+\sigma_{\tau}\epsilon,\;\mathbf{z}_{\mathcal{A}},\;y,\;\tau\right)\right\|_{2}^{2}\right] \]

而在商业闭源 API（如 Nano Banana 2 或 GPT-5.1）的落地中，AVE 巧妙利用其多轮对话会话机制，在单次连续会话内依次输入所有待编辑关键帧。利用大模型原生上下文注意力对多图上下文的自然记忆，有效锚定主体身份与编辑风格，免除了复杂的外部微调。

2. 轻量化因式分解运动编码器：低开销提取源视频运动动态

视频模型在第二阶段的核心任务是“保留原始动态轨迹”，而非重新想象物体的运动模式。为了以极小代价捕捉源视频的时空几何流动，AVE 冻结了 Wan2.2-I2V-A14B 的全部 3D VAE 编解码器与扩散 Transformer（DiT）骨干，仅引入一个参数量为 710M（仅约占骨干网络 5%）的轻量化运动编码器 \(\mathcal{M}_\theta\)。

编码器首先将源视频经过 3D VAE 编码后的潜变量张量 \(Z \in \mathbb{R}^{T \times H \times W \times C}\) 线性投影并叠加入时间与空间位置编码，得到初始标记 \(U^{(0)}\)。随后通过堆叠 6 层因式分解的时空 Transformer 进行处理。在第 \(\ell\) 层中，特征首先在帧内执行空间自注意力，随后沿时间轴对同坐标点执行时序自注意力，最后通过 MLP 变换：

\[ \tilde{U}^{(\ell)}_{t,:,:} = U^{(\ell-1)}_{t,:,:} + \mathrm{Attn}_{\text{spatial}}\!\left(\mathrm{LN}(U^{(\ell-1)}_{t,:,:})\right) \]

\[ \bar{U}^{(\ell)}_{:,h,w} = \tilde{U}^{(\ell)}_{:,h,w} + \mathrm{Attn}_{\text{temporal}}\!\left(\mathrm{LN}(\tilde{U}^{(\ell)}_{:,h,w})\right) \]

提取得到的运动特征 \(h_{\text{mot}} = U^{(L_m)}\) 通过类 ControlNet 的残差旁路注入到冻结的 Wan2.2 DiT 层中。这种正交结构使模型在继承 Wan2.2 强大生成先验的同时，被严格约束复用源视频的物体运动与相机轨迹。

3. 锚点保真扩散插值：隐空间反向去噪硬约束与非锚点专属损失

在时序插值生成阶段，如果允许扩散模型对所有帧自由去噪，编辑后的关键帧特征会被随机噪声和交叉注意力机制逐渐平滑或篡改，导致图像编辑阶段确立的精确指令发生退化。AVE 提出了一种严格的“锚点钳位机制”（Anchor Clamping）。

首先定义一个二值锚点掩码 \(M_{\mathcal{A}}\)，当且仅当帧索属于关键帧集合 \(\mathcal{A}\) 时对应位置为 1，其余帧为 0。在反向去噪过程的任意时间步 \(s\)，锚点帧的隐状态均被硬性覆盖为编辑后图像经过 3D VAE 编码的真实特征 \(\hat{Z}_{\mathcal{A}}\)，而仅对非锚点帧应用 DiT 预测的单步步进更新：

\[ X_{s-1} = M_{\mathcal{A}} \odot \hat{Z}_{\mathcal{A}} + (1 - M_{\mathcal{A}}) \odot \tilde{X}_{s-1} \]

为确保模型在训练时与推理行为高度一致，Stage-2 的微调损失被严格限定在非锚点区域，计算目标仅为中间插值帧的去噪均方误差：

\[ \mathcal{L}_{\text{vid}} = \left\|(1 - M_{\mathcal{A}}) \odot (\hat{\epsilon} - \epsilon)\right\|_2^2 \]

该机制强制让视频网络专注于在固定视觉锚点与运动表征双重约束下进行时空流平滑填补，彻底根除了端到端方法中常见的关键帧身份失真与闪烁问题。

4. 场景感知与最大间距关键帧抽样：兼顾语义转折与插值跨度

关键帧的密度和放置位置直接决定了插值的成败。若关键帧抽样过于稀疏，跨镜头切换或大幅度转折处的指令传播会失效；若关键帧过于密集，则会因为 Wan2.2 3D VAE 原生的 \(4\times\) 时序下采样而压缩插值自由度，甚至引发画面抖动。

AVE 提出了一种结合 PySceneDetect 的“场景感知首帧 + 最大间距填充”（Scene-first + max-gap）策略： - 首先利用内容感知算法检测源视频的所有场景切分点，强制将每个独立镜头的首帧以及视频末帧纳入关键帧候选集 \(\mathcal{A}\)； - 随后若关键帧总数未达到预设预算 \(K\)（实验证明最佳预算约为 \(K \approx \lfloor T / 24 \rfloor\)），则在当前相邻关键帧间隔最大的时序区间中点贪心补选关键帧，直到填满预算。这一策略确保了语义突变处必有锚点把关，平滑区间内的时空跨度均匀可控。

损失函数 / 训练策略¶

Stage-2 训练仅微调轻量化运动编码器与 ControlNet 侧枝参数，Wan2.2 骨干网络（3D VAE 与 DiT）全量冻结，总可学习参数量仅 710M。训练在 64 张 A100 GPU 上基于 50 万条视频编辑样本开展，采用 AdamW 优化器，基础学习率设为 \(1\times 10^{-4}\)，权重衰减 0.05，\(\beta_1=0.9, \beta_2=0.999\)，配合带有线性预热的余弦退火学习率调度策略，全流程采用混合精度训练。实验表明 50 万条样本已能充分激活运动引导先验，进一步扩大数据规模不会带来额外性能收益。

实验关键数据¶

主实验¶

论文在两个权威视频编辑基准 IVEBench 与 VIE-Bench 上进行了系统评测。在 IVEBench 的长、短视频评测子集中，AVE 展现出全面超越以往端到端视频编辑模型的性能；在包含增、删、换、风格化四类编辑的 VIE-Bench 上，AVE 在多个核心维度甚至优于 Kling-Omni、Runway Gen-4 等前沿商业闭源系统。

模型	总分 (Total)	视频质量 (Quality)	指令遵循 (Ins. Comp.)	视频保真度 (Fidelity)	运动平滑性 (Motion)	语义一致性 (Sem. Consist.)	内容保真度 (Content)
Ditto (CVPR 2026)	66.75	78.12	49.08	73.04	78.99	24.92	3.64
InsV2V (ICLR 2024)	66.68	79.58	38.61	81.85	85.55	24.11	4.05
Lucy-Edit-Dev (2025)	63.53	82.09	33.94	74.55	67.79	23.83	3.83
VACE (ICCV 2025)	62.61	79.83	25.42	82.58	88.59	23.80	4.03
ICVE (2025)	60.33	71.25	45.35	64.37	45.72	22.86	3.55
Omni-Video (2025)	58.65	78.20	43.64	54.11	50.72	21.98	2.85
AnyV2V (TMLR 2024)	57.67	72.71	41.72	58.59	81.59	21.59	2.75
StableV2V (2026)	50.89	69.17	42.67	40.84	75.13	19.78	1.79
AVE (本文方法)	70.58	82.10	49.65	80.01	89.26	26.12	4.10

表 1：IVEBench 短视频子集（Short Subset）综合定量对比。AVE 在总分、生成质量、指令遵循、运动平滑与语义一致性等关键维度全面取得最优成绩。

在 VIE-Bench 上的四类细分任务与核心指标评测如下表所示（满分 10 分制）：

方法	添加 (Add)	替换 (Swap)	移除 (Remove)	风格 (Style)	指令遵循 (Ins. Follow)	运动保留 (Pres.)	视频质量 (Quality)
Kling1.6	6.602	8.800	8.253	-	7.813	8.697	7.143
Kling-Omni (闭源商业)	9.181	9.194	9.133	9.341	9.518	9.346	8.751
Runway Gen-4 (闭源商业)	8.447	9.161	8.504	9.133	9.109	8.972	8.354
InsV2V	4.281	5.567	2.098	7.452	4.475	6.043	4.033
VACE	4.854	6.640	2.682	-	3.974	6.042	4.162
UniVideo	8.656	8.683	8.233	8.711	8.708	8.963	8.042
InstructX	8.349	9.072	8.322	9.196	9.059	8.905	8.241
SAMA	8.711	9.340	9.144	9.259	9.344	9.370	8.626
AVE (本文方法)	9.054	9.448	9.352	9.203	9.539	9.425	8.630

表 2：VIE-Bench 多类别细分评测结果。AVE 在主体替换（Swap）与物体移除（Remove）上获得最佳评分，在指令遵循（9.539）与原始动态保留（9.425）平均指标上登顶。

消融实验¶

消融实验在 IVEBench 长视频子集上展开，考察了不同图像编辑器底座对视频编辑最终质量的影响，以及关键帧抽样算法与密度的敏感性。

Stage-1 图像编辑器底座	总分 (Total)	视频质量 (Quality)	指令遵循 (Ins. Comp.)	视频保真度 (Fidelity)	运动平滑性 (Motion)	语义一致性 (Sem. Consist.)	内容保真度 (Content)
Nano Banana 2 (默认)	68.75	82.15	48.31	75.79	88.95	24.68	4.16
GPT-5.1	68.10	81.43	47.11	75.76	88.74	24.10	4.02
Seedream 4.0	67.59	80.36	46.67	75.74	88.61	23.83	3.85
BAGEL (微调多图版本)	66.07	79.38	43.06	75.78	88.10	21.96	3.83
BAGEL (基础开源版本)	58.54	68.12	37.84	69.66	77.21	20.34	3.42

表 3：IVEBench-long 上的第一阶段图像编辑器消融。表明视频编辑质量与底层图像编辑器的能力严格强正相关，而运动保持分数（Motion）在不同图像编辑器下始终高度稳定。

采样策略	关键帧预算	总分 (Total)	视频质量 (Quality)	指令遵循 (Ins. Comp.)	视频保真度 (Fidelity)	运动平滑性 (Motion)
均匀采样 (Uniform)	2	66.85	79.58	46.02	74.96	87.42
均匀采样 (Uniform)	\(\lfloor T / 24 \rfloor\)	68.21	81.69	47.86	75.09	88.71
场景感知 + 最大间距 (本文)	2	67.28	79.93	46.48	75.44	87.67
场景感知 + 最大间距 (本文)	\(\lfloor T / 48 \rfloor\)	68.09	81.16	47.56	75.55	88.46
场景感知 + 最大间距 (本文)	\(\lfloor T / 24 \rfloor\)	68.75	82.15	48.31	75.79	88.95
场景感知 + 最大间距 (本文)	\(\lfloor T / 12 \rfloor\)	68.34	81.61	47.83	75.59	88.54

表 4：关键帧采样策略与抽样密度预算消融。中等密度 \(\lfloor T / 24 \rfloor\) 搭配场景感知在捕捉转折与插值平滑间取得最佳平衡。

关键发现¶

图像编辑能力直接决定视频编辑上限：消融表明，更换更强的图像编辑器几乎线性地提升视频编辑的指令遵循（从 37.84 提升至 48.31）和语义一致性（从 20.34 提升至 24.68），而运动评分几乎不受影响。这实证支持了作者的核心洞察——视频编辑的本质瓶颈在 2D 语义图像编辑。
轻量化训练即可完美激活视频插值先验：仅训练 710M 运动模块并使用 50 万条样本，AVE 就能取得接近 90 分的极高运动连续性分数，证明无需对视频 DiT 骨干进行全量破坏性微调。
关键帧密度存在最优点：关键帧预算设为 \(\lfloor T / 24 \rfloor\) 时效果最佳。过稀疏（如仅 2 帧）会导致长程内容漂移，而过密集（如 \(\lfloor T / 12 \rfloor\)）会挤压 3D VAE 时序下采样潜在插值空间，反而使画质轻微下降。

亮点与洞察¶

解耦思想的彻底贯彻：跳出单体端到端大模型叙事，将“最难的语义编辑”交给演进最快的图像生态，将“时序连贯”交给预训练 I2V 扩散先验。这一架构让视频编辑可以无缝、零成本地坐享图像基座模型的更新红利。
反向去噪中的硬性锚点钳位机制：不使用软性的引导项（Guidance）或交叉注意力衰减，直接在每个时间步强制把潜变量锚点帧替换为原始编辑编码，彻底锁死关键视觉语义，避免了迭代漂移。
极高的数据与算力性价比：相较于动辄需要数百万小时 GPU 训练的端到端框架，AVE 仅需 50 万对视频数据、64 张 A100 GPU 训练轻量运动分支即可收敛，为学术界和中小型团队研发视频编辑提供了普惠范式。

局限与展望¶

极度依赖图像编辑器的跨帧一致性：若图像编辑器在多轮对话中对细微光照、微小视差理解失误，关键帧之间的视觉冲突会被 Stage-2 的运动插值放大为局部扭曲或伪影。
大幅度非刚性拓扑剧烈变化受限：对于需要彻底重构原视频运动拓扑（例如“将奔跑的狗变成展翅飞翔的雄鹰”）的场景，源视频运动特征提取会与目标物体的运动规律发生冲突。
多阶段串行带来的延迟开销：两阶段方案需要先串行调用图像模型的多轮生成，再执行多步视频去噪，整体推理吞吐相较于单步前向模型存在一定短板。

评分¶

新颖性: ⭐⭐⭐⭐ [跳出端到端内卷，提出务实且高度可扩展的锚点插值解耦范式]
实验充分度: ⭐⭐⭐⭐⭐ [跨短/长视频、细分操作类别、不同底座消融及关键帧预算均进行了严谨量化评测]
写作质量: ⭐⭐⭐⭐⭐ [论证逻辑环环相扣，问题定位一针见血，方法推导清晰明了]
价值: ⭐⭐⭐⭐⭐ [为视频生成与编辑领域提供了一条无需昂贵全量训练、可直接继承图像基座红利的工业级可行路线]