VINCIE-NExT: Unlocking Video Editing from Images via In-Context Modeling¶

会议: NeurIPS 2026
arXiv: 2610.12104
论文: https://arxiv.org/abs/2610.12104
项目主页: https://vincie-next.github.io/
领域: 视频生成
关键词: 视频编辑, 上下文学习, 扩散模型, 旋转位置编码, 链式编辑

一句话总结¶

提出 VINCIE-NExT 框架，将视频编辑分解为“视频→图像→图像→视频”子任务链，借助上下文视觉示例将成熟图像编辑先验无缝迁移到视频，并结合时序双频 3D 旋转位置编码与两阶段链式推理实现高保真时序一致编辑。

研究背景与动机¶

构建高性能的视频编辑模型远比单纯的视频生成困难。根本瓶颈在于配对训练数据的极端匮乏：视频生成仅需大规模弱监督的原始视频-文本对即可训练，而指令驱动的视频编辑则必须依赖“源视频、编辑指令、目标视频”三元组，此类数据人工标注代价高昂且难以高质量规模化合成。现有方法要么通过光流变形、深度估计等复杂多阶段流水线机械合成配对数据，容易累积多组件级联误差；要么在测试时对各帧独立应用预训练图像编辑器，因缺乏跨帧上下文建模而引发严重的画面闪烁与时序不一致。

与之形成鲜明对比的是，图像编辑领域已高度成熟，拥有数以百万计覆盖风格迁移、物体增删、背景替换的多样化高质量编辑三元组。更重要的是，一对“原图-编辑图”视觉对天然构成了外观变换的视觉范例。如果生成模型能够直接利用这种图像编辑对作为上下文证据，就能将成熟的图像编辑能力泛化至连续视频序列，从而从根本上摆脱对大规模配对视频编辑数据的沉重依赖。

为此，本文不再将图像编辑和视频生成割裂为独立模型或单帧流水线，而是将视频编辑系统性分解为结构化的“视频→图像→图像→视频”子任务链，并在统一的扩散骨干网络中联合建模图文视错位交织序列。核心 idea：将视频编辑解耦为子任务链并通过上下文视觉示例路由编辑意图，利用时序双频 3D 旋转位置编码在单次前向扩散中像素级对齐跨视角补丁，实现图像编辑先验向时序一致视频的高保真无缝迁移。

方法详解¶

整体框架¶

VINCIE-NExT 将指令视频编辑任务解耦为可组合的子任务链：$\text{Video} \to \text{Image} \to \text{Image} \to \text{Video}$。系统输入为源视频 $\mathbf{V}^s$ 与自然语言编辑指令 $c$。首先，模型从源视频中抽取具有语义代表性的关键帧 $\mathbf{I}^s$（如时间维度的中间帧），将全局编辑意图锚定在单一空间参考系；接着，在成熟图像编辑先验的指引下将指令 $c$ 施加于关键帧，生成编辑后的目标图像 $\mathbf{I}^t$；最后，以 $(\mathbf{I}^s, \mathbf{I}^t)$ 构成的图生图编辑对作为上下文视觉示例，连同源视频的时序结构与动作动态共同约束条件，生成满足指令且在全序列中保持时序一致的目标视频 $\mathbf{V}^t$。

整个系统基于统一的 3B 多模态扩散 Transformer（MM-DiT）骨干网络与视频 VAE 隐空间构建，图生图与图生视阶段共享单一权重。在推理时，方法采用两阶段的链式编辑（Chain-of-Editing, CoE）范式，直接在潜空间复用第一阶段生成的编辑关键帧潜变量，避免解码重编码引入的信息损失，并支持灵活扩展测试时计算。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["源视频与文本编辑指令<br/>输入 V_s 与指令 c"] --> B["子任务链式分解与统一表示<br/>抽取关键帧 I_s 并构建交织序列"]
    B --> C["时序双频3D旋转位置编码<br/>解耦跨镜头因果与同空间像素对应"]
    C --> D["两阶段链式编辑推理<br/>Stage 1 生成 I_t 潜变量，Stage 2 引导时序生成"]
    D --> E["视频上下文图像编辑数据增强<br/>多源异构数据联合流匹配训练"]
    E --> F["输出时序一致编辑视频 V_t"]

关键设计¶

1. 子任务链式分解与统一表示：将视频编辑意图路由至图像域

传统视频编辑直接联合建模后验概率 $p(\mathbf{V}^t \mid \mathbf{V}^s, c)$，要求网络在单一扩散过程中同时解决高层语义理解、精细外观编辑与跨帧时序连贯性，对高成本视频配对数据极度敏感。本文将该联合分布因式分解为三段独立的生成链条： $$p(\mathbf{I}^s, \mathbf{I}^t, \mathbf{V}^t \mid \mathbf{V}^s, c) = p(\mathbf{I}^s \mid \mathbf{V}^s, c) \cdot p(\mathbf{I}^t \mid \mathbf{I}^s, \mathbf{V}^s, c) \cdot p(\mathbf{V}^t \mid \mathbf{I}^t, \mathbf{I}^s, \mathbf{V}^s, c)$$ 在统一表征上，所有模态通过统一的 3D 视频 VAE（空间压缩 8 倍、时间压缩 4 倍）映射到连续潜空间，并与各自文本提示词拼接展开为交织长 token 序列： $$\mathbf{x} = \bigl[c_1, \mathcal{E}(\mathbf{V}^s), c_2, \mathcal{E}(\mathbf{I}^s), c_3, \mathcal{E}(\mathbf{I}^t), c_4, \mathcal{E}(\mathbf{V}^t)\bigr]$$ 当扩散模型对目标视频片段 $\mathcal{E}(\mathbf{V}^t)$ 进行去噪时，前置的图像对 $(\mathcal{E}(\mathbf{I}^s), \mathcal{E}(\mathbf{I}^t))$ 自动充当像素级外观蓝图。这种设计使得模型能够灵活使用任意子序列片段作为自包含的训练样本，实现从纯图编辑（I2I）、视频对应（V2I）、图生视频（I2V）到完整链条的异构统一联合训练。

2. 时序双频3D旋转位置编码（TDF3D-RoPE）：兼顾镜头因果隔离与像素级空间对齐

在图文视频混合的长序列注意力中，不同视觉片段具有双重矛盾的定位需求：一方面，模型必须区分不同镜头（如源帧 $\mathbf{I}^s$ 与目标帧 $\mathbf{I}^t$），维持时序与自回归因果边界；另一方面，为了像素级准确地将外观编辑迁移至生成视频，源图像与目标图像相同空间坐标的补丁必须显式建立无偏差的空间对应。为此，本文设计了 TDF3D-RoPE，将每个 token 的位置编码拆解为跨镜头分量 $\mathbf{p}_{\mathrm{inter}}$ 与镜头内分量 $\mathbf{p}_{\mathrm{intra}}$： $$\mathbf{p}_{\mathrm{inter}} = (\tau_k + t_i, \tau_k + h, \tau_k + w), \quad \mathbf{p}_{\mathrm{intra}} = (t_i, h, w)$$ 其中 $\tau_k$ 为第 $k$ 个镜头的全局累积偏移量。利用旋转位置编码在频域的加法特性，最终位置变换采用频率求和矩阵 $\mathbf{p}_{\mathrm{inter}} + \mathbf{p}_{\mathrm{intra}}$。在镜头内分量中，所有视图片段在相同空间网格 $(h, w)$ 处的相对空间距离严格为 0，消除了因序列先后顺序带来的伪相关，使自注意力能够在对应语义区域完全基于纯内容特征进行外观传递。此外，训练时对图像片段注入时间位置随机化（Temporal Position Randomization, TPR），将静态图像的时序索引从固定的 0 替换为区间内随机均匀采样 $\tilde{t} \sim \mathcal{U}[0, T_{\max}]$，彻底阻断网络将时间轴特定位置作为模态标识符的捷径，迫使注意力机制扎根于纯粹的空间视觉内容。

3. 两阶段链式编辑推理（Chain-of-Editing, CoE）：潜空间复用与可扩展测试时计算

推理阶段将因式分解结构显式实例化为串行的两步扩散采样流程。在 Stage 1（图像编辑，$\text{V}\to\text{I}\to\text{I}$）中，组装包含源视频 $\mathbf{V}^s$、抽取关键帧 $\mathbf{I}^s$ 及待去噪目标图像槽位的 3 镜头上下文，在单帧独立模式下运行扩散反向去噪，获得去噪后的目标关键帧隐状态 $\hat{z}^t$。在 Stage 2（视频生成，$\text{V}\to\text{I}\to\text{I}\to\text{V}$）中，将源视频、原关键帧、Stage 1 输出的 $\hat{z}^t$ 以及目标视频槽位组装为 4 镜头上下文，切换为时空跨帧注意力联合去噪生成完整视频 $\mathbf{V}^t$。关键在于，$\hat{z}^t$ 直接在潜空间衔接传递，完全规避了 VAE 解码为 RGB 图像再重新编码带来的像素失真与累积重建误差。同时，由于各个子任务解耦为明确的上下文输入，该范式支持免微调的测试时计算扩展（Test-time Scaling）：用户既可以通过增加中间图像阶段的去噪步数提升蓝图质量，也可以即插即用地接入更强大的外部专业图像编辑模型（如 Seedream、Qwen-Image-Edit）替换第一阶段输出，直接将图像生成前沿能力的提升零成本转化为更高质量的视频编辑。

4. 视频上下文图像编辑数据增强（$\text{V}\leftrightarrow\text{I}\leftrightarrow\text{I}$）：摆脱视频配对瓶颈的主动合成机制

针对视频配对编辑数据稀缺的核心瓶颈，本文提出全自动的视频-图像三元组生成流水线。从无标注的原始视频中均匀抽取关键帧，利用 GPT-4o 结合覆盖 13 种编辑类型的细粒度分类树（包含 Remove、Replace、Attribute、Background、Global、Dynamics 等）进行视频内容解析与指令生成，并引入实时频率反馈机制动态修正类别分布，对低频长尾编辑指令进行定向加权采样。随后，调用先进的单帧图像编辑模型 Seedream 4.5 对关键帧执行指令编辑，构筑成包含 $[ \mathcal{E}(\mathbf{V}^s), \mathcal{E}(\mathbf{I}^s), \mathcal{E}(\mathbf{I}^t) ]$ 上下文的伪链条样本。这种构建方式不仅无需昂贵的人工标注与双流视频渲染，更精准对齐了 CoE 第一阶段的输入分布，极大地扩展了开放词表概念与复杂视觉属性的泛化覆盖面。

损失函数 / 训练策略¶

模型在涵盖纯图像编辑对（I2I，OmniEdit 1.20M）、子链式重组视频对（V2V*，OpenVE 2.45M）与自构建三元组（$\text{V}\leftrightarrow\text{I}\leftrightarrow\text{I}$ 1.63M）的混合数据集上联合训练。统一采用流匹配（Flow-Matching）速度预测目标： $$\mathcal{L} = \mathbb{E}_{(x, y) \sim \mathcal{D}, \, \epsilon \sim \mathcal{N}(0, \mathbf{I}), \, \tau \sim \mathrm{LogitNormal}(0, 1)} \bigl\| (\epsilon - y) - \epsilon_\theta(y_\tau, x, \tau) \bigr\|^2$$ 其中目标潜变量加噪为 $y_\tau = (1 - \tau) y + \tau \epsilon$，上下文条件片段 $x$ 在前向计算时均施加固定时间步 $t=0$（表示完全干净的观测信号），仅有当前待生成的片段承担随机扩散时间步 $\tau \in [0, 1]$。训练分两阶段进行：第一阶段在 32 块 H100 GPU 上采用 $256 \times 256$ 分辨率训练约 80 小时（学习率 $5 \times 10^{-5}$），第二阶段以 $640 \times 480$ 分辨率续训 70 小时（总计 42k 步，约 150 小时）。

实验关键数据¶

主实验¶

在涵盖 8 类编辑任务的 431 个视频测试集 OpenVE-Bench 上，采用 Gemini 2.5 Pro 作为 MLLM 多模态裁判（评估指令遵循、细节保真度与视觉质量三维度，1–5分制），VINCIE-NExT 与当前主流开源模型及闭源商业模型对比结果如下：

方法	分辨率	综合均分 (Overall)	全局风格 (Global Style)	背景替换 (Background)	局部修改 (Local Change)	局部移除 (Local Remove)	创意编辑 (Creative Edit)	镜头运动 (Camera Edit)
Runway Aleph (闭源商业)	1280×720	3.65	3.72	2.62	4.18	4.16	3.64	4.53
VACE	1280×720	1.57	1.49	1.55	2.07	1.46	1.47	1.62
OmniVideo	640×352	1.31	1.11	1.18	1.14	1.14	2.26	1.00
InsViE	720×480	1.53	2.20	1.06	1.48	1.36	2.02	1.09
Lucy-Edit	1280×704	2.15	2.27	1.57	3.20	1.75	2.86	1.61
ICVE	384×240	2.07	2.22	1.62	2.57	2.51	2.41	1.11
DITTO	832×480	1.98	4.01	1.68	2.03	1.53	1.23	1.32
OpenVE-Edit	1280×704	2.49	3.16	2.36	2.98	1.85	2.31	2.02
VINCIE-NExT (Ours)	640×480	3.08	4.17	2.55	3.48	3.24	3.41	2.06

消融实验¶

基于第一阶段 $256 \times 256$ 模型，探究三类数据源（图像编辑 I2I、子链重组视频 V2V*、上下文视频图对 $\text{V}\leftrightarrow\text{I}\leftrightarrow\text{I}$）与两阶段链式推理（CoE）的影响：

I2I	V2V*	V↔I↔I	CoE 推理	综合均分 (Overall)	全局风格 (Global Style)	局部移除 (Local Remove)	创意编辑 (Creative Edit)	说明
✓				1.14	1.29	1.05	1.20	纯图像编辑无法直接泛化到视频
		✓		1.34	1.68	1.03	2.09	仅靠链式伪数据即可激发出初步编辑能力
		✓	✓	1.80	2.58	1.46	2.30	链式数据结合 CoE 推理带来大幅跃升 (+0.46)
	✓			2.49	3.47	2.71	2.03	链式分解重构的配对视频基线
	✓		✓	2.57	3.32	2.87	1.88	配对视频数据在 CoE 下进一步获益
✓	✓	✓		2.53	3.06	2.85	2.69	全数据直接单阶段生成
✓	✓	✓	✓	2.65	3.64	3.11	2.89	完整模型：全异构数据协同配合 CoE 达最优

关键发现¶

超越所有开源基线：VINCIE-NExT 达到 3.08 分，相比官方最强基准 OpenVE-Edit 取得 24% 的相对增益，特别是在全局风格（4.17 vs. 3.16，甚至大幅超越闭源模型 Runway Aleph 的 3.72）与局部消除（3.24 vs. 1.85，提升 75%）任务上优势极为显著。
数据与推理的乘性协同：消融表明单纯训练图像编辑无法生成连续视频（1.14分）；而无视频配对的 $\text{V}\leftrightarrow\text{I}\leftrightarrow\text{I}$ 数据结合 CoE 推理即达到 1.80 分；在完整混合数据下，CoE 显著强化了开放词表风格与创意编辑（2.53 $\to$ 2.65）。在未提供配对视频训练的 Creative Edit 类别上，完整模型比纯视频基线高出 74.1%（2.89 vs. 1.66）。
TDF3D-RoPE 的基石作用：去除 TDF3D-RoPE 时，整体得分从 2.65 暴跌至 2.30，且在依赖精细局部对齐的 Subtitle Edit（3.20 $\to$ 1.39）与 Local Remove（3.11 $\to$ 2.15）上呈现断崖式下跌，证明零相对偏移空间定位是外观无伪影迁移的先决条件。
即插即用的模块化收益：在 CoE 第一阶段替换采用 Qwen-Image-Edit 等专业外部图像编辑器时，视频编辑整体质量进一步提升，且推理步数从 1 步扩展至 64 步带来 22.2% 的单调质量提升，完美验证了测试时计算扩展特性。

亮点与洞察¶

任务链式解耦颠覆传统视频配对范式：将视频编辑因式分解为 $\text{V}\to\text{I}\to\text{I}\to\text{V}$，巧妙将核心语义编辑难题转移给数据海量且极其成熟的图像编辑领域，仅需极少视频 token 增量即可解锁全领域的开放外观编辑。
双频加法 RoPE 优雅解决跨模态对齐矛盾：利用 RoPE 频域可加性将全局镜头偏移与局部绝对坐标叠加，使模型无需引入繁重复杂的交叉注意力适配器即可在单一自注意力层中实现像素级空间对应与时序因果隔离。
潜空间直通与测试时免调扩展：两阶段推理在 VAE 潜空间直接衔接，免除编解码损失，同时支持外部图像专家模型的直接接入，使得图像生成领域的最新突破能瞬间平移为视频编辑红利。

局限与展望¶

受制于中间图像编辑质量：最终视频高度依赖第一阶段生成的参考图质量，若编辑关键帧出现幻觉或漏改，该错误将作为硬约束像素级扩散至所有帧；模型难以自主纠正错误的图像蓝图。
几何形变与运镜编辑能力薄弱：在 Camera Edit（2.06分）等涉及三维多视角几何重建的任务中表现较弱，因空间 RoPE 偏向于静态对应，无法直接推断场景的底层 3D 几何与视差变化。
单关键帧表征局限：对长视频或镜头运动剧烈、遮挡频繁的场景，单一中间关键帧不足以支撑整段视频的外观映射，未来亟待扩展为多关键帧动态规划与智能体驱动的工具调用编辑架构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出以因式分解子任务链与上下文视觉对为核心的跨模态编辑框架，TDF3D-RoPE 设计极具开创性。
实验充分度: ⭐⭐⭐⭐⭐ 在 OpenVE-Bench 全类别详尽评测，具备扎实的多角度消融、MLLM/VBench/人工盲测多重验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密清晰，问题阐述与架构推导深入透彻，图表呈现规范详实。
价值: ⭐⭐⭐⭐⭐ 为解决视频编辑数据匮乏难题开辟了崭新可行的高效路径，对下游内容生成创作产业具有重要指导意义。