Goku: A Million-Scale Universal Dataset and Benchmark for Instruction-Based Video Editing¶

会议: ECCV2026
论文: ECCV 原文
项目: Goku
领域: 视频生成
关键词: 指令视频编辑、结构编辑、渐进过滤、双分支扩散、空间对齐

一句话总结¶

Goku 用分任务合成与渐进过滤构建 200 万视频编辑对，并以带掩码分支和空间引导的 Goku-Edit 将 Goku-Bench 纯指令任务 IF 从 LucyEdit 的 0.549 提高到 0.627，支持外观、结构、参考图和组合编辑。

研究背景与动机¶

自然语言视频编辑不只是把衣服换色：用户还会要求移动主体、改变相机轨迹，或在一次请求中同时完成多个修改。既有配对数据大多围绕单项外观变化构建，模型即使能生成漂亮画面，也未必知道该修改哪个位置、如何保留其余内容，以及怎样同时满足多个子指令。

困难首先在监督数据。直接往视频里添加物体容易产生漂浮和错误遮挡，逐帧风格转换又会闪烁；主体动作变化和位置变化更不能只靠纹理替换实现。Goku 利用图像编辑、视频生成、分割和多模态理解模型的不同能力构造这些配对，再把过滤放到源视频、生成条件与最终结果三个环节，而非只在末尾筛选成片。

数据覆盖之外，编辑网络还需把“在哪里改”和“改成什么样”联系起来。本文的核心 idea 是先用任务专用合成与逐阶段质量门控建立复杂编辑监督，再让低分辨率掩码分支负责空间结构，通过对齐后的双向注意力指导高分辨率视频分支。

方法详解¶

整体框架¶

本文包含 Goku 数据集、Goku-Edit 模型和 Goku-Bench 评测三个层次。数据侧从 Koala-36M 筛出 100 万源片段，生成指令、时序掩码及参考图，最终得到 200 万编辑对；表 1 报告数据为 720p、每段 65 至 129 帧。

任务覆盖五类基本外观编辑，以及主体运动、相机运动、多任务编辑、参考添加和参考替换，共 10 类。多任务样本组合 2 至 5 个任务。模型推理输入源视频、文本指令及可选参考图，输出编辑视频，同时预测编辑区域掩码；Goku-Bench 再用 1,000 个人工核验案例检验执行质量。

下图概括数据到模型的关系。渐进过滤实际嵌入合成前、中、后，不是只对已经完成的数据集做一次清洗。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["源视频、指令<br/>掩码与参考图"] --> B["分任务合成"]
        B --> C["渐进过滤"]
        C --> D["Goku 编辑对"]
        D --> E["双分支空间对齐"]
        E --> F["SpatialCFG"]
        F --> G["编辑视频与掩码<br/>Goku-Bench 评测"]

关键设计¶

1. 分任务合成：把不同编辑交给合适的生成条件

预处理先做镜头切换检测、美学评分、运动分析和基于 OCR 的水印处理，再由 Gemini2.5-Pro 筛选内容丰富度，每段截取 3 至 10 秒。Gemini2.5-Pro 结合视频内容生成结构化指令与对象标签，覆盖超过 200 类对象、100 种风格及 20 种相机运动模式。多任务指令需避免冲突，例如不能同时删除一个对象又要求在它身上添加物品；Grounded-SAM2 根据标签提取时序掩码，参考图还需匹配目标区域的光照和姿态。

基本编辑不是统一调用同一个模型。删除使用 Minimax-Remover；交换原视频与删除后视频的输入输出角色，即可得到添加监督，避开直接插入物体时的遮挡错误。替换与属性修改把源视频、掩码和 Flux 生成的参考图送入 VACE。风格编辑则先由 Flux 修改首帧，再提取逐帧深度，将风格首帧与深度序列交给 VACE，使几何结构约束跨帧传播。

结构编辑进一步分情况处理。动作变化由 Gemini2.5-Pro 为同一主体生成两种动作描述，再用 Wan2.2 生成主体和背景尽量一致、动作不同的视频对；位置变化先用 Flux 移动首帧中的对象，再用 Wan2.2 延展成视频。相机运动由 RecamMaster 合成，复杂轨迹拆成基本运动序列。多任务编辑逐步执行，每一步输出作为下一步输入，因此中间错误会影响所有后续步骤。

参考编辑还需防止模型只学像素拷贝。作者从视频裁出目标参考图后，用 Flux 改变姿态、光照或背景，保留参考对象语义却打破其与目标帧的逐像素对应。这让参考图成为身份与外观条件，而不只是可直接贴回原位置的图块。

2. 渐进过滤：在昂贵合成前阻断错误传播

第一层筛掉低质量源视频，产生各任务共享的 100 万源片段。第二层检查生成条件：以 IoU 阈值评估掩码完整性，用 Gemini2.5-Pro 核对指令与检测目标的语义对应，以及合成参考图是否合理。正文没有给出该 IoU 的具体阈值或完整计算协议，因此不能把这一环节写成已完全可复现的数值规则。

第三层检查成对结果，低层使用帧间一致性、频域伪影检测和美学复评分，高层由 Gemini2.5-Pro 判断编辑准确性与写实程度；作者报告约 88% 的合成样本被过滤。论文称补充材料提供每任务 100 个样本、3 名标注者的人工核验和精确率/召回率分析，也提供 Qwen3VL-30B 开源替代过滤方案，但本缓存不含这些详细结果。

3. 双分支空间对齐：结构控制与外观生成分开，但持续交换状态

两个分支均基于预训练 Wan2.2-5B。主视频分支接收文本、源视频及参考图；辅助分支接收相同文本和空间降采样后的源视频，预测目标编辑区域掩码。冻结的 Qwen3VL-8B 为两个分支编码指令，预训练 VAE 编码图像、视频和掩码。主分支沿时间维拼接参考图潜变量、源视频潜变量与带噪编辑视频潜变量；掩码分支沿时间维拼接降采样源视频与带噪掩码潜变量，而不是沿通道维拼接。

掩码分支在高度与宽度各降采样 \(n\) 倍，默认 \(n=4\)，因此空间网格位置不能直接与主分支比较。作者在 RoPE 计算前把掩码位置 \((x,y)\) 映射到 \((nx,ny)\)，不改变旋转频率基。这样同一物理位置不会因网格尺度不同而产生虚假的大相对位移；低分辨率掩码对应的高分辨率局部偏移仅是网格内的真实位置差。

对齐后做双向交叉注意力：M2V 用视频特征作 Query、掩码特征作 Key/Value，把结构信息残差注入视频分支；V2M 反向把视频生成状态反馈给掩码分支。后一方向不是可有可无的装饰：如果掩码只看降采样源视频，就无法知道目标内容在去噪过程中变成什么样，容易出现掩码与编辑结果不同步、边界闪烁。

4. SpatialCFG：在推理阶段增强跨分支空间信号

普通文本 CFG 放大的是文本条件差异，而不是掩码带来的约束。SpatialCFG 比较双向交叉注意力启用时的耦合预测与禁用跨分支注意力、将另一分支输入替换为空潜变量时的独立预测。独立预测仍保留当前分支计算和文本条件，因此两者差值更直接刻画跨分支贡献。

以下按正文对式 (3) 的解释压缩记号；缓存公式排版有损坏，此处不是逐字转录：

\[ ilde{\epsilon}_b=\hat{\epsilon}_b^{\mathrm{indep}}+s_b\left(\hat{\epsilon}_b^{\mathrm{dual}}-\hat{\epsilon}_b^{\mathrm{indep}}\right),\qquad b\in\{e,m\}. \]

\(e\) 和 \(m\) 分别表示视频与掩码分支。视频侧系数用于压制区域外误改，掩码侧系数用于增强边界一致性；同样的空间引导分别在有文本、无文本条件下执行，然后再按式 (4) 进行常规文本 CFG。它无需额外训练，但需要额外预测计算；主文未报告完整延迟或具体引导系数，不能把“免训练”解释为“免费推理”。

损失函数 / 训练策略¶

正文说明两个分支预测相应噪声，但没有完整列出训练损失权重、优化器、学习率、总步数或训练硬件。本笔记不补写这些参数，也不把两个 Wan2.2-5B 分支简单标为一个 5B 模型。

可以直接核验的受控实验设置是表 3：各数据集使用同一 LucyEdit 架构、50k 样本、6k 训练步和 Goku-Bench 评测，以隔离训练数据的影响；另列 100k Goku 的扩展结果。图 5 比较 \(n=1,2,4,8\)：\(n=1\) 衣物平滑但缺纹理，\(n=4\) 兼顾纹理与定位，\(n=8\) 结构信号过弱，因此默认采用 \(n=4\)。

实验关键数据¶

主实验¶

Goku-Bench 包含 1,000 个来自 Koala-36M 的案例，视频至少 720p、时长 3 至 10 秒，指令人工编写。除一般视频质量指标外，作者设计了 7 项编辑指标：PR 衡量物理交互合理性，SR 衡量指令要求的空间关系，IF 衡量指令完成度，EQ 衡量整体自然性与编辑一致性；这四项由 Gemini2.5-Pro 按评分规则评估。

另外三项针对任务：SuM 由 Gemini2.5-Pro 评估主体运动轨迹的真实性与流畅度，比关注整体物理交互的 PR 更窄；CM 通过光流判断相机运动类型；ST 以参考风格图与输出帧的 DINO 特征相似度衡量风格一致性。具体评分提示与完整聚合规则未包含在主文缓存中。

下表摘录原文表 2 的纯指令任务，FVD 越低越好，其余所列指标越高越好。

模型	FVD	PR	SR	IF	EQ
Omni-Video	1032.08	0.580	0.631	0.510	0.590
LucyEdit	1420.36	0.476	0.755	0.549	0.579
Goku-Edit	993.93	0.738	0.832	0.627	0.645
Runway	1038.52	0.705	0.793	0.758	0.782
Luma	1095.64	0.681	0.769	0.741	0.761

Goku-Edit 相比 LucyEdit 的 IF 增加 0.078，即 7.8 个百分点，这是摘要“约 8%”应谨慎解读的比较；其 IF 和 EQ 仍低于两款商业模型。参考图加指令任务中，Goku-Edit 的 IF 为 0.851、FVD 为 925.55，而 Runway 的 IF 为 0.872，不能与纯指令任务混为一个排名。

消融实验¶

原文表 3 比较训练数据对多任务编辑的影响，前五行统一 50k 样本与 6k 步，模型均为 LucyEdit；这不是完整 Goku-Edit 的逐模块消融。

数据配置	样本数	FVD	IF	EQ
InsV2V	50k	3102.15	0.298	0.241
InsViE	50k	2843.67	0.301	0.253
Señorita	50k	2761.44	0.289	0.278
Goku，未过滤	50k	2512.08	0.318	0.331
Goku，已过滤	50k	1380.45	0.501	0.522
Goku，已过滤	100k	1241.33	0.519	0.538

固定 50k 时，过滤使 IF 从 0.318 升至 0.501，增加 0.183；扩大到 100k 后又提升到 0.519。前者支持质量控制的重要性，后者只表明所测区间仍有规模收益，不能据此推断无限扩展规律。

原文表 4 是顺序加组件实验，不能把相邻增益理解为独立、可任意相加的贡献。

累积配置	PR	SR	IF	EQ
基线	0.651	0.743	0.541	0.578
+ MLLM	0.664	0.756	0.573	0.591
+ 双分支	0.695	0.789	0.588	0.612
+ RoPE 对齐	0.718	0.819	0.608	0.631
+ SpatialCFG	0.738	0.832	0.627	0.645

关键发现¶

文本编码器替换带来 IF 的 0.032 增益，但后续空间机制仍必要；仅增加语言理解不能解决定位与边界问题。
RoPE 对齐使 SR 从 0.789 到 0.819；SpatialCFG 随后使 IF 增加 0.019，说明跨尺度对应与推理时空间增强各有作用。
表 5 中 30 名参与者各评 100 个视频，采用 5 分量表；Goku-Edit 的 IF/视频质量/时序一致性为 4.58/4.51/4.65，LucyEdit 为 4.05/4.12/4.08。该人工表未包含商业模型，不能据此声称人工偏好全面超越商业系统。

亮点与洞察¶

添加与删除的逆向配对是可迁移的数据设计：先解决更稳定的去除，再反转监督方向，减少直接合成插入物体的困难。
掩码不是静态输入，而是与视频同步更新的生成变量。双向反馈让结构约束适应当前编辑状态，比只向主分支单向灌入源视频掩码更合理。
跨分辨率注意力的问题不只是特征维度是否相同，还包括位置编码是否处于同一物理坐标系。RoPE 索引缩放是本工作最明确的可复用机制之一。

局限与展望¶

主文没有独立局限章节。以下是依据方法与实验作出的阅读判断，不冒充作者明确承认的结论。
合成与过滤依赖 Gemini2.5-Pro、Flux、VACE、Wan2.2 等教师，约 88% 的淘汰率也意味着显著生成成本；开源替代方案的详细等效性不在当前缓存中。
同一 Gemini2.5-Pro 同时参与指令生成、筛选和多项自动评分，存在共享偏好影响评价的风险。训练源与测试源都来自 Koala-36M，主文也未充分说明去重协议；这不是已证实的数据泄漏。
主体动作对依赖生成模型维持身份和背景，过滤只能降低不一致风险，不能证明每个配对都严格保留未编辑因素。
商业模型仍在 IF、EQ 等方面领先，且正文缺少完整训练超参、延迟、显存与引导系数报告；后续应补充独立评审器、跨来源测试及成本质量曲线。
表 1 给 OpenVE-3M 的相机运动打勾，与正文将其概括为仅外观编辑存在张力。因此更稳妥的区别是 Goku 同时覆盖主体运动、参考编辑及 2 至 5 项组合任务，而不是宣称只有 Goku 支持相机运动。

评分¶

新颖性: 4/5。复杂任务数据覆盖与跨尺度双分支对齐形成明确组合贡献。
实验充分度: 4/5。数据、模型组件和人工评价齐全，但复现参数与成本信息不足。
写作质量: 3/5。方法主线清楚，但范围宣称与表 1 的对照存在不一致。
价值: 4/5。为结构与组合视频编辑提供可用的任务定义、数据思路和评测维度。