Tuning-free Visual Effect Transfer across Videos¶

会议: ECCV2026
论文: ECCV 原文
领域: 视频生成
关键词: 视觉效果迁移、参考视频条件、效果对齐三元组、视频编辑、无分类器引导

一句话总结¶

RefVFX 用跨内容、同效果的训练三元组和联合视频条件，让一个经过训练的扩散模型把参考视频中的动态特效迁移到另一段视频或图像上，无需针对新效果微调，并在 Neural V2V 用户研究中以 65.7% 的整体匹配胜率超过 Lucy Edit。

研究背景与动机¶

给视频加一个始终存在的帽子，与让人物逐渐变成金属，是两种不同的编辑任务。前者可以主要描述最终外观，后者还要指定变化何时开始、怎样推进，以及变化期间人物如何继续运动。文本提示能表达“变成金属”，却很难准确传达参考片段中的速度、光照变化和遮挡关系。首尾帧约束虽然限定了起点与终点，也不能完整描述两者之间的动态过程。

参考视频提供了更直接的控制信号，但同时夹带了不应迁移的人物、场景和原始运动。模型需要借用特效的时间行为，又不能把参考人物的衣着或身体结构一并复制到输入人物上。既有静态参考方法主要关注身份或风格，而逐效果训练 LoRA 的方法需要为新效果再次优化。更基础的问题是监督数据：自然视频很少同时提供“同一运动、加效果前后”的配对版本，更不会自动提供另一主体演示相同效果的参考片段。

本文因此把数据构造与条件接口作为同一个问题处理，而不是仅在现有编辑器旁接一个参考编码器。数据用不同内容展示同一个可复用效果，模型则同时接收参考动态、输入内容与文本语义。标题中的 tuning-free 指训练完成后面对新参考时无需再调参数，不是整个系统没有训练。核心 idea：用跨内容的效果对齐三元组教会模型从参考视频读取变化规律，再通过联合潜变量条件与多方向引导，把这种变化施加到输入视频的内容和运动上。

方法详解¶

整体框架¶

输入包括一段展示特效的参考视频、一张图像或一段待编辑视频，以及提供高层语义的文本提示。输出是一段新视频，其场景与运动应来自输入，而动态效果应来自参考。训练前的效果对齐数据覆盖 LoRA 图像到视频效果、神经生成的视频到视频效果，以及程序化时变效果。训练时，联合潜变量条件让扩散 Transformer 同时读取参考和输入，并以效果已经施加到输入上的目标视频提供监督。推理时，同一个训练好的模型使用多方向引导，调节保留输入与跟随参考的程度。数据构造使用的图像编辑器、姿态提取器和视频生成器属于离线监督管线，不是每次用户编辑都必须依次执行的模块。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Sources["LoRA / 神经配对 / 程序效果"] --> Data["效果对齐数据"]
        Data -.->|训练监督| Joint["联合潜变量条件"]
        Inputs["参考视频 + 输入图像或视频<br/>文本提示"] --> Joint
        Joint --> Guidance["多方向引导"]
        Guidance --> Output["效果迁移后的视频"]

关键设计¶

1. 效果对齐数据：让共享效果而非共享主体成为监督线索

作者先定义一个效果类别，再收集该效果作用于多个不同输入后的配对结果。例如，“逐渐金属化”可以分别作用于不同人物，但效果的定义保持一致。构造训练样本时，从同一效果下取两组不同的输入与输出，把第一组的输出作为参考，第二组的输入与输出作为待编辑内容和监督目标。第一组的原始输入被丢弃，所以模型无法依赖一组显式的“参考编辑前后差分”。这种构造直接对应部署接口：用户只需要提供已经带效果的参考视频。原文第 3.2 节的配对关系可整理为：

\[ \mathcal{T}_{i,j,\ell} =\bigl(\mathrm{output}_{ij},\mathrm{input}_{i\ell},\mathrm{output}_{i\ell}\bigr), \qquad j\ne\ell. \]

这里 \(i\) 指同一个效果，\(j\) 与 \(\ell\) 指该效果下不同的内容实例，三项依次为参考、输入和目标。这是数据组织关系，不是新增损失函数，也不意味着方法显式估计了一个与内容完全解耦的效果向量。

第一类数据来自已有图像到视频 LoRA，每个适配器被视为一种效果。作者把同一适配器应用于多张合成图像，得到可相互充当参考和目标的视频。作为模型输入的静态图像使用目标视频首帧，因而该数据主要教会模型从静态内容生成带效果的动态输出。正文报告收集 43 个 LoRA，平均每效果约 300 段视频，总量超过 14K 段；这些是原文近似统计，并非可直接相乘复原的精确计数。

第二类数据解决更困难的运动对齐问题：仅独立生成两个相似视频，无法保证它们执行相同动作。管线先生成主体图像，再用图像编辑器改变姿态、视角和表情，得到无特效的终点图像。随后再编辑这个终点，把目标效果加入其中，例如把人物变成金属材质。原始首帧与无特效终点先送入首尾帧视频模型，生成基础视频。系统从基础视频中提取中间帧姿态，再用原始首帧、带效果的终帧和中间姿态生成编辑后的视频。这样两个视频共享动作约束，而编辑后版本可以沿时间从普通外观过渡到目标外观。这里的姿态用于约束运动，不保证每个纹理像素完全一致；将其理解成精确像素配准会夸大监督质量。效果提示由 GPT-4o 扩展生成，图 4 展示了这一配对流程。

第三类数据使用程序化效果，以补足可重复、细粒度的时空变化。作者从 Senorita 数据中的前景与背景掩码出发，选择全画面、前景或背景作为作用区域。再组合色阶化、像素化、抖色等视觉算子及其参数，例如颜色分箱数或像素块大小。时间算子控制擦除方向、开始时刻与持续时间，使同一外观改变可以逐渐进入画面。一次采样固定作用区域、视觉参数和时间参数后，把相同配置施加于多段视频，才能形成真正同效果的参考与目标。该管线约生成 100K 段视频，覆盖 1,500 个合成效果；全数据集报告超过 120K 个三元组和 1,700 种效果。三类数据分别提供复杂语义变换、运动一致的视频编辑和精确可控的局部动态，不是重复采集同一种监督。

2. 联合潜变量条件：在同一注意力空间中读取输入和参考

骨干来自 Wan2.1 的首尾帧到视频模型，它原本将带噪潜变量、条件潜变量和掩码沿通道维拼接。这些张量再被切成 patch 并嵌入为 token，交给扩散 Transformer 预测速度。 RefVFX 让输入视频潜变量占据条件分支，因此模型可以直接读取待保留的场景、人物和运动。参考视频经过编码后，沿画面宽度方向接到带噪分支与条件分支旁边，形成相邻的参考区域。这不是把参考放到时间序列末端；参考与输出在各时间位置都能通过空间自注意力交换信息。模型因此既能利用参考的时间变化，也能在生成区域中依据输入条件决定这些变化应落到什么内容上。

图 5 给出的混合掩码进一步区分“必须保留”与“允许修改”的条件帧。直接保留到输出的帧取值为 1，需要编辑的帧取值为 0.5，参考区域的掩码全部为 1。这些值表达条件的用途，不应误读为像素透明度或已经证明严格成立的保真概率。参考潜变量在两个分支中出现，但分支会在 patch 嵌入前沿通道合并，因此不是两个独立重复的参考 token 序列。作者报告相对基础生成，token 数量变为两倍；这增加了可访问的参考信息，也带来额外计算成本。文本仍提供高层语义引导，视频条件负责传达单靠文本难以说明的细节。主文将交叉注意力配置等细节留给补充材料，不能由示意图推断出完整实现。

3. 多方向引导：把输入保真与效果强度变成可调控制

只给模型一个固定的条件强度，并不能覆盖所有真实编辑需求。用户可能希望明显改变人物材质，却仍保留衣服与脸型；也可能更看重参考中夸张的变形。训练时，作者以较低概率分别丢弃参考、输入视频和文本条件，使模型学会在条件不完整时仍进行预测。推理时，系统结合文本、输入视频与参考视频对应的多个无分类器引导方向，并按已有方法对潜变量进行归一化。调高输入引导通常更保留服装和脸部细节，调高参考引导则会强化参考效果及可能夹带的外观信息。图 8 的肌肉形态和服装变化说明这是一种可调折中，不是已经完美分离了效果与身份。本文提供的主文没有完整引导公式，也未给出各条件丢弃概率，因此这里保留机制解释，不补写系数和方程。 “无需推理时优化”也不等于单步出片：它免去逐样本参数更新，仍使用扩散生成及相应引导计算。

一个完整示例¶

以图 4 的“让人物变成金属”为例，离线管线先生成普通人物的首帧和改变姿态后的普通终帧。普通首尾帧生成基础动作视频，带金属效果的终帧配合该视频中提取的姿态，生成动作近似一致的特效版本。对另一个主体重复同一效果，再把前一个主体的特效视频作为参考，就得到跨主体的训练三元组。部署时，用户提供演示金属化的参考视频和自己的输入视频，不需要重新运行图像编辑及姿态配对管线。联合潜变量条件把两段视频提供给同一个生成模型，参考负责说明如何变化，输入负责说明谁在什么场景中运动。最后通过多方向引导控制金属化的强度与人物细节的保留程度；该过程是机制示例，不是额外的定量实验。

损失函数 / 训练策略¶

作者对 Wan2.1 的 14B 首尾帧到视频模型进行 LoRA 微调，训练 10K 步，批量大小为 8。硬件为单节点 8 张 NVIDIA A100，训练时等概率采样三类数据，避免规模最大的程序化子集自然占满批次。模型预测目标视频的扩散速度，主文没有给出额外的独立“效果解耦损失”。除了条件丢弃，训练还以较低概率提供真实目标终帧，以保留骨干原有的首尾帧控制能力。因此这里存在离线数据生成、统一模型微调和免逐效果微调的推理三个阶段，不能将 tuning-free 外推为零训练成本。

实验关键数据¶

主实验¶

I2V 测试包含训练未见的 28 种 LoRA 效果和 56 段参考视频。 V2V 验证超过 100 个实例，来源包括未见 LoRA、未见神经效果提示与未见程序参数，并分别报告 Neural V2V 和 Code-Based V2V。神经配对验证样本经过人工质量筛选，评测结果不自动代表未经筛选的真实用户视频分布。用户研究采用 Amazon Mechanical Turk 的二选一比较，总计超过 19,000 次标注、超过 500 名独立标注者。 RVA 衡量参考视频遵循程度，IVA 衡量输入视频遵循程度，OM 衡量保留输入的同时应用参考效果的整体匹配。

下表摘自主文表 1，第 9 页。每项均为完整 RefVFX 相对该行对手的胜率百分比及标准差，不是该行方法自身的绝对得分。

对手	Neural RVA	Neural IVA	Neural OM	Code RVA	Code IVA	Code OM
Lucy Edit	62.3 ± 2.9	60.7 ± 2.8	65.7 ± 3.1	64.7 ± 4.5	61.4 ± 5.0	65.3 ± 5.0
VACE (Depth)	58.3 ± 2.5	59.1 ± 2.6	66.8 ± 2.1	65.7 ± 5.4	56.2 ± 5.0	61.9 ± 5.0
VACE (Pose)	57.0 ± 2.1	53.7 ± 2.2	60.0 ± 2.2	62.9 ± 4.8	63.3 ± 4.9	64.3 ± 4.7

这些对手收到相同的效果文字描述，但不能直接接收参考视频，因此比较的是任务级系统效果，而非完全相同输入信息下的架构能力。 I2V 的表 2 位于第 10 页：相对 Wan2.1，RefVFX 的 RVA 胜率为 57.1 ± 2.4%，OM 为 63.4 ± 2.4%。

消融实验¶

下表同样摘自主文表 1，第 9 页，方向仍是完整模型对消融模型的胜率。两个数据消融保持相同训练步数；V2V + I2V 配置不包含程序化数据，No Ref 则在完整模型推理时去掉参考视频。

消融对手	Neural RVA	Neural IVA	Neural OM	Code RVA	Code IVA	Code OM
V2V Training	57.8 ± 2.4	53.9 ± 3.1	60.7 ± 3.2	66.2 ± 4.5	61.1 ± 5.0	66.2 ± 4.1
V2V + I2V Training	55.2 ± 3.2	52.6 ± 3.5	56.1 ± 2.8	55.5 ± 3.9	56.2 ± 4.0	57.5 ± 3.5
No Ref	57.5 ± 2.8	51.3 ± 3.1	67.2 ± 2.9	59.5 ± 3.5	54.3 ± 4.0	61.3 ± 3.9

加入程序化数据后，完整模型在 Neural V2V 上相对 V2V + I2V 配置的 OM 胜率也达到 56.1%，说明收益不只发生在程序效果测试上。去掉参考后，Neural IVA 比较接近持平的 51.3%，但 OM 胜率为 67.2%，支持参考主要帮助完成效果迁移，而非仅帮助复现输入。这是偏好比较，不是移除模块后绝对准确率下降了相应百分点。

关键发现¶

主文表 4，第 15 页，用 VideoPrism 视频嵌入相似度衡量输出与输入、参考的接近程度，数值越高表示嵌入越相似。验证集没有目标输出真值，因此这些数值只是代理指标，不能等同于效果隔离或运动保真的直接测量。

方法	Neural Input Sim.	Neural Ref Sim.	Code Input Sim.	Code Ref Sim.
Wan VACE Pose	0.9068	0.6539	0.9225	0.6002
Wan VACE Depth	0.9460	0.6226	0.9394	0.5998
Lucy Edit	0.7544	0.6852	0.8882	0.6539
RefVFX	0.8568	0.7014	0.9479	0.7169

RefVFX 的参考相似度在两类 V2V 测试中最高，但 Neural 输入相似度低于两种 VACE 配置，不应描述为每项指标均获胜。表 3，第 15 页，也显示 I2V 中 RefVFX 的参考相似度为 0.7378，高于 Wan2.1 的 0.7230；首帧 CLIP 相似度却为 0.7698，低于 0.7911。作者将较高输入相似度解释为可能的欠编辑，这一解释与用户研究和定性图相呼应，但单靠嵌入分数不能排除身份漂移等其他原因。原文正文对部分胜率区间的概括未覆盖表 1 的全部消融行，本笔记采用表内逐项数值，不把那些概括区间当完整范围。

亮点与洞察¶

数据的关键单位不是“特效视频”，而是“同一特效在不同内容上的可复用配对”。丢弃参考的原始输入，使训练接口与实际使用方式保持一致。
首尾帧加中间姿态的配对管线把外观变化和运动约束分别交给不同条件。它比独立生成两个视频更适合提供编辑监督，但仍依赖生成器质量。
程序效果不仅扩充训练量，还提供固定参数下的精确时间规律。其对神经效果的消融收益提示，简单可控的监督也可能帮助复杂编辑。

局限与展望¶

作者指出身份相关编辑的误用风险，并计划通过模型卡与可接受使用条款说明边界；这些治理措施不等于技术上消除了不当使用。
参考可能同时带来效果与人物外观，图 8 已显示服装和肌肉形态随参考引导改变。更明确的身份保持评测和效果区域约束值得研究。
主文未提供完整引导公式、条件丢弃概率、时延或峰值显存，当前文本也没有补充材料。不能据“免微调”声称实时性或给出未经核实的复现参数。
用户研究提供了均值与标准差，但主文不足以重建分组统计和显著性检验。尤其接近 50% 的 IVA 比较，不宜仅凭标准差宣称统计显著。
数据规模统计使用不同单位和近似口径，43 个 LoRA、平均约 300 段与超过 14K 段并不精确相乘对应。复现时需要实际发布清单，而非据此反推缺失子集规模。

评分¶

新颖性: 4/5。跨视频动态效果迁移与可规模化的效果对齐监督结合紧密。
实验充分度: 4/5。包含多任务用户研究、数据消融和嵌入指标，但缺少精确效果真值与完整统计细节。
写作质量: 4/5。数据管线和条件图清晰，部分关键参数在补充材料中，汇总区间也需对照表格理解。
价值: 4/5。为示例驱动视频编辑提供实用方向，但训练和推理成本以及身份保持仍需进一步检验。