In-Context Sync-LoRA for Portrait Video Editing¶

会议: ECCV2026
论文: ECCV 原文
项目: Sync-LoRA
领域: 视频生成
关键词: 人像视频编辑、首帧编辑传播、上下文学习、同步筛选、LoRA

一句话总结¶

Sync-LoRA 用高同步合成视频对训练 LTX-Video 的上下文 LoRA，让编辑后的首帧决定外观、干净源视频决定动作，在保留人物身份的同时取得编辑保真与逐帧同步的较好折中，而非每项同步指标均最优。

研究背景与动机¶

人像视频编辑不仅要让一顶新增的帽子在连续帧中稳定存在，还要保留原表演发生的具体时刻。一次眨眼、一个视线转移或一个音节对应的嘴形，即使在输出里显得自然，只要比源视频提前或推迟，就已经改变了表演。因此，通常意义上的时序连贯只保证输出自身不闪烁，并不保证输出与输入逐帧对应。文本驱动的编辑方法可能保留大量原画面却没有真正落实修改；首帧驱动的方法则可能完成外观变化，却在后续帧中重新生成了不同的运动轨迹。依赖关键点、三维可变形人脸模型或几何变形的肖像动画方法能提供控制，但其表示和合成机制也会限制开放式编辑与遮挡处理。

把首帧交给成熟图像编辑器，可以先解决“究竟要改成什么”的问题，却没有自动解决“后来每一帧怎样动”的问题。若仅给图像到视频模型一张修改后的图片，它只能生成合理的动作，而没有足够依据复现原视频的细微时序。若训练数据中的两个人物只是大致一起说话，模型学到的也只是相似动作，不能凭空恢复严格的对应关系。本文据此把主要技术投入放在监督数据的同步质量和源视频的上下文表示上，而不是新增显式运动对应网络。这也解释了为什么论文强调少量高质量配对，数量本身不能弥补错误的时间监督。

静态 IC-LoRA 已说明，扩散 Transformer 可以从结构化面板学习跨图像关系。这里需要把这种关系从“长得对应”推进到“每个时刻的动作也对应”，并让外观变化不破坏时间参照。 核心 idea：用严格同步但外观不同的视频对训练一个始终读取干净源视频的上下文 LoRA，让模型传播首帧编辑，而不是重新发明源视频的运动。

方法详解¶

整体框架¶

推理输入由源视频、编辑后的首帧以及描述目标内容或编辑关系的文本组成，输出是应用该编辑后的整段视频。整个方法有一条离线数据与训练路径，以及一条使用已训练 LoRA 的编辑路径，两者不能混为同一次推理。离线先做“配对视频生成”，再用“四通道同步筛选”保留可靠监督，最后训练“干净源流上下文去噪”。在线不再运行数据生成器或同步筛选器，只把新的源视频和编辑条件交给适配后的 LTX-Video。生成训练视频的 Wan2.1 与真正执行编辑的 LTX-Video 是不同模型，前者不是推理时的第二级编辑器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Prompts["人物描述与编辑指令"] --> Generation["配对视频生成"]
        Generation --> Filtering["四通道同步筛选"]
        Filtering -.->|离线配对监督| Context["干净源流上下文去噪"]
        Inputs["源视频、编辑首帧<br/>与文本"] --> Context
        Context --> Output["同步编辑视频"]

关键设计¶

1. 配对视频生成：先制造外观不同的共同表演

VLM 先产生人物描述及修改指令，QwenImage 生成肖像，QwenImageEdit-2509 修改这张肖像。两张图被拼成左右面板，Wan2.1 再把它们共同生成成一段并排说话的视频，而非分别独立采样后强行配对。这样可以利用视频扩散模型已有的上下文生成能力，让左右人物更有机会共享运动模式。作者还用少量精选同步样本对数据生成模型进行 LoRA 微调，以改善它生成共同运动的能力。数据生成每个配对视频使用 30 个去噪步骤；这个数是 Wan2.1 的生成配置，不是 Sync-LoRA 推理步数。左右画面随后作为源与目标监督，其理想区别是被编辑的外观，而非动作时间。

共同生成并不等于逐帧一致：左右人物可能开口频率不同，或眨眼、转头的时刻发生偏移。因此，作者生成超过 20,000 对候选，最终训练集只有 512 对，不能把全部候选数量当成训练规模。最终编辑对与完全相同的未修改对之比为 3:1，后者为保持原内容提供稳定训练信号。未修改对并非越多越好；若全部数据都不需要改变外观，模型就容易学会保留运动而忽略编辑。反过来，只保留编辑对也会削弱这种稳定约束，实际消融显示动作同步下降。这里的价值不是合成数据本身，而是构造外观差异与时间一致性可以同时成立的监督关系。

2. 四通道同步筛选：检查同一时刻是否真的在做同一件事

作者用 MediaPipe 提取人脸和上半身关键点，再把高维位置转为可比较的时间信号。 Speech 以嘴部纵横比近似口型运动，Blink 以眼睛纵横比 EAR 描述闭眼变化。 Gaze 使用归一化的二维虹膜轨迹，Pose 使用肩部、躯干、肘部和手腕的六个上半身角度或相对高度信号。这些通道覆盖不同速度与幅度的动作，使“嘴形像”不能掩盖“视线不同步”。检测缺失先通过插值补齐，信号经 Savitzky-Golay 滤波平滑，再做 z 标准化。覆盖不足的样本直接丢弃，而不是把大量插值结果当成可靠观测。

对应信号采用零时间延迟相关性，这一点直接对应逐帧同步目标。若允许搜索最优时间偏移，晚发生的眨眼也可能被判成高质量匹配，反而把时序错误留进训练集。标准化有助于比较不同外观和幅度下的运动节律，但相关性并不直接保证绝对几何位置完全一致。用 \(r_{\mathrm{speech}}\)、\(r_{\mathrm{gaze}}\)、\(r_{\mathrm{blink}}\)、\(r_{\mathrm{pose}}\) 表示四通道分数，原文给出的权重可整理为：

\[ S=0.40r_{\mathrm{speech}}+0.30r_{\mathrm{gaze}}+0.15r_{\mathrm{blink}}+0.15r_{\mathrm{pose}}. \]

这个式子只是正文权重的直接表示，不补造各通道内部多信号的聚合细节。根据综合分数保留高排名样本后，模型才获得精确时间对应的训练目标。四种相关性也用于最终评测，但不进入训练损失，更不是推理中的纠错反馈。删除某个通道的消融是在筛选时把相应权重置零，改变入选数据，而不是关闭模型里的某个脸部模块。因此，去掉眨眼筛选后嘴形也变差，并不证明有一个“眨眼网络”直接控制嘴部，只说明低质量配对会共同污染多个动作通道。

3. 干净源流上下文去噪：把原表演保留为每一步都可读取的参照

LTX-Video 把视频压缩为时空潜变量，再由具备全三维注意力的 DiT 处理。源与目标潜变量序列沿帧维拼接进入同一个 Transformer，文本与首帧条件共同参与生成。拼接提供共同注意力空间，并不意味着把源和目标视为前后连续的两段表演。两条流使用相同的时空位置坐标和 3D RoPE，使对应空间与时间位置具有相同的位置参照。坐标随 VAE 压缩因子缩放，并按帧率归一化；这处理的是视频几何位置，而非扩散噪声级别。模型区分两条流所依赖的另一套信息，是每个 token 的去噪时间步。

源 token 始终使用 \(t=0\)，目标待去噪 token 使用当前的 \(t>0\)。这些时间步经 AdaLN 产生缩放和偏移，使模型可以把相同位置上的源 token 当作干净条件、目标 token 当作待更新内容。训练时只给目标分支加噪并对其预测计算监督；源视频潜变量保持不变。保持不变的是输入源流，不是禁止目标通过共享注意力使用源流的信息。 LoRA 在这一监督下学习如何从源视频读取动作，同时从编辑首帧读取目标外观。模型无需在推理时显式估计关键点对应，但训练样本的筛选确实依赖关键点，不能泛称整套方法“不使用关键点”。

推理从目标高斯噪声开始，用 flow-matching Euler 循环逐步更新目标潜变量。每一步仍能访问完整干净源流，避免把一次性的源运动提示在后续生成中逐渐遗忘。首帧负责明确要保留的新外观，文本补充语义关系；源视频则提供动作发生的时间参照。一个训练好的通用 LoRA 可处理未见人物和多种外观编辑，不要求对每个测试人物另训适配器。但第 4.4 节的表情编辑另外训练了表情专用 Sync-LoRA，不能用该展示证明同一个通用模块无条件覆盖全部表情修改。

一个完整示例¶

以论文图 4 的“添加蓝色头巾”为例，首先修改原视频首帧，让头巾的位置和人物几何结构与原画面对应。这张图说明头巾长什么样，却不负责决定人物何时开口或把视线转向另一侧。源视频编码后保持干净，目标视频从噪声开始；每次去噪都读取源中相应时刻的动作上下文。最终输出应在人物原先转头、说话和眨眼的时刻保留这些变化，同时让头巾随人物自然运动。如果头巾稳定但嘴形延迟，属于同步失败；如果动作完全复现但头巾消失，属于编辑失败。这也是为什么论文必须同时测量动作、修改方向和身份，而不能只报一个相关性分数。

损失函数 / 训练策略¶

作者使用 rank 128 的 LoRA 适配 LTX-Video，并通过 LTX-Video-Trainer 完成训练，不更换基础架构。目标沿用 rectified flow 的速度预测监督，条件包含文本、编辑首帧和源视频，损失只作用于编辑目标分支。正文第 9 页的损失公式在当前文本中明显损坏，插值端点和速度目标的记号也不能可靠对应，因此这里不将其重建成作者的精确公式。可以确认的是训练目标不是四通道相关性的加权和，数据筛选与速度预测是两个不同环节。缓存未包含正文所指的补充伪代码，学习率、训练步数与最终推理步数也不能从已读正文可靠补齐。表情专用训练使用 LivePortrait 从中性参考帧合成多种表情的视频，再学习在表达变化时保留底层发音动作；其展示主要是定性证据。

实验关键数据¶

主实验¶

基准包含 166 段人像视频，来源为正文所称 CelebV、CelebV-HQ、TalkVid 和高质量 YouTube 内容，覆盖物体插入、背景替换、上色与外观修改。原始素材筛选要求至少 5 秒、清晰且光照良好，并排除字幕、黑边、裁切和跳切；实际训练与评测片段为 81 帧、20 FPS，约 4 秒。各图像条件方法使用相同编辑首帧；LucyEdit 只接受文本，因此图像方向 CLIP 不适用。下表节选原文表 1（第 10 页），所有指标均为越高越好，VACE 的三行对应不同外部控制条件。

方法 / 条件	Speech Corr.	Gaze Corr.	Blink Corr.	Pose Corr.	Directional CLIP（text-dual）	ArcFace Sim.
VACE / Pose	0.37	0.63	0.34	0.45	0.20	0.73
VACE / Canny	0.11	0.63	0.24	0.39	0.20	0.71
VACE / Depth	0.39	0.69	0.36	0.51	0.16	0.72
LucyEdit	0.80	0.82	0.70	0.64	0.11	0.69
FlowEdit	0.50	0.56	0.33	0.38	0.18	0.68
AnyV2V	0.70	0.71	0.48	0.51	0.17	0.63
Sync-LoRA	0.72	0.75	0.55	0.55	0.21	0.75

图像方向 CLIP 比较逐帧编辑变化与首帧编辑变化的方向，text-dual 变体则比较视觉变化与文本描述的编辑方向。 CLIP-Text Alignment 只检查生成帧与目标描述的匹配，不比较源帧；本文为 0.33，并非单独领先所有基线。 ArcFace 指标以编辑后的首帧为参考，对各生成帧的人脸嵌入余弦相似度取平均，不能直接解释成与原始人物身份绝对一致的证明。

消融实验¶

下表节选原文表 2（第 13 页），仍采用相同评测框架；“去掉通道”仅指训练数据筛选时移除该通道。 Directional CLIP（image）对应表 2 中未另加括注的 Directional CLIP 行。

训练配置	Speech Corr.	Gaze Corr.	Directional CLIP（image）	Directional CLIP（text-dual）	ArcFace Sim.
去掉 Speech 筛选	0.53	0.68	0.55	0.20	0.72
去掉 Gaze 筛选	0.56	0.67	0.57	0.20	0.72
去掉 Blink 筛选	0.55	0.70	0.56	0.20	0.72
去掉 Pose 筛选	0.55	0.67	0.56	0.20	0.72
Only Edit	0.58	0.68	0.57	0.21	0.73
Only ID	0.80	0.83	0.05	0.01	0.70
Random	0.56	0.68	0.55	0.20	0.72
完整模型	0.72	0.75	0.57	0.21	0.75

关键发现¶

与 LucyEdit 相比，Sync-LoRA 的 Speech Corr. 从对方的 0.80 降为 0.72，但 text-dual 方向分数从 0.11 提高到 0.21；结论是编辑与同步的折中改善，不是同步全面领先。
去掉 Speech 筛选后 Speech Corr. 从 0.72 降至 0.53，绝对下降 0.19，支持同步监督质量的重要性。
Only ID 的 Speech Corr. 达 0.80，但图像方向 CLIP 仅 0.05；高运动相似性可以来自几乎不做编辑。
用户研究有 23 人，每人评估 12 对视频、每个基线 3 对，形成每个竞争方法 69 次判断；具体偏好率在未随缓存提供的补充材料中，不能据正文补出百分比。

亮点与洞察¶

训练数据的误差可以比网络结构更决定同步上限。先把输入与目标的时间对应做对，普通低秩适配就能利用基础视频模型已有能力。
干净源流把运动参照保留在每次去噪中。它与仅用首帧生成“合理后续动作”的条件方式有本质区别。
Only ID 是有解释力的反例。它提醒编辑评测不能把“没有改变原视频”误当作高质量视频编辑。

局限与展望¶

作者承认快速或大幅运动会降低细节稳定性，首帧与源画面几何不对齐会导致局部伪影或时间漂移。
当前证据限于 81 帧短片；虽支持带重叠的滑动窗口，长视频退化尚未得到专门研究。
筛选与评测共用四通道指标，可能更偏向容易被关键点捕获的动作；这是读者对评测覆盖面的判断，不是已证实的数据泄漏。
精选清晰素材及少量合成训练对，不能直接证明对复杂镜头、多人互动或所有身份分布都稳健。
引入音频条件、增加长片与几何错位压力测试，是与当前局限直接相关的后续方向，而非本文已经完成的能力。

评分¶

新颖性: 4/5，贡献主要在同步监督构造与视频上下文训练，而非新基础网络。
实验充分度: 4/5，有多维主表、筛选与数据组成消融，但长视频及分布外评测不足。
写作质量: 4/5，任务与数据作用清晰；当前缓存损失公式损坏，精确训练复现仍需原排版及补充材料。
价值: 4/5，为保留原表演的人像视频编辑提供了数据优先的实用路线。