ID-LoRA: Identity-Driven Audio-Video Personalization with In-Context LoRA¶

会议: ECCV2026
论文: ECCV 原文
项目: https://id-lora.github.io
领域: 视频生成
关键词: 音视频联合生成、身份保持、In-Context LoRA、负时间位置、身份引导

一句话总结¶

ID-LoRA 用共享的音视频生成骨干读取人物首帧和参考声音，通过负时间位置区分参考与目标、通过身份引导强化音色，在保持人物身份的同时允许文本改变场景和说话方式，跨视频测试的说话人相似度达到 0.477。

研究背景与动机¶

人物视频个性化不仅要求脸像，还要求声音像，并且两者发生在同一个可信的场景中。传统级联方案先克隆语音，再让视频模型按照这段语音生成嘴部运动。这个顺序很适合已有配音的说话人动画，却容易把参考录音的安静背景、平稳语气一并带到新视频。即使画面被提示词改成嘈杂街道，先生成的语音也没有机会根据画面中的动作和声学环境作出响应。纯音频模型可以增加文本控制，但仍看不到视频中的敲击、拍手等动作何时发生。

联合音视频模型提供了另一个起点：两种模态在同一次生成过程中交换信息，共同受场景文本约束。但能生成同步声音不等于能保持指定说话人的身份，基础模型缺少把短参考录音当作身份条件的适配机制。同视频配音和编辑方法还可以让参考片段与目标共享时间坐标，因为它们本来就在修改同一段事件。这里的参考声音却可能来自完全不同的视频，硬性共享位置会混淆“参考中说过的话”和“当前应该生成的话”。

因此，论文没有重新训练一个大规模音视频模型，而是在 LTX-2 的既有联合生成能力上学习如何使用参考身份。人脸由首帧锚定，声音身份由参考音频提供，目标内容、环境音和表达方式由文本指定。 “零样本”指训练完成后面对新人物不需要逐人优化，并不意味着整个方法无需训练。 核心 idea：让参考音频成为可读取但不与目标时间轴重合的上下文，再在采样时增强参考带来的身份信息，使音色保持与新场景生成能够同时成立。

方法详解¶

整体框架¶

输入包含目标人物的首帧图像、一段参考音频，以及描述台词、动作、场景和说话方式的文本。输出是联合生成的视频与音频，而不是先完成一段语音再生成无声画面。其骨干 LTX-2 是 48 层非对称双流 DiT，视频流为 14B 参数，音频流为 5B 参数，通过双向跨模态注意力交换信息。视频 VAE 进行 32 倍空间和 8 倍时间压缩；音频 VAE 对梅尔频谱进行潜变量编码。视频流保留首帧条件生成方式，音频流则把参考潜变量接到待生成的目标音频潜变量之前。这一点很重要：论文不是额外训练一个人脸身份编码器，也不是把完整参考视频当作必须复现的运动轨迹。音频上下文适配、负时间位置和身份引导分别解决“如何读取身份”“如何区分两段声音”“如何防止身份被稀释”。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        INPUT["参考音频 + 首帧<br/>目标文本"] --> CONTEXT["音频上下文适配"]
        CONTEXT --> POSITION["负时间位置"]
        POSITION --> DENOISE["LTX-2 联合去噪<br/>音视频双向注意力"]
        DENOISE --> GUIDANCE["身份引导"]
        GUIDANCE --> OUTPUT["重复采样并解码<br/>目标视频 + 音频"]
        TRAIN["训练：同一说话人的<br/>参考与目标片段"] -.->|"目标去噪损失训练 LoRA"| CONTEXT

图中实线描述推理时的一轮条件组织与采样处理，虚线表示训练样本如何学习适配参数。身份引导发生在反复去噪过程中，不是音频解码之后再做一次声音转换。论文所谓统一生成，强调避免音频到视频的级联；它不等于只有一次网络前向。实际实现沿用 LTX-2 的两阶段渲染流程，并在引导时比较有参考和无参考的预测。

关键设计¶

1. 音频上下文适配：让生成模型直接读取参考声音

参考音频先经过音频 VAE 编码，得到保留时序信息的潜变量序列。这一序列沿序列维与目标音频潜变量拼接，供注意力机制读取，而不是预先压缩成一个固定说话人标签。视频流继续根据首帧和文本生成，因此视觉身份的主要锚点仍是给定图像。两条流通过骨干已有的跨模态注意力协作，让正在生成的画面和声音互相约束。 In-Context LoRA 学习的是“怎样利用输入中的参考身份”，而不是为每一个测试人物存一套专属权重。因此，换一个人物主要意味着换参考图像和录音，不需要重新针对该人物微调。

这一组织方式同时保留三类信息的职责：参考声音指定谁在说话，文本指定说什么和怎么说，首帧指定人物及初始视觉场景。例如文本要求在户外激动地讲话时，模型应提取参考中的音色，而不是把录音室背景也当成身份复制过去。训练数据预处理因此包含参考音频的声源分离，减少环境信息从参考端泄漏。这不是额外增加一个环境分类器，而是从条件数据本身减少“身份”和“背景”的混淆。约 3K 训练对能够支持这种适配，依赖的是预训练骨干已经具备一般音视频生成能力，不能理解为从零学习只需这些样本。

2. 负时间位置：参考可以被注意，但不占用目标时间轴

拼接序列本身没有说明两段声音是什么关系，位置编码会进一步影响注意力把哪些片段联系起来。同视频编辑把参考和目标放在对应位置有助于局部对齐，但跨视频参考没有逐时刻对应关系。如果继续使用这种坐标关系，模型可能把参考内容误当作目标当前时刻应该复现的声音。论文让参考音频占据负时间区域，同时让目标保留预训练时使用的非负时间位置。视频使用 3D RoPE，音频使用 1D RoPE；这里改变的是参考音频的时间位置。根据第 7 页式 (3) 及其文字说明，位置区间为：

\[ t^{\mathrm{ref}}\in[-T_{\mathrm{ref}},0),\qquad t^{\mathrm{target}}\in[0,T_{\mathrm{target}}]. \]

其中 \(T_{\mathrm{ref}}\) 和 \(T_{\mathrm{target}}\) 表示相应音频序列长度。参考内部的先后顺序与相对时间结构仍然保留，所以语音节奏等身份线索不会被打散。目标坐标也没有整体向后平移，避免为了容纳参考而改变骨干熟悉的目标位置分布。 “分离”是对位置坐标的分离，不是把参考从注意力中屏蔽，更不是保证其表示向量彼此正交。模型仍需要读取参考，只是不应把读取参考误解成对齐并重放原句。

3. 身份引导：在采样时放大参考带来的说话人特征

即使模型学会读取参考，去噪过程中强大的通用语音先验仍可能把输出拉向常见而非指定的声音。论文借鉴无分类器引导，比较带参考条件与不带参考条件的两次预测，并沿参考造成的差异方向进行外推。普通文本 CFG 强调文本条件，这里的身份引导强调参考音频所带来的音色、节奏和发音特征。场景内容与环境声仍由文本条件驱动，因此目标不是把所有声音属性都拉回参考录音。该操作用于音频流，是推理时增强机制，不需要另一个说话人分类器提供梯度。

负时间位置与身份引导必须一起理解：前者先让参考成为清楚的身份条件，后者才有较可靠的条件差异可以放大。如果参考和目标仍然混淆，增强参考影响可能连错误的内容依赖一起增强。这解释了为什么单独使用身份引导虽然略升说话人相似度，却把消融中的 WER 推高到 0.252。默认身份引导系数为 4.0，但本文提供的主文没有完整的系数扫描数值。缓存中式 (5) 的运算项损坏，因此这里只复述原文明确给出的双预测与外推机制，不猜补精确代数写法。

一个完整示例¶

沿用论文图 1 的场景，参考录音提供某人的声音，首帧提供她在目标场景中的外貌。文本要求人物兴奋地说话，同时背景有风镐作业声；这是机制说明，不是新增实验。参考录音被编码并放到负时间区域，目标音频和视频从各自待去噪潜变量开始生成。音频注意力从参考获取声音身份，文本约束说话方式及背景声音，首帧约束视觉形象。联合注意力使口部运动和声音形成耦合，而身份引导在采样过程中加强与参考说话人有关的差异。最终解码得到同一场景的视频和音频，不需要先固定一条脱离场景的配音。方法希望保留“她是谁”，但允许改变“她此刻在哪里、以什么情绪说话”。

损失函数 / 训练策略¶

训练使用同一说话人的参考音频和目标音视频，目标是让网络在参考与文本条件下完成目标潜变量去噪。主文将其称为标准扩散去噪目标，没有额外提出人脸识别损失或说话人对比损失。缓存中式 (4) 的数学排版也损坏，不把残缺表达修成作者的精确公式。 CelebV-HQ 与 TalkVid 分别训练检查点；数据经过分段、描述生成、说话人聚类及参考声源分离。 LoRA 秩为 128，在单张 NVIDIA H100 上用 AdamW 训练 6,000 步，学习率为 \(2\times10^{-4}\)，批大小为 4。训练时以 0.9 的概率使用首帧条件，主文宣称约 3K 训练对，但没有在此逐项列出每个检查点的最终对数。推理采用 30 步去噪，video CFG、audio CFG、identity guidance 和 AV-bimodal CFG 分别为 3.0、7.0、4.0、3.0。 STG 在第 29 个块上使用 1.0 的强度；输出为 1024×1024、121 帧、25 fps。这些采样设置属于所报告结果的条件，不能把单 GPU 训练直接等同于低延迟部署。

实验关键数据¶

主实验¶

自动评测共 120 对视频、63 位留出的说话人：CelebV-HQ easy 为 36 对、14 人，hard 为 35 对、8 人，TalkVid 为 49 对、41 人。 easy 来自同视频配对，hard 来自跨视频配对，后者更能检验参考与目标声学环境不一致时的身份保持。 Spk Sim 是 WavLM+ECAPA-TDNN 特征余弦相似度；Face Sim 是 ArcFace 的 5 帧平均相似度，均越高越好。 LSE-D 越低、LSE-C 越高表示更好的 SyncNet 同步指标；CLAP 衡量声音与环境及说话方式提示的匹配，越高越好。 WER 来自 Whisper-large-v3 转录，越低越好，下表保留原文的小数表示。下表摘自第 10 页表 1；TalkVid 的两行分别使用域内检查点和未在 TalkVid 微调的 CelebV-HQ 检查点。

测试划分	方法	Spk Sim ↑	Face Sim ↑	LSE-D ↓	LSE-C ↑	CLAP ↑	WER ↓
C-Hard	CosyVoice 3.0 + WAN2.2	0.391	0.890	11.40	1.50	0.249	0.362
C-Hard	VoiceCraft + WAN2.2	0.344	0.892	10.60	1.33	0.258	0.427
C-Hard	ElevenLabs + WAN2.2	0.357	0.894	11.86	1.72	0.238	0.154
C-Hard	Kling 2.6 Pro	0.385	0.854	9.49	3.47	0.316	0.121
C-Hard	ID-LoRA	0.477	0.874	8.49	3.90	0.363	0.113
TalkVid	ID-LoRA	0.599	0.772	10.62	3.09	0.385	0.054
TalkVid	ID-LoRA, Celeb → TalkVid	0.595	0.767	10.32	3.12	0.412	0.065

hard 划分中，对 Kling 的说话人相似度优势为 0.092，相对提升约 24%；对最佳级联说话人相似度基线的优势为 0.086。跨数据集检查点相似度只比域内低 0.004，同时 CLAP 更高，但 WER 从 0.054 增至 0.065，不能说所有指标都改善。第 11 页表 2 控制了视频骨干：hard 上 CosyVoice 3.0 + LTX 的 Spk Sim 为 0.409，仍低于 ID-LoRA 的 0.477。同表 LTX-Zeroshot 的 hard LSE-D 为 7.89，却有 2.393 的 WER，说明不能只按同步距离选模型。

消融实验¶

第 12 页表 3 在 CelebV-HQ hard 上进行完整 \(2\times2\) 消融，分别切换负时间位置和身份引导。下表保留该表的 LSE-D 8.50；表 1 对完整模型写作 8.49，原文没有解释这一小差异。

配置	Spk Sim ↑	Face Sim ↑	LSE-D ↓	CLAP ↑	WER ↓
两者均无	0.430	0.873	8.84	0.373	0.188
仅负时间位置	0.438	0.875	8.71	0.364	0.113
仅身份引导	0.441	0.872	9.02	0.359	0.252
负时间位置 + 身份引导	0.477	0.874	8.50	0.363	0.113

关键发现¶

两个组件单独带来 0.008 和 0.011 的相似度增益，合用带来 0.047；这支持相互增强，而非简单叠加的解释。
负时间位置主导可懂度改善：仅用它就把 WER 从 0.188 降到 0.113；加身份引导后保持 0.113，同时进一步提升身份相似度。
CLAP 并非随组件增加而上升：无组件时为 0.373，完整模型为 0.363，所以消融优势主要在身份与语音内容。
第 13–14 页图 3 及正文：对 Kling 的声音相似度偏好为 73.1% 对 20.0%，去除平局后的胜率才是 78.5%，两种口径不能混用。
物理交互 MOS 研究使用 10 个场景、5 位说话人、50 对样本，每项 9 名评审；第 14–15 页图 5 及正文给出整体 3.05 对 2.90，并在 8/10 场景占优，仍属初步证据。

亮点与洞察¶

把身份参考与目标时间轴分开，比一味增加身份条件强度更基础。只有先保证条件含义明确，推理时放大条件才更可靠。
用既有跨模态注意力承接声学场景控制，降低了专门构建新架构的需求。约 3K 对数据的意义是低成本适配强骨干，而非证明预训练数据可以省去。
同时观察身份、可懂度、同步与场景匹配可避免单指标误判。论文对 LTX-Zeroshot 的分析尤其提醒读者，近乎静止的嘴部也可能获得较低同步距离。

局限与展望¶

作者将任务限定为单说话人，明确把多说话人、跨语言和一般音视频参考到视频生成列为未来方向。
本笔记的评估：hard 划分仅覆盖 8 位说话人，不能据此推断所有口音、录音设备和复杂声学条件下的稳定性。
Face Sim 不占全面优势；作者将部分差异解释为真实嘴部运动影响 ArcFace，但不能据此认定每次低分都只是指标偏差。
物理交互 MOS 的 3.05 对 2.90 只能支持有限场景中的改善，不能证明模型已经学会一般物理声学生成规律。
主文没有提供完整推理耗时和显存比较，且身份引导增加预测分支；部署成本仍需独立测量。
缓存止于主文及参考文献，未提供附录中的长片段测试、身份引导扫描和更细的人脸运动分析，本笔记不补造这些结果。

评分¶

新颖性: 4/5。负时间参考与身份引导的组合切中跨视频身份迁移的具体问题。
实验充分度: 4/5。有同骨干比较、完整组件消融及两类人评，但身份覆盖和物理交互样本仍有限。
写作质量: 4/5。任务边界和消融逻辑清楚，少量指标差异及缓存公式损坏需要谨慎核读。
价值: 4/5。为在强音视频骨干上做轻量身份适配提供了可迁移思路，但尚不覆盖多人或跨语言生成。