LibraGen: Playing a Balance Game in Subject-Driven Video Generation¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/Phantom-video/LibraGen
领域: 视频生成
关键词: 主体到视频、主体一致性、LoRA 合并、直接偏好优化、动态 CFG

一句话总结¶

LibraGen 以 9,000 条高质量 SFT 样本适配视频基础模型，通过配对数据对应的 LoRA 合并、互补 DPO 和动态 CFG 保留主体身份与生成能力，在自建基准的表 1 中取得 3.594 的文本对齐分数。

研究背景与动机¶

主体到视频（subject-to-video，S2V）需要根据参考图像和文本生成新视频，参考图不必成为固定首帧。这比图像到视频更灵活，但也要求模型同时回答两个问题：画面中的主体是不是给定对象，以及它有没有按指令自然运动。强大的文本到视频模型已经具备运动、审美和文本理解能力，因此关键不是从头学习视频生成，而是增加主体条件时不要破坏这些已有能力。

已有训练数据主要有两种来源：in-pair 从目标视频自身抽取参考主体，cross-pair 从其他视频寻找相同或相似主体。前者对应关系紧密，却容易让模型复制参考图的姿态、背景和光照，产生粘贴感、运动不足或指令不遵循；后者削弱这种泄漏，但参考与目标的视觉关联较弱，身份细节更容易丢失。 LibraGen 因而把 S2V 适配视为任务增量学习，而不是只追求参考图相似度的单目标训练。

核心 idea：先用人工参与筛选的数据提高可达到的质量，再分别训练具有互补偏好的适配器，通过权重合并与去噪过程中的条件调度，让身份学习不必以牺牲运动和文本遵循为代价。

方法详解¶

整体框架¶

输入是文本指令和一张或多张参考图，输出是主体一致的新视频。底座是基于 MM-DiT 的低分辨率与超分辨率网络，交替使用空间和时间注意力；基础输出为 480P，可进一步细化至 720P。训练先构建高质量数据，以轻量主体注入接入参考条件，再执行 Tune-to-Balance 后训练；推理条件调度把用户文本改写为训练使用的描述形式，并动态调整图像和文本引导。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Source["原始视频与参考图"] --> Data["高质量数据构建"]
    Data --> Inject["轻量主体注入"]
    Inject --> Train["Tune-to-Balance<br/>后训练"]
    Train --> Infer["推理条件调度"]
    Input["用户文本与参考图"] --> Infer
    Infer --> Output["480P 视频<br/>可细化至 720P"]

关键设计¶

1. 高质量数据构建：先排除会教坏基础模型的样本

数据来自 Panda70M、含 300 万片段的内部集合、网络平台和合成内容。 AutoShot 与 PySceneDetect 将长视频切成 2–11 秒片段；运动和审美专家先保留评分最高的 5%，人工再按 1–5 分评价运动连贯性、幅度和审美，仅留下平均分至少为 4 的片段。这里的“千级训练数据”是大规模来源经过筛选后的规模，并不意味着只收集几千段视频就能复现相同质量。

主体检测先从关键帧取得边界框，再裁剪并在检索库中匹配参考图。 cross-pair 对每个主体检索最相似的 15 个候选，排除来源视频后随机选一个；in-pair 则使用同一视频内的主体。 VLM 与人工共同排除主体不清楚的样本、检查跨视频身份一致性，并约束同视频参考主体的尺度，减少背景泄漏。因此，训练数据制作涉及检测与裁剪，而“无需主体分割”说的是模型条件注入不要求额外分割模块，不能理解成全流程没有数据预处理。

标注不是给视频随意附上一句话：系统先描述每张参考图，再依据主体、框和参考图的对应关系，将视频描述中的主体名称替换为细化后的参考描述。这种显式绑定让多参考场景中的对象各有指代，人工检查进一步纠正错配。每个三元组还具有层次标签与共享前缀编码，用于统计类别和根据模型反馈调整训练分布；论文没有给出可直接复用的完整标签树。

2. 轻量主体注入：复用 VAE 和 DiT，减少新增条件通路

参考图与视频使用同一个 VAE 编码，分别得到 \(n\) 张参考图和 \(f\) 个视频潜在帧。模型沿时间维将参考潜在帧接在视频之后，而非放到首帧位置：这样既区别于固定首帧的 I2V，也不需要给原有视频 token 引入时间 RoPE 偏移。噪声输入遵循原文的 \(z_t=(1-t)z+t\epsilon\)，其中 \(\epsilon\sim\mathcal{N}(0,I)\)。

除了这一带噪序列，模型还接收补零对齐的参考条件和二值参考标记，沿通道维拼接后输入形状为 \((f+n)\times(2c+1)\times h\times w\)。标记告诉网络哪些位置承担参考作用；条件张量提供干净的参考信息，因此不能将整个设计误读为“把参考图加噪后混入视频就结束”。无需额外视觉编码器，也没有独立的主体分割条件分支。

时间 DiT 的局部窗口可能只看到参考主体的一部分，导致身份信息不完整。论文在训练和推理中使用 all-gather，使窗口能获取完整参考主体信息；这是保障多窗口条件可见性的实现细节，而非另一套身份编码器。

3. Tune-to-Balance 后训练：两次合并，各自修复不同偏差

低分辨率 SFT 分别在 cross-pair 和 in-pair 上训练 LoRA，再线性插值相应权重。 cross-pair 模型提供较好的动作、画面与文本响应，in-pair 模型补充身份约束；后者系数太高仍会复制参考姿态，所以最终采用 \(l_{\mathrm{in\text{-}pair}}=0.15\)。这不是把两类数据简单混到同一个批次，而是保留两个可调的权重方向。

合并后的 SFT 模型仍需要更精确的偏好信号。 Consis-DPO 使用 cross-pair SFT 模型生成正样本，再保持初始噪声、采样步数、文本和参考图不变，只增大时间注意力中参考 embedding 的 RoPE 偏移，得到身份细节更差的负样本。图 6 展示偏移 0、1024、2048 时的变化：身份细节逐渐退化，而大体结构和背景相对稳定。人工只保留正样本在主体一致性上明显更好的样本对，使优化尽量针对身份，而不是同时改变多个质量因素。

但 Consis-DPO 的正例仍是模型生成的视频，其质量上限和偏好投机问题可能损害运动。 Real-Fake DPO 改用 SFT 数据中的高质量目标视频作为正例，用 in-pair SFT 模型在相同文本和参考条件下生成负例。人工要求负例仍有较强身份一致性、却存在画面或运动缺陷，迫使模型学习“主体相同，但不要僵硬粘贴”的区别。由于原始数据还包含合成来源，Real-Fake 的“Real”不应被扩大解释为每个正例都是实拍素材。

两种 DPO 都从合并后的 SFT 模型出发，分别训练 LoRA，然后再次合并；报告的 Consis-DPO 与 Real-Fake 系数分别是 0.5 和 0.1。 DPO 使用相对于参考策略的正负样本对数概率比差，经带温度参数的 sigmoid 构成负对数目标；参考策略由低分辨率 SFT 初始化，并在每次迭代后以当前策略的指数移动平均更新，而不是永久冻结。缓存的式（4）抽取损坏，因此这里说明目标语义，不补写无法核准的扩散概率计算细节。

4. 推理条件调度：先确定动作布局，再补参考细节

训练描述明确绑定参考主体，但用户往往只写简短动作句。多阶段提示词改写先生成参考主体的细粒度描述，再抽取便于区分的粗粒度描述并融合用户指令，最后扩充相关动作和场景细节。正文将首阶段模型称为 Qwen 3，但对应参考文献 [2] 是 Qwen2.5-VL 技术报告，具体版本存在原文不一致，不能据此认定可复现配置。

动态 CFG 则处理另一个时间维度：去噪早期主要建立文本所要求的布局和运动轨迹，后期更依赖参考图提供纹理、颜色与身份细节。原文为参考条件分配 \(\omega_1\)、为文本条件分配 \(\omega_2\)，使用无条件、仅参考、参考加文本三个预测分支组合引导。静态设置为 \(\omega_1=\omega_2=3.5\)；动态设置沿去噪执行顺序，让参考权重从 1 增至 4，同时文本权重从 5 降至 1。这里按执行先后描述日程，避免将“后期”误等同于上式噪声时间 \(t\) 的增大。

超分辨率阶段同样保留参考主体条件，避免 480P 到 720P 的细化抹掉身份。训练四元组由高分辨率目标、降采样并轻度噪声模糊的低分辨率视频、文本和参考图组成；网络以低分辨率 SFT 的合并 LoRA 初始化，再结合指数移动平均微调。动态 CFG 不只是无成本换一个数字：作者报告，相比两个模态权重相等的标准情形，它增加两次速度函数计算，导致推理延迟增加。

损失函数 / 训练策略¶

SFT 使用 Rectified Flow 目标，并沿用参考文献 [13] 的噪声采样策略。 9,000 条低分辨率样本由 5,500 条 cross-pair 和 3,500 条 in-pair 组成。 in-pair 提高参考图丢弃比例以抑制粘贴，cross-pair 提高文本丢弃比例以加强视觉条件利用；两者分别在 8,000 和 5,000 次迭代早停，具体丢弃概率未给出。超分辨率阶段选取 4,000 条样本构造四元组，再训练 5,000 次迭代。 Consis-DPO 和 Real-Fake DPO 分别使用 2,000 和 1,600 对偏好样本，每个分支训练 4,000 次迭代。这些规模不包含基础模型预训练成本，论文也未在所读正文中完整给出 LoRA rank、学习率、批量大小和硬件预算。

实验关键数据¶

主实验¶

自建基准包含 200 个测试用例，1、2、3、4 张参考图分别占 26%、50%、14%、10%，覆盖单主体和多主体、动画 IP、人物与消费品。部分参考图未经裁剪，主体仅占较小区域；因此该基准也在测试参考图占比变化的鲁棒性。表 1 的全部指标均为越高越好，分数尺度不同，不能直接求平均。

方法（原文表 1）	MS	MQ	AES	IQA	VQ	TA
Vidu Q1	0.5373	0.9924	0.6491	71.82	2.795	3.315
Kling O1	0.4965	0.9865	0.6479	72.84	2.797	3.567
MAGREF	0.3830	0.9853	0.6356	70.36	2.354	1.784
Phantom	0.3844	0.9873	0.6410	69.35	2.373	1.998
LibraGen	0.5380	0.9930	0.6496	71.60	2.795	3.594

MS 与 MQ 在正文分别定义为 Motion Smoothness 和 Motion Quality；AES、IQA 衡量审美与图像质量，VQ 和 TA 来自视觉质量与文本对齐奖励模型。缓存表 3 的前两列数值与表 1 的对应关系疑似颠倒：完整配置在表 3 为 0.9930、0.5380，而表 1 为 0.5380、0.9930。上表严格保留表 1 的列序，以下消融不引用这两列，避免自行修正原文后制造错误对应。

消融实验¶

表 3 的加号表示累积添加，不是独立移除实验；每行 GSB 都相对上一配置，而非统一相对最初基线。

累积配置（原文表 3）	AES	IQA	VQ	TA	GSB
cross-pair SFT 基线	0.6420	71.87	2.794	3.504	不适用
+ in-pair LoRA，系数 0.15	0.6306	71.45	2.708	3.466	0.190
+ Consis-DPO，系数 0.5	0.6334	71.10	2.714	3.490	0.286
+ Real-Fake DPO，系数 0.1	0.6394	71.42	2.756	3.524	0.025
+ 动态 CFG	0.6496	71.60	2.795	3.594	0.020

主体一致性使用净胜比例，而不是普通胜率：

\[ \mathrm{GSB}=\frac{G-B}{G+S+B}. \]

\(G\)、\(S\)、\(B\) 分别表示 LibraGen 优于、相当于、劣于比较对象的案例数。例如表 2 中，4 张参考图条件下相对 MAGREF 的 GSB 为 0.700，意味着净胜比例为 0.700，不意味着绝对胜率恰好为 70%。相对 Kling O1，1、2、3、4 张参考图的 GSB 分别为 0.077、0.080、0.071、0.100，均为正值，但不能与表 3 的逐步比较直接相加。

关键发现¶

表 1 的 TA 为 3.594，比 Kling O1 的 3.567 高 0.027；这是奖励分数差，不是准确率百分点。
IQA 71.60 低于 Kling O1 的 72.84 和 Vidu Q1 的 71.82，VQ 2.795 也未超过 Kling O1 的 2.797，因此不能概括为所有指标第一。
Consis-DPO 的逐步 GSB 增益为 0.286，但 IQA 从 71.45 降到 71.10；身份优化并非对所有质量维度都无损。
动态 CFG 将 TA 从 3.524 提高到 3.594，同时 AES 从 0.6394 提高到 0.6496，支持按去噪阶段区分文本与参考条件的作用。

亮点与洞察¶

配对方式本身决定模型偏差。将 in-pair 与 cross-pair 分开训练，使身份强化与生成自由度成为可调权重方向，而不是只靠一个混合比例赌训练结果。
RoPE 偏移被用来构造偏好负例，而非单纯修改生成结构。固定其他采样条件有助于突出身份差异，但这种近似控制仍需人工筛选。
Real-Fake DPO 不奖励“更像参考图”这一单独维度。它刻意选取身份仍好的低质量负例，让运动与画面质量得到独立修复信号。

局限与展望¶

作者明确指出动态 CFG 增加推理延迟，所读正文没有给出具体秒数或吞吐量，不能将其描述为免费提升。
高质量千级数据背后包含百万级来源、检索库和人工筛选成本；论文没有提供控制标注预算的质量与数量对照实验。
自建基准仅 200 例，所读正文未交代完整的人评人数、置信区间或统计显著性，较小分差应谨慎解读。
论文提到 OpenS2V-Nexus 结果和更多 DPO、CFG 分析在附录 A–C，但本地缓存止于参考文献；本笔记不虚构这些未提供的结果。
表格运动列与提示词模型名称存在上述不一致，完整复现还需要核对原始排版、配置和训练细节；向音视频模型迁移只是展望，未在本文验证。

评分¶

新颖性: 4/5。贡献主要是互补数据、定向偏好样本与适配器合并的组合，RoPE 负例构造尤其具体。
实验充分度: 3/5。有商业与开源对比、分参考数评测和累积消融，但公开基准附录不可核验，统计与成本报告有限。
写作质量: 4/5。方法主线清楚，个别表格列序、模型版本和公式抽取问题需要额外核对。
价值: 4/5。提供低数据量主体适配的实用路线，但依赖强底座和高质量人工数据，不能据样本数直接推断低总成本。