Character Mixing for Video Generation¶

会议: NeurIPS 2026
arXiv: 2510.05093
论文: https://tingtingliao.github.io/mimix
领域: 视频生成
关键词: 视频生成、多角色混合、角色解耦、风格幻觉、跨域交互

一句话总结¶

针对跨作品、跨视觉风格的角色无法自然共存与交互的瓶颈，提出结合跨角色嵌入（CCE）与跨角色数据增广（CCA）的微调框架，在消除跨域风格幻觉的同时实现了高保真的多角色交互视频生成。

研究背景与动机¶

随着视频生成基础模型（如 Sora、Wan2.1、HunyuanVideo）的演进，文本到视频（T2V）生成在开放域场景中展现出惊人的视觉逼真度与动态表现力。然而，影视与动漫领域存在大量深入人心的经典角色（如《憨豆先生》《少年谢尔顿》《猫和老鼠》《咱们裸熊》），将这些来自完全不同作品、甚至处于不同视觉域的角色融合在同一故事画框中进行连贯自然的动态交互，始终是一个未被攻克的难题。现有的个性化视频定制方法（如 VideoBooth、DreamVideo、ID-Animator、SkyReels-A2）普遍依赖单张或少数参考图像进行条件引导，虽然在一定程度上保留了静态视觉外观，却无法学习到角色的动态行为特质、标志性运动习惯（如 Jerry 的敏捷窜动、Tom 的夸张潜行、憨豆先生的滑稽神态）以及与环境的交互逻辑。

若尝试直接收集各个角色的视频素材对扩散大模型进行联合微调，会立即遭遇两大根本性障碍。首先是「非共存挑战」（Non-coexistence Challenge）：源自不同剧集或宇宙的角色在真实的影视训练数据中从未同框出现过，因此完全缺乏成对的联合交互视频来监督模型学习多角色协同动态。其次是「风格幻觉挑战」（Style Delusion Challenge）：当把真人实拍剧集与二维卡通动画的角色混合时，模型难以在同一场景中平衡差异巨大的视觉风格分布，常常导致严重的风格漂移与混淆——真人角色被渲染为扁平卡通质感，或者卡通角色被赋予怪异的逼真毛皮和写实光影。

为了打破角色互不共存与跨风格混淆的双重困局，本文提出了一种从多模态单角色视频中解耦本质特征并进行风格可控重组的视频生成新范式。核心 idea：通过结构化「角色-动作」提示词（CCE）将角色的独特身份与其动态行为从场景中显式解耦，并结合基于前景抠图的跨风格合成增广（CCA）与显式风格控制标签，使扩散模型在缺乏真实同框数据的前提下，依然能够生成风格不漂移、交互逼真的跨宇宙多角色视频。

方法详解¶

整体框架¶

整个框架旨在从大规模非成对视频集合中学习角色的外观特征、行为模式与交互逻辑，并使模型具备跨宇宙、跨风格的泛化合成能力。系统由两个核心部分紧密驱动：跨角色嵌入（Cross-Character Embedding, CCE）负责在微调阶段实现角色身份与行为动作的细粒度文本解耦；跨角色增广（Cross-Character Augmentation, CCA）则通过构建小比例但关键的跨风格合成共存片段，配合显式风格提示词引导模型抵御风格漂移。在底座模型上，算法以 Wan2.1-T2V-14B 为基座，冻结原始扩散骨干网络参数，仅对注意力层注入 Rank-32 的 LoRA 适配层进行高效微调。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    subgraph CCE["跨角色嵌入 (CCE)：多模态解耦标注"]
        direction TB
        A["多源影视视频剪辑<br/>(81小时 / 5.2万片段)"] --> B["多模态信息联合输入<br/>抽样视频帧 + 音频对白 + 剧本梗概"]
        B --> C["结构化角色-动作提示词生成<br/>[Character: 角色名], 动作描述"]
    end
    subgraph CCA["跨角色数据增广 (CCA)：跨域合成与风格控制"]
        direction TB
        D["跨域主体视频分割<br/>SAM2 分离真人/卡通前景"] --> E["跨风格背景合成与过滤<br/>参考图匹配 / Gemini 质检"]
        E --> F["风格锚定标签构建<br/>追加 [scene-style: cartoon/realistic]"]
    end
    C --> G["跨界联合微调与适配<br/>Wan2.1-T2V-14B 冻结基座 + LoRA (Rank 32)"]
    F --> G
    G --> H["多角色交互视频生成<br/>身份保真 + 行为忠实 + 风格防漂移"]

关键设计¶

1. 跨角色嵌入（CCE）与角色-动作提示格式：彻底解耦身份表征与行为动态 在以往的视频生成微调中，普通的长文本 Caption 通常将场景背景、多个角色的外观以及发生的动作混合叙述，这在多角色场景中极易引发属性混淆（Attribute Binding Error），导致模型无法明确哪个动词对应哪个人物。为了解决非共存场景下的泛化交互问题，本文提出了严格结构化的「角色-动作」提示格式。对于每一个视频片段，标注形式被标准化为： [Character: <name>], <action>. [Character: <name>], <action>. 这种设计在文本条件嵌入空间中构建了清晰的局部实体锚点。即使两个角色（例如憨豆先生与 Jerry）在训练集内从未同框，但由于模型在各自剧集的片段中分别掌握了带有 [Character: Mr. Bean] 和 [Character: Jerry] 标记的独特动态模式，在推理阶段将两个标签拼接即可使模型在同一潜在流场中同时激活两套解耦的行为先验，完成无缝跨界互动。为了低成本构建高质量标注，研究团队利用 GPT-4o 接收每个 5 秒片段的 10 个均匀采样帧、配套音频转录对白以及剧本背景元数据，自动产出包含精确角色标记的 52,000 条高质量视频-提示词对。

2. 跨角色数据增广（CCA）与跨域图像合成：打破风格幻觉与非共存数据困境 当训练数据同时涵盖写实影视剧与夸张卡通片时，扩散模型在跨界交互推理时极易陷入「风格幻觉」——例如为了迁就卡通背景，模型强制将真人演员憨豆先生绘制成卡通简笔画；反之亦然。这种现象的根源在于训练集中真实世界角色与卡通背景（或卡通角色与实景背景）的先验共现概率为零。本文的关键洞察在于：即使合成的同框画面存在局部拼接瑕疵，也能为模型提供关键的正交风格解耦监督。为此，团队利用 SAM2 对视频中的角色前景进行精准时序分割，并将其硬性贴合到对立风格域的视频背景中。在合成数据流中，使用参考图像匹配对写实真人进行外观一致性过滤，并引入 Gemini 对卡通角色合成帧进行严格质检。随后在文本末尾显式引入场景风格标签： [Character: <name>], <action>. [scene-style: cartoon/realistic] 消融实验证实，引入约 10% 的合成增广数据即可完美抑制风格漂移，同时赋予模型对背景与前景风格的精确解耦控制能力。

3. 模块化低秩适配微调策略：在保护基础生成能力的前提下注入角色先验 全参数微调十亿级视频扩散模型（如 Wan2.1-14B）不仅算力消耗巨大，极易导致灾难性遗忘，破坏底座模型原有的强大时空连贯性与物理泛化常识。本文采用低秩适配（LoRA）机制，仅在 Diffusion Transformer 的跨模态注意力与自注意力投影矩阵上挂载可训练旁路（设置 Rank = 32）。在微调期间，底座模型的全部基础权重被严格冻结，优化器仅更新 LoRA 权重。这种设计将角色先验的学习限制在紧凑的低维子空间内，使得模型既能准确捕获目标角色的微表情与动作习惯，又能充分继承 Wan2.1 强大的复杂光影模拟与流体/碰撞动力学推理能力。

一个完整示例¶

以一段跨越两部经典卡通与一部写实英剧的三角色交互生成为例： - 输入提示词： [Character: Tom], plays piano loudly. [Character: Jerry], dances on the keys. [Character: Mr. Bean], wearing earmuffs with his suit, tries to conduct them like an orchestra. It turns into noisy chaos. [scene-style: cartoon] - 条件编码流： 1. 文本编码器接收带有特殊标识符的序列，[Character: Tom] 与 [Character: Jerry] 激活了各自在卡通剧集中学习到的夸张追逐与琴键跳跃动作先验； 2. [Character: Mr. Bean] 激活了真人实景中特有的西装服饰、滑稽神态与戴耳罩指挥动作； 3. [scene-style: cartoon] 标签强行将背景流形锁定在二维动画质感。 - 潜在生成结果：扩散去噪过程在共享潜在空间中协同演化：画面呈现出经典的《猫和老鼠》动画复古客厅背景，Tom 和 Jerry 保持纯正的手绘动画质感，而憨豆先生则以高度逼真的写实真人外貌置身于琴旁，双手滑稽挥舞。三者产生真实的视线交互与动作协调，既无抠图拼接边缘，也未发生憨豆先生被卡通化或老鼠长出写实鼠毛的风格畸变。

损失函数 / 训练策略¶

微调过程基于流匹配（Flow Matching）扩散架构的标准去噪均方误差损失进行优化。给定潜空间视频表征 \(z_0\)、扰动流场目标速度向量 \(v_t\)、时间步 \(t\) 以及结构化文本条件 \(c\)，仅优化 LoRA 参数 \(\theta_{\text{LoRA}}\)：

\[\mathcal{L}_{\text{LoRA}}(\theta_{\text{LoRA}}) = \mathbb{E}_{z_0, \epsilon, t, c} \left[ \| v_{\theta_{\text{base}}, \theta_{\text{LoRA}}}(z_t, t, c) - v_t \|^2 \right]\]

在工程实现与超参数设定上： - 数据集规格：涵盖 4 部剧集，总时长约 81 小时（《猫和老鼠》9 小时、《咱们裸熊》18 小时、《憨豆先生》8 小时、《少年谢尔顿》46 小时），共切分为 52,792 个独立场景片段。每个片段标准化为 5 秒、81 帧、16 fps，并裁切底部字幕与台标以防引入语言伪影。 - 优化配置：采用 Adam 优化器，基础学习率设为 \(1\times 10^{-4}\)，批处理大小（Batch Size）为 64，训练周期为 5 个 Epoch。采用 FP16 混合精度计算与梯度裁剪策略确保大模型训练数值稳定。

实验关键数据¶

主实验¶

评估在综合视频基准 VBench（Consistency, Motion, Dynamic, Quality, Aesthetic）以及由 Gemini-1.5-Flash 评估的细粒度多模态角色评估指标（Identity-P, Motion-P, Style-P, Interaction-P，满分 10 分）上展开。涵盖单角色（Single）与多角色跨风格/跨宇宙交互（Multiple）设定，基线对比包括 VideoBooth、DreamVideo、Wan2.1-I2V 和 SkyReels-A2。

方法	评测设定	Consistency ↑	Motion ↑	Dynamic ↑	Quality ↑	Aesthetic ↑	Identity-P ↑	Motion-P ↑	Style-P ↑	Interaction-P ↑
VideoBooth	Single	0.1287	0.9780	0.5094	0.6413	0.4896	4.45	3.72	5.43	4.44
DreamVideo	Single	0.1851	0.9564	0.6270	0.5002	-	4.51	4.16	6.82	5.37
Wan2.1-I2V	Single	0.0682	0.9827	0.6530	0.7192	0.5857	5.27	5.10	7.94	6.41
SkyReels-A2	Single	0.1469	0.9782	0.7843	0.7225	0.5850	6.17	4.55	7.82	6.78
Ours	Single	0.1893	0.9836	1.0000	0.5763	0.5967	6.12	5.41	8.06	7.24
SkyReels-A2	Multiple	0.1314	0.9650	0.9787	0.7140	0.5371	6.17	4.55	6.28	4.94
Ours	Multiple	0.1833	0.9842	0.9856	0.6855	0.5813	6.48	5.50	7.26	5.22

消融实验¶

表 1：提示词结构化格式对多角色生成质量的影响 通过逐步剔除 [character] 标签与 [scene-style] 标签，检验显式解耦标记的作用：

提示词格式配置	Subject-C ↑	Background-C ↑	Motion-S ↑	Dynamic ↑	Quality ↑	Identity-P ↑	Motion-P ↑	Style-P ↑	Interaction-P ↑
无标签基线 (No Tag)	0.8892	0.9136	0.9812	1.0000	0.6535	7.02	5.90	6.83	4.28
无风格标签 (w/o [scene-style])	0.8668	0.8980	0.9754	1.0000	0.6353	7.31	5.80	6.95	4.47
无角色标签 (w/o [character])	0.8758	0.9101	0.9759	1.0000	0.6938	7.33	5.42	6.80	4.47
双标签完整方案 (w/ Both, Ours)	0.8530	0.8997	0.9747	1.0000	0.6588	7.35	5.80	6.95	5.30

表 2：跨风格合成增广数据比例（CCA Ratio）的影响 对比引入 5%、10%、20% 比例的合成增广片段对模型泛化能力的作用：

合成增广比例	Subject-C ↑	Background-C ↑	Motion-S ↑	Dynamic ↑	Quality ↑	Identity-P ↑	Motion-P ↑	Style-P ↑	Interaction-P ↑
5%	0.8739	0.9082	0.9826	0.9000	0.6836	7.67	6.03	7.15	4.83
10% (最佳设置)	0.8812	0.9151	0.9853	0.9500	0.6955	8.33	6.72	7.33	4.78
20%	0.8442	0.8905	0.9779	1.0000	0.6728	8.30	7.10	7.08	3.90

关键发现¶

结构化标签对多角色交互至关重要：在无标签基线中，Interaction-P 仅为 4.28，且经常发生角色漏画（例如完全丢失憨豆先生）或背景被错误写实化；引入双标签后，Interaction-P 大幅攀升至 5.30，且身份保真度提升至 7.35。
合成增广存在明显的倒 U 型阈值：从 0% 增加到 10% 时，模型学会了写实与卡通特征的共存模式，Identity-P（8.33）与 Style-P（7.33）达到峰值；但当增广比例过度攀升至 20% 时，由于过多的硬拼接合成样本污染了时序先验，交互自然度 Interaction-P 从 4.78 骤降至 3.90。

亮点与洞察¶

多模态长视频语义的「角色-动作」解耦：不仅利用图像帧，而且同步借助音频对白与剧本大纲指导 GPT-4o 打标，彻底解决了短视频片段语境缺失引发的幻觉问题。
用不完美的合成数据突破共存边界：敏锐地洞察到扩散模型对跨风格先验的缺失可以通过 SAM2 粗粒度时空抠图合成来弥补，巧妙地将原本无法获取的「跨界同框数据」以极低成本转化为有效的弱监督流。
可迁移至开放域角色生成任务：所建立的「实体锚点标注 + 风格标签约束 + 混合微调」范式，可推广到游戏角色跨界联动、虚实主播同台互动等广泛的 AIGC 创意生成场景。

局限与展望¶

需要重训或微调以引入新角色：当前方法依赖对目标角色视频的预收集与 LoRA 参数微调，尚无法实现真正的零样本（Zero-Shot）单图或即时角色迁移。
密集复杂重叠交互仍存瓶颈：当场景中出现 3 个以上角色，或者角色之间发生深度肢体遮挡、剧烈打斗等复杂拓扑变化时，偶尔仍会出现局部形变或动作黏连。
未来方向：探索无须微调的即插即用角色适配器（Adapter），以及引入物理碰撞约束或时空注意力掩码以进一步增强接触式交互的鲁棒性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性形式化并解决了多角色视频生成中的「非共存」与「风格幻觉」核心矛盾。
实验充分度: ⭐⭐⭐⭐⭐ 构建了包含 81 小时素材的新基准，设计了 9 维客观与多模态 VLM 联合评估指标。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对照清晰，问题定义与技术解法对应精准。
价值: ⭐⭐⭐⭐⭐ 为影视 IP 联动、AI 叙事动画与跨世界观创意视频生成开拓了切实可行的新技术路径。