HOMIE: Human-Object Centric Video Personalization via Multimodal Intelligent Enhancement¶

会议: NeurIPS 2026
arXiv: 2607.18217
代码: https://yiyangcai.github.io/homie-page.github.io/
领域: 视频生成
关键词: 视频个性化, 多模态大语言模型, 全局多模态引导, 模态-参考嵌入, 扩散变换器

一句话总结¶

HOMIE 针对以人和物体为中心的视频个性化（HOCVP），在保留文本编码器控制力的前提下引入 MLLM 提取跨参考语义关系，通过全局多模态引导与模态-参考嵌入统一处理跨主体交互与同主体多参考视图增强。

研究背景与动机¶

以人和物体为中心的视频个性化（Human-Object Centric Video Personalization, HOCVP）是可控视频生成领域的核心任务。通过输入具体人物和物体的参考图像，模型需要合成包含丰富、自然的人机与人物交互视频，在虚拟试穿、电商带货、数字人互动等场景具有重要实用价值。然而，现实中的参考图像组织结构天然分为两类：一是跨主体（Inter-Subject）设置，输入图像对应不同独立实体，模型不仅要在主体数量增加时维持各实体的外观保真度，还必须理解复杂的交互逻辑，尤其在面对商标/Logo 等抽象概念时，传统方法往往难以自主将其关联到语义相符的载体上，极易产生机械的画中画拼接伪影；二是同主体（Intra-Subject）设置，输入的多个参考对应同一实体（例如商品的多角度视图或增强文字清晰度的 OCR 局部图），此时模型往往缺乏辨析这些图像属于同一实体的机制，甚至依赖昂贵的 3D 先验，容易误将辅助视角识别为独立新物体而造成内容冗余复制。

要理清这些隐式关联，自然需要引入具备高级视觉推理能力的多模态大语言模型（MLLM）。然而，现有将 MLLM 整合到视频扩散模型（VDM/DiT）的范式存在明显权衡缺陷。一种主流做法是将 MLLM 提取的特征强行对齐并拼接到文本编码器（如 UmT5）的嵌入空间中，这种瓶颈压缩不仅削弱了原有文本编码器建立的稳定运动控制力，也限制了 MLLM 表达细粒度视觉对应与几何空间关系的能力；另一种做法则是彻底弃用文本编码器、由 MLLM 全权充当条件提取器，但这会带来极高的全流程重对齐训练成本，使 MLLM 分散大量容量去重建通用的文本到视频生成先验，反而无法专注于辨识复杂的跨主体交互与同主体特征绑定。

本文的切入角度是保留原有稳定的文本编码器以维持基础文本控制力，将 MLLM 作为即插即用的关系推理器，构建视频潜变量、参考图像与 MLLM 特征统一输入流，并在自注意力层中通过仿射调制直接注入高阶语义引导。核心 idea：保留原有文本编码器以保障基础动作控制，构建统一多模态输入流并引入全局多模态引导（GMG）进行时序仿射调制，同时配合可学习的模态-参考嵌入（MRE）区分异构模态并绑定同主体多参考图，实现低成本且高保真的两类 HOCVP 统一建模。

方法详解¶

整体框架¶

HOMIE 基于 Flow Matching 框架与扩散变换器（DiT，如 Wan2.1/2.2-14B）构建。系统整体输入包含文本提示词 $\mathcal{P}$、参考图像集合 $\mathcal{I}=\{I^m_n\}$（其中 $m$ 标识主体实体编号，$n$ 标识同一主体的第 $n$ 个参考实例）以及生成目标视频。首先，文本提示词由预训练文本编码器（如 UmT5）编码并通过交叉注意力层注入网络，保障文本对生成动作和场景的精确引导。视频与所有参考图像则通过 3D VAE 编码为潜在特征 $F_v$ 和 $F_r$。与此同时，冻结的 MLLM（Qwen3-VL-2B-Thinking）结合定制系统提示词与输入图文对，抽取富含语义和实体交互逻辑的隐状态，再经由两层轻量对齐网络 $\phi$ 映射至 DiT 特征维度得到 $F_M$。三者在序列维度拼接为统一输入流 $F = [F_v \oplus F_r \oplus F_M]$，在送入 DiT 前叠加模态-参考嵌入（MRE）以显式标记模态来源和主体从属关系。在 DiT 的每一层自注意力计算中，全局多模态引导（GMG）从 MLLM 的 Query 和 Key 中池化出时序全局向量，对视频潜变量的 Query 和 Key 进行特征级仿射缩放与平移调制，使视频生成过程深度浸润在 MLLM 的语义交互与逻辑推理指导之下。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据：文本指令 + 参考图集合 + 视频潜变量"] --> B["统一多模态输入构建<br/>3D-VAE编码图像与视频，MLLM提取交互语义特征"]
    B --> C["模态-参考嵌入 (MRE)<br/>注入模态类型嵌入与主体实体编号嵌入"]
    C --> D["自注意力前置拆分<br/>切分为视频、参考图像与 MLLM 的 Q, K, V 分量"]
    D --> E["全局多模态引导 (GMG)<br/>时序池化 MLLM 提示并通过仿射变换调制视频 Q 与 K"]
    E --> F["标准自注意力与交叉注意力计算<br/>融合文本交叉注意力并执行 DiT 块前向传播"]
    F --> G["流匹配速度预测与视频重构输出"]

关键设计¶

1. 统一多模态输入构建：轻量对齐与特征级拼接解耦文本与视觉推理
针对直接替换文本编码器导致重训练成本巨大、或将 MLLM 压缩至 UmT5 空间引发表达瓶颈的问题，HOMIE 选择保持文本编码器不变，单独将 MLLM 作为关系推理专家。具体而言，冻结的 MLLM 在定制提示词引导下审视人物、物体外观与文字要求的物理空间交互逻辑，生成高维隐状态序列。对齐网络 $\phi$ 仅包含简单的两层 MLP，将 MLLM 隐状态投影到与 3D VAE 潜变量相同的通道维度： $$F_M = \phi(\Phi_M(\mathcal{P}_{sys}, \mathcal{P}, \mathcal{I}))$$ 随后将视频潜变量 $F_v$、参考图像潜变量 $F_r$ 与 MLLM 语义特征 $F_M$ 在输入端沿 token 序列维度直接拼接为 $F = [F_v \oplus F_r \oplus F_M]$。这种设计让原有的自注意力机制可以直接跨模态抓取上下文，使 MLLM 无需承担从零学习文本到视频对齐的繁重负担，能够全心聚焦于捕捉跨主体关联与抽象概念绑定。

2. 模态-参考嵌入（MRE）：跨模态解缠与同主体参考绑定的联合嵌入机制
统一多模态输入流融合了视频补丁、静态参考图和高层文本-视觉特征三类完全不同的异构表达，极易引发特征混淆；更关键的是，在同主体设置下（如杯子的正反面多视角图、或带有局部 OCR 文本特写的包装袋），模型无法仅凭潜变量判断两张图是否属于同一个物理实体。为此，MRE 提出了两级嵌入结构：首先为视频、参考图像与 MLLM 三种模态分别指定可学习的模态嵌入（Modality Embedding, ME），加在对应序列片段上： $$\bar{F}_* = F_* + \text{ME}[\text{Proj}(*)] \quad (* \in \{v, r, M\})$$ 其次，针对所有参考图像特征引入实体参考嵌入（Reference Embedding, RE）。若输入图像 $I_n^m$ 属于第 $m$ 个物理主体（例如 $m=1$ 代表人物，$m=2$ 代表同一个杯子的俯视与正视两张多视角图），则这些图的潜变量都会被赋予完全相同的引用向量 $\text{RE}[m]$： $$\bar{F}_r^m = \bar{F}_r^m + \text{RE}[m]$$ 而对于跨主体输入，不同实体被赋予互不相同的 $\text{RE}$。这样模型既能清楚区分不同模态的特征分布，又能在潜空间中显式将多个 intra-subject 视角锚定到同一概念实体，彻底杜绝了模型将同一个物体的辅助视角或文字特写错误画成画面中并存的两个实体的“复制粘贴”缺陷。

3. 全局多模态引导（GMG）：时序池化仿射调制增强注意力交互
虽然拼接的 MLLM 特征提供了强大的语义线索，但其特征分布与 3D VAE 图像潜变量之间仍存在不可忽视的模态鸿沟，直接进行普通全注意力运算可能会干扰视频生成的时空连续性，难以提供稳定的跨帧全局交互调控。GMG 在自注意力计算的 Query-Key 映射阶段发挥作用：将注意力投影后的视频、参考图及 MLLM 的 Query 和 Key 显式拆分为 $\{Q_v, Q_r, Q_M\}$ 和 $\{K_v, K_r, K_M\}$。为避免破坏参考图与视频之间的原始几何对应，$Q_r$ 与 $K_r$ 保持原样不作改动。对 MLLM 的 $Q_M$ 和 $K_M$ 沿序列维度进行平均池化，提炼出表征全局图文交互关系的单一引导向量： $$\tilde{Q}_M = \text{Pooling}(Q_M, \text{dim}=1) \in \mathbb{R}^{b \times 1 \times h}, \quad \tilde{K}_M = \text{Pooling}(K_M, \text{dim}=1) \in \mathbb{R}^{b \times 1 \times h}$$ 随后通过两个轻量投影层 $\gamma$ 和 $\beta$ 生成缩放与平移系数，广播并对视频序列的 $Q_v$ 和 $K_v$ 施加特征级仿射调制： $$\tilde{Q}_v = (1 + \gamma_q(\tilde{Q}_M)) \odot Q_v + \beta_q(\tilde{Q}_M)$$ $$\tilde{K}_v = (1 + \gamma_k(\tilde{K}_M)) \odot K_v + \beta_k(\tilde{K}_M)$$ 经过调制后的 $\tilde{Q}_v$ 和 $\tilde{K}_v$ 与原始参考特征重新拼回进行标准 Scaled Dot-Product Attention。这种调制机制使视频潜变量在关注自身时空邻域的同时，时刻受到 MLLM 推理出的全局人-物交互逻辑的先验牵引，显著增强了对复杂交互动作及抽象概念（如将 Logo 精确印在杯身而非悬浮在空中）的空间放置推断能力。

损失函数 / 训练策略¶

HOMIE 采用流匹配（Flow Matching）目标进行端到端优化，学习确定性轨迹上的速度场预测： $$\mathcal{L}_{\mathrm{FM}}(\theta) = \mathbb{E}_{t, z_0, z_1} \| v_\theta(z_t, t, c) - (z_1 - z_0) \|_2^2$$ 其中条件集 $c = \{c_{\mathrm{txt}}, c_{\mathrm{img}}, F_M\}$ 包含文本、参考图及 MLLM 引导。为循序渐进地构建模型能力，论文采用了分三阶段的渐进式微调方案： 1. 单主体训练阶段（Stage 1）：在 300K 单主体（仅人物或仅物体）视频数据集上以 480×832 分辨率训练 3000 步（学习率 1e-5），随机挑选并分配参考嵌入，重点巩固单个实体的基础身份一致性。 2. 多主体人-物交互训练阶段（Stage 2）：在 100K 包含人物与物体交互的多主体数据集上训练 2000 步（学习率 1e-5），固定分配参考嵌入的次序，促使模型借助 GMG 与 MRE 学习复杂的跨主体交互物理规律与同主体多视角/OCR 对应关系。 3. 高分辨率精调阶段（Stage 3）：筛选出 40K 高质量 720P（720×1280）多主体样本，以较小学习率（2e-6）微调 500 步，显著提升生成视频的画面细节、纹理锐度与文字边缘清晰度。整套训练仅耗费约 1.1 万 A100 GPU 小时，远低于全量替换文本编码器方案的数十万计算开销。

实验关键数据¶

主实验¶

论文在包含 200 个样本（其中 140 个样本含有 3 张及以上参考图，涵盖跨主体、抽象概念如 Logo、同主体多视角及 OCR 地图）的评测基准上进行了系统评测。针对视频质量（AES 美学评分、MS 动作平滑度）、文本依从度（GMEScore）以及主体一致性（Face-Sim 人脸相似度、DINO-I、GPT-5.2 评定的 Obj-Sim 物体相似度及 OCR 准确率）的主实验定量对比见下表。

方法	AES ↑	MS ↑	GMEScore ↑	Face-Sim ↑	DINO-I ↑	Obj-Sim ↑	OCR Acc. ↑
Kling 1.6 (闭源商业模型)	0.558	0.997	0.531	0.678	0.492	0.764	0.272
VACE (ICCV 2025)	0.517	0.994	0.685	0.650	0.539	0.828	0.371
MAGREF (ICLR 2026)	0.499	0.971	0.689	0.589	0.429	0.754	0.135
SkyReels-A2 (2025)	0.493	0.946	0.652	0.599	0.524	0.803	0.288
SkyReels-V3 (2026)	0.523	0.971	0.656	0.739	0.526	0.847	0.326
Phantom (ICCV 2025)	0.505	0.991	0.677	0.801	0.519	0.774	0.302
HuMo (AAAI 2026)	0.468	0.988	0.649	0.749	0.463	0.734	0.304
BindWeave (ICLR 2026)	0.471	0.970	0.610	0.635	0.399	0.557	0.111
FFGO (CVPR 2026)	0.413	0.939	0.673	0.580	0.422	0.739	0.235
UniVideo (ICLR 2026)	0.463	0.995	0.684	0.772	0.493	0.872	0.325
VINO (2026)	0.506	0.969	0.694	0.768	0.509	0.868	0.331
HOMIE (Wan2.1-14B)	0.508	0.994	0.691	0.786	0.543	0.891	0.452
HOMIE (Wan2.2-14B)	0.525	0.997	0.696	0.760	0.537	0.877	0.431

针对同主体多视角输入的生成一致性，论文通过 DINO Recall（$\text{DINO}_{rec}$，评估参考视角是否在视频中被生成）和 DINO Accuracy（$\text{DINO}_{acc}$，评估视频帧中物体的角度真实性）进行了专门评估：

方法	$\text{DINO}_{rec}$ ↑	$\text{DINO}_{acc}$ ↑
VACE	0.642	0.551
Phantom	0.633	0.553
BindWeave	0.614	0.546
SkyReels-V3	0.654	0.558
HOMIE (Wan2.1-14B)	0.685	0.582
HOMIE (Wan2.2-14B)	0.696	0.560

消融实验¶

论文在 Wan2.1-14B 基础上对不同模块组合与 MLLM 集成策略进行了消融实验，结果如下表所示：

配置	GMEScore ↑	Face-Sim ↑	DINO-I ↑	Obj-Sim ↑	OCR Acc. ↑	说明
(a) Plain (无 MLLM)	0.682	0.741	0.506	0.853	0.388	移除所有多模态输入、GMG 与 MRE
(b) w/o GMG	0.688	0.697	0.502	0.836	0.430	保留输入拼接但移除注意力仿射调制
(c) w/o MRE	0.690	0.738	0.508	0.840	0.376	移除模态与参考实体区分嵌入
(d) MLLM to UmT5	0.675	0.725	0.516	0.863	0.422	将 MLLM 特征接入 UmT5 交叉注意力空间
(e) 完整模型 (Full)	0.691	0.786	0.543	0.891	0.452	完整结合 GMG 与 MRE

关键发现¶

OCR 文字保真度大幅飞跃：完整模型在 OCR 准确率上达到 0.452，相较于此前开源最优模型 SkyReels-V3（0.326）相对提升超 21.8%（绝对值提升 0.126）。消融中若去掉 MRE（配置 c），OCR 准确率骤降至 0.376，表明将局部文本特写与主体绑定是避免文字被当作独立背景实体的关键。
GMG 是人脸与主体几何保真度的核心支柱：去掉 GMG 后（配置 b），人脸相似度从 0.786 直线下跌至 0.697，物体相似度由 0.891 降至 0.836。这证实了纯粹的 token 拼接容易受模态鸿沟干扰，通过时序池化仿射调制能够稳定视频时空潜变量在注意力层接收的高级多模态指导。
与 UmT5 拼接策略的劣势：将 MLLM 强行接入 UmT5 空间（配置 d）导致文本依从度 GMEScore 跌至最低的 0.675，且在定性评测中无法生成连贯的人-物交互动作（如“拿起水杯喝水”），证明瓶颈连接会削弱基础文本生成控制力。

亮点与洞察¶

模态与实体的正交解缠设计：通过模态嵌入 ME 与引用嵌入 RE 的加性解耦，MRE 用极其微小的参数增量直接赋予了模型区分“同主体多视图/局部特写”与“不同独立主体”的能力，巧妙化解了同主体增强时的实体分裂难题。
轻量即插即用的仿射时序引导：GMG 不改变参考图像本身的自注意力结构，仅利用池化后的 MLLM 提示对视频 Query 与 Key 做缩放平移变换，既保障了计算效率，又避免了重度微调对预训练 DiT 生成多样性的破坏。
训练开销与推理表现的最佳平衡：相比于全量使用 MLLM 替代文本编码器动辄数万步的庞大对齐代价（如 VINO、UniVideo），HOMIE 仅需 5500 步三阶段微调即在 14B 骨干上取得超越或持平的性能，展示了保留文本编码器+侧路 MLLM 引导架构的高效实用性。

局限与展望¶

视频时长受底层架构限制：作者指出当前模型依赖 Wan-14B 基础模型，生成的个性化视频片段多在 5 秒左右，难以直接用于长时序复杂叙事视频。
多主体交互动作复杂度仍有上限：当参考实体数量进一步增加（例如超过 4 个复杂主体）或涉及极度剧烈、非刚性的物理形变交互时，视频生成仍偶有身体穿模或局部部件模糊现象。
未来方向：探索将 HOMIE 的 GMG 机制推广至长时序自回归视频生成框架，并在多智能体框架下融合更精细的时空物理运动先验。

评分¶

新颖性: ⭐⭐⭐⭐☆ 提出了保留文本编码器的解耦式 MLLM 引导机制，GMG 与 MRE 设计简洁而击中痛点。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 200 组极具挑战性的多主体/同主体基准，指标包含 OCR、DINO recall/acc、GPT-5.2 评估与人工用户调研。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，动机与设计权衡论证清晰，框架图与数学公式完备。
价值: ⭐⭐⭐⭐⭐ 为以人和物体为中心的个性化视频生成提供了高性价比的实用落地方案，商业落地潜力大。