MVI2V: Human Centric Image to Video Generation with Multiview Consistent Appearance¶

会议: ECCV 2026
论文: ECCV 官方页面
PDF: ECCV 论文 PDF
领域: 视频生成
关键词: 多视角图生视频、外观一致性、人体视频生成、多流扩散架构、电商应用

一句话总结¶

MVI2V 针对以人体为中心的图生视频在多视角运动中背部或隐蔽部位服装纹理失真的难题，提出了通过外挂轻量化独立参考流、跨流双向自注意力交互、随机人体修补训练子任务以及大旋转角解构数据管线，在仅增加约 2.1% 参数量的前提下实现多视角外观高度一致的人体动态视频生成。

研究背景与动机¶

以人体为中心（Human-Centric）的图像到视频生成（Image-to-Video, I2V）近年来在数字人娱乐、影视动画及个性化内容创作中取得了显著进展，但在电商试穿展示、服装全景营销等对外观保真度要求极为苛刻的高端应用场景中，现有模型仍面临难以逾越的瓶颈。标准的 I2V 扩散模型仅依赖单张条件首帧输入，当生成人体发生大幅度转身、旋转或视角变动时，模型对未被首帧观测到的背面或隐蔽部位缺乏真实先验，只能依赖预训练权重中的统计幻觉生成虚构纹理，导致转身后的图案、背部剪裁与真实服饰严重脱节。

解决这一问题的直观思路是引入多视角参考图像，但现有范式难以直接复用：传统人体动画模型侧重姿态驱动下的单参考动画，视频虚拟试衣（Video Virtual Try-On）专注于从静态衣服向动态视频的服装迁移，均无法在保持同一身份和连续动态的同时严格绑定多视角服饰外观。此外，若简单地将参考图像 Token 与视频 Token 沿序列拼接，会因多视角参考图的“清晰终点特征”与扩散加噪轨迹中的“混合噪声 Token”产生模态混淆，且预训练 I2V 模型对首帧的高度依赖往往使网络直接忽略多视角参考、陷入只按首帧先验生成幻觉纹理的局部最优。

针对上述矛盾，本文提出了一种无需从头重训、可平滑适配单流与双流 DiT 骨干的多视角图生视频增强框架。核心 idea：通过引入与主干同构但参数高效解耦的独立参考前向流和跨流双向自注意力机制，结合随机掩码首帧的修补训练策略与大角度视角挖掘管线，打破模型对首帧先验的捷径依赖，以极小参数代价实现严格的多视角外观一致性。

方法详解¶

整体框架¶

MVI2V 基于 Flow Matching 框架构建，旨在利用文本提示词、单张首帧条件图以及若干多视角人物/服装参考图像生成外观一致的视频序列。模型将干净的多视角参考图像视为独立的视觉模态，在预训练视频扩散骨干网络（如单流 Wan2.1 或双流 MMDiT 结构）中引入一个结构对齐但参数解耦的独立参考流，使参考特征仅在自注意力层与视频 Token 进行双向信息交互，避免直接拼接引起的特征混淆。在训练过程中，系统配合大角度旋转视角的数据筛选策略与随机人体掩码修补子任务，迫使模型充分吸收多视角参考中的纹理信息。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    DataPipeline["大角度与服装解构数据管线<br/>单人筛选+姿态角度聚类+服装区域分割"] --> Input["输入准备<br/>首帧 c_img + 文本提示 + 多视角参考图 c_ref"]
    Input --> InpaintingSubtask["随机人体修补训练子任务<br/>随机掩码首帧人体区域以阻断捷径"]
    LoRAAdaptation["轻量化 LoRA 旁路适配<br/>增设低秩分支仅增 2.1% 额外参数"] -.->|参数高效扩展| CrossStreamAttention["多流解耦与跨流双向自注意力<br/>视频 Token 与参考 Token 双向全局交互"]
    InpaintingSubtask --> CrossStreamAttention
    CrossStreamAttention --> Output["视频解码输出<br/>生成多视角外观严格一致的人体动态视频"]

关键设计¶

1. 大角度与服装解构数据管线：挖掘高质量多视角人体与服饰互补先验 现有多视角人体视频在通用数据集中处于长尾分布，若仅使用视角差异微弱或视角单一的片段，模型极易退化为单图生成。为此，本文设计了一套端到端的数据清洗与视角扩增管线。管线首先利用单人检测模型筛除无人物、多人或大面积截断的人体视频；随后利用 3D 人体位姿与形状重建网络（HMR）估计逐帧身体朝向角，仅保留旋转覆盖角度大于预设阈值的动态片段。在参考帧选取上，管线先锁定信息量最完备的正反两路极限视角帧，并对其余角度执行 K-Means 聚类以提取 3 帧聚类中心作为代表视角；最后通过 Gemini 与 Sa2va 密集分割模型分别抠出正背面上下装，形成包含 2 张正背面全局图、3 张聚类视角图和 4 张部位服装图在内的共计 9 张互补参考集。

2. 随机人体修补训练子任务：打破预训练首帧强先验造成的捷径学习 在直接微调预训练 I2V 模型时，首帧图像天然携带极强的时序连续性与身份先验，模型在早期时间步可以轻易根据首帧“脑补”出连贯动作，从而倾向于在优化过程中完全无视新增的参考图流，落入局部最优捷径。针对该失效模式，本文提出了在训练阶段随机掩码首帧人体区域的修补子任务：通过人体检测框将首帧中的人物整体置为全黑遮罩，迫使模型在失去首帧外观线索的情形下，只能从外部多视角参考流中提取服装图案、色彩与剪裁结构来重建人物视频。该机制在推理阶段完全关闭（恢复完整首帧输入），在零推理开销的前提下显著提升了模型对参考流的注意力分配权重。

3. 轻量化 LoRA 旁路适配：低算力消耗下的参考分支参数扩展 为独立处理干净的多视角图像 Token，直接复制视频前向流参数会导致显存占用翻倍与算力膨胀。MVI2V 采用低秩适应（LoRA）方式构建参考流的分支参数： $$W'_S = W_S + \alpha A_S B_S, \quad W'_C = W_C + \alpha A_C B_C, \quad W'_F = W_F + \alpha A_F B_F$$ 其中 $W_S, W_C, W_F$ 为基础视频流在自注意力、交叉注意力与前馈网络层的原始投影权重，$A$ 与 $B$ 分别为下采样与上采样低秩矩阵，$\alpha$ 为缩放因子。参考流直接继承预训练骨干的视觉表征权重，仅训练低秩增量矩阵。在 14B 参数量的 Wan2.1-I2V 骨干上，新增的 LoRA 参数仅约为 0.3B（占比约 2.1%），既保留了原生视频骨干的强大泛化力，又以极低成本完成了专用流的快速收敛。

4. 多流解耦与跨流双向自注意力：消除不同模态间的特征冲突 将多视角参考 Token 简单拼入主序列（Token-Concat）会导致两个层面的模态冲突：一是参考图为纯净潜在特征，而视频 Token 沿流匹配轨迹处于不同加噪阶段；二是参考图包含非时序的多视角几何空间，强行共用线性投影会导致特征混淆与解剖结构错乱。MVI2V 将参考图编码后切片展开为 Token 序列 $y$，通过独立的 LayerNorm 与线性变换映射后，仅在 DiT 块的自注意力算子内部与视频 Token 序列 $x$ 联合执行双向跨流注意力： $$[x_1, y_1] = \mathbf{SelfAttention}(x \oplus y; M_S, M'_S, W_S, W'_S)$$ 交叉注意力与 FFN 阶段则完全隔离在各自流内执行。这一设计既允许视频帧在全图范围内自适应查询各参考视角的纹理细节，又保证了参考特征不被时序噪声破坏。

损失函数 / 训练策略¶

模型基于 Rectified Flow / Flow Matching 目标训练，视频张量经视频编码器压缩为隐空间终点 $x_1$，与初始高斯噪声 $x_0 \sim \mathcal{N}(0, I)$ 线性插值得到时刻 $t \in [0, 1]$ 的中间状态 $x_t = t x_1 + (1 - t) x_0$。网络以速度矢量 $v_t = x_1 - x_0$ 为优化真值，在给定文本条件 $c_{\text{txt}}$、首帧条件 $c_{\text{img}}$ 和多视角参考条件 $c_{\text{ref}}$ 下计算均方误差损失： $$\mathcal{L} = \mathbb{E}_{x_0, x_1, c_{\text{txt}}, c_{\text{img}}, c_{\text{ref}}, t} \left\| u(x_t, c_{\text{txt}}, c_{\text{img}}, c_{\text{ref}}, t; \theta) - v_t \right\|^2$$ 训练时，基础视频流权重保持微调或部分冻结，参考流 LoRA 权重及跨流注意力适配模块参与联合优化。

实验关键数据¶

主实验¶

论文从电商网站采集了 300 个包含真实多视角人体与独立服饰图像的测试集，以评估服装一致性（GPT-4 引导的多视角打分与 DINO 图像特征余弦相似度）和视频质量（VBench 的主体一致性、背景一致性与运动平滑度）。

模型	GPTperson	GPTgarment	DINOperson	DINOgarment	主体一致性	背景一致性	运动平滑度
Wan2.1 (基线)	0.752	0.409	0.667	0.582	0.916	0.928	0.986
Token-Concat	0.797	0.512	0.715	0.620	0.902	0.922	0.982
Concat-ID	0.841	0.542	0.719	0.613	0.918	0.936	0.988
MVI2V-Wan2.1 (本文)	0.862	0.585	0.728	0.656	0.927	0.938	0.988
In-House (自研双流基线)	0.692	0.416	0.700	0.601	0.926	0.934	0.993
MVI2V-In-House (本文)	0.868	0.607	0.776	0.633	0.930	0.934	0.993

消融实验¶

基于 Wan2.1 骨干逐步加入核心模块的消融实验结果如下：

配置	GPTperson	GPTgarment	DINOperson	DINOgarment	主体一致性	背景一致性	运动平滑度	说明
Wan2.1 原生基线	0.752	0.409	0.667	0.582	0.916	0.928	0.986	无参考多视角能力
+ MVI2V 架构 (随机采样参考)	0.784	0.470	0.744	0.631	0.905	0.923	0.982	仅引入多流但缺乏有效数据引导
+ 视角筛选策略 (大角度聚类)	0.853	0.562	0.743	0.638	0.916	0.932	0.986	引入互补视角大幅提升一致性
+ 人体修补子任务 (完整本文)	0.862	0.585	0.728	0.656	0.927	0.938	0.988	掩码首帧阻断捷径，一致性与质量俱优

此外，在原始 VBench 单图生成基准上的测试表明，MVI2V-Wan2.1 的主体一致性由 0.938 升至 0.953，运动平滑度由 0.980 升至 0.987，证明引入多视角拓展完全未损害原有的单图生视频能力。

关键发现¶

视角筛选对外观保真的边际增益最高：在架构扩展基础上引入大角度与聚类参考帧后，GPTgarment 暴涨 0.092（由 0.470 增至 0.562），证明无序或相似视角的冗余参考对模型学习多视角映射帮助有限，极端视角（正反）与正交视角才是关键。
修补子任务有效治愈纹理遗忘：未加入人体修补时，模型在人体旋转至侧背面时仍频繁出现纹理涂抹或丢件现象；随机掩码首帧迫使网络从 LoRA 参考流中搬运细粒度纹理，使 GPTgarment 进一步达到 0.585。
参考视角数量的饱和效应：实验显示视角数量从 1 增加至 3 时提升最为显著，而在实际工业应用中，仅提供正反两张正交互补图像即可覆盖绝大部分人体自遮挡区域，兼顾了易用性与保真度。

亮点与洞察¶

多流解耦规避模态污染：将纯净的静态多视角参考图与时序带噪的视频隐变量分别放入专用前向流，仅在自注意力阶段进行交叉感知，既杜绝了序列拼接带来的解剖畸变，又以最小侵入性保护了预训练时序动力学。
掩码训练破除首帧捷径：巧妙地将 Image Inpainting 思路作为辅助任务注入视频生成训练中，人为斩断首帧先验的过拟合依赖，是多条件生成中促使辅助条件生效的极佳范式。
LoRA 轻量化普适扩展：仅需额外 2.1% 的可训参数即可将成熟单流（Wan2.1）或双流（In-House MMDiT）骨干升级为多视角生成器，迁移成本低，工程落地价值极高。

局限与展望¶

作者承认的局限：对极复杂剧烈运动或非刚性复杂变形（如流苏、轻纱透光与动态解开的配饰），多视角跨帧映射仍可能出现局部的微小纹理漂移。
潜在不足：当前数据管线依赖 HMR 和 2D 分割大模型（Gemini + Sa2va）预处理，如果前置多视角分割边缘存在伪影，噪声可能传导至生成端；此外对于多人交互或严重遮挡场景尚未覆盖。
改进思路：可引入显式 3D 人体几何先验（如 SMPL-X / 3DGS 锚点引导）对特征对齐施加空间投影约束，进一步提升复杂形变下的几何一致性。

评分¶

新颖性: ⭐⭐⭐⭐☆ [首次将多流解耦架构与修补策略系统性引入多视角图生视频任务，任务定义明确切中电商痛点]
实验充分度: ⭐⭐⭐⭐⭐ [对比 Token 拼接基线、自研双流骨干，并在专用 300 样本电商 Benchmark 及通用 VBench 上进行了完备评测]
写作质量: ⭐⭐⭐⭐⭐ [逻辑链条严密，动机具体深入，图表清晰自洽，消融剖析透彻]
价值: ⭐⭐⭐⭐⭐ [紧扣电商人体试穿展示的刚需场景，方案轻量且可无缝集成至当前前沿 DiT 视频大模型，具备极高的产业落地价值]