FDM-MFVT: Few-step Sampling Diffusion Model for Mask-Free Virtual Try-On¶

会议: ECCV 2026
论文: ECCV 原文
领域: 图像生成
关键词: 虚拟试衣、扩散模型、少步采样、无掩码试衣、噪声优化

一句话总结¶

针对传统扩散虚拟试衣依赖复杂掩码预处理且采样步数过多（30~50步）导致推理迟缓的瓶颈，FDM-MFVT 提出了服装感知噪声优化模块（OANO）与指令驱动试衣模块（IDT），仅需 6 步采样（0.28秒噪声生成）即可实现无需任何人体掩码的高保真虚拟试衣。

研究背景与动机¶

基于图像的虚拟试衣（Image-based Virtual Try-On, IVTON）旨在将目标服装真实地渲染穿戴在目标人物身上，在电商零售、数字时尚与人像编辑中具有极高的商业价值。近年来，以 StableVITON、OOTDiffusion 和 IDM-VTON 为代表的基于扩散模型的方法凭借强大的图像生成先验，大幅提升了试衣图像的细节真实感与服装质感。然而，现存扩散试衣框架普遍深陷两大计算与架构困境：一是扩散去噪过程计算开销巨大，通常需要数十步（30~50步）迭代采样才能收敛，严重制约了试衣系统的实时响应能力；二是高度依赖显式的人体无关掩码（agnostic mask）以及 DensePose、人体解析图（parsing maps）等繁琐的辅助预处理网络。这种多重条件依赖不仅导致推理流水线极其冗长脆弱，而且掩码边界哪怕出现微小的分割偏差，就会直接引发边缘畸变、手腕截断、发丝误消除或原有衣物残影等严重伪影。

造成上述瓶颈的核心矛盾在于：扩散模型在极少步数（Few-step）采样时对初始噪声分布极其敏感，盲目减少采样步数会导致高频纹理崩塌与几何失真；同时，社区长期缺乏大规模高质量的无掩码配对训练数据，阻碍了端到端无掩码框架的学习。若强行剔除掩码，常规模型往往无法精准区分待替换衣物与需保留的人体部位，导致衣物边界模糊与身份特征丢失。

本文的切入视角是深入探究扩散采样效率与初始噪声先验的内在关联——研究发现初始随机噪声的奇异向量特征对生成轨迹具有决定性影响，部分特定噪声状态可以在极少采样步数下快速逼近目标数据流形。核心 idea：将虚拟试衣任务解耦为「服装感知的初始噪声优化」与「轻量自适应指令引导试衣」，通过 OANO 模块在频域奇异值空间内将随机噪声对齐到服装与人像流形，仅需 6 步采样即可收敛；同时引入 IDT 模块以无掩码多模态指令融合实现端到端服装迁移。

方法详解¶

整体框架¶

FDM-MFVT 基于前沿的大规模扩散变换器架构（Flux1.Fill Backbone）构建，整体流水线由服装感知噪声优化模块（OANO）与指令驱动试衣模块（IDT）协同组成。给定目标服装图像 $I_g$ 与目标人物图像 $I_p$，系统不再依赖人体解析掩码或姿态图，而是直接在像素与隐空间完成端到端试衣：首先由 OANO 模块捕获人物与服装的联合语义先验，借助 SVD 奇异值分解与交叉注意力扰动，将高斯随机噪声 $x_T$ 快速精炼为富含服装结构先验的最优初始噪声 $\hat{x}'_T$；随后，IDT 模块将人物、服装隐变量与 T5 编码的试衣文本指令拼接为统一的上下文化 Prompt Token，输入经由特定 LoRA 自适应层微调的 DiT 模块，在短短 6 步采样内直接去噪生成高保真试衣结果。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Inp["输入: 人物图像 Ip + 目标服装 Ig"] --> OANO["服装感知噪声优化 (OANO)<br/>SVD分解 + 跨模态注意力扰动随机噪声"]
    OANO --> NoiseOpt["服装感知初始噪声 x'T<br/>6步极速采样起点"]
    Inp --> IDT["指令驱动试衣模块 (IDT)<br/>VAE隐变量与T5文本指令拼接"]
    NoiseOpt --> DiT["Flux1.Fill Inpainting DiT<br/>多模态LoRA双分支微调"]
    IDT --> DiT
    DiT --> Out["输出: 高保真无掩码试衣图像 (1024x768)"]

关键设计¶

1. 服装感知噪声优化模块（OANO）：重构极少步采样的初始分布

扩散模型在极少采样步数（例如 6 步）下往往无法充分从纯各向同性高斯白噪声中重构出复杂服装纹理，导致细节模糊。OANO 旨在直接为采样过程提供一个具备丰富服装几何与外观先验的初始化起点。作者通过反演（Inversion）与重构质量函数 $Q(\cdot)$ 筛选出优于随机噪声 $x_T$ 的高质量目标噪声 $x'_T$，构建训练集 $\mathcal{D}_{\text{noise}} = \{(x_T, x'_T \mid Q(x'_T) > Q(x_T))\}$。由于直接拟合高维噪声极其困难，OANO 借助奇异值分解（SVD）理论，发现高质量反演噪声与高斯噪声的奇异向量具有强相关性。模块将人像与服装拼接编码为特征 $I_f = L(E(I_{gp}))$，并对随机噪声进行奇异值分解 $x_T = U \Sigma V^T$。随后通过自注意力与跨模态注意力机制将服装条件注入： $$Z_T = \mathrm{softmax}\left(\frac{Q_R K_T^T}{\sqrt{D_K}}\right) V_T$$ 其中查询向量 $Q_R$ 由服装人像特征映射生成，键值向量 $K_T, V_T$ 由噪声特征经自注意力提取。经由前馈网络与缩放系数融合后，再通过逆奇异变换重构出优化初始噪声 $\hat{x}'_T = U \times L(\mathrm{SA}(x'_{T_f})) \times V^T$。该模块参数量极小，推理耗时仅 0.28 秒，使得原本需要 30 步才能呈现的高质量试衣细节在第 6 步即可完美收敛。

2. 指令驱动试衣模块（IDT）：彻底摆脱显式掩码与辅助编码器

现有试衣模型对人体姿态图、密集姿态（DensePose）及精细服装掩码的依赖，导致推理阶段极易受前端预处理分割误差的级联干扰。IDT 模块将虚拟试衣重新表述为多模态上下文引导的图像修复与生成任务。模块利用 VAE 编码器将服装与人物图像映射为隐空间视觉 Token $z_i$，同时使用预训练 T5 编码器将试衣提示词指令 $P_t$ 编码为文本 Token $z_t$，两者沿序列维度直接拼接为统一下下文序列 $Z = \mathrm{Concat}(z_i, z_t)$。该设计将服装替换区域的隐式分割与对应性建立完全交由大型 Diffusion Transformer 自主推理，无需任何人工或算法生成的显式轮廓掩码。

3. 轻量化双分支 LoRA 自适应结构：平衡大模型先验与试衣语义对齐

直接全量微调庞大的 DiT 骨干网络不仅显存开销难以承受，且极易破坏基础生成模型的通用先验。IDT 引入了专门设计的双分支低秩自适应（LoRA）模块。归一化后的上下文 Token $Z_n$ 被并行送入多模态注意力分支（MM-Attn）与多层感知机分支（MLP）： $$Z_{\text{attn}} = \mathrm{MM\text{-}Attn}(Z_n), \quad Z_{\text{mlp}} = \mathrm{MLP}(Z_n)$$ 两路特征拼接后经线性投影层得到 $Z_{\text{proj}}$，并与输入特征进行元素级哈达玛积调制与残差连接： $$Z_{\text{out}} = Z_{\text{proj}} \odot Z_n + Z_n$$ 通过冻结 Flux1.Fill 骨干参数并仅优化该 LoRA 结构，模型在极小参数增量下实现了服装纹理与人体体型、骨骼结构的高精度对齐，有效抑制了极端姿态下的衣物穿模现象。

4. MFVT 数据集构建：首个 3 万对高质量无掩码试衣基准

针对无掩码虚拟试衣领域缺乏标准化配对数据的痛点，研究团队构建了 MFVT 数据集。作者利用高保真掩码试衣模型对 VTON-HD 和 DressCode 中随机采样的服装-人物对进行交叉合成，生成穿着目标服装的人物图像，最终剔除所有掩码标签，构成包含原始人物、目标服装与试衣结果的三元组配对。MFVT 涵盖 30,000 对 $1024 \times 768$ 高分辨率样本，包括 10,671 对上衣（Upper-body）、9,761 对下装（Lower-body）和 9,568 对连衣裙（Dresses），按 7:3 严格划分训练集与测试集，为学术界提供了完整的无掩码评测基石。

损失函数 / 训练策略¶

模型采用阶段式解耦训练策略，确保两模块分别专精于噪声流形优化与多模态扩散对齐： - OANO 模块训练：在噪声对数据集 $\mathcal{D}_{\text{noise}}$ 上使用均方误差（MSE）监督预测噪声逼近高质量反演噪声 $x'_T$： $$\mathcal{L}_{\mathrm{OANO}} = \frac{1}{D} \|x'_T - \hat{x}'_T\|^2$$ 该阶段在单张 80GB NVIDIA A800 GPU 上训练 150 个 epoch，batch size 为 64。 - IDT 模块训练：冻结 Flux1.Fill 核心权重，仅微调 LoRA 适配参数，遵循标准扩散去噪目标函数： $$\mathcal{L}_{\mathrm{diff}} = \mathbb{E}_{x_0, t, \epsilon} \left[ \|\epsilon - \hat{\epsilon}_\theta(x_t, t, Z_{\mathrm{out}})\|^2 \right]$$ 该阶段在两张 80GB NVIDIA A800 GPU 上以 batch size 16 迭代训练 15,000 步。

实验关键数据¶

主实验¶

论文在无掩码（MFVT）与传统有掩码基准（VTON-HD, DressCode）上分别进行了严格评估，采样步数均测试了 6 步与 30 步设置。

表1：MFVT 数据集上与无掩码基线 Any2AnyTryon 的定量对比（Inf.Step = 6 与 30）

方法	服装类别	LPIPS (6步) ↓	SSIM (6步) ↑	FID (6步) ↓	KID (6步) ↓	LPIPS (30步) ↓	SSIM (30步) ↑	FID (30步) ↓	KID (30步) ↓
Any2AnyTryon	Upper-body	0.324	0.769	11.247	1.421	0.147	0.854	8.471	0.725
FDM-MFVT (本文)	Upper-body	0.087	0.887	8.341	0.725	0.085	0.893	8.341	0.712
Any2AnyTryon	Lower-body	0.475	0.774	11.452	1.213	0.102	0.867	8.527	1.054
FDM-MFVT (本文)	Lower-body	0.083	0.879	8.316	0.968	0.082	0.880	8.219	0.945
Any2AnyTryon	Dresses	0.348	0.771	10.461	1.411	0.164	0.829	8.527	0.947
FDM-MFVT (本文)	Dresses	0.102	0.872	8.431	0.901	0.091	0.883	8.286	0.872

表2：VTON-HD 与 DressCode 上衣非配对测试集与 8 种 SOTA 有掩码基线对比

模型	VTON-HD (6步) FID ↓	VTON-HD (6步) KID ↓	VTON-HD (30步) FID ↓	VTON-HD (30步) KID ↓	DressCode (6步) FID ↓	DressCode (6步) KID ↓	DressCode (30步) FID ↓	DressCode (30步) KID ↓
StableVTON	13.427	3.427	9.717	1.450	22.847	6.547	13.666	3.857
OOTDiffusion	16.362	5.871	12.268	3.214	37.106	7.839	29.383	4.302
CATVTON	13.949	3.946	10.263	2.370	23.185	3.147	12.720	1.910
TPD	16.235	6.692	13.124	3.527	25.073	2.978	12.957	1.874
IDM-VTON	12.539	2.849	9.261	1.253	21.849	3.041	11.879	1.813
ITA-MDT	11.054	3.014	8.889	1.397	20.437	3.256	11.928	1.871
OmniVTON	13.296	3.781	9.732	1.193	22.348	3.239	12.324	1.869
FastFit	12.316	3.258	8.731	1.264	21.316	3.124	11.542	1.824
FDM-MFVT (本文)	8.687	1.201	8.659	1.010	11.231	1.401	10.963	1.394

消融实验¶

表3：FDM-MFVT 模块消融定量实验结果（在 MFVT 测试集上）

配置	LPIPS ↓	SSIM ↑	FID ↓	KID ↓	说明
w/o OANO	0.121	0.864	8.417	1.019	去除噪声优化，退化为随机噪声初始化，少步采样结构感知力下降
w/o IDT	0.135	0.859	8.378	1.142	去除指令驱动适应，跨模态对齐受损，LPIPS 明显恶化 (+48.4%)
FDM-MFVT (完整模型)	0.091	0.879	8.363	0.865	双模块协同达到最佳视觉保真度与结构一致性

关键发现¶

少步采样的代际跨越：在 MFVT 数据集上，FDM-MFVT 仅需 6 步采样即可达到甚至超越 Any2AnyTryon 30 步采样的指标（例如在 Dresses 类别，Any2AnyTryon 30 步的 SSIM 为 0.829，而本文 6 步即达到 0.872，FID 从 10.461 降至 8.431）。
有掩码基准上的越级超越：即便完全不使用任何显式人体掩码，FDM-MFVT 在 DressCode 6 步下的 FID（11.231）依然显著击败所有基线的 30 步结果（如 FastFit 30 步 FID 为 11.542，ITA-MDT 为 11.928）。
极速低开销：OANO 模块在仅需 0.28 秒计算开销的情况下，提供了关键的频域流形对齐，使去噪步数压缩至原本的五分之一。

亮点与洞察¶

SVD 噪声奇异向量与服装条件的结合：利用反演噪声在奇异向量上的分布特性，通过轻量注意力直接在初始化阶段对高斯噪声施加服装条件，打破了“扩散模型必须从纯无偏随机噪声开始多轮去噪”的固有假设。
无掩码（Mask-Free）架构的端到端鲁棒性：彻底摒弃了人体解析图、DensePose 等依赖外部检测器的易损组件，有效杜绝了因分割掩码边缘瑕疵导致的手腕扭曲、多余发丝生成与原衣物边界残留。
MFVT 开源数据集填补生态空白：30,000 对 $1024 \times 768$ 规范化三元组数据，系统性覆盖上衣、下装与连衣裙三大典型场景，为无掩码虚拟试衣提供了标准化测评平台。

局限与展望¶

复杂大姿态与极端遮挡下的肢体重建：尽管在 StreetVTON 上展示了优良的泛化能力，但对于极端扭曲姿态或手臂交叉严重遮挡衣物躯干的场景，在无显式姿态骨架约束下偶有纹理错位现象。
多件多品类同时叠穿（Layered Try-On）：目前 MFVT 与框架评测主要集中在单件衣物（上装/下装/连衣裙）的独立试衣，尚未支持外套与内搭同时叠穿的层次化交互。
未来方向：探索将 3D 人体几何先验隐式融入噪声优化过程，并进一步扩展至多层服饰搭配与视频时序一致性试衣任务。

评分¶

新颖性: ⭐⭐⭐⭐☆ (巧妙利用 SVD 奇异值分解将服装条件融入初始噪声，思路新颖有效)
实验充分度: ⭐⭐⭐⭐⭐ (涵盖自建 MFVT、经典 VTON-HD、DressCode 及真实野外 StreetVTON，指标与消融完备)
写作质量: ⭐⭐⭐⭐⭐ (结构严整，数学推导与实验论证清晰自洽)
价值: ⭐⭐⭐⭐⭐ (为虚拟试衣向实时交互、无掩码商用落地迈出了关键一步)