OpenVTON-Bench: A Large-scale High-Resolution Benchmark for Controllable Virtual Try-on¶

会议: NeurIPS 2026
arXiv: 2601.22725
OpenReview: https://openreview.net/forum?id=hkbyKxmccF
代码: https://github.com/RenxingIntelligence/OpenVTON-Bench
领域: 其他
关键词: 虚拟试衣, 高分辨率基准, 多模态评测协议, VLM裁判, 多尺度表征指标

一句话总结¶

针对虚拟试衣基准受限于影棚简单环境、低分辨率及传统标量指标缺乏语义感知的问题，本文构建了包含约 10 万对 1.5K 高清图像的 OpenVTON-Bench，并提出结合 VLM 五维语义评测与 SAM3 形态腐蚀多尺度表征的混合评测协议。

研究背景与动机¶

基于扩散模型的虚拟试衣（Virtual Try-On, VTON）技术在近年取得了突破性进展，生成样本在整体视觉真实感上达到了前所未有的高度。然而，现有的评测体系与工业级落地需求之间存在着严重断层。一方面，社区长期依赖的基准数据集（如 VITON-HD、DressCode）存在明显的“影棚中心偏差”（studio-centric bias），其图像多采用纯净单色背景、标准化站姿且分辨率有限（普遍在 1024×768 以下），根本无法检验模型应对自然复杂光照、大姿态形变以及真实遮挡的能力；另一方面，少数尝试更高分辨率的评测集往往受限于封闭商用授权或极小规模。

更为致命的痛点在于评测指标本身的“语义盲区”（semantic blindness）。传统客观评估严重依赖 PSNR、SSIM 等逐像素距离，或 LPIPS、FID 等基于 CNN 浅层/统计特征的单一标量分数。这类指标一方面对不影响视觉感知的微小空间位移过于苛刻惩罚，另一方面又对关键的语义瑕疵视而不见——例如生成模型在维持优秀全局 FID 的同时，可能彻底扭曲了服装的品牌 Logo、错改了服装版型或改变了人物体态。这类局部结构缺陷在低层统计中占比极微，但在真实商业应用中却是直接否决级的失败。

为弥合尖端生成能力与陈旧评测准则之间的鸿沟，需要一套既能涵盖多样化高分辨率真实场景、又能兼顾宏观语义推理与微观纹理结构校验的评测体系。核心 idea：构建约 10 万对 1.5K 级高分辨率基准 OpenVTON-Bench，并提出将 VLM 五维语义裁判（宏观对齐）与基于 SAM3 逐步腐蚀的多尺度 SSL 特征表征指标（解耦边缘对齐与内部纹理）相结合的混合评测协议。

方法详解¶

整体框架¶

评测协议与基准构建旨在全面评估虚拟试衣模型 $G$ 基于去衣人物图像 $I_p$ 与目标平铺服装 $I_g$ 生成合成图像 $\hat{I}=G(I_p, I_g)$ 的质量，并与真实试衣图像 $I_{gt}$ 对比。整个评测空间 $\mathcal{E}$ 划分为三大层次：VLM 驱动的语义评测 $\mathcal{E}_{\text{VLM}}$、自监督多尺度表征评测 $\mathcal{E}_{\text{Rep}}$ 以及辅助性的传统像素统计 $\mathcal{E}_{\text{Pix}}$。

数据侧通过聚合社交媒体与海量电商流、经过严格的人工对应性核验与 Gemini 2.0 Flash 稠密属性打标，再利用 DINOv3 视觉嵌入聚类分层采样出 99,925 对 1.5K 高分辨率配对三元组；评测侧结合 Qwen-VL-Plus 裁判与 SAM3 掩码渐进形态学腐蚀，从背景一致性、身份保留、纹理保真度、版型保留以及整体真实感五大维度立体解构试衣质量。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据源<br/>电商与社交平台 300 万+ 原始对"] --> B["高分辨率筛选与人工验证<br/>min(H,W)≥1024 且保留 30 万高质量配对"]
    B --> C["双层提示稠密属性标注<br/>Gemini 2.0 Flash 提取结构/面料/图案细节"]
    C --> D["特征聚类分层采样<br/>DINOv3 ViT-H+ 提取表征并做 K-Means (K=20)"]
    D --> E["掩码三元组构建<br/>GroundingDINO 与 SAM3 生成精准服装区域遮罩"]
    E --> F["五维 VLM 语义裁判<br/>Qwen-VL-Plus 对齐背景/身份/纹理/版型/真实感"]
    E --> G["多尺度表征度量<br/>SAM3 渐进形态腐蚀解耦边缘对齐与内部纹理"]
    F --> H["综合试衣质量诊断与模型排名"]
    G --> H

关键设计¶

1. 双层提示稠密属性标注：以层级提示挖掘长尾服装细粒度上下文 传统服装数据集标签过于单一粗糙，无法支撑精细的语义归因与文本引导试衣。本文采用 Gemini 2.0 Flash 构建双层粗到细标注流水线：首层判定服装主要类别为上衣（含连衣裙）或下衣；第二层依据所属类别动态应用专用结构化提示词。对上身服装引导模型细化袖长、领口、面料纹理及徽标印花；对下身服装重点提取版型剪裁、水洗质感、口袋与刺绣细节。整套流水线产出超过 300 万词的结构化细粒度描述，大幅超越了传统独立类别标签的表达能力。

2. 特征聚类分层采样：自监督嵌入均衡长尾视觉分布 时尚数据中基础款（如纯白 T 恤）占据统治地位，复杂纹理与罕见廓形极易被淹没在长尾分布中。本文舍弃易受文本偏差影响的 CLIP 编码，改用擅长捕捉全局结构与物体级视觉特征的 DINOv3 (ViT-H+) 提取平铺服装嵌入。在特征空间上执行聚类数 $K=20$ 的 K-Means 算法，将候选池聚类为 20 个视觉分层簇（$C_0 \sim C_{19}$），并跨各簇执行均衡分层采样，最终固化得到 99,925 对样本（训练集 89,927、验证集 4,989、测试集 5,009），从源头上规避了常规服装采样导致的视觉分布失衡。

3. 掩码渐进腐蚀多尺度表征度量：显式解耦边缘误差与内部纹理 传统特征相似度往往被边界轮廓的微小位移所主导，无法独立判定服装印花与材质的生成质量。本文结合 SAM3 分割与数学形态学腐蚀，首先从生成图像 $\hat{I}$ 与真值图像 $I_{gt}$ 中分别抽取服装区域掩码 $\hat{M}$ 与 $M_{gt}$，接着以结构元 $B$（$3\times 3$ 矩形）迭代进行 $k$ 阶腐蚀操作： $$M_{*}^{(k)}=M_{*}\ominus\bigl(\underbrace{B\oplus\cdots\oplus B}_{k\ \text{次}}\bigr)$$ 针对尺度 $k \in \{0, 1, 2, 3\}$，利用冻结的自监督编码器 $\Phi(\cdot)$（DINOv3）提取点乘掩码后的局部特征并计算余弦相似度： $$S_{\text{rep}}^{(k)}=\frac{\Phi(\hat{I}\odot\hat{M}^{(k)})^{\top}\Phi(I_{gt}\odot M_{gt}^{(k)})}{\|\Phi(\hat{I}\odot\hat{M}^{(k)})\|_{2}\,\|\Phi(I_{gt}\odot M_{gt}^{(k)})\|_{2}}$$ 当 $k=0$ 时覆盖整体服装与边界对齐，随着 $k$ 增大，边缘被逐步剥离，度量重心完全聚焦于内部布料纹理。配合全图无掩码余弦相似度 $S_{\text{global}}$ 与多尺度平均得分 $\bar{S}_{\text{rep}}=\frac{1}{K}\sum S_{\text{rep}}^{(k)}$，最终综合表征得分 $\bar{S} = \frac{1}{2}(S_{\text{global}} + \bar{S}_{\text{rep}})$ 实现了对身份一致性、外轮廓贴合及核心内部纹理的细粒度量化。

4. 五维 VLM 语义裁判：结构化提示下的参考型感知评估 针对单一指标无法解释瑕疵类型的问题，本文引入 Qwen-VL-Plus 构建基于参考的视觉语言裁判。输入目标服装 $I_g$、真实上身图 $I_{gt}$ 与模型生成图 $\hat{I}$ 组成的三元组，要求模型依据量规独立输出 1 到 5 分的五维向量： $$\mathbf{s}=[s_{bg}, s_{id}, s_{tex}, s_{shape}, s_{real}]=\mathcal{V}(I_g, I_{gt}, \hat{I}; \mathcal{T})$$ 分别严格对应非编辑区域的背景一致性 $s_{bg}$、人脸体态肤色的身份保持 $s_{id}$、Logo/面料/图案的纹理保真度 $s_{tex}$、领口/袖长/剪裁的几何版型 $s_{shape}$ 以及光影与自然褶皱的整体真实感 $s_{real}$。综合得分为五维均值 $s_{avg}$，使定性视觉评估转换为可解释的定量维度。

实验关键数据¶

主实验¶

在 OpenVTON-Bench 评测集上对 9 种主流代表性虚拟试衣方法进行了全面基准测试。表 1 汇报了由 Qwen-VL-Plus（VLM）与 76 名人类受试者（Human）打分的五维语义得分对比；表 2 给出了自监督多尺度表征评估得分；表 3 给出了传统像素与分布指标及与人类排序的相关性（元评估）。

方法	VLM $s_{bg}$ / 人类	VLM $s_{id}$ / 人类	VLM $s_{tex}$ / 人类	VLM $s_{shape}$ / 人类	VLM $s_{real}$ / 人类	VLM $s_{avg}$ / 人类
OOTD	4.074 / 4.608	3.685 / 3.832	3.278 / 3.217	3.898 / 3.697	3.794 / 3.595	3.746 / 3.790
UNO	4.167 / 3.220	3.749 / 2.308	3.577 / 2.364	4.141 / 2.907	4.067 / 3.913	3.940 / 2.942
EasyControl	4.273 / 4.459	3.824 / 3.496	3.506 / 3.163	4.105 / 3.824	4.055 / 3.900	3.953 / 3.768
FLUX.1-Kontext-dev	4.428 / 4.406	3.957 / 3.535	3.574 / 3.122	4.158 / 3.768	4.137 / 4.060	4.051 / 3.778
FLUX.2-dev	4.593 / 4.734	4.226 / 4.460	4.007 / 3.914	4.446 / 4.494	4.409 / 4.582	4.336 / 4.437
NanobananaPro	4.610 / 4.722	4.253 / 4.689	4.019 / 4.225	4.457 / 4.646	4.418 / 4.694	4.351 / 4.595
Qwen-Editor	4.617 / 4.729	4.270 / 4.606	4.046 / 4.132	4.472 / 4.590	4.431 / 4.666	4.367 / 4.545
HuiWa	4.611 / 4.682	4.256 / 4.538	4.050 / 4.018	4.465 / 4.546	4.424 / 4.664	4.361 / 4.490
YingHui	4.624 / 4.735	4.277 / 4.685	4.050 / 4.252	4.473 / 4.675	4.437 / 4.693	4.372 / 4.608

消融与分析实验¶

为了验证多尺度腐蚀表征指标对内部纹理保真度的敏感性，表 2 详细列出了掩码在渐进形态学腐蚀下的得分变化轨迹（$k=0 \to 3$）；表 3 汇报了传统像素统计与元评估一致性。

方法	全局一致性 $S_{\text{global}}$	$S_{\text{rep}}^{(0)}$ (全掩码)	$S_{\text{rep}}^{(1)}$ (腐蚀1)	$S_{\text{rep}}^{(2)}$ (腐蚀2)	$S_{\text{rep}}^{(3)}$ (深层内部)	平均服装 $\bar{S}_{\text{rep}}$	综合表征 $\bar{S}$
OOTD	0.844	0.797	0.755	0.701	0.669	0.731	0.788
UNO	0.737	0.763	0.730	0.674	0.628	0.699	0.718
EasyControl	0.854	0.830	0.807	0.765	0.729	0.783	0.818
FLUX.1-Kontext-dev	0.849	0.813	0.778	0.731	0.694	0.754	0.802
FLUX.2-dev	0.928	0.886	0.863	0.823	0.793	0.841	0.885
NanobananaPro	0.936	0.894	0.865	0.827	0.807	0.848	0.892
Qwen-Editor	0.936	0.903	0.876	0.840	0.819	0.859	0.898
HuiWa	0.933	0.882	0.859	0.821	0.793	0.839	0.886
YingHui	0.936	0.904	0.882	0.847	0.823	0.864	0.900

在人类模型排序一致性检验（元评估）中： - 综合表征指标 $\bar{S}$ 取得了所有评估准则中最高的 Kendall's $\tau_k = 0.833$ 与 Spearman $\rho_s = 0.933$（相比之下传统 SSIM 仅为 $\tau_k = 0.611, \rho_s = 0.767$；PSNR 仅为 $\tau_k = 0.611$）。 - VLM 综合得分 $s_{avg}$ 同样表现出色，取得 $\tau_k = 0.722, \rho_s = 0.850, \rho_p = 0.828$。 - 传统指标虽然 Qwen-Editor 在 PSNR (26.343 dB) 与 SSIM (0.905) 领跑，但其视觉检查显示其倾向于平滑纹理来最小化均方误差；而商业方案 YingHui 则在真实感更优的 FID (7.372) 和深层纹理保持 $S_{\text{rep}}^{(3)}$ (0.823) 上占据显著优势。

关键发现¶

显著的“纹理-真实感鸿沟”（Texture-Realism Gap）：通用大模型（如 FLUX.1-Kontext-dev）具备极佳的背景控制（4.428）与整体画质（4.137），但在细粒度服装纹理保真度上显著下滑至 3.574。预训练带来的通用真实感无法自动兑现为零样本特定图案保真能力。
渐进腐蚀能够揭露边缘过拟合伪象：随着掩码腐蚀深入，所有模型的分数均呈现递减趋势。早期方法如 OOTD 从 $k=0$ 到 $k=3$ 暴跌 0.128（0.797 跌至 0.669），表明其得分高度虚高依赖边界对齐；而领先商业系统 YingHui 在深层仍维持 0.823，展现出坚实的内部纹理复现。
传统逐像素指标在生成评估中失效：高 PSNR/SSIM 不等于高感知满意度，平滑虚化往往比结构丰富的微小空间偏移拿到更高的 PSNR 分数。

亮点与洞察¶

形态学腐蚀解耦空间对齐与纹理：将数字图像处理中的经典腐蚀运算与现代基础模型 SAM3 / DINOv3 巧妙嵌合，以极简优雅的操作解决了长期困扰生成评测的“边缘微位移掩盖内部材质”难题。
长尾时尚特征分层采样范式：基于自监督 DINOv3 视觉聚类而非简单的商品类别或 CLIP 文本投影进行平衡采样，确保了高难度纹理、小众版型与极端姿态在基准测试中的代表性。
可迁移的混合评测设计：对于图像编辑、个性化生成与可控修复等条件生成任务，将 VLM 高层语义推理和多尺度掩码特征相似度相结合的双轨评测框架可直接复用迁移。

局限与展望¶

基准依赖基础模型的固有偏差：候选池筛选、细粒度属性描述生成高度依赖 Gemini 2.0 Flash 与 DINOv3，大模型自带的幻觉或审美倾向可能引入潜在的分布与语义偏差。
极端几何与重度多层遮挡样本依然不足：尽管分辨率达到了 1.5K 级别，但现实商业场景中极为复杂的多层穿搭（如大衣内套多层衬衫）及极端动态舞蹈姿态在数据集中仍占少数。
物理着装特性的评估缺失：当前协议仅基于 2D 外观视觉相似度与真实感进行判定，尚未涉及真实面料的垂坠动力学、力学拉伸以及尺码剪裁（Sizing & Grading）的物理合身度验证。

评分¶

新颖性: ⭐⭐⭐⭐ [结合 SAM3 形态腐蚀多尺度表征与 VLM 裁判，优雅解决了虚拟试衣细粒度纹理难以量化的核心瓶颈]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 9 种主流/商业方法、76 人 9 万余条人工众包标注及详尽的元评估统计验证]
写作质量: ⭐⭐⭐⭐⭐ [逻辑架构清晰严密，从数据构建到度量公式定义层次分明]
价值: ⭐⭐⭐⭐⭐ [开源 10 万对 1.5K 高清基准与强对齐评测协议，对高保真可控虚拟试衣研究具有重要基准价值]