Pro-Pose: Unpaired Full-Body Portrait Synthesis via Canonical UV Maps¶

会议: ECCV 2026
论文: ECCV Paper
项目主页: https://pro-pose-portrait.github.io
领域: 人体理解
关键词: 姿态引导人像合成, 规范UV空间, 基础服装规范化, 供体UV重姿态, 虚拟试衣

一句话总结¶

Pro-Pose 提出了一种基于规范全人体 UV 纹理空间的无配对人像姿态重定与规范化合成框架，通过新颖的供体遮罩重姿态机制打破姿态与纹理边界泄漏，实现基于单一非受控图像生成保真度极高的可控人像化身，并为虚拟试衣等下游任务提供无遮挡的标准中介画布。

研究背景与动机¶

日常拍摄的真实人像通常处于复杂的非受控环境中，伴随杂乱背景、恶劣光照、受限视角以及各式各样的复杂衣物遮挡。将这些非受控照片转换为高质量、姿态完全可控的“摄影棚风格”人像数字分身，在数字人生成与虚拟试衣等领域具有迫切需求。然而，现有基于 2D 扩散模型的姿态引导生成方法（如 CFLD、MCLD、LEFFA）高度依赖于仅包含约 100 个身份的小规模配对数据集（如 DeepFashion），极易出现过拟合、身份漂移以及无法修改衣物的问题；而现有的 3D 人体生成与高斯泼溅方法则受限于严格的多视角或 3D 几何监督，缺乏大规模真实人像的身份多样性。

这种局限的核心矛盾在于：要想让模型学会将人体姿态与外观、衣物彻底解耦，理论上需要海量“同一人在不同复杂姿态与衣物下”的高质量配对数据，但现实中此类数据极其稀缺；另一方面，若直接使用海量非配对的单张人像进行自监督重建，输入姿态与目标姿态一致会导致模型退化为微不足道的“像素恒等复制”，无法学到跨姿态的 3D 几何形变与遮挡补全。此外，下游虚拟试衣（VTO）模型由于直接输入带原衣物的人像，常受到源衣物几何结构与遮挡的严重干扰而产生伪影。

为了打破对配对数据的依赖，本文将人体表征从 2D 图像空间映射到规范化的 SMPL-X 全人体 UV 纹理空间，并结合大模型自动构建的统一“基础服装”（Base Clothing，黑色工字背心与短裤）数据集，将人像生成定义为规范化解耦任务。核心 idea：在规范全人体 UV 空间中引入供体 UV 重姿态（Donor-based UV Reposing）机制，借用无关供体图像的可见性遮罩破坏源姿态与纹理边界的强关联，从海量非配对单图与少量配对数据中联合自监督学习，实现无伪影的强身份保持全身人像姿态重定。

方法详解¶

整体框架¶

Pro-Pose 的核心目标是将任意单张非受控人像 $I_{p'}$（姿态为 $p'$）重定姿态并规范化为身着基础服装（黑色背心与短裤）的高保真全身人像 $A_p$，其目标姿态 $p$ 由 3D SMPL-X 网格渲染驱动。输入包含原始人像提取的局部 UV 纹理图、SMPL-X 目标姿态渲染以及可选的人脸裁剪图。骨干生成网络基于冻结的 Flux.1 [dev] 扩散变换器（DiT）与流匹配（Flow Matching）框架构建，在潜在空间预测驱动高斯噪声向目标人像演化的速度场。整体流水线涵盖基础服装构建、双分支联合训练（配对监督分支与供体重姿态单图自监督分支）以及测试期轻量化 LoRA 个性化微调。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单张真实人像输入<br/>任意衣物与背景"] --> B["规范化基础服装构建<br/>Gemini 2.5 Flash 生成标准黑背心短裤"]
    B --> C["规范全人体 UV 解析<br/>提取部分 UV 纹理与 SMPL-X 参数"]
    C --> D["双分支流匹配联合训练<br/>配对监督 + 供体 UV 自监督"]
    D --> E["测试期少样本微调<br/>人脸前景加权 LoRA 快速适应"]
    E --> F["高保真可控人像化身<br/>姿态重定 / 纹理编辑 / 虚拟试衣下游"]

关键设计¶

1. 规范化基础服装构建：统一几何画布与光照解耦 现有虚拟试衣与人像重定方法直接使用受控服装或复杂源衣物，会导致衣物形状向重定姿态泄露，干扰下游服装换穿。本文提出构建“基础服装”（Base Clothing, BC）数据集，将 DeepFashion 配对图像、FFHQ 人脸图像及电商单人像中的衣物统一转为标准黑色无袖背心和短裤。针对全身人像，利用 Gemini 2.5 Flash 图像模型进行像素对齐编辑，在严格保留原人身份、体型和姿态的前提下剥离原衣物遮挡；针对 FFHQ 等半身/面部数据，则使用生成式外扩（outpainting）将其补全为标准姿态的全身全身人像。这一策略不仅消除了源服装对身体几何形状的遮挡干扰，还促使网络在隐式蒸馏中学会减弱输入纹理中烘焙的高光与阴影，实现光照与几何姿态的解耦。

2. 供体 UV 重姿态：消除自监督中的遮挡边界姿态泄露 在利用海量单图进行自监督训练时，若将输入与目标设为同一人像，展开的单视角局部 UV 纹理 $T_p = T \odot M_p$ 其可见性边界由当前姿态 $p$ 的二值遮罩 $M_p$ 唯一决定。网络会轻易利用这些可见性边界的几何对齐关系进行“像素复制粘贴”，从而绕过对 3D 旋转形变的学习。为打破这种伪捷径，本文提出供体 UV 重姿态（Donor-based UV Reposing）。对于输入样本，从预先计算的候选库中随机采样与其可见遮罩交并比（IoU）在 $[0.4, 0.8]$ 范围内的无关“供体”图像姿态遮罩 $M_{\tilde{p}}$，将其与输入纹理相交得到混合纹理： $$T_{p \rightarrow \tilde{p}} = T_p \odot M_{\tilde{p}} = T \odot (M_p \odot M_{\tilde{p}})$$ 由于交集运算满足交换律，相交后的纹理可见边界不再唯一表征源姿态 $p$，彻底消除了姿态泄露短路；迫使网络必须通过几何形变与纹理修复来重构完整的规范人像。

3. 双分支流匹配联合训练：配对与非配对数据协同优化 为兼顾配对数据的精确姿态引导与海量单图的广阔身份分布，模型采用基于 Flux.1 [dev] 骨干的统一条件流匹配（Flow Matching）架构。目标图像 $I_p$ 被压缩至 VAE 潜空间 $x_0 = \mathcal{E}(I_p)$，速度预测网络 $v_\theta$ 在时间步 $t \sim \mathcal{U}[0, 1]$ 下通过最小化传输场均方误差进行优化： $$\mathcal{L}_{\text{FM}} = \mathbb{E}_{t, x_0, x_1} \left\| v_\theta(x_t, t, c) - (x_1 - x_0) \right\|^2$$ 其中条件向量 $c$ 依据数据来源差异化配置：在包含真实姿态对的配对监督分支中，条件包含参考局部纹理 $T_{p'}$、SMPL-X 目标渲染 $p$ 以及 MediaPipe 提取的高清人脸裁剪 $I_{p'}^{\text{FC}}$；而在单图自监督分支中，条件使用供体混合纹理 $T_{p \rightarrow \tilde{p}}$ 与目标姿态 $p$，并强制丢弃人脸裁剪条件（$I^{\text{FC}} = \emptyset$），从而阻断像素级人脸身份直通路径，迫使网络仅从扭曲 UV 纹理中学习鲁棒的面部与人体几何重建。

4. 测试期少样本微调：极值姿态下的抗漂移个性化 尽管前馈基础模型在常规视角下具备优秀的泛化能力，但在从单张背影推断正面等极端姿态变化下，单张参考图的信息盲区会导致面部结构产生一定幻觉。为此，本文设计了测试期少样本个性化适配机制：当给定目标用户的少量几张多姿态参考图集合 $S$ 时，任选两两视图构建伪配对，利用目标图像的潜空间皮肤分割二值遮罩 $M_j$ 计算前景加权流匹配微调损失： $$\mathcal{L}_{\text{FT}} = \mathbb{E}_{t, x_{j,0}, x_{j,1}} \left\| M_j \odot \left( v_\theta(x_{j,t}, t, c_{\text{paired}}) - (x_{j,1} - x_{j,0}) \right) \right\|^2$$ 仅优化注入在 DiT 注意力投影层与 MLP 层中的 Rank-128 LoRA 权重，即可在极短时间内使模型吸收该用户的多视角面部及皮肤微结构，显著压低身份漂移率。

损失函数 / 训练策略¶

训练集总计约 50 万样本，包含来自 FFHQ 及商业人像数据集的 47 万张非配对单图，以及来自 DeepFashion 的 3 万张配对图像（覆盖全部约 100 个身份）。优化采用 AdamW，学习率为 $10^{-4}$，在 128 块 TPUv5 芯片上以批大小 128 进行 10 万次迭代训练。为避免模型对特定模态产生过拟合依赖，训练时引入互斥条件丢弃（Dropout）：以 $0.05$ 概率同时丢弃所有条件，或分别以 $0.3$ 概率丢弃输入纹理 $T_{\text{in}}$、以 $0.3$ 概率丢弃人脸裁剪 $I_{\text{in}}^{\text{FC}}$、以 $0.1$ 概率丢弃目标姿态 $p_{\text{target}}$。

实验关键数据¶

主实验¶

在基准评估中，作者选取了域内 DeepFashion In-Shop（8,570 对）以及挑战性的非受控真实场景 WPose 数据集（2,305 对，采用前景遮罩指标 M-PSNR、M-SSIM、M-LPIPS），与主流姿态重定扩散模型及前沿商用多模态大模型进行全面对比。

数据集	模型	PSNR / M-PSNR↑	FID↓	SSIM / M-SSIM↑	LPIPS / M-LPIPS↓	OKS↑	FaceSim↑	DINO↑	HPSv3↑
DeepFashion (域内)	CFLD	17.65	7.15	0.748	0.182	0.48	0.3180	0.9731	4.15
	MCLD	18.21	7.08	0.756	0.176	0.49	0.3440	0.9654	4.29
	LEFFA	14.02	4.23	0.755	0.119	0.44	0.5794	0.9409	4.41
	OnePoseTrans	13.57	8.74	0.605	0.307	0.46	0.5750	0.9476	4.32
	UniHuman	14.05	6.25	0.796	0.156	0.46	0.5810	0.9434	4.03
	Gemini 2.5 Flash Image	16.98	4.59	0.738	0.179	0.43	0.5815	0.9691	7.19
	Gemini 3 Pro Image	17.51	4.30	0.775	0.109	0.45	0.5856	0.9705	7.22
	Ours (Unpaired + Paired)	19.36	4.24	0.818	0.075	0.48	0.6047	0.9759	7.24
WPose (域外非受控)	CFLD	15.43	96.07	0.744	0.208	0.31	0.0885	0.6412	1.94
	MCLD	15.64	94.23	0.759	0.201	0.35	0.0995	0.6478	1.96
	LEFFA	16.71	67.85	0.776	0.193	0.32	0.0914	0.5725	2.01
	OnePoseTrans	17.23	27.43	0.818	0.151	0.33	0.1735	0.7205	4.44
	UniHuman	17.64	27.75	0.807	0.161	0.34	0.1121	0.7207	2.89
	Gemini 2.5 Flash Image	16.67	9.55	0.779	0.149	0.32	0.4713	0.7005	7.35
	Gemini 3 Pro Image	17.19	7.15	0.795	0.145	0.33	0.5241	0.7119	7.40
	Ours (Unpaired + Paired)	19.95	5.99	0.860	0.121	0.38	0.5571	0.7394	7.55

消融实验¶

针对训练数据源的有效性以及测试期个性化微调进行了详细定量消融分析。

数据配置 / 策略	PSNR↑	FID↓	SSIM↑	LPIPS↓	FaceSim↑	核心表现分析
仅非配对 (Unpaired Only, WPose)	16.13	6.95	0.761	0.215	0.3805	缺少配对姿态直接约束，大幅度姿态旋转时生成质量欠佳
仅配对 (Paired Only, WPose)	18.30	6.65	0.820	0.155	0.4959	严重过拟合于 DeepFashion 的 100 个身份，域外泛化显著滑坡
完整模型 (Unpaired + Paired, WPose)	19.95	5.99	0.860	0.121	0.5571	兼备海量身份特征与准确姿态先验，域外各项指标显著占优
零样本基线 (Ours Zero-Shot)	18.59	6.88	0.823	-	0.4837	在含运动模糊等退化输入下生成的面部细节略显模糊
测试期微调 (Ours Fine-Tuned)	19.34	6.76	0.835	-	0.5722	FaceSim 相对大幅提升 18.3%，有效恢复清晰精细面容

关键发现¶

非配对数据对域外泛化起决定性作用：若仅使用配对数据训练，在域内 DeepFashion 上表现优异（PSNR 19.38），但在域外 WPose 数据集上 FID 恶化至 6.65、M-PSNR 降至 18.30；引入 47 万非配对单图联合自监督后，WPose 上的 M-PSNR 跃升至 19.95，FID 压低至 5.99，证实了海量单图对真实场景泛化的极端重要性。
极端姿态下的抗身份崩溃能力：在按头部姿态欧拉角变化难度分桶的测试中，当定义 $\text{FaceSim} < 0.4$ 为身份崩溃时，LEFFA、MCLD、UniHuman 和 OnePoseTrans 在大角度下的失败率均超过 97%，而 Pro-Pose 的失效率仅为 13.5%，曲线高度贴合真实 Ground Truth 的固有身份方差。
赋能下游虚拟试衣（VTO）的显著收益：在针对 WPose 的 30,000 票人类偏好盲测中（10 位评审员评测 500 张人像 × 6 种服饰），直接在原始真实图像上运行 Google VTO 的偏好率仅为 28.02%（服装伪影率高达 31.04%）；而先用 Pro-Pose 规范化为干净人像化身再进行试衣，偏好率飙升至 71.98%，服装错误率骤降至 17.34%。

亮点与洞察¶

巧妙的供体遮罩破除姿态泄露：在 UV 纹理自监督中引入无关供体的可见性遮罩相交（$T \odot (M_p \odot M_{\tilde{p}})$），既无需消耗昂贵算力在线渲染 3D 网格伪配对，又在数学上利用遮罩交集的对称性彻底抹平了原姿态边界特征，是将单图转化为高质量姿态自监督的极佳构思。
统一基础服装解决 VTO 结构泄漏难题：现有试衣模型常将原图衣物的领口、袖长等几何轮廓错误迁移至目标服装。Pro-Pose 将人物统一定义为极简工字背心和短裤，为下游生成任务提供了一个零遮挡、纯粹展示人体体型与皮肤纹理的标准“白板底稿”。
涌现的 UV 空间直接交互编辑能力：由于模型严格以规范 UV 展开图作为几何锚点，用户直接在 2D UV 贴图上手绘文身（如心形图案）或修改妆容，这些编辑能够伴随 SMPL-X 姿态变化以严格的几何一致性映射到全身人像中，无需任何额外微调。

局限与展望¶

单视角极端遮挡下的面部幻觉：当输入为纯背影照片而目标为正面肖像时，UV 纹理中正面信息完全缺失，零样本模型只能依赖骨干先验推测面容，导致真实面部保真度下降（需借助多图测试期微调缓解）。
严重受制于单图 3D SMPL-X 估计精度：在从单张非受控图片估计 SMPL-X 身体形状参数 $\beta$ 时，若预测器对大体型或遮挡肢体拟合失真（例如 WPose 中大腿粗细被低估），这种几何形变误差会直接传递至最终合成结果中，导致体型走样。
自遮挡区域高频细节难以单图补全：手臂或身体自遮挡背后的皮肤微结构无法仅从可见单视角中还原，未来工作可探索结合视线感知的神经隐式场以及零样本多视角一致性先验。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (创新的 UV 供体重姿态机制打破了姿态泄露短路，首次实现大规模单图无配对姿态与基础服装规范化合成)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖域内 DeepFashion、域外 WPose、姿态难度分级评测、3 万票 VTO 下游偏好盲测及充分消融)
写作质量: ⭐⭐⭐⭐⭐ (逻辑清晰严谨，从痛点到 UV 空间数学建模叙述环环相扣，图表直观精美)
价值: ⭐⭐⭐⭐⭐ (不仅解决了高质量可控数字人化身难题，更开创性地作为虚拟试衣上游的标准化底座，工程与学术价值俱佳)