Revisiting Avatar-As-Image: High-Fidelity Registration is All You Need¶

会议: ECCV2026
论文: ECCV 原文
项目: AvaImg
作者: Margaret Kostyrko, Yuxuan Xue, Garvita Tiwari, Gerard Pons-Moll
领域: 人体理解
关键词: 人体配准、有符号绕数、衣下体型估计、粗到细位移、UV 表示

身份核验：清单与缓存首页均对应官方 ID 3431，标题及副标题一致。本文依据会议 PDF；原文承诺公开代码、数据与 Singularity 容器，不把该承诺当作已发布代码链接。

一句话总结¶

AvaImg 先把裸体模型可靠地放进衣服内部，再逐步拟合衣物表面并展开为统一 UV 图像，在主比较中达到 2.62 mm 表面 Chamfer 和 34.48 dB 纹理渲染 PSNR，并验证冻结 FLUX VAE 往返仅增加 0.76 mm 几何误差。

研究背景与动机¶

把三维人体写成二维 UV 图像并不新鲜：SMPL 与 SMPL-X 共享拓扑，同一个 UV 像素可以指向不同人物的相同解剖位置。纹理图记录颜色，位移图记录身体之外的衣物几何，理论上就能直接接入图像网络。不过，扫描到模板的配准一旦偏移，衣纹、轮廓和颜色都会在 UV 图中错位；后端生成模型再强，也会学习这些错误对应。

已有工具还混淆了两个不同目标：估计被衣物遮住的裸体，以及恢复实际观测到的衣物表面。若只最小化无符号距离，身体从衣内贴近衣服和从衣外穿回来同样“正确”。数据集附带的拟合也并非可靠真值，尤其在手、脚和开口扫描处可能有明显穿透。依赖这些配准训练学习式方法，又会把错误延续到下一代模型。

本文因此不另造一个生成器，而是修复输入表示的前提：用单帧扫描的优化流程生成高质量、带纹理且拓扑统一的注册数据。核心 idea：将衣下人体的内外约束与衣物表面的细节拟合分开解决，先得到物理上更可信的身体，再生成可供二维模型使用的 UV 纹理和位移图。

方法详解¶

整体框架¶

输入是一份带纹理的着衣人体扫描，包括顶点、三角面和 UV 坐标；输出是 SMPL(-X)+D 配准以及统一 UV 纹理图、位移图。这里的 D 是逐顶点位移，不是新的生成网络。流程依次经过鲁棒姿态初始化、绕数约束拟合、渐进位移细化和统一 UV 映射，对应原文图 2 与第 3.1 至 3.4 节。

关键在于阶段之间切换“应该贴近什么”：衣下拟合需要阻止裸体跑到衣服外面，表面配准则必须允许位移离开裸体、到达衣物外壳。所有阶段始终复用 SMPL(-X) 的完整流形与区域先验，使扫描的缺洞、噪声和粘连不直接变成输出拓扑。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Scan["着衣人体扫描"] --> Init["鲁棒姿态初始化"]
    Init --> Fit["绕数约束拟合"]
    Fit --> Refine["渐进位移细化"]
    Refine --> UV["统一 UV 映射"]
    UV --> Output["纹理图与位移图<br/>可编辑数字人"]

关键设计¶

1. 鲁棒姿态初始化：先锁定关节，再拟合表面

直接从平均姿态开始，抬臂、交叉腿等姿态容易把后续优化困在错误局部极小值。AvaImg 先按身高缩放、按质心平移，将扫描归一化到对应性别的 SMPL(-X) 坐标系。随后用 PyTorch3D 在 3 个仰角层渲染共 72 个视图，覆盖完整方位角，让同一个关节有机会在多个无遮挡角度出现。

每个视图由 OpenPose 检测 137 个关键点，再经多视图束调整得到三维关节目标。它没有简单平均所有检测，而是同时采用 L1 鲁棒残差、置信度平方加权和 0.3 的硬阈值；低置信度点被直接置零，避免少数遮挡或误检视图把三维关节拉偏。

关节拟合也不一次放开全部参数：首先调整全局朝向、头部、肩部和右脚，再开放所有身体关节，最后才优化完整模型，包括手和面部表情。这个顺序先解决大尺度朝向与肢体位置，再处理高自由度末端，给衣下拟合提供可信的初始姿态。

2. 绕数约束拟合：让衣内与衣外的距离承担不同代价

姿态确定后，优化身体参数以恢复衣下体型。广义绕数利用扫描网格对查询点的体积包围关系判断内外，不单靠最近三角面的法向或单条射线，因此更能应对噪声与非水密表面。原文把衣内记为 +1、衣外记为 -1，将该符号用于 mesh-to-scan 距离，并结合 Geman-McClure 鲁棒函数与非对称 pReLU 加权：衣内点受温和惩罚，逃到衣外的点受更强惩罚。

缓存中的式 (1) 排版提取损坏，因此这里不臆造完整代数表达式或 pReLU 斜率。可以确定的机制是：距离之外增加内外信息，仍保留关节、体型和姿态先验，并逐渐降低先验权重。它是优化中的软约束，不是碰撞率必然为零的硬保证；实验也确实有残余穿透。

直接对所有身体查询点与所有扫描三角面计算绕数，复杂度随两者数量乘积增长。作者先把扫描简化到约原始面数的 10%，但面数下限为 40k；再在包围盒附近以 5 mm 间隔预计算体素绕数，将结果阈值化为二值符号场。拟合时只需最近邻查询，而不用每一步重新遍历高分辨率扫描。

最后只保留边界体素：若一个体素的 7 个最近邻中有符号变化，它属于边界带；其余约 95% 体素被丢弃。三层级联分别减少三角面计算量、重复计算量与场的存储量。这里牺牲的是符号场的密集表示，并非把最终用于细节恢复的扫描表面也永久降成低分辨率。

3. 渐进位移细化：先贴轮廓，再释放高频衣纹

身体位置合理后，下一步恢复衣物、头发与鞋等外表面，此时撤掉衣内约束并改用无符号数据项。第一轮直接优化从身体网格出发的自由顶点，同时用姿态空间与规范空间位移一致性约束，减少衣物拓扑对当前关节弯曲的依赖；边长耦合限制相对未位移身体的边长变化，余切拉普拉斯平滑抑制噪声。

这些正则不是全身统一用力：边长耦合通过骨骼蒙皮权重选择区域，例如限制手部不合理变形；平滑使用设计好的顶点权重图。优化初期正则更强，先捕获整体轮廓，随后退火，让网格逐渐贴向细部。这解释了为何不应直接把自由顶点一次拉到最近扫描点，尤其当手部扫描缺失时。

第二轮先进行 Loop 平滑细分，使三角面数约变为 4 倍。高分辨率数据项只保留 scan-to-mesh 方向，并逐渐增大其权重，以加强对衣物外表面的覆盖；同时调整区域权重，在关键细结构处改变允许变形的程度。原文没有给出这些区域图与全部权重的数值，不能据此宣称已完整复现。

高分辨率边长耦合由平方形式切换成四次方形式，下面沿用原文第 4.5 节的写法：

\[ E_{\mathrm{coupling}}=(w_c L_c)^2 \quad\longrightarrow\quad E_{\mathrm{coupling}}=(w_c L_c)^4. \]

在加权残差较小时，四次方盆底更平，允许局部细节偏移；残差较大时，侧壁更陡，限制破坏整体拓扑的大变形。作者希望衣褶、衣缘与鞋跟不再被普通平滑正则抹掉。该机制与增加分辨率是两件事，消融分别显示了它们的增益。

4. 统一 UV 映射：把几何对应转成可复用的图像坐标

最终网格共享 SMPL(-X) 的标准 UV 拓扑。作者预计算 f-map 和 b-map：前者记录每个 UV 像素落在哪个高分辨率模板三角面内，后者记录其重心坐标。这两张查询图只依赖模板拓扑与输出分辨率，可以跨人物复用；从 \(512^2\) 改到 \(4096^2\) 或更换模型变体时才需要重新计算。

对每个有效像素，先用模板三角面和重心坐标定位注册网格上的三维点，再寻找扫描上的最近表面点及其所在三角面，最后转回扫描原生 UV 坐标双线性采样颜色。缺覆盖像素由形态学修补填充；只有顶点颜色的扫描则直接从最近扫描顶点插值颜色。逐顶点位移用同样的对应关系形成 UV 位移图。

这样，同一像素才真正对应不同人物的相同身体区域，而不只是把任意网格压成图片。它支持纹理迁移、体型编辑与重新驱动，但最近邻转移在自接触处仍可能串色。冻结 FLUX VAE 的实验是对这种表示的压缩兼容性检查，不是训练了一个新的数字人扩散模型。

一个完整示例¶

以抬臂且衣服有褶皱的扫描为流程示意，而非原文额外测试样本：72 视图首先提供三维关节，低于 0.3 置信度的遮挡检测不参与约束。身体拟合随后通过符号场区分“躯干在衣内”和“躯干穿出衣服”，不会因为两者距表面相近就视为等价。

得到衣下身体后，低分辨率位移先撑起衣服轮廓，细分后的第二轮再贴合衣褶；最终沿统一 UV 坐标提取颜色与位移。若把这两张图送入冻结 VAE 再解码，验证的是重建还能保留多少细节，而非能否凭空生成新衣服。

损失函数 / 训练策略¶

这是逐扫描优化管线，不需要训练新的配准网络。初始化使用关节损失、体型先验和姿态先验；衣下阶段加入有符号距离；低分辨率表面阶段使用无符号距离、位移一致性、边长耦合与拉普拉斯项；高分辨率阶段改为单向 scan-to-mesh、四次方耦合并重新调节区域权重。

原文正文没有提供完整优化器、学习率、各阶段迭代数、鲁棒尺度和正则权重表。端到端耗时约 25 分钟/扫描，包含关节估计、绕数、身体与表面拟合及纹理映射；不能把某个子阶段的加速倍数直接当成整条管线的加速倍数。

实验关键数据¶

主实验¶

六个数据集覆盖 4D-Dress 47、BuFF 26、CAPE 40、THuman2.1 20、2K2K 20 和 CustomHuman 20 个受试者。主要方法比较使用前三者，共 113 个；BuFF 的衣下体型评估使用最少衣着扫描作为参照，在 T-pose 下经 Procrustes 对齐。表面 Chamfer 每个网格采样 100k 个点。

穿透率是位于扫描外的身体顶点比例，穿透深度是这些顶点到扫描的平均距离，接近度是身体到扫描的平均距离。接近度低不等于身体正确：裸体本来就应与衣物保持一定偏移。下表摘自原文表 3，各距离单位均为 mm；“未报告”不表示数值为零。

方法	穿透率 (%)	穿透深度	接近度	衣下体型 Chamfer	表面 Chamfer
IPNet	44.5	25.93	23.41	9.95	8.61
ETCH	35.0	13.53	13.01	7.76	未报告
NICP	54.6	12.98	12.03	8.84	3.06
PTF	48.9	8.17	8.68	8.85	6.92
RMR	43.2	7.80	8.60	10.54	3.42
AvaImg	19.8	3.62	9.47	7.72	2.62

表 3 的纹理渲染 PSNR 为 34.48 dB，第 4.3 节另报告 FID 5.19。由于基线不支持同样的纹理重映射，这不是与基线的同协议纹理胜负比较。RMR 穿透率在正文写成 43.3%，本笔记两语均采用表 3 的 43.2%。

消融实验¶

下表对应原文图 6 与第 4.5 节；前两行改变衣下拟合距离，后三行改变表面细化，不能把两组当成一条连续增加模块的路径。

消融组与配置	穿透率 (%)	衣下体型 Chamfer (mm)	表面 Chamfer (mm)	来源
衣下拟合：无符号距离	40.7	11.95	未报告	图 6
衣下拟合：有符号距离	19.8	7.72	未报告	图 6
表面细化：仅低分辨率	不变	不变	3.15	第 4.5 节
表面细化：两轮、平方耦合	不变	不变	2.75	第 4.5 节
表面细化：两轮、四次方耦合	不变	不变	2.62	第 4.5 节

符号约束使穿透率下降 20.9 个百分点；仅低分辨率到完整细化使表面误差下降 0.53 mm。效率剖析中，一个约 370k 面的扫描减到 40k 面，绕数计算约 2,400 s 降到 240 s；边界带额外计算约 70 s，身体拟合约 1,700 s 降到 240 s，相关阶段合计约 4,000 s 降到 540 s。存储约 70–100 MB 降到 5 MB，这些是样例剖析而非全数据集延迟分布。

冻结 FLUX VAE 往返结果摘自原文表 4；三维 CD 与渲染指标对原扫描评估，UV PSNR 则对原 UV 纹理评估。

配置	对扫描 CD (mm)	渲染 PSNR (dB)	渲染 SSIM	渲染 LPIPS	UV 纹理 PSNR (dB)
VAE 前	3.15	34.48	0.995	0.006	不适用
VAE 后	3.91	30.04	0.988	0.009	38.6

表 4 还报告 UV 纹理 SSIM 0.964、位移 RMSE 4.98 mm 和空间 V2V 4.29 mm。其 CD 基线为 3.15 mm，不是表 3 的 2.62 mm；正文未充分解释这一设置差异，因此 0.76 mm 增量只按表 4 的 3.91−3.15 计算。

关键发现¶

衣下几何比单独距离更能区分方法：RMR 接近度更小，但穿透率明显更高，不能据接近度判定其身体更准确。
表 2 的五数据集配准真值比较为 28.2%→15.0% 穿透率，与表 3 的三数据集方法比较不是同一汇总口径。
VAE 能保留多数信息，但渲染 PSNR 仍从 34.48 降到 30.04 dB；兼容不等于无损。

亮点与洞察¶

将“裸体要在衣内”和“位移要贴衣面”交给不同阶段，是最值得复用的建模选择。若把两者都塞进同一个距离目标，优化器没有理由学会区分身体与衣物。
对静态扫描预计算符号场，把昂贵几何判断移出优化循环。边界带进一步说明，维持内外关系不一定需要保留整个密集体积。
本文把配准作为训练数据基础设施，而不是单纯刷新重建指标。统一且准确的对应关系使纹理编辑与二维生成先验有了可靠的输入接口。

局限与展望¶

作者承认 SMPL(-X)+D 拓扑限制了宽松、分离衣物的表达；复杂邻近区域可能对应错误，自接触会串色，弯曲关节逆姿态后可能产生凹陷。
主实验穿透率仍有 19.8%，不能照搬原文“消除穿透”的绝对表述；软约束、扫描缺失与模板限制都需要进一步分析。
每扫描约 25 分钟，适合作为离线高质量标注生成工具，不适合实时替代前馈方法。可将配准结果用于训练快速预测器，但本文没有验证这种下游收益。
冻结 VAE 的重建成功支持表示兼容性，不能严格证明 UV 图属于自然图像分布，也没有证明新人物生成质量；还需要扩散训练与新样本评估。
复现仍缺正文未给出的优化细节；表 3 与表 4 的 CD 基线差异，以及单样例效率剖析，也限制了跨实验强结论。

评分¶

新颖性: 4/5。创新集中在配准约束、效率与细化组合，而非发明 Avatar-As-Image 表示。
实验充分度: 4/5。覆盖六个数据集、身体与表面指标及关键消融，但下游生成尚未验证。
写作质量: 3/5。阶段逻辑清楚，但部分绝对化措辞与跨表设置说明不足，需要谨慎阅读。
价值: 4/5。高质量统一配准有望改善训练数据和数字人编辑，实际可用性仍取决于完整实现与发布。