ETCH-X: Robustify Expressive Body Fitting to Clothed Humans with Composable Synthetic Data¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://xiaobenli00.github.io/ETCH-X
领域: 人体理解
关键词: 穿衣人体拟合, SMPL-X, 隐式稠密对应, 紧致度解耦, 手部重采样细化

一句话总结¶

ETCH-X 提出“先脱衣后稠密拟合”的两阶段解耦范式，结合局部 SE(3) 等变紧致度向量预测与隐式稠密神经场，并在可组合合成数据（CLOTH3D 模拟服装、AMASS 大规模动作与 InterHand2.6M 手势）上分别缩放训练，实现了对多变服装、复杂姿态与单视点残缺扫描的高鲁棒、高表现力 SMPL-X 人体拟合。

研究背景与动机¶

将参数化人体模型（如 SMPL、SMPL-X）对齐到带衣人体的三维原始点云扫描中，是动画绑定、虚拟试衣与人机交互等三维人体下游任务的核心前提。然而，真实采集的 3D 点云往往带有极高水平的物理噪声、剧烈自遮挡与部分缺失，且日常服装的多变剪裁与动态褶皱使得衣物外表面与内部真人体几何产生严重脱节。更严峻的是，兼具高质量 SMPL-X 标注与复杂服装的真实 3D 扫描数据极其匮乏，获取成本高昂。

现存的人体拟合管线主要分为稠密对应与稀疏对应两派，但均面临难以调和的结构性瓶颈。以 NICP 为代表的稠密对应方法直接建立着装点云到人体模型的场映射，因宽松外衣与躯体表面存在固有的几何歧义性，常常优化出过度肥胖（overweight）或违反解剖学生理常理的躯体网格；而以经典 ETCH 为代表的稀疏标记点方法虽然引入紧致度向量（Tightness Vector）剥离衣物，却过度依赖显式稀疏标记点与骨架关键点，不仅在手势和面部表情等细粒度区域表达力匮乏，而且一旦遇到单视角扫描等残缺输入（Partial Scans），对应区域标记点全失，极易发生灾难性拟合崩溃。

这两类方案的优劣恰好互补：稠密对应能保留全身各处细粒度表达并天生对任意空间坐标查询具有容错力，但必须建立在“脱去外衣”的内表面之上；紧致度脱衣能消解服装歧义，但后续拟合需要稠密对应承载细微形变。核心 idea：将穿衣人体拟合彻底解耦为“带掩码脱衣”与“隐式稠密拟合”两大独立模块，分别利用大规模合成衣物、人体动捕和手势数据组合训练，在消除服装干扰后借助局部隐式神经场与重采样手部细化完成高表现力 SMPL-X 拟合。

方法详解¶

整体框架¶

ETCH-X 的整体流水线严格遵循“先脱衣，后稠密拟合”的解耦思想，将带衣点云对齐拆解为前后承接的两个阶段：第一阶段为“带掩码脱衣（Masked Undress）”，从原始穿衣点云输入预测逐点局部 SE(3) 等变紧致度向量和表皮掩码，将穿衣外表面投影恢复出紧贴真实身体轮廓的内部点云；第二阶段为“隐式稠密拟合（Dense Fit）”，以内表面点云构建多尺度特征体积，通过局部神经场查询有序顶点偏移量并迭代优化，随后对关键手部区域实施重采样与 MANO 模型细化，最终拼装输出完整的全身 SMPL-X 网格。

整个流程的处理逻辑如以下紧凑架构图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：穿衣人体点云 X"] --> B["等变与不变量特征提取<br/>EPN 提取特征 + 点云变换"]
    B --> C["带掩码脱衣预测<br/>方向头 + 长度头 + 紧致度掩码"]
    C --> D["得到去衣内表面点云 ŷ"]
    D --> E["隐式稠密对应场与测试时微调<br/>IF-Nets 特征体 + LoVD 神经场"]
    E --> F["SMPL-X 躯体参数优化"]
    F --> G["重采样手部细化与拼接<br/>手部过滤 + 手部 LVD + MANO 对齐"]
    G --> H["输出：高表现力 SMPL-X 网格"]

关键设计¶

1. 带掩码脱衣（Masked Undress）：局部等变紧致度向量与表皮掩码修正 直接在松垮服装上进行稠密对齐会产生形变歧义，必须先将穿衣点云映射为贴身点云。本文沿用紧致度向量设计，将每个表面采样点 $x_i$ 投影到内层人体点 $y_i = x_i + v_i$，其中紧致度向量 $v_i = b_i d_i$ 分解为方向 $d_i$ 与模长 $b_i$。方向高度依赖于人体的关节旋转姿态，通过等变点网络（EPN）与自注意力机制提取局部近近似 SE(3) 等变特征，确保衣物点指向人体的法向朝向在空间旋转时保持自洽；模长主要反映服装悬垂松紧程度，与服装版型相关，通过 Point Transformer 处理平均池化后的旋转不变量特征得到。在此基础上，本文引入了表皮紧致度掩码（Tightness Masking）：头部、双手以及裸露皮肤区域本身的紧致度本就为 0，若强制回归模长易受邻近衣物干扰导致形体向内凹缩，因此设计了由分类头输出的二分类概率 $l_i \in \{0, 1\}$，推断阶段通过 $\hat{y}_i = x_i + \hat{l}_i \hat{b}_i \hat{d}_i$ 仅对被衣物覆盖的区域施加脱衣位移，保证裸露肢体绝对保真。

2. 隐式稠密对应场（Dense Fit）：基于局部隐式神经场与测试时微调的 SMPL-X 拟合 针对显式稀疏标记点在残缺输入下完全丢失且无法表达精细形变的问题，ETCH-X 转向全隐式连续对应表征。模型先使用 IF-Nets 将内表面去衣点云 $\hat{Y}$ 编码为多尺度 3D 特征体积 $Z = \mathcal{IF}(\hat{Y})$，随后构建局部变体神经场（LoVD）。该场包含针对 16 个解剖区域分别特化的轻量 MLP 头，接收任意 3D 查询点坐标 $q$，直接预测从该坐标到目标 SMPL-X 对应模板顶点的有序位移偏移量 $o \in \mathbb{R}^N$。在测试推理阶段，模型进行测试时微调（Test-Time Fine-Tuning）：在输入点云上重采样查询点，利用神经场建立点云到模板顶点的最近邻对齐对应，通过迭代梯度下降更新神经场权重 $\theta$，最小化对应点之间的欧氏几何残差。微调收敛后，直接查询密集神经场获取目标控制点，再优化 SMPL-X 的位姿、体型及表情参数，即使在仅有单侧可见的单视点残缺输入下，隐式场仍能在全局特征空间中无缝补全未见区域的对应点。

3. 重采样手部细化（Hand Refinement by Re-sampling）：自接触过滤与解耦 MANO 拟合 在全身 SMPL-X 拟合中，由于手部区域占全身表面积比例过小，全局均匀采样导致手部点云极度稀疏，手指姿态通常严重模糊失真。此外，人手经常与躯干或大腿发生肢体自接触（Self-Contact）。为突破这一瓶颈，ETCH-X 提出专门的手部重采样细化机制。在获得全身粗拟合后，系统提取粗预测手腕关节的三维包围球并在局部空间对原始点云实施高密度重采样；为消除因自接触而混入的手掌邻近身体点，训练了一个轻量级手部二分类器（在 MTP 自接触数据集上训练），剔除非目标手部点云；紧接着，将纯净的手部点输入专属的手部 LVD 模块中预测密集标记点，独立拟合局部 MANO 手部参数；在训练该模块时，特别根据 MTP 数据集统计的不可见顶点先验分布引入遮挡数据增强，最终将精准拟合的 MANO 手指重新转换并写回全身 SMPL-X 骨架中。

4. 解耦可组合合成训练（Composable Scalable Training）：多源数据独立扩增 真实穿衣扫描难以采集，而单一合成数据往往各有所短（如 CLOTH3D 服装丰富但姿态单一，AMASS 姿态丰富但无服装）。得益于“脱衣”与“稠密拟合”完全物理切分的模块化解耦架构，ETCH-X 摆脱了端到端对单一巨型标注数据集的依赖，实现两阶段在异构合成数据上的组合缩放：Masked Undress 模块专注于从衣服到身体的几何映射，完全由 CLOTH3D 的超 15 万对模拟服装数据驱动训练，学习广泛的服装悬垂物理规律；Dense Fit 模块专注于从去衣内表面到参数化网格的隐式对齐，完全由 AMASS 的 12 万高质量全身 SMPL-X 真实动作数据训练泛化；手部细化分支则由 InterHand2.6M 与 MTP 联合调教。不同维度的数据集独立扩展、无缝协同，使系统对多变衣物和极端姿态展现出强大的跨分布泛化力。

一个完整示例¶

以单目扫描仪捕获的一张身着宽松风衣、右手叉腰且仅有正视半身点云的输入为例： 1. 输入与采样：系统从残缺带衣网格表面采样 3D 点云集合 $X$。 2. 特征与掩码判定：EPN 提取局部旋转等变特征，Point Transformer 预测点级紧致度大小与分类掩码。系统准确判断面部及裸露手掌 $l_i = 0$（位移为 0），而宽松风衣区域 $l_i = 1$。 3. 脱衣投影：风衣点沿着等变方向向量 $d_i$ 乘以模长 $b_i$ 向内收缩，输出服帖的人体内表面点云 $\hat{Y}$。 4. 隐式场微调与粗拟合：IF-Nets 将 $\hat{Y}$ 转化为连续特征体，LoVD 神经场在少量测试迭代中迅速自适应微调，并对背面缺失部分通过全局空间连续场补齐 1051 个对应控制点，驱动求解出初始 SMPL-X 参数。 5. 手部特异重采样：在初定位的右手周围重新高密采样点云，手部分类器剔除混入的腰部衣物点，通过手部 LVD 和 MANO 拟合纠正出正确的手指弯曲与贴合姿态，将手部几何重新缝合回 SMPL-X，输出完整、无重叠且四肢自然的精细人体网格。

损失函数 / 训练策略¶

脱衣网络（Masked Undress）的综合训练损失由方向损失 $\mathcal{L}_d$、模长损失 $\mathcal{L}_b$ 以及表皮掩码交叉熵损失 $\mathcal{L}_l$ 共同加权构成： $$\mathcal{L} = w_d \mathcal{L}_d + w_b \mathcal{L}_b + w_l \mathcal{L}_l$$ 具体分解为： $$\mathcal{L}_d = -\frac{1}{N} \sum_{i=1}^N l_i \frac{\hat{\mathbf{d}}_i \cdot \mathbf{d}_i}{\|\hat{\mathbf{d}}_i\| \|\mathbf{d}_i\|}, \quad \mathcal{L}_b = \frac{1}{N} \sum_{i=1}^N l_i (\hat{b}_i - b_i)^2, \quad \mathcal{L}_l = -\frac{1}{N} \sum_{i=1}^N \log(\mathcal{P}(\mathbf{x}_i, l_i))$$ 其中方向损失仅在衣物区域（$l_i=1$）采用负余弦相似度监督，模长损失采用 MSE 误差约束。稠密拟合网络严格遵循 NICP 的局部神经场距离优化损失，通过最小化查询点特征预测与 SMPL-X 目标对应点的欧氏距离进行网络收敛。

实验关键数据¶

主实验¶

论文在域内基准数据集 CAPE（紧身与轻质衣物，26,004 训练帧，1,021 验证帧）与 4D-Dress（宽松复杂动态衣物，59,395 训练帧，1,943 验证帧）上进行定量对比。所有 baseline 均转换为 SMPL-X 标准评测，评测指标包括 Chamfer Distance (CD, cm)、Vertex-to-Vertex 误差 (V2V, cm) 和 Mean Per Joint Position Error (MPJPE, cm)。

评测集	对比方法	分组类型	CD ↓	V2V-All ↓	V2V-Hands ↓	V2V-Head ↓	MPJPE-All ↓	MPJPE-Hands ↓
CAPE	NICP	紧致度无关 (A)	-	1.736	2.741	1.184	2.074	2.565
CAPE	ArtEq	紧致度无关 (A)	-	2.202	3.417	2.011	2.405	3.055
CAPE	IPNet	紧致度感知 (B)	1.077	5.529	7.454	5.485	5.611	6.600
CAPE	PTF	紧致度感知 (B)	1.194	2.341	3.880	2.038	2.641	3.377
CAPE	ETCH	紧致度感知 (B)	1.040	1.567	3.449	1.236	2.002	2.833
CAPE	ETCH-X (本文)	紧致度感知 (B)	1.015	1.484	2.215	1.120	1.764	2.148
4D-Dress	NICP	紧致度无关 (A)	-	4.085	6.224	3.323	4.862	6.142
4D-Dress	ArtEq	紧致度无关 (A)	-	3.072	4.537	3.145	3.378	4.170
4D-Dress	IPNet	紧致度感知 (B)	1.187	7.495	8.881	7.378	7.380	8.606
4D-Dress	PTF	紧致度感知 (B)	1.207	3.297	4.938	3.338	3.567	4.607
4D-Dress	ETCH	紧致度感知 (B)	1.134	2.408	5.108	1.997	3.459	4.695
4D-Dress	ETCH-X (本文)	紧致度感知 (B)	1.060	1.897	3.101	1.836	2.317	3.065

针对跨域域外（OOD）泛化性能，所有模型在 4D-Dress 上训练并直接在未见过的真实物理合成数据集 BEDLAM2.0（采样 20 个对象各 50 个姿态共 1,000 帧）上进行盲测：

测试集 (OOD)	评测方法	CD ↓ (cm)	V2V-All ↓ (cm)	MPJPE-All ↓ (cm)
BEDLAM2.0	NICP	-	5.178	6.238
BEDLAM2.0	ArtEq	-	4.136	4.447
BEDLAM2.0	IPNet	1.369	8.641	9.471
BEDLAM2.0	PTF	1.288	3.974	4.668
BEDLAM2.0	ETCH	1.454	12.209	15.031
BEDLAM2.0	ETCH-X (本文)	1.265	3.429	4.033

消融实验¶

针对残缺输入（Partial Input，单视角投射光线仿真）与残缺数据增强（Partial Augmentation，训练期 50% 替换）进行鲁棒性验证：

评估场景	增强配置	CAPE CD ↓	CAPE V2V ↓	CAPE MPJPE ↓	4D-Dress CD ↓	4D-Dress V2V ↓	4D-Dress MPJPE ↓
完整输入 (Full)	w/o Aug	0.894	1.484	1.764	0.951	1.897	2.317
完整输入 (Full)	w/ Aug	0.918	1.644	2.027	0.917	2.135	2.677
变化量 ($\Delta$)	-	+2.7%	+10.8%	+14.9%	-3.6%	+12.5%	+15.5%
残缺输入 (Partial)	w/o Aug	1.149	10.056	10.403	2.261	13.861	16.662
残缺输入 (Partial)	w/ Aug	0.951	2.898	3.516	0.978	3.808	5.273
误差降幅 ($\Delta$)	-	17.2% ↓	71.2% ↓	66.2% ↓	56.7% ↓	72.5% ↓	68.4% ↓

针对手部细化分支各子组件的消融验证（Hand LVD、手部二分类器与遮挡数据增强）：

配置代号	Hand LVD	Hand Classifier	Hand Data Aug	CAPE V2V-Hands ↓	CAPE MPJPE-Hands ↓	4D-Dress V2V-Hands ↓	4D-Dress MPJPE-Hands ↓
A	✗	✗	✗	2.607	2.467	3.417	3.367
B	✓	✗	✗	2.417	2.277	3.321	3.293
C	✓	✓	✗	2.278	2.203	3.167	3.125
ETCH-X	✓	✓	✓	2.215	2.148	3.101	3.065

针对表皮紧致度掩码（Tightness Masking）在 CLOTH3D + AMASS 联合训练下的消融：在 4D-Dress 上，引入表皮掩码后，CD 误差从 1.515 cm 降至 1.493 cm，V2V 从 4.256 cm 降至 4.169 cm，MPJPE 从 4.200 cm 降至 4.083 cm；在 CAPE 上，V2V 从 1.975 cm 降至 1.894 cm。

关键发现¶

残缺数据增强带来质的飞跃：在单视点残缺扫描下，未经残缺增强的模型在 4D-Dress 上 V2V 误差高达 13.861 cm，引入 50% 残缺模拟增强后 V2V 剧降至 3.808 cm（降低 72.5%），而全景输入的拟合精度仅有极其微弱的容差代价（仅下降 12.5%）。
手部三阶细化环环相扣：仅用全局身体拟合手部（配置 A）时，4D-Dress 手部 V2V 误差为 3.417 cm；叠加局部 Hand LVD 降至 3.321 cm，进一步引入自接触分类器剔除身体外点后降至 3.167 cm，最后结合不可见顶点遮挡先验增强达到最优的 3.101 cm。
OOD 泛化性能彻底碾压旧基线：在未经见过的合成数据集 BEDLAM2.0 上，由于显式标记点预测器发生误判，前作 ETCH 的 V2V 误差严重膨胀至 12.209 cm、MPJPE 高达 15.031 cm；而 ETCH-X 的 V2V 保持在 3.429 cm，MPJPE 为 4.033 cm（误差相较 ETCH 降低了 80% 以上）。
数据缩放规律：在 CLOTH3D 服装数据扩增下，紧致度脱衣精度在宽松衣物（4D-Dress）上较快出现饱和瓶颈，而在贴身衣物（CAPE）上持续提升；相比之下，扩充 AMASS 姿态库规模则使全身稠密拟合鲁棒性呈现单调且稳步的持续增强。

亮点与洞察¶

解耦“脱衣”与“稠密拟合”实现两阶段可组合数据缩放：穿衣人体拟合不再强求稀缺的全身真值对齐扫描，而是用服装模拟数据（CLOTH3D）专攻脱衣，用动作捕捉姿态库（AMASS）专攻拟合，大幅降低数据获取门槛并显著拓宽泛化上界。
隐式场测试时微调天然化解残缺输入痛点：弃用容易丢失的离散稀疏标记点，转用连续神经场与测试时自优化。结合单视点光线投射增强后，隐式场能在全局特征空间下稳定完成缺失几何的反求。
表皮掩码阻断紧致度误收缩：将暴露皮肤和手脸部位的紧致度显式归零，巧妙消除了无衣物覆盖区域在回归网络中被邻近衣料权重牵连畸变的负面效应。

局限与展望¶

推理耗时存在优化空间：由于需要在测试阶段对隐式神经场进行迭代微调并执行手部重采样二次拟合，单帧人体完整拟合耗时约为 10 秒，尚无法满足实时动态捕捉或工业级交互需求。
极端异形与极度宽松服装仍显不足：CLOTH3D 等现有合成服装资产库的服饰拓扑多为常规衬衫长裤，对长裙、大衣、斗篷等极度宽松且摆动强烈的非刚性形变建模仍有饱和与欠拟合现象。
未涉足多人与大场景交互：当前方案仅局限于单人点云拟合，未来有待拓展至多人紧密遮挡交互以及包含复杂建筑/家具环境的混合 LiDAR 场景人体对齐。

评分¶

新颖性: ⭐⭐⭐⭐ [解耦脱衣与稠密拟合，结合表皮掩码与重采样细化，构建了清晰可组合的训练范式]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 CAPE、4D-Dress 与跨域 BEDLAM2.0，针对残缺输入、手部细化与数据缩放进行了极为详尽的定量验证]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，图表清晰，针对前作痛点的技术推演层层递进]
价值: ⭐⭐⭐⭐⭐ [有效解决了穿衣人体 3D 点云高表现力、抗残缺对齐的难题，为虚拟人与动作重建提供了工业级可靠参考]