Human Mesh Modeling for Anny Body¶

会议: ECCV2026
论文: ECCV 原文
作者: Romain Brégier, Guénolé Fiche, Laura Bravo-Sánchez, Thomas Lucas, Matthieu Armando, Philippe Weinzaepfel, Grégory Rogez, Fabien Baradel
机构: NAVER LABS Europe
代码: https://github.com/naver/anny
领域: 人体理解
关键词: 参数化人体模型、可解释体型空间、人体测量学、合成数据、人体网格恢复

一句话总结¶

Anny 将 MakeHuman 的人工形变资产改造为可微、无需扫描数据学习体型空间的人体模型，再用 WHO 统计校准采样并生成 780k 张 Anny-One 图像，在保持成人扫描毫米级拟合能力的同时改善儿童人体网格恢复。

研究背景与动机¶

人体网格恢复（Human Mesh Recovery，HMR）通常不是直接预测任意顶点，而是预测人体模型的姿态和体型参数，再由模型生成完整网格。因此，人体模型既决定输出能表达哪些身体，也隐含决定训练数据和优化先验偏好哪些人。SMPL 系列从人体扫描学习紧凑的体型空间，易于接入视觉网络，但收集扫描昂贵且涉及隐私，数据也未必覆盖儿童、老人及少见体型。

这不是简单增加几个体型主成分就能解决的问题。论文指出，CAESAR 的参与者主要是工业化国家的成年人；从这些扫描学到的分布不自然等同于全球人口分布。为婴儿单独建立 SMIL，或在成人模型和儿童模型间插值，可以扩大覆盖范围，却仍受已有扫描资产限制。与此同时，MakeHuman 社区已积累按年龄、身高、体重、肌肉量等语义编辑人物的形变资产，只是它们并非直接面向可微学习和标准 HMR 评测。

本文把这些资产作为另一种人体先验，而不是重新训练更大的扫描模型。关键还在于区分“能表示一种身体”和“随机采样时多常出现这种身体”：前者由形变空间决定，后者需要人口统计约束。核心 idea：用艺术家设计的连续形变空间替代扫描学习的隐空间，以人体测量统计校准采样，再通过跨拓扑映射把同一人体模型接入扫描拟合、图像合成和 HMR。

方法详解¶

整体框架¶

Anny 本身输入体型与姿态参数，输出带姿态的人体网格；它不是直接输入图像的重建网络。论文先实现可微人体形变，再校准体型分布，并建立到 SMPL-X、HumGen3D 的顶点映射，使模型既能在旧基准上评测，也能驱动带衣着的合成人物。

在下游阶段，从校准分布采样身体、从动作数据采样姿态，渲染 Anny-One，再让 HMR2.0 或 Multi-HMR 的预测头输出 Anny 参数。这样，人体表示、训练图像和回归网络的贡献可以分别测试，而不是把整套系统的收益都归因于一种新网络。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["MakeHuman 资产<br/>体型与姿态参数"] --> Shape["可微人体形变"]
    Shape --> Prior["统计体型先验"]
    Prior --> Mapping["跨拓扑映射"]
    Mapping --> Data["合成数据与网格恢复"]
    Data --> Output["图像中的人体网格"]

关键设计¶

1. 可微人体形变：从离散人物原型得到连续身体

默认网格有 13,718 个顶点、13,710 个四边形面和 163 根骨骼，包括眼睛、舌头等部分。骨骼通过稀疏蒙皮权重软连接到顶点。MakeHuman 提供的 1,136 个原型混合形变描述不同表型属性组合；Anny 在这些离散原型之间做分段多线性插值，让标量控制变成连续形状变化，而不是把人物类别硬切成几套模型。

体型参数改变静止姿态下的几何及其适配骨架；姿态则由根骨位姿和各关节相对静止配置的旋转表示。模型先做前向运动学得到各骨骼位姿，再用混合蒙皮生成最终网格。PyTorch 与 NVIDIA Warp 提供反向传播，使扫描拟合或 HMR 的几何误差能传回参数端。这里的主要贡献是开放形变资产的可微化，而不是一种新学习到的姿态修正基。

需要注意，表型中的 age、gender 等是艺术家给形状控制量的命名，不是对真实人物身份的测量。连续、可解释意味着参数变化更容易理解和操作，并不意味着它们能忠实编码真实年龄、性别或族裔；论文明确提醒这些语义会携带设计者的刻板印象。

2. 统计体型先验：把可表达范围与合理采样分开

若直接在所有控制量上均匀采样，能获得很广的形状，却不保证生成的人群符合现实统计。Anny 先经验性地建立归一化 age 与以年计的形态年龄之间的双射，再将主要表型参数建模为依赖年龄和性别条件的 Beta 分布。Beta 分布适合有界控制量；校准的对象是这些分布，而不是重新拟合全部顶点资产。

分布参数联合调整，使生成身体的身高和身体质量指数（BMI）均值、标准差匹配 WHO 生长标准。图 4 展示按年龄的身高与 BMI 校准，图 5 再用体重与身高关系检查结果。这个设计保留了极端身高等形状的表达能力，又允许合成数据按更合理的人口分布取样。不过，匹配几个统计量不等于证实整个人群联合分布都准确。

3. 跨拓扑映射：让新人体模型进入现有工具链

Anny 与 SMPL-X 的顶点数量和连接方式不同，不能直接逐顶点计算误差；渲染工具 HumGen3D 又使用另一套人物表示。论文为不同拓扑学习稀疏线性回归器，下面是原文第 3 节顶点映射的等价写法：

\[ \hat{\mathbf v}_i=\sum_j R_{ij}\mathbf v_j,\qquad R\in\mathbb R^{M\times N}. \]

其中源网格有 \(N\) 个顶点，目标有 \(M\) 个顶点，每个目标顶点由少量源顶点的位置加权得到。先将 Anny 拟合到目标拓扑的一组网格，再把目标顶点投影到源网格，用重心坐标初始化映射；随后联合优化映射系数与 Anny 参数以减小网格间距离，同时强制左右对称。这比仅按最近顶点建立对应更能保持连续表面上的位置关系。

SMPL-X 与 Anny 往返映射的平均循环一致性误差为 1.3 mm，HumGen3D 与 Anny 为 1.7 mm。它们是转换误差，不是扫描拟合误差，也不是 HMR 精度。由此得到的互操作性既允许旧基准评估新模型，也允许带衣着的渲染人物拥有对应的 Anny 几何标注。

4. 合成数据与网格恢复：让形状覆盖转化为视觉监督

每个人物同时生成 Anny 真值和对应 HumGen3D 角色，衣服与配饰从 HumGen3D 库采样；背景使用 Infinigen Indoors 程序化室内场景。身体姿态取自 AMASS，手部姿态独立取自 GRAB，体型来自校准分布。模型用包围体层次结构检查不同身体部位间的面相交并丢弃无效人体，场景摆放也避免人物与周边物体互穿；这属于数据生成时的筛选，不是证明所有推理结果都无自交。

每个场景平均约 5 人，最多渲染 40 个相机视角，视场角在 30° 至 130° 均匀采样，并加入第一人称、上半身和手部特写。Blender Cycles 以 1280×1280 像素渲染，最终得到 780k 张图像。不同体型、视角和局部视图共同构成视觉训练覆盖，单靠替换人体参数化并不会自动带来这些数据收益。

HMR2.0 使用人体裁剪图，ViT-H 配合 16×16 图像块，单个可学习查询通过交叉注意力预测参数。Multi-HMR 接收完整图像，用 DINOv2 预训练的 ViT、14×14 图像块和检测人物对应的查询，同时预测人体参数与三维位置。论文只做必要适配来回归 Anny 参数；消融使用 ViT-B、448×448 输入，与既有方法比较使用 ViT-L、672×672 输入。

一个完整示例¶

假设需要生成一个介于 child 与 young 两个原型之间的人物，原文图 3 给出的 age=0.5 会让 age=1/3 的 child 和 age=2/3 的 young 等权贡献。此值是形变坐标，不是“半岁”。其他控制量决定身高、体重和比例，骨骼旋转再把这个身体摆成采样动作。

在合成流程中，同一个身体被映射为 HumGen3D 角色以添加服饰，同时保留 Anny 标注；通过自交和场景碰撞筛选后，将它与其他人一起渲染成图像。训练 Multi-HMR 时输入的是整张场景图，监督目标则是每个人对应的 Anny 网格与位置。评测到 SMPL-X 拓扑时再做映射，因此无需让渲染网格与评测网格共享连接结构。

损失函数 / 训练策略¶

人体模型的基础形变资产不由人体扫描训练得到；对具体扫描进行参数拟合，与“用扫描学习体型空间”是两件事。统计先验通过 WHO 均值和标准差校准，映射通过网格间距离优化，HMR 则沿用已有网络的训练框架。缓存正文没有给出完整损失权重、优化器或训练轮数，因此不补写一套看似精确的训练公式。

表 1 为隔离人体模型影响，两种参数化都在 BEDLAM 上训练；其中 HMR2.0 冻结骨干且不做数据增强，Anny 体型仅保留 age、gender、height、weight、muscle、proportions 这 6 个主要控制量。表 3 的大规模比较则使用 Anny-One、BEDLAM、MS-COCO、MPII 等混合数据，不能视为严格等数据的模型消融。

实验关键数据¶

主实验¶

原文表 1：BEDLAM 相同训练设置下替换人体模型。所有误差单位均为 mm，越低越好；MPJPE 是平均关节位置误差，PVE 是平均顶点误差，PA 表示先做 Procrustes 对齐。3DPW 对应关节指标，EHF 对应顶点指标，不能互换列含义。

网络	人体模型	3DPW MPJPE	3DPW PA-MPJPE	EHF PVE	EHF PA-PVE
HMR2.0	SMPL-X	86.0	52.0	76.4	66.9
HMR2.0	Anny	86.5	49.4	65.5	49.7
Multi-HMR	SMPL-X	87.1	56.3	66.2	52.9
Multi-HMR	Anny	87.0	54.3	68.6	52.6

表中不是每项指标都改善：HMR2.0 的 3DPW MPJPE 从 86.0 变为 86.5，Multi-HMR 的 EHF PVE 从 66.2 变为 68.6。更准确的结论是无需扫描学习体型空间也可获得相近表现，而非全面击败 SMPL-X。

原文第 5 节的几何验证另显示：3DBodyTex 的 400 次成人扫描来自 200 人，剔除头和手后，Anny 平均扫描点到网格误差为 2.5 mm，300 个体型分量的 SMPL-X 为 1.9 mm，文中引用的 ATLAS 为 1.8 mm。三个商业儿童扫描上 Anny 与 SMPL-X 的平均误差分别为 2.0 与 3.2 mm；这只能作为小样本支持，不能当成完整儿童扫描基准。

消融实验¶

原文表 2：Multi-HMR 在作者重划分的 AGORA 验证集上的模型与数据分析，误差均为 mm，越低越好。作者用含 3DPEOPLE 扫描的图像构成 2k 张验证图，使训练和验证都含相同比例的儿童；这不是没有儿童的官方验证划分。“微调”指在 AGORA 上训练，未预训练但微调为“是”表示直接在 AGORA 上训练。

预训练数据	AGORA 微调	人体模型	All PVE	All PA-PVE	Kids PVE	Kids PA-PVE
BEDLAM	否	SMPL-X	140.8	71.3	186.0	64.2
BEDLAM	否	Anny	136.7	71.3	175.6	63.6
Anny-One	否	Anny	118.5	63.5	113.9	56.4
无	是	SMPL-X	89.7	60.8	99.5	50.6
无	是	SMPL-X+A	87.9	60.4	80.8	50.5
无	是	Anny	85.7	57.8	79.0	49.3
BEDLAM	是	SMPL-X	78.2	50.3	96.5	45.6
BEDLAM	是	SMPL-X+A	76.6	50.0	77.6	43.6
Anny-One	是	Anny	72.8	48.2	69.3	41.5

关键发现¶

不做 AGORA 微调且固定 Anny 时，将 BEDLAM 换成 Anny-One，Kids PVE 从 175.6 降至 113.9 mm，下降 61.7 mm。收益同时涉及训练数据的内容与规模，不能单独归因于 WHO 校准。
直接在 AGORA 训练时，Anny 的 Kids PVE 为 79.0 mm，SMPL-X+A 为 80.8 mm，差距比相对 SMPL-X 的 99.5 mm 小。这支持“儿童形状覆盖重要”，也说明成人与儿童插值基线不能省略。
大规模混合数据比较见原文表 3：CMU-Toddler 上 Multi-HMR 的 MPJPE 为 153.6 mm，Multi-HMR+Anny 为 102.1 mm；Pair-PA-MPJPE 为 638.9 与 263.8 mm。后者是对每对交互人物共同对齐后的关节误差，关注相对布局，不是逐人独立 PA。

亮点与洞察¶

将形状表达与人口采样分开，避免把训练扫描的经验分布误当成模型能力边界。这种拆分允许保留罕见体型，同时用独立先验控制常见体型的采样频率。
新表示通过稀疏映射接入旧评测与渲染资产，减少更换人体模型的工程成本。不过映射本身存在误差，下游结果不能完全脱离转换环节解释。
先做同数据人体模型替换，再分析预训练数据，实验顺序有助于分辨贡献。最强儿童结果来自模型与数据组合，不能只把它宣传为参数化形式的单独收益。

局限与展望¶

作者明确承认表型语义包含艺术家先验及刻板印象；“无需扫描”消除了学习形状所需的扫描采集负担，但不意味着不存在人口偏差。
成人扫描拟合仍弱于所列扫描模型，尤其对高 BMI 人体的细微皮肤褶皱；Anny 也不表达衣服、头发及其造成的表面形变。更低扫描误差与更正确的裸身体型并非始终同一目标。
儿童扫描只有三个样本，CMU-Toddler 儿童多样性有限，AGORA 又是合成且重划分的数据。后续应增加独立、多样化的真实儿童评测，不能据现有结果宣称覆盖所有年龄与体型。
正文未提供 WHO 校准、自交筛选和各采样因素的独立数值消融；可进一步固定数据预算，逐项检验人口先验与场景多样性的作用。

评分¶

新颖性: 4/5，开放资产、统计先验与 HMR 的整合明确，但不以新神经架构取胜。
实验充分度: 4/5，覆盖扫描拟合、模型替换和多数据集恢复，儿童真实数据与因素消融仍不足。
写作质量: 4/5，贡献分层清楚，复现仍需补充详细优化配置。
价值: 5/5，Apache 2.0 发布的人体模型降低表示替换与可控数据生成的门槛。