SynHMR: Synergistic Joint-Mesh Modeling for LiDAR-based Human Mesh Reconstruction¶

会议: ECCV 2026
论文: ECCV 2026 Poster
代码: https://github.com/ShiRui1208/SynHMR
领域: 自动驾驶
关键词: 3D人体网格重构, 激光雷达点云, 协同联合建模, Transformer, 拓扑感知图卷积

一句话总结¶

针对稀疏激光雷达点云下传统先估计关节再回归网格的解耦流水线易放大误差的问题，SynHMR 提出骨骼关节与网格顶点的协同联合建模框架，利用几何感知 Transformer 实现骨骼与表面的双向空间约束交互，并在三个公开数据集上刷新 SOTA。

研究背景与动机¶

基于激光雷达（LiDAR）的三维人体网格重构（Human Mesh Reconstruction, HMR）在自动驾驶环境感知、具身机器人交互以及复杂场景行为分析中扮演着基础核心角色。相比于 RGB 与 RGB-D 传感器容易受到复杂光照变化、恶劣天气、视距受限以及隐私泄露等现实制约，激光雷达点云能够提供厘米级的精确空间几何观测，且天然具备全天候与隐私保护优势。然而，在自动驾驶真实道路等中远距离场景中，捕获的人体点云往往极其稀疏（通常有效点数仅有数十至数百点），特别是人体四肢等细长部位几乎只包含离散残缺的寥寥数点，严重的几何细节丢失给高精度人体网格重建带来了严峻挑战。

现有基于点云的人体网格恢复方法大多遵循一种单向解耦的分步流水线：先从点云特征中预测三维骨骼关节点（3D Pose），再以此为条件回归人体网格（如 SMPL 参数或显式网格）。这种单向因果流水线在面对稀疏和遮挡点云时存在致命缺陷：由于早期的骨骼估计无法利用局部表面和形变约束来修正姿态偏差，初始关节点的定位误差会在后续网格重建阶段被持续传递并急剧放大。尽管部分进阶方案尝试引入由粗到细的渐进式重建策略，但它们在本质上仍将姿态与网格孤立建模，完全忽略了人体表面网格几何对内部骨架所固有的空间包络与解剖学约束。

解决这一矛盾的关键切入点在于重构骨骼关节与网格表面之间的几何共生关系。骨骼关节提供了强先验的拓扑连通骨架，能够引导网格形变符合人体生物力学规律；而表面网格能够更紧密、更直接地锚定局部点云几何观测，从而为校准骨骼关节点的空间位置提供强有力的几何边界支撑。核心 idea：将骨骼关节点与表面采样顶点统一表征为携带显式三维坐标的位置敏感查询，通过几何感知 Transformer 实现骨架拓扑引导与表面空间约束的双向闭环迭代精炼，并结合训练期噪声增强学习彻底消除单向误差积累。

方法详解¶

整体框架¶

SynHMR 接收单帧稀疏激光雷达点云作为输入，直接端到端重构出高质量的人体 SMPL 三维网格与骨架关节。整个系统主要包含三个协同演进的处理阶段： 1. 协同查询初始化与噪声增强：首先通过最远点采样（FPS）在标准 T-pose SMPL 模板上选取具代表性的表面顶点，利用 PointNet++ 提取点云多层级特征与全局语义特征，经轻量 MLP 解码器预测粗糙的 24 个骨架关节与 $N_v$ 个表面顶点坐标，并在训练阶段对关节注入高斯扰动以构建抗噪增强查询集； 2. 几何感知 Transformer 迭代协同精炼：将关节、顶点及其带噪副本转化为内容嵌入与高斯傅里叶位置编码（GFPE），通过多层级自注意力机制实现关节与顶点之间的双向互校，并结合跨注意力机制自适应聚合点云局部几何线索，逐层预测位置偏移量实现动态坐标演进； 3. 拓扑感知网格解析器：融合精炼后的骨骼空间坐标、几何感知特征以及全局上下文，借助人体骨骼解剖图驱动的 Spatial GCN 回归各关节的 6D 连续旋转表示，最终输入可微 SMPL 模型解析出全密集网格与最终骨架。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["稀疏 LiDAR 点云<br/>N=512 归一化输入"] --> B["协同查询初始化与噪声增强<br/>PointNet++提取特征 / FPS采样 / 注入高斯噪声"]
    B --> C["几何感知 Transformer<br/>GFPE位置编码 / 骨骼-网格自注意力 / 局部跨注意力逐层精炼"]
    C --> D["拓扑感知网格解析器<br/>多尺度特征拼接 / Spatial GCN解剖骨架图 / 可微SMPL回归"]
    D --> E["输出精细 3D 人体结果<br/>稠密网格 V_Mesh (6890) 与关节 J_SMPL (24)"]

关键设计¶

1. 协同查询初始化与噪声增强：打破单向级联的解耦束缚

传统方法将骨骼关节点视作网格重建的前置输入，导致上游姿态误检直接破坏下游表面质量。为了实现两者的对称协同，模型首先使用最远点采样（FPS）在 T-pose SMPL 人体均值模板上筛选出 $N_v = 256$ 个代表性表面顶点索引 $I_{sample}$，均匀覆盖躯干与四肢的关键形变区域。随后，归一化点云 $P \in \mathbb{R}^{512 \times 3}$ 经由 PointNet++ 层次化 Set Abstraction 层提取前三层的多层级局部几何特征 $F_{pc}$ 以及 1024 维全局语义特征 $F_g$。两个独立的 MLP 解码器以 $F_g$ 为输入，并行输出粗糙的 24 个骨骼关节坐标 $J \in \mathbb{R}^{24 \times 3}$ 与 $N_v$ 个采样顶点坐标 $V \in \mathbb{R}^{N_v \times 3}$。

为了进一步迫使网络学会在骨架失真时借助表面几何来拉回姿态，模型引入了噪声增强学习（Noise-Augmented Learning, NAL）机制。在训练期间，以初始关节为中心叠加独立同分布的高斯扰动： $$\hat{J} = J + \epsilon, \quad \epsilon \sim \mathcal{N}(0, \sigma^2)$$ 将初始关节 $J$、扰动关节 $\hat{J}$ 与采样顶点 $V$ 赋予独立的可学习内容嵌入 $E_J \in \mathbb{R}^{24 \times D}$、$E_{\hat{J}} \in \mathbb{R}^{24 \times D}$ 和 $E_V \in \mathbb{R}^{N_v \times D}$（其中隐层维度 $D=256$），拼接形成总规模为 $N_q = N_v + 48$ 的混合查询集。此设计切断了网络对初始关节点位置的脆弱依赖，迫使后续模块在噪声存在时深度依赖表面顶点与点云原语来进行联合纠偏。

2. 几何感知 Transformer：高频编码驱动的双向几何协同精炼

点云高度稀疏时，低维 3D 坐标直接输入注意力层难以感知人体局部的微小几何形变。SynHMR 设计了由 $L=6$ 个级联解码层组成的几何感知 Transformer。在进入每一层解码器前，引入高斯傅里叶位置编码（Gaussian Fourier Positional Encoding, GFPE）模块，利用服从高斯分布的随机投影矩阵 $B \in \mathbb{R}^{3 \times (D/2)}$ 将三维坐标 $x$ 映射至高维频域空间： $$\gamma(x) = [\sin(2\pi x B), \cos(2\pi x B)] \in \mathbb{R}^D, \quad \text{GFPE}(x) = \text{MLP}(\gamma(x)) \in \mathbb{R}^D$$ GFPE 同样被注入到多层级点云坐标中，使得注意力计算对高频空间细节具备强烈的辨别力。

在解码层内部，首先利用自注意力机制（Self-Attention）建模混合查询之间的交互。骨骼关节点查询向表面顶点查询投射解剖学骨架拓扑先验，规范顶点分布的刚性与连贯性；与此同时，紧贴稀疏点云的表面顶点查询向骨骼关节传递局部包络面空间约束，将偏离人体中心的关节点向内牵引。随后，跨注意力机制（Cross-Attention）将混合查询对齐到拼接后的多层级点云特征 $F_{pc} = [W_1 F^{(1)}, W_2 F^{(2)}, W_3 F^{(3)}] \in \mathbb{R}^{N_s \times D}$，从真实空间散乱观测中自适应检索局部证据。经过前馈网络（FFN）后，专用的偏移量 MLP 预测各查询在当前层的坐标位移 $\Delta E_{pos}^{(l)}$，动态更新空间坐标： $$E_{pos}^{(l)} = E_{pos}^{(l-1)} + \Delta E_{pos}^{(l)}$$ 在 $L$ 层迭代更新后，丢弃带噪查询，输出高度精确的精炼关节坐标 $J^* \in \mathbb{R}^{24 \times 3}$、精炼顶点坐标 $V^* \in \mathbb{R}^{N_v \times 3}$ 以及几何感知关节特征 $E_J^* \in \mathbb{R}^{24 \times D}$。

3. 拓扑感知网格解析器：解剖图驱动的可微参数化回归

为了将离散的几何表征映射为生物力学严格合规且具备表面连续性的 SMPL 身体模型，SynHMR 没有采用直接的全连接回归，而是设计了解剖拓扑感知的图卷积解析器。针对人体的 24 个骨骼关节，系统将三类异构特征沿着通道维度显式拼接： $$F_{GCN} = \text{Concat}\big(J^*,\, E_J^*,\, \text{Repeat}(F_g)\big) \in \mathbb{R}^{24 \times (3 + D + 1024)}$$ 该特征既包含精炼关节的三维显式绝对坐标，又包含经由表面顶点双向约束后的几何感知特征，同时融入了点云的全局语义先验。

构造以 24 个关节为节点、人体自然运动骨架连接为边的骨骼图，利用多层空间图卷积网络（Spatial GCN）在拓扑图上传播邻域信息，有效消除四肢关节旋转中的非自然扭曲（如反向弯折）。GCN 输出每个关节的 6D 连续旋转表示，经变换后得到标准旋转矩阵 $\theta^* \in \mathbb{R}^{24 \times 3 \times 3}$。最后，将 $\theta^*$ 输入可微 SMPL 模型，通过线性混合蒙皮（Linear Blend Skinning, LBS）瞬时生成包含 6890 个顶点的全精细网格 $V_{Mesh} \in \mathbb{R}^{6890 \times 3}$ 与对应的解剖骨架关节点 $J_{SMPL} \in \mathbb{R}^{24 \times 3}$。

损失函数 / 训练策略¶

模型在单张 NVIDIA RTX 3090 Ti GPU 上采用端到端多任务联合监督训练，使用 Adam 优化器，batch size 为 16，初始学习率设为 $1 \times 10^{-4}$，权重衰减设为 $1 \times 10^{-4}$，总共训练 200 个 epoch，Spatial GCN 的 dropout 设为 0.5。总损失函数由四个均方误差项加权构成： $$\mathcal{L}_{total} = \lambda_{vertex} \mathcal{L}_{vertex} + \lambda_J \mathcal{L}_J + \lambda_{J_{SMPL}} \mathcal{L}_{J_{SMPL}} + \lambda_\theta \mathcal{L}_\theta$$ 各项损失具体定义为： 1. 精炼顶点损失：$\mathcal{L}_{vertex} = \frac{1}{N_v} \sum_{k=1}^{N_v} \|V_k^* - V_{GT,k}\|_2^2$，直接监督 Transformer 输出的精炼采样顶点，强化表面几何锚定； 2. 精炼关节损失：$\mathcal{L}_J = \frac{1}{24} \sum_{j=1}^{24} \|J_j^* - J_{GT,j}\|_2^2$，监督协同精炼后的关节点位置； 3. SMPL 关节损失：$\mathcal{L}_{J_{SMPL}} = \frac{1}{24} \sum_{j=1}^{24} \|J_{SMPL,j} - J_{GT,j}\|_2^2$，确保经解剖蒙皮后的关节与真实姿态一致； 4. 关节姿态旋转损失：$\mathcal{L}_\theta = \frac{1}{24} \sum_{j=1}^{24} \|\theta_j^* - \theta_{GT,j}\|_F^2$，采用 Frobenius 范数约束 24 个关节旋转矩阵。

超参数配置上，旋转矩阵损失权重 $\lambda_\theta = 1.0$，而顶点损失与两个关节损失权重均设为 $\lambda_{vertex} = \lambda_J = \lambda_{J_{SMPL}} = 5.0$。

实验关键数据¶

主实验¶

在三个主流激光雷达人体姿态与网格基准数据集（LiDARHuman26M、SLOPER4D、Human-M3）上进行评估。对比指标包含平均关节点位置误差 MPJPE（mm）、对齐后关节点误差 PA-MPJPE（mm）、每顶点平均误差 PVE（mm）以及以躯干长度归一化的关键点正确百分比 PCK-30 与 PCK-50（%）。

数据集	方法	MPJPE (mm)↓	PA-MPJPE (mm)↓	PVE (mm)↓	PCK-30 (%)↑	PCK-50 (%)↑
LiDARHuman26M	LiDARCap† (CVPR'22)	93.74	76.96	120.14	82.08	92.27
	LiDARCap (多帧时序)	79.31	66.72	101.64	86.00	95.00
	VoteHMR (ACM MM'21)	133.48	108.74	164.72	70.52	84.89
	LiDAR-HMR (TMM'25)	76.07	67.14	101.73	86.12	94.75
	SynHMR (本文)	74.25	65.04	96.22	87.26	95.39
SLOPER4D	VoteHMR (ACM MM'21)	54.02	41.51	63.51	93.90	98.15
	LiDARCap (多帧时序)	101.89	78.93	122.35	78.15	89.77
	LiDAR-HMR (TMM'25)	47.78	36.30	49.75	94.90	98.35
	SynHMR (本文)	34.09	26.87	41.32	97.03	99.02
Human-M3	LiDARCap† (CVPR'22)	101.28	67.64	115.32	78.37	89.58
	LiDAR-HMR (TMM'25)	76.35	56.53	86.92	87.63	94.78
	SynHMR (本文)	56.76	43.03	70.70	93.10	97.15

消融实验¶

在 LiDARHuman26M 数据集上针对各核心模块、采样顶点数量 $N_v$ 以及 Transformer 层数 $L$ 进行系统消融分析。

配置	关节查询	网格查询	GFPE 编码	NAL 噪声	MPJPE (mm)↓	PVE (mm)↓	说明
基线 (LiDARCap†等价)	-	-	-	-	93.74	120.14	仅PointNet++与单向MLP+GCN
纯关节查询	✓	-	-	-	79.84	102.49	仅 Transformer 迭代精炼关节点
协同关节-网格交互	✓	✓	-	-	75.89	98.33	引入顶点查询实现双向约束
关节 + GFPE	✓	-	✓	-	78.09	100.78	仅关节查询引入高频位置编码
关节 + NAL	✓	-	-	✓	78.30	100.92	仅关节查询引入噪声增强
协同交互 + GFPE	✓	✓	✓	-	75.62	98.12	协同模型加入高频位置编码
协同交互 + NAL	✓	✓	-	✓	75.09	96.97	协同模型加入噪声增强
SynHMR 完整模型	✓	✓	✓	✓	74.25	96.22	全组件启用，相比基线显著降低

采样顶点数 $N_v$	MPJPE (mm)↓	PVE (mm)↓	说明
32	75.21	97.38	表面采样稀疏，几何支撑有限
64	74.92	97.07	精度随表面覆盖逐步提升
128	74.75	96.72	稳定改进
256 (默认)	74.25	96.22	精度与计算显存的最佳平衡点
512	74.21	96.00	收益边际递减，计算与显存开销增加

运行效率与开销对比	延迟 (ms)↓	GFLOPs↓	参数量 (M)↓	MPJPE (mm)↓	PVE (mm)↓
VoteHMR (ACM MM'21)	18.88	4.35	1.78	133.48	164.72
LiDAR-HMR (TMM'25)	55.28	13.94	46.40	76.07	101.73
LiDARCap (CVPR'22)	8.62	9.18	34.93	79.31	101.64
SynHMR (Ours)	7.56	3.87	14.80	74.25	96.22

关键发现¶

双向协同是精度的最大驱动源：消融表表明，单纯引入 Transformer 关节查询将 MPJPE 从 93.74 mm 压至 79.84 mm；而当加入网格顶点查询实现联合双向约束后，MPJPE 骤降至 75.89 mm，PVE 从 102.49 mm 压降至 98.33 mm。这一巨大跃升直接证实了表面几何对骨骼的物理包络约束能根本性抑制点云稀疏带来的姿态漂移。
高频编码与噪声增强互相增益：单独引入 NAL 机制使协同模型的 MPJPE 进一步下探至 75.09 mm，证明训练期强加的关节噪声有效逼迫模型在推理时学会从局部表面顶点中找回正确的解剖位姿；组合 GFPE 后达到 74.25 mm 最优性能。
极高的推理效率与部署友好性：效率对比显示，SynHMR 单帧推理延迟仅为 7.56 ms，计算量仅 3.87 GFLOPs，参数量仅 14.80 M。相比此前 SOTA 的 LiDAR-HMR（55.28 ms、13.94 GFLOPs），速度提升超过 7.3 倍，完全满足自动驾驶系统对 10Hz/20Hz 实时感知的严苛延迟要求。

亮点与洞察¶

解开级联误差链的对称双向设计：颠覆了传统“关节定骨架、骨架带网格”的单向层级因果链，创新地将骨骼与网格作为对等查询在多层自注意力机制中协同精炼，使表面点云观测能够实质性反哺骨架姿态。
训练期噪声注入（NAL）构建自愈能力：将去噪生成思想优雅地内化到查询细化网络中，通过注入可控高斯扰动逼迫跨模态查询学会相互依赖与错误修正，训练后无需额外推理开销即可大幅增强稀疏鲁棒性。
端到端轻量化与高精度的极致平衡：采用紧凑的稀疏查询架构代替耗时冗长的逐点投票或稠密体素上采样，以极低的算力消耗（3.87 GFLOPs）刷新了多项权威基准，兼顾学术价值与车载工程落地可行性。

局限与展望¶

单帧重构的时序连贯性欠缺：当前模型专注于单帧稀疏点云建模，未融合连续激光雷达点云序列的时间连续性先验，在偶发的剧烈动态动作或持续重度遮挡场景中可能出现帧间抖动。
极限稀疏与远距离超大场景的衰减：当目标行人距离超过 40 米、点云退化至极少点（如少于 20 点）时，粗糙顶点初始化阶段容易失效，进而限制后续协同精炼的修正上限。
未来方向：探索引入轻量级状态空间模型（如 Mamba）或流式时空图卷积，在保持超低延迟的同时融入跨帧时间滤波，进一步强化长尾极限稀疏样本的恢复稳定性。

评分¶

新颖性: ⭐⭐⭐⭐☆ 提出对称的关节-网格协同建模与噪声增强训练机制，有效打破了激光雷达 HMR 领域的单向误差传播局限。
实验充分度: ⭐⭐⭐⭐⭐ 在 LiDARHuman26M、SLOPER4D、Human-M3 三大权威基准上完成严谨评测，定量、定性、消融与计算效率对比均极为扎实完整。
写作质量: ⭐⭐⭐⭐⭐ 论文逻辑清晰、问题动机切中行业核心痛点，模块结构与实验分析详略得当。
价值: ⭐⭐⭐⭐⭐ 显著兼顾高精度（全方位 SOTA）与超高帧率（7.56 ms 极低延迟），对车载自动驾驶行人人体三维感知与交互具备极高参考与落地价值。