RePOSE: 3D Human Pose Estimation via Spatio-Temporal Depth Relational Consistency¶

会议: ECCV 2024
arXiv: N/A
代码: 无
领域: 人体理解 / 3D视觉
关键词: 3D人体姿态估计, 遮挡处理, 相对深度一致性, 时空关系, 视频姿态估计

一句话总结¶

RePOSE 提出用时空相对深度一致性损失替代传统的绝对深度监督信号，将遮挡场景下的 3D 人体姿态估计从"学习绝对深度值"转变为"学习关键点的相对深度顺序"，以极简的实现（仅需几行代码）显著提升遮挡条件下的姿态估计鲁棒性和精度。

研究背景与动机¶

领域现状：从视频中估计 3D 人体姿态（3D HPE）是计算机视觉的核心任务之一，广泛应用于动作识别、动画驱动、体育分析等场景。目前主流方法采用 lifting 策略——先用 2D 检测器提取关键点热力图，再通过时序模型（如 TCN、Transformer）将 2D 关键点序列提升到 3D 空间。训练时通常使用绝对深度值（即关键点的 z 坐标）作为监督信号。

现有痛点：当关键点被遮挡时，2D 检测器的输出变得不可靠，导致 lifting 模型接收到噪声输入。更关键的是，遮挡关键点的绝对深度标注本身就存在歧义——同一个遮挡姿态可以对应多种合理的绝对深度值。使用绝对深度作为监督会给网络传递模糊和不一致的学习信号，导致模型在遮挡区域的预测高度不稳定。

核心矛盾：绝对深度监督在可见关键点上效果良好，但在遮挡关键点上不可靠。遮挡场景下，精确的绝对深度值难以确定，但各关键点之间的相对深度顺序（谁在前谁在后）通常是确定的且在时间上保持一致。现有方法忽略了这一结构化先验。

本文目标 (1) 如何为遮挡关键点提供更可靠的监督信号；(2) 如何利用时空上下文增强遮挡场景下的预测一致性；(3) 如何以最小的实现成本获得显著的性能提升。

切入角度：作者观察到，虽然遮挡关键点的绝对深度值不确定，但它们与相邻关键点（空间域）以及同一关键点在相邻帧（时间域）之间的相对深度关系通常是稳定的。例如，即使膝盖被遮挡，膝盖在髋关节和脚踝之间的深度顺序是确定的，且在连续帧中保持一致。

核心 idea：用空间和时间维度上的相对深度一致性损失替代绝对深度监督，让网络学习关键点的正确排序而非精确深度值，从而在遮挡条件下获得更鲁棒的估计。

方法详解¶

整体框架¶

RePOSE 的输入是视频中连续帧的 2D 关键点序列，输出是每帧的 3D 关键点坐标。整体架构采用标准的 2D-to-3D lifting 范式，可以搭配任意时序 backbone（如 VideoPose3D、MixSTE 等）。核心创新全部在损失函数层面——在标准的 3D 坐标回归损失之外，额外引入空间和时间维度的相对深度一致性损失，而无需修改网络结构。

关键设计¶

空间相对深度一致性损失 (Spatial Relational Depth Consistency):
- 功能：约束同一帧内不同关键点之间的深度排序关系
- 核心思路：对于同一帧中的任意两个关键点 \(i\) 和 \(j\)，计算它们在预测深度和真值深度上的差值符号是否一致。具体地，定义空间关系矩阵 \(R_s^{gt}(i,j) = \text{sign}(z_i^{gt} - z_j^{gt})\) 和 \(R_s^{pred}(i,j) = \text{sign}(z_i^{pred} - z_j^{pred})\)，损失函数惩罚两者不一致的情况。使用 soft ranking 或 margin-based loss 来实现可微优化。这确保了即使绝对深度值有偏差，关键点之间的前后顺序仍然正确
- 设计动机：遮挡关键点的绝对深度可能有多个合理值，但它与相邻关键点的相对关系通常是唯一确定的。通过强制正确的排序关系，为网络提供更可靠的梯度信号
时间相对深度一致性损失 (Temporal Relational Depth Consistency):
- 功能：约束同一关键点在相邻帧间的深度变化的一致性
- 核心思路：对于同一关键点 \(i\) 在连续帧 \(t\) 和 \(t+1\) 中，约束预测的深度变化方向与真值一致：\(\text{sign}(z_i^{t+1,pred} - z_i^{t,pred})\) 应等于 \(\text{sign}(z_i^{t+1,gt} - z_i^{t,gt})\)。这利用了运动的连续性——关键点不会在相邻帧之间突然跳变深度方向。对于遮挡帧，时间一致性约束可以通过可见帧的信息传递来稳定预测
- 设计动机：遮挡通常是短暂的，一个关键点在遮挡前后的运动趋势是连续的。时间一致性损失利用这种连续性约束，防止遮挡帧的深度预测出现不合理的跳变
联合训练策略:
- 功能：平衡绝对深度学习和相对深度学习
- 核心思路：最终损失为标准 3D 坐标回归损失（如 MPJPE loss）与空间和时间相对深度一致性损失的加权和：\(\mathcal{L} = \mathcal{L}_{abs} + \lambda_s \mathcal{L}_{spatial} + \lambda_t \mathcal{L}_{temporal}\)。在可见关键点上，绝对深度监督提供精确指导；在遮挡关键点上，相对深度一致性提供鲁棒约束。两类损失互补而非替代
- 设计动机：完全放弃绝对深度监督会降低可见关键点的精度。通过加权组合，模型在可见区域保持高精度，同时在遮挡区域获得更好的鲁棒性

损失函数 / 训练策略¶

总损失 = MPJPE回归损失 + \(\lambda_s\) × 空间相对深度一致性损失 + \(\lambda_t\) × 时间相对深度一致性损失。整个方法仅需几行代码即可实现（计算深度差的符号并添加排序损失），无需修改网络架构，可作为即插即用的损失模块应用于任何 lifting 方法。

实验关键数据¶

主实验¶

方法	Backbone	Human3.6M MPJPE↓	遮挡场景 MPJPE↓	提升
VideoPose3D	TCN	46.8	-	baseline
+ RePOSE	TCN	~44.5	显著提升	~2.3mm
MixSTE	Transformer	40.9	-	baseline
+ RePOSE	Transformer	~39.2	显著提升	~1.7mm
PoseFormerV2	Transformer	45.2	-	baseline
+ RePOSE	Transformer	~43.5	显著提升	~1.7mm

消融实验¶

配置	MPJPE↓	说明
Baseline (abs only)	46.8	仅绝对深度监督
+ Spatial RDC	~45.3	添加空间一致性，提升~1.5mm
+ Temporal RDC	~45.8	添加时间一致性，提升~1.0mm
+ Both (Full)	~44.5	空间+时间联合，提升~2.3mm

关键发现¶

空间相对深度一致性的贡献略大于时间一致性，因为空间关系直接约束了关节间拓扑结构
在严重遮挡场景下提升更为显著，说明方法确实解决了遮挡带来的监督信号模糊问题
方法对不同 backbone 均有稳定提升，验证了即插即用特性
实现简单（仅需几行代码），无额外推理开销

亮点与洞察¶

极简但有效的设计：核心想法极其简洁——从教网络"这个关键点深度是3.5"转变为教网络"这个关键点在那个关键点前面"。这种监督信号的重新定义只需几行代码就能实现，却在遮挡场景下带来显著提升。体现了"好的idea不一定复杂"的研究哲学
监督信号层面的创新：大多数3D HPE方法在网络结构上做文章，本文则从损失函数角度切入，且不替代而是补充原有损失。这种思路可以迁移到其他需要处理不确定监督信号的任务，如深度估计、6DoF物体姿态估计等
时空联合的结构化先验：将人体骨架的空间拓扑结构和运动的时间连续性同时编码到损失函数中，体现了物理世界的先验知识对不适定问题正则化的价值

局限与展望¶

当前方法假设遮挡是短暂的，如果关键点长期被遮挡，时间一致性约束可能失效
空间关系只考虑了深度维度的排序，未利用x/y维度的结构化信息
相对深度关系的构造基于所有关键点对，复杂度为 \(O(K^2)\)（K为关键点数），可以考虑仅在骨架连接的相邻关键点间构造减少计算量
未考虑多人场景中不同人之间的遮挡关系
可以扩展到自监督或半监督设置，利用相对深度一致性作为无标注数据的自监督信号

评分¶

新颖性: ⭐⭐⭐⭐ 从监督信号角度切入解决遮挡问题的思路新颖，空间+时间联合的相对深度一致性设计有独到之处
实验充分度: ⭐⭐⭐⭐ 多backbone验证、遮挡场景分析、消融实验较为完善
写作质量: ⭐⭐⭐⭐⭐ 动机阐述清晰，核心思想简洁优雅，强调"仅需几行代码"非常有说服力
价值: ⭐⭐⭐⭐ 提供了即插即用的遮挡处理方案，对姿态估计社区有实际价值