HumanTracker: Towards Comprehensive and Human-Aligned Motion Tracking Benchmark¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://dairuliu.github.io/humantracker
领域: 对齐/RLHF
关键词: 人形机器人追踪, 评测基准, 人类偏好对齐, 奖励模型, 物理接触真实性

一句话总结¶

针对传统运动学指标与人类视觉感知严重脱节以及现有测试集规模小、缺乏接触挑战的问题，HumanTracker 构建了涵盖 150 小时、2.4 万段精细分类的光学动捕基准，并提出了基于 1.2 万对人类偏好数据训练的时序 Transformer 奖励模型 HumanScore，实现了高达 92.91% 的人类偏好预测对齐率。

研究背景与动机¶

人形机器人全身运动追踪（Humanoid Motion Tracking）是遥操作与全身模仿学习的核心基石。当前系统通常在物理仿真中利用基于强化学习的闭环反馈策略追踪参考轨迹。然而，衡量追踪策略优劣的评测体系面临着深层次的错配矛盾。传统评估普遍依赖平均关节误差（MPJPE）或关键点位置误差等纯运动学指标，这类指标将追踪视为逐帧的几何位姿对齐，直接对所有关节和时序做平均。但在实际观测中，哪怕平均关节误差仅相差数毫米，人眼也会迅速判定某些动作为“失败”，例如足部滑移（foot skating）、着地脱离时序混乱以及支撑失稳。人类在评估真实运动时，更关注接触稳定性、重心平衡与动态平滑度，而运动学误差在闭环控制误差累积与物理接触失真方面存在显著的感知盲区。

与指标失真并存的另一大瓶颈在于评测基准的覆盖范围与颗粒度严重不足。尽管学术界已积累了 PHUMA、SONIC 等大规模动作源，但当前人形机器人追踪领域最常采用的标准评测套件依然是仅有 140 个序列的 AMASS 测试子集。该子集不仅样本容量极小，且严重偏向常规平地步态，缺乏长程非对称平衡、激烈冲击以及多点接触恢复等长尾复杂场景。更关键的是，以往测试通常仅汇报单一的全数据集平均得分，掩盖了不同接触机制下的具体失效原因。

本文的切入角度是打破将逐帧位姿误差等同于真实追踪质量的假设，将人类对于物理合理性与支撑稳定性的直观偏好显式建模为轨迹级评测信号，同时提供具备细粒度诊断价值的大规模光学动捕测试基准。核心 idea：构建包含四大动作类别、150 小时高精度光学动捕的标准化评测基准 HumanTracker，并基于 1.2 万对同步轨迹比较视频训练时序 Transformer 偏好奖励模型 HumanScore，以感知对齐的标量奖励精准捕捉传统运动学指标遗漏的接触与失稳缺陷。

方法详解¶

整体框架¶

HumanTracker 评测体系由两大支柱构成：包含 150 小时、2.4 万段高质量动捕片段的细粒度诊断测试基准，以及基于人类偏好训练的时序轨迹奖励模型 HumanScore。对于任意待评估的人形机器人追踪策略，首先在标准化的物理仿真环境中针对给定参考轨迹进行闭环仿真，输出状态时间序列（包含全身运动学状态与特权接触信号）；随后将其切分为 5 秒的时间窗口，送入共享参数的双向时序 Transformer 编码器中提取时空动力学特征，经全局平均池化与 MLP 预测标量偏好分数；最后通过基于全局分位数的 Sigmoid 变换归一化至 0–100 的百分制 HumanScore，用于全方位诊断模型在不同动作类别下的接触合理性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["参考动作轨迹与策略仿真 Rollout<br/>统一 qpos 格式与物理仿真器配置"] --> B["多维时序特征提取<br/>位姿、速度、足底接触力与参考特征"]
    B --> C["双向时序 Transformer 编码器<br/>5层 Multi-Head Attention 捕获长程动态"]
    C --> D["全局平均池化与奖励预测头<br/>聚合时序 Token 输出标量 r(τ)"]
    D --> E["Bradley-Terry 偏好排序优化<br/>融合成对偏好与平局校验损失"]
    E --> F["HumanScore 归一化评分与细粒度诊断<br/>0-100 标准化分值与四大动作族群评测"]

关键设计¶

1. 多维时序特征提取：融合特权动力学与参考对齐特征 传统姿态指标仅对比外表几何位姿，无法直接感知足底支持多边形和接触冲击。为了消除视觉渲染带来的外观干扰并直击物理本质，HumanScore 并不直接输入视频像素，而是提取仿真底层的时间序列。在每一个时间步 $t$，模型构建复合特征向量 $x_t$，将策略产生的全身关节自由度位置、角速度、线速度，以及仿真环境中可获取的特权接触物理量（如足底受力、离地高度、相对滑移速率）与时间对齐的参考特征 $q_t^{\mathrm{ref}}$ 进行拼接。经过线性层与 LayerNorm 投影至维度 $D_{\mathrm{model}}=1024$ 后，再叠加正弦绝对位置编码，赋予模型感知动态足地相互作用与参考偏差时空特性的能力。

2. 双向时序 Transformer 编码器：建模长程物理稳定性与接触时序 足部滑动、高频抖动、支撑腿瞬时脱落以及临界倾倒往往具有跨越数秒的时序累积特性，孤立单帧难以判定动作是否稳定。HumanScore 采用 5 层双向 Transformer 编码器（每层配备 2 个注意力头，前馈网络维度 1024）。双向自注意力机制使得序列中任意时刻的动作均能与整个 5 秒窗口内的上下文进行关联，精准捕捉摆动相向支撑相转换时的接触时序（contact timing）、落地缓冲以及重心偏移，从而在隐空间内表征长程运动的连续平滑性与动态平衡。

3. 全局平均池化与奖励预测头：从时序表征到标量感知评价 在编码完成的 $T$ 个时序 Token 序列上，模型应用全局平均池化（Mean Pooling）聚合整段窗口的全局动力学表征，随后输入多层感知机（MLP）奖励头映射为标量奖励输出 $r_\theta(\tau) \in \mathbb{R}$。对于长达数分钟的完整 Rollout 轨迹，评测协议将其切分为多个无重叠的 5 秒切片 $s_i$，计算各段奖励均值： $$\mathrm{Score}_{\mathrm{RM}}^{\mathrm{raw}}(\tau) = \frac{1}{N} \sum_{i=1}^N r_\theta(s_i)$$ 为了使不同评测环境下的分数直观可比，评测体系利用样本池的第一四分位数 $q_{25,b}$ 与第三四分位数 $q_{75,b}$ 建立尺度因子 $\mathrm{scale}_b = \max((q_{75,b}-q_{25,b})/(2\log 3), \epsilon)$，通过 Sigmoid 将原始分值校准映射为 0–100 的直观区间： $$\mathrm{HumanScore}_b = 100 \cdot \sigma\left(\frac{\mathrm{Score}_{\mathrm{RM}}^{\mathrm{raw}} - \mathrm{median}_b}{\mathrm{scale}_b}\right)$$

4. Bradley-Terry 偏好排序优化：对齐人类四元裁决与平局校准 模型利用 1.2 万对由人类标注员裁决的双盲同步追踪视频进行训练。标注系统包含“左更佳、右更佳、均优秀、均劣质”四类标签。针对具有明确胜负偏好的样本对 $(\tau_{\mathrm{chosen}}, \tau_{\mathrm{rejected}})$，模型采用引入边界参数 $m$ 的负对数似然 Bradley-Terry 损失函数优化： $$\mathcal{L} = -\log \sigma(r_\theta(\tau_{\mathrm{chosen}}) - r_\theta(\tau_{\mathrm{rejected}}) - m)$$ 针对平局样本（Both good / Both bad），损失函数惩罚两轨迹间的绝对分值差以维持一致性，同时引入绝对尺度锚定损失，强制约束均优秀轨迹的标量基准高于均劣质轨迹，防止奖励模型出现尺度漂移。

损失函数 / 训练策略¶

奖励模型采用 AdamW 优化器进行全参数微调，共训练 4 个 Epoch，批大小（Batch Size）设置为 128，基础学习率设为 $1\times 10^{-5}$ 并采用余弦退火（Cosine Annealing）调度，Dropout 设为 0.05，权重衰减系数（Weight Decay）为 $1\times 10^{-5}$。偏好数据集严格按 8:2 划分训练集与独立测试集。仿真环境统一采用标准刚体物理引擎，固定控制频率与动作边界，杜绝仿真环境参数对基准评测的隐式干扰。

实验关键数据¶

主实验¶

在保留的人类偏好测试集上，针对人类偏好预测准确率（Align Rate）进行了对比，结果证明 HumanScore 相比所有运动学及物理手设指标具有压倒性的一致性。

评估指标 / 模型	偏好对齐率 (Align Rate) ↑	说明
HumanScore (奖励模型)	0.9291	本文提出，时序 Transformer 轨迹奖励
MPJPE (rad)	0.8218	平均关节位姿误差
Avg Joint Jerk (rad/s³)	0.7088	平均关节加加速度（平滑度）
Avg Joint Accel (rad/s²)	0.6686	平均关节加速度
KPT Position MAE (m)	0.5594	关键点位置平均绝对误差
Foot Contact Accuracy	0.5307	规则足底接触准确率
MPJVE (rad/s)	0.4770	平均关节速度误差

在四大动作类别下的 Zero-Shot 泛化评测中，当前代表性人形机器人追踪模型表现如下（成功率 Succ %、关节误差 MPJPE rad、偏好分 HumanScore）：

模型	Daily (Succ / MPJPE / HumanScore)	High Dynamic (Succ / MPJPE / HumanScore)	Interaction (Succ / MPJPE / HumanScore)	Ground (Succ / MPJPE / HumanScore)
Humanoid-GPT	97.2% / 0.060 / 72.0	89.9% / 0.102 / 64.0	97.6% / 0.051 / 70.9	19.2% / 0.608 / 23.3
SONIC	93.6% / 0.103 / 52.5	92.3% / 0.118 / 43.1	96.6% / 0.080 / 65.9	0.0% / 0.260 / 35.3
TWIST2	80.0% / 0.106 / 24.3	62.3% / 0.164 / 21.8	93.5% / 0.075 / 41.2	0.0% / 0.320 / 13.3
GMT	21.1% / 0.244 / 12.7	30.7% / 0.250 / 16.2	76.7% / 0.151 / 40.2	3.0% / 0.436 / 15.7

消融实验¶

在保留的 1.2 万对人类偏好测试集上，针对推理时特征掩码（Zero-out）与时序窗口长度进行了系统消融（测试指标为 Align Rate）：

配置 / 特征组	对齐率 (Align Rate)	说明
完整模型 (Full Model, 5s)	0.9291	包含全部运动学、参考与接触特权特征
w/o Contact (去除接触相关特征)	0.7395	对齐率大幅暴跌 18.96%，证明接触是偏好核心
Kinematics only (仅保留位姿运动学特征)	0.7548	仅靠几何运动学无法对齐人类视觉评价
w/o Reference (去除参考轨迹特征)	0.9253	轻微降至 0.9253，表明物理合理性权重极高
w/o Root Vel (去除根节点速度特征)	0.9291	对齐率完全不变，对根速度不敏感
时序窗口截断消融
1 秒窗口 (1s Context)	0.7739	时序过短，无法观察步态周期与接触切换
2 秒窗口 (2s Context)	0.8525	捕获基础周期，准确率明显提升
3 秒窗口 (3s Context)	0.8812	逐渐逼近稳态
4 秒窗口 (4s Context)	0.9138	进一步增强长程失稳识别
5 秒窗口 (5s Context, 默认)	0.9291	完整覆盖接触恢复与长程平衡过程

关键发现¶

接触物理量是人类偏好的首要决定因素：特征消融清晰揭示，一旦遮蔽接触特征（Foot Contact），对齐率直接从 0.9291 骤降至 0.7395；而仅保留运动学特征时对齐率仅有 0.7548。人类评委对滑步和足底震颤极其敏感，这些物理瑕疵在几何误差均值中几乎被稀释。
长程时序上下文不可或缺：时序窗口从 1 秒递增至 5 秒时，人类偏好预测准确率从 77.39% 单调跃升至 92.91%。短时单帧无法区分是正常跨步腾空还是失稳滑倒，长程动力学才能有效捕获倾倒恢复与周期性冲击。
地面多点接触动作（Ground）仍属未攻克领域：在 Zero-Shot 测试中，无论是 SONIC 还是 TWIST2，在跪地、爬行、摔倒恢复等地面复杂交互动作中成功率几乎全部归零（0%），即便是最强的 Humanoid-GPT 也仅有 19.2% 的成功率，凸显了人形机器人在低重心复杂接触面交互上的极端脆弱性。

亮点与洞察¶

从几何拟合走向物理与感知对齐：首次将大规模人类偏好对齐框架（类似大语言模型 RLHF 中的奖励模型）引入人形机器人运动控制评测，建立了轨迹级 HumanScore 评估范式，彻底摆脱了单帧关节误差无法反映真实追踪质量的死穴。
四大族群解构接触动态复杂度：打破了过去使用全集平均分掩盖缺陷的惯例，通过 Daily、High Dynamic、Interaction 和 Ground 四大动作族群，精确定位模型在高速冲击（跳跃踢腿）与多点复杂接触（地面恢复）下的能力边界。
可复用的时空奖励蒸馏机制：HumanScore 通过时序 Transformer 聚合特权物理量与几何误差，不仅可用作离线评测黄金基准，实验亦验证其可作为 PPO 训练的密集奖励函数，直接引导控制策略消除滑移抖动。

局限与展望¶

直接用于强化学习时的奖励欺骗（Reward Hacking）：初步探究发现，当直接将 HumanScore 接入 PPO 作为密集奖励训练策略时，模型会学到僵硬紧绷的保守姿态以规避滑移惩罚，需与任务目标奖励精细加权或加入多样性正则。
仿真到现实（Sim-to-Real）的偏好保真度差异：当前偏好标注来自物理仿真器渲染的视频，真实机器人关节摩擦、减速器间隙及电机扭矩饱和可能引发新的物理失真，尚未在真机闭环遥操作中完成偏好校准。
标注场景受限与计算开销：目前人类偏好主要集中在平坦地面上的刚体接触，对于非刚性地面、可形变接触物体或双人交互的偏好评估仍待进一步扩充。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出基于人类成对偏好的时序 Transformer 轨迹奖励模型评价人形机器人运动追踪，打破了纯运动学指标局限。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 150 小时光学动捕、1.2 万对人类标注样本、4 大主流 SOTA 追踪算法对比及极其详尽的特征与时序消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，问题定义切中要害，实验图表信息量密集且规范。
价值: ⭐⭐⭐⭐⭐ 为人形机器人全身运动模仿、遥操作与运动生成建立了里程碑式的标准化评测体系与优化标尺。