PDF-HR: Pose Distance Fields for Humanoid Robots¶

会议: NeurIPS 2026
arXiv: 2602.04851
OpenReview: https://openreview.net/forum?id=mYvVwJ57SZ
领域: 机器人/具身智能
关键词: 人形机器人, 姿态距离场, 运动追踪, 动作重定向, 强化学习

一句话总结¶

提出针对人形机器人的连续可微姿态距离场（PDF-HR），将高维骨骼位形映射至有效位形流形的测地距离，作为即插即用先验用于强化学习运动追踪奖励整形与重定向正则化，显著加速策略收敛并消除物理违规伪影。

研究背景与动机¶

人形机器人具备与人类相似的运动学结构，能够在专为人类设计的复杂环境中协作与作业。然而，为其生成平滑、自然且物理可行的全身运动控制策略始终极具挑战。双足人形系统必须在受限的关节极限、避免自碰撞、接触可行性以及动态平衡之间取得精细权衡。在真实场景中，感知抖动、动力学建模偏差或重定向微小误差，往往会将机器人瞬时推向物理上极不合理甚至导致剧烈跌倒的奇异姿态。引入能够表征“合理构型流形”的姿态或运动先验，是约束轨迹搜索、提高控制鲁棒性的经典路径。

在人体运动恢复（HMR）领域，基于大规模动捕数据集（如 AMASS）的数据驱动姿态先验（如 Pose-NDF、NRDF、DPoser）已取得突破性进展。然而，这些先验难以直接迁移至人形机器人。人形机器人在自由度拓扑、连杆质量分布、执行器力矩极限及接触动力学上与人体存在显著的“具身鸿沟”（embodiment gap），且真实高质量人形机器人全身运动数据极其匮乏。现有机器人管线因此高度依赖手工设计的启发式几何约束、难以泛化的特定惩罚项，或与特定控制器/判别器强绑定的对抗先验（如 AMP、ADD），缺乏通用且即插即用的轻量化表征。

针对这一困境，本文不再尝试拟合复杂的人形运动生成式高维分布，而是退一步学习一个连续且全局可微的位形距离函数。核心 idea：将人形机器人的合理姿态分布建模为连续姿态距离场（PDF-HR），利用 1 自由度旋转关节的几何特性将流形测地距离简化为高效回归目标，构建紧凑的运动学同构神经网络，为任意查询姿态输出平滑的合理性度量与解析梯度，作为即插即用项赋能强化学习探索与重定向优化。

方法详解¶

整体框架¶

PDF-HR 围绕人形机器人运动学拓扑构建，将有效位形空间视作嵌入在高维关节空间中的低维光滑流形，并通过隐式未带符号距离场（Unsigned Distance Field）予以刻画。系统首先通过解耦扰动与几何插值构建密集覆盖状态空间的 3 亿规模数据集；接着利用与机器人运动链拓扑同构的层级编码器回归任意查询姿态到流形的最短测地距离；在下游部署阶段，PDF-HR 作为即插即用模块，既可转化为指数形式的姿态奖励加速强化学习策略训练，也可作为解析梯度正则项嵌入逆运动学二次规划求解器中消除重定向伪影。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["人体动作捕获数据<br/>AMASS / LaFAN1 / PHUMA"] --> B["多尺度混合流形采样<br/>流形真值+解耦扰动+姿态插值"]
    B --> C["运动学同构网络与测地场<br/>29-DoF 树状编码器回归测地距离"]
    C --> D["即插即用下游任务集成<br/>输出可微姿态合理性度量与梯度"]
    D -->|姿态先验奖励| E["强化学习运动追踪<br/>收敛速度显著提升/攻克高难度技巧"]
    D -->|连续可微正则项| F["全身动作重定向<br/>消除关节畸变与自穿透伪影"]

关键设计¶

1. 运动学同构网络与测地场：将高维流形距离简化为解析可微回归

针对人形机器人全身控制对实时性与梯度的严格要求，本文聚焦于 Unitree G1 平台的 29 个 1 自由度（1-DoF）旋转关节。对于旋转轴固定的单自由度旋转关节，两组关节角 \(q_i, q_i' \in \mathbb{R}\) 对应的三维李群旋转之间的黎曼测地距离严格简化为绝对标量差 \(d(\mathbf{R}_i, \mathbf{R}_i') = |q_i - q_i'|\)，使得全机关节构型空间 \(\mathcal{Q} \subseteq \mathbb{R}^{29}\) 上的乘积流形距离等价于 \(L_1\) 距离。更重要的是，作者在理论上严格证明了限制在 1-DoF 旋转切空间 \(\mathbf{R}[\mathbf{k}]\) 时，黎曼梯度与标准欧氏梯度完全等价：

\[\langle \mathrm{grad}\,f(\mathbf{R}), \mathbf{R}[\mathbf{k}] \rangle = \langle \nabla f(\mathbf{R}), \mathbf{R}[\mathbf{k}] \rangle\]

这意味着无需复杂的流形重投影或流形优化器，即可直接利用标准反向传播进行位形投影更新：

\[\mathbf{q}_{k+1} = \mathcal{P}\left(\mathbf{q}_k - \alpha \cdot f_\phi(\mathbf{q}_k) \cdot \frac{\nabla_\mathbf{q} f_\phi(\mathbf{q}_k)}{\|\nabla_\mathbf{q} f_\phi(\mathbf{q}_k)\|}\right)\]

其中 \(\mathcal{P}\) 为关节软硬物理限位投影算子。为精确刻画四肢与躯干的运动学依赖，网络弃用了扁平 MLP，设计了与机器人运动学树状结构完全匹配的层级编码网络。根节点关节特征直接映射自局部关节角，子节点特征 \(\mathbf{v}_k \in \mathbb{R}^{16}\) 则显式由当前关节角与父节点特征 \(\mathbf{v}_{\tau(k)}\) 递归聚合而成，使得几何特征沿运动链顺畅传导。

2. 多尺度混合流形采样：突破高维球面壳层集中的解耦扰动策略

为了训练全局平滑的距离场，负样本（流形外姿态）的分布设计至关重要。传统位形距离场（如 Pose-NDF）常采用向流形姿态叠加高斯噪声的方式构造负样本。但在 29 维的高维欧氏空间中，归一化高斯噪声的模长平方服从卡方分布 \(\frac{\|\boldsymbol{\epsilon}\|^2}{\sigma^2} \sim \chi^2_N\)，导致扰动点高度聚集在半径约为 \(\sigma\sqrt{N}\) 的极窄高维球面壳层上，使得模型无法学习到不同尺度下距离场的平滑过渡。

为此，PDF-HR 提出了包含三部分生成机制的混合采样流水线：第一部分为流形正样本 \(\mathcal{D}_\text{on}\)，从大规模重定向数据中采样并赋予零距离标签；第二部分为解耦扰动近流形采样 \(\mathcal{D}_\text{near}\)，显式解耦扰动方向与模长，方向向量从单位超球面 \(\mathbb{S}^{N-1}\) 均匀抽取，而标量距离 \(r\) 则服从半正态分布 \(|\mathcal{N}(0, \sigma^2)|\)，使采样密度平滑集中于流形边缘；第三部分为流形间插值采样 \(\mathcal{D}_\text{interp}\)，对随机姿态对进行凸组合插值以填补未覆盖的连通空隙。所有偏离流形的负样本通过 FAISS 快速检索其在正样本库中的最近邻 \(L_1\) 距离作为监督真值，最终构建出包含 3 亿个高质量样本对的大规模先验数据集。

3. 即插即用下游任务集成：面向 RL 奖励整形与逆运动学正则的双模态接入

在高自由度强化学习全身追踪任务中，状态空间体积庞大，而符合动力学平衡与自然解剖约束的有效动作空间极小。在训练初期，基线策略（如 ADD 或 AMP）极易因探索到无效区域而产生自碰撞或摔倒，耗费数亿步采样。PDF-HR 设计了非线性归一化姿态评分函数：

\[s(\mathbf{q}_t) = \mathrm{clip}\left(\frac{f_\phi(\mathbf{q}_t) - d_\text{good}}{d_\text{bad} - d_\text{good}}, 0, 1\right)\]

其中 \(d_\text{bad} = 0.4\) 作为异常位形截断阈值，\(d_\text{good}\) 为参考轨迹上的最大距离。进而构造姿态先验奖励 \(r_t^P = \exp(-\alpha^P s(\mathbf{q}_t))\)。该项强力引导策略在流形邻域内开展策略搜索，同时保留原始任务奖励对具体动作的精准模仿。而在基于逆运动学（IK）的动作重定向任务中，传统序列二次规划（SQP）求解器（如 GMR）常因局部极值陷入肢体反折或穿透。由于 PDF-HR 具备全空间连续一阶导数，可直接作为二次代价项 \(\|f_\phi(\mathbf{q}_t)\|_2\) 或法向正交约束加入 SQP 优化目标，在无需逐关节调整刚度权重的前提下自发抑制奇异解。

损失函数 / 训练策略¶

距离场网络通过最小化预测距离与最近邻真实测地距离之间的平均绝对误差（\(L_1\) 损失）进行端到端监督训练：

\[\phi^\star = \arg\min_\phi \sum_{i=1}^N \left\| f_\phi(\mathbf{q}_i) - \min_{\mathbf{q}' \in \mathcal{D}_p} d_{\mathcal{M}_\mathcal{HR}}(\mathbf{q}_i, \mathbf{q}') \right\|_1\]

在下游通用动作追踪中，直接始终保留先验奖励可能在训练后期对极端姿态的精度产生轻微牵制。为此，作者提出了两阶段训练课程（Ours*）：第一阶段使用包含 \(r_t^P\) 的增广奖励训练前 40 亿步样本，帮助智能体快速建立全身协调与基础运动步态；第二阶段关闭先验奖励，使用原始追踪目标微调 80 亿步，兼顾了早期超高速收敛与最终厘米级的追踪精度。

实验关键数据¶

主实验¶

在单轨迹高动态运动追踪基准测试中，对比前沿物理模仿基线 ADD（包含 3 项简单动作、4 项高难度动作以及 2 项跑酷极限技能，均使用 8 亿步训练预算，重复 3 次独立随机种子），核心指标包括首次达到 80% 成功率所需的训练样本量（样本效率）以及最终关节位置与旋转误差：

动作技能 (Skill)	动作长度 (s)	80%成功率样本量 [M] (ADD)	80%成功率样本量 [M] (本文)	位置误差 [m] (ADD)	位置误差 [m] (本文)	旋转误差 [rad] (ADD)	旋转误差 [rad] (本文)
Walk (行走)	1.03	\(70.04 \pm 6.18\)	\(56.93 \pm 6.18\)	\(0.008 \pm 0.000\)	\(0.009 \pm 0.000\)	\(0.038 \pm 0.001\)	\(0.042 \pm 0.002\)
Run (奔跑)	0.80	\(113.73 \pm 6.18\)	\(70.04 \pm 6.18\)	\(0.015 \pm 0.000\)	\(0.017 \pm 0.000\)	\(0.063 \pm 0.001\)	\(0.070 \pm 0.001\)
Jump (跳跃)	1.75	\(222.95 \pm 10.70\)	\(188.00 \pm 16.35\)	\(0.022 \pm 0.001\)	\(0.024 \pm 0.001\)	\(0.108 \pm 0.004\)	\(0.103 \pm 0.003\)
Spinkick (旋风踢)	1.28	\(135.57 \pm 6.18\)	\(91.88 \pm 0.000\)	\(0.031 \pm 0.000\)	\(0.032 \pm 0.001\)	\(0.150 \pm 0.002\)	\(0.161 \pm 0.004\)
Cartwheel (侧手翻)	2.72	\(183.63 \pm 0.000\)	\(161.79 \pm 12.36\)	\(0.031 \pm 0.000\)	\(0.028 \pm 0.003\)	\(0.129 \pm 0.007\)	\(0.126 \pm 0.010\)
Backflip (后空翻)	1.69	Failed (未收敛)	\(183.63 \pm 18.54\)	Failed	\(0.048 \pm 0.000\)	Failed	\(0.205 \pm 0.004\)
Sideflip (侧空翻)	2.38	\(336.55 \pm 62.71\)	\(166.16 \pm 6.18\)	\(0.051 \pm 0.002\)	\(0.050 \pm 0.001\)	\(0.241 \pm 0.003\)	\(0.242 \pm 0.005\)
Speed Vault (跑酷金刚跳)	1.92	\(388.98 \pm 49.43\)	\(122.47 \pm 6.18\)	\(0.024 \pm 0.001\)	\(0.023 \pm 0.000\)	\(0.118 \pm 0.003\)	\(0.116 \pm 0.001\)
Double Kong (双金刚跳)	5.17	Failed (未收敛)	\(288.49 \pm 10.70\)	Failed	\(0.031 \pm 0.001\)	Failed	\(0.157 \pm 0.003\)

消融实验¶

在跨越 7,887.6 秒复杂序列的大规模通用动作追踪任务（LaFAN1 数据集）中，评估不同时间视界（10s、20s、30s）下，基线 ADD、端到端加入 PDF-HR 奖励（Ours）以及两阶段课程训练（Ours*）的跟踪误差与长期稳定性（总采样预算均为 120 亿步）：

评估时域 (Episode Length)	策略配置 (Method)	关节位置误差 [m]	根节点位置误差 [m]	关节旋转误差 [rad]	根节点旋转误差 [rad]
10 秒	ADD 基线	0.022	0.095	0.121	0.075
	Ours (单阶段加入先验)	0.023	0.101	0.129	0.080
	*Ours (两阶段课程训练)**	0.019	0.107	0.108	0.066
20 秒	ADD 基线	0.022	0.098	0.123	0.075
	Ours (单阶段加入先验)	0.023	0.099	0.127	0.079
	*Ours (两阶段课程训练)**	0.019	0.111	0.107	0.066
30 秒	ADD 基线	0.022	0.103	0.122	0.077
	Ours (单阶段加入先验)	0.022	0.104	0.125	0.077
	*Ours (两阶段课程训练)**	0.018	0.112	0.102	0.062

关键发现¶

复杂越障与跑酷技巧的质变突破：对于 Backflip 和 Double Kong 这种对瞬时腾空、旋转角动量和环境支撑具有严苛要求的动态技能，基线 ADD 在 8 亿步训练内全部失败跌倒；而加入 PDF-HR 先验后，智能体仅用 1.8 亿至 2.8 亿步便稳定达到了 80% 以上的成功率。
动作难度越高，样本加速效应越显著：在日常行走的加速比约为 \(1.23\times\)；而在 Sideflip 和 Speed Vault 等高难度技巧上，达到目标成功率的样本开销分别骤降了 \(50.6\%\) 与 \(68.5\%\)。动作早期动作热力图证实，PDF-HR 成功阻止了策略在无关解剖死角内的无用试错。
两阶段策略实现收敛速度与极限精度的双赢：单阶段持续注入先验使收敛大幅提速，但由于先验项在极近流形处仍施加微弱惩罚，导致关节跟踪误差略微上升；两阶段策略（Ours*）在早期借助先验快速构建运动协调基底，后期微调阶段则达成全场最低的关节位姿与根节点旋转误差。

亮点与洞察¶

黎曼梯度在 1-DoF 关节上的优雅退化：严格从李群理论证明了单自由度转动关节在切空间方向的黎曼梯度等同于欧氏环境梯度，免除了 Pose-NDF 繁复的局部流形重投影步骤，为工程实现提供了极简的闭式更新。
解耦噪声对高维几何采样的修正：敏锐指出了高斯加噪在高维空间中因卡方分布导致的“壳层假象”，通过独立采样均匀球面方向和半正态距离标量，保障了从接触近邻到远端奇异区的平滑梯度过渡。
真正的模块化先验范式：无需针对不同控制器重复训练或重采数据，模型自身仅为一个紧凑的轻量级编码器，可无缝嵌入强化学习（作为奖励）、逆运动学（作为代价项）、逆运动学增量优化（作为法向阻尼）以及姿态去噪流水线。

局限与展望¶

极端跟踪精度的权衡问题：单阶段全程使用固定权重的距离场奖励时，虽然显著加速了前中期训练，但在部分微小动作上其最终几何追踪精度略逊于纯无约束跟踪基线。
风格化模仿中的模式塌陷风险：在结合 AMP 进行无配对风格动作学习时，缺乏高阶运动学导数（速度、加速度）约束，偶尔会出现特定风格模态退化。
重定向求解耗时与平滑性：当前基于 CPU 的串行 SQP 求解在引入神经网络前向与反向梯度后耗时显著高于纯解析 GMR，且偶尔伴随高频抖动，亟需集成 GPU 批处理与轨迹级平滑代价。
离线训练数据源的物理保真度：先验当前学习自重定向动作数据集，部分源数据在物理世界中可能仍存在微小滑步或动力学不可行性，未来需探索基于动力学一致性物理引擎过滤的高保真姿态库。

评分¶

新颖性: ⭐⭐⭐⭐ [将隐式神经距离场从人体位姿拓展至人形机器人运动链，理论证明了 1-DoF 关节梯度的等价性并提出解耦采样]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖单轨迹追踪、风格模仿、万秒级长序列通用追踪、动捕重定向以及真实 G1 机器人实体部署]
写作质量: ⭐⭐⭐⭐⭐ [几何理论推导严谨自洽，实验分析详实，图表逻辑清晰]
价值: ⭐⭐⭐⭐⭐ [为人形机器人全身运控与重定向提供了通用、轻量且即插即用的核心几何先验]