RL from Physical Feedback: Aligning Large Motion Models with Humanoid Control¶

会议: ECCV2026
论文: ECCV 官方页面
领域: 机器人/具身智能；人体理解
关键词: 文本到动作、物理反馈强化学习、人形机器人、语义对齐、分层协同训练

一句话总结¶

RLPF 将人形机器人在仿真中的动作跟踪成败与文本语义匹配共同作为强化学习奖励，微调大动作模型，并通过 Hierarchical RLPF 交替改进生成器和控制器，使动作更可执行而不退化为与指令无关的简单站立。

研究背景与动机¶

文本到动作模型已经能够把自然语言变成连贯的人体关节轨迹，但“看起来像人在跳跃”和“机器人可以照着跳”是两回事。AMASS 等动捕数据提供了动作先验，MotionX 等视频重建数据扩大了覆盖范围，却也引入脚底漂浮、穿地、突变和重建噪声。将这些轨迹重定向到机器人，只能处理身体比例和关节对应关系，并不能保证机器人具有足够的平衡、力矩与跟踪能力。生成器因此可能在文本检索和视觉质量指标上表现良好，却在真正接上控制器后频繁失败。

已有物理约束常用滑步、穿透等运动学指标，或把人体动作投影到物理可行空间；它们没有直接回答“当前这台机器人及其控制策略能否执行”。本文选择让低层控制器在仿真中实际尝试生成动作，再把执行成败反馈给高层生成器。但这又带来奖励投机：站着不动很容易被跟踪，却不满足跳跃、转身等指令。另一重困难是，跟踪失败未必说明参考动作本身不可行，也可能只是控制器尚未学会，固定控制器便会把自己的能力边界变成生成器的上限。

因此，作者既需要约束生成器不要丢掉指令含义，也需要让控制器接触生成器不断产生的新动作。核心 idea：把“执行得了”和“仍然是用户要求的动作”同时纳入生成器奖励，再用生成器的当前策略样本反向训练控制器，形成文本、动作和控制之间的交替改进闭环。

方法详解¶

整体框架¶

输入是一条文本指令，输出是机器人能够跟踪的参考动作及其实际控制行为。基础生成器用 VQ-VAE 将人体动作压缩为离散动作 token，再扩展 LLaMA2-7B 的词表，用自回归预测把文本映射到动作 token；解码器把 token 还原为人体运动。该预训练部分沿用离散动作建模范式，本文主要贡献在于后续的物理反馈对齐，而不是重新发明动作表示。

训练时，同一条指令采样多个候选动作，每个候选分别经过“执行式物理反馈”和“语义对齐验证”，随后通过“双奖励 GRPO”更新生成器。普通 RLPF 固定跟踪策略；“分层交替训练”则进一步用当前生成器产生的轨迹更新跟踪器。部署时只需从文本生成、解码、重定向并跟踪动作，不运行用于后训练的奖励评分与 GRPO 更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["文本指令"] --> Generator["动作生成器<br/>token 解码为轨迹"]
    Generator --> Physical["执行式物理反馈"]
    Generator --> Alignment["语义对齐验证"]
    Input --> Alignment
    Physical --> Update["双奖励 GRPO"]
    Alignment --> Update
    Update -.->|训练时更新| Generator
    Update --> Hierarchy["分层交替训练"]
    Generator -.->|当前策略动作| Hierarchy
    Hierarchy -.->|更新跟踪器| Physical
    Generator -->|部署时| Execution["重定向与跟踪<br/>机器人动作"]

关键设计¶

1. 执行式物理反馈：让目标控制器实际尝试动作

反馈前先解决身体不匹配。作者将 SMPL 人体与机器人放在标准 T-pose 下，优化 SMPL 形状，使肢体长度等比例接近机器人；固定形状后，再逐帧优化机器人根部位姿和关节角，使 14 对语义对应关节的三维位置尽量一致。这个过程生成机器人参考轨迹，但不会自动证明轨迹在动力学上可执行，因此必须再经过控制策略与物理仿真，而不是直接把重定向误差当奖励。

跟踪器采用教师到学生的两阶段训练：教师在 IsaacGym 中通过 PPO 学习，使用仅仿真可得的特权信息，输出 23 维目标关节位置，由 PD 控制器执行；学生只能接收真实部署可观测的信息与跟踪目标。学生先在仿真中 rollout，再向教师查询这些状态下的正确动作，以 DAgger 式聚合数据和动作 MSE 蒸馏。最终由这个可部署学生评估候选动作：若执行过程中参考与实际位置偏差超过阈值，或机器人失衡，则判为失败；否则提供成功奖励。它评估的是“动作、机器人形态、控制器能力”的组合，而不是与控制器无关的绝对物理真值。

2. 语义对齐验证：阻止用简单站立换取高成功率

作者使用对比预训练的文本编码器和动作编码器，将两种模态映射到共享嵌入空间。匹配的文本与动作应距离更小，验证奖励取两者欧氏距离平方的负值，因此离文本含义越远，奖励越低。验证器比较的是解码后的人体动作与原始指令，不要求仿真器理解语言，也不是另外聘请人类给每次 rollout 打分。

这一项的作用并非一般意义上的“改善画质”，而是给物理成功率加上任务语义约束。例如“向前跳”不能靠站立完成，哪怕站立在当前跟踪器上几乎不会失败。验证器又只是一种学习到的语义代理，它不能天然保证所有指令细节均被遵守；因此实验同时报告文本检索、分布质量和多样性，避免把物理成功率单独当作完整任务成功率。

3. 双奖励 GRPO：在同一指令的候选之间比较可执行性

GRPO 把动作生成器视为策略，对每条文本从旧策略采样一组动作 token 序列，解码后分别计算跟踪和语义奖励。两项按权重相加，再用组内奖励均值与标准差得到相对优势：同一指令下更兼顾可执行性与语义的候选获得更有利的更新，而不必训练单独的价值网络。这里组内比较的对象是完整候选动作，不是比较不同文本的绝对难度。

下面仅依据正文的文字定义重写奖励关系，作为机制示意；缓存中的原式存在提取损坏，不将此式冒充作者公式的逐字复原：

\[ R = \lambda_{\mathrm{track}}\,\mathbf{1}[\mathrm{success}] - \lambda_{\mathrm{align}}\,\lVert E_l(l)-E_m(\hat m)\rVert_2^2. \]

其中第一项是学生跟踪策略执行成功的二元反馈，第二项是指令与生成动作的语义距离惩罚。更新还使用策略比率裁剪限制相对旧策略的变化，并以相对预训练参考模型的 KL 正则抑制过大漂移。语义验证和 KL 并不相互替代：前者直接判断是否还符合当前指令，后者约束整体策略偏离程度。原文将奖励权重和若干训练细节放在附录，本缓存未包含附录，因而这里不填写具体权重或组大小。

4. 分层交替训练：同时放宽控制器能力边界

普通 RLPF 的跟踪器是固定评委，困难动作可能因为评委能力不足被持续判失败，生成器便倾向于避开它们。Hierarchical RLPF 将一次迭代定义为两个步骤：先用当前跟踪器提供反馈，按 RLPF 更新生成器；再用当前生成器产生的动作训练跟踪器。这样，生成器得到更符合自身输出分布的控制能力，跟踪器也不再只能反复利用固定的离线动作库。

关键是复用强化学习阶段自然采样到的当前策略动作，使低层学习面对上层实际会生成的轨迹，而非另建一个完全独立的数据收集流程。它是交替更新，不是对物理仿真器做可微反向传播，也不是部署时在线改变控制器参数。由于两部分可能互相适应而掩盖泛化问题，论文另用独立固定跟踪器评估各轮生成器，并让各轮跟踪器执行未见真实参考动作，以检查提升是否只存在于共同训练的配对组合中。

一个完整示例¶

以论文讨论的“向前跳”指令为例，基础模型可能生成跳幅和前移距离过大的轨迹。经过人体到机器人的重定向后，学生控制器仍可能失衡，因此这条候选得到失败反馈；另一条跳幅适中但语义一致的候选更容易获得较高联合奖励。这里描述的是机制示例，不是另报一组跳跃距离测量。

如果第三条候选只是原地站立，物理评分可能很好，但语义编码器会把它与跳跃指令拉开，避免它凭单一指标胜出。GRPO 在同组候选间更新生成概率；分层版本随后还利用生成轨迹继续训练跟踪器。部署时则直接生成并执行参考动作，无需为了完成一次跳跃重新跑这整个训练闭环。

损失函数 / 训练策略¶

预训练动作生成器使用动作 token 的负对数似然；低层教师使用 PPO，低层学生使用教师动作监督下的 MSE；语义验证器使用匹配与非匹配文本动作对的对比目标。最终生成器后训练采用带裁剪与 KL 约束的 GRPO，将不可微的仿真执行结果作为奖励，而不是作为可微损失直接穿过控制器。

论文用 AMASS 检查固定跟踪器的普通 RLPF，用质量相对较低的 MotionX 行走与跳跃子集检查分层版本。训练仿真为 IsaacGym，随后零样本转移到 MuJoCo，并在 Unitree G1 上展示真实执行。正文没有给出完整数据划分数量、硬件算力、训练时长或所有超参数，不能据此把方法理解为无需预训练控制器或无需大量仿真计算的轻量后处理。

实验关键数据¶

主实验¶

表 1 摘录原文表 1 的 AMASS 结果。Base Model、SFT-Filter、移植后的 RobotMDM 和 RLPF 使用同一 LLaMA2-7B 生成骨干；PhysDiff 的扩散骨干不同，故不应把它的全部差距归因于奖励机制。SFT-Filter 只用成功跟踪的样本做监督微调，RobotMDM 加入可行性 critic；各方法比较遵循正文的测试设置，但缓存未提供附录中的精确划分数量。

FID 越低表示生成与真实动作特征分布越接近；R@1 是配对文本动作检索的首位命中率，越高越好；MM-D 是配对文本动作的嵌入距离，越低越好；SR 是完整 rollout 无摔倒或严重跟踪失败的比例。SR 的 0.95 表示 95%，不是关节位置误差，也不是实机测试成功率。

方法	FID ↓	R@1 ↑	MM-D ↓	IsaacGym SR ↑	MuJoCo SR ↑
Base Model	0.29	0.47	3.06	0.83	0.85
SFT-Filter	0.25	0.48	3.02	0.85	0.87
RobotMDM	0.27	0.48	3.10	0.86	0.88
PhysDiff	0.40	0.35	3.32	0.84	0.82
RLPF	0.26	0.50	3.02	0.95	0.94

RLPF 相比 Base Model 的 IsaacGym 和 MuJoCo SR 分别提升 12 和 9 个百分点，同时 R@1 从 0.47 到 0.50；但 FID 并非表中最优，SFT-Filter 的 0.25 略低于 0.26。原文还报告 LangWBC 的两种仿真 SR 为 0.81、0.79；它直接输出控制动作，没有可直接对应的高层生成指标。实机部分是 Unitree G1 定性演示，正文未给出与仿真表相当的规模化实机成功率。

消融实验¶

表 2 对应原文表 3，沿用 AMASS 消融设置。MPJPE 在本文中特指关节角误差，单位 rad；MPKPE 是关键点位置误差，单位 m，均越低越好。不要把此处 MPJPE 误解为常见的毫米级关节位置误差。

配置	FID ↓	R@1 ↑	MM-D ↓	SR ↑	MPJPE (rad) ↓	MPKPE (m) ↓
RLPF-Full	0.26	0.50	3.02	0.95	0.20	0.06
RLPF-w/o-T：无跟踪奖励	0.23	0.50	2.98	0.50	0.31	0.21
RLPF-w/o-A：无语义验证	41.97	0.07	7.57	0.99	0.18	0.07

表 3 摘录原文表 2 的分层迭代结果；MotionX-W 为行走子集，MotionX-J 为跳跃子集。其 SR 是正文报告的低层可执行性指标，表中未单列 MuJoCo，不能把这些值当作两种仿真器或真实机器人共同达到的结果。

迭代	MotionX-W SR ↑	MotionX-W R@1 ↑	MotionX-J SR ↑	MotionX-J R@1 ↑
Iter0	0.56	0.41	0.36	0.39
Iter1	0.75	0.40	0.73	0.39
Iter2	0.85	0.38	0.76	0.39
Iter3	0.93	0.39	0.84	0.39

关键发现¶

去掉跟踪奖励，SR 从 0.95 降至 0.50；去掉语义验证，SR 升至 0.99，但 FID 恶化到 41.97，说明两个奖励缺一不可，不能靠 SR 单独判断任务完成。
三轮交替后，行走与跳跃 SR 分别提高 37 和 48 个百分点。行走 R@1 从 0.41 到 0.39，故应说语义“大体保持”，而不是所有语义指标均无损提升。
原文表 4 中，独立固定跟踪器下的生成器 SR 从行走 0.72、跳跃 0.31 提高到 0.84、0.57；各轮跟踪器在未见真实动作上的 SR 从 0.66、0.21 到 0.86、0.69。这支持两端均有可迁移收益，但不等于证明对任意新机器人都能泛化。

亮点与洞察¶

物理奖励以实际控制执行为依据，把目标机器人与控制器的能力纳入生成分布。相比只消除穿地或滑步，它更贴近最终部署接口。
“0.99 成功率却只会站立”的消融揭示了指标替代目标的风险。生成动作必须既可跟踪又有任务语义，否则高成功率没有足够意义。
分层版本让生成样本同时承担上层策略探索与下层训练数据两种用途。可迁移的启发是，在存在执行器的生成任务中，不仅对齐生成器，也要检查执行器能否从生成分布中继续学习。

局限与展望¶

作者明确指出，离散 tokenizer 的有限码本限制 RL 探索空间，计划扩展到连续表示的扩散式文本到动作模型。
本笔记的判断：二元成败反馈较稀疏，且依赖跟踪器能力与失效阈值；分层训练缓解但没有消除这种依赖。可进一步研究失败原因分解，而非统一将所有失败当成不可行。
本笔记的判断：语义验证器只提供嵌入空间代理，尚不足以保证细粒度指令、罕见动作或复杂环境中的可靠性；当前分层实验证据集中于行走和跳跃。
证据边界：缓存为正文及参考文献，不含所引用的附录或补充视频；无法核对数据划分细节、完整奖励权重、算力预算和实机重复次数。正文部分公式提取损坏，本笔记不据此重建精确 GRPO 公式。

评分¶

新颖性: 4/5。将真实执行相关奖励、语义保护与生成器控制器交替训练组合起来，问题定位清楚，基础算法主要复用现有技术。
实验充分度: 4/5。包含同骨干比较、奖励消融、跨仿真与独立跟踪器分析，但实机量化和广泛任务覆盖仍不足。
写作质量: 4/5。方法链路和关键退化现象清楚；缓存公式损坏属于阅读材料限制，不直接归因于论文排版。
价值: 4/5。为大动作模型如何接上可部署控制器提供具体路径，但可靠部署仍需更完整的实机统计与安全验证。