SUGAR: A Scalable Human-Video-Driven Generalizable Humanoid Loco-Manipulation Learning Framework¶

会议: NeurIPS 2026
arXiv: 2605.20373
OpenReview: https://openreview.net/forum?id=pgPiH1SLrT
代码: https://tianshuwu.github.io/sugar-humanoid/
领域: 机器人/具身智能
关键词: 人形机器人, 移动操作, 视频学习, 物理精炼, 扩散策略

一句话总结¶

针对非受限人类视频中运动学先验存在严重遮挡、接触失真且无法直接泛化到真实物理硬件的瓶颈，SUGAR 提出了三阶段学习框架：全自动视频交互先验提取、特权物理强化学习精炼以及无参考分层自主策略蒸馏，在宇树 G1 人形机器人上实现了六类移动操作任务的零样本真机泛化与抗扰动闭环自愈。

研究背景与动机¶

构建能够自主完成全身移动操作（loco-manipulation）的通用人形机器人助手，是具身智能领域的核心愿景。这要求机器人不仅能在非结构化动态环境中稳定行走与维持平衡，还必须协调全身各自由度执行富接触的灵巧物体操作。然而，现有技术路线在数据扩展与任务泛化上普遍遭遇严重瓶颈：从零开始的强化学习需要针对每个特定任务进行繁琐的人工奖励函数工程与仿真环境设计；传统的参考轨迹追踪模仿方法将控制策略机械地绑定在离散预录轨迹上，难以适应测试时物体几何尺寸与摆放方位的空间变化；而基于遥操作的数据采集虽然硬件具身对齐性高，但高昂的人力成本和专用硬件设备严重限制了向海量通用任务扩展的能力。

互联网中海量的无约束人类互动视频（Human-Object Interaction, HOI）蕴含着极其丰富的人类日常行为先验，为打破上述可扩展性瓶颈提供了天然的数据宝库。然而，从单目 RGB 视频中通过计算机视觉算法提取的运动学先验具有本质的不完备性：剧烈的人体/物体遮挡、深度估计模糊、接触表面穿透或虚空悬浮伪影、以及人-机具身结构差异导致的重定向（retargeting）几何误差，使得这些纯运动学数据严重违背物理规律，无法直接用于训练物理机器人的控制策略。此前的大多数视频模仿方案要么仅局限于不与环境发生交互的纯步态运动（locomotion），要么退化为推理阶段机械硬放录制轨迹的局限模式，无法跨越高接触交互下的仿真到真实世界（sim-to-real）鸿沟。

本文的核心洞见在于：尽管从粗糙视频中提取的数据充满噪声和物理伪影，但它完整保留了高层任务交互逻辑——即粗略的肢体行动趋势、关键接触事件时序以及物体运动轨迹的因果链条。因此，粗糙的运动学先验虽然无法直接模仿，却完全可以在物理仿真器中通过特权强化学习逐步自洽校准为高保真的物理交互技能，进而解耦并蒸馏为无需参考轨迹的高层任务意图与底层鲁棒全身控制分层策略。核心 idea：构建 SUGAR 学习框架，通过全自动运动学先验提取、特权物理精炼器（统一模仿奖励与渐进状态池）与分层策略蒸馏（扩散命令生成器+全身体命令追踪器），将嘈杂的人类交互视频转化为无参考轨迹依赖且可零样本迁移至真机的人形机器人移动操作自主策略。

方法详解¶

整体框架¶

SUGAR 框架端到端地将非受限人类视频转化为可自主部署在人形机器人上的移动操作策略，整体包含三个紧密耦合的阶段。第一阶段，全自动管线利用 3D 人体网格重建（SAMBody）、物体点云与 6D 位姿追踪（SAMObj 与 FoundationPose）以及大视觉语言模型（VLM）零样本接触推理，构建带有接触标注的运动学交互先验数据集 \(\mathcal{P}\)。第二阶段，训练一个具有特权环境信息的参考追踪强化学习策略（Refiner），在统一的模仿风格奖励驱动下，配合渐进状态池（Progressive State Pool）消除几何穿透与动态漂移，生成物理自洽的高保真专家技能轨迹数据集 \(\mathcal{R}\)。第三阶段，将精炼后的专家知识蒸馏为分层自主策略架构：高层扩散策略命令生成器（Command Generator）预测意图命令序列，底层全身体命令追踪器（Command Tracker）闭环执行关节力矩追踪，摆脱推理时对参考轨迹的依赖。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["无约束人类视频输入<br/>RGB 视频流"] --> B["全自动运动学交互先验提取<br/>SAMBody + FoundationPose + VLM 接触检测"]
    B --> C["运动学交互先验数据集 𝒫<br/>人体与物体位姿轨迹 + 接触标签"]
    C --> D["特权物理精炼器<br/>统一模仿奖励 + 渐进状态池 ℬ 消除物理伪影"]
    D --> E["物理自洽专家技能数据集 ℛ<br/>记录有效关节、根速度与接触命令"]
    E --> F["底层全身体命令追踪器<br/>BC 初始化 + RL 蒸馏追踪意图命令"]
    E --> G["闭环交互收集数据集 𝒟<br/>追踪器驱动下的真实物体响应观测"]
    G --> H["高层任务导向命令生成器<br/>12 层 DiT 扩散策略预测未来命令块"]
    H -->|预测命令 ct:t+7| F
    F --> I["真机闭环移动操作部署<br/>宇树 G1 零样本迁移与自主容错自愈"]

关键设计¶

1. 全自动运动学交互先验提取：多模态感知与 VLM 接触事件对齐

从自然视频中人工标注 3D 轨迹与接触状态耗时费力且难以规模化扩展。SUGAR 构建了无需人工标注的自动化抽取流水线：首先利用 SAMBody 从单目视频中恢复人体的 3D 连续动作序列 \(\hat{p}_{1:T}^{R}\)，并将其与深度观测对齐，通过迭代最近点算法（ICP）消除空间漂移；针对交互物体，采用 SAMObj 生成 3D 几何网格并对齐点云确定真实尺度，进而利用 FoundationPose 连续跟踪物体在相机坐标系下的 6D 位姿轨迹 \(\hat{p}_{1:T}^{O}\)。为了确定物理交互的关键触发时刻，SUGAR 并不依赖人工接触框标注，而是通过精巧设计的统一 Prompt 模板查询视觉大语言模型（如 Qwen3-VL），让 VLM 判断特定身体部位（如搬运时的双手）是否与物体发生实际直接接触，输出离散接触指示标签 \(\hat{l}_{t} \in \{0, 1\}\)；对于踢箱子等发生剧烈运动且存在严重视角遮挡的极端动作，则根据物体速度是否突变超过预设阈值补充推断接触，最终组合成粗糙但任务逻辑完整的运动学先验轨迹 \(\hat{\tau} = \{(\hat{p}_{t}^{R}, \hat{p}_{t}^{O}, \hat{l}_{t})\}_{t=1}^{T} \in \mathcal{P}\)。

2. 特权物理精炼器与渐进状态池：化解接触穿透与动态失真

直接让机器人追踪粗糙先验 \(\mathcal{P}\) 必定会导致策略失败，因为重定向误差、物体与人体肢体间的虚假穿透或悬空接触破坏了牛顿力学约束。为此，SUGAR 在 IsaacSim 仿真中训练一个具有特权环境信息的 PPO 强化学习精炼器 \(\pi_{r}(a_{t}^{r} \mid o_{t}^{R}, o_{t}^{O}, o_{t}^{priv}, \hat{\tau}_{i})\)。精炼器通过统一设计的模仿风格复合奖励进行约束：

\[r = r_{track} + r_{int} + r_{reg}\]

其中 \(r_{track}\) 采用基于机器人根坐标系的相对位姿跟踪项，有效隔绝全局漂移误差对肢体动作自然度的破坏；\(r_{int}\) 显式对齐实际接触力与 VLM 标签 \(\mathbb{I}(F_{contact} > 1.0\text{N}) == \hat{l}_{t}\) 并惩罚机器人与物体间的相对位姿脱离，强制产生符合物理接触规律的驱动力；\(r_{reg}\) 则对关节扭矩、加速度、脚部打滑进行惩罚。更为关键的是，传统强化学习常用的参考状态初始化（RSI）会直接将机器人初始化在带有肢体穿透或不平衡的危险先验状态，造成训练频繁发散崩塌。SUGAR 设计了渐进状态池（Progressive State Pool, PSPI） \(\mathcal{B}\)，在训练过程中动态收集精炼器探索过程中经过物理仿真器验证为平衡且接触合法的成功中间状态，并在重置时按概率从中采样初始化，为复杂的多阶段交互提供扎实可行的物理立足点，成功输出物理可行的专家轨迹数据集 \(\mathcal{R}\)。

3. 意图解耦的分层自主控制架构：扩散生成器结合鲁棒全身追踪器

若要摆脱推理时必须输入参考轨迹的束缚，机器人必须自主生成面向目标的动作。SUGAR 提出了命令生成与命令追踪分层协同机制：将低层电机技能抽象为全身体命令追踪器 \(\pi_{t}(a_{t}^{t} \mid o_{t}^{R}, o_{t}^{O}, c_{t})\)，其任务是严格执行输入的高层运动意图命令 \(c_{t} = [q_{t}^{cmd}, v_{t}^{cmd}, \omega_{t}^{cmd}, l_{t}]\)（包括关节目标角度、机身线速度、角速度及接触状态）。追踪器首先通过行为克隆（BC）快速复制精炼器 \(\pi_{r}\) 的运动模态，随后平滑过渡到基于特权 Critic 的强化学习微调，实现高保真全身平衡与力矩输出。在追踪器冻结后，将高层决策建模为条件序列生成问题，采用 12 层 Diffusion Transformer（DiT）搭建任务导向命令生成器 \(\pi_{g}(c_{t:t+7} \mid o_{t}^{O}, c_{t-1}, g)\)。为了弥补运动学规划与底层动力学追踪之间的执行漂移，生成器的训练数据并非来自理想参考轨迹，而是让冻结后的追踪器闭环执行回放所记录的实际物体交互观测轨迹 \(\mathcal{D} = \{(\tilde{o}_{t}^{O}, c_{t}, g)\}_{t=1}^{T}\)。通过在实际执行分布上学习，生成器具备了感知执行偏差并实时动态修正命令的能力，单次预测未来 8 步意图并采用滚动时域仅执行前 4 步（线性插值到 50 Hz 控制频率），实现了高反应灵敏度与抗外力扰动的闭环自愈能力。

损失函数 / 训练策略¶

精炼器 \(\pi_{r}\) 与追踪器 \(\pi_{t}\) 均采用三层 MLP（维度 [512, 256, 128]，ELU 激活函数），在 IsaacSim 中通过 4096 个并行环境采用 PPO 算法优化，训练 30,000 轮次。追踪器训练采用非对称 Actor-Critic 架构，Critic 读取包含未来参考轨迹、接触力矩及线角速度的 50 维特权观测，而 Actor 仅读取板载可部署的历史本体感觉与当前物体 6D 位姿；在训练中引入渐进式状态池初始化与广泛的领域随机化（机器人/物体静动摩擦因数 [0.3, 1.6]、质量缩放 [0.5, 2.0]、以及随机施加在外力和物体上的脉冲冲击扰动）。高层命令生成器 \(\pi_{g}\) 采用 12-block DiT 模型，以目标状态 \(g\)、上一时刻命令 \(c_{t-1}\) 及当前物体位姿 \(o_{t}^{O}\) 编码拼接为条件特征 \(F_{cond}\)，通过条件去噪得分匹配目标优化，在单张 RTX 5090 GPU 上耗时仅约 5 小时即可完成收敛。

实验关键数据¶

主实验¶

在搬运箱子（Carry Box）、推箱子（Push Box）、踢箱子（Kick Box）、捡瓶子（Pick Bottle）、立瓶子（Stand Bottle）以及坐椅子（Sit Chair）共 6 个全身移动操作任务中，SUGAR 与两项具有代表性的先进轨迹重放基线 Resmimic 与 HDMI 展开对比。测试涵盖训练集物体配置与未见过的物体初始/目标状态（Test Dataset）。评价指标为成功率（SR %）以及目标放置类任务的最终物体位置误差（Err 米）。

任务	指标	Resmimic	HDMI	本文 (Sugar)
Kick Box (Test)	成功率 (SR ↑) / 位置误差 (Err ↓)	18.5% / 0.963m	17.3% / 0.938m	76.0% / 0.265m
Push Box (Test)	成功率 (SR ↑) / 位置误差 (Err ↓)	10.6% / 1.160m	54.6% / 0.377m	70.0% / 0.325m
Carry Box (Test)	成功率 (SR ↑) / 位置误差 (Err ↓)	0.0% / —	0.0% / —	69.6% / 0.326m
Sit Chair (Test)	成功率 (SR ↑)	20.6%	8.2%	99.6%
Pick Bottle (Test)	成功率 (SR ↑)	0.0%	0.0%	99.2%
Stand Bottle (Test)	成功率 (SR ↑)	0.0%	0.0%	86.3%

消融实验¶

消融实验在未见测试集（Test Dataset）上全面评估各核心组件的贡献，包括：移除物理精炼器（w/o refiner）、渐进状态池替换为起点初始化（w/o PSPI - SSI）或原始参考状态初始化（w/o PSPI - RSI）、移除交互奖励（w/o IR）以及移除交互鲁棒性增强域随机化（w/o IRE）。

配置	Kick Box (SR/Err)	Push Box (SR/Err)	Carry Box (SR/Err)	Pick Bottle (SR)	Stand Bottle (SR)	说明
Full Model (Sugar)	76.0% / 0.265m	70.0% / 0.325m	69.6% / 0.326m	99.2%	86.3%	完整模型，综合表现最优
w/o refiner	46.3% / 0.414m	41.7% / 0.554m	62.0% / 0.424m	96.7%	79.0%	缺乏物理精炼，直接学习使策略性能大幅劣化
w/o PSPI (SSI)	61.7% / 0.316m	71.0% / 0.328m	63.3% / 0.337m	94.9%	84.3%	起点初始化无法高效覆盖长程任务复杂阶段
w/o PSPI (RSI)	71.4% / 0.269m	73.0% / 0.345m	62.0% / 0.557m	94.2%	79.6%	原始先验状态存在严重物理穿透，训练极易发散
w/o IR	76.3% / 0.260m	63.4% / 0.338m	60.3% / 0.513m	0.0%	73.1%	缺乏接触一致性奖励，富接触任务（拾取）彻底失败
w/o IRE	72.0% / 0.298m	47.2% / 0.421m	57.5% / 0.436m	98.0%	63.4%	缺少动态冲击与参数随机化，面对动力学失配严重过拟合

关键发现¶

富接触高精度任务上的决定性优势：基线方法 Resmimic 与 HDMI 由于严重依赖刚性参考轨迹重放，在 Carry Box、Pick Bottle 和 Stand Bottle 上测试集成功率全部为 0.0%，完全丧失了应对空间偏差的调整能力；而 SUGAR 在这些高难度任务中分别取得了 69.6%、99.2% 与 86.3% 的极高成功率。
数据量规模化扩展趋势（Scaling Law）：随着每个任务训练视频数量从 20 增加到 50 再到 100 篇，测试集平均成功率呈现单调显著提升（如 Carry Box 成功率从 33.5% 跃升至 61.0% 再到 69.6%，Kick Box 从 32.7% 提升至 63.1% 再到 76.0%）。这证明 SUGAR 能天然从更大规模的嘈杂视频流中吸收状态空间覆盖面，无需针对特定任务重新调优。
真机零样本部署与自愈闭环：在宇树 G1 真机硬件上进行无调优零样本迁移，六大任务均取得 60%~90% 的真机实测成功率（Sit Chair 9/10，Pick Bottle 9/10，Stand Bottle 8/10，Carry Box 7/10，Kick Box 7/10，Push Box 6/10）；当人为在外力下拉扯物体使其脱离原有位置或遭遇外部推搡扰动时，策略能自发展开重新规划（如俯身再次抓取），表现出卓越的闭环自适应容错特性。

亮点与洞察¶

将嘈杂视频先验重构为特权精炼任务：不纠结于计算机视觉算法提取的 3D 网格微小几何误差，而是将先验当作提供粗略高层意图与时序因果的脚手架，借助高精度物理仿真器与强化学习自动补全反作用力与接触约束，极具工程扩展性。
扩散式滚动时域生成与命令追踪器解耦：将连续控制的敏捷响应（底层 50 Hz PD 追踪器）与多模态目标规划（高层 12 层 DiT 扩散策略）显式分层，既保障了机器人的全身姿态平衡稳定，又赋予了策略长程时序纠偏能力。
闭环回放分布对齐数据收集：高层生成器不在理想参考轨迹上训练，而是在追踪器实际驱动产生带有执行偏差的仿真回放数据 \(\mathcal{D}\) 上训练，从源头消除了分层策略级联积累的复合误差（Compounding Error）。

局限与展望¶

交互技能精细度受限：目前视频处理管线提取的交互先验整体偏粗粒度，主要适用于躯干、手臂和末端夹爪的宏观交互，对于多指手精密灵巧装配等超高精度接触尚难以直接支撑。
数据利用效率与生成扩展：目前每个任务仍需要数十到上百条视频轨迹支撑状态空间，未来可结合视频生成世界模型或交互数据增强技术进一步压缩对原始人类视频的采集需求。
状态感知对外部测量的依赖：当前实机部署仍基于动捕系统（MoCap）或特权物体 6D 位姿输入，如何将整套分层控制流水线升级为端到端直接接入板载车载 RGB-D 相机的机载纯视觉闭环系统，是迈向开放复杂真实场景的关键一步。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙打通了从野外非受限人类视频到全身体人形机器人闭环自主移动操作的完整物理精炼与分层控制链条。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 类复杂全身操作任务、海量仿真消融、数据规模扩展分析以及宇树 G1 真机闭环扰动与自愈测试。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密、三阶段架构定义清晰、数学符号与附录参数详实完备。
价值: ⭐⭐⭐⭐⭐ 为解决人形机器人长期匮乏的高质量全身接触交互数据问题指明了通向海量互联网视频的有效突破口。