Reverse to Advance: Teleoperation-Cost Effective Hard Policy Learning from Reversed Easy Tasks¶

会议: NeurIPS 2026
arXiv: 2607.13455
领域: 机器人/具身智能
关键词: 机器人操作, 模仿学习, 扩散策略, 任务方向不对称性, 逆向任务学习

一句话总结¶

针对高精度接触操作中人类示教遥操作成本高昂的瓶颈，Auto-E2H 利用任务难度在正反方向上的物理不对称性，通过闭环自重置交替采样、分层运动学与 Critic 优势精炼以及在线迭代扩散策略学习，以极低遥操作成本大幅提升困难操作任务成功率。

研究背景与动机¶

在机器人复杂接触式操作（如轴孔装配、精细多物块堆叠、精密机械拆装）中，基于扩散策略（Diffusion Policy）等生成模型的模仿学习已展现出将高维视觉感知映射到连续精细动作的强大能力。然而，这类方法的成败高度受制于专家演示数据的规模与质量。对于高精度接触任务，人类操作员在遥操作过程中必须保持高度神经紧绷，哪怕零点几秒的微小手抖或注意力涣散都会导致装配失败；此外，不同水平操作员的数据充满非最优路径、反复试探和停顿抖动，极易引起协变量偏移，导致策略在狭窄的状态空间漏斗中难以收敛。

一个关键的物理观察在于：诸多精密操作任务存在天然的「正反方向难度不对称性」。例如将销钉插入孔隙、精密搭建积木塔属于极端受限的高难度正向任务（Hard Task, \(\mathcal{T}_h\)），而将销钉拔出、推倒积木或拆卸解体则是向自由空间发散的逆向容易任务（Easy Task, \(\mathcal{T}_e\)）。逆向任务既便于人类快速遥操作，也极易通过启发式或简单策略自动完成。若能将容易任务的时序轨迹反转用作困难任务的监督信号，理论上能以极低成本获取海量数据。然而，直接反向播放逆向轨迹存在严重缺陷：逆向动作缺乏正向装配所必需的顺应性接触与误差自校正行为，且易任务的终止状态多样性会引入大量无关晃动与静止帧，直接训练甚至会导致策略性能崩溃。

如何在最小化人工遥操作干预的前提下，自动化采集逆向数据、剔除逆时序噪声并将其有效转化为困难策略学习的正向引导？核心 idea：利用正反任务物理不对称性构建闭环自重置数据流，以易任务策略为环境重置器，结合端到端运动学清洗与基于硬任务 Critic 的时序差分优势过滤，在迭代扩散策略学习中自适应融合清洗后的翻转数据与少量专家示教。

方法详解¶

整体框架¶

Auto-E2H 的核心目标是在仅给定少量正向困难任务示教 \(\mathcal{D}_h^{(0)}\) 与少量逆向容易任务示教 \(\mathcal{D}_e^{(0)}\) 的预算下，低成本训练高精度困难任务策略 \(\pi_h\)。整个系统由三大模块构成紧密衔接的自提升闭环：首先，硬策略与易策略交替运行，不仅生成丰富的探索轨迹，还让易任务策略充当自动环境重置器；随后，采集到的易任务成功轨迹经时间反演与末端位姿逆向动作重构，送入由运动学先验清洗和动态 Critic 优势过滤组成的分层精炼管线；最后，将筛选后的高质量反转数据与原始硬任务专家示教按 1:1 动态配比，迭代微调扩散策略并逐轮提升。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Init["初始示范集<br/>少量硬任务示范 𝒟h(0) + 易任务示范 𝒟e(0)"] --> Cycle["闭环交替数据采集<br/>硬策略 πh 与易策略 πe 轮流执行、相互重置环境"]
    Cycle --> Refine["分层数据精炼<br/>时序倒序动作重构 → 运动学清洗 → Critic 优势剪枝"]
    Refine --> Learn["在线迭代策略学习<br/>𝒟h(0) 与精炼翻转数据 𝒟filt(n) 1:1 混合更新扩散策略"]
    Learn -->|产出新策略更新收集闭环| Cycle
    Learn --> Eval["评估与部署<br/>高精度硬任务策略 πh(N)"]

关键设计¶

1. 闭环交替数据采集：利用易任务策略实现自主环境重置

在线模仿学习与自演进策略的最大阻碍在于频繁的人工环境复位——每次尝试失败或完成后，必须有人将工件放回初始槽位。Auto-E2H 巧妙地利用了正向困难任务 \(\mathcal{T}_h\) 与逆向容易任务 \(\mathcal{T}_e\) 的互补拓扑：在第 \(n\) 轮收集循环中，系统首先执行当前困难策略 \(\pi_h^{(n-1)}\) 运行至多 \(H\) 步得到轨迹 \(\tau_h^{(c)}\)；随后直接从其终止状态出发，执行冻结的初始易任务策略 \(\pi_e^{(0)}\) 运行至多 \(H\) 步得到 \(\tau_e^{(c)}\)。易任务的终止状态恰好自动还原为下一轮困难任务的合法起始构型，从而在单次初始化后即可自主交互数十个循环，无需人工干预。在缓冲区记录上，所有困难任务轨迹（含失败）全部存入 \(\mathcal{R}_h^{(n)}\) 用于训练价值评估器，而仅成功完成的易任务轨迹存入 \(\mathcal{R}_e^{(n)}\) 以便进行时间反演。

2. 分层数据精炼：运动学先验清洗与 Critic 优势评估剪枝

直接翻转易任务时序轨迹存在严重物理畸变与冗余动作。Auto-E2H 构建了两级串联的过滤机制 \(\mathcal{F}_{\text{filt}} = \mathcal{F}_{\text{critic}} \circ \mathcal{F}_{\text{kin}}\)。第一级是运动学先验过滤 \(\mathcal{F}_{\text{kin}} = \mathcal{F}_{\text{speed}} \circ \mathcal{F}_{\text{static}}\)：先将状态倒序 \(\tilde{\tau}_h = \{\mathbf{s}_{T-1-t}\}_{t=0}^{T-1}\) 并根据末端位姿位移重构有效动作 \(\mathbf{a}'_t = h(\mathbf{x}_t, \mathbf{x}_{t+1}, g_t)\)；随后静止检测器 \(\mathcal{F}_{\text{static}}\) 计算相邻步位移 \(v_t = \|\mathbf{x}_{t+1}-\mathbf{x}_t\|_2\)，剔除速度低于 \(\epsilon_s=0.04\,\text{m/s}\) 且累积漂移不超过 \(\epsilon_d=0.05\,\text{m}\) 持续超 \(L_s=16\) 帧的机械臂悬停与网络延迟片段；低速平滑器 \(\mathcal{F}_{\text{speed}}\) 则对 \(\epsilon_s \le v_t < \epsilon_l=0.06\,\text{m/s}\) 的犹豫片段进行等步长 \(\Delta H\) 重采样，使动作空间规整化。

第二级是基于当前硬任务进展的 Critic 引导优势过滤 \(\mathcal{F}_{\text{critic}}\)。运动学只能排除无意义的空闲帧，无法辨别动作是否有助于克服装配阻力。为此，算法在每一轮从零训练一个价值网络 \(V_\phi^{(n)}(\mathbf{s})\) 拟合当前硬任务轨迹的蒙特卡洛回报：

\[G_t = (T - t)\bar{r} + r_T\]

其中 \(r_T \in \{0, 1\}\) 表示硬任务最终成功与否，\(\bar{r} = -1/(2H)\) 为每步微小时间惩罚，迫使价值偏好最短路径。针对时序反转候选片段，计算广义时序差分优势：

\[\delta_t = \bar{r} + \gamma V_{t+1} - V_t, \quad A_t = \sum_{l=0}^{T-t-1} (\gamma \lambda)^l \delta_{t+l}\]

对平滑后的优势得分 \(\bar{A}_t\) 设置截断阈值 \(\alpha_{\text{drop}}\)（取分布第 30 百分位数），直接剪除导致装配进度倒退的负优势片段，并维持最小连续保留/丢弃窗口以避免动作碎片化。

3. 在线迭代策略学习：融合翻转监督与动态覆盖纠偏

随着自提升循环推进，硬策略 \(\pi_h\) 会逐步扩展其探索覆盖率，但早期阶段极难凭空生成正向成功样本。Auto-E2H 在每一轮迭代将初始人类硬专家示教 \(\mathcal{D}_h^{(0)}\) 与本轮精炼后的翻转数据集 \(\mathcal{D}_{\text{filt}}^{(n)}\) 按 1:1 的批次采样权重进行混合，联合优化图像条件扩散策略 \(\pi_h^{(n)}\)。初始硬示教提供了严格符合物理动力学的锚点基准，防止策略被非严格可逆的接触动力学带偏；而不断更新的 \(\mathcal{D}_{\text{filt}}^{(n)}\) 则大幅拓宽了进入狭窄装配漏斗前的引导流形。通过逐轮更新 Critic，判别器紧随当前策略的误差分布，从而在不断扩大探索边界的同时消除协变量偏移。

损失函数 / 训练策略¶

扩散策略采用图像条件下的 DDIM 架构，输入包含双视角 RGB（桌面视角与腕部相机，裁剪尺寸 \(128 \times 128\)）与 15 维本体状态，输出 16 步动作块（Action Chunking）。策略网络训练损失为标准的条件动作加噪预测均方误差：

\[\mathcal{L}_{\text{policy}}(\theta) = \mathbb{E}_{k, \boldsymbol{\epsilon}, (\mathbf{s}, \mathbf{a}) \sim \mathcal{D}_h^{(0)} \cup \mathcal{D}_{\text{filt}}^{(n)}} \left[ \|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{a}^k, k, \mathbf{s})\|^2 \right]\]

Critic 评估网络使用 ResNet-18 视觉编码器与 4 层 MLP 结构，采用 MSE 价值损失监督：

\[\mathcal{L}_{\text{critic}}(\phi) = \mathbb{E}_{\tau \sim \mathcal{R}_h^{(n)}, t} \left[ (V_\phi(\mathbf{s}_t) - G_t)^2 \right]\]

在 4 张 NVIDIA A100 上，初始硬/易策略分别训练 4000 步，每轮迭代策略增量训练 4000 步，Critic 训练 500 步。

实验关键数据¶

主实验¶

论文在 4 个 Isaac Lab 仿真任务（方块抓放、圆柱抓放、细杆插入、方块堆叠）、2 个 Robosuite 任务（螺母装配、销钉插入）以及 4 项真实机器人操作任务（圆盘穿杆 Disk、鼠标底座插槽 Mouse、试管入架 Test Tube、刷子入筒 Brush）上进行了全面评测。基线包括强化学习逆向对称方法 TR-DRL、扩散策略自迭代版本 TR-DRL-DP、离线强化学习离线轨迹重加权算法 RECAP，以及直接使用硬任务示教训练的 Direct-\(\mathcal{H}\)。

测试套件 / 任务	评估指标	Auto-E2H (本文)	TR-DRL / TR-DRL-DP	RECAP	初始策略	绝对提升 (vs 最强基线)
Isaac Lab (4任务平均)	成功率 (%)	96.3%	12.5% (TR-DRL-DP)	49.4%	33.1%	+46.9% (vs RECAP)
Robosuite (2任务平均)	成功率 (%)	85.0%	68.0% (TR-DRL)	-	0.0%	+17.0% (vs TR-DRL)
真实机械臂 (4任务平均)	成功率 (%)	70.0%	25.0% (TR-DRL-DP)	17.5%	40.0%	+45.0% (vs TR-DRL-DP)
真实任务: Disk (穿盘)	成功率 (%)	65.0%	30.0%	20.0%	35.0%	+35.0%
真实任务: Mouse (鼠标)	成功率 (%)	70.0%	35.0%	25.0%	45.0%	+35.0%
真实任务: Test Tube (试管)	成功率 (%)	75.0%	20.0%	15.0%	45.0%	+55.0%
真实任务: Brush (插刷)	成功率 (%)	70.0%	15.0%	10.0%	35.0%	+55.0%

消融实验与遥操作成本分析¶

消融实验在 Isaac Lab 环境中逐一验证关键模块的必要性；真实世界遥操作成本对比基于 50 条示教预算，比较收集易任务逆向示教与直接遥操作硬任务的时间消耗。

模块配置 / 实验设定	关键指标 (成功率 / 耗时)	相对基准变动	说明
Auto-E2H 完整方法 (Isaac Lab)	96.3%	-	完整管线，收敛最稳定且方差极小
w/o 运动学过滤 (w/o kin.)	28.1%	-68.2%	悬停与低速噪声导致动作分布剧烈畸变
w/o Critic 优势过滤 (w/o critic)	44.4%	-51.9%	保留了倒退或非有效接触片段，毒害策略
纯硬任务自训练 (Direct-\(\mathcal{H}\))	16.3%	-80.0%	早期硬任务成功样本极度稀疏，策略难以冷启动
真实数据采集: Disk	19.5s / 条 (最终成功 65%)	耗时减少 53.1%	对比直接硬采集 (41.5s / 成功 50%)，成功率 +15%
真实数据采集: Mouse	24.1s / 条 (最终成功 70%)	耗时减少 55.9%	对比直接硬采集 (54.7s / 成功 60%)，成功率 +10%
真实数据采集: Test Tube	19.6s / 条 (最终成功 75%)	耗时减少 50.0%	对比直接硬采集 (39.1s / 成功 55%)，成功率 +20%
真实数据采集: Brush	19.0s / 条 (最终成功 70%)	耗时减少 69.7%	对比直接硬采集 (62.8s / 成功 60%)，成功率 +10%

关键发现¶

运动学清洗不可或缺：去掉运动学过滤器后，成功率暴跌 68.2 个百分点，表明策略自回放与遥操作中固有的机械臂低速悬停和网络延迟会严重破坏扩散策略的动作连续性。
Critic 优势过滤有效消除方向误导：物理世界中的逆向动作并不天然等同于正向装配；Critic 成功识别并剔除了对位偏差后即将发生卡死的不良片段。
大幅解放操作员人力：收集易任务示教仅需平滑取出或自由移动物体，平均耗时仅 19-24 秒且极少失误，比收集高精度硬示教（39-63 秒/条）节约 50%~70% 的纯录制时间，同时借助易策略实现了 84.4% 的真实场景自主环境重置率。

亮点与洞察¶

正反任务不对称性切中痛点：传统模仿学习把重点放在数据增强或网络结构上，本文敏锐抓住了物理操作中「解体容易、装配难」的天然拓扑不对称性，将人类昂贵的精细遥操作转换为廉价的简单逆向收集。
双策略闭环实现自主物理重置：利用训练好的逆向策略充当重置智能体（Reset Agent），从根本上解决了真实机械臂自监督学习必须频繁人工归位的死穴。
通用设计启发：基于「运动学启发式初筛 + 学习型价值网络细筛」的数据精炼机制，可以无缝迁移至任何包含自主生成、噪声回放或跨领域重定向的机器人具身数据管道中。

局限与展望¶

强非可逆物理接触受限：若操作中存在剧烈不可逆动力学（如严重摩擦自锁、非刚体形变、易脱落不可逆夹爪开合），直接翻转轨迹会与真实物理定律相悖。
易策略初始化依赖：系统仍需 10-50 条初始易任务示教来冷启动重置策略；若易任务本身也较为复杂，冷启动门槛会上升。
未来方向：结合接触动力学感知模型自适应修正翻转位姿，并将该闭环推广到双臂协同与灵巧手复杂装配任务中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用物理操作正反不对称性与闭环自重置，思路极为实用且启发性强。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 仿真 + 2 基准 + 4 真实机械臂全流程，包含消融、耗时统计与置信区间。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对应清晰，参数与对比实验描述详实。
价值: ⭐⭐⭐⭐⭐ 显著降低精密机器人操作的数据收集门槛，对具身智能自动化数据生产有巨大价值。