ConTrack: Constrained Hand Motion Tracking with Adaptive Trade-off Control¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/3535
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/1877.pdf
项目: ConTrack
领域: 视频理解 / 机器人灵巧操作
关键词: 人机动作重定向、约束强化学习、任务风格权衡、轨迹中途重置、接触先验

一句话总结¶

ConTrack 把物体运动跟踪设为优先满足的任务约束，以在线权重调节、可达状态重置库和接触先验学习机器人手部控制，在每片段 5000 次 PPO 更新下达到平均进度 0.899 和接触 F1 0.784，但不在所有误差指标上领先。

研究背景与动机¶

从人类演示中学灵巧操作，困难不只是把人的关节角转换成机器人的关节角。手指长度、关节自由度与驱动方式不同，同一个几何姿态可能无法在机器人上形成相同接触；即使手的形状看起来很像，物体也可能滑走。物体轨迹代表“任务有没有完成”，手指姿态和接触时序代表“动作是否忠于演示”，这两类目标并不总能同时实现。

已有方法分别从残差控制、物体中心目标或物理可行重定向入手，却仍需要决定：遇到不可执行的参考动作时，究竟牺牲多少模仿精度来保住物体？固定奖励权重很难适应不同片段和不同接触阶段。另一层困难来自训练分布：始终从第一帧开始，策略在前半段反复失败，后半段就学不到；直接跳到参考中间帧，又可能把模拟器放进一个接触不自洽、无法恢复的状态。

ConTrack 因而同时控制“优化注意力分给谁”和“训练从哪里开始”。核心 idea：用历史可达任务表现定义相对跟踪门槛，在线调整任务与风格的优化权重，并从策略实际到达过的物理状态重启困难片段，让物体完成任务的同时尽量保留演示的关节与接触特征。

方法详解¶

整体框架¶

输入是已经重定向的机器人关节参考序列、各物体的位姿轨迹，以及手部连杆级接触事件和物体局部坐标中的接触点。每段参考定义一个有限时域任务，状态包含模拟器物理状态与参考帧索引；本文是每片段训练一个策略，不是一个跨片段的通用视频到动作模型。

策略输出参考关节位置附近的残差位移，参考位置加上残差才是执行目标。任务奖励衡量物体位姿，风格奖励衡量手部运动与接触，另有高频运动惩罚。自适应任务风格混合决定 PPO 使用哪些优势信号，可达状态重置库决定采样起点，接触先验细化风格监督；三者经模拟器 rollout 形成训练反馈。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["关节、物体与接触参考"] --> B["自适应任务风格混合"]
    A --> C["可达状态重置库"]
    A --> D["接触先验"]
    B --> E["PPO 残差策略<br/>与模拟器 rollout"]
    C --> E
    D --> E
    E -->|任务回报| B
    E -->|可达状态与存活长度| C
    E --> F["物理可执行的关节轨迹"]

关键设计¶

1. 自适应任务风格混合：先保住物体任务，再争取动作保真度

方法把风格回报最大化放在任务约束之内。记任务和风格的折扣回报为 \(J_g\)、\(J_s\)，目标是最大化 \(J_s\)，同时满足 \(J_g\geq\alpha J_g^\star\)。这里 \(\alpha\in(0,1]\) 是用户设定的目标比例，而 \(J_g^\star\) 是任务回报运行估计的历史最大值，不是真正已知的最优回报。这个归一化让不同片段的约束具有可比尺度，也决定了它只能作为实用控制机制，不能被理解为严格任务成功保证。

训练中先收集 rollout，以其任务折扣回报更新运行估计 \(\hat J_g\) 与历史最大值，再更新标量控制状态 \(\lambda\)。当当前回报与历史最好表现的比值低于目标时，任务权重上升；超过目标时，任务权重下降，释放优化空间给风格。该权重由同一片段的所有并行环境共享，不是每个接触点独立预测的权重。

\[ \lambda\leftarrow\lambda+\eta\left(\alpha-\frac{\hat J_g}{J_g^\star}\right),\qquad w_{\mathrm{task}}=\sigma(\lambda). \]

控制器作用在优势混合上，而非简单地把几个原始奖励相加。任务、风格和惩罚各自产生优势估计，惩罚项独立加入，不随任务风格权重一起消失：

\[ A_{\mathrm{mix}}=w_{\mathrm{task}}A_g+(1-w_{\mathrm{task}})A_s+A_p. \]

缓存中正文式 (5)、(7) 的符号抽取不完整；以上按算法 1 的明确步骤及紧邻文字整理。\(\lambda\) 在文中是实值控制状态，经 sigmoid 映射为权重，不能擅自改成带非负投影的标准拉格朗日乘子实现。\(\alpha\) 仍需指定，因此“减少固定混合权重调参”不等于“没有超参数”。

2. 可达状态重置库：练习困难后缀，但不凭空拼接接触状态

库按参考帧 \(k\) 索引，每项保存机器人关节及速度、物体位姿及速度。一个 episode 结束后，对其中访问过的各帧计算从该帧继续存活的长度。如果这次续行长度超过该帧历史最好记录，就用这次真实 rollout 中的状态替换缓存。保存的不是参考姿态快照，而是策略在模拟器里实际访问过、并且支持更长后续执行的状态。

“存哪个状态”和“从哪一帧采样”使用不同统计量：前者比较历史最大续行长度，后者使用续行长度的指数移动平均。将平均续行长度除以该帧剩余时域，得到存活比例，再提高低存活比例帧的采样概率：

\[ \ell_k=t_{\mathrm{end}}-k+1,\qquad u_k=\frac{\bar\ell_k}{T-k},\qquad p(k)\propto\exp\left(-\frac{u_k}{\tau}\right). \]

这里 \(\bar\ell_k\) 是以系数 \(\beta\) 更新的指数移动平均，\(\tau>0\) 是采样温度。归一化很重要：靠后的帧天生剩余步数少，不应只凭绝对续行长度判断难度。训练中可先学会较短后缀，再逐步把起点推向更早的失败边界；这不是硬编码的逐帧倒序课程，而是状态质量更新与困难度采样共同形成的行为。

算法 2 给出了在线更新规则，但当前缓存未明确未访问帧的库初始化细节，也未给出 \(\beta\)、\(\tau\) 的具体设置。因此笔记不补写初始化方案，复现时仍需完整补充材料或代码。

3. 接触先验：不仅跟踪物体，还约束哪根连杆在何处接触

只有物体位姿监督时，策略可能通过与演示很不同的手指组合完成运动。ConTrack 将数据集接触标注映射到机器人连杆，先奖励模拟接触事件与参考事件的一致性；只有模拟器和参考都指示接触时，才进一步惩罚两者接触点的距离。接触点使用物体局部坐标，避免物体整体移动让接触位置比较失去意义。

这两个信号分别回答“有没有在正确时刻接触”和“接触的是不是同一个位置”。它们属于风格目标，受自适应混合间接调节，而不是额外的硬接触约束。论文说明了监督逻辑，但当前缓存没有给出完整奖励核、各项系数及附录中的标注处理细节，不能把自行选择的距离函数写成原文实现。

一个完整示例¶

以 GRAB 的 waterbottle_offhand 为例，参考片段长 4.0 秒，是双手参与的刚体交互。策略在参考关节位置附近输出残差，物体跟踪回报下降时控制器增加任务权重，让手指可以偏离参考姿态来维持运动；接触先验则持续约束连杆接触事件与位置，避免只顾搬动物体而完全改变交互方式。

如果某个中间接触阶段总是失败，重置库利用已访问状态和续行统计重新分配训练起点；从该帧产生更长续行后，再替换库内状态。最终评估仍从第一帧开始，原文表 3 对该片段报告进度 1.000、物体平移误差 0.018 m、接触 F1 0.745。上述控制过程是机制示意，论文并未提供该片段逐步的 \(\lambda\) 数值。

损失函数 / 训练策略¶

PPO 用混合优势更新策略，高频运动惩罚保持独立。每个片段训练 5000 次 PPO 更新；学习式比较方法采用固定模拟器交互步数预算，中途重置只重新分配采样位置，不增加总交互量。缓存未给出网络结构、学习率、控制器步长 \(\eta\) 或完整奖励实现，不能据通用 PPO 默认值补全。

真实机器人验证不是把完整感知闭环策略直接部署到硬件。作者将模拟器预测的关节参考通过 TCP 发送给独立实时控制器，平台为两台 xArm7 和两只 xHand；每侧跟踪 7 个机械臂关节与 12 个手部关节，外层参考更新间隔为 0.15 s，机械臂内部控制频率为 250 Hz。

实验关键数据¶

主实验¶

评测包含 GRAB 的 5 个片段、ARCTIC 的 4 个片段和 DexterHand 的 4 个片段，分别覆盖双手刚体、铰接物体和单手持续旋转。任一物体平移误差超过 0.10 m 或旋转误差超过 1.00 rad 即触发提前终止，评估全部从第一参考帧开始。

进度是终止帧索引除以 \(T-1\)，不是成功率；SR 才是到达末帧的 episode 比例。物体与关节误差只在已执行帧上平均，接触 F1 来自跨时间、连杆与物体对汇总的事件混淆矩阵，接触点误差只在双方匹配接触时计算。因此早停方法的低误差不能脱离进度单独排名。

下表为原文表 2，数值为跨片段均值 ± 标准差，不是多随机种子的置信区间。

方法	进度 ↑	物体位置误差 m ↓	物体旋转误差 rad ↓	手指误差 rad ↓	接触 F1 ↑	接触点误差 m ↓
ConTrack	0.899 ± 0.195	0.026 ± 0.006	0.272 ± 0.105	0.163 ± 0.014	0.784 ± 0.072	0.018 ± 0.005
ManipTrans	0.743 ± 0.292	0.012 ± 0.009	0.207 ± 0.078	0.277 ± 0.089	0.620 ± 0.068	0.030 ± 0.010
DexMachina	0.246 ± 0.052	0.038 ± 0.018	0.348 ± 0.121	0.147 ± 0.016	0.708 ± 0.041	0.024 ± 0.003
SPIDER	0.444 ± 0.341	0.201 ± 0.113	1.104 ± 0.599	0.157 ± 0.019	0.191 ± 0.225	0.036 ± 0.011

ManipTrans 是作者适配环境后的重实现；DexMachina 由于代码未完全开放，比较中集成的是其 Virtual Object Controllers；SPIDER 不进行策略学习。因此这不是各原版系统在完全相同训练流程下的直接排行榜。ConTrack 相对 ManipTrans 的进度增加 0.156、接触 F1 增加 0.164，但物体位置与旋转误差都更高。

消融实验¶

下表摘录原文表 4、5、6 的均值，保留同一完整模型作为参照；为便于跨机制阅读，此处省略各行标准差。

配置	进度 ↑	物体旋转误差 rad ↓	手指误差 rad ↓	接触 F1 ↑	接触点误差 m ↓
完整模型	0.899	0.272	0.163	0.784	0.018
固定任务权重（Fixed task）	0.764	0.250	0.157	0.679	0.022
固定任务风格 1:1	0.868	0.297	0.165	0.701	0.023
始终从起点重置	0.700	0.370	0.168	0.739	0.017
均匀重置	0.727	0.298	0.152	0.714	0.021
去掉接触事件奖励	0.861	0.320	0.168	0.699	0.020
去掉接触距离奖励	0.868	0.288	0.149	0.753	0.023

关键发现¶

重置库对进度影响最大：改为起点重置后从 0.899 降至 0.700，绝对下降 0.199；有限预算下，训练是否覆盖后续接触阶段非常关键。
自适应混合相比固定 1:1，进度从 0.868 提高到 0.899，接触 F1 从 0.701 提高到 0.784。原文图 4 扫描 \(\alpha=0.6,0.7,0.8,0.9\)，展示测试范围内的经验 Pareto 前沿，不构成全局最优证明。
接触事件奖励去掉后 F1 降到 0.699；接触距离奖励去掉后接触点误差升至 0.023 m。后者手指误差反而改善到 0.149 rad，说明更贴近参考关节不必然产生更好的真实接触。
三组平均进度分别为 0.996、0.944、0.733；DexterHand Ring 仅为 0.272。作者指出失败集中在旋转主导阶段，并称延长训练可解决，但缓存没有附录中的扩展预算数值。

亮点与洞察¶

将“完成任务”写成相对门槛，使风格不再和任务地位完全对等。任务达到当前可实现水平后再争取模仿精度，是比固定权重更易解释的控制接口。
重置库兼顾物理一致性与学习难度。仅采困难帧可能生成无法执行的起点，仅缓存好状态又可能只重复简单片段，两者结合才形成有效课程。
接触事件与物体局部接触点是互补监督。该思路可用于其他人机形态差异明显的操作迁移，但前提是能获得可信的接触标注。

局限与展望¶

作者明确承认：运行最大回报归一化不能严格保证约束满足。若历史最佳本身很低，相对达标也不代表绝对成功，可考虑加入绝对物体误差或任务完成约束。
每片段独立训练，结果来自有限片段而非跨物体、跨演示的通用策略。固定预算提升不应扩展为已验证的大规模泛化能力。
接触先验依赖标注质量与连杆映射；最难的 Ring 片段在当前预算下仍明显失败。噪声接触监督、复杂换指过程和域差异值得独立评测。
实机只展示关节参考执行可行性，当前缓存没有真实机器人成功率表，也没有证明视觉或触觉扰动下的闭环稳健性。增加感知反馈与更紧密的仿真到现实对齐是作者提出的方向。
当前缓存到参考文献结束，不含文中多次提到的附录；网络、重置库初始化、完整超参数和扩展训练结果不能从现有材料恢复。

评分¶

新颖性: 4/5。约束式权衡与可达状态课程的组合贴合接触丰富的动作迁移，但基础优化思想已有先例。
实验充分度: 3/5。跨三组任务且三类机制均有消融，但逐片段训练、基线适配与缺少实机统计限制结论范围。
写作质量: 4/5。任务风格矛盾、控制器和课程机制解释清楚，复现细节仍依赖当前缓存缺失的附录。
价值: 4/5。对将人类演示转为可执行灵巧手轨迹有实用启发，尚不能替代通用闭环机器人策略。