StableHand: Quality-Aware Flow Matching for World-Space Dual-Hand Motion Estimation from Egocentric Video¶

会议: NeurIPS 2026
arXiv: 2605.18553
论文: https://arxiv.org/abs/2605.18553
代码: https://huajian-zeng.github.io/projects/stablehand
领域: 人体理解
关键词: 第一人称双手动捕, 流匹配, 扩散Transformer, 质量感知生成, 机器人策略学习

一句话总结¶

针对第一人称视频中双手长时间出画与交互遮挡导致的严重跟踪漂移，StableHand 提出了质量感知流匹配框架，通过四通道质量感知前向调度、速度目标调整、AdaLN 调制及质量感知 ODE 初始化，将可靠观测锚定与不可靠通道的动作先验生成无缝统一。

研究背景与动机¶

第一人称双手 4D 运动恢复是具身智能与双手机器人操作策略学习的关键感知基础。在机器人示教中，手腕在世界坐标系下的轨迹直接映射为末端执行器的位姿，而手指的多自由度关节开合则决定了抓取姿态与灵巧接触。然而在真实头戴相机场景下，佩戴者的头部摆动常导致单手或双手长时间离开相机视野，且双手灵巧操作物体时不可避免产生严重的双向互遮挡与物体遮挡，造成上游单帧手部姿态估计器输出极不稳定的观测。

现有方法在解决世界坐标系双手动捕时面临严重的结构性局限。基于 SLAM 的传统流水线直接利用单目 SLAM 位姿将单帧相机系手部姿态投射到世界系，由于缺乏时序运动先验，在手部脱出画面的空白区间内会发生灾难性的累积漂移；而新兴的原生世界坐标系模型虽然联合建模了手部与相机轨迹，却将单帧观测特征统一无差别地作为生成条件，忽视了核心物理现实——手腕全局位移误差通常在数十毫米尺度，而手指关节局部弯曲误差仅在数毫米尺度，且双手机械交互下的遮挡退化具有极强的空间非对称性。将全局漂移与手指位姿平均成单一标量置信度，会导致高置信通道被低置信噪声污染，或者低置信通道无法被充分重构。

为了攻克这一瓶颈，本文的核心切入点在于将“观测质量的异质性”直接转化为生成过程的显式控制信号。核心 idea：将双手观测分解为左/右手腕与手指的四通道独立质量信号，构建质量感知流匹配生成框架，通过质量自适应调度、速度约束、AdaLN 调制与非均匀 ODE 初始化，在保留高可靠通道观测的同时依赖双手动率先验重构失效通道。

方法详解¶

整体框架¶

StableHand 的整体推理流水线包含两个核心模块：上游质量网络（Quality Network, QN）与下游质量感知流匹配去噪器（Quality-Aware Flow Matching DiT）。输入为 $T$ 帧的第一人称视频，首先由冻结的离架手部姿态估计器 WiLoR 和几何基座模型 Depth-Anything-V3 分别提取每帧相机系 MANO 参数、视觉特征、全局相机位姿与场景几何特征。质量网络基于世界系下的初步手部参数与相机运动时序上下文，直接预测各物理组件的误差并转换为四通道质量信号 $\hat{\mathbf{q}} \in [0, 1]^{T \times 4}$。随后，流匹配 DiT 接收经广播的通道质量向量 $\tilde{\mathbf{q}} \in [0, 1]^{T \times 108}$，驱动具有非均匀噪声步长与速度调制特性的反向 ODE 积分，输出平滑无漂移的世界系双手 4D 连续运动轨迹 $\mathbf{x} \in \mathbb{R}^{T \times 108}$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["第一人称视频帧序列<br/>T 帧连续双目/单目输入"] --> B["特征与几何提取<br/>WiLoR 姿态与 DA3 场景相机位姿"]
    B --> C["四通道自适应质量度量<br/>解耦手腕世界漂移与手指关节误差"]
    C --> D["时序自注意力质量网络<br/>多数据集预训练 + 1D Wasserstein 对齐"]
    D --> E["四机制耦合流匹配生成<br/>逐通道前向调度与质量感知初值求解"]
    E --> F["世界系双手 4D 连续运动轨迹<br/>无漂移手腕末端轨迹与接触姿态"]

关键设计¶

1. 四通道自适应质量度量：解耦手腕世界漂移与手指局部关节形变 传统动捕评价常以单一置信度打分，直接抹杀了手腕宏观平移漂移与手指微观关节误差在量纲与物理特性上的巨大差异。为此，本文将每帧双手状态分解为左手腕、左手指、右手腕、右手指四个独立分量 $\mathbf{q}_t = [q_W^L, q_F^L, q_W^R, q_F^R]^\top$。对手腕分量，结合欧氏根平移误差与经手掌特征半径 $r_0=85\,\text{mm}$ 放大的测地线旋转距离；对手指分量，则在对齐真实手腕局部坐标系后计算 MPJPE 误差，彻底消除手腕位姿对关节形变的牵连。两类误差分别通过径向基（RBF）核映射为 $[0, 1]$ 连续置信度： $$e_W^h = \|\bar{\mathbf{j}}_0^h - \mathbf{j}_0^h\|_2 + r_0 \arccos\left[\tfrac{1}{2}(\mathrm{tr}(\bar{\mathbf{R}}^{h\top}\mathbf{R}^h)-1)\right], \quad q_W^h = \exp(-e_W^h / \sigma_W)$$ $$e_F^h = \frac{1}{15}\sum_{k=1}^{15}\|\mathbf{R}^h(\bar{\mathbf{R}}^{h})^\top(\bar{\mathbf{j}}_k^h - \bar{\mathbf{j}}_0^h) - (\mathbf{j}_k^h - \mathbf{j}_0^h)\|_2, \quad q_F^h = \exp(-e_F^h / \sigma_F)$$ 为使质量信号在不同采集分布间具备通用对比度，核带宽 $\sigma_\star$ 自适应设定于各数据集误差分布的第 80 百分位数：$\sigma_\star = p_{80}(e_\star) / \ln 10$。这一设定从数学上强制令最差的 20% 极端失效观测严格落在 $q < 0.1$ 的强重构区间，从而为下游生成提供了标定一致的可靠性先验。

2. 时序自注意力质量网络：跨模态误差对齐与一维 Wasserstein 形状校正 在实际部署时真实关节不可见，必须从图像推断质量。由于质量信号 $q$ 依赖于数据集特定的 $\sigma$，直接预测 $q$ 会破坏跨数据集迁移能力；相反，物理欧氏误差 $e$ 具有不变的物理量纲（mm）。因此质量网络选择直接预测物理误差 $\hat{\mathbf{e}}_t$。网络以世界系 MANO 观测、检测置信标志与相机位姿序列为输入，通过可学习全局轨迹 token 汇聚整段时序模式，并利用带旋转位置编码（RoPE）的时序自注意力编码器捕捉快速头部转向与遮挡持续性。特别地，模型显式剥离了上游图像骨干特征以规避多数据集训练时的表观捷径。针对均方误差（MSE）导致预测误差向条件均值坍缩、进而导致推理期置信度过度极化的问题，训练时引入了一维 Wasserstein-1 距离作为显式形状对齐正则： $$\mathcal{L}_{\mathrm{QN}} = \frac{1}{|\mathcal{V}|}\sum_{(t,h)\in\mathcal{V}}\|\log(1+\hat{\mathbf{e}}_t^h) - \log(1+\mathbf{e}_t^h)\|_2^2 + \lambda_W \frac{1}{N}\sum_{i=1}^N \left| \mathrm{sort}_i(\log(1+\hat{\mathbf{e}})) - \mathrm{sort}_i(\log(1+\mathbf{e})) \right|$$ 利用标量经验分布分位数 L1 距离的闭式解，网络在反向传播中精确重建了经验累积分布函数（CDF），使测试期利用模型预测计算的带宽 $\hat{\sigma}$ 严格与训练期理论真实值保持无偏一致。

3. 四机制耦合流匹配生成：逐通道自适应轨迹反演与零偏差初值映射 质量信号并非仅作为外置特征拼接，而是深度渗透到连续归一化流的动力学方程中。将四通道质量广播至完整状态空间 $\tilde{\mathbf{q}} \in [0, 1]^{T \times 108}$ 后，模型实现了四大内生机制的深度闭环： - 逐通道前向路径与速度目标：构造时间调度矩阵 $\alpha(\tau, \tilde{\mathbf{q}}) = 1 - (1-\tau)(1-\tilde{\mathbf{q}})$，插值轨迹定义为 $\mathbf{x}_\tau = \alpha \odot \mathbf{x}_1 + (1-\alpha) \odot \boldsymbol{\varepsilon}$。其对应的速度场导数目标演变为 $\mathbf{u}_\tau(\tilde{\mathbf{q}}) = (1-\tilde{\mathbf{q}}) \odot (\mathbf{x}_1 - \boldsymbol{\varepsilon})$。当某通道观测极为可靠（$\tilde{q} \to 1$）时，$\alpha \equiv 1$ 且速度场目标强行归零，模型被梯度严格约束为冻结并复用该通道；而当观测缺失或严重遮挡（$\tilde{q} \to 0$）时，自然退化为标准流匹配，完全从双手动率先验中采样补全。 - Token 化结构与 AdaLN 动态缩放：DiT 将每帧离散为左腕、左指、右腕、右指四个独立 token，AdaLN 调制层由时间步与分量质量联合嵌入向量 $\mathbf{m}_t = \text{MLP}_\tau(\tau) + \text{MLP}_q(\tilde{\mathbf{q}}_t)$ 驱动，赋予网络对腕部宏观跳跃和手指微观闭合区别施加去噪增益的能力。 - 质量感知 ODE 初值初始化：在推理反向积分（$\tau: 0 \to 1$）时，初值定义为 $\mathbf{x}_0 = \tilde{\mathbf{q}} \odot \bar{\mathbf{y}} + (1-\tilde{\mathbf{q}}) \odot \boldsymbol{\varepsilon}$。这一构造精准复现了训练时 $\tau=0$ 处的潜在态分布，彻底消除了传统扩散修补算法（如 SDEdit、RePaint）中全局截断步数引发的通道间训练-推理分布失配。

损失函数 / 训练策略¶

流匹配生成器的总体训练损失由核心速度场回归损失、高阶时序平滑正则与腕部平移加权补偿项组成： $$\mathcal{L} = \mathbb{E}_{\tau,\mathbf{x}_1,\boldsymbol{\varepsilon}}\left[\|\mathbf{v}_\theta(\mathbf{x}_\tau,\tau;\mathbf{c}) - \mathbf{u}_\tau(\tilde{\mathbf{q}})\|_2^2\right] + \lambda_{\mathrm{smooth}} \mathcal{L}_{\mathrm{smooth}} + \lambda_{\mathrm{wrist}} \mathcal{L}_{\mathrm{wrist}}$$ 其中 $\mathcal{L}_{\mathrm{smooth}}$ 作用于模型单步反解出的估计无噪轨迹 $\widetilde{\mathbf{x}}_1 = \mathbf{x}_\tau + (1-\tau)\mathbf{v}_\theta$ 上，采用离散二阶差分拉普拉斯算子抑制无约束通道的高频时间抖动；$\mathcal{L}_{\mathrm{wrist}}$ 针对手腕 3D 平移在 108 维全状态中所占比例微小（易被 90 维手指轴角损失淹没）的缺陷进行尺度再平衡，设置权重 $\lambda_{\mathrm{wrist}}=5.0$、$\lambda_{\mathrm{smooth}}=0.1$。模型在单张 H100 GPU 上采用 AdamW 优化器（学习率 $1 \times 10^{-4}$，批大小 16）于 6–8 小时内收敛。推理时采用 20 步欧拉法数值求解 ODE，全段 150 帧耗时仅 230 毫秒。

实验关键数据¶

主实验¶

论文在两大数据集上进行了全面评测：强调头部快速移动致使双手长时间脱出画面的 HOT3D，以及专注双手动态复杂交互与持续严重遮挡的 ARCTIC。实验对比了基于 SLAM 投影的基线与原生世界系运动恢复模型，评价指标包含 Procrustes 对齐误差（PA-MPJPE）、世界系累积漂移误差（W-MPJPE）、全局对齐误差（WA-MPJPE）、加速度抖动误差（AccEr）以及相对双根误差（MRRPE）。

表 1：HOT3D 上的世界坐标系双手运动估计对比

方法类型	方法	PA-MPJPE (mm) ↓	W-MPJPE (mm) ↓	WA-MPJPE (mm) ↓	AccEr (m/s²) ↓
SLAM-based	HaMeR-SLAM (CVPR'24)	9.07	295.32	73.90	13.81
SLAM-based	WiLoR-SLAM (CVPR'25)	8.60	171.24	54.34	12.30
SLAM-based	HMP-SLAM (WACV'24)	11.72	131.19	42.77	5.83
Native World	Dyn-HaMR (CVPR'25)	8.64	86.78	40.47	5.46
Native World	HaWoR (CVPR'25)	8.65	71.89	30.20	7.80
Native World	UniHand (ArXiv'26)	4.76	63.97	25.24	4.93
Ours	StableHand	4.02	57.83	21.02	3.83

表 2：ARCTIC 强遮挡双手动捕基准评测

方法类型	方法	PA-MPJPE (mm) ↓	W-MPJPE (mm) ↓	WA-MPJPE (mm) ↓	AccEr (m/s²) ↓	MRRPE (mm) ↓
SLAM-based	HaMeR-SLAM	10.99	232.48	59.35	10.82	163.46
SLAM-based	WiLoR-SLAM	8.92	183.72	50.03	8.80	122.42
SLAM-based	HMP-SLAM	13.73	166.21	41.62	7.13	131.33
Native World	Dyn-HaMR	13.36	734.31	83.63	6.05	189.09
Native World	HaWoR	10.30	171.61	51.98	11.35	112.36
Ours	StableHand	8.07	124.59	32.66	4.67	93.71

消融实验¶

论文在 HOT3D 上针对质量网络设计、流匹配架构以及推理质量信号源展开了严格的剥离分析：

表 3：HOT3D 消融实验结果

实验组别	变体配置	PA-MPJPE (mm) ↓	W-MPJPE (mm) ↓	WA-MPJPE (mm) ↓	AccEr (m/s²) ↓
(a) 质量网络	完整模型（Ours Full）	4.02	57.83	21.02	3.83
	仅在 HOT3D 单数据集预训练	4.85	61.54	21.12	4.06
	无时序自注意力（纯逐帧 MLP）	4.33	64.98	25.71	3.82
(b) 生成模型	移除质量调度（$\tilde{\mathbf{q}} \equiv \mathbf{0}$，退化为标准 CFM）	4.55	92.32	30.22	4.87
	移除分组件解耦（单手退化为单标量 $q^h$）	5.06	61.23	22.37	4.89
	移除逐 token AdaLN（全局共享调制）	4.44	64.66	23.28	3.23
	移除平滑正则（$\lambda_{\mathrm{smooth}}=0$）	4.62	63.57	23.26	3.60
	移除手腕位移损失（$\lambda_{\mathrm{wrist}}=0$）	3.95	70.52	22.45	4.31
	移除四 token 拆分（每帧单 token）	5.23	118.61	40.03	6.60
(c) 推理信号源	理论真实质量信号（Oracle Upper Bound）	3.22	48.16	17.58	3.12
	模型预测质量信号（Ours Full QN）	4.02	57.83	21.02	3.83
	数据集中值常量信号（Constant Quality）	5.43	104.62	31.37	4.25
	二值检测掩码（Binary Mask）	6.19	135.35	43.82	9.39

关键发现¶

质量调度的不可替代性：在生成模型消融中，彻底关闭质量调度（$\tilde{\mathbf{q}} \equiv \mathbf{0}$）会导致 W-MPJPE 暴增至 92.32 mm（误差激增 60%）；而强行将四 token 合并为单 token 则造成最大幅度的性能崩溃（W-MPJPE 达到 118.61 mm，恶化超过 105%），证明了针对手腕与手指施加解耦局部调制的决定性意义。
连续质量度量优于二值判断：若将连续置信度降级为二值检测掩码（Binary Mask），W-MPJPE 剧烈退化至 135.35 mm。这是因为二值掩码无法度量“已检测到但严重形变”的遮挡帧，生硬的截断会导致剧烈的运动阶跃噪声。
质量网络弥合了理论上界的大部分差距：相比恒定置信度基线（104.62 mm），自适应预测质量（57.83 mm）闭合了通往 Oracle 真实质量（48.16 mm）超过 82.8% 的性能鸿沟，剩余差距完全受限于极端遮挡下无监督误差估计的理论上限。

亮点与洞察¶

质量通道与流匹配前向路径的数学闭环：巧妙地将质量参数 $\tilde{\mathbf{q}}$ 解析地织入流匹配的插值矩阵 $\alpha(\tau, \tilde{\mathbf{q}})$ 中，直接诱导产生在 $\tilde{q}=1$ 处导数自动恒等于零的速度场约束，无需任何手写规则或硬性启发式拼接即可实现“高质量冻结、低质量重构”。
一维 Wasserstein-1 显式特征重对齐：发现了单样本 MSE 监督必然收敛于条件均值并收缩方差的统计缺陷，利用排序样本 L1 差分的闭式解构建可微 Wasserstein 损失，使得预测误差能够跨越 10 倍量级的数据集漂移、完全保持真实长尾分布的百分位分位点。
可泛化的非对称条件扩散泛式：该框架对人手解剖学（根部位移 vs 局部关节）的解耦思想，具有高度的通用性，可直接平移到全身动捕（浮动骨盆轨迹 vs 肢体姿态）乃至轮式四足机器人的全身轨迹估计任务中。

局限与展望¶

极端单手缺失下的先验漂移：当某只手在整个视频序列（数百帧）中完全未曾入画时，生成器只能依靠学到的双手相关性先验进行盲盒推演，此时重构结果虽在运动学上合理，但无法与客观物理真实绝对对齐。
物体接触物理约束的缺失：当前模型未显式引入操纵物体的几何与接触点网格（SDF/Contact），在紧密双手抓取重叠时偶发穿模或指尖接触面轻微打滑现象。未来的延伸方向在于将物体位姿与手部流匹配联合表征，并在隐空间集成物理可微动力学损失。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将多通道异质观测质量与连续流匹配调度及初始化无缝数学融合，思想兼具理论优雅与工程坚固。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖跨模态消融、跨姿态估计器迁移（WiLoR/HaMeR）、输入抗噪鲁棒性及零样本泛化（HD-EPIC）。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密清晰，动机由物理量纲差异层层递进，消融逻辑层层呼应。
价值: ⭐⭐⭐⭐⭐ 为具身智能领域从第一人称人类视频中提取高质量、无漂移的世界系双手示教轨迹提供了全新的标准范式。