HOPE: Hand-Object Pressure Estimation from Monocular Videos¶

会议: NeurIPS 2026
arXiv: 2608.06192
代码: https://github.com/subin6/page-hope
领域: 人体理解
关键词: 手物交互, 压力估计, 接触估计, 视频Transformer, 具身智能

一句话总结¶

提出 HOPE 框架，将单目视频中的手物交互物理压力与接触表征为 MANO 手部网格上的连续顶点场，通过统一触觉手套、平面传感器与几何接触监督，并结合接触门控的顶点视频 Transformer，实现了无需触觉传感器即可估计物体交互压力与手部接触。

研究背景与动机¶

理解人类手物交互不仅需要恢复手部与物体的 3D 姿态，更需要推断其底层的物理交互机制——手部哪些区域接触了物体、接触随时间如何演变，以及在按压、抓握或工具使用时施加了多大的法向压力。这类物理交互参数对于具身智能、机器人示教学习以及增强/虚拟现实系统至关重要。然而，纯视觉输入本身并不包含力学传感器信号，如何从单目 RGB 视频中推断手部表面连续的物理压力是一个极具挑战性的病态逆问题。

现有基于视觉的压力估计方法（如 PressureVision、PressureVision++ 以及近期的 EgoPressure）主要依赖受限的感知几何结构，大多局限于已知平面传感板（planar touchpad）且基于单帧图像输入。这类方法将压力建模为固定的 2D 图像或平面图，难以泛化到包含复杂几何形状物体与丰富接触模式（如指尖捏压、全手掌抓握、手掌承重支撑）的日常 3D 动态交互中。另一方面，新兴的触觉手套数据集（如 OpenTouch）虽然能在操作多种物体时采集度量级压力，但触觉手套完全遮挡了人手皮肤，导致皮肤形变、颜色变化、微小褶皱等视觉压力线索丧失，使得直接训练的模型难以迁移到日常裸手交互。

解决这一矛盾的关键在于将异构且互补的力学与几何数据统一表征：触觉手套提供物体操作时的真实压力度量，但受限于手套视觉域；传统 3D 手物交互（HOI）数据集涵盖丰富自然的裸手交互，但仅包含基于表面距离判定的二值接触。核心 idea：将压力与接触统一建模为 MANO 手部网格上的时序连续顶点场，利用大量裸手接触先验作为物理正则化约束，并通过包含时空交叉注意力的顶点锚定视频 Transformer 与接触门控机制，实现从单目视频到稠密手部压力的端到端估计。

方法详解¶

整体框架¶

HOPE 的整体流程接收一段长度为 $T$ 帧的单目 RGB 视频片段 $\{I_t\}_{t=1}^T$ 作为输入，直接预测 MANO 手部网格（共 $V=778$ 个顶点）上随时间演化的逐顶点非负法向压力 $\hat{\mathbf{p}}_t \in \mathbb{R}_{\geq 0}^V$ 和逐顶点二值接触概率 $\hat{\mathbf{c}}_t \in [0, 1]^V$。整个算法由两个核心部分构成：首先是统一压力-接触顶点空间表征，将传感器相关的触觉手套离散感应单元、平面触控板网格以及 3D HOI 几何距离接触统一投射到 MANO 表面；其次是顶点锚定视频 Transformer（VertexFormer），将每个网格顶点作为持久 token，融合局部手部姿态与 DINOv3 视觉特征，在空间和时间维度上交替交互，最终经由接触门控预测头输出压力。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单目视频帧序列<br/>T 帧 RGB 输入"] --> B["特征提取与姿态估计<br/>DINOv3 Patch Token + HaWoR MANO 姿态"]
    B --> C["统一压力与接触顶点表征<br/>触觉网格/平面传感/HOI距离映射至 778 顶点"]
    C --> D["时空交替顶点注意力<br/>Vertex-SA 拓扑传递 + Vertex-Patch CA + 时序平滑"]
    D --> E["接触门控压力预测<br/>接触头输出概率门控压力回归: p = c ⊙ p_raw"]
    E --> F["输出: MANO 逐顶点接触概率与法向压力场"]

关键设计¶

1. 统一压力与接触顶点表征：消除传感器布局与物体形状依赖

现存数据集的力学测量各自依赖特定硬件坐标系：OpenTouch 采用手掌侧 256 个触觉单元（taxel）的网格，PressureVisionDB 采用平面触控板上的 2D 连续图像，且传感器仅覆盖手掌与指尖，手背及侧面无任何传感器覆盖。为打破特定硬件与物体形状的绑定，HOPE 将所有监督信号提升到统一的 MANO 拓扑网格空间（$V=778$）。针对 OpenTouch，建立触觉单元与对应覆盖网格顶点的校准对应关系，通过局部顶点加权平均聚合压力并应用测地高斯滤波平滑；针对平面传感数据，将估计并优化的手部网格顶点双线性采样投射至平面；最后，利用通用阈值 $\tau_p=1\,\text{kPa}$ 导出真实的成对接触标签。对于没有物理压力记录的大规模裸手数据集（如 DexYCB、ARCTIC），则依据手部与物体表面欧氏距离 $\delta_c=10\,\text{mm}$ 生成二值接触标签。由于接触是施加压力的物理必要条件，这种设计让海量裸手接触数据能够直接作为结构先验，辅助无压力真值区域的压力学习。

2. 顶点锚定 Token 编码与时空交替注意力：解耦姿态形变并建模时序加载

物理压力是一个高度动态的时序过程：物体从接近、建立接触、加力施压到离开释放，静态单帧的几何接触配置完全可能对应截然不同的受力大小；同时时序线索有助于在手物发生局部遮挡时保持压力传递的连续性。HOPE 提出了顶点锚定 Transformer（VertexFormer），将每个顶点绑定一个学习的持久身份向量 $\mathbf{e}_v$，结合由 HaWoR 估计的手部局部顶点坐标 $\tilde{\mathbf{V}}_{t,v}$、全局相机系旋转 $\phi_t$ 与平移 $\tau_t$ 投影线性映射得到顶点 token：

\[\mathbf{z}_{t,v} = \mathbf{e}_v + W_v \tilde{\mathbf{V}}_{t,v} + W_\phi \phi_t + W_\tau \tau_t\]

在特征交互阶段，固定顶点 token 作为 query，DINOv3 提取的图像 patch 作为 key/value。每个 Transformer 块依次执行三层注意力计算：顶点自注意力（Vertex-SA）沿手部表面拓扑扩散接触线索；顶点-图像交叉注意力（Vertex-Patch CA）将顶点关联到全局视觉外观以捕获手部与物体的上下文特征；时序注意力（Temporal Attention）在同一顶点的不同时间步之间进行信息平滑与推理。交替堆叠的空间与时序注意力显著提升了动态加载状态的解耦能力。

3. 接触门控压力预测机制：嵌入无接触即无压力的物理归纳偏置

在网络预测阶段，模型需要面对极度不平衡且存在噪声的连续回归问题。物理规律指出：如果手部某部位未与物体接触，其法向压力必严格为零。如果让回归头自由输出连续压力值，微小的负向或零附近扰动会带来持续的假阳性误差，且无法有效利用无度量真值的接触数据集。HOPE 将多层感知机（MLP）预测头解耦为接触分支与压力分支，接触头输出逻辑值经由 Sigmoid 得到 $\hat{\mathbf{c}}_t \in [0, 1]^V$，原始压力头输出非负压力 $\tilde{\mathbf{p}}_t \in \mathbb{R}_{\geq 0}^V$，最终预测压力通过点乘进行严格门控：

\[\hat{\mathbf{p}}_t = \hat{\mathbf{c}}_t \odot \tilde{\mathbf{p}}_t\]

这种硬物理门控确保了无接触处压力自动归零。更重要的是，在反向传播时，即使某些训练样本仅有二值接触真值而无度量压力标签（例如 DexYCB 与 ARCTIC 裸手交互数据），接触损失依然能够直接优化接触分类头并隐式约束门控，从而把裸手外观下的交互几何先验迁移到压力预测中。

损失函数 / 训练策略¶

HOPE 采用多任务联合损失进行端到端优化。令 $\Omega_t^c$ 为在时间步 $t$ 具备有效接触标签的顶点索引集合（涵盖所有接触数据集与由压力转换得到的数据），$\Omega_t^p$ 为具有有效压力测量的顶点集合（如 OpenTouch 的手掌受感区域及 PVDB 的接触区域）。接触分类采用二值交叉熵损失（BCE），压力回归采用掩码下的 L1 损失：

\[\mathcal{L} = \lambda_c \mathcal{L}_{\text{contact}} + \lambda_p \mathcal{L}_{\text{pressure}}\]

其中： $$\mathcal{L}_{\text{contact}} = \frac{1}{|\Omega_t^c|} \sum_{v \in \Omega_t^c} \mathrm{BCE}(\hat{c}_{t,v}, c_{t,v}), \qquad \mathcal{L}_{\text{pressure}} = \frac{1}{|\Omega_t^p|} \sum_{v \in \Omega_t^p} |\hat{p}_{t,v} - p_{t,v}|$$

对于来自 DexYCB 和 ARCTIC 等仅提供接触几何的数据样本，直接将 $\lambda_p$ 置为 0。超参数设定为 $\lambda_c=1.0, \lambda_p=1.0$。模型在单张 RTX 3090 GPU 上使用 AdamW 优化器（初始学习率 $3 \times 10^{-3}$，批大小 128）训练 20 个 epoch。

实验关键数据¶

主实验¶

在 OpenTouch 测试集（涵盖日常手物自然交互）以及 PressureVisionDB（平面传感器基准）上，评估逐顶点/逐帧接触指标以及压力回归平均绝对误差（MAE）和均方根误差（RMSE）：

数据集	方法	接触 F1 (帧级)	接触 F1 (顶点级)	顶点压力 MAE (kPa)	顶点压力 RMSE (kPa)
OpenTouch	PressureVision	0.610	0.013	1.93 (8.03 / 0.14)	6.19 (12.94 / 0.59)
OpenTouch	PressureVision++	0.113	0.001	1.92 (8.04 / 0.12)	6.20 (12.95 / 0.60)
OpenTouch	HACO	0.835	0.361	- (无压力预测)	- (无压力预测)
OpenTouch	HOPE (Ours)	0.874	0.660	1.808 (5.84 / 0.61)	4.998 (10.13 / 1.39)
PVDB	PressureVision	0.939	-	0.471	3.726
PVDB	PressureVision++	0.248	-	0.248	3.025
PVDB	HOPE (Ours)	0.905	-	0.449	2.314

注：OpenTouch 压力指标括号内数值分别对应“接触区域”与“非接触区域”的局部误差统计，展示了模型在施压时的幅值准确性与脱离接触时的假阳性抑制能力。

消融实验¶

表 1 展示了输入模态（视觉 Patch、手部姿态、时序上下文）对预测质量的影响，表 2 分析了不同数据集联合训练对跨域泛化能力的作用：

输入配置 (模态消融)	视觉 RGB	手部姿态 Pose	时序上下文 Temp	帧级接触 F1	顶点接触 F1	顶点压力 MAE (kPa)
Pose only	✗	✓	✗	0.8441	0.5848	1.8717
RGB only	✓	✗	✗	0.8466	0.6106	1.8916
RGB + Pose	✓	✓	✗	0.8562	0.6307	1.8438
Video (RGB + Temp)	✓	✗	✓	0.8673	0.6328	1.8673
Full (Ours)	✓	✓	✓	0.8716	0.6538	1.7735

训练数据集构成	OpenTouch (OT)	PVDB (PV)	裸手 HOI	OT 顶点 F1	OT MAE (kPa)	PVDB MAE (kPa)	ARCTIC 裸手顶点 F1
仅手套压力	✓	✗	✗	0.657	1.840	0.822	0.137
手套 + 平面压力	✓	✓	✗	0.672	1.841	0.265	0.069
手套 + 平面 + 裸手 HOI	✓	✓	✓	0.671	1.866	0.285	0.498

关键发现¶

多模态与时序互补性：纯姿态或纯图像输入均能获得基础性能，但二者结合直接使顶点 F1 从 0.58/0.61 提升至 0.63；加入时序注意力后进一步提升至 0.654，压力 MAE 降至最低的 1.7735 kPa，证明了时间连续性对于动态加卸载状态判断的关键作用。
裸手接触先验的跨域突破：仅使用穿戴手套的 OpenTouch 和平面 PVDB 训练时，模型在 ARCTIC 裸手数据集上的顶点接触 F1 分别仅有 0.137 和 0.069，几乎无法泛化；而加入无压力标签的裸手 HOI 几何接触数据后，ARCTIC 顶点接触 F1 跃升至 0.498（增幅超过 360%），同时 OpenTouch 与 PVDB 内部的原生力学估计精度几乎未受任何负面影响。
骨干抗噪性测试：在测试阶段对 MANO 参数施加 $20^\circ$ 的关节旋转扰动，顶点接触 F1 仅轻微下降 0.0134；且使用 WiLoR 单帧重构器替换 HaWoR 仍能维持 0.661 的 F1 与 1.915 kPa 的 MAE，表现出极强的姿态容错鲁棒性。

亮点与洞察¶

网格表征化解感知硬件隔阂：通过将触觉手套的离散单元与触控板连续投影至 MANO 网格的 778 个顶点，将异构感知统一到以人手为中心的标准拓扑流形，消除了硬件特定布局与下游物体几何差异的限制。
物理接触门控的优雅设计：用接触预测概率硬门控连续压力输出，不仅天然满足无接触则无压力的物理公理，而且巧妙地打通了“仅接触”裸手数据集反向优化压力预测网络的梯度路径。
具身操作与力控的新可能：以往机器人模仿学习受限于视觉单模态，无法感知力交互细节。HOPE 证明仅凭普通单目视频就能估计人手在操作物体时的压力分布与时序演变，为低成本构建力觉示教数据集铺平了道路。

局限与展望¶

依赖手部 3D 重建先验：模型以前置手部重建器（HaWoR / WiLoR）的输出为基础，在出现严重自遮挡或极端视角导致手部网格完全漂移时，压力预测将受到连锁影响。
真实度量数据源依然稀缺：度量级 3D 交互压力监督几乎全来自 OpenTouch 单一触觉手套数据集，更多样化的高保真物理交互力学标注仍待扩充。
仅限法向标量压力：目前模型仅估计垂直于手部网格表面的法向压力标量，尚未涉及沿表面的摩擦切向力以及完整的空间接触力扭矩（contact wrench）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出单目视频下通用的手物 3D 网格逐顶点压力与接触联合预测表征，构思清晰。
实验充分度: ⭐⭐⭐⭐☆ 覆盖 OpenTouch、PVDB、MOW 及 ARCTIC 等多个基准，对模态贡献与跨域泛化进行了扎实消融。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然连贯，数学形式化表达严谨，物理约束与网络结构的映射关系清晰。
价值: ⭐⭐⭐⭐⭐ 打通了由视觉到接触力学的关键通道，对具身智能机器人抓取与接触操作具有重要应用前景。