EgoTac: In-the-wild Tactile Prediction from Egocentric Vision¶

会议: NeurIPS 2026
arXiv: 2608.15060
代码: https://egotac.github.io/
领域: 机器人
关键词: 触觉预测、第一人称视觉、MANO手部拓扑、多模态学习、机器人具身智能

一句话总结¶

EgoTac 构建了首个对齐到双手机器人/人手 MANO 拓扑网格的 570 万级多模态触觉-接触数据集，并设计了结合时序视觉注意力与自适应层归一化（AdaLN）解码器的视觉到触觉模型，实现了在野外第一人称视频下对双手连续法向力场与接触状态的端到端联合预测。

研究背景与动机¶

触觉对于人类和机器人的灵巧操作（dexterous manipulation）至关重要。日常交互任务（如擦拭花瓶、旋转开门、插拔插座等）要求智能体不仅要通过视觉感知场景，还必须在动态接触中实时调节法向作用力的大小时机与空间分布。然而，直接在机器人本体或人手穿戴设备上进行大规模触觉采集受限于传感器物理尺寸、穿戴磨损、标定漂移与易损性，使得现有顶尖具身大模型（如 Pi0.5、Gr00t 等）大多只能从纯视觉、手部姿态或物体轨迹中学习行为策略，缺乏接触层面的力学物理监督。

针对物理触觉极难大规模直接测量的核心矛盾，学界近年逐渐将目光投向海量且自然包含丰富接触的第一人称人类操作视频。然而，现有第一人称手物交互（HOI）数据集要么仅停留在依靠网格几何距离阈值计算出的启发式二值接触标签（如 HOI4D、HOT3D、ARCTIC），缺乏连续力学强度的真实信号；要么仅限于特定受控实验台、单一手指尖局部测力或单手操作场景（如 PressureVision、OpenTouch），在交互多样性与跨场景泛化能力上存在严重鸿沟。这就引出一个核心研究问题：能否纯粹从连续的第一人称 RGB 视觉观测中，反推并恢复全手密集的物理触觉力与接触状态？

本文的切入角度是打破真实物理测力数据与纯几何接触标注之间的模态割裂，将其在统一的手部网格拓扑下进行混合联合表征。核心 idea：将自采的高精度双手密集手套测力数据与现有 8 个几何网格接触数据集全部对齐到统一的 MANO 拓扑空间，构建超 570 万样本的异构触觉语料库，并通过共享视觉-时序编码与 AdaLN 触觉解码器实现连续力回归与二值接触分类的联合自洽学习。

方法详解¶

整体框架¶

EgoTac 接收一段连续的第一人称 RGB 视频观测帧序列，并在预定的预测步长内直接输出双手的稠密法向力分布与接触概率对数（logits）。输入视频首先通过预训练冻结/微调的 DINOv2 视觉骨干网络提取空间语义特征，随后由可学习的时间聚合 token 通过跨注意力机制将时序上下文压缩为一个全局上下文向量。紧接着，以时间步为索引的触觉查询 token（Tactile Queries）在 AdaLN 调制的 Transformer 解码器中进行迭代更新，并最终分流至触觉连续力回归头与接触二值分类头，映射至双手共 1556 个 MANO 顶点上。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["第一人称连续观测帧<br/>T×3×H×W (RGB)"] --> B["DINOv2 空间语义特征编码"]
    B --> C["跨注意力时序聚合模块<br/>生成全局上下文向量 z"]
    C --> D["双头拓扑表征与数据格式统一<br/>MANO 双手 2V=1556 顶点锚定"]
    D --> E["AdaLN 调制 Transformer 触觉解码器<br/>可学习查询迭代自适应更新"]
    E --> F["异构力-接触联合监督与一致性约束<br/>掩码MSE + 加权BCE + 区域平滑L1 + 跨分支一致性"]
    F --> G["密集触觉预测输出<br/>连续力场 F^ 与接触概率 C^"]

关键设计¶

1. 双手 MANO 拓扑对齐与大规模异构触觉语料库构建：打通真实物理测力与几何近似接触的数据壁垒 真实物理传感器测量的触觉数据与计算机视觉领域从三维网格估算出的接触标注在数据表征、空间分布和传感器布局上极度不兼容。为建立统一的跨数据学习平台，研究团队构建了涵盖 570 万样本的 EgoTac-Dataset。其中核心部分为全新自采的 EgoTac-SC 数据集：受试者佩戴集成了 264 个力敏电阻传感阵列与惯导模块的特制轻薄手套，头戴 ZED 2i 相机在 24 个日常真实场景中采集 70 余类复杂双手操作动作（共计 390 万帧）。在后处理中，利用预定义的作用域权重将手套上稀疏的 132 维测力信号双线性插值映射到双手标准 MANO 网格模型（单手 $V=778$，双手 $2V=1556$ 个顶点）的各个顶点上： $$F_v = \sum_{k \in \mathcal{W}(v)} w_{v,k} s_k, \quad \sum_{k \in \mathcal{W}(v)} w_{v,k} = 1$$ 针对缺乏连续测力数据的其余 8 个公开第一人称数据集（如 HOT3D、TACO、HOI4D、ARCTIC 等），通过计算手部网格顶点与物体网格表面的欧氏最短几何距离，设定 1 cm 阈值将其统一切割为二值接触状态 $C_v \in \{0, 1\}$。由此，不同来源的异构数据被全部投影到了同一拓扑基底上，使单一网络同时消化“测力数据”与“接触数据”成为可能。

2. AdaLN 调制的时空注意力解耦解码器：高效注入多帧上下文并保持全拓扑表达 单纯基于单帧图像预测触觉极易受到手部自遮挡或物体遮挡造成的假阴性干扰，且无法捕捉物体形变与挤压动态过程中的连续力变化。EgoTac 首先采用 DINOv2-Base 对前序 $T=4$ 帧图像分别抽取 patch 级别的视觉特征。为了避免直接将密集视觉 token 与高维网格顶点进行多轮全自注意力交互所带来的巨大显存与算力开销，模型引入了一个可学习的时间聚合 token 与连续帧视觉特征做 Cross-Attention，抽取出全局多模态交互向量 $z \in \mathbb{R}^d$。随后在 12 层 Transformer 解码器中，采用自适应层归一化（Adaptive Layer Normalization, AdaLN）结构，将全局向量 $z$ 动态投影为缩放因子 $\gamma_\ell(z)$ 与平移因子 $\beta_\ell(z)$，自适应地调制每层网格查询 token： $$\mathrm{AdaLN}_\ell(h; z) = (1 + \gamma_\ell(z)) \odot h + \beta_\ell(z)$$ 这种设计既保持了解码器对全手 1556 个顶点的细粒度空间感知能力，又让网络在单个前向传播中以轻量级计算开销充分融合了连续多帧的时序运动线索。

3. 掩码解耦的异构力-接触联合监督与跨分支一致性对齐：解决数据不完整与触觉激活稀疏难题 在 5.7M 规模的混合数据集中，大量样本仅具有二值几何接触标记（$\mathbf{M}^F = 0, \mathbf{M}^C = 1$），而自采与 OpenTouch 数据则同时具有二者。此外，人手在绝大多数交互时刻，处于非接触状态的网格顶点占据了 90% 以上，直接使用全局均方误差（MSE）会导致网络退化为全零输出。为此，EgoTac 设计了一套解耦的多目标损失体系： $$\mathcal{L} = \lambda_F \mathcal{L}_F + \lambda_C \mathcal{L}_C + \lambda_A \mathcal{L}_A + \lambda_{\mathrm{cons}} \mathcal{L}_{\mathrm{cons}}$$ 其中 $\mathcal{L}_F$ 为仅在测力有效掩码 $\mathbf{M}^F$ 上计算的归一化均方误差；$\mathcal{L}_C$ 为带正样本重加权因子（$\alpha=2.0$）的二值交叉熵损失；$\mathcal{L}_A$ 专门针对地表真实力大于 $\delta=0.05\,\text{N}$ 的活跃区域采用 Smooth-L1 损失，强迫模型重点关注施力中心的力值精度；最后，为了防止两分支预测发生物理逻辑冲突，模型将连续力分支隐式转换为接触 logit $\hat{\mathbf{Z}}^F = (\hat{\mathbf{F}}^{\mathrm{raw}} - \theta) / \tau_c$，并通过截断梯度的软交叉熵 $\mathcal{L}_{\mathrm{cons}}$ 与分类分支的输出对齐，确保空间几何接触与物理力强度的自洽。

损失函数 / 训练策略¶

模型在 4 块 NVIDIA A10 GPU 上以 AdamW 优化器进行端到端分布式训练，总批次大小设为 128，基础学习率自 $1 \times 10^{-4}$ 采用余弦衰减策略退火至 $1 \times 10^{-5}$，前 5% 步数为预热阶段。视觉主干网络与解码器联合微调，但学习率缩减为 0.1 倍。损失权重固定设置为 $\lambda_F = 1.0, \lambda_C = 1.0, \lambda_A = 0.2, \lambda_{\mathrm{cons}} = 0.05$。在采样策略上，采用温度系数 $\tau=0.5$ 的多源温度采样，并对样本量较小的数据源设置保底配额，有效防止了由于数据规模悬殊导致的小众交互场景欠拟合问题。

实验关键数据¶

主实验¶

论文对域内（In-Domain）测试集以及跨域（Out-of-Domain, OOD）基准进行了系统评测。在未知场景跨域接触估计基准（OAKINK2 与 FPHA）上，EgoTac 与当前最先进的三维人手接触估计方法（BSTRO、DECO 以及基于单手裁剪检测器的 SOTA 方法 HACO）进行了横向对比：

数据集	方法	AUROC ↑	IoU ↑	Precision ↑	Recall ↑	F1 ↑
OAKINK2	BSTRO	0.537	0.076	0.172	0.139	0.134
	DECO	0.655	0.144	0.291	0.329	0.243
	HACO (SOTA)	0.772	0.259	0.356	0.568	0.400
	EgoTac (本文)	0.844	0.285	0.498	0.441	0.435
FPHA	BSTRO	0.535	0.017	0.080	0.033	0.032
	DECO	0.635	0.041	0.161	0.092	0.075
	HACO (SOTA)	0.699	0.160	0.187	0.716	0.268
	EgoTac (本文)	0.758	0.178	0.304	0.401	0.290

在域内 EgoTac-SC 测试集上，EgoTac 实现了全手全局 $\text{MAE} = 0.004\,\text{N}$，活跃接触区域的平均绝对误差 $\text{MAE}_{\text{act}} = 0.056\,\text{N}$（显著低于 0.06N 的高精度标准），时间皮尔逊相关系数达到 0.506。

消融实验¶

论文在 EgoTac-SC 域内测试集上验证了各个核心模块的有效性，并对比了移除时序上下文、移除活跃区域损失以及移除连续测力监督的性能表现：

配置	全局 MAE ↓	活跃区 $\text{MAE}_{\text{act}}$ ↓	时间皮尔逊相关系数 ↑	说明
EgoTac (完整模型)	0.004	0.056	0.506	保持卓越的力值精度与时序动态响应
w/o 时序上下文 (EgoTac-i)	0.005	0.056	0.463	去除多帧时序后，时序动态相关性大幅滑落 8.5%
w/o 活跃区域损失 ($\mathcal{L}_A$)	0.004	0.097	0.482	活跃区施力误差急剧恶化近一倍（+73.2%）
w/o 显式测力监督 (纯接触训练)	0.322	0.108	0.240	缺失物理力监督时，无法反推实际力学尺度

此外，在数据源异构性消融中，仅使用接触数据训练模型时，在跨域 OpenTouch 上无法输出连续力；而仅使用自采 EgoTac-SC 数据训练时，跨域 OAKINK2 上的接触 F1 仅有 0.12。只有混合训练（Mixed）才能使 OAKINK2 F1 跃升至 0.44，同时将 OpenTouch 上的力余弦相似度推升至 0.777。

关键发现¶

接触监督与测力监督具有显著的互补协同效应：仅靠穿戴手套的测力数据（EgoTac-SC）容易因视觉域差异（手套遮挡了真实人手肤色和细微形变）而在纯裸手基准上产生过拟合；引入 8 个裸手几何接触数据集虽然不提供牛顿级力值，却极大地拓宽了场景、视角和交互先验，反哺了力场时空动态的泛化能力。
活跃区域损失 $\mathcal{L}_A$ 是破除极度稀疏样本退化的定海神针：如果不使用加权的 Smooth-L1 惩罚施力顶点，模型会倾向于对大面积非接触顶点“躺平”，导致全局 MAE 虽小但施力峰值被严重抹平（活跃区误差从 0.056N 暴增至 0.097N）。
数据规模与数据多样性均呈现清晰的单调缩放定律（Scaling Law）：随着训练数据源从 1 个扩充到 6 个，OOD 接触 F1 从 0.120 稳步提升至 0.435；数据体量从 10% 扩展至 100% 时，OpenTouch 上的力上升沿和下降沿捕捉 F1（Rise/Fall F1）均由不到 0.40 提升至 0.42 以上。

亮点与洞察¶

将连续物理力与离散几何接触锚定在共享 MANO 拓扑拓扑上：通过顶点级映射将多源异构的手物交互数据集无缝拼接，不仅实现了当前最大规模的 5.7M 级多模态触觉预训练，还为大模型时代利用开源视频赋予物理世界先验提供了标准范式。
AdaLN 查询调制与一致性对齐的轻量级协同：不采用沉重复杂的 3D 图神经网络，而是采用可学习 queries 配合 AdaLN 机制，以极高的推理效率完成了从第一人称图像序列到三维非欧几里得网格顶点力场的跨模态投射。
频域分析诊断触觉真实动态：除了常规的时域误差与时序相关性，论文在附录中创新性地引入了基于快速傅里叶变换的 DFT 对数幅度皮尔逊系数与主频误差指标，深入验证了预测信号在交互节律与震荡衰减等动态特征上对真实物理过程的高度还原。

局限与展望¶

穿戴手套引入的视域鸿沟（Visual Domain Gap）：高质量的高密度力传感器依然需要安装在手套内侧，手套纹理掩盖了人手肌肉挤压形变、指甲受力变白等细粒度的本体视觉线索。尽管作者尝试使用 Grounded SAM-2 进行肤色重绘但由于伪影严重并未见效，未来结合物理光流或几何保持的手套-裸手图像翻译将是关键方向。
极端遮挡与剧烈动态模糊下的退化：第一人称视角不可避免地存在大角度自遮挡、双手交叉互遮或相机快速晃动，在这些极端工况下模型可能产生误报或漏报。
下游机器人策略闭环迁移尚待落地：目前模型主要作为离线伪标签生成器对开源第一人称视频进行触觉蒸馏，如何在灵巧手真机实时控制回路中作为虚拟触觉传感器进行端到端闭环微调仍有待探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次打通第一人称双手视频到全手连续物理力场的端到端稠密预测，统一多源异构数据集。
实验充分度: ⭐⭐⭐⭐⭐ 兼顾域内物理测力、跨域接触基准、跨传感器动态传递、野外视频零样本定性、消融与频域分析，证据详实。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅，数学表述严谨清晰，系统架构与消融逻辑高度闭环。
价值: ⭐⭐⭐⭐⭐ 为具身智能灵巧操作策略提供了从海量低成本人类视频中提取“隐式触觉先验”的通用基础设施。