Tactile MNIST: Benchmarking Active Tactile Perception¶

会议: NeurIPS 2026
arXiv: 2506.06361
代码: https://github.com/TimSchneider42/tactile-mnist
领域: 机器人
关键词: 主动触觉感知, GelSight, 基准评测, 触觉强化学习, 3D MNIST

一句话总结¶

提出了首个针对主动触觉感知的开源基准测试套件（TMBS 与 ap_gym），构建了包含 13,580 个 3D 打印手写数字网格与 153,600 次真实 GelSight Mini 接触交互的大规模数据集，并确立了兼顾样本效率与探索效率的标准评估协议。

研究背景与动机¶

触觉感知在机器人灵巧操作与人机交互中具有不可替代的价值，其能够提供高分辨率的局部几何形变、纹理和接触力反馈，有效弥补视觉在强遮挡、反光或极端光照条件下的局限。然而，触觉传感在物理上天然具备高度局域性，单次接触仅能捕捉局部极小范围内的表面特征，无法直接获得全局空间认知。受人类闭眼摸索物体的启发，主动感知成为解决局部局限的关键途径——即驱使传感器主动游走至最具信息量的区域，并在时序上累积证据以建立整体场景认知。

然而，主动触觉感知长期面临缺乏标准化基准、统一任务抽象与可复现评估协议的困境。相比计算机视觉领域凭借 MNIST、ImageNet 和 KITTI 推动了分类、检测与主动视觉（如 NBV_Bench、AVD）的爆发式发展，现有触觉基准普遍局限于被动感知测试（如材质静态分类、滑移检测），或依赖昂贵且难以标准化的定制化硬件平台。极少数涉及主动触觉的工作缺乏统一的代码接口，使强化学习算法和主动探索策略难以在相同约束下公平横向对比。

为了从根本上打破这一壁垒，建立一套轻量化、高保真且兼具 Sim-to-Real 闭环能力的标准化主动触觉测试基准势在必行。本文的核心 idea 是将主动触觉感知形式化为状态预测与物理环境解耦的 POMDP 过程，推出首个兼容 Gymnasium 的主动触觉基准套件 TMBS 及通用主动感知框架 ap_gym，并配套提供 1.35 万个 3D MNIST 网格、15.36 万条真实接触轨迹及 CycleGAN 触觉仿真引擎，建立兼顾单幕探索效率与训练样本效率的基准评估体系。

方法详解¶

整体框架¶

TMBS 将主动触觉感知抽象为智能体与部分可观测马尔可夫决策过程（POMDP）的序贯交互。在每个回合中，智能体控制一个安装有视触觉传感器（GelSight Mini）的机器人末端执行器，在无任何全局视觉输入的盲摸场景下，通过有限步数的触觉接触推断物体的目标属性（如数字类别、6D 位姿、物体体积或目标数量）。在每次交互中，智能体接收当前触觉图像与本体感知位置，输出下一步的空间移动动作及当前状态下的目标属性预测。

整体架构分为任务定义与基准环境层（ap_gym 与 TMBS）、仿真与渲染管线（深度图、Taxim 与 CycleGAN）、以及底层数据集与资产支撑（MNIST 3D 与真实机器人采集数据集）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境初始化与未观测目标<br/>3D几何网格 / 空间位姿 / 场景杂物"] --> B["POMDP 交互与解耦动作执行<br/>物理移动与属性预测并行输出"]
    B --> C["视触觉三模态渲染管线<br/>Depth / Taxim / CycleGAN 图像生成"]
    C --> D["时序证据累积与主动策略更新<br/>Transformer 编码器 + Actor-Critic"]
    D --> E["双重效率解耦评估输出<br/>探索效率与样本效率综合量化"]

关键设计¶

1. 状态-动作解耦的 POMDP 任务形式化：杜绝预测对物理环境的寄生反馈

传统强化学习环境通常直接将分类预测或状态推断混合在环境转移函数中，这容易混淆感知推断与物理交互的因果联系。TMBS 将主动感知严格形式化为特化的 POMDP 元组 \((S, A, T, R, \Omega, O, \gamma)\)。隐藏状态严格正交分解为基础环境物理状态与预测目标 \(S = S_{\text{base}} \times Y^*\)（其中 \(Y^*\) 为类别标签、2D/6D 位姿或物体体积）。动作空间同样显式解耦为物理移动动作空间与预测输出空间 \(A = A_{\text{base}} \times Y\)。环境的状态转移函数被严格限定为仅受物理动作支配：

\[T(s, a, s') = T\big((s_{\text{base}}, y^*), (a_{\text{base}}, y), s'\big) = T_{\text{base}}(s_{\text{base}}, a_{\text{base}}, s')\]

智能体每一步做出的预测 \(y\) 绝不会反向篡改环境内部的真实属性。奖励函数则设计为物理动作正则化项与可微预测损失函数的差分：\(R(s, a) = -10^{-3}\|a_{\text{base}}\| - \ell(y^*, y)\)。这种设计确保了智能体在每一步都受到密集反馈驱动，迫使其主动优化触觉轨迹，以在最短步数内最大化信息增益并压低预测损失。

2. 分层任务设计与视触觉多模态仿真渲染：平滑跨越从简单感知到真实接触的鸿沟

为兼顾算法前期的快速原型验证与面向真实机器人部署的高维视触觉感知需求，系统构建了两层递进的环境矩阵。第一层为轻量级框架 ap_gym，包含 11 个无需物理仿真的标准化环境，覆盖受限视场扫视分类（CircleSquare、MNIST、CIFAR10、TinyImageNet）、视网膜补丁定位（CIFAR10Loc、TinyImageNetLoc）以及多模态 2D 定位（LightDark、LIDARLocRooms、LIDARLocMaze）。第二层为高维触觉套件 TMBS，构建了四大具有代表性的主动触觉任务：TactileMNIST（16 步分类 3D 打印手写数字）、TactileMNISTVolume（32 步回归复杂立体网格体积）、Toolbox（64 步估计扳手等工具的 2D 坐标与偏航角 \((\sin\theta, \cos\theta)\)）和 Starstruck（32 步在杂乱几何干扰物中对五角星进行主动计数）。

针对视触觉传感器的高保真仿真瓶颈，TMBS 内置了三种渐进逼真度的渲染模式：基础深度裁剪模式（截断至弹性体胶体厚度 4.25mm）、Taxim 数据驱动形变模式（模拟硅胶接触变形与表面光照分布）以及 CycleGAN 神经风格迁移模式。CycleGAN 采用非成对真实 GelSight Mini 触觉图像与仿真深度图联合训练。为解决接触图与背景高维映射不稳定的问题，输入将单通道深度图与二维像素网格编码合成为三通道高程图 \([x, y, z]\)，精确重现了视触觉侧向红绿蓝 LED 三色照明引起的光强与接触几何映射，为仿真策略零样本迁移至真实物理世界提供了坚实基础。

3. 大规模 3D 网格生成与真实物理交互数据集：奠定触觉基准的数据基础

触觉感知长期受限于三维数字模型稀缺及真实物理交互数据收集成本高昂的问题。本文提出了 MNIST 3D 自动化三维几何建模管线：首先对 500x500 高分辨率手写数字图像执行渐进式二值腐蚀操作，获取一系列等高轮廓切片；随后将切片堆叠构建三维对称体素张量，经 Marching Cubes 算法重构表面网格并施加拉普拉斯平滑，最终按 5 像素对应 1 毫米的标准缩放至 10x10 cm 的物理尺寸。该数据集共生成 13,580 个高精度 3D 打印就绪网格，涵盖 11,480 个训练样本和 1,000 个测试样本。

进一步地，研究团队在真实物理世界中 3D 打印了 600 个手写数字模型，利用 Franka Emika Research 3 七自由度机械臂搭载 GelSight Mini 传感器，以 5N 法向接触力阈值在 12x12 cm 网格内采集了 153,600 次真实触觉接触视频与点触数据（每个物体序列交互 256 次）。数据采集过程中每 76,800 次接触主动更换全新弹性体凝胶垫以消除磨损伪影，并同时提供包含完整接触动态过程的时序视频数据（seq）与峰值接触静态图像（single）。此外，在真实与仿真交互中均引入随机接触位移扰动，迫使策略学习对抗工件滑动的不变性表征。

4. 探索效率与样本效率双重解耦评估协议：科学解构主动感知学习机理

以往主动感知研究常笼统报告单次实验的最终成功率，混淆了智能体在单个测试回合内的策略搜索能力与训练全过程的样本利用效率。本文提出了清晰解耦的双维评估协议： - 探索效率（Exploration Efficiency）：衡量固定策略在单回合测试内部收集信息的速度与完备程度。通过追踪回合内每一步的平均预测准确率（Average Accuracy）与终止步的最终预测准确率（Final Accuracy）进行刻画。平均准确率表征智能体获取关键信息的早期敏锐度，最终准确率反映证据累积的充分性。 - 样本效率（Sample Efficiency）：衡量强化学习算法优化出该策略所消耗的环境真实交互总步数（如 500 万至 1000 万步交互的收敛速度）。

评估系统在每个时间步自动追踪分类准确率、正确标签后验概率、首次命中正确步数、末次错误步数、位姿均方误差与空间欧氏距离，构建了多层次量化诊断链条。

一个完整示例¶

以 TactileMNIST 场景中的三维数字辨识任务为例： 1. 初始化：系统从测试集随机加载一个 3D 数字 "8" 网格，放置于平台上并叠加随机初始位姿。GelSight Mini 传感器在工作空间内均匀随机采样初始位姿 \((x_0, y_0, z_0)\)，此时传感器悬空未发生接触，触觉输入为零变形背景图像。 2. 盲区搜索与初次接触：策略网络基于历史本体感知输出相对移动指令 \(\Delta a_0\)，控制传感器下压并在平面上横向搜索。在第 3 步，弹性体触碰到数字 "8" 的左侧弧线边缘，获得第一帧 \(64\times 64\times 3\) 视触觉特征，法向力上升。此时分类分支输出的 10 类 logits 呈现出对数字 "0"、"3"、"8" 的混淆分布，平均准确率较低。 3. 主动轮廓跟踪与证据消除：智能体并未盲目原地下压，而是根据局部梯度沿接触边缘持续游走，探查到中部交叉闭环区域。在第 8 步，后验概率排除了不具备双闭环特征的 "3" 和 "0"，数字 "8" 的预测概率迅速攀升至 0.85 以上。 4. 终止判决：在达到最大交互预算第 16 步时，智能体累积了 6 处关键接触印迹，以 0.98 的置信度输出类别 8，完成了从空间不确定性到确定性判决的完整主动探索闭环。

损失函数 / 训练策略¶

智能体的总回报函数在每个离散交互步 \(t\) 计算：

\[R_t = R_{\text{base}}(s_{\text{base}, t}, a_{\text{base}, t}) - \ell(y^*, y_t)\]

对于分类任务（TactileMNIST、Starstruck、CircleSquare），预测损失函数采用标准交叉熵损失：

\[\ell_{\text{CE}}(y^*, y_t) = -\sum_{k=0}^{K-1} y^*_k \log \big(\text{softmax}(y_t)_k\big)\]

对于连续回归任务（Toolbox 姿态估计、TactileMNISTVolume 体积推断），损失函数采用均方误差：

\[\ell_{\text{MSE}}(y^*, y_t) = \|y^* - y_t\|_2^2\]

在算法训练层面，基准采用 JAX 与 Flax 构建全程 JIT 编译的高性能训练循环，并结合 HEBO 贝叶斯优化器对 Transformer 架构的超参数（学习率调度、Update-to-Data 数据更新比 schedule）进行深入搜索。为解决视触觉图像输入引起的显存瓶颈，视觉回放缓冲区常驻于 GPU 显存，统一维持在 300 万条转移样本以保证数据吞吐量。

实验关键数据¶

主实验¶

论文在统一超参数和 5 个随机种子的严格设置下，系统评测了基于 Transformer 架构的离策略强化学习算法 TAP-CrossQ 与 TAP-SAC、同策略算法 TAP-PPO、启发式注意力基线 HAM 以及随机探索基准 TAP-RND 在各测试环境下的表现。

评测环境	任务目标	观察空间维度	动作预算	TAP-CrossQ (最终)	TAP-SAC (最终)	TAP-RND (随机)
CircleSquare	2D 几何分类 (2 类)	\(5\times 5\times 1\)	16	0.99 ± 0.01	0.96 ± 0.03	0.52 ± 0.04
TactileMNIST	3D 数字分类 (10 类)	\(64\times 64\times 3\)	16	0.88 ± 0.04	0.84 ± 0.05	0.12 ± 0.03
Starstruck	杂乱目标计数 (3 类)	\(64\times 64\times 3\)	32	0.71 ± 0.06	0.65 ± 0.07	0.34 ± 0.05
Toolbox (位移误差)	扳手 2D 位置回归 (m)	\(64\times 64\times 3\)	64	0.024 ± 0.005	0.082 ± 0.015	0.145 ± 0.020
Toolbox (角度误差)	扳手旋转角回归 (rad)	\(64\times 64\times 3\)	64	0.18 ± 0.04	0.58 ± 0.12	1.54 ± 0.21
TactileMNISTVolume	归一化体积回归 (相对误差)	\(64\times 64\times 3\)	32	0.16 ± 0.03	0.17 ± 0.04	0.22 ± 0.04

超参数与数据集消融/对比实验¶

表 2 展示了通过 HEBO 贝叶斯优化器在无视觉编码器（CircleSquare）与带视觉编码器（TactileMNIST）配置下搜索出的最优超参数方案；表 3 展示了 MNIST 3D 与真实触觉数据集的规模与划分结构。

超参数配置项	TAP-SAC (无视觉)	TAP-SAC (带视觉)	TAP-CrossQ (无视觉)	TAP-CrossQ (带视觉)
优化器类型	ADAMW	ADAMW	ADAMW	ADAMW
Actor 学习率	\(5\times 10^{-5}\)	\(5\times 10^{-4}\)	\(1\times 10^{-5}\)	\(3\times 10^{-4}\)
Critic 学习率	\(5\times 10^{-4}\)	\(5\times 10^{-5}\)	\(1\times 10^{-4}\)	\(6\times 10^{-5}\)
学习率衰减策略	无 (Constant)	余弦衰减 (Cosine)	无 (Constant)	无 (Constant)
学习率预热比例	N/A	0.15	N/A	N/A
初始 UTD 比例	0.75	0.25	5.0	0.25
最终 UTD 比例	4.0	1.5	0.5	3.5
UTD 预热相对步数	0.90	0.40	0.30	0.45

数据集划分 (Split)	每类物体数	总物体数	数据占比	用途说明
train	1,148	11,480	84.5%	仿真训练主集 (TactileMNIST 训练)
test	100	1,000	7.4%	未见物体泛化测试集 (TactileMNIST-test)
holdout	50	500	3.7%	留出保留集
printed_train	50	500	3.7%	物理 3D 打印训练集 (实机触觉 128,000 点)
printed_test	10	100	0.7%	物理 3D 打印测试集 (实机触觉 25,600 点)
总计	1,358	13,580	100.0%	153,600 条真实接触交互记录

关键发现¶

离策略与批量归一化的鲁棒优势：结合了 Batch Normalization 与高频 UTD 调度的 TAP-CrossQ 在所有触觉任务中均表现出显著优于 TAP-SAC 的样本效率与泛化稳定性。在 Toolbox 工具位姿回归中，仅 TAP-CrossQ 自发涌现出了“先画圆全局扫描、再沿末端定位解歧”的高效主动探索行为，而 TAP-SAC 陷入局部振荡，性能几乎退化至随机基线。
同策略算法的高维崩溃：同策略强化学习算法（TAP-PPO 与 HAM）在引入视触觉高维卷积/视觉编码器后发生严重发散，无法复用离线接触经验，在样本效率与探索效率上均无法收敛，证明高维主动触觉感知高度依赖重放缓冲区机制。
任务难度阶梯与感知开放性：即便表现最好的 TAP-CrossQ，在 1000 万步交互后仍未完全解决体积估计（TactileMNISTVolume）和复杂杂物计数（Starstruck），表明主动触觉感知在局部信息整合与三维空间不确定性消解上仍存在巨大的研究空间。

亮点与洞察¶

将纯触觉盲摸提升为首个标准基准：打破了过去触觉工作严重依赖被动模式或非标自制机械夹爪的局限，提供完全兼容 Gymnasium 的轻量化交互接口，使 RL 社区无需昂贵硬件即可开箱即用。
端到端闭环的 Sim-to-Real 体系：通过高精度 3D 打印物理模型配对 15.36 万条真实接触轨迹，并利用三通道坐标高程图训练双向 CycleGAN，巧妙消除了光学视触觉仿真中的光照伪影与接触形变鸿沟。
解耦探索与学习效率的双重评价体系：将回合内的信息增益速度（单幕探索效率）与回合间的策略训练成本（算法样本效率）明确剥离，为主动感知算法的归因分析提供了清晰的科学标尺。

局限与展望¶

缺少动态物理刚体碰撞引擎：当前仿真环境为了极致的训练吞吐量，未接入如 MuJoCo 或 Isaac Gym 等物理接触动力学引擎，物体的滑动位移采用启发式扰动替代，无法直接评测抓取、滚动物体或接触面翻转等接触密集型操作。
无在线闭环实机评测接口：真实数据集当前以静态录制数据集形式提供，尚缺乏机器人端在线闭环主动探索的自动化评测软硬件部署框架。
触觉视野单一性：仅支持单点 GelSight Mini 传感器探摸，未拓展至双臂多指灵巧手协同触觉探索场景。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 建立了首个面向主动视触觉感知的 Gymnasium 规范基准套件与高保真 3D 触觉资产。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 15 环境、超 15 万次实机接触数据，并在 5 个随机种子与 1000 万步下全面横向对比多种经典 RL 基线。
写作质量: ⭐⭐⭐⭐⭐ 概念形式化严谨，任务层级与数据集构建逻辑极其清晰，实验图表详实。
价值: ⭐⭐⭐⭐⭐ 为灵巧操作、盲视感知与具身触觉基础模型的训练与评测树立了关键基础设施。