Touch-R1: Reinforcing Touch Reasoning in MLLMs¶

会议: NeurIPS 2026
arXiv: 2605.27154
OpenReview: https://openreview.net/forum?id=qmrtrsIjCK
领域: VLM 推理
关键词: 触觉推理, 具身智能, GRPO, 视觉触觉冲突, 跨传感器一致性

一句话总结¶

Touch-R1 针对异构光学触觉感知中的序数物理属性与视觉欺骗难题，构建了百万级触觉推理数据集 TouchReason-1M，并提出结合序数感知精度奖励、跨传感器物理一致性奖励、结构化格式规范与反事实触觉接地目标的 GRPO 强化学习框架，促使多模态大语言模型在物理接触中涌现出检验、对比与自我修正推理能力。

研究背景与动机¶

人类感知物理世界时，绝不仅依赖单一视觉外观。当看到一个表面光滑似塑料的物体时，一次直接的指尖接触与挤压所产生的形变阻抗反馈，会迅速纠正最初的视觉误判。这种「感知-检验-修正」（perception-verification-revision）的主动交互闭环是具身智能与物理世界交互的基石。然而，当前诸如 GPT-4o 与 Gemini-2.5-Pro 等前沿通用多模态大模型在遭遇视触冲突（visual-tactile conflict）时，普遍倾向于屈从视觉外观先验，即使输入了明确的形变接触图像，也无法依据触觉证据推翻先验偏见。近期涌现的 Octopi、TVL、Touch100k、AnyTouch 及 SToLa 等触觉语言模型，主要依赖监督微调、对比对齐或专家混合架构，缺乏在推理过程中验证模型最终结论是否真正接地于物理接触证据的机制，极易学到依赖类别先验的表面关联。

将大语言模型的 R1 式强化学习推理范式拓展至触觉多模态面临三重本质障碍。首先，光学触觉传感器的微观标记位移、弹性体形变与剪切接触纹理，在现存基于自然图像的视觉预训练语料中几乎处于空白状态。其次，GelSight Mini、Xense、Tac3D 及 DM-Tac X 等主流光学触觉设备在分辨率、标记阵列排布、照明机制与光学几何上高度异构，像素级别的跨传感器对齐难以实现。第三，硬度、粗糙度与凸起程度等物理属性本质上是连续序数变量（ordinal attributes），标准的 0/1 二值奖励会将相邻级别的轻微偏差与相反极端的离谱错误同等严厉惩罚，诱导策略在稀疏信号下坍缩至高频中位区间。

为了填补这一跨模态推理空白，本文从硬件异构采集、数据基准与强化学习机制三个维度协同切入。构建涵盖 4 种光学传感器与 1000+ 物体的百万级触觉推理基准，并设计适配触觉特性的动态预训练与冷启动流程。核心 idea：提出面向多模态大模型的触觉推理框架 Touch-R1，通过在 GRPO 框架中融合序数感知准确率奖励、跨传感器物理一致性奖励与结构化输出格式约束，并引入输入侧反事实高斯扰动接地目标，促使多模态模型摆脱视觉欺骗与先验捷径，形成严格基于物理形变证据的试探、比对与修正闭环。

方法详解¶

整体框架¶

Touch-R1 基于 Qwen2.5-VL-7B-Instruct 基础模型构建，整体训练流程包含三个递进阶段：触觉动态预训练（Tactile Dynamics Pretraining）、结构化问答冷启动监督微调（QA Supervised Fine-Tuning）与触觉接地 GRPO 强化学习优化（Tactile-grounded GRPO）。

在第一阶段，采用 ViT 架构的触觉编码器在 100 万采样的触觉帧上通过预测未来触觉隐状态进行预训练，迫使编码器捕获接触加压过程中的弹性形变动力学而非静态背景。在第二阶段，基于 TouchReason-1M 筛选出的 24 万高质量推理 QA 对进行端到端监督微调，规范模型在 <perceive>（单传感器形变与属性感知）、<compare>（跨传感器表征比对与视触冲突裁决）及 <conclude>（最终序数属性与材质判定）标准模版下输出结构化推理链。在第三阶段，使用剩余的 12 万独立 QA 样本执行触觉接地 GRPO，通过组合输出端的三项密集规则奖励以及输入端对抗触觉盲捷径的反事实接地目标，联合优化策略参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>RGB-D 图像 + 4类光学触觉帧栈 + 力信号"] --> B["触觉动态预训练<br/>ViT编码器未来触觉隐状态预测"]
    B --> C["结构化问答冷启动 SFT<br/>规范 perceive-compare-conclude 模板"]
    C --> D["触觉接地 GRPO 采样展开<br/>群组大小 G=8 生成候选推理轨迹"]
    D --> E["序数感知准确率奖励<br/>基于序数距离阶梯式赋分"]
    D --> F["跨传感器物理一致性奖励<br/>属性空间归一化距离约束"]
    D --> G["结构化格式奖励<br/>严格解析标签闭合与时序完整性"]
    D --> H["隐式触觉接地目标<br/>反事实高斯噪声掩码 KL 散度约束"]
    E & F & G --> I["标量组合奖励 R 计算<br/>0.6*Racc + 0.3*Rcs + 0.1*Rfmt"]
    I & H --> J["Touch-R1 策略梯度更新<br/>J_Touch-R1 = J_GRPO + gamma*G_tg"]

关键设计¶

1. 序数感知准确率奖励：打破二值奖惩以遏制序数塌陷 硬度、粗糙度与凸起度等物理属性具有内在的序数等级结构。常规 RL 采用的二值判断（0/1 奖惩）忽视了属性空间的物理距离，若真实硬度为「高」，预测为「中」在物理上显然优于预测为「软」，但二值奖励均判为 0。这种稀疏信号极易导致模型退化为盲目猜测训练集众数区间的「序数塌陷」（ordinal collapse）。为此，Touch-R1 引入阶梯式序数感知准确率奖励 $R_{\mathrm{acc}}$。设 $y \in \{0, \ldots, K-1\}$ 为真实序数标签，$\hat{y}$ 为从 <conclude> 段解析的预测类别，定义序数绝对偏差 $d = |\hat{y} - y|$： $$R_{\mathrm{acc}}(\hat{y},y)=\begin{cases}1.0,&\hat{y}\ \text{可正确解析且 }d=0,\\0.4,&\hat{y}\ \text{可正确解析且 }d=1,\\0.0,&\hat{y}\ \text{可正确解析且 }d\geq 2,\\-0.1,&\hat{y}\ \text{解析失败/格式崩溃}.\end{cases}$$ 对于材料类别等离散无序标签，退化为严格精确匹配版本（正确给 1.0，错误给 0.0）。该设计为物理空间提供了平滑的梯度指引，在确保精确预测拥有绝对奖励优势的同时，为合理物理近似提供密集奖励支撑。

2. 跨传感器物理一致性奖励：在属性空间对齐异构触觉观测 不同光学触觉传感器（如 GelSight Mini、Xense、Tac3D、DM-Tac X）在成像原理、分辨率和标记阵列上存在巨大差异，底层像素难以强行拉近。常规纯答案驱动的奖励机制无法检测模型内部的逻辑分裂——模型可能在感知不同传感器时给出相互矛盾的属性描述，最终却碰巧猜对了答案。为此，Touch-R1 绕过像素对齐，在抽象物理属性空间构建跨传感器一致性约束。设从 <perceive> 段中解析出传感器 $a$ 与 $b$ 的单传感器属性判断为 $p_a$ 与 $p_b$，从 <compare> 段中解析出跨传感器裁决属性为 $p_c$。定义归一化序数间距函数 $w(u,v) = \min(|u-v|/(K-1), 1)$，一致性奖励 $R_{\mathrm{cs}}$ 定义为： $$R_{\mathrm{cs}}=\begin{cases}1-\frac{1}{2}\big(w(p_{a},p_{c})+w(p_{b},p_{c})\big),&p_{a},p_{b},p_{c}\ \text{均成功解析},\\0,&\text{其他解析失败情况}.\end{cases}$$ 当两传感器的感知结论均与综合比较结论完全吻合时，奖励达到最大值 1.0；任何远距离的传感器间冲突都会遭受强烈惩罚。该机制有效促使模型提取超越单硬件偏置的共性物理表征。

3. 结构化格式奖励：固化可解析的感知-对比-推理链条 在无约束的大规模 RL 探索过程中，模型的输出格式极易发生漂移，出现标签缺失、嵌套紊乱或前后颠倒，直接导致规则解析器无法提取单传感器属性与最终答案，致使准确率与一致性奖励全面失效。Touch-R1 引入严格二值的结构化格式奖励 $R_{\mathrm{fmt}}$： $$R_{\mathrm{fmt}}(o)=\mathbf{1}\!\left[o\ \text{严格按序且仅一次匹配}\ \langle\mathrm{perceive}\rangle\cdots\langle\mathrm{compare}\rangle\cdots\langle\mathrm{conclude}\rangle\right].$$ 格式奖励不设连续过度分值，彻底避免模型产生看似结构完备但缺乏实质语义的「格式刷分」作弊行为。最终输出端总标量奖励由三者加权构成： $$R=\lambda_{\mathrm{acc}}R_{\mathrm{acc}}+\lambda_{\mathrm{cs}}R_{\mathrm{cs}}+\lambda_{\mathrm{fmt}}R_{\mathrm{fmt}},\qquad(\lambda_{\mathrm{acc}},\lambda_{\mathrm{cs}},\lambda_{\mathrm{fmt}})=(0.6,0.3,0.1).$$

4. 隐式触觉接地目标：通过反事实扰动杜绝视觉与先验捷径 仅依靠输出文本的规则打分，仍无法彻底消除多模态模型的「触觉盲捷径」（tactile-blind shortcut）——模型完全可能仅凭输入中的物体类别文本或 RGB 图像外观推测出属性，甚至在触觉输入完全损坏时预测分布依然不变。为了实现无监督、免密集感知标注的真实接地，Touch-R1 设计了反事实输入扰动目标。令原始触觉观测为 $T$，随机挑选一个传感器的触觉流替换为形状一致的高斯白噪声得到掩码观测 $T_{\mathrm{mask}}$。给定提问 $q$ 与已生成前缀 $y_{<t}$，计算模型在完整触觉输入与受损输入下的输出策略分布 KL 散度： $$G_{\mathrm{tg}}(\theta)=\mathbb{E}_{t}\!\left[D_{\mathrm{KL}}\!\left(\pi_{\theta}(\cdot\mid q,T,y_{<t})\;\|\;\pi_{\theta}(\cdot\mid q,T_{\mathrm{mask}},y_{<t})\right)\right].$$ 最大化 $G_{\mathrm{tg}}$ 能够迫使模型的解码分布对触觉流的细微变动保持高度敏感。当触觉流被破坏时，模型必须表现出显著的分布偏移，从而在根本上斩断依赖纯视觉先验猜测的作弊路径。

损失函数 / 训练策略¶

Touch-R1 的强化学习优化采用 GRPO 算法并联合优化输入反事实约束。对于每道训练题目采样生成一组大小为 $G=8$ 的候选回复，通过计算群组内标量奖励 $R$ 的均值与标准差进行优势估计。总优化目标定义为： $$\mathcal{J}_{\mathrm{Touch\text{-}R1}}(\theta)=\mathcal{J}_{\mathrm{GRPO}}(\theta;R)+\gamma G_{\mathrm{tg}}(\theta),$$ 其中 $\gamma$ 为控制触觉接地正则强度的超参数，GRPO 的 KL 散度惩罚系数设为 $\beta=10^{-3}$。训练在 16 块 NVIDIA H200 GPU 上展开，优化器采用 AdamW，触觉编码器预训练学习率为 $1\times 10^{-4}$，冷启动 SFT 为 $1\times 10^{-5}$，GRPO 强化学习微调采用微弱的 $1\times 10^{-6}$。触觉序列统一降采样至 8 帧，空间分辨率调整为 $448 \times 448$。

实验关键数据¶

主实验¶

TouchReason-Bench 评测涵盖 200 个训练未见的独立物体、4 种光学触觉传感器及 9 大材质类别共 4,800 道问答测试题。实验对比了前沿闭源大模型、开源通用视觉模型以及专用触觉大模型。

模型	硬度 (H-Acc)	粗糙度 (R-Acc)	凸起度 (P-Acc)	材质 (Mat-Acc)	序数绝对误差 (OMAE)↓	组合精确匹配 (L2-EM)	序列排序 (SFD)	序数相似度 (SOI-ρ)	跨传感器一致性 (CSC)	综合均分 (Avg)
闭源前沿 MLLM
GPT-4o	48.2	41.5	39.7	58.4	0.71	11.3	53.0	0.18	39.6	35.4
Gemini-2.5-Pro	51.1	44.7	42.3	60.2	0.67	13.8	56.4	0.22	41.8	37.6
Claude-3.5-Sonnet	46.3	39.1	37.5	55.8	0.74	9.8	50.7	0.15	36.9	33.5
开源通用 VLM
LLaVA-OneVision-7B	37.6	32.4	30.1	45.8	0.86	5.7	45.9	0.08	30.2	26.9
Qwen2.5-VL-7B	39.4	33.7	31.8	47.2	0.83	6.2	47.1	0.09	31.4	28.0
InternVL2.5-8B	40.8	35.2	33.0	49.6	0.81	7.5	48.6	0.11	33.1	29.4
触觉专用模型
Octopi-7B	53.4	45.9	43.1	51.7	0.62	14.5	58.2	0.27	38.4	38.1
Octopi-13B	58.1	50.3	47.6	54.9	0.55	17.9	62.5	0.34	41.2	41.7
AnyTouch+Qwen	60.2	52.7	50.4	62.1	0.51	19.3	64.1	0.39	49.7	45.0
VTV-LLM-7B	61.5	54.1	51.8	63.0	0.49	20.2	65.4	0.41	50.6	46.3
SToLa	63.7	57.4	54.6	64.3	0.45	22.1	66.8	0.43	51.9	47.5
Touch-R1-7B (本文)	76.8	68.4	65.1	74.6	0.24	39.5	78.2	0.66	71.3	60.1

消融实验¶

消融实验展示了从基础模型逐步引入各组件时的累加增益，以及不同组件对各细分物理属性精度的影响：

配置 / 阶段	序数绝对误差 (OMAE)↓	跨传感器一致性 (CSC)	硬度精度 (H-Acc)	粗糙度 (R-Acc)	凸起度 (P-Acc)	材质精度 (Mat-Acc)	综合均分 (Avg)
Qwen2.5-VL-7B (零样本)	0.83	31.4	31.2	28.9	25.7	26.1	28.0
++ 冷启动 SFT	0.46	52.6	49.4	47.2	45.8	48.7	47.8
++ 常规 GRPO (0/1 二值奖励)	0.42	54.3	51.7	49.8	48.3	50.6	50.1
++ 序数感知奖励 ($R_{\mathrm{acc}}$)	0.31	56.1	56.3	54.1	52.7	55.4	54.6
++ 跨传感器一致性奖励 ($R_{\mathrm{cs}}$)	0.27	69.2	60.2	57.8	55.9	59.4	58.3
++ 格式规范奖励 ($R_{\mathrm{fmt}}$)	0.26	70.4	-	-	-	-	59.2
Touch-R1 (完整模型, 含 $G_{\mathrm{tg}}$)	0.24	71.3	62.4	59.7	57.6	60.7	60.1

关键发现¶

序数奖励大幅遏制序数误差：引入序数感知奖励后，OMAE 从 0.42 骤降至 0.31，平均分跃升 4.5 个百分点，有效解决了标准二值奖励诱导的「中间值坍缩」问题。
一致性奖励实现多传感器语义拉齐：加入 $R_{\mathrm{cs}}$ 后，跨传感器物理一致性（CSC）从 56.1 激增至 69.2（+13.1%），表明在属性空间的约束成功促使模型在异构硬件间建立了稳健的共性物理抽象。
反事实接地杜绝视觉先验捷径：在视触冲突样本（如橡胶材质外观伪装成坚硬光滑塑料）的定性分析中，缺乏反事实接地目标的模型 83% 以上屈服于视觉塑料先验，而 Touch-R1 能够在 <compare> 阶段根据触觉压陷形变深度明确推翻视觉假设，最终成功命中真实物理材质。

亮点与洞察¶

触觉专用 R1 强化学习范式的系统落地：首次将 DeepSeek-R1 式规则强化学习拓展至高度异构的光学触觉领域，证明了无需高成本人工过程标注，依靠物理属性的序数距离与多传感器交叉几何，即可通过规则奖励激发复杂的自我检查与纠偏推理。
反事实扰动实现免标注物理接地：设计了巧妙的输入端高斯噪声掩码对抗目标，通过最大化输入损坏前后解码策略分布的 KL 散度，以零标签成本迫使模型对触觉证据产生强依赖，彻底封堵了 VLM 依赖视觉捷径作弊的漏洞。
多触觉异构硬件的解耦对齐思路：放弃在传感器底层像素上进行强行拉齐，转而在 <perceive> 与 <compare> 的语义属性空间设计多传感器一致性正则，这一思路极具通用性，可直接迁移至异构机械臂与不同触觉阵列的具身多模态融合任务。

局限与展望¶

动态触觉时序跨度有限：目前输入固定截取加压滑动的 8 帧图像栈，对于涉及长时间跨度交互（如连续物体盲操、多阶段摩擦滑移探测）的时序动态建模仍显不足。
依赖预设的离散序数等级：硬度与粗糙度采用离散化序数等级（如 3 级），尚未扩展到杨氏模量或绝对摩擦系数等连续物理常数的精确回归。
高动态交互下的力触闭环控制延伸：当前模型专注于离线多模态问答与属性推理，未来若将该接地推理能力与动作策略（VLA）端到端联合训练，将为具身机器人的精确力控交互提供坚实的认知支撑。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性探索光学触觉领域的多模态 R1 强化学习推理，序数奖励与反事实接地设计高度切中触觉核心痛点。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种传感器、百万级规模数据集 TouchReason-1M 与多维基准，并在外部视频预测与 VTV150K 上进行了全面泛化验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密，数学表达简练精准，实验对比清晰透彻。
价值: ⭐⭐⭐⭐⭐ 为具身智能触觉感知、视触冲突消解及多模态大模型的真实世界物理接地提供了里程碑式的开源范式。