TouchAnything: Diffusion-Guided 3D Reconstruction from Sparse Robot Touches¶

会议: ECCV2026
论文: ECCV 原文
项目: TouchAnything
领域: 3D 视觉
关键词: 触觉感知、3D 重建、扩散先验、符号距离场、机器人接触

一句话总结¶

TouchAnything 把稀疏触摸提供的局部几何与冻结的二维扩散模型提供的类别形状先验结合，在无需任务专用扩散训练的情况下，通过由粗到细的优化重建三维物体，并在 20 次触摸的六类仿真评测中获得更低的 EMD。

研究背景与动机¶

机器人在遮挡严重或照明不佳时，很难靠相机获得可靠的物体轮廓，但接触能直接告诉它某个小区域在哪里、朝向如何。 GelSight 的相机拍摄的是受压弹性体的内部图像，而不是物体的外部照片，因此这种成像触觉并没有消除全局几何缺失的问题。一次触摸只能覆盖一小块表面；即使把这些片段准确放回同一个坐标系，片段之间仍可能对应许多不同形状。神经符号距离场可以表达连续表面，却不会自动知道应该在两个接触区之间补一个瓶身、相机机身还是其他结构。 TouchSDF 用特定数据集上的形状先验缓解这个问题，Touch2Shape 则训练触觉条件的三维扩散模型，但都依赖专门的形状或触觉训练资源。

本文换了一个先验来源：大规模文本到图像模型已经见过丰富的物体外观，能否把其中的形状知识用于触觉重建？这里的困难不是生成一件看起来像相机的资产，而是让生成倾向服从真实接触到的这一台相机。类别文本只说明“a camera”或“a bottle”，并不提供实例尺寸、镜头形状或把手位置。因此，测量应当约束已触碰的表面，而先验只负责帮助解释尚未触碰的部分；两者发生冲突时，局部测量并不能保证所有未观测结构都正确。论文采用已知接触位姿的设置，避免同时估计机器人定位与物体几何，把问题集中在稀疏观测下的形状补全。

实现这一转移的关键，是先把触觉读数变成深度和法线，再通过可微渲染把当前三维形状送入视觉扩散模型。这样不需要让 Stable Diffusion 直接理解原始触觉图像，也不需要为每个类别重新训练一个扩散网络。但“无需任务专用扩散训练”不等于零训练或即时推理：触觉几何前端有学习过程，每个待重建物体也要进行较长的几何优化。核心 idea：用触觉深度、法线和接触空间约束锚定真实表面，再用冻结的二维扩散先验引导未观测几何，通过神经 SDF 到显式四面体网格的两阶段优化完成重建。

方法详解¶

整体框架¶

输入是一组 GelSight 触觉图像、由机器人运动学提供的接触位姿，以及弱类别文本；输出是该物体的完整三维表面。方法依次进行触觉几何桥接、触觉约束粗重建和高分辨率细化，扩散先验参与后两步而不更新自身权重。中间表示先是带接触掩码的局部深度与法线观测，再是多分辨率哈希网格加 MLP 表达的 SDF，最后换成 DMTet 的显式四面体表示。已接触区域通过几何残差约束，未接触区域主要通过随机视角法线渲染接受语义与形状引导。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["触觉图像与已知位姿"] --> Bridge["触觉几何桥接"]
        Bridge --> Coarse["触觉约束粗重建"]
        Coarse --> Fine["高分辨率细化"]
        Bridge -->|深度与法线监督| Fine
        Prior["类别文本与冻结的<br/>二维扩散先验"] -->|预热后 SDS 引导| Coarse
        Prior -->|SDS 引导| Fine
        Fine --> Output["完整三维表面"]

关键设计¶

1. 触觉几何桥接：把局部接触变成可渲染的观测

真实 GelSight 的弹性体形变改变内部照明图案，作者使用已有学习方法，从像素 RGB 与位置预测表面梯度。这个真实数据前端是三层 MLP，预测出的梯度再交给快速 Poisson 求解器积分为深度，接触掩码通过深度阈值获得。仿真前端不同：多头 U-Net 同时预测深度和接触掩码，训练数据为 78 个 YCB 物体产生的 20k 张模拟 GelSight 图像。因此，真实与仿真输入并不是共享一套未经训练的传感器反演程序，但后续重建使用相同类型的几何接口。这些前端负责从传感器信号恢复接触几何，不承担从局部触觉直接预测完整类别形状的任务。

对每次接触，系统在接触斑块后方 2.0 cm 放置一台虚拟相机，将触觉估计结果组织为深度图、法线图和掩码。虚拟相机不是额外拍摄物体的外部 RGB 相机，而是把触觉测量改写成已有视觉重建算法能处理的射线观测。只有接触掩码内的像素参与构造受监督射线，未触碰区域不能被当成已观测表面。已知传感器位姿把不同接触片段放到同一个坐标系，这是后续局部约束能够共同作用于一个全局表面的前提。这种转换复用了可微渲染工具，也把触觉标定、深度估计和机器人运动学的误差带入了重建约束。

2. 触觉约束粗重建：先固定接触几何，再补足未观测形状

粗阶段采用 Neuralangelo 风格的多分辨率三维哈希特征与 MLP，把空间位置映射为截断符号距离。物体表面由 SDF 的零水平集定义，下面只保留这一在原文中明确的表示关系：

\[ \mathcal{S}=\{\mathbf{x}\in\mathbb{R}^{3}:f_{\theta}(\mathbf{x})=0\}. \]

沿每条接触射线，体渲染得到当前表面预测的深度和法线，再与触觉观测比较。深度约束要求表面落在正确位置，法线约束要求它具有正确的局部朝向，两者提供不同的几何信息。作者还在观测深度附近采样，直接监督 SDF 的局部距离值，并对虚拟相机到表面之前的空间施加自由空间约束。近表面监督带与自由空间采样区间分别如下，其中 \(d(r)\) 是射线观测深度，\(\delta\) 是截断距离：

\[ \mathcal{S}^{\mathrm{sdf}}_{r}=[d(r)-\delta,d(r)+\delta],\qquad \mathcal{S}^{\mathrm{fs}}_{r}=[0,d(r)-\delta]. \]

自由空间项用于抑制本应由传感器占据的接触前方区域出现虚假物体，原文将其描述为惩罚该区域预测 SDF 小于 \(\delta\)。这不是对整个场景的空闲空间观测，也不能据此认定所有未触碰位置都不存在物体。四项触觉监督共同使用，并通过每次迭代抽取一批接触射线估计；Eikonal 正则进一步约束距离场的性质。仅靠这些项仍会留下大片不确定区域，所以作者随后引入冻结的 Stable Diffusion，而不是让稀疏触觉独立完成全局补全。

扩散引导使用围绕物体的球面随机视角，从当前 SDF 渲染法线图，而非向模型提供物体的实拍 RGB 图。法线图编码进 Stable Diffusion 的 VAE 潜空间，加噪后交给带类别文本条件的噪声预测网络。分数蒸馏采样（SDS）利用预测噪声与实际加入噪声的差异，经过编码器和可微渲染路径向几何参数传递更新方向。法线渲染让引导主要面对表面方向和几何细节，降低把纹理外观优化混入形状重建的需求。类别文本限制了合理形状的范围，接触深度与法线则把类别倾向约束到当前实例上。扩散模型提供的是先验而非额外实测数据，未观测部分仍可能被补成符合文本、却不符合真实实例的结构。

3. 高分辨率细化：更换表示以降低渲染成本

粗阶段必须沿射线反复查询神经场，直接提高渲染分辨率会显著增加计算量，因而 SDS 使用 \(64\times64\) 法线图。第二阶段将几何换成 DMTet：在四面体网格顶点保存 SDF 数值，并学习每个顶点的空间偏移。初始化时查询第一阶段优化后的 SDF，把已经满足接触约束的粗形状传给显式网格，而不是重新随机生成一个物体。随后用可微 marching tetrahedra 提取表面，并通过可微光栅化生成观测，避免逐射线查询 MLP。这使法线渲染可以提高到 \(512\times512\)，让扩散引导看到粗阶段难以分辨的几何细节。

细阶段继续使用触觉深度、触觉法线和 SDS 监督，但这些量改由网格光栅化计算。原文没有把第一阶段全部损失照搬到第二阶段，因此不能把近表面 SDF 与自由空间项也当作明确保留的细化目标。额外的法线一致性项惩罚相邻网格顶点法线之间的角度偏差，使局部表面更平滑。这一步的价值不是扩大触觉覆盖范围，而是在同一批接触约束和语义先验下，以更经济的表示优化更细的结构。作者也指出，仿真物体本身细节有限时，两个阶段的结果接近，细化收益不能被假定为所有物体都同样明显。

一个完整示例¶

以原文的相机实验为例，机器人获得 20 次接触并使用文本“a camera”，并不知道完整镜头和机身的精确实例形状。每次接触先转换为局部深度、法线和位姿对齐的虚拟相机射线，让优化器知道哪些表面确实存在。预热阶段只用触觉监督建立初始几何；加入 SDS 后，未触及的区域才获得相机类别的整体形状倾向。接着将粗 SDF 转为 DMTet，用更高分辨率法线图继续优化，最终得到可提取的三维表面。这是对方法流程的解释，不是额外报告一组逐步误差值；原文没有给出这条实例轨迹的完整数值日志。如果把文本换成“an airplane”，图 7 显示未观测区域会出现错误语义诱导的结构，说明触觉只在覆盖到的地方有直接纠错能力。

损失函数 / 训练策略¶

粗阶段在步骤 0–1000 仅使用触觉监督预热，步骤 1000–7000 联合使用触觉与 SDS 引导。这一区分是粗阶段内部的时间安排，不应与之后切换到 DMTet 的第二几何阶段混淆。粗阶段的扩散引导渲染批量为 8、分辨率为 \(64\times64\)；细阶段对应批量为 4、分辨率为 \(512\times512\)。 Stable Diffusion 保持冻结，优化对象先是神经场参数，随后是 DMTet 顶点 SDF 与偏移，并非对扩散模型进行触觉微调。论文报告在单张 NVIDIA A100 上，每个物体粗阶段约 1 小时、细阶段约 40 分钟，因此当前流程是离线重建而非在线触觉控制。缓存中的式 (1)–(5) 存在明显的运算符和下标抽取损坏，故本笔记不猜补其精确损失表达式、符号约定或权重。上面的零水平集和采样区间来自完整可读的正文定义；其余目标按正文机制解释，精确实现仍需核对原始排版或代码。

实验关键数据¶

主实验¶

仿真使用 ShapeNetCore.V2 的 280 个物体，覆盖瓶子、碗、相机、吉他、罐子和马克杯六类，采用 TouchSDF 作者提供的同一物体子集。每个物体输入 20 次触摸；Taxim 生成 \(320\times240\) 的 GelSight 图像，传感区域为 \(2.0\ \mathrm{cm}\times1.5\ \mathrm{cm}\)。接触位置均匀采样，接触方向与局部表面法线对齐，类别提示分别使用简短类别名。下表来自原文表 1（第 11 页），指标 Earth Mover's Distance（EMD）越低越好，用于衡量重建与真值表面采样的几何差异。正文未完整说明 EMD 的采样、归一化和单位，不应把这些值解释为米或毫米的绝对误差。

类别	TouchSDF：EMD	Touch2Shape：EMD	TouchAnything：EMD
Bottle	0.047 ± 0.024	0.041	0.035 ± 0.020
Bowl	0.048 ± 0.017	0.049	0.039 ± 0.010
Camera	0.092 ± 0.043	0.056	0.047 ± 0.025
Guitar	0.155 ± 0.087	0.064	0.060 ± 0.025
Jar	0.071 ± 0.038	0.055	0.053 ± 0.023
Mug	0.066 ± 0.018	0.049	0.044 ± 0.008

表中保留原文的“±”形式，但可读正文未定义其统计含义；Touch2Shape 行项没有同类离散度报告，不能据此进行显著性判断。真实机器人实验使用 UR5e 与 GelSight Mini，共 14 个物体：6 个 YCB 物体、3 个 ShapeNet 来源的 3D 打印物体和 5 个日常物体。这些物体固定在桌面上，主实验每个物体使用均匀覆盖表面的 20 次接触；图 4 展示定性重建，而不是统一的真实场景 EMD 主表。

消融实验¶

下表是原文第 13–15 页图 6–7 及对应正文的分析汇总，不是第二张原始数值表；当前全文缓存不包含补充材料中的真实物体 EMD 数值。图 7 比较 20、40 和全部可用触摸；全部触摸分别为电钻 111、瓶子 99、相机 121、罐头 53。

变更或条件	对象与接触条件	原文报告的现象	来源
去掉扩散先验	电钻、瓶子、相机、罐头，仅触觉观测	重建明显退化，局部片段不足以确定完整形状	图 6，第 13 页
使用类别文本	四个真实物体，20 次触摸	可以合理补全未接触区域	图 7，第 14 页及正文
换成详细实例描述	四个真实物体，20、40、全部触摸	不一定优于类别文本，精确几何难以用语言指定	图 7，第 14–15 页
使用空文本	四个真实物体，20、40、全部触摸	扩散先验仍可连接对齐片段或补全局部圆柱结构	图 7，第 14–15 页
错误文本“an airplane”	四个真实物体，20、40、全部触摸	未观测部分出现符合错误语义的结构	图 7，第 14–15 页

关键发现¶

六类主实验的 EMD 均低于两种基线，但提升幅度不同：相机为 0.047 对 0.056，罐子为 0.053 对 0.055，不能概括成固定比例的收益。类别名加 20 次触摸已能获得较合理的形状，但不意味着 20 次触摸足以唯一辨识任意物体。空文本不等于去掉先验：前者仍运行扩散模型，后者完全移除了全局生成式引导，两个消融回答的是不同问题。触摸数量实验有可视化和补充材料引用，但当前缓存不足以支持逐对象的数值趋势或“越多必然越好”的结论。

亮点与洞察¶

跨模态迁移发生在几何接口上：先把触觉变成深度与法线，再让渲染连接到视觉扩散模型，避免重新学习原始触觉到完整形状的专用映射。
先验与观测分工明确：已触碰区域依靠物理测量，未触碰区域依靠生成倾向，这也直接暴露了语义幻觉最可能发生的位置。
表示切换服务于监督分辨率：DMTet 的作用不只是输出网格，而是让高分辨率扩散引导的计算成本可承受。
读者启发是把类似设计迁移到其他稀疏几何传感器，但前提是能可靠生成带位姿的深度或法线约束，不能只替换传感器名称。

局限与展望¶

作者明确提出未来减少文本依赖，并从被动采样转向主动选择信息量大的触摸位置；当前方法不是已实现的主动探索策略。
接触位置已知、物体固定以及尽量均匀覆盖表面的设置降低了实验难度，尚不能直接推广到运动物体、手内操作或显著位姿漂移。
非均匀触摸与真实物体定量结果被指向补充材料，本次可用缓存只有主文，无法核查这些实验的完整数值和细节。
每个物体约 1 小时加 40 分钟的优化成本明显限制在线应用，“无需扩散训练”不能被当成低推理成本的证据。
错误类别会诱导未观测结构，且主文没有提供重建置信度或风险校准机制；读者建议把高不确定区域用于下一次主动触摸决策。
“此前未见实例”不等于确认未出现在 Stable Diffusion 预训练分布中，六类仿真与 14 个真实物体也不足以证明任意类别的可靠泛化。

评分¶

新颖性: 4/5。将通用二维扩散先验迁移到稀疏触觉条件的实例重建，创新主要在问题组合与约束设计。
实验充分度: 3/5。仿真比较与真实演示相互补充，但主文真实量化、误差鲁棒性和统计报告仍有限。
写作质量: 4/5。几何桥接和两阶段流程明确，个别精确损失与补充实验无法从当前文本缓存独立复核。
价值: 4/5。展示了利用现成视觉先验减少专用触觉形状训练的路线，但距离实时可靠机器人应用仍有明显差距。