MITO: A Millimeter-Wave Dataset and Simulator for Non-Line-of-Sight Perception¶

会议: NeurIPS 2026
arXiv: 2502.10259
代码: https://github.com/signalkinetics/MITO_Codebase
领域: 其他
关键词: 毫米波雷达、非视距感知、合成孔径雷达、多频段成像、Sim2Real

一句话总结¶

MITO 构建了首个面向日常物体的毫米波雷达非视距（NLOS）感知基准与开源物理仿真器，采集了覆盖 76 种物体的 2400 万帧雷达信号与 550 张高分辨率 3D SAR 图像，并实现了穿透遮挡物的目标分割与跨材质几何形状分类。

研究背景与动机¶

现代计算机视觉与机器人感知系统在很大程度上依赖可见光相机与激光雷达（LiDAR）。然而，光学感知从本质上受限于视距（Line-of-Sight, LOS）条件，一旦目标物体处于严重遮挡状态（例如存放在封闭纸箱内、被衣物布料或塑料包裹、散落在杂乱堆叠中），传统光学传感器便彻底失效，导致智能仓储包裹核验、运输途中破损检测以及复杂环境中的机械搜寻难以实现。

毫米波（mmWave）无线射频信号波长在毫米量级，能够有效穿透纸板、布料、塑料等日常非金属遮挡介质，具备实现非视距（Non-Line-of-Sight, NLOS）成像的独特物理特性。然而，将毫米波雷达引入日常通用物体感知面临重重瓶颈：商业雷达单帧孔径极小导致空间分辨率严重不足；毫米波波长远大于可见光，其物体表面相互作用以高度镜面反射（specular reflection）和边缘绕射（edge diffraction）为主，缺乏丰富漫反射纹理；毫米波成像产物为复数值三维体素，且不存在颜色信息；此前学术界缺乏针对丰富日常物体的毫米波真实数据集，现存商业电磁仿真软件造价昂贵且往往仅支持金属导体建模。

本文的切入角度是：利用机械臂末端受控轨迹在空间中构建大合成孔径（SAR）以大幅提升毫米波横向空间分辨率，同时结合 24 GHz 与 77 GHz 双频段特性平衡穿透力与几何精细度，并配套研发基于可微分图形学可见性与电磁散射特性的开源混合仿真器。核心 idea：通过机械臂移动天线阵列合成大孔径 3D 毫米波成像构建首个日常物体 NLOS 数据集 MITO，并研发结合镜面与边缘反射的轻量物理仿真引擎，打通穿透遮挡的零样本提示分割与纯仿真训练的 Sim2Real 几何分类链路。

方法详解¶

整体框架¶

MITO 的整体技术管线涵盖硬件数据采集、合成孔径雷达（SAR）三维成像重构、镜面/边缘混合物理仿真，以及下游非视距感知基准（分割与分类）。硬件系统由一台搭载双频毫米波雷达（77 GHz 与 24 GHz）和 RGB-D 相机的 UR5e 机械臂构成，雷达沿二维平面网格轨迹扫描以合成大物理孔径，接收到的原始回波与高精度插值位姿结合，生成 3D 复数图像。仿真侧接收任意 3D 三角网格模型，分别计算可见顶点的法向镜面反射与锐利边缘绕射，通过线性权重拟合复杂材质。下游任务利用深度投影与功率阈值提示 SAM 实现穿透分割，并基于加权仿真渲染开展 Sim2Real 形状分类。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["三维空间物体与遮挡物<br/>76种YCB物体 / 纸箱及织物遮挡"] --> B["机械臂移动合成孔径采集<br/>UR5e扫描 + 24GHz/77GHz双频段"]
    B --> C["三维复数SAR图像重建<br/>时空插值与后向投影积分"]
    D["3D物体网格模型<br/>YCB三维三角面片"] --> E["镜面与边缘混合物理仿真<br/>法向阈值镜面 + 锐角边缘绕射"]
    C --> F["多频段能量引导SAM分割<br/>24GHz穿透滤波 + 77GHz高分Prompt"]
    E --> G["材质增强Sim2Real形状分类<br/>权重随机化数据增强 + CNN分类器"]
    F --> H["非视距分割掩码与分类结果"]
    G --> H

关键设计¶

1. 机械臂移动合成孔径采集：兼顾高穿透与高分辨的多频段扫描

针对低成本毫米波传感器阵列孔径小、空间角分辨率低的问题，系统利用 UR5e 六轴工业机械臂末端执行器搭载雷达在物体正前方执行网格扫描，合成有效孔径尺寸在 \(55\,\text{cm}\times 22\,\text{cm}\) 至 \(60\,\text{cm}\times 45\,\text{cm}\) 之间的虚拟天线阵列。根据雷达物理学原理，深度方向分辨率由信号调频带宽 \(B\) 决定，即 \(\delta_z = \frac{c}{2B}\)；而横向方位分辨率与俯仰分辨率则由波长 \(\lambda\) 与合成孔径跨度 \(D\) 决定，即 \(\delta_x = \frac{\lambda z_0}{2 D_x}\)。通过大孔径移动扫描，系统将毫米波点云成像提升至厘米级精细轮廓。

同时，针对单频段雷达在“穿透衰减”与“成像精度”之间的固有矛盾，MITO 采用多频段协同设计：集成 77 GHz（TI IWR1443BOOST + DCA1000EVM，带宽可达 4 GHz，波长约 3.9 mm）与 24 GHz（Infineon Position2Go，波长约 12.5 mm）两部雷达。77 GHz 具有更短波长和更大带宽，可捕捉高精度边缘结构，但在穿透瓦楞纸箱和多层织物时信号衰减与散射显著；24 GHz 虽分辨率略低，但电磁波衰减极小，能够穿透致密遮挡保留稳健目标能量。空间采集的离散复数采样点通过时间同步网络插值对齐位姿，按后向投影算法积分重建 3D 复数反射率体素：

\[I(x,y,z)=\sum_{k=1}^{K}\sum_{j=1}^{N}S_{j,k}e^{\frac{j2\pi d(x,y,z,k)}{\lambda_{j}}}\]

其中 \(K\) 为等效天线采样位置数，\(N\) 为各信号采样点数，\(S_{j,k}\) 为采样信号复振幅，\(d(x,y,z,k)=2\|(x,y,z)-p_k\|\) 为第 \(k\) 个天线测量位置 \(p_k\) 到目标空间体素 \((x,y,z)\) 的往返距离。

2. 镜面与边缘混合物理仿真：任意 3D 网格的轻量高效电磁渲染

针对商业全波电磁仿真软件计算耗时冗长且无法推广至复杂几何体的问题，MITO 设计了一套基于几何光学与射线散射近似的开源模拟器。给定任意 3D 三角面片网格，仿真器首先利用视线求交过滤出面向雷达的可见顶点集合 \(V\)。鉴于毫米波长相较于物体微观粗糙度处于同一数量级，表面漫反射极弱，主要表现为各向异性极强的镜面反射和局部曲率突变处的边缘绕射。

模拟器将电磁响应解耦为两路并行物理机制：镜面反射分支仅对法向量 \(\boldsymbol{n}\) 与雷达入射视线夹角小于阈值 \(\tau\) 的可见顶点激发有效回波；边缘绕射分支则先计算相邻面片夹角，提取夹角大于阈值 \(\tau_e\) 的锐利轮廓顶点集 \(V_e\)。两路回波经各自时延积分后，通过连续权重混合模拟任意复合材质：

\[I_{syn}(\alpha_1,\alpha_2)=\frac{\alpha_1}{\alpha_1+\alpha_2}I_s+\frac{\alpha_2}{\alpha_1+\alpha_2}I_e\]

其中 \(I_s\) 与 \(I_e\) 分别为镜面与边缘响应经成像管线生成的体素图谱，\(\alpha_1, \alpha_2\) 调节金属高反射、塑料弱散射或混合材质的电磁响应比例。

3. 多频段能量引导 SAM 分割：基于射频物理先验的免训练提示生成

为将强大的 2D 视觉基础模型 SAM 引入单通道、复数值且存在大量雷达噪斑的三维非视距成像中，MITO 设计了一套将射频物理先验转化为视觉提示的无监督机制。算法沿深度维度压缩 3D 体素功率幅值投影为 2D 图像，并以彩虹伪彩图映射功率动态范围。

在提示点（prompt points）生成阶段，直接利用 77 GHz 能量会导致遮挡物（如瓦楞纸表面反射）引入伪强反射点；若仅用 24 GHz，则点位空间聚焦精度不足。MITO 引入双频交叉滤波机制：只有在 24 GHz 与 77 GHz 投影图谱中同步高于自适应功率阈值的候选坐标，才被保留并随机采样为前景正向提示点输入 SAM。该设计利用 24 GHz 剔除纸箱表面的伪反射噪点，结合 77 GHz 的锐利响应直接驱动 SAM 在完全看不见目标的黑盒场景下抠出真实物体轮廓。

4. 材质增强 Sim2Real 形状分类：纯合成数据驱动的鲁棒几何判别

非视距场景下物体的光学纹理和色彩完全丢失，仅存粗糙的三维空间电磁散射几何特征。若针对每种真实材质精确测定介电常数并调整仿真参数，在开放场景中难以实用化。MITO 构建了一个包含 5 层卷积和 3 层全连接的轻量化 3D/2D 分类网络，采用端到端 Sim2Real 范式。

为弥合仿真电磁渲染与真实雷达图谱之间的域间隙（Domain Gap），网络在训练阶段施加动态材质混合增强：对每个 CAD 网格随机采样混合权重对 \((\alpha_1, \alpha_2) \sim \mathcal{U}(0, 1)\)，实时合成不同电磁材质响应，辅以空间旋转、刚体平移、随机体素遮盖（masking）与高斯模糊。模型在纯仿真生成的加权电磁图上收敛后，可直接零样本泛化至未知遮挡环境下的真实雷达测试数据。

一个完整示例¶

以纸箱遮挡内部的金属扳手（wrench）为例： 1. 机器人系统驱动 24 GHz 与 77 GHz 雷达完成空间 \(60\times 45\,\text{cm}\) 栅格扫描，采集原始复数时间序列。 2. 后向投影算法根据精确位姿重建空间 3D 反射体素，深度投影生成 2D 强度图。 3. 24 GHz 信号几乎无衰减穿透纸箱，定位出扳手主体存在区域并排除纸箱外表面；77 GHz 信号在扳手金属边缘产生强高频散射。 4. 双频能量交叉相交产生 5 个位于扳手双端和握柄的提示点，输入 SAM 瞬间输出完整的扳手 2D 几何掩码。 5. 将掩码区域剪裁后输入在合成网格上预训练的 5-Conv 分类器，模型以 88%+ 的置信度将该几何体判别为扳手。

损失函数 / 训练策略¶

分类网络在仿真数据集上采用标准交叉熵损失进行监督优化：

\[\mathcal{L}_{CE} = -\sum_{c=1}^{C} y_c \log \hat{y}_c\]

其中 \(C=76\) 为 YCB 物体类别数。训练完全基于随机混合权重生成的多视角仿真图，学习率设为 \(10^{-4}\)，采用 Adam 优化器，批量大小为 32。在仿真验证与真实对齐评估中，采用迭代最近点（ICP）对齐真实与仿真提取的功率点云 \(P_R, P_S\)（由阈值 \(\tau_P\) 提取），计算距离阈值 \(\tau_F\) 下的 3D F-Score 衡量几何契合度：

\[PR = \frac{1}{N_R}\sum_{i=1}^{N_R}\mathbb{I}_{d(P_R(i),P_S)<\tau_F},\quad RE = \frac{1}{N_S}\sum_{j=1}^{N_S}\mathbb{I}_{d(P_S(j),P_R)<\tau_F},\quad F = \frac{2\cdot PR\cdot RE}{PR + RE}\]

实验关键数据¶

主实验¶

论文在 76 种 YCB 日常物体上针对视距（LOS）与穿透纸箱/织物非视距（NLOS）场景，对 RGB-D 相机基线、单频段雷达与多谱段雷达的 SAM 分割性能进行了系统评估。

输入模态 / 场景	精确率 (Pre.)	召回率 (Recall)	F1-Score	IoU	像素准确率 (Acc.)
视距 (LOS)
RGB-D 相机	99.7%	99.5%	99.4%	98.9%	99.9%
24 GHz 雷达	57.9%	50.1%	37.3%	22.9%	93.7%
77 GHz 雷达	98.2%	56.4%	71.4%	55.5%	97.9%
多谱段 (Multi-Spectral)	97.1%	62.6%	74.4%	59.3%	98.0%
非视距 (NLOS)
RGB-D 相机	3.6%	100%*	7.0%	3.6%	14.0%
24 GHz 雷达	53.0%	38.7%	29.1%	17.0%	92.1%
77 GHz 雷达	95.4%	57.7%	70.2%	54.1%	97.7%
多谱段 (Multi-Spectral)	95.1%	63.1%	70.8%	54.9%	97.6%

*注：在 NLOS 条件下，RGB-D 相机召回率名义上达到 100%，是因为相机提示点落入遮挡纸箱表面，SAM 将整个纸箱分割出来覆盖了内部物体，但精确率仅 3.6%，实际完全丧失感知能力。

消融实验¶

1. 物理仿真引擎不同反射建模机制的 3D F-Score 对比 评估真实采集点云与仿真点云在不同反射模式下的 3D 几何匹配精度：

仿真建模方法	25th 分位数	50th 分位数 (中位数)	75th 分位数	说明
纯边缘绕射仿真 (Edge only)	49%	71%	88%	缺失大平面镜面反射能量
纯镜面反射仿真 (Specular only)	68%	90%	97%	缺少锐角与轮廓散射特征
MITO 混合仿真 (Combined)	85%	94%	98%	中位数提升 4%，低分位数显著跃升 17%

2. 纯仿真训练驱动真实非视距形状分类的消融分析 探究不同仿真反射数据配比对分类模型 Sim2Real 泛化精度的影响：

边缘分支 (Edge)	镜面分支 (Specular)	视距准确率 (LOS)	非视距准确率 (NLOS)	总体准确率 (Overall)
✓	✗	61.1%	75.0%	67.6%
✗	✓	77.7%	75.0%	76.4%
✓	✓	88.8%	81.2%	85.2%

关键发现¶

穿透稳定性极强：在完全遮挡的 NLOS 条件下，多谱段雷达分割 F1-Score 仍达 70.8%（LOS 下为 74.4%），性能损耗仅 3.6%，而传统光学相机在 NLOS 下 F1-Score 断崖式下跌至 7.0%。
多频段互补效应显著：77 GHz 提供高分辨率几何边缘，24 GHz 滤除纸板表面的寄生虚警，多频段融合使 NLOS 分割的召回率从 57.7% 提升至 63.1%。
混合电磁仿真对 Sim2Real 至关重要：若仅用纯镜面或纯边缘数据训练分类网络，真实测试准确率分别仅为 76.4% 和 67.6%；两路混合增强使整体分类精度跃升至 85.2%，充分证明电磁多物理机制联合建模的必要性。

亮点与洞察¶

硬件与算法协同创新：利用工业机械臂轨迹运动以极低硬件成本等效出半米级超大天线孔径，绕过了专业商用全尺寸阵列造价昂贵、体积庞大的工程死穴。
射频特异性与视觉大模型的优雅结合：无需重新微调庞大的 SAM 权重，巧妙地利用双频毫米波功率交集构建轻量提示先验，将 2D 视觉分割能力迁移至 3D 射频领域。
轻量混合物理仿真的 Sim2Real 范式：摒弃复杂的全波电磁 Maxwell 方程组求解，将毫米波与常见物体交互抽象为“法向视线夹角阈值过滤”与“多边形锐角边缘绕射”的加权叠加，实现了速度极快且高度真实的电磁数据合成。

局限与展望¶

镜面反射导致的几何空缺（Recall 瓶颈）：毫米波较短波长导致光滑曲面存在大量镜面反射损耗，部分未朝向天线的面片能量无法返回接收端，使点云呈现局部缺失（平均召回率约 63%）。未来需结合基于隐式神经场或扩散模型的非视距 3D 几何补全（Shape Completion）算法。
扫描耗时与动态场景适应性：当前合成孔径依赖机械臂物理移动轨迹，单次全景采样需要数十秒，难以应对动态物体与快速交互。未来需探索稀疏移动路径重构与阵列紧凑型 MIMO 硬件。
位姿估计与接触式操作延伸：当前基准主要聚焦分割与分类，尚未探索 6-DoF 位姿估计和抓取规划。在仓储机械臂抓取隐蔽物品、盲盒拆包等任务中，拓展 6-DoF 位姿感知是关键落地途径。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立面向日常物体的毫米波大孔径 NLOS 感知基准并开源多物理混合仿真器。
实验充分度: ⭐⭐⭐⭐⭐ 采集 2400 万帧数据、覆盖 76 类物体、双频对比详尽且涵盖真假闭环 Sim2Real 验证。
写作质量: ⭐⭐⭐⭐⭐ 物理原理与雷达信号处理阐述清晰，任务动机明确，图表数据完整详实。
价值: ⭐⭐⭐⭐⭐ 为解决机器人遮挡操作、智能仓储质检等落地瓶颈开辟了全新的跨模态感知范式。