mmIR: Frequency-Space Inverse Rendering for 3D Millimeter-Wave Radar ADC Synthesis¶

会议: ECCV 2026
论文: ECCV 2026 Poster
项目主页: https://mmwave-inverse-rendering.github.io/
领域: 自动驾驶
关键词: 毫米波雷达、逆渲染、FMCW ADC合成、可微渲染、3D占有网格

一句话总结¶

针对毫米波雷达分辨率粗糙且缺乏高维真值数据的瓶颈，mmIR 构建了首个端到端可微的宽带 FMCW 雷达逆渲染器，以激光雷达点云重建的三角网格为几何脚手架，通过相位一致的 MIMO 正向电磁传输模型与自动微分联合优化顶点级 ITU 材料参数、法向量及天线方向图，并利用高密度虚拟孔径重渲染实现单帧 3D 占有网格生成与无监督跨传感器迁移。

研究背景与动机¶

毫米波（mmWave）雷达具有穿透雨雾、烟尘等恶劣天气的物理鲁棒性，并能直接测量多普勒速度且对金属表面有强反射回波，因而在自动驾驶和全天候感知中具有不可替代的价值。然而，在现有感知系统中，毫米波雷达一直难以承担高精度的 3D 场景重建与几何理解。受限于商用单芯片雷达天线阵列孔径极小（通常仅十几根天线）且布局高度各向异性，角分辨率被限制在数度甚至十几度，且只能输出 2D 距离-方位（Range-Azimuth, RA）切片而非完整的 3D 距离-方位-俯仰（RAE）张量；加之开源数据集普遍仅发布经过重度降采样和恒虚警滤波后的稀疏点云或后处理图像，极度缺乏物理底层的原始中频 ADC（Analog-to-Digital Converter）时域复信号，导致基于深度学习的三维雷达目标检测、占有预测与超分辨率算法深陷“缺乏高维全息训练数据”的死循环。

解决这一瓶颈的技术路径各有难以逾越的工程或理论鸿沟。依赖高规格硬件阵列（如上百个收发通道的级联成像雷达）不仅成本高昂，且难以在大规模车队中推广；合成孔径雷达（SAR）依赖严格控制的机械扫描运动轨迹，在实时动态移动平台上极易产生相位失真；现有的神经辐射场（NeRF）或高斯泼溅（Gaussian Splatting）等神经隐式渲染方法本质上受制于低维输入的先验匮乏，无法从缺失仰角维度的 2D RA 观测中无中生有地恢复 3D 空间结构，且直接拟合后处理强度图会机械地学习并放大傅里叶变换点扩散函数（PSF）的旁瓣和加窗伪影。另一方面，传统的物理弹跳射线法（SBR）仿真均为纯前向过程，依赖人工预先设定几何与介电常数，无法针对真实传感器的采集数据进行梯度反向校准；而现有的可微无线电射频系统（如 Sionna-RT）在光线追踪路径求解阶段冻结了路径拓扑并切断了几何梯度，无法反传到顶点位置与法线，且不建模宽带 FMCW 调频连续波的原始 ADC 信号。

面对雷达角分辨率极低导致单帧“从雷达恢复形状（Shape-from-Radar）”在数学上严重病态的本质矛盾，本文提出了一种巧妙的思路转换：既然在自动驾驶多模态系统中激光雷达（LiDAR）具有极其密集且精确的几何表面信息，不妨以 LiDAR 聚合点云构建的表面网格作为几何脚手架，将雷达逆渲染聚焦于解算表面的电磁散射机理与材料参数。核心 idea：构建端到端可微的宽带 FMCW 雷达逆渲染管线，利用端到端自动微分将原始 ADC 调频复信号与 2D 距离-方位图的误差反传至顶点级 ITU 物理材料参数、表面法向量与天线波束方向图，进而冻结优化后的高保真电磁场景，通过超大规模虚拟 MIMO 孔径重渲染出密集、物理一致且具备真实俯仰角分辨能力的 3D 雷达 ADC 信号。

方法详解¶

整体框架¶

mmIR 将毫米波雷达感知建模为端到端可微的全局蒙特卡洛光线追踪前向渲染与物理参数反演过程。整个系统的输入为基于多帧 LiDAR 扫描聚合、经由屏蔽泊松表面重建（Screened Poisson Reconstruction）得到的场景三角网格，以及真实级联雷达采集并经粗到细配准后的原始数据。系统通过可微光线生成器（结合接收端重要性重采样、镜面流形采样与自由空间衍射）在场景中追踪多跳传播路径，在每个表面碰撞点依据 ITU-R P.2040 物理模型评估双向散射分布函数（BSDF）和极化演化，利用 MIMO 拓扑共享机制将多路径相位一致地累积为原始 FMCW ADC 信号，再通过二维时空 FFT 计算渲染的距离-方位谱并与真实雷达图谱计算损失。优化完成后，冻结几何与介电参数，接入超大规模虚拟收发天线阵列（例如 \(100\times 100\) 阵列），向前合成包含仰角信息的高分辨率 3D RAE 空间张量与点云。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据<br/>LiDAR泊松网格 + 真实级联雷达ADC"] --> B["多策略重要性光线生成<br/>Rx储层采样 + 镜面流形 + 自由空间衍射"]
    B --> C["物理双向散射分布函数<br/>ITU-R材料 + Rayleigh相干/非相干 + 极化传递"]
    C --> D["相位一致MIMO ADC合成<br/>拓扑共享复基带线性调频叠加"]
    D --> E["可微距离-方位图谱损失<br/>2D FFT + Min-Max归一化L1"]
    E -->|端到端DrJit自动微分反向传播| F["联合参数优化<br/>顶点级ITU介电常数 + 法向量 + 天线波束方向图"]
    F --> G["密集虚拟孔径重渲染<br/>100×100虚拟阵列合成立体3D RAE占有"]

关键设计¶

1. 物理驱动的毫米波双向散射分布函数：精确解耦相干镜面、微扰散射与极化衰减

传统射频仿真常把雷达反射简化为单标量雷达散射截面（RCS）或简单的漫反射模型，完全抹杀了真实材料随入射角、波长及表面粗糙度变化的复数阻抗特性。针对这一缺陷，mmIR 依据 ITU-R P.2040 毫米波传播规范，在三角网格的每个顶点上显式绑定了 6 个物理可解释的材质参数：复介电常数的实部与虚部 \((\varepsilon'_r, \varepsilon''_r)\)、均方根微观粗糙度 \(\sigma_h\)、自相关长度 \(l_c\)、基尔霍夫近似与微扰法（KA/SPM）混合权重 \(\tau\) 以及平板物理厚度 \(d\)。碰撞点处的参数通过三角形重心坐标插值实现 \(C^0\) 连续场分布，使梯度平滑反传至三个顶点。宏观反射能量首先通过修正的 Rayleigh 粗糙度因子进行相干分量与非相干分量的自适应切分：

\[\eta = \exp\left(-(2 k \sigma_h \cos \theta_t)^2\right), \quad k = \frac{2\pi}{\lambda}\]

式中 \(\theta_t\) 为入射方向与表面法线的夹角。整体散射度 \(f\) 受平板 Fresnel 能量门控函数 \(A(\boldsymbol{\omega}_t)\) 调制，相干波瓣由微表面 GGX 镜面项与以镜面方向为中心的 von Mises-Fisher (vMF) 分布按 \(\tau\) 线性插值，非相干漫散射波瓣则由宽波瓣 vMF 与 Lambertian 项构成。同时，管线沿光线追踪路径采用局部 \(s/p\) 正交极化基底，每次碰撞利用复数 Fresnel 折射/反射系数显式更新极化分量的幅值与相位，严格保证了电磁波经多跳碰撞后的偏振保真度。

2. 混合重要性光线生成：攻克毫米波段亚波长网格镜面缺失与边缘衍射盲区

在 77 GHz 车载雷达频段，波长 \(\lambda \approx 3.9\text{ mm}\)，远小于典型激光雷达网格的几何三角面尺寸。经典的镜面镜像法（Image Method）在此类微面元网格上几乎必然失效，因为数学上的严格镜面反射落点往往落在命中三角形的物理外边界之外；若退化为普通球面均匀随机采样，又极难击中空间微小的接收天线孔径，导致蒙特卡洛方差爆炸。为此，mmIR 设计了三位一体的互补光线采样机制：首先引入接收端中心储层采样（Rx-Centric Reservoir Sampling），利用天线主瓣的余弦立体角权重生成候选光线并筛选有效交点，将计算力集中于高增益视场；其次针对相干强反射路径，引入镜面流形采样（Specular Manifold Sampling, SMS），通过对半角向量约束 \(C(\mathbf{x}) = [\mathbf{s}\cdot\mathbf{h}, \mathbf{t}\cdot\mathbf{h}]^\top = \mathbf{0}\) 进行 GPU 向量化牛顿迭代，每次迭代沿表面切线流形投影并跨越三角面边界寻找严格镜面反射点，并基于隐函数定理（IFT）求解雅可比矩阵逆，实现反射路径对顶点坐标与法线的可微反传；最后，为了避免传统几何绕射理论（UTD）需要预先提取全局显式棱边的昂贵开销，引入自由空间衍射 BSDF（FSD-BSDF），将障碍物遮挡边缘的衍射效应等效为局部虚拟屏幕上的 Fraunhofer 闭式积分，并将介质边缘的复介电 Fresnel 透射率与 Jones 矩阵极化跟踪融入衍射波瓣，精准重建建筑物边缘与护栏的侧向绕射能量。

3. 拓扑共享的相位一致 MIMO FMCW 信号合成：解耦时空相位相干与计算复杂度

多输入多输出（MIMO）时分复用（TDM）雷达的空间角分辨率依赖于不同虚拟天线收发单元之间精确至微米级的相对光程差。若在蒙特卡洛采样中对每一个 Rx 通道独立随机出射光线，随机噪声会彻底摧毁虚拟阵列间的相对相位关系，使空间方位角傅里叶变换严重散焦。mmIR 提出拓扑共享策略：以共享随机种子在场景中构建统一的多跳碰撞路径拓扑 \(\mathbf{x}_1, \dots, \mathbf{x}_D\)，仅对发射端 \(\text{Tx}_i \to \mathbf{x}_1\) 与接收端 \(\mathbf{x}_D \to \text{Rx}_j\) 的两端引线进行向量化独立连边计算。各通道共用相同的几何碰撞核心，使计算复杂度从 \(\mathcal{O}(N_{\text{Tx}} N_{\text{Rx}} N)\) 陡降至 \(\mathcal{O}(N)\)，同时从根本上消除了蒙特卡洛相位抖动。每一条总光程为 \(R_{ij}^{(p)}\) 的路径被合成为解析复基带中频线性调频信号：

\[s_{ij}^{(p)}[k] = a_{ij}^{(p)} \exp\left(j 2\pi (f_c + S t_k) \frac{R_{ij}^{(p)}}{c}\right)\]

式中 \(f_c\) 为载波中心频率，\(S\) 为调频斜率，\(t_k\) 为快时间采样点。各路径相干叠加后，直接对模拟真实 ADC 矩阵施加 2D FFT 得到距离-方位图。损失函数针对经 Min-Max 尺度归一化的幅度图构建 L1 距离：

\[\mathcal{L}_{\text{RA}} = \frac{1}{|\Gamma|} \sum_{(r, a)\in\Gamma} \left| \widetilde{\text{RA}}_{\text{render}}(r, a) - \widetilde{\text{RA}}_{\text{gt}}(r, a) \right|\]

这种频域幅度约束既隐式监督了空间天线间的相对相位一致性（否则方位角峰值会发生角向偏移或弥散），又完全解耦了受振荡器漂移与亚毫米级初相扰动影响而无法作为稳定监督源的绝对直流相位。

损失函数 / 训练策略¶

优化在纯 GPU 向量化 JIT 编译框架 DrJit 中运行。待优化变量包括所有网格顶点的 6 维介电参数（通过 Sigmoid/Exponential 映射限制在物理合理区间）、顶点外法向向量 \(\mathbf{N} \in \mathbb{R}^{N_v \times 3}\)（投影归一化），以及雷达天线波束增益。系统初始材料赋予混凝土、玻璃、金属等标准 ITU-R 参考值。在单个 NVIDIA RTX 4090 显卡上，整个端到端优化执行 500 次迭代仅需约 11 分钟（单次迭代约 1.32 秒），相较 Sionna-RT 的 3.28 秒/步速度显著提升。收敛后参数完全冻结，直接用于虚拟孔径正向仿真。

实验关键数据¶

主实验¶

在真实自动驾驶雷达数据集 ColoRadar 上的 7 个室外场景和 6 个室内典型场景（涵盖实验室、走廊、教室）中，将 mmIR 与开源物理可微基线 Sionna-RT 进行了全面对比。测试采用真实 12Tx×16Rx（合成 86 个等效方位均匀虚拟阵元）德州仪器级联毫米波雷达。主要量化结果如下表所示：

评估子集	评估模型	RA 相关系数 (Corr) ↑	RA PSNR (dB) ↑	RA SSIM ↑	RA RMSE ↓	ADC 对数幅度 MSE ↓
室外场景平均 (7 scenes)	Sionna-RT mmIR (Ours)	0.324 ± 0.076 0.919 ± 0.030	22.3 ± 3.0 37.6 ± 2.4	0.506 ± 0.115 0.902 ± 0.049	0.0808 ± 0.0229 0.0137 ± 0.0038	268.31 ± 20.37 28.49 ± 11.97
室内场景平均 (6 scenes)	Sionna-RT mmIR (Ours)	0.288 ± 0.107 0.909 ± 0.070	24.5 ± 3.7 42.9 ± 5.2	0.680 ± 0.143 0.918 ± 0.037	0.0657 ± 0.0311 0.0084 ± 0.0040	278.04 ± 15.56 24.24 ± 10.47
全场景总平均 (13 scenes)	Sionna-RT mmIR (Ours)	0.307 ± 0.093 0.914 ± 0.053	23.3 ± 3.5 40.0 ± 4.8	0.586 ± 0.155 0.910 ± 0.044	0.0738 ± 0.0280 0.0112 ± 0.0047	272.80 ± 18.94 26.53 ± 11.50

跨传感器零样本迁移实验¶

验证逆渲染学到的是“真实物理场景电磁属性”而非“过拟合特定传感器伪影”的关键证据，在于跨传感器零样本泛化能力。将级联雷达上优化得到的场景参数冻结，直接用于渲染完全不同孔径配置的共架安装单芯片商用雷达（TI AWR1843，3Tx×4Rx，共 12 个虚拟阵元，方位向仅 8 个有效阵元），无需任何微调：

测试场景编号	模型	迁移 RA Corr ↑	迁移 RA PSNR ↑	迁移 RA SSIM ↑	迁移 RA RMSE ↓	迁移 ADC 对数 MSE ↓
S0-F135	Sionna-RT Ours	0.002 0.533	17.8 25.6	0.464 0.505	0.1283 0.0524	301.43 10.96
S1-F438	Sionna-RT Ours	0.079 0.684	13.5 23.2	0.202 0.674	0.2119 0.0694	348.02 21.87
S2-F300	Sionna-RT Ours	0.008 0.745	23.6 27.2	0.412 0.468	0.0661 0.0434	287.94 7.72
室外 7 场景均值	Sionna-RT Ours	0.114 ± 0.103 0.554 ± 0.143	20.0 ± 3.6 23.4 ± 2.5	0.468 ± 0.138 0.529 ± 0.080	0.1087 ± 0.0488 0.0707 ± 0.0206	317.35 ± 22.37 11.10 ± 7.39

3D 占有推理与组件消融实验¶

利用冻结场景重渲染由 10,000 个虚拟天线组成的超大虚拟孔径（100Tx×100Rx），输出具备 256×127×127 分辨率的 3D RAE 空间张量，按强度前 99.9% 提取点云与单帧真实 LiDAR 进行 3D 占有度评估（匹配阈值 \(\tau=0.5\text{ m}\)）： - 3D 占有精度提升：mmIR 密集虚拟阵列渲染点云平均 Precision 达到 0.618（对比真实级联雷达后处理人工仰角拉伸基线的 0.319），F1-score 达到 0.352（对比基线 0.129），相对倒角距离（R-CD）由 0.208 显著降至 0.141。在多反射面丰富的复杂场景（如 S1-F185），Precision 高达 0.997，F1-score 达到 0.722。 - 模块贡献消融：若在优化中剔除天线方向图联合优化（w/o Beam Pattern Opt），RA 相关系数下降 3.7%；若移除自由空间边缘衍射模块（w/o FSD），RA 相关系数下降 1.0%；若退化为粗粒度逐物体材料分配，几何边缘与混合建筑表面的响应误差大幅上升。

关键发现¶

全链路微分对拓扑学习至关重要：Sionna-RT 在光线追踪外冻结路径几何，导致材料参数即使反传也无法修正由法向量误差引起的出射角偏移，在多跳复杂场景中预测能量严重发散；而 mmIR 借助统一计算图联合优化法向量，有效修正了泊松重建带来的细微面片畸变。
跨传感器电磁不变性：在单芯片雷达迁移测试中，mmIR 取得了 0.554 的高相关度，ADC 对数误差仅为基准的 1/28，强有力地证明了反演得到的介电常数与粗糙度参数具有传感器无关的真实物理泛化性。
几何朝向影响信噪比：在开阔、地面近乎平行于雷达视轴的开阔场景（如 S0-F135），前向镜面能量大多散射向远方无法返回接收机，导致回波信噪比变差，3D 占有重建的召回率有所衰减。

亮点与洞察¶

将射频仿真彻底拉入端到端可微体系：mmIR 将传统图形学高级采样算法（SMS、FSD、ReSTIR）与微波雷达 FMCW 相位物理公式在 DrJit 中深度结合，克服了高频微波在复杂几何中极度敏感的相位梯度断裂问题。
虚拟超大孔径突破硬件物理天花板：通过“真实粗糙雷达监督优化材质 \(\to\) 虚拟致密天线阵列合成全息数据”的工作流，开创了低成本 COTS 传感器向高维 3D 训练数据升级的新范式。
为自动驾驶雷达基础模型提供数据生成器：优化后的高保真数字孪生体支持任意视角、任意天线阵列拓扑的即时 ADC 数据生成，有望直接作为下游 3D 占用检测（Occupancy）与毫米波超分辨率任务的数据飞轮。

局限与展望¶

依赖激光雷达几何先验：方法本质上是 LiDAR 辅助的逆电磁渲染，若前端泊松网格质量低下或缺失（如远距离未探测区域），渲染的雷达 ADC 将受限于几何瓶颈，无法单靠雷达数据闭环求解未知几何。
未建模车体自车多普勒效应与动态目标：当前推导基于静态场景假设，尚未纳入由于车辆自身运动或行人车辆移动引起的连续相位频移（\(4\pi v_{\text{ego}} t / \lambda\)），在高速行驶场景下存在扩展需求。
微米级几何抖动引发的梯度震荡：在 77 GHz 频段，亚毫米级的微小网格形变即可造成整整 \(180^\circ\) 的相位翻转，导致顶点几何坐标梯度极其震荡，因此当前实验被迫冻结顶点位置，纯靠优化法线与材料缓解误差，真正的“完全从雷达反演几何网格”仍待多视角时序先验的约束。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次实现物理驱动的宽带 FMCW 毫米波雷达端到端逆渲染与虚拟孔径合成]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 13 个室内外真实场景、跨雷达硬件迁移以及稠密虚拟孔径 3D 占用验证]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严谨自洽，电磁学与图形学融合视角清晰，图表完备]
价值: ⭐⭐⭐⭐⭐ [为车载毫米波雷达高质量三维数据集生成与物理数字孪生提供了极具前景的开源基座]