3D Point Splatting for mmWave Radar Novel View Synthesis¶

会议: NeurIPS 2026
arXiv: 2609.11894
OpenReview: https://openreview.net/forum?id=d7DxwkjIJi
领域: 重建与渲染
关键词: 毫米波雷达、新视角合成、3D点喷溅、复数距离剖面、可微渲染

一句话总结¶

针对毫米波雷达新视角合成中物理保真度、复数信号一致性与多视角优化效率不可兼得的难题，提出首个基于雷达方程的3D点喷溅（3DPS）可微点渲染器，通过ITU材质建模与闭式PSF复数喷溅实现产品无关的多模态雷达信号合成。

研究背景与动机¶

毫米波雷达（mmWave Radar）具备穿透雨雪、浓雾和粉尘的全天候感知能力，且能直接测量径向多普勒速度，是自动驾驶与机器人稳健感知系统的关键传感器。然而，毫米波雷达真实采集数据规模远小于可见光与激光雷达，且受制于天线阵列几何与波形配置，大规模数据集通常高度受限且不开放。利用新视角合成（Novel View Synthesis, NVS）扩充稀疏雷达视角是突破数据稀缺的潜在途径，但雷达视角的合成面临着级联稀疏性（Cascading Sparsity）的严峻物理挑战：在60–77 GHz频段下，电磁波在室外表面的反射表现为准镜面反射导致回波极稀疏；商用车载级联雷达的虚拟阵列通常缺乏俯仰向孔径，在2D距离-方位角（Range-Azimuth, RA）成像中将俯仰维度积分湮灭；此外稀疏轨迹下仅有数个邻近视角可供联合监督。

要实现高保真度的毫米波雷达新视角合成，渲染器必须同时满足三个核心特性：第一是物理保真度（Physically Faithful），需遵循电磁波传播与天线增益物理规律，使几何与材料参数具备可解释性与跨视点可迁移性；第二是复数域建模（Complex-Valued），雷达前向链路输出本征复相量，保留相位才能支持模拟数字转换器（ADC）原始时域采样、复数距离剖面（CRP）与RA图像的通用合成，并精准重现天线方向图与旁瓣效应；第三是多视角可优化性（Multi-Viewpoint-Tractable），能够在大规模多视角联合优化中快速收敛。

然而，现有方法在上述三项需求中存在不可调和的割裂。以Sionna RT为代表的可微蒙特卡洛（MC）光线追踪渲染器虽然严格建模双向散射分布函数（BSDF）与复数信号，但每条光线必须遍历所有发射-接收（TX-RX）天线对以保持MIMO相干性，单视角优化耗时即达数十分钟，多视角联合优化无法落地；而借鉴NeRF、哈希网格与3D高斯喷溅的光学NVS适配方案（如RadarSplat、Radar Fields、DART）虽然训练高效，却粗暴抛弃了相位信息，仅在FFT后处理的功率谱RA图像上用不透明神经网络特征强行拟合，丧失了复数信号链与显式物理材质建模能力。核心 idea：直接从雷达方程的立体角积分形式推导闭式确定性前向链路，以携带ITU-R P.2040电磁材质参数的有向3D点为基元，将确定性复相量通过预计算点扩散函数（PSF）闭式喷溅至距离单元，在保持全链路复数物理保真度的同时将多视角优化提速至单卡3分钟。

方法详解¶

整体框架¶

3DPS的核心流程建立在从毫米波雷达方程到接收半球立体角积分的精确离散化上。输入为从配准LiDAR点云降采样并初始化的$N=20{,}000$个有向3D点集合，每个点携带表面法线四元数和ITU-R P.2040标准的6维材料参数。在前向渲染中，针对雷达MIMO阵列的每一个发射-接收（TX, RX）天线对，系统首先计算几何光程、波达方向与接收可见性；接着基于微表面理论闭式评估该点的双向散射分布函数（BSDF）与双基地雷达散射截面（RCS）；然后依据雷达方程组装复振幅，并利用汉宁窗滤波的点扩散函数（PSF）核，将复数相量散射累加（Scatter-Add）至对应离散距离单元中，生成全通道复数距离剖面（CRP）；最后沿着虚拟天线孔径轴执行方位角离散傅里叶变换（DFT）得到距离-方位角（RA）图像，或通过逆距离FFT重构原始时域ADC样本。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["配准LiDAR几何先验<br/>4阶段下采样至N=20,000有向点"] --> B["有向3D点物理基元<br/>位置 + 法线四元数 + ITU-R P.2040材质"]
    B --> C["闭式BSDF与复相量计算<br/>菲涅尔反射 + Ament粗糙度 + 几何光程相位"]
    C --> D["汉宁窗PSF复数喷溅<br/>频域FFT内嵌，L=15抽头距离累加"]
    D --> E["复数距离剖面 CRP<br/>NTX × NRX 通道保真复数输出"]
    E --> F["产品无关多端输出<br/>方位FFT得RA图 / 逆FFT得ADC时域样本"]

关键设计¶

1. 有向3D点物理基元：消除蒙特卡洛采样的雷达本征表示

为了克服神经体素或3D高斯在雷达粗分辨率下缺乏明确法线与物理含义的缺陷，3DPS直接将有向3D点作为雷达本征散射基元。在单次反射假设下，空间表面$\mathcal{S}$接收到的调频连续波（FMCW）解调ADC信号可表示为接收机视角的上半球立体角积分： $$a_{tr}[n] = \int_{\Omega^+(\mathbf{p}_r)} \frac{R_r^2(\hat{\boldsymbol{\omega}})}{|\mathbf{n}(\hat{\boldsymbol{\omega}}) \cdot \hat{\boldsymbol{\omega}}|} S_{tr}(\mathbf{x}(\hat{\boldsymbol{\omega}})) \, e^{j 2\pi \mu \tau(\hat{\boldsymbol{\omega}}) t_n} \, \mathrm{d}\omega$$ 其中$\tau(\hat{\boldsymbol{\omega}}) = (R_t + R_r)/c$为往返时延，$S_{tr}(\mathbf{x})$为雷达方程给出的复振幅。当将接收半球离散化为覆盖微元立体角$\Delta \omega_i = A_i |\mathbf{n}_i \cdot \hat{\boldsymbol{\omega}}_{o,i}| / R_{r,i}^2$的有向点集时，被积式中的雅可比行列式$R_r^2 / |\mathbf{n} \cdot \hat{\boldsymbol{\omega}}|$与立体角微元精确对消。由此，接收信号退化为一个确定性的有限黎曼和： $$\hat{a}_{tr}[n] = \sum_{i=1}^{N} v_i A_i S_{tr}(\mathbf{x}_i) \, e^{j 2\pi \mu \tau_i t_n}, \quad v_i = \mathbb{1}[\mathbf{n}_i \cdot \hat{\boldsymbol{\omega}}_{o,i} > 0]$$ 该设计使每个有向点对每个(TX, RX)对仅产生一次精确贡献，彻底省去了蒙特卡洛路径追踪中的随机光线投射，从根本上锁定了计算效率。

2. 闭式ITU-R P.2040材质模型：全可微双基地电磁散射

为保证材质在不同视点与天线构型下的可迁移性，3DPS弃用了黑盒MLP特征，为每个点分配物理标准的ITU-R P.2040 6维材料矢量$\boldsymbol{\theta}_i = (\varepsilon_r', \varepsilon_r'', \sigma_h, \ell_c, \tau, d)$，分别表示复介电常数实虚部、均方根粗糙度、表面自相关长度、基尔霍夫/微扰混合权重以及介质层厚度。其双基地雷达散射截面（RCS）通过基尔霍夫分解为镜面相干分量与漫反射非相干分量： $$\sigma_i(\hat{\boldsymbol{\omega}}_i, \hat{\boldsymbol{\omega}}_o) = |\Gamma(\theta_i; \varepsilon_r', \varepsilon_r'', d)|^2 \left[ \rho_{\text{coh}}(\sigma_h; \theta_i) K_{\text{spec}}(\hat{\boldsymbol{\omega}}_i, \hat{\boldsymbol{\omega}}_o; \mathbf{n}_i, \tau) + \rho_{\text{inc}}(\sigma_h, \ell_c; \hat{\boldsymbol{\omega}}_i, \hat{\boldsymbol{\omega}}_o, \mathbf{n}_i) \right]$$ 其中$\Gamma$为多层介质平板菲涅尔反射系数，能够模拟石膏板、涂漆金属等常见场景分层；$\rho_{\text{coh}} = \exp(-(2k \sigma_h \cos \theta_i)^2)$为Ament相干粗糙度衰减；$K_{\text{spec}}$自适应融合微表面镜面瓣与微扰散射瓣。所有正值参数均通过平移Softplus进行重参数化，混合权重$\tau$通过Sigmoid约束，使得整套电磁物理散射过程严格在物理合法流形上可微解析求导。

3. 汉宁窗PSF复数喷溅：频域核内嵌与产品无关渲染

传统信号模拟需先合成$N_s$个ADC采样点再做离散傅里叶变换，单(TX, RX)计算复杂度达$\mathcal{O}(N \cdot N_s)$。3DPS利用傅里叶变换的线性性质，直接将汉宁窗和FFT推进到累加求和符号内部，将点散射过程等价解析为对预计算点扩散函数（PSF）的频域喷溅： $$\mathrm{CRP}_{tr}[k] = \sum_{i=1}^{N} v_i A_i S_{tr}(\mathbf{x}_i) \, \Phi(k - k_i; \delta_i), \quad k_i = \frac{R_{t,i} + R_{r,i}}{\Delta R}, \quad \delta_i = k_i - \lfloor k_i \rfloor$$ 其中$\Delta R$为雷达距离分辨率（ColoRadar中为5.93 cm），$\Phi(\cdot; \delta)$是长度为$L=15$个抽头的预计算汉宁PSF核。这一数学转化将每个点在距离维度的影响严格限制在临近15个距离单元内，计算复杂度骤降至$\mathcal{O}(N \cdot L)$，且在单精度浮点下与标准时域ADC-then-FFT流程的最大误差仅为$1.19 \times 10^{-7}$。更重要的是，喷溅输出的CRP保留了信道复相量；通过标准的虚拟阵列方位向FFT可直接合成RA图像，通过逆向距离FFT可重构ADC时域信号，实现了单次优化、产品无关（Product-Agnostic）的多输出能力。

4. 载波相位梯度解耦与锚定优化：阻断简并相位的几何优化稳定策略

在76 GHz高频段下电磁波长仅为$\lambda \approx 3.9$ mm，而距离单元宽度为5.93 cm。雷达方程中的载波相位项$e^{-jk(R_t + R_r)}$对亚毫米级位置偏移极其敏感，而离散距离单元划分$\lfloor k_i \rfloor$引入了分段常数阶跃，导致位置对相位的反向传播梯度严重病态并诱发高频震荡。3DPS采用相位梯度解耦策略（Carrier-Phase Detach）：在前向传播中计算无舍入的精确载波光程相位，但在反向传播中切断载波相位对点坐标$\mathbf{p}_i$的梯度流，仅允许振幅路径传回位置梯度。同时引入$L_2$正则几何锚定损失$\lambda_{\text{pos}} \|\mathbf{p}_i - \mathbf{p}_i^{(0)}\|^2$（$\lambda_{\text{pos}}=100$），将点位置的优化漂移限制在约1 mm以内。此外，算法借鉴3DGS的思想，在第100、200、300、400轮根据累积振幅位置梯度幅度，自适应分裂前5%并剔除后5%的无效点，始终维持$N=20{,}000$的计算预算。

损失函数 / 训练策略¶

训练采用笛卡尔坐标系下距离-方位角幅值图像$|\mathrm{RA}_{\text{cart}}|$的归一化均方误差（MSE）： $$\mathcal{L} = \frac{1}{|\mathcal{F}_{\text{train}}|} \sum_{F \in \mathcal{F}_{\text{train}}} \left\| \frac{|\mathrm{RA}_F^{\text{pred}}|}{\||\mathrm{RA}_F^{\text{pred}}\||_2} - \frac{|\mathrm{RA}_F^{\text{GT}}|}{\||\mathrm{RA}_F^{\text{GT}}\||_2} \right\|_2^2$$ 优化器采用Adam（$\beta_1=0.9, \beta_2=0.999$），参数学习率分别设置为材质参数$\eta_{\text{mat}} = 10^{-2}$、法线旋转四元数$\eta_{\text{rot}} = 5 \times 10^{-3}$、点位置$\eta_{\text{pos}} = 10^{-5}$。核心的前向BSDF计算、稀疏散射累加及解析反向梯度被融合（Fused）为三个CUDA原生算子。单卡RTX 4090在8个训练视角下完成500步优化仅需约3分钟（单视角拟合仅需30-45秒）。

实验关键数据¶

主实验¶

实验基于ColoRadar室外数据集的6个真实复杂场景（包含停车场、建筑设施与停放车辆等），使用TI MMWCAS级联毫米波雷达（12 TX × 16 RX，76 GHz，5.93 cm分辨率）与配准的Ouster OS1-64 LiDAR。评估协议采用9帧短时间窗（5 Hz）居中留一法：以中间第F帧作为新视角测试集，其余8帧作为训练集。主实验在笛卡尔RA图像、复数距离剖面（CRP）以及时域ADC信号上对比了DART、Radar Fields、RadarSplat与3DPS。基线方法因丢弃相位无法合成CRP与ADC，相关指标记为“–”。

| 方法 | RA Corr ↑ | RA PSNR ↑ | RA SSIM ↑ | RA RMSE ↓ | CRP Corr ↑ | CRP $\Delta\varphi_r$ ↑ | ADC 包络 $\rho_{|\cdot|}$ ↑ | 训练耗时 (min) | |---|---|---|---|---|---|---|---|---| | DART (CVPR 2024) | 0.112 | 22.5 | 0.408 | 0.0817 | – | – | – | 0.43 | | Radar Fields (SIGGRAPH 2024) | 0.133 | 28.0 | 0.496 | 0.0402 | – | – | – | 1.63 | | RadarSplat (ICCV 2025) | 0.339 | 24.2 | 0.511 | 0.0643 | – | – | – | 19.74 | | 3DPS (Ours) | 0.587 | 28.8 | 0.734 | 0.0369 | 0.603 | 0.371 | 0.613 | 3.17 |

注：RA指标为6场景测试集平均；CRP $\Delta\varphi_r$为跨距离维度的幅值加权相位一致性$\langle \cos(\Delta\varphi) \rangle \in [-1, 1]$；训练耗时基于单张RTX 4090。

消融实验¶

在6个ColoRadar场景上针对核心组件设计的消融实验数据如下（500轮训练平均）：

配置	测试集 RA Corr ↑	测试集 RA PSNR ↑	测试集 RA SSIM ↑	CRP Corr ↑	训练集 RA Corr ↑	耗时 (min)	说明
3DPS 默认模型	0.587	28.8	0.734	0.603	0.812	3.0	$N=20\text{k}$, 8视角, 完整设计
点数 $N=2{,}000$	0.578	28.4	0.696	0.586	0.673	4.0	点数严重不足，欠拟合
点数 $N=50{,}000$	0.538	27.3	0.696	0.565	0.858	5.1	自由度过大导致训练过拟合
仅 2 个训练视角	0.573	27.0	0.674	0.591	0.888	0.9	仅降0.014，证明极高样本效率
去除自适应点密度控制	0.553	27.0	0.638	0.587	0.760	3.3	缺少分裂剪枝，关键散射区模糊
去除LiDAR视锥剔除	0.556	27.0	0.665	0.581	0.812	2.5	视场外无效杂波点占用点配额
去除LiDAR最远点采样(FPS)	0.542	28.1	0.717	0.538	0.808	3.3	随机采样导致空间覆盖不均
去除载波相位梯度解耦	0.537	27.1	0.676	0.562	0.894	4.5	伪相位梯度引发高频空间震荡
去除位置锚定 ($\lambda_{\text{pos}}=0$)	0.584	28.1	0.725	0.606	0.821	2.3	失去几何支架约束后微弱退化

关键发现¶

雷达物理信号链与复相量保真的决定性作用：3DPS在新视角测试集上的RA皮尔逊相关系数达到0.587，相比最强基线RadarSplat（0.339）提升达1.7倍，相比Radar Fields和DART分别提升4.4倍和5.2倍。这表明传统光学NVS在FFT后用黑盒特征拟合功率谱的方式严重忽略了雷达发射/接收阵列几何、天线旁瓣与多普勒窗函数特性，而3DPS的物理保真前向链路能精准还原真实雷达响应。
极高的视角采样效率：当训练视角数从8个骤减至仅2个相邻视点时，3DPS的测试集RA相关系数仅从0.587微跌至0.573（降幅仅0.014），展现了物理参数化模型对极端稀疏视角的优异泛化能力，远优于依赖多视点立体交会的光学隐式场。
相位梯度解耦的关键稳定性：消融实验显示，一旦放开载波相位对空间坐标的梯度回传（no carrier-phase detach），训练集相关系数虽因记忆噪声冲高至0.894，但测试集相关系数大幅暴跌至0.537。这是由于波长与距离分辨率数量级失配造成的数值病态，证明了切断载波相位梯度、仅靠包络振幅驱动几何微调策略的必要性。
未监督相位的自发相干性涌现：尽管损失函数仅施加在RA幅值上，未对绝对相位做任何惩罚，但由于前向链路严守物理光程，渲染输出在测试集CRP上实现了0.371的跨距离相对相位一致性$\Delta\varphi_r$和0.434的跨天线相对相位一致性$\Delta\varphi_v$，为下游雷达波束成形与到达角估计保留了关键高频信息。

亮点与洞察¶

将离散立体角积分与雷达方程雅可比精确对消：巧妙利用有向点元覆盖的受光立体角公式，推导证明了空间微表面到接收半球积分的几何雅可比行列式可以被完美消除，构建了无需任何蒙特卡洛射线采样的确定性散射求和模型。
傅里叶变换内嵌的PSF喷溅加速机制：利用离散傅里叶变换的线性算子性质，将耗时的全时域ADC生成推入频域核函数，将雷达渲染的距离维计算复杂度由$\mathcal{O}(N \cdot N_s)$压缩为$\mathcal{O}(N \cdot L)$常数级复杂度，实现了与3DGS媲美的实时计算吞吐。
“产品无关”的雷达复数渲染范式：不同于以往模型将输出死死绑定在特定传感器配置的RA图或RD图上，3DPS以底层信道复数距离剖面作为一等公民，同一套场景资产无需重训即可自然支持ADC、CRP与RA多格式按需导出。

局限与展望¶

单次散射假设与多径反射缺失：当前模型基于单跳（Single-bounce）直射假设，在开阔室外道路场景效果优异，但在室内走廊或密集金属回廊等多径效应强烈的场景下，由于无法追踪二阶/三阶反射，渲染精度将受到制约。
对配准LiDAR点云几何先验的依赖：由于级联雷达缺乏俯仰孔径且回波极端稀疏，本方法依赖LiDAR点云作为几何脚手架初始化，无法在仅有雷达数据的条件下从零恢复三维几何（Shape-from-Radar）。
幅值监督下绝对相位的自由度未约束：仅依靠幅值损失留存了约22,000个未受约束的绝对相位自由度。未来可探索两阶段优化框架，在第二阶段引入复数复相量损失进行亚毫米级精细约束。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首创雷达方程闭式立体角推导与频域PSF喷溅，填补了雷达复数物理可微渲染的空白]
实验充分度: ⭐⭐⭐⭐⭐ [6个真实室外场景详尽评估，涵盖RA、CRP与ADC多产品，消融实验设计严谨扎实]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严密清晰，信号物理背景与计算机视觉交叉叙述极其连贯透彻]
价值: ⭐⭐⭐⭐⭐ [统一了雷达NVS与多模态合成数据管线，为自动驾驶全天候仿真与传感器基准评估树立了新范式]