RadarGen: Automotive Radar Point Cloud Generation from Cameras¶

会议: ECCV2026
论文: ECCV 原文
项目: https://radargen.github.io/
领域: 自动驾驶
关键词: 雷达点云生成、鸟瞰图、潜空间扩散、雷达散射截面、多普勒速度

一句话总结¶

RadarGen 用两时刻环视相机提取 BEV 视觉条件，联合生成雷达密度、RCS 和多普勒图后恢复稀疏点云，在 MAN TruckScenes 上将前景框命中率从 0.37 提升到 0.66，但生成数据上的检测质量仍明显低于真实雷达。

研究背景与动机¶

自动驾驶仿真已经能生成或编辑相当逼真的图像，但只生成视觉内容并不能测试依赖雷达的感知系统。雷达提供的并非另一份表面几何：每个检测点还携带反映散射强度的雷达散射截面（RCS）和径向相对运动的多普勒速度。材质、入射角、多径和干扰会改变回波，因此同一视觉场景可以对应不同但合理的雷达观测。把相机映射到唯一一组确定点，容易低估这种随机性；把 LiDAR 生成器直接搬过来，又会遇到表示不匹配。 LiDAR 通常能按扫描角组织成较密集的距离图，而经过峰值检测的雷达点稀疏、非均匀，难以塞进同一种网格结构。

另一条路线是从电磁传播出发模拟雷达，但它要求场景资产、材料和传感器参数，覆盖长尾场景的工程成本较高。现实数据还往往只保存经过距离-多普勒变换、波束形成和检测处理的点云，原始波形与相位信息已经丢失。这些处理链常是封闭的，使得仅凭已有数据反推完整物理传感器并不现实。 RadarGen 因而把目标限定为生成实际数据集中可取得的处理后点云，而不是合成原始雷达信号。相机条件则提供与既有视觉数据、场景编辑工具和仿真系统对接的入口，但这不等于图像能够确定所有不可见的散射因素。

本文选择复用 SANA 的图像潜空间扩散能力，关键是让雷达目标和视觉条件都变成空间对齐的鸟瞰图（BEV）。密度平滑解决稀疏点难以编码的问题，深度、语义与运动先验减少生成器从像素重新学习场景结构的负担。这种选择还保留一个明确的逆过程：图像解码之后，必须恢复离散检测点，而不能把模糊热图直接当成点云。 核心 idea：用可恢复的 BEV 图表示雷达，用对齐的视觉先验约束其随机生成，再以稀疏反卷积把连续预测还原为携带属性的雷达点。

方法详解¶

整体框架¶

输入是时刻 \(t\) 与 \(t+\Delta t\) 的环视图像，以及已知的相机内参、外参。输出为时刻 \(t\) 自车坐标系下的雷达检测集合，每个点包含平面坐标、RCS 和多普勒速度，而不是完整的高度或原始波形。虽然论文使用点云生成的表述，这个实现实际生成的是带属性的平面点集；高度在 BEV 构造时被舍弃。训练时真实雷达经「可恢复 BEV 表示」构造监督，相机经「BEV 视觉条件」提供条件，两路在「联合潜空间去噪」中汇合。推理时不输入真实雷达，从噪声生成三张图，最后用「稀疏反卷积恢复」得到离散点及其属性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Radar["真实雷达<br/>仅训练"] --> Maps["可恢复 BEV 表示"]
        Images["两时刻环视图像<br/>相机标定"] --> Cues["BEV 视觉条件"]
        Maps -.->|编码后的加噪监督| Joint["联合潜空间去噪"]
        Cues -->|空间对齐条件| Joint
        Noise["高斯噪声<br/>推理起点"] --> Joint
        Joint -->|解码三张雷达图| Recover["稀疏反卷积恢复"]
        Recover --> Points["平面坐标 + RCS<br/>多普勒速度"]

图中的真实雷达分支只负责训练目标，不是推理时需要额外采集的传感器输入。两时刻图像则是实际条件的一部分，第二个时刻用于估计运动，而非要求模型生成下一帧雷达。方法与框架的依据见原文第 6–10 页、§4 和图 3–4。

关键设计¶

1. 可恢复 BEV 表示：让稀疏雷达进入已有图像潜空间

首先丢弃高度，将雷达检测栅格化为稀疏平面点图；车载雷达的有限垂直分辨率是作者作此取舍的理由。直接让冻结的图像自编码器重建孤立亮点容易丢失结构，因此位置不是以原始占据像素监督，而是先与固定高斯核卷积形成点密度图。这个操作把稀疏信号变成平滑图像，但保留已知的前向生成过程，为之后的反卷积提供依据。原文 §4.1 中清晰可读的关系为：

\[ M_p = K_\sigma * P_{xy}. \]

这里 \(P_{xy}\) 是栅格化点图，\(K_\sigma\) 是固定高斯核，\(M_p\) 是平滑后的点密度图。 RCS 和多普勒不能只留在孤立点处；作者分别让每个像素继承最近雷达检测的属性值，得到 Voronoi 分区形式的分段常数图。这两张图描述的是「如果在此恢复一个点，应读取什么属性」，不是说整个平面都实际存在雷达回波。每张单通道图复制到三个通道后独立编码，从而直接复用 SANA 的 RGB 自编码器，而不修改其输入接口。位置、RCS 和多普勒因此拥有独立的潜变量，但都处在同一 BEV 坐标网格上。图像编码友好性也有代价：平滑过强会合并局部结构，所以编码误差最低并不一定对应点云恢复最好。

2. BEV 视觉条件：先把外观、类别与运动放进雷达坐标系

UnidepthV2 为相机图像预测度量深度，结合相机内外参反投影并变换到自车坐标系，再融合各视角点图并栅格化。这是三张条件图共同的几何基础，而不是单独把深度数值拼给去噪器后期待其自行完成空间对齐。外观图从原图取颜色；语义图从 Mask2Former 的分割结果取类别颜色，后者使用在 Cityscapes 上训练的模型。语义采用颜色编码而非 one-hot 向量，是为了继续保持条件图与预训练图像编码器兼容的统计形式。这些语义类别可帮助模型判断不同物体的回波属性，但并不是直接测量材质或电磁反射率。

第三张条件图是径向速度图：UniFlow 在两个时刻之间寻找像素对应关系，再结合两帧深度反投影得到对应的空间位置。作者由位置变化与时间间隔近似运动，并取朝向自车的径向分量，形成类似多普勒的运动提示。该图不是雷达真值，也不是仅从一张静态图片预测的速度标签，其误差会受光流、深度和坐标处理共同影响。将三种提示预先投影至 BEV，可以直接给每个目标位置提供几何、类别和运动上下文。缓存中第 9 页的速度公式存在字符丢失，因此这里只解释可读正文给出的步骤，不猜补精确公式或未说明的自车运动补偿细节。

3. 联合潜空间去噪：共享注意力，同时保留雷达属性身份

去噪器学习的是给定 BEV 条件时三种雷达潜变量的联合分布，而不是独立生成位置、反射强度和速度。由于条件与目标已经空间对齐，条件张量可以沿特征通道直接拼接，不必让注意力从相机透视视角寻找所有跨模态对应。三种雷达图的潜变量再合并成一条 token 序列，在同一个 Diffusion Transformer（DiT）中共享自注意力。这种联合处理让位置与属性能够相互影响，例如同一物体附近的密度结构与运动分布不必由三个互不通信的模型猜测。同时，各图加入可学习的模态标识嵌入，避免网络把密度值、RCS 和多普勒视为统计相同的通道。

SANA 自编码器采用 32 倍空间压缩，其线性注意力也减少长序列代价；这些效率来自所复用的骨干，不是本文新发明的注意力机制。推理从高斯噪声出发，在固定场景条件下迭代去噪，再通过冻结解码器得到三张 BEV 雷达图。随机采样是模型表达不同合理回波的手段，不意味着它有显式的多径传播方程或物理一致性保证。训练图像自编码器保持冻结，主要调整的是适配条件输入后的 SANA DiT。

4. 稀疏反卷积恢复：从平滑密度取回离散检测位置

预测密度图中的局部峰值不一定与原始点一一对应，直接找峰可能漏掉相互重叠的检测，随机采样也可能改变空间分布。作者利用训练目标中已知且固定的高斯核，将恢复过程表述为带非负约束和 L1 稀疏正则的反卷积。数据一致性项要求恢复点图经同一核模糊后接近生成密度图，稀疏项则抑制把整片区域都解释为回波。正文称使用迭代重加权 L1（IRL1）方案，并采用 FISTA 求解器优化。恢复点图经过阈值化得到最终坐标，再在相同位置读取 RCS 图与多普勒图的值，组装输出点集。

这一步解释了为什么属性图可以稠密填满整个 BEV：决定有没有点的是位置恢复过程，属性只在实际恢复的位置被读取。它也把生成误差与表示误差区分开来：即使密度图来自真实点云，经自编码器后仍可能需要稳健的逆过程才能恢复几何。原文第 10 页式 (1) 在缓存中运算符缺失，故不把猜测修复后的 LASSO 式写成作者精确公式；上述说明以相邻可读正文为准。图 7 的比较支持反卷积优于所测试的峰值、随机及混合恢复方式，但不提供这里可可靠转录的精确曲线数值。

一个完整示例¶

以图 1 所示「将较远小车替换为更近卡车」的编辑场景理解各步，以下是机制说明，不是新增定量实验。编辑后的视图经过深度投影和分割，会改变 BEV 中物体的位置、覆盖范围与类别条件。完整流程还使用两个时刻的对应图像估计径向运动；仅凭一张编辑示意图不能核实跨时刻一致性。去噪器在新的场景条件下生成三张雷达图，位置恢复随后决定哪些区域真正产生离散回波。原文展示新卡车附近出现相应点，且被新物体遮挡的区域回波被移除，说明编辑影响不只是局部添加一些点。最后属性图给恢复点赋予 RCS 与多普勒，所得点云可交给真实雷达训练的检测器。这个示例证明了所展示场景的可控性，但不能推出所有遮挡场景或编辑序列都可靠。

损失函数 / 训练策略¶

监督目标来自真实雷达的三张 BEV 图，编码后加噪，用场景条件训练联合去噪器；反卷积是推理恢复步骤，不应误写成检测训练损失。主文没有完整列出扩散损失形式、噪声日程和采样步数，因此不补造具体训练公式。训练时每一种条件以 10% 概率丢弃，使网络接触部分提示缺失的输入。数据裁剪到自车周围 ±50 m，使用 512 × 512 BEV 网格；图 7 分析后选择高斯带宽参数 \(\sigma=2\)。作者比较的带宽集合为 \(\{0.5,1,1.5,2,2.5,3\}\)，增大带宽降低自编码重建误差，但过度平滑损害点云恢复。训练使用 8 张 L40（48 GB）GPU，耗时 2 天；模型参数量为 592M。这些是训练资源，不是单帧端到端推理延迟；主文不足以判断在线车载部署速度。

实验关键数据¶

主实验¶

主要结果来自 MAN TruckScenes：排除几乎不可见的黑暗片段后，训练与评估分别使用 431 和 49 个片段。每段约 200 帧，约 40 帧有边界框标注；训练用训练集全部帧，评估仅用带标注帧。表 1 的 Entire Area 对时间戳统计，Foreground 对前景物体统计；原文的均值 ± 标准差不能当作置信区间。基线为扩展到多视角和 RCS、多普勒输出的 RGB2Point，参数量 432M，仅使用时刻 \(t\)；RadarGen 使用两个时刻，故不是严格等输入、等容量对照。

以下摘录原文表 1（第 10 页），保留最能区分整体几何、属性和前景覆盖的指标。

评估范围 / 指标	RGB2Point 基线	RadarGen	方向
全区域 CD Loc.	1.84 ± 0.48	1.68 ± 0.39	越低越好
全区域 CD Full	0.038 ± 0.009	0.040 ± 0.008	越低越好
全区域 IoU@1m	0.23 ± 0.10	0.31 ± 0.11	越高越好
全区域 DA F1	0.14 ± 0.09	0.24 ± 0.12	越高越好
全区域 MMD Loc.	0.368 ± 0.151	0.056 ± 0.062	越低越好
全区域 MMD RCS	0.36 ± 0.25	0.09 ± 0.15	越低越好
全区域 MMD Doppler	0.65 ± 0.64	0.31 ± 0.74	越低越好
前景 CD Loc.	1.32 ± 0.79	0.95 ± 0.65	越低越好
前景 Density Similarity	0.35 ± 0.43	0.51 ± 0.41	越高越好
前景 Hit Rate	0.37	0.66	越高越好

CD Loc. 是位置 Chamfer 距离；CD Full 使用归一化的位置、RCS、多普勒组成的完整向量，不宜与 CD Loc. 的数值直接比较。 Density Similarity 衡量预测与真实框内点数的一致程度；Hit Rate 衡量真实前景框是否获得生成回波的覆盖。 DA 指标同时考虑点的空间接近及 RCS、多普勒属性相似，MMD 则比较真实与生成分布。这些自定义指标的阈值、密度归一化、匹配规则与 MMD 核参数在补充材料中；当前缓存仅有主文，不能据此精确复现指标。

消融实验¶

下表摘录原文表 2（第 13 页），使用相同 MAN TruckScenes 评估；条件消融按正文描述将对应条件置零。 MV Camera Cond. 直接输入两个时刻的多视角图像 token，带 Plücker 与模态嵌入，不预先构造 BEV 条件。这里列的是各指标均值，完整标准差见原表；不能将微小差异解释为已通过统计显著性检验。

配置	全区域 CD Loc. ↓	全区域 MMD RCS ↓	全区域 MMD Doppler ↓	前景 Hit Rate ↑
MV Camera Cond.	1.88	0.06	0.24	0.56
去掉外观图	1.71	0.09	0.35	0.65
去掉语义图	1.72	0.12	0.33	0.64
去掉速度图	1.69	0.09	0.34	0.66
RadarGen	1.68	0.09	0.31	0.66

关键发现¶

前景框命中率从 0.37 到 0.66，说明生成器更常在真实物体附近产生回波，但不等于检测准确率为 0.66。完整模型并非处处更优：全区域 CD Full 为 0.040，弱于基线的 0.038；作者认为这与基线使用相近损失目标有关。语义条件移除后，全区域 MMD RCS 从 0.09 升至 0.12，支持类别信息有助于属性建模；速度图移除后的框命中率则保持 0.66。直接多视角条件的 MMD RCS 与 MMD Doppler 分别为 0.06 和 0.24，优于 BEV 版本的 0.09 和 0.31，表明 BEV 的优势主要是几何与效率，不是所有属性分布。原文第 14 页报告多视角版本运行时间超过 3 倍、训练耗时 9 天，而 BEV 版本训练 2 天；没有给出可在此核实的绝对端到端时延。原文 §5.1（第 12 页）用真实雷达训练 VoxelNeXt，再测试不同点云：真实数据 NDS 为 0.48，RadarGen 为 0.30，基线接近零。这检验了真实数据训练的检测器能否读取生成数据，不是用合成数据训练后在真实数据上测试，也没有证明数据增强带来真实集检测收益。

亮点与洞察¶

表示与逆过程成对设计。 平滑让雷达适合图像自编码器，已知卷积核又让恢复有明确约束；不能只优化图像重建而忽略最终点几何。
先对齐再生成。 将深度、语义、运动投影到 BEV，降低了雷达生成器学习跨视角对应的负担，但对齐质量依赖上游模型。
几何与属性需要联合评估。 较好的分布距离不必然意味着更好的物体覆盖，更高框命中率也不保证真实检测器达到原域性能。

局限与展望¶

作者明确承认依赖视觉基础模型，低照度、强反射与相机遮挡都会造成困难；实验排除了近乎不可见的黑暗片段，不能据雷达本身耐候就宣称整个流程耐候。
相机不可见区域可生成合理补全，也可能出现不可控幻觉；语义一致的定性示例不能替代对隐蔽区域错误回波的系统评估。
当前不建模显式雷达机制，且舍弃高度；生成处理后检测点不等于模拟完整 4D 雷达测量或原始信号处理链。
两时刻图像用于生成一个时刻的点云，不等于长视频雷达序列具有时序一致性；作者将视频、文本条件、多数据集及多雷达配置列为未来方向。
当前缓存未包含补充材料，nuScenes 结果、完整检测表、指标细则及更多实现参数未核验；速度与反卷积公式存在抽取损坏，未按猜测补写。

评分¶

新颖性: 4/5。将相机条件概率生成、可恢复 BEV 表示与雷达属性联合建模连接起来，贡献具有明确的模态针对性。
实验充分度: 4/5。涵盖几何、属性、分布、条件消融和检测兼容性，但主文的等条件对照与真实下游收益证据仍有限。
写作质量: 4/5。表示、条件和恢复之间的因果关系清楚，部分指标与实现细节依赖补充材料。
价值: 4/5。为视觉仿真添加雷达提供实用途径，但不能据此替代真实雷达采集或安全验证。