Open-Weather Robust 3D Detection via Dual-Critic Diffusion Alignment¶

会议: ECCV 2026
论文: ECCV 原文
PDF: EventHosts PDF
代码: https://github.com/Mangonn/DCDA
领域: 自动驾驶
关键词: 3D目标检测, 恶劣天气鲁棒性, 开放天气泛化, 激光雷达-4D毫米波雷达融合, 扩散对齐

一句话总结¶

针对恶劣天气下激光雷达点云退化及现有融合模型局限于封闭天气的瓶颈，提出双判别器引导的扩散对齐框架（DCDA），在无需成对数据和天气标签的条件下，利用4D毫米波雷达特征引导退化激光雷达特征向清晰流形恢复，显著提升未见天气类型与严重程度下的3D检测泛化能力。

研究背景与动机¶

恶劣天气（如大雾、暴雨、降雪等）是阻碍自动驾驶感知系统可靠落地的核心障碍之一。空气中的散射颗粒和地面积水不仅引发严重的多径散射与回波衰减，还会导致激光雷达（LiDAR）点云严重稀疏化与几何结构畸变，进而引起 3D 目标检测器性能骤降。虽然具有强穿透能力与全天候特性的 4D 毫米波雷达能够保留长距离测距和多普勒径向速度信息，推动了近年 LiDAR-4D 毫米波雷达融合检测架构的快速演化，但绝大多数现有方法都隐含依赖“封闭世界假说”——即假设测试阶段遭遇的天气类别与退化强度已在训练集中充分覆盖。

然而在真实世界的开放道路环境中，天气状况在类别与严重程度两个维度上均呈现高度连续且不可枚举的开放性（Open-Weather）。即便在同一天气类型（如降雪）内部，不同的降水强度亦会诱发截然不同的点云衰减模式；若仅针对特定预设退化进行过拟合微调，模型在遭遇未见过的极端或组合天气条件时往往会出现灾难性的泛化崩塌。

克服这一开放泛化鸿沟的核心矛盾在于：模型必须在不依赖成对“清晰-退化”点云监督信号与显式天气类别标签的前提下，从严重受损且信噪比剧烈波动的多模态输入中，恢复出具备强几何与语义表征能力的清晰特征。本文的切入角度是解耦具体天气模式建模，将特征恢复重新形式化为向清晰天气流形对齐的条件扩散过程。核心 idea：利用耐候的 4D 毫米波雷达特征作为条件输入驱动局部邻域扩散去噪，并通过冻结的任务判别器（语义约束）与天气对抗判别器（分布约束）构成的双判别器体系，在无需成对数据与天气标签的前提下将受损 LiDAR 特征平滑拉回清晰数据流形。

方法详解¶

整体框架¶

DCDA 聚焦于鸟瞰图（BEV）特征空间的跨天气流形对齐。整个框架主要由雷达条件扩散对齐网络（$\mathcal{A}_\theta$）、冻结的检测引导判别器（$H$）以及冻结的天气对抗判别器（$D$）三大模块协同构成。输入退化的原始 LiDAR 点云特征 $F_L$ 与对应的 4D 雷达特征 $F_R$ 后，系统并不从纯高斯白噪声开始无中生有地生成，而是从加噪后的局部观测 $F_T$ 启动反向去噪链，结合雷达先验逐步预测出贴合清晰流形的特征估计 $\tilde{F}_L$。在训练过程中，双判别器施加多层次正则约束；在推理部署时，判别器被复用为极低开销的自适应门控路由器，实现恶劣天气动态修复与晴朗天气零开销直通。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    InL["LiDAR BEV 特征 $F_L$"] --> Route{"轻量级天气判别器<br/>判断是否为晴天"}
    InR["4D 雷达特征 $F_R$"] --> DiffAlign
    Route -->|晴天置信度 $\ge \tau$ 旁路跳过| OutFuse["多模态融合特征"]
    Route -->|恶劣天气置信度 $<\tau$| DiffAlign["雷达条件扩散对齐网络<br/>逐步向清晰流形迭代去噪"]
    DiffAlign --> OutRefined["对齐后 LiDAR 特征 $\tilde{F}_L$"]
    OutRefined --> OutFuse
    OutRefined -.->|训练阶段反传梯度| TaskCritic["检测引导判别器<br/>约束物体语义与几何定位"]
    OutRefined -.->|训练阶段反传梯度| AdvCritic["天气对抗判别器<br/>拉近全域特征分布距离"]
    OutFuse --> DetHead["下游 3D 检测头输出目标框"]

关键设计¶

1. 雷达条件扩散对齐网络：在局部流形邻域内恢复退化几何结构

为了恢复被恶劣天气破坏的点云结构，传统基于 GAN 或单步映射的重构网络极易过拟合到训练集特定噪声类型，或引入幻觉伪影。DCDA 将特征修复构建为有限步数的扩散反向去噪过程。在正向阶段，输入 LiDAR 特征 $F_0 \equiv F_L$ 经过 $T$ 步预设高斯噪声微扰变为 $F_T$。与从随机白噪声采样的传统生成模型不同，DCDA 从带噪观测 $F_T \sim q(F_T | F_0)$ 启动反向链，这使得去噪轨迹严格局限在 $F_0$ 的局部邻域内，既保留了真实场景大尺度的拓扑与空间布局，又避免了扩散模型耗时冗长的问题（实验中 $T=3$ 即可满足精度要求）。

在反向迭代过程中，条件 U-Net 结构的网络 $\mathcal{A}_\theta$ 将当前步带噪特征 $F_t$ 与耐候性强的 4D 雷达特征 $F_R$ 沿通道拼接作为输入，直接预测晴朗流形特征估计 $\hat{F}_0^{(t)} = \mathcal{A}_\theta([F_t; F_R], t)$。为了避免雷达点云因固有底噪与低角分辨率带来的负迁移，同时保证特征修复过程不发生语义发散，模型引入自重构保真度损失： $$ \mathcal{L}_{\text{diff}} = |\tilde{F}_L - F_L|_2^2 $$ 该项作为基础的内容守恒正则项，稳定了特征底座，而真正的流形拉回动力完全交由双判别器驱动。

2. 双判别器流形引导机制：语义保真度与全局分布一致性的正交约束

仅依靠雷达条件和自重构无法指导模型向“未见过的恶劣天气之外的清晰域”迁移。DCDA 设计了两个完全冻结的互补判别器作为流形引导锚点。第一项是检测引导判别器（Detection-Guided Critic），直接复用在纯晴朗天气数据集上预训练成熟并冻结的检测头 $H$。将去噪特征 $\tilde{F}_L$ 输入 $H$ 计算标准 3D 目标检测损失 $\mathcal{L}_{\text{det}} = \mathcal{L}_{\text{cls}} + \mathcal{L}_{\text{reg}}$。因为 $H$ 仅对清晰天气下的目标响应敏锐，迫使 $\tilde{F}_L$ 必须落在能够被晴天检测器精确分类和回归的子空间中，从而提供严格的任务级语义和定位牵引。

第二项是天气对抗判别器（Weather Adversarial Critic），负责施加整体分布一致性约束。在预训练阶段，判别器 $\mathcal{D}$ 学习区分输入 LiDAR BEV 特征来自晴天域（Normal）还是非晴天域（non-Normal）。训练收敛后保持其权重冻结，并构建对抗引导损失： $$ \mathcal{L}{\text{adv}} = -\mathbb{E}_L)] $$ 在优化扩散对齐网络 }_L}[\log \mathcal{D}(\tilde{F$\mathcal{A}_\theta$ 时，梯度穿过冻结的 $H$ 与 $\mathcal{D}$ 反向传播，构成复合引导目标 $\mathcal{L}_{\text{crit}} = \mathcal{L}_{\text{det}} + \mathcal{L}_{\text{adv}}$。检测判别器把控局部实例的几何锐利度与类别边界，对抗判别器抹除恶劣天气在全局特征图上产生的斑驳伪影与衰减基线，二者协同将特征投影至清晰流形。

3. 两阶段训练流程与轻量化门控推理：兼顾收敛稳定性与部署效率

扩散对齐网络与双判别器的联合优化采取两阶段进阶策略。阶段一（清晰域先验预热）：仅在晴天样本上预训练 $\mathcal{A}_\theta$，联合优化 $\mathcal{L}_{\text{diff}} + \mathcal{L}_{\text{det}}$，使扩散网络在雷达条件辅助下首先学会晴天环境下的恒等映射与无损传递能力，奠定优化基石。阶段二（全域对抗对齐）：在完整训练集（包含晴天与已见恶劣天气）上微调 $\mathcal{A}_\theta$，总损失为： $$ \mathcal{L}{\text{total}} = \mathcal{L}}} + \lambda_1 \mathcal{L{\text{det}} + \lambda_2 \mathcal{L} $$ 在此阶段，}$\mathcal{L}_{\text{diff}}$ 的权重逐步退火衰减至 0，训练后期完全由判别器引导流形对齐。

在测试推理阶段，多次扩散迭代必然引入额外时延。DCDA 创新性地将预训练的天气判别器 $\mathcal{D}$ 重新赋予推理门控路由器的角色。计算当前原始特征的晴天置信度得分 $s = \mathcal{D}(F_L)$，设置门限 $\tau$：当 $s \ge \tau$ 时判定为清晰场景，直接旁路跳过扩散对齐模块；仅在 $s < \tau$ 时动态激活 DCDA 进行流形修复。该策略在保持 99.8% 路由准确率的同时大幅削减冗余推理开销。

实验关键数据¶

主实验¶

评估基于大型全天候数据集 K-Radar，包含 Normal、Overcast、Fog、Rain、Sleet、LightSnow、HeavySnow 等 7 种工况。针对开放天气设定，基线模型训练仅接触 Normal、Rain 与 Sleet（已见类别），而在 Fog、HeavySnow、LightSnow、Overcast 等未见真实天气上评测泛化性能（Sedan 类，IoU = 0.5）。

表 1：K-Radar 真实未见天气类型泛化（Type-open）性能对比（BEV AP / 3D AP，%）

方法	已见天气 (Normal)	未见天气 (Fog)	未见天气 (HeavySnow)	未见天气 (LightSnow)	未见天气 (Overcast)	未见天气平均
RTNH	35.64 / 21.69	72.43 / 10.36	31.63 / 11.12	61.93 / 9.79	64.96 / 28.57	57.74 / 14.96
InterFusion	67.65 / 42.88	62.05 / 34.26	24.36 / 11.52	56.40 / 28.96	71.22 / 40.51	53.51 / 28.81
SpikingRTNH	30.48 / 11.50	66.72 / 23.40	31.27 / 19.23	47.66 / 8.07	56.25 / 29.96	50.48 / 20.17
V2X-R	65.96 / 41.61	69.43 / 28.65	30.37 / 20.70	66.72 / 21.87	78.99 / 36.44	61.38 / 26.92
L4DR	68.33 / 44.71	81.32 / 36.73	31.74 / 21.88	74.81 / 29.60	80.42 / 49.85	67.07 / 34.52
DCDA (本文)	68.39 / 49.92	88.81 / 41.91	35.94 / 26.29	77.07 / 35.09	81.76 / 65.70	70.90 / 42.25

表 2：真实恶劣天气轻度到重度迁移实验（LightSnow $\to$ HeavySnow，%）

方法	训练配置	晴朗基准 (Normal)	极端暴雪测试 (HeavySnow)	性能相对提升 (HeavySnow)
L4DR	真实 Normal + LightSnow	71.61 / 51.20	30.57 / 16.57	基线
DCDA (本文)	真实 Normal + LightSnow	68.39 / 50.01	37.92 / 25.61	+7.35 BEV / +9.04 3D

表 3：K-Radar 核心模块消融实验（Type-open 协议下均值，%）

$\mathcal{L}_{\text{diff}}$	$\mathcal{L}_{\text{det}}$	$\mathcal{L}_{\text{adv}}$	已见天气 BEV AP	已见天气 3D AP	未见天气 BEV AP	未见天气 3D AP	说明
$\checkmark$			61.76	43.12	66.23	39.11	仅依赖扩散结构自重构
$\checkmark$	$\checkmark$		66.68	44.95	70.47	41.50	引入检测判别器（任务语义）
$\checkmark$		$\checkmark$	63.97	44.06	68.22	40.99	引入对抗判别器（流形分布）
$\checkmark$	$\checkmark$	$\checkmark$	66.77	45.47	72.65	42.25	完整双判别器引导 DCDA

关键发现¶

双判别器各司其职且高度互补：在消融实验中，仅使用扩散自重构 $\mathcal{L}_{\text{diff}}$ 时，未见天气的 3D AP 仅有 39.11%；单独加入检测语义判别器提升了 +2.39% 3D AP，单独加入对抗判别器提升了 +1.88% 3D AP；两者联合作用时达到了 42.25% 3D AP，证明语义聚焦与全局分布逼近缺一不可。
未见极端恶劣天气提升显著：在最为严苛的暴雪（HeavySnow）场景中，点云被大量杂波淹没，传统基线大多在 3D AP 上跌落至 20% 上下，而 DCDA 实现了 26.29%（相比 L4DR 提升 +4.41%）；在 LightSnow 训练转移到 HeavySnow 测试的真实实验中，3D AP 增益高达 +9.04%。
门控推理取得优异的精度与速度权衡：无对齐模块的基础模型推理延迟为 29.51 ms（33.89 FPS）；全量逐帧执行 3 步扩散使延迟上升至 70.86 ms（14.11 FPS）；启用基于天气判别器的轻量路由门控后，不仅晴天零回退，总体推理耗时压减至 59.59 ms（16.78 FPS），同时保留了 70.90% 的未见天气 BEV AP 表现。

亮点与洞察¶

从局部扰动出发的有限步扩散对齐：摒弃传统文生图/点云生成从随机白噪声出发的做法，DCDA 直接从原受损特征的轻度加噪态启动反向链，仅用 3 步迭代即兼顾了空间语义保真与跨天气对齐，兼具生成式修复的鲁棒性与判别式网络的几何稳定性。
“一物两用”的判别器推理路由设计：训练阶段用于施加全域分布拉拽的天气判别器，在推理阶段零额外参数地转化为置信度路由器，使得系统无需额外维护分类器即可在晴天自动旁路，化解了生成模型落地部署的算力瓶颈。
摆脱对成对标注与天气标签的重度依赖：不需要人工标定“晴天-雨雪”成对激光点云，也不依赖特定天气强度先验，纯粹通过自监督与预训练判别器的隐式流形牵引实现泛化，极易扩展到其他传感器与非受控场景。

局限与展望¶

极端几何信息湮灭下的修复上限：在极浓大雾或超厚积雪导致的极端几何衰减场景下，LiDAR 返回点可能近乎完全缺失。此时仅靠雷达的稀疏空间分辨率难以无中生有恢复细微边界，模型在极端 Heavy 等级下的增益相对收敛。
基准依赖合成天气辅助评测：由于现有真实全天候驾驶数据集在天气严苛度的精细分级标注上依然匮乏，部分连续严重程度评估仍借助了物理合成扰动，未来有待在更大规模的真实连续变化天气车队数据中进行充分验证。
多传感器模态扩展：目前框架主要基于 LiDAR 与 4D 雷达，若将其进一步扩展至环视相机-LiDAR-雷达全模态统一流形对齐，有望借助图像的丰富色彩与语义纹理进一步填补极端雷达噪声。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将流形扩散对齐与双判别器引入开放天气 3D 检测，思路极具创新]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖天气类别、严重程度及联合开放协议，包含完备的真实迁移与消融分析]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，图文对照清晰，问题定义与理论支撑扎实]
价值: ⭐⭐⭐⭐⭐ [直击自动驾驶恶劣天气长尾泛化痛点，对全天候鲁棒感知落地有重大参考价值]

\(\mathcal{L}_{\text{diff}}\)	\(\mathcal{L}_{\text{det}}\)	\(\mathcal{L}_{\text{adv}}\)	已见天气 BEV AP	已见天气 3D AP	未见天气 BEV AP	未见天气 3D AP	说明
\(\checkmark\)			61.76	43.12	66.23	39.11	仅依赖扩散结构自重构
\(\checkmark\)	\(\checkmark\)		66.68	44.95	70.47	41.50	引入检测判别器（任务语义）
\(\checkmark\)		\(\checkmark\)	63.97	44.06	68.22	40.99	引入对抗判别器（流形分布）
\(\checkmark\)	\(\checkmark\)	\(\checkmark\)	66.77	45.47	72.65	42.25	完整双判别器引导 DCDA