Contrastive Hypergraph Source-free Domain Adaptive Object Detection in Adverse Weather Conditions¶
会议: NeurIPS 2026
arXiv: 2610.24532
代码: https://github.com/reunion-sfda/reunion
领域: 目标检测
关键词: 目标检测, 无源域自适应, 超图神经网络, 对比学习, 恶劣天气
一句话总结¶
针对自动驾驶在雾、雨、雪与低照度等恶劣天气下源域数据不可访问的无源域自适应目标检测问题，提出超图对比学习框架 REUNION，通过多关系超图建模高阶上下文并借助超图 InfoNCE 损失促使语义信息由高置信实例向退化目标传播，在 Cityscapes-Adverse 等基准上取得显著优于现有方法的检测精度。
研究背景与动机¶
自动驾驶系统依赖可靠的视觉感知模块来支撑跟踪、运动预测与路径规划等安全关键下游任务，其中目标检测是不可或缺的底层感知基石。然而，在雨、雪、浓雾或夜间等恶劣天气与极端光照环境下，光线的散射、对比度衰减、色彩畸变与水汽遮挡等结构化视觉退化，导致在晴朗白天采集并标注的常规数据集上训练的目标检测器性能出现严重滑坡，尤其是在行人、骑行者、交通杆件和自行车等小尺寸或低对比度目标上漏检与误检频发。为了弥合域差异，无源域自适应（Source-free Domain Adaptation, SFDA）因兼顾数据隐私、传输带宽与存储限制，在工业部署中成为必然选择；它要求模型仅凭借在源域预训练好的检测器参数以及未标注的目标域图像完成自适应。
然而在恶劣天气场景下，传统的自适应范式面临双重失效困境。一方面，常规基于置信度阈值的伪标签过滤机制在强可见度退化下极易发生过度剪枝，大量真实的弱可见度前景目标因置信度偏低而被直接丢弃，丧失了参与自训练优化的机会；另一方面，现存多数 SFDA 方法依赖成对的实例级对比学习或一致性正则化，面对雨雾造成的重度特征畸变与不对称数据增强时，成对关联极易陷入“一致性崩溃”（Agreement Collapse），错误地拉近语义不相符的样本对并持续强化自训练中的确认偏差（Confirmation Bias）。
针对个体目标外观严重不可靠的瓶颈，本文的核心切入点在于利用驾驶场景中天然存在的群体级拓扑不变性与高阶语义上下文：即同一图像内物体的空间共现、同类天气下的统计分布共性以及高置信实例形成的潜空间语义邻域。核心 idea：将恶劣天气无源域自适应检测重构为对比超图学习机制，构建包含图像内上下文、天气分组、类别原型与不确定性链接的多关系超图，并利用组级 Hyper-InfoNCE 目标驱动语义先验从清晰高置信候选框向受损低置信候选框自适应扩散。
方法详解¶
整体框架¶
REUNION 构建在均值教师（Mean-Teacher）自训练框架之上，包含结构相同的学生检测网络 \(F_\theta\) 与教师网络 \(F_\phi\)。学生模型通过梯度下降更新，教师模型通过指数移动平均（EMA）保持平滑演进并生成伪标签。为了扩增无标注目标域多样性，框架首先利用冻结的上下文生成扩散模型 FLUX.1 KONTEXT 为输入图像生成保持空间几何布局的多天气一致性视图。在自适应阶段，检测器 RPN 提取候选区域框，框架在候选框集合上构建融合多种物理与语义属性的对比超图，通过超图神经网络（HGNN）消息传递对候选框特征进行结构正则化，最终联合无监督检测损失、知识蒸馏损失以及超图引导的 Hyper-InfoNCE 对比损失联合驱动学生网络更新。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入目标域图像及扩散生成的多天气变体"] --> B["Mean-Teacher候选框提取与特征编码"]
B --> C["多关系超图拓扑构建<br/>图内上下文+天气感知+原型锚点+不确定性链接"]
C --> D["超图消息传递与特征正则化<br/>高置信向低置信特征扩散聚合"]
D --> E["超图引导的 Hyper-InfoNCE 对比优化"]
E --> F["联合无监督检测与KD蒸馏更新学生模型"]关键设计¶
1. 空间与域上下文感知超图拓扑构建：打破传统成对边的拓扑表征局限
传统图模型仅能编码样本点对间的二元几何关系，在恶劣天气驾驶场景中极难捕捉群体层次的上下文协同。REUNION 在 mini-batch 内展平的所有目标候选框 \(\mathcal{B} = \{\mathbf{B}_p\}_{p=1}^{N_b}\) 上定义加权超图，设计了三种互补的结构超边： - 特征近邻超边 \(\mathcal{E}_{\text{fea}}\)：在嵌入特征空间中将每个候选框连接到其 \(K\) 阶最近邻，捕获局部潜空间几何流形。 - 图像内超边 \(\mathcal{E}_{\text{img}}\)：将同一张输入图像内由 RPN 生成的所有目标候选框组织到同一个超边中，约束整幅道路画面的空间拓扑协同与共现几何不变性。 - 天气感知超边 \(\mathcal{E}_{\text{wea}}\)：将 batch 内具有相同离散天气属性标签（由轻量级天气分类器识别或元数据提供）的候选框连接成超边，强制模型在跨样本维度对齐天气特异性的分布统计量，学得天气不变性表示。 通过上述三种超边的组合 \(\mathcal{E} = \mathcal{E}_{\text{fea}} \cup \mathcal{E}_{\text{img}} \cup \mathcal{E}_{\text{wea}}\)，构造超图关联矩阵 \(\mathbf{H} \in \{0,1\}^{N_b \times |\mathcal{E}|}\)，诱导出邻接矩阵 \(\mathbf{A}_{p,q} = \sum_{e \in \mathcal{E}} w_e \mathbf{H}_{p,e} \mathbf{H}_{q,e}\)。
2. 原型锚定与不确定性感知超边：引导高置信特征向模糊低质目标扩散
恶劣天气最核心的失效现象是低能见度导致真实目标分类置信度极低，进而被直接截断。为了拯救这些边界模糊、弱对比度的长尾真阳性实例，REUNION 引入语义级原型超边与不确定性感知连接： - 原型语义锚点：为每个类别 \(c\) 与天气类型 \(w\) 维护动态特征原型 \(\boldsymbol{\mu}_{c,w}\)，利用 EMA 在批次高置信样本上进行平滑更新。若候选框特征 \(\mathbf{z}_p\) 与该原型的余弦相似度超过阈值 \(\tau_{\text{proto}}\)，即纳入原型超边 \(\mathcal{E}_{\text{proto}}\)，锁定恶劣天气下的全局类内聚合心智。 - 不确定性感知超边：采用归一化预测熵度量教师模型的不确定性 \(\mathcal{H}_p = -\frac{1}{\log C}\sum_{c} f_\phi(\mathbf{B}_p)_c \log f_\phi(\mathbf{B}_p)_c\)。对于低置信度候选框，动态连接同类同天气的 \(K\) 个高置信邻居（实验默认 \(K=10\)），构建超边 \(\mathcal{E}_{\text{unc}}\)，其边权重正比于熵值 \(\mathcal{H}_p\)。
在构筑的超图上，执行一层超图卷积消息传递： $\(\mathbf{Z}^{(l+1)} = \sigma\left(\tilde{\mathbf{D}}^{-1/2}\tilde{\mathbf{A}}\tilde{\mathbf{D}}^{-1/2}\mathbf{Z}^{(l)}\mathbf{W}^{(l)}\right)\)$ 其中 \(\tilde{\mathbf{A}} = \mathbf{A} + \mathbf{I}\) 包含自环自连接，\(\tilde{\mathbf{D}}\) 为相应度矩阵。通过该前向传播机制，处于恶劣天气阴影、雾霾遮蔽下的低置信度候选框能够聚合全局语义先验与空间拓扑邻居的高质量表征，有效抵御自训练漂移。
3. 组级超图对比目标（Hyper-InfoNCE）：抑制噪声伪标签与一致性崩溃
为了规避成对对比学习在重度噪声下迫使语义失配样本对强行对齐的缺陷，REUNION 提出组级超图 InfoNCE 优化目标。给定锚点候选框 \(p\)，其正样本候选集根据超图连通性与一致伪标签共同界定： $\(\mathcal{P}_p = \{q \mid q \neq p, \mathbf{A}_{p,q} > 0, \hat{\mathbf{c}}_q = \hat{\mathbf{c}}_p\}\)$ 根据诱导邻接权值计算每个正样本的归一化权重 \(\tilde{w}_{p,q} = \frac{\mathbf{A}_{p,q}}{\sum_{k \in \mathcal{P}_p} \mathbf{A}_{p,k} + \epsilon}\)，并在学生与教师多视角特征间最小化加权对比损失： $\(\mathcal{L}_{\text{HG-NCE}}(p) = -\sum_{q \in \mathcal{P}_p} \tilde{w}_{p,q} \log \frac{\exp\left(\text{sim}(\mathbf{z}^S_p, \mathbf{z}^T_q)\right)}{\sum_{k \neq p}\exp\left(\text{sim}(\mathbf{z}^S_p, \mathbf{z}^T_k)\right)}\)$ 该目标将归一化分母扩展到同一 mini-batch 内所有其他候选框负样本，促使学生模型不仅拉近同类超图拓扑强相关的特征群簇，更与语义无关或非连通的噪声背景强力解耦，根本性解决了成对对比学习在恶劣天气下的表征崩溃问题。
损失函数 / 训练策略¶
REUNION 的总体优化目标由三部分构成： 1. 无监督伪标签检测损失 \(\mathcal{L}_{\text{det}}\)：由教师预测的分类与边界框回归伪标签对学生模型进行监督，平衡权重设为 \(\lambda = 1.0\)。 2. 软标签知识蒸馏损失 \(\mathcal{L}_{\text{KD}}\)：在学生与教师模型分类 logits 之间通过温度系数 \(\tau_{\text{KD}}\) 计算 KL 散度，保留类别概率分布暗知识。 3. 超图对比损失 \(\mathcal{L}_{\text{HG}}\)：对所有拥有非空正样本集合的锚点计算平均组级对比损失 \(\mathcal{L}_{\text{HG}} = \frac{1}{|\mathcal{I}|}\sum_{p \in \mathcal{I}} \mathcal{L}_{\text{HG-NCE}}(p)\)。
整体自适应训练基于 Detectron2 实现，采用 ResNet-50 骨干网络与 Faster R-CNN 架构，初始学习率设为 0.04，教师更新动量系数设为 \(\alpha = 0.9996\)。
实验关键数据¶
主实验¶
在代表性的城市全天候无源自适应任务（Cityscapes 白天清晰源域 \(\rightarrow\) Cityscapes-Adverse 7类恶劣天气目标域）以及仿真到真实恶劣场景的 Sim2Real 跨域任务上进行评估，主要评测指标为 IoU=0.5 下的平均精度（mAP / AP）。
表 1：Cityscapes \(\rightarrow\) Cityscapes-Adverse 全天气条件无源域自适应目标检测性能对比（ResNet-50 骨干网，AP以百分比计）
| 类型 | 方法 | 日间多雨 | 日间降雪 | 日间大雾 | 日间沙尘 | 夜间晴朗 | 夜间多雨 | 夜间大雾 | 平均 mAP |
|---|---|---|---|---|---|---|---|---|---|
| 下界参考 | Source-Only | 15.9 | 16.1 | 20.8 | 3.0 | 9.2 | 6.4 | 5.5 | 11.0 |
| 上界参考 | Oracle（全监督） | 41.9 | 50.9 | 48.1 | 45.7 | 39.7 | 35.5 | 37.1 | 42.7 |
| 有源 UDA | MIC (CVPR 2023) | 21.0 | 23.2 | 29.9 | 26.2 | 17.3 | 10.9 | 13.8 | 20.3 |
| 有源 UDA | 2PC (CVPR 2021) | 37.4 | 31.3 | 42.5 | 17.0 | 27.9 | 28.6 | 22.1 | 29.5 |
| 有源 UDA | ALDI (TMLR 2025) | 39.8 | 36.0 | 54.1 | 44.0 | 35.5 | 27.9 | 26.6 | 37.7 |
| 无源 SFDA | LPLD (ECCV 2024) | 25.4 | 25.3 | 34.9 | 30.7 | 22.7 | 13.9 | 19.3 | 24.6 |
| 无源 SFDA | Mean Teacher (NeurIPS 2017) | 26.1 | 26.7 | 37.8 | 26.9 | 24.1 | 12.9 | 19.0 | 24.8 |
| 无源 SFDA | DRU (ECCV 2024) | 32.1 | 30.6 | 42.4 | 32.3 | 27.1 | 16.5 | 20.7 | 28.8 |
| 无源 SFDA | SF-UT (ECCV 2024) | 30.8 | 33.1 | 48.0 | 37.9 | 29.0 | 14.5 | 23.6 | 31.0 |
| 无源 SFDA | IRG (CVPR 2023) | 35.0 | 33.0 | 33.8 | 34.4 | 30.4 | 31.8 | 27.6 | 32.3 |
| 无源 SFDA | REUNION (本文) | 43.7 | 38.2 | 53.9 | 45.7 | 36.1 | 26.6 | 30.8 | 39.3 |
在 Sim10k \(\rightarrow\) Cityscapes-Adverse 的跨域车检（Car AP）任务中，REUNION 取得 42.6% AP，优于同类最强 SFDA 标杆 IRG（40.8%）与 SF-UT（39.7%），并超越了大部分需要访问源域图像的有源 UDA 方法（如 2PC 的 31.2% 和 AT 的 28.4%）。
消融实验¶
表 2：框架关键设计组件消融实验（Cityscapes-Adverse 评测）
| 配置 | 成对增强 | 候选框级 HGNN | 语义级 HGNN | Hyper-InfoNCE | AP | \(\text{AP}_L\)（大目标） | \(\text{AP}_S\)（小目标） | \(\text{AP}_M\)（中目标） | 说明 |
|---|---|---|---|---|---|---|---|---|---|
| 基线模型 | - | - | - | - | 30.0 | 28.6 | 6.9 | 10.7 | 弱-强自训练基础基线 |
| +成对增强 | ✓ | - | - | - | 34.1 | 30.7 | 7.5 | 10.8 | 传统成对对比，存在一致性崩溃风险 |
| +候选框超图 | ✓ | ✓ | - | - | 37.1 | 33.0 | 7.9 | 11.0 | 引入图像内与天气结构约束，大幅提点 +3.0% |
| +原型超图 | ✓ | ✓ | ✓ | - | 37.9 | 33.7 | 8.1 | 11.6 | 原型提供跨域全局语义锚点 |
| +前向超图聚合 | ✓ | ✓ | ✓ | - | 38.7 | 34.1 | 8.2 | 11.5 | 仅用超图卷积聚合先验已达到极佳性能 |
| 完整框架 | ✓ | ✓ | ✓ | ✓ | 39.3 | 34.6 | 8.4 | 11.1 | 超图对比损失强化判别性表征，达最优性能 |
表 3：各超边类型增量消融分析（Cityscapes-Adverse 评测）
| 特征超边 \(\mathcal{E}_{\text{fea}}\) | 图像内超边 \(\mathcal{E}_{\text{img}}\) | 天气感知超边 \(\mathcal{E}_{\text{wea}}\) | 原型超边 \(\mathcal{E}_{\text{proto}}\) | 不确定性超边 \(\mathcal{E}_{\text{unc}}\) | AP | \(\text{AP}_L\) | \(\text{AP}_S\) | \(\text{AP}_M\) |
|---|---|---|---|---|---|---|---|---|
| ✓ | - | - | - | - | 37.2 | 33.0 | 7.9 | 11.1 |
| ✓ | ✓ | - | - | - | 37.4 | 33.2 | 8.1 | 11.6 |
| ✓ | ✓ | ✓ | - | - | 37.9 | 33.7 | 8.1 | 11.6 |
| ✓ | ✓ | ✓ | ✓ | - | 38.8 | 33.7 | 7.9 | 9.3 |
| ✓ | ✓ | ✓ | ✓ | ✓ | 39.3 | 34.6 | 8.4 | 11.1 |
关键发现¶
- 高阶拓扑对自适应鲁棒性至关重要：仅利用常规成对对比策略仅能达到 34.1% AP，而成对策略在恶劣天气重度退化下容易发生表征崩溃；引入超图建模后一跃提升至 38.7% AP，表明图像内共现与天气不变性等高阶关联能有效约束伪标签空间。
- 不确定性引导的特征传播有效挽救弱可见度目标：在不确定性超边消融中，将邻居数量 \(K\) 设为 10 达到最优；过小（\(K=6\)，\(AP_L=33.1\%\)）无法提供足够上下文支撑，过大（\(K=14\)，\(AP_L=32.7\%\)）则会引入跨类误连噪声。
- 相比通用大模型，专用 SFDA 依然具有显著优势：在极端天气与低光照测试中，通用视觉大语言模型（如 GPT-4o 目标检测 AP 为 0.0%，Qwen 2.5-VL 为 0.0%，Qwen 3.0-VL 为 31.6% \(AP_L\)）在小尺度与恶劣天气稠密检测上表现脆弱，而 REUNION 在无源小尺寸目标（\(\text{AP}_S=8.4\%\)）和大尺寸目标（\(\text{AP}_L=34.6\%\)）上均展现出明显优势。
亮点与洞察¶
- 多关系超图重构表征学习：巧妙地将恶劣天气下不可靠的独立目标检测，转化为基于超图拓扑的高阶上下文聚合问题，通过结构一致性弥补了单目标视觉退化。
- 不确定性驱动的自适应传播：打破了常规 SFDA 粗暴剔除低置信目标的思维定势，利用熵值权重将不确定性候选框绑定到可靠的高置信邻居上，实现了稳健的知识迁移。
- 通用的免训练数据增广流：在无源环境下借助冻结的 FLUX.1 KONTEXT 扩散模型合成保真几何布局的多天气视角，无需重新训练生成器即可增强跨天气结构一致性。
局限与展望¶
- 极端复合天气下的性能衰减：在诸如“夜间多雨”（26.6% AP）等伴随强反光与多重物理退化的极端复合场景下，性能相比日间仍有明显落差，伪标签噪声依然较为显著。
- 离散天气标签依赖：方法当前假定预先拥有离散的天气分类先验（如雾、雨、雪），在面临连续过渡或未定义的气象退化时，天气感知超边的构建可能受到影响。
- 超图计算开销与轻量化：超图卷积和批次内全体候选框邻接矩阵运算增加了显存和计算负担，未来可探索更轻量、局部的超图消息传递机制以适配车载端侧实时部署。
相关工作与启发¶
- vs IRG (CVPR 2023)：IRG 采用基于二元实例关系图（Instance Relation Graph）的图注意力进行适应；本文拓展至超图（Hypergraph）形式，能够同时编码图像级全局布局、天气群组统计以及动态类别原型，有效克服了传统图模型只能捕捉两两节点关系的拓扑短板。
- vs LPLD (ECCV 2024) / MixLRCo：现有低置信度利用方法主要通过修改自训练权重或软蒸馏；REUNION 则将低置信度候选与高置信实例直接在超图中构建不确定性显式拓扑连边，在特征层面实现物理引导的先验补全。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 超图拓扑在无源域自适应检测任务中的应用十分契合恶劣天气场景下的鲁棒表征需求，机制设计严密。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 种天气条件、Sim2Real 迁移、细粒度物体尺度分析、多关系消融以及与最新多模态大模型的对比，证据链完整。
- 写作质量: ⭐⭐⭐⭐⭐ 叙述流畅，公式推导严谨自洽，方法论与物理动机贴合紧密。
- 价值: ⭐⭐⭐⭐☆ 为自动驾驶与智能载具在复杂极端环境下的安全感知提供了高实用价值的鲁棒落地范式。