RT-SDGOD: Real-Time Single-Domain Generalized Object Detection¶

会议: ECCV 2026
论文: ECCV 原文
领域: 目标检测
关键词: 实时目标检测, 单域泛化, 多证据协同建模, DETR, 域偏移

一句话总结¶

针对实时检测器在跨天气与光照域迁移时因证据匮乏导致漏检率激增的痛点，本文提出无推理开销的 RT-SDGDet 框架，通过一对多正样本分组、可变形注意力证据多样性正则化（DEDL）与双视角证据互最近邻一致性对齐（DvECL），在纯训练期扩展并稳定目标级判别证据。

研究背景与动机¶

在自动驾驶与智能监控等对延迟极度敏感的真实落地场景中，目标检测器必须在严苛的计算预算、模型参数和推理时延限制下稳定运行。尽管以 YOLO 系列和实时 DETR 为代表的模型在单域基准上取得了优异的速度与精度权衡，但现实世界中复杂多变的天气、光照及成像质量退化往往带来严重的输入分布漂移，导致检测器性能急剧滑坡。传统的单域泛化目标检测（SDGOD）主要依赖两阶段架构、测试时自适应（TTA）或额外的辅助特征解耦分支，这些机制不可避免地引入显著的额外计算与显存开销，无法满足严格的实时部署需求。为此，本文形式化了更为严苛且契合工业部署的实时单域泛化目标检测（RT-SDGOD）设定，要求检测器仅利用单一源域的有标注数据训练，在测试阶段严格冻结推理流水线，不引入任何额外的计算、参数更新或自适应模块，将跨域泛化能力完全押注在训练期的表征学习上。

为了揭示基于 Transformer 的实时检测器在域漂移下的本质失效模式，作者针对基于集合预测的实时 DETR 模型开展了系统的误差归因与局部扰动敏感性分析。实证发现，当逐步加剧环境扰动模拟更严重的域漂移时，模型的类别混淆率保持在极低水平，假阳性率（误报）甚至略有下降，而真正主导性能崩溃的是假阴性率（漏检）的急剧上升。进一步借助 Grad-CAM 响应分析以及局部遮挡与模糊实验发现，高置信度预测高度依赖目标区域内极其局限的几处局部判别线索；一旦恶劣天气遮挡了这些脆弱的关键局部证据，或者成像退化造成局部表征偏移，检测置信度便发生断崖式下跌。换言之，现有模型对单一、脆弱的局部线索存在过度依赖，导致目标级证据覆盖面不足且在域迁移下极易失稳。

面对这一挑战，如果仅依靠传统的全局数据增强或无监督域合成，往往难以精准解决检测器在目标实例层面的证据局限性与脆弱性。解决 RT-SDGOD 的根本切入点在于促使检测器在训练阶段摆脱对孤立局部特征的狭隘依赖，从单个目标的多个互补视角与区域中协同挖掘更充分的证据，并确保这些判别证据在不同外观扰动下能够保持跨视角表征一致。核心 idea：利用一对多（O2M）监督构建目标级独占查询组，在解码器层显式提取包含注意力权重与采样坐标的判别证据描述符，通过组内多样性正则化（DEDL）强制多查询覆盖互补判别区域，并结合跨双视角的互最近邻匹配与一致性对齐（DvECL）稳固表征，全程零推理开销实现抗漏检的跨域泛化。

方法详解¶

整体框架¶

RT-SDGDet 建立在基于集合预测的实时检测基线 RF-DETR 之上，整体结构由骨干网络与编码器提取多尺度特征、解码器多层更新目标查询、以及无 NMS 的预测头组成。在推理阶段，模型严格保持基础检测器的前向结构，仅保留标准一对一（O2O）匹配路径输出预测框与类别，确保计算量与时延完全不变。在训练阶段，框架引入双视角输入与三项协同学习机制：首先通过一对多（O2M）标签分配为每个真实目标构建专属的查询组；接着在解码器的每一层，从可变形跨注意力中抽取显式证据描述符，利用判别性证据多样性学习（DEDL）约束同组不同查询关注不同的空间判别线索；最后在原始视角与增强视角之间利用描述符相似度建立跨视角对应关系，利用双视角证据一致性学习（DvECL）进行余弦相似度对齐。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["双视角输入<br/>原始视角 + 增强视角"] --> B["多尺度编码器<br/>多尺度特征提取"]
    B --> C["O2M 独占查询分组<br/>IoU与分类质量评分矩阵"]
    C --> D["判别性证据多样性学习 (DEDL)<br/>可变形跨注意力描述符 + 组内正交惩罚"]
    D --> E["双视角证据一致性学习 (DvECL)<br/>双向互最近邻匹配 + 特征余弦对齐"]
    E --> F["训练联合优化 / 纯净推理输出<br/>测试期零额外开销"]

关键设计¶

1. 基于一对多监督的独占查询分组：为单目标多证据协同构建稳定载体 标准 DETR 的一对一（O2O）匈牙利匹配迫使每个目标仅对应一个最佳查询，不仅正样本监督信号稀疏，也无法支持单一目标在多证据上的协同覆盖。为此，框架引入一对多（O2M）监督机制，但在分配逻辑上进行了独占性重构以支持稳定的多证据解耦。在解码器第 $l$ 层，首先结合查询预测框与真实框的 IoU 以及目标类别的分类置信度，计算匹配质量矩阵： $$T_{nq}^{(l)} = \lambda_{\mathrm{box}} \operatorname{IoU}(b_q^{(l)}, \bar{b}_n) + \lambda_{\mathrm{cls}} p_q^{(l)}(\bar{k}_n)$$ 其中 $\bar{b}_n$ 与 $\bar{k}_n$ 为第 $n$ 个真实目标的坐标与类别，$p_q^{(l)}(\bar{k}_n)$ 为对应的分类得分。为了避免查询在多个相近目标之间产生歧义竞争，分配策略先为每个真实目标分配一个专属且未占用的高质量查询保障初始覆盖，随后以贪心方式在满足互斥约束的前提下，为每个目标最多扩充分配 $W$ 个高质量查询，构成独占目标查询组 $\mathcal{G}_n^{(l)}$，并把 O2O 匹配查询合并其中。该设计确保了同组内的所有查询均对齐到同一实例，为后续在同个目标内部挖掘互补证据打下了稳定的分组基础。

2. 判别性证据多样性学习 (DEDL)：约束同组多查询解耦覆盖互补空间线索 为了克服检测器仅依赖少数脆弱局部线索的问题，必须显式引导同组内的多个查询去捕获目标的不同判别部位。直接在语义查询特征上做分散正则化容易混淆类别与定位语义，因此本文从解码器的可变形跨注意力中构建纯粹的证据描述符。可变形注意力权重 $w^{(l)}$ 反映了查询对采样点的依赖强度，而采样坐标 $x^{(l)}, y^{(l)}$ 决定了证据的空间物理来源。通过对各注意力头取平均后将扁平化权重与加权坐标拼接并进行 $\ell_2$ 归一化，得到证据描述符： $$\mathbf{E}^{(l)} = \operatorname{Norm}\left(\left[\mathbf{w}^{(l)},\; \mathbf{w}^{(l)} \odot \mathbf{x}^{(l)},\; \mathbf{w}^{(l)} \odot \mathbf{y}^{(l)}\right]\right)$$ 针对目标组内的一组归一化证据描述符 $\{\mathbf{e}_{n,i}^{(l)}\}_{i=1}^{S_n}$，DEDL 在解码器各层施加带裕度 $m$ 的成对内积惩罚： $$\mathcal{L}_{\mathrm{div}}^{(l)} = \frac{1}{N_l} \sum_{n=1}^{N_l} \frac{1}{S_n(S_n - 1)} \sum_{i \neq j} \max\left(0, \langle \mathbf{e}_{n,i}^{(l)}, \mathbf{e}_{n,j}^{(l)} \rangle - m\right)$$ 通过惩罚高于裕度 $m$ 的空间依赖重叠，同组查询被强制分散到目标的不同部位（如车辆的车头、车轮、车窗与车顶），极大扩展了目标级判别证据的覆盖面，使得模型在部分区域受恶劣天气干扰时仍能依赖其余完好证据完成检测。

3. 双视角证据一致性学习 (DvECL)：跨视角互最近邻匹配与特征鲁棒对齐 尽管 DEDL 促使各查询关注互补区域，但在雨雪雾等严重外观扰动下，这种局部线索的分工容易产生表征漂移。DvECL 旨在让具有相同证据焦点的查询在视角扰动下保持特征稳定性。训练时将原始源域图像与经由 MAD 扰动生成的增强图像送入共享模型，两者共享同一组真实目标标注。由于两视角下查询的生成顺序与组内索引完全不同，无法直接按序号对齐，模型利用前述证据描述符计算同目标跨视角的相似度矩阵： $$\mathbf{M}_n^{(l)}(i,j) = \langle \mathbf{e}_{n,i,\mathrm{src}}^{(l)}, \mathbf{e}_{n,j,\mathrm{aug}}^{(l)} \rangle$$ 基于该相似度矩阵，采用双向互最近邻（Mutual Nearest Neighbor）策略并设置阈值 $\tau$，只有当原始视角查询 $i$ 与增强视角查询 $j$ 互为彼此最相似项且内积大于 $\tau$ 时，才将其作为合法证据对 $\mathcal{P}^{(l)}$ 保留。随后在解码器各层对匹配查询的特征向量 $\mathbf{h}_{n,i,\mathrm{src}}^{(l)}$ 与 $\mathbf{h}_{n,j,\mathrm{aug}}^{(l)}$ 施加余弦距离一致性损失 $\mathcal{L}_{\mathrm{cons}}^{(l)}$。这一机制有效锚定了同一物理判别证据在不同外观退化下的特征不变性，抑制了域迁移引起的表征失稳。

损失函数 / 训练策略¶

模型的总体训练目标联合了检测任务损失与两项辅助正则化损失： $$\mathcal{L} = \mathcal{L}_{\mathrm{O2O}} + \lambda_{\mathrm{O2M}} \mathcal{L}_{\mathrm{O2M}} + \lambda_{\mathrm{DEDL}} \mathcal{L}_{\mathrm{DEDL}} + \lambda_{\mathrm{DvECL}} \mathcal{L}_{\mathrm{DvECL}}$$ 其中 $\mathcal{L}_{\mathrm{O2O}}$ 和 $\mathcal{L}_{\mathrm{O2M}}$ 分别包含对应的 Focal 分类损失以及 L1 与 GIoU 边界框回归损失。在训练配置上，以 RF-DETR-L 为基线架构，在 8 张 RTX 3090 GPU 上进行分布式数据并行训练，单卡批大小为 2，采用 8 步梯度累加（等效全局批大小 128）。优化器选用 AdamW，检测头与编码器基础学习率分别设为 $1 \times 10^{-4}$ 和 $1.5 \times 10^{-4}$，权重衰减 $1 \times 10^{-4}$，最大梯度裁剪范数设为 0.1。总计训练 48 个 epoch，在第 11 个 epoch 执行学习率衰减。损失权重超参数设定为 $\lambda_{\mathrm{box}} = 0.7$, $\lambda_{\mathrm{cls}} = 0.3$, $W = 6$, 相似度裕度 $m = 0.3$, 证据匹配阈值 $\tau = 0.8$, 正则项权重 $\lambda_{\mathrm{O2M}} = 0.5$, $\lambda_{\mathrm{DEDL}} = 0.5$, $\lambda_{\mathrm{DvECL}} = 0.3$。

实验关键数据¶

主实验¶

实验在经典 SDGOD 自动驾驶基准上展开，采用晴天白天（Daytime-Clear，包含 19,395 张训练图和 8,313 张测试图）作为单一源域，在四个未见目标域（夜间晴天 Night-Clear、白天雾天 Daytime-Foggy、黄昏雨天 Dusk-Rainy、夜间雨天 Night-Rainy）上测试跨域泛化能力。评价指标遵循领域规范采用 mAP@50。

方法	模型参数 (M)	GFLOPs	Daytime-Clear (源域)	Night-Clear	Daytime-Foggy	Dusk-Rainy	Night-Rainy	平均 mAP
YOLOv12-L	26.4	88.9	62.7	48.1	43.0	40.1	22.4	43.3
YOLOv13-L	27.6	88.4	61.8	47.3	42.2	40.4	23.1	43.0
LW-DETR-M	28.2	42.8	61.1	49.1	42.0	47.1	29.0	45.7
D-FINE-L	31.0	91.0	63.1	49.4	40.0	43.2	23.2	43.8
DEIM-L	31.0	91.0	64.1	50.3	43.0	43.6	24.8	45.2
DEIMv2-L	32.0	96.0	63.9	52.1	43.4	51.0	32.9	48.7
RT-DETRv3-R34	31.0	92.0	62.8	46.7	40.1	39.1	16.9	41.1
RT-DETRv4-L	31.0	91.0	65.9	52.2	43.5	47.7	27.5	47.4
RF-DETR-L (基线)	33.9	125.6	68.6	56.4	48.2	52.6	33.5	51.9
+ ABA	33.9	125.6	68.0	56.7	48.3	55.0	37.6	53.1
+ NP	33.9	125.6	68.8	57.2	48.6	55.0	36.5	53.2
+ MAD	33.9	125.6	68.7	57.1	48.9	54.7	36.9	53.3
+ OA-DG	33.9	125.6	68.3	56.7	48.6	54.8	34.1	52.5
+ SRA	33.9	125.6	68.3	56.2	49.9	54.7	36.0	53.0
+ PhysAug	33.9	125.6	68.4	56.9	48.1	55.2	37.4	53.2
RT-SDGDet (本文)	33.9	125.6	68.9	58.0	49.9	56.2	39.0	54.4

消融实验¶

针对核心设计组件与训练目标的逐步引入效果进行系统消融，各阶段在五种天气条件下的 mAP（%）如下：

配置	D-Clear (源域)	N-Clear	D-Foggy	D-Rainy	N-Rainy	平均 mAP	说明
RF-DETR-L (基线)	68.6	56.4	48.2	52.6	33.5	51.9	原始单域基准
+ O2M	68.6	56.7	48.7	53.9	34.4	52.5	增加正样本监督，稳定目标建模 (+0.6%)
+ O2M + DEDL	68.9	57.5	49.5	54.9	38.2	53.8	强制证据多样性，极度退化场景显著跃升 (+1.3%)
+ O2M + DEDL + DvECL (完整模型)	68.9	58.0	49.9	56.2	39.0	54.4	加入跨视角对齐，达到最优全域鲁棒性 (+0.6%)

此外，在漏检率（False Negative Rate, FNR）对比中，RT-SDGDet 将 RF-DETR-L 在五个域上的平均漏检率从 18.5% 显著压低至 15.7%（D-Foggy 从 28.6% 降至 24.5%，N-Rainy 从 26.7% 降至 21.6%），直接印证了多证据协同对抑制漏检的关键作用。

关键发现¶

恶劣域收益最显著：在退化最为剧烈的夜间雨天（N-Rainy）与黄昏雨天（D-Rainy），RT-SDGDet 相比 baseline 分别实现了 +5.5% 和 +3.6% 的大幅提升，而在较平缓的夜间晴天和雾天也有 +1.6% 和 +1.7% 的增长，说明证据多样性在局部信息重度受损时能提供决定性的容错能力。
模块贡献协同互补：单独添加 O2M 提供初步的多查询基底（+0.6%）；DEDL 激活多查询的分工互补，带来最大单项跃升（+1.3%，N-Rainy 独涨 +3.8%）；DvECL 则进一步巩固了跨扰动的一致性（+0.6%），三者递进耦合。
超参数敏感度温和可控：多样性裕度 $m \in [0.0, 0.5]$ 均优于纯 O2M 基线，在 $m=0.3$ 达到最优；过大的正则权重（如 $\lambda_{\mathrm{DEDL}} > 0.8$ 或 $\lambda_{\mathrm{DvECL}} > 0.5$）会对原始检测主任务造成轻微干扰，适中的平衡系数（0.5 与 0.3）表现最稳健。

亮点与洞察¶

问题形式化精准务实：明确切中工业落地的实时性死穴，将 SDGOD 的探索约束在推理流水线零修改、参数与计算量零新增的前提下，摆脱了以往学术界依赖繁重 TTA 或双阶段重型骨干的脱节方案。
证据显式化设计巧妙：避开混杂语义与定位的深层查询特征，直接利用可变形跨注意力的采样坐标与归一化权重构建物理意义明确的空间证据描述符，使组内正交性约束和跨视角互最近邻匹配在几何与注意力层面具备高度可解释性。
可复用的泛化思路：通过多正样本查询解耦并强制关注目标不同部位以增强抗遮挡与抗退化鲁棒性的范式，天然适配所有基于 DETR 架构的目标检测与实例分割模型，具有极强的架构迁移潜力。

局限与展望¶

基线模型依赖性：目前方法重度绑定可变形跨注意力机制以提取采样坐标与权重，若迁移至不具备显式空间采样网格的标准密集全局自注意力 DETR 或传统 CNN/YOLO 系列，需要重新设计证据提取机制。
计算资源消耗偏高：虽然测试期完全无开销，但训练阶段需要同时前向双视角图像并计算高维成对注意力描述符矩阵与互最近邻匹配，使显存占用与训练耗时有明显增加。
未来方向：可进一步探索将轻量级特征扰动代替双视角全图前向，以降低训练期计算开销；同时尝试将多证据协同机制推广至实时 3D 检测与多模态感知任务中。

评分¶

新颖性: ⭐⭐⭐⭐ [首次提出实时单域泛化目标检测设定，创新性地基于可变形注意力描述符实现多证据解耦与跨视角对齐]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 5 种光照天气场景、对比近 15 种先进实时检测器与域泛化方案，包含详尽的误差归因、消融与敏感性分析]
写作质量: ⭐⭐⭐⭐⭐ [逻辑链条严丝合缝，从漏检率归因到 Grad-CAM 实验再到模块设计层层推导，图表精美详实]
价值: ⭐⭐⭐⭐⭐ [对自动驾驶等严苛低延迟场景具有极高的工程落地价值与学术启发意义]