FSDC-DETR: A Frequency-Spatial Domain Collaborative DETR for Small-Object Detection¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/nevereverinsomnia/FSDC-DETR
领域: 目标检测
关键词: 小目标检测、检测Transformer、频域空间协同、多尺度特征融合、小波变换

一句话总结¶

针对小目标检测中因空间聚合与降采样导致的高频细节衰减与频谱混叠问题，FSDC-DETR 提出了频域与空间域显式协同建模框架，通过双分支自适应融合、分流跨尺度特征交互及小波动态下采样，在 VisDrone-DET2019 和 AITODv2 上分别取得 31.1 AP 与 32.3 AP，大幅刷新小目标检测 SOTA。

研究背景与动机¶

小目标检测（Small Object Detection, SOD）广泛应用于无人机航空侦察、卫星遥感、工业缺陷检测和智慧交通等真实场景中。与一般尺度目标不同，小目标在图像中占据的像素极少（如 AITODv2 中平均目标尺寸仅 12.7 像素，86% 的实例小于 16 像素），信噪比低且易受复杂背景干扰。近年来基于 Transformer 的端到端检测器（如 RT-DETR、DEIM、D-FINE）省去了人工设计的锚框与 NMS 后处理，大幅提升了检测速度与全局语义建模能力，然而在直接迁移到小目标任务时仍面临严重的性能衰减。

现有检测器处理小目标的瓶颈在于其特征表征机制与尺度变换方式。具体而言，以 DINOv3 为代表的视觉 Transformer（ViT）依赖全局自注意力聚合，本质上表现为强烈的低通滤波特性，容易平滑局部高频边界；而以 HGNetv2 为代表的卷积网络（CNN）虽具有局部高频敏感性，但缺乏大范围上下文。像 DEIMv2 这样的双分支模型直接将 CNN 与 ViT 特征拼接并经由普通卷积投影，忽略了两种异构表征之间的频域差异与混叠；加之现有混合编码器（Hybrid Encoder）在跨尺度特征融合与空间下采样时普遍采用步长卷积或平均池化，造成边缘、纹理等判别性高频细节在层级传递中被过早截断和衰减。

针对上述频域信息丢失与混叠退化，本文重新审视了检测器骨干与多尺度编码器中的频域-空间域互补关系，不再依赖隐式的卷积平滑，而是将频域与空间域特征的构造、传递与保持进行全流程显式协同。核心 idea：构建频域与空间域显式协同检测 Transformer（FSDC-DETR），在前级通过频域动态卷积与通道精炼自适应融合双分支异构特征，在编码器中解耦分流频域与空间跨尺度交互，并结合可学习离散小波与分组卷积构建动态下采样，从根本上阻断小目标高频信号的衰减与混叠。

方法详解¶

整体框架¶

FSDC-DETR 建立在 DEIMv2 架构基底之上，包含双分支主干网络（CNN + ViT）、频域-空间协同混合编码器（FSC-Hybrid Encoder）以及标准 Transformer 解码器。输入图像首先分别送入 HGNetv2（提取局部细节与高频信息）与 DINOv3（提取全局低频语义先验），在多尺度特征层 P2 到 P5 处由双分支频域-空间自适应融合模块（DBFSAF）进行异构特征频域对齐与空间选择性精炼；精炼后的多尺度特征输入混合编码器，通过分流频域-空间特征融合模块（SFS-FF）实现跨尺度双向语义与频域交互；在各层级分辨率缩放过程中，引入频域-空间动态下采样（FSD-Down）替代常规步长卷积，确保高频纹理在降采样时不发生频谱混叠；最终经处理的多尺度特征传递至解码器完成匈牙利匹配与预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 (800×800)"] --> B1["HGNetv2 分支<br/>保留局部高频信息"]
    A --> B2["DINOv3 分支<br/>提取全局低频语义"]
    B1 --> C["双分支频域-空间自适应融合 (DBFSAF)<br/>频域动态卷积与部分通道协同精炼"]
    B2 --> C
    C --> D["频域-空间协同混合编码器 (FSC-Hybrid Encoder)"]
    subgraph D ["频域-空间协同混合编码器"]
        direction TB
        D1["分流频域-空间特征融合 (SFS-FF)<br/>FFT频域滤波与空间结构分流聚合"]
        D2["频域-空间动态下采样 (FSD-Down)<br/>DWT小波分频与分组卷积保持高频"]
        D1 <--> D2
    end
    D --> E["DETR 解码器与检测头<br/>集合预测与边界框回归"]
    E --> F["输出检测框与类别"]

关键设计¶

1. 双分支频域-空间自适应融合（DBFSAF）：频域多样化与部分通道协同精炼

针对 CNN 与 ViT 双分支拼接后存在的频谱分布不兼容与高频截断痛点，DBFSAF 没有采用粗暴的直接相加或简单 1×1 卷积，而是设计了频域动态卷积（FDConv）配合部分频域-空间精炼（PFSR）机制。对于阶段 \(P \in \{2, 3, 4, 5\}\) 的 CNN 特征 \(F^P_L\) 与 ViT 特征 \(F^P_H\)，首先拼接后经由 FDConv 自适应调整滤波器在不同空间区域与频带的权重，使得平滑背景与小目标边缘获得不同的频率增益。为了避免全通道重计算引入冗余和延迟，模块采用通道分割参数 \(\gamma\)（实验验证最佳为 0.5），将特征切分为保留直通分支 \(F_C^P\) 与交互精炼分支 \(F_{FS}^P\)：

\[\hat{F}_{\mathbf{C}}^P, F_{\mathbf{FS}}^P = \text{Partial}_\gamma\left(\text{FDConv}\left(\text{Concat}[F_L^P, F_H^P]\right)\right)\]

对精炼分支 \(F_{FS}^P\)，分别送入多核空间精炼单元（MKSRU）和频域处理单元（FPU）。MKSRU 结合多空洞率（dilation rates 1, 2, 3）的 \(5\times 5\) 与 \(7\times 7\) 深度可分离卷积，多尺度捕获小目标的微弱空间结构；FPU 则在频域提取敏感响应。两者的输出通过通道注意力与 Hadamard 积自适应调制后，与 \(F_C^P\) 拼接复原，既保障了高频微小线索的保留，又严格控制了计算量。

2. 分流频域-空间特征融合（SFS-FF）：跨尺度结构感知与频域交互传递

在混合编码器的跨层级特征融合过程中，传统卷积容易模糊细粒度纹理。SFS-FF 采取分流解耦处理策略，将当前层输入特征 \(F_{\text{in}} \in \mathbb{R}^{C \times H \times W}\) 与经过下采样的上层特征拼接后，利用 \(1\times 1\) 卷积将通道划分为三个专门通路：空间精炼通路 \(F_S\)（分配 \(C/2\) 通道）、频域精炼通路 \(F_F\)（分配 \(3C/8\) 通道）以及直通残差通路 \(\acute{F}\)（分配 \(C/8\) 通道）。

空间精炼通路 \(F_S\) 送入空间精炼模块（SRM）强化几何边界，而频域通路 \(F_F\) 则通过 2D 快速傅里叶变换（FFT）映射至频域，在频域空间应用 \(3\times 3\) 卷积执行频谱加权滤波，随后通过逆傅里叶变换（IFFT）还原至空间域：

\[F_{\mathbf{out}} = \text{Conv}_{1\times 1}\left(\text{Concat}\left[\text{IFFT}(\text{Conv}_{3\times 3}(\text{FFT}(F_S))), \text{SRM}(F_F), \acute{F}\right]\right)\]

这种分流处理机制使得空间上下文建模与频域高低频能量调制互不干扰，并在融合端协同重组，有效增强了微弱目标在深层特征中的表征显著性。

3. 频域-空间动态下采样（FSD-Down）：小波分频与分组卷积保持高频一致性

常规跨尺度特征降采样采用步长为 2 的卷积或平均池化，平均池化作为低通滤波器会直接抹杀细小边界，而步长卷积在下采样时极易造成频谱混叠。FSD-Down 结合离散小波变换（DWT）与分组卷积（GConv），在降低分辨率的同时完整保留亚频带信号。

模块首先通过 Haar 2D-DWT 将输入特征 \(F_{\text{in}}\) 无损分解为 4 个下采样至 \((H/2 \times W/2)\) 的子频带：低频近似分量 \(F_{LL}\) 以及水平 \(F_{LH}\)、垂直 \(F_{HL}\)、对角线 \(F_{HH}\) 三个高频细节分量；并行路径上使用核大小为 2、步长为 2 的通道分组卷积保留空间结构几何一致性。随后利用全局平均池化（GAP）与 Sigmoid 计算跨域通道注意力权重 \(F_{\mathbf{CA}}\)，结合可学习缩放因子 \(\rho\) 对高频小波子带与分组卷积特征进行动态重加权：

\[F_{\mathbf{CA}} = \sigma\left(\text{GAP}\left(\text{Concat}\left[\text{DWT}(F_{\mathbf{in}}), \text{Conv}_{1\times 1}(\text{GConv}(F_{\mathbf{in}}))\right]\right)\right)\]

通过频带显式重组与动态校准，小目标的边缘、尖锐角点等高频成分在尺度跨越下被完整护送，彻底消除了下采样过程中的细节截断效应。

损失函数 / 训练策略¶

FSDC-DETR 遵循 DEIMv2 的端到端训练设置，损失函数包含分类损失与边界框回归损失。模型在 8 张 NVIDIA H200 GPU 上进行 100 epoch 的全流程训练，batch size 为 64，输入分辨率固定为 \(800 \times 800\)。优化器采用 AdamW，初始学习率设为 \(5 \times 10^{-4}\)，动量 0.9，权重衰减为 \(1.25 \times 10^{-4}\)。在数据增强方面，结合了 ColorJitter、Zoom-out、Mosaic、MixUp 以及针对密集小目标的 CopyBlend 技术；在前 50% 的训练周期中开启密集一对一（dense O2O）匹配以加速二分匹配收敛，后 50% 周期禁用；并在最后 2 个 epoch 关闭所有数据增强，确保模型精确拟合真实数据分布。

实验关键数据¶

主实验¶

在两个极具挑战性的小目标与无人机航拍基准数据集（VisDrone-DET2019 和 AITODv2）的官方测试集上，FSDC-DETR 与当前最先进的实时期检测器及 DETR 系列模型进行了全面对比。输入分辨率均为 \(800 \times 800\)。

数据集	模型	参数量 (M)	AP	AP50	AP75	APS	APM	APL
VisDrone-DET2019	YOLOv11-L	25.3	22.6	37.3	23.5	12.5	33.2	47.8
VisDrone-DET2019	D-FINE-L	31.0	26.1	45.6	26.4	15.8	37.5	53.6
VisDrone-DET2019	DEIMv2-L (基线)	32.0	24.7	43.3	24.6	14.2	35.4	52.7
VisDrone-DET2019	RT-DETRv4-L	31.0	26.4	45.7	26.7	16.1	37.3	49.3
VisDrone-DET2019	FSDC-DETR (本文)	40.3	31.1	52.3	31.9	21.0	41.8	58.1
AITODv2	YOLOv11-L	25.3	17.6	35.9	15.1	16.6	33.0	-
AITODv2	D-FINE-L	31.0	25.1	56.2	18.8	23.9	43.2	-
AITODv2	DEIMv2-L (基线)	32.0	25.7	55.7	20.6	24.4	43.7	-
AITODv2	RT-DETRv4-L	31.0	26.8	58.3	20.6	23.0	44.5	-
AITODv2	FSDC-DETR (本文)	40.3	32.3	63.9	28.7	31.3	48.5	-

消融实验¶

在 VisDrone-DET2019 测试集上对所提出的三个核心模块开展逐步累加与组合消融研究，基线为 DEIMv2-L：

配置	DBFSAF	SFS-FF	FSD-Down	AP	AP50	AP75	APS	APM	APL	说明
基线模型 (DEIMv2-L)	✗	✗	✗	24.7	43.3	24.6	14.2	35.4	52.7	原始拼接与传统下采样
+ DBFSAF	✓	✗	✗	29.7	49.7	30.5	19.8	40.6	55.5	AP大幅增加 5.0 点
+ SFS-FF	✗	✓	✗	25.9	44.9	26.0	15.5	36.8	53.7	频域分流跨尺度交互增益
+ FSD-Down	✗	✗	✓	25.4	44.2	25.6	15.1	36.4	52.9	替代步长卷积降采样
双模块组合 A	✗	✓	✓	26.3	45.5	26.4	16.4	37.4	54.5	SFS-FF 与 FSD-Down 协同
双模块组合 B	✓	✗	✓	30.0	50.5	30.6	19.8	40.8	55.7	DBFSAF 与 FSD-Down 组合
双模块组合 C	✓	✓	✗	30.3	50.9	30.8	20.0	41.3	56.0	DBFSAF 与 SFS-FF 组合
完整模型 (FSDC-DETR)	✓	✓	✓	31.1	52.3	31.9	21.0	41.8	58.1	三大协同模块叠加达最优

此外，针对 DBFSAF 中通道部分分割比例 \(\gamma\) 的超参数敏感性消融表明：\(\gamma=0\) 时 AP 为 29.7；当 \(\gamma\) 逐步增至 0.375（30.8 AP）并在 \(\gamma=0.5\) 时达到峰值 31.1 AP（APS 达 21.0）；继续增大至 0.625（30.9 AP）及全通道 \(\gamma=1.0\)（30.0 AP）时性能略有回落，验证了适度通道精炼可有效规避冗余计算并提升泛化性。

关键发现¶

双分支频域对齐贡献最为突出：仅引入 DBFSAF 模块即带来 5.0 AP（24.7 \(\to\) 29.7）的爆发式增长，其中小目标指标 APS 猛增 5.6 点（14.2 \(\to\) 19.8），证明骨干网 CNN 与 ViT 融合阶段的频谱不一致与混叠是此前双分支检测器的核心短板。
动态小波下采样攻克定位精度：高 IoU 阈值指标 AP75 在 FSD-Down 的参与下显著提升，完整模型相较基线从 24.6 跃升至 31.9（+7.3），说明小波变换保留的垂直/水平/对角高频细节对于小目标的高精度边界定位具有决定性作用。
跨尺度泛化不仅限于微小物体：虽然模型专为 SOD 设计，但中目标 APM（35.4 \(\to\) 41.8，+6.4）和大目标 APL（52.7 \(\to\) 58.1，+5.4）同样获得了显著增益，表明频域-空间域互补增强为整体多尺度特征表征均提供了更优的信噪比。

亮点与洞察¶

解耦再协同的频谱表征思路：不同于以往将频域变换局限在单模块的小修小补，FSDC-DETR 建立了从骨干对齐（DBFSAF）、跨尺度交互（SFS-FF）到下采样保真（FSD-Down）的完整闭环。这种系统性设计有效解决了多尺度特征金字塔中高频逐层衰竭的顽疾。
高能效的通道部分精炼设计：DBFSAF 借鉴 Partial Network 理念，仅对 50% 通道应用重型多核空间与频域精炼，其余通道直接恒等映射，在大幅提升特征判别力的同时保持了高推理吞吐，兼顾了学术有效性与工程落地可能。
可迁移的无损下采样范式：FSD-Down 将 Haar 小波与分组卷积相结合，以可学习动态重加权代替简单的硬截断滤波，该模块可以无缝替换现有 YOLO 系列和 DETR 系列编码器中的步长卷积与池化层，极具通用价值。

局限与展望¶

计算复杂度增加与显存开销：由于在特征金字塔中引入了多尺度 DWT/FFT 变换与频域动态卷积，模型参数量从基线的 32.0M 增加至 40.3M，在边缘端或低算力无人机机载设备上的实时部署仍面临显存带宽挑战。
对重度运动模糊场景的鲁棒性待验：频域模块高度依赖高频梯度与边缘纹理信息，当航拍输入存在剧烈运动模糊或散焦时，高频信号信噪比骤降，频域特征可能退化甚至引入高频噪声干扰。
未来改进方向：可进一步探索整网轻量化剪枝与低秩频域参数化，并将频域动态掩码扩展到解码器的 Query 交叉注意力中，实现端到端的频域指导目标查询。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将完整的频域-空间域显式协同闭环引入双分支 DETR 架构，小波动态下采样与部分通道精炼设计巧妙。
实验充分度: ⭐⭐⭐⭐⭐ 在 VisDrone 与 AITODv2 两个权威严苛的航拍小目标榜单上做了详尽对比与分模块消融，增益极其显著。
写作质量: ⭐⭐⭐⭐⭐ 论文结构紧凑，动机阐述切中要害，公式与架构图表表达严谨清晰。
价值: ⭐⭐⭐⭐⭐ 为密集航拍、工业缺陷等高难小目标检测场景提供了全新的模型范式，对频域深度学习与 Transformer 结合极具启发意义。