Slim-DETR: Real-Time Tiny Object Detection with Efficient Interaction and Gaussian Query

会议: ECCV 2026
论文: ECCV 2026 Official
领域: 目标检测
关键词: 微小目标检测, 实时目标检测, Detection Transformer, 高斯查询选择, 高效交互编码器

一句话总结

针对微小目标在 DETR 框架中序列过长导致编码器瓶颈以及传统查询严重失配的痛点，Slim-DETR 提出了基于聚集-注入与前景采样可变形注意力的 EI 编码器，并结合尺度解耦的高斯目标引导查询选择（GTG），在 VisDrone 上取得 33.9% AP，并在 RTX 3090 (24.4 ms) 与 Jetson AGX Orin (40 FPS) 上实现全面实时推理。

研究背景与动机

微小目标检测（Tiny Object Detection）在无人机遥感监测、航拍侦察、智能交通及灾害应急管理等边缘场景中至关重要。与常规目标不同，微小目标在图像中占据的像素极少（通常小于 \(32 \times 32\) 甚至小于 \(16 \times 16\) 像素），缺乏充足的纹理与轮廓特征。因此，模型必须高度依赖包含精细空间定位线索的高分辨率低层特征（如骨干网络输出的 B2 层）。然而，基于端到端 Transformer 的传统检测器（DETR 系列）在引入高分辨率多尺度特征交互时，序列长度急剧膨胀，使得自注意力机制产生巨大的计算与显存开销，严重阻碍了端侧无人机系统的实时部署。尽管 RT-DETR 等方法通过裁剪低层特征自注意力实现加速，但微小目标的局部结构线索随之丢失，引发严重漏检。

除了编码器特征计算的瓶颈之外，现有 DETR 类架构在编码阶段后通用的查询选择机制面临着严重的“查询-目标失配”问题。主流方法（如基于 IoU 分数与分类置信度联合排序的选择准则）天然偏向大中尺度目标或高对比度背景纹理区域。由于微小目标先验框重叠度接近于零且分类置信度微弱，固定数量的候选 query 几乎全被大目标和背景噪声瓜分，导致分配给微小目标的有效正样本查询极度匮乏，在解码初期就丢失了微小目标的位置线索。

针对上述两大致命痛点，本文提出了一套专为实时微小目标检测量身定制的端到端框架 Slim-DETR。核心 idea：设计聚集-注入式的高效交互编码器（EI），通过 CBAM 与门控单元在多尺度聚集特征上滤除背景噪声，仅提取前景 token 执行稀疏可变形注意力并直连回跨尺度融合路径；同时提出尺度解耦的高斯目标引导查询选择（GTG），将微小目标建模为空间连续衰减的高斯分布以自适应聚集高质量 query。

方法详解

整体框架

Slim-DETR 采用了轻量化且高保真的端到端检测流水线。首先，输入图像经由骨干网络（Backbone，如 ResNet-18 或 ResNet-50）提取多尺度特征 \(\{B_2, B_3, B_4\}\)。为了消除多层级自注意力的高昂计算代价并保留细粒度局部信息，特征被送入高效交互编码器（Efficient Interaction Encoder, EI）。EI 编码器采用“聚集-注入（Gather-and-Inject）”范式：先对多层特征统一分辨率并在 CBAM 增强和门控单元调制下聚集为全局特征图，接着利用前景采样可变形注意力（FSDA）仅对潜在前景 token 执行自注意力交互，更新后的特征直接注入轻量化跨尺度融合网络。随后，解码阶段利用高斯目标引导模块（GTG）预测空间高斯热力图，解耦尺度并自适应挑选出聚焦于微小目标的初始查询（queries），送入精简层数的 Transformer 解码器（Decoder）输出最终的类别与边框预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多尺度骨干特征输入<br/>{B2, B3, B4}"] --> B["多尺度特征聚集与门控调制<br/>统一分辨率 + CBAM空间/通道增强 + Gate抑制噪声"]
    B --> C["前景采样可变形注意力 (FSDA)<br/>Top-k 前景掩码采样 + 稀疏交互 + 原位嵌入回填"]
    C --> D["跨尺度语义直接注入<br/>增强全局特征直连各尺度 Cross Fusion 旁路"]
    D --> E["高斯目标引导查询选择 (GTG)<br/>3层轻量CNN预测高斯热力图 + 尺度解耦自适应分流"]
    E --> F["精简层数 Transformer 解码器<br/>4层高效解码预测最终类别与边框"]

关键设计

1. 聚集-注入范式与多尺度门控调制：打破层级间接传递并抑制纹理背景干扰 传统 FPN 结构的自顶向下与自底向上双向融合路径过长，高层语义与底层细节在漫长的跨层传播中发生严重稀释，微小目标的微弱响应极易被逐层抹平。Slim-DETR 放弃层级串联式注意力，首先将多尺度特征 \(\{B_2, B_3, B_4\}\) 统一对齐投影到中层分辨率 \(B_3\)。针对低层特征语义缺失、感受野有限的问题，引入卷积注意力机制（CBAM），通过通道注意力和空间注意力捕捉目标概念的“内容（What）”与“位置（Where）”。随后构建门控单元（Gate unit），将 CBAM 提炼的语义知识转化为空间门控信号 \(G\)。门控对具有丰富高频纹理但语义模糊的复杂背景区域（如草地、水面波纹、地面反光）分配极低激活值，协同抑制背景噪声并放大微小目标特征，最后经由含 RepPD 模块的卷积融合单元生成紧凑的全局特征图 \(F_G\)。

2. 前景采样可变形注意力 (FSDA)：稀疏化语义交互并消除跨层累积漏检 高分辨率特征图包含数万个 token，全局密集注意力将产生不可接受的计算延时。先前的方法（如 Salience-DETR 或 Sparse-DETR）在多层编码器中逐层过滤稀疏 token，容易因单层漏滤而产生跨层误差级联，造成微小目标永久丢失。FSDA 改在聚集后的全局特征图 \(F_G\) 上执行单阶段前景预测。利用辅助监督网络预测前景概率掩码 \(\mathbf{M}_s \in [0, 1]^{H \times W}\)，并依据预设采样比例 \(\rho\) 提取得分最高的 top-\(k\) 个前景索引集 \(\mathcal{S}_k\)：

\[\mathcal{S}_k = \left\{ m \mid \mathbf{M}_s(m) \in \text{top-}k(\text{sort}(\mathbf{M}_s)) \right\}, \quad \text{其中 } k = \rho HW\]

仅将提取出的前景特征 \(f_s = F_G[\mathcal{S}_k]\) 作为查询，与全局多尺度特征进行可变形注意力交互更新。为了防止直接剔除背景 token 造成特征空间几何结构断裂，FSDA 将经过注意力增强的前景特征写回背景特征图的原始物理坐标位置：

\[\mathbf{F}'_{Gm} = \begin{cases} \text{DAttention}\left( f_s + \text{pos}_m, F_G + \text{pos}, F_G \right), & m \in \mathcal{S}_k \\ F_{Gm}, & m \notin \mathcal{S}_k \end{cases}\]

增强后的全局特征图 \(F'_G\) 随后被直接注入回跨尺度卷积融合各分支，构筑起端侧极速直连交互路径。

3. 尺度解耦的高斯目标引导查询选择 (GTG)：自适应聚集高质量微小目标 Query 常规 DETR 使用预测框的分类置信度与 IoU 综合分数筛选候选 query，微小目标由于先验预测偏置，匹配分数极低，导致选取的 query 被大目标或显著背景吞噬。GTG 彻底摒弃 IoU 启发式标准，改用空间自适应二维高斯分布构建连续监督热力图。真实标注框 \(\mathcal{D}_{\text{Bbox}} = (x_l, y_l, w_l, h_l)\) 在第 \(l\) 层特征上的高斯响应定义为：

\[Y_l^{(i, j)} = \exp\left( -\frac{(p_i^l - x_l)^2 + (p_j^l - y_l)^2}{2\sigma_l^2} \right), \quad (i, j) \in \mathcal{D}_{\text{Bbox}}\]

其中高斯核峰值归一化为 1（消除尺度大小带来的峰值偏差），中心向边缘连续衰减且背景区域严格置 0，方差 \(\sigma_l = r_l(w_l, h_l)\) 由边界框宽高自适应决定。为避免多尺度混淆，GTG 引入尺度解耦策略：\(G_2\) 分支负责响应尺度 \(\le 32 \times 32\) 的极小目标，\(G_3\) 负责 \(32 \times 32 \sim 64 \times 64\) 的中微小目标，\(G_4\) 负责更大尺度目标，每层分配的 query 数量与其预测高斯响应积分严格成正比。该机制使解码器接收到高度聚集于微小目标中心的高纯度 query，大幅缓解了匹配失衡。

损失函数 / 训练策略

Slim-DETR 采用端到端多任务联合监督。总损失函数由四部分加权构成：

\[\mathcal{L}_{\text{total}} = \lambda_m \mathcal{L}_m + \lambda_G \mathcal{L}_G + \lambda_{\text{box}} \mathcal{L}_{\text{box}} + \lambda_{\text{cls}} \mathcal{L}_{\text{cls}}\]

其中前景掩码监督损失 \(\mathcal{L}_m\) 采用二值交叉熵（BCE），由真实目标框生成的二值掩码直接监督；高斯热力图预测损失 \(\mathcal{L}_G\) 结合了针对不平衡热力图优化的 Focal Loss（超参数设为 \(\alpha = 2, \beta = 4\)）与平衡 MSE 回归损失；边框回归 \(\mathcal{L}_{\text{box}}\)（L1 与 GIoU 损失）和分类 \(\mathcal{L}_{\text{cls}}\) 遵循 RT-DETR 配置。平衡权重设定为 \(\lambda_m = 0.01\)，\(\lambda_G = 0.5\)，\(\lambda_{\text{box}} = 1\)，\(\lambda_{\text{cls}} = 1\)。模型在 8 卡 RTX 3090 上采用 AdamW 优化器训练，初始学习率为 0.0006。

实验关键数据

主实验

在代表性无人机航拍数据集 VisDrone（输入尺寸 \(640 \times 640\)）与极端微小目标遥感数据集 AI-TOD-V2（输入尺寸 \(800 \times 800\)）上，Slim-DETR 与当前主流轻量化/实时检测器（YOLOv8-v12 系列、RT-DETR、DEIM、D-FINE）及微小目标专用检测器（DQ-DETR、QueryDet、Salience-DETR）进行了系统评测。

数据集	模型	AP	\(\text{AP}_{50}\)	\(\text{AP}_{75}\)	参数量 (M)	GFLOPs	延迟 (ms)
VisDrone val	QueryDet [CVPR'22]	19.6	35.7	19.0	-	-	285.7
VisDrone val	YOLOv8-L	26.6	43.5	27.4	43.6	165	23.8
VisDrone val	YOLOv11-L	26.2	42.9	26.9	25.3	87	15.6
VisDrone val	YOLOv12-L	26.4	43.3	27.0	26.3	89	16.4
VisDrone val	RT-DETR-R18	26.7	44.6	25.9	20.0	60	13.8
VisDrone val	Salience-DETR	29.4	46.2	29.1	-	201	82.2
VisDrone val	RT-DETR-R50	30.3	50.8	30.3	42.0	136	19.6
VisDrone val	DEIM-R50 [CVPR'25]	30.4	50.9	30.5	42.0	136	19.1
VisDrone val	D-FINE-R50	32.0	52.1	33.2	40.7	117	18.0
VisDrone val	Slim-DETR-R18 (本文)	32.4	52.5	33.5	5.9	51	14.3
VisDrone val	Slim-DETR-R50 (本文)	33.9	55.2	36.9	15.7	131	24.4

在 AI-TOD-V2 测试集上的对比数据进一步突显了极小目标（\(\text{AP}_{vt}\) 与 \(\text{AP}_t\)）的检测优势：

数据集	模型	AP	\(\text{AP}_{50}\)	\(\text{AP}_{75}\)	\(\text{AP}_{vt}\)	\(\text{AP}_t\)	\(\text{AP}_s\)	延迟 (ms)
AI-TOD-V2	Deformable-DETR	18.9	50.0	10.5	6.5	17.6	25.3	66.7
AI-TOD-V2	DINO-DETR	23.2	56.6	15.4	9.9	23.1	29.3	92.1
AI-TOD-V2	Salience-DETR	23.4	56.4	15.7	9.3	23.0	29.3	158.9
AI-TOD-V2	RT-DETR-R50	27.6	59.7	17.5	12.7	25.3	32.0	38.4
AI-TOD-V2	DQ-DETR [ECCV'24]	30.2	68.6	22.3	15.3	30.5	36.5	-
AI-TOD-V2	Slim-DETR-R50 (本文)	33.6	69.7	27.9	16.4	34.0	38.5	39.4

消融实验

1. 编码器架构与速度消融（VisDrone 数据集，评估 \(\{B_2, B_3, B_4\}\) 高分辨率输入配置）：

配置 / 变体	模块构成	延迟 (ms)	AP	\(\text{AP}_{50}\)	\(\text{AP}_{75}\)	\(\text{AP}_s\)	说明
Baseline	单尺度编码器 (SSE)	100.00	30.7	50.4	30.5	21.7	高分辨率下全序列注意力速度极慢
Variant A	多尺度编码器 (MSE)	166.66	31.3	51.9	31.7	22.8	序列膨胀导致延迟恶化至 166 ms
Variant B	聚集-注入机制 (Gather-and-Inject)	28.57	33.1	54.0	33.7	24.6	消除多层间接交互，提速 3.5× 并涨点 +2.4%
Variant C (EI)	聚集-注入 + FSDA 前景注意力	24.39	33.3	54.3	34.2	24.9	仅前景交互，整体较 Baseline 加速 4.1× 且精度最高

2. 解码器层数与 GTG 查询选择消融（Slim-DETR-R50，VisDrone val 集）：

查询选择方式	解码器层数 (\(N\))	AP	\(\text{AP}_{50}\)	\(\text{AP}_s\)	参数量 (M)	GFLOPs	延迟 (ms)	说明
Uncertainty-minimal [RT-DETR]	6	33.3	54.3	24.7	16.3	128	24.39	依赖 IoU/分类分数的传统方式
GTG (高斯引导)	6	33.5	54.5	24.9	17.2	137	27.03	初始 query 质量提升带来 +0.2% AP
GTG (高斯引导)	5	33.7	54.7	25.0	16.4	134	26.31	减少冗余层，性能继续提升
GTG (高斯引导)	4	33.9	55.2	25.3	15.7	131	24.41	最优折中：层数缩减反哺计算，达最高 AP
GTG (高斯引导)	3	33.2	53.9	24.2	14.9	128	23.25	解码层数过少，精细回归能力受限

3. 边缘设备部署实测（NVIDIA Jetson AGX Orin，TensorRT FP16，VisDrone 输入 \(416 \times 416\)）： - YOLOv8-M: 68.68 ms (15 FPS), 24.6% AP - YOLOv12-M: 90.12 ms (11 FPS), 24.8% AP - RT-DETR-416: 35.98 ms (27 FPS), 23.5% AP - Slim-DETR-416: 25.12 ms (40 FPS), 25.4% AP（相较 RT-DETR 精度提升 1.9% AP，推理帧率实现从 27 FPS 到 40 FPS 的实用性飞跃）

关键发现

• 高分辨率输入是微小目标的生命线，但必须依赖聚集-注入架构解耦序列长度：在输入切换为 \(\{B_2, B_3, B_4\}\) 后，传统多尺度编码器的计算延迟暴涨至 166.66 ms，而通过聚集-注入机制直接斩断层级交叉自注意力链条，延迟锐降至 28.57 ms，配合 FSDA 进一步压降至 24.39 ms，提速达 4.1 倍，同时小目标精度 \(\text{AP}_s\) 提升 3.2%。
• 高质量初始 Query 降低了解码器深度依赖：由于 GTG 模块提供的初始 query 已经精准贴附在微小目标的高斯中心，解码器无需依赖 6 层迭代反复矫正位置。将解码器压缩至 4 层时，不仅弥补了 GTG 预测头微弱的参数开销（参数量由 16.3M 净降至 15.7M），还将 AP 推升至峰值 33.9%，证明浅层解码器配合高纯度 query 是端到端检测器轻量化的极佳路径。
• 采样比例 \(\rho\) 贴合前景真实分布即可达最佳收益：在 VisDrone 上 \(\rho \ge 0.25\)、在 AI-TOD-V2 上 \(\rho \ge 0.1\) 时检测精度达到饱和平台，盲目提升采样比例只会徒增背景 token 计算负担。

亮点与洞察

• 将连续高斯分布引入 DETR 查询挑选：传统基于离散 IoU 的启发式排序在微小目标上完全失效，论文通过二维高斯函数构建中心为 1、向外平滑衰减的概率分布，从根本上消除了目标尺度对 query 挑选优先级的负面偏置。
• 稀疏注意力与背景原位嵌入相结合：许多稀疏 Transformer 直接丢弃背景 token 导致特征图几何连续性破裂，FSDA 仅提取前景执行可变形注意力再回填至原图位置，兼顾了高效注意力交互与下游卷积融合的空间结构完整性。
• 轻量架构击败重型 SOTA：仅 5.9M 参数的 Slim-DETR-R18 在 VisDrone 上达到 32.4% AP，以极小计算代价全面击溃了具有 40M+ 参数的传统大模型（如 RT-DETR-R50 的 30.3% AP 和 DINO-DETR 的 29.4% AP）。

局限与展望

• 采样比例 \(\rho\) 依赖经验阈值与场景先验：当前方法在 VisDrone 上使用 \(\rho=0.25\)，在 AI-TOD 上使用 \(\rho=0.1\)。虽然推理时动态重排索引成本极低，但遇到目标密度剧烈动态波动的连续航拍视频流时，硬编码的静态比例可能面临极端密集场景前景截断或稀疏场景多余计算的问题。
• 高斯尺度解耦硬阈值分割：目前以 32 和 64 像素作为绝对阈值将目标硬性分配至不同预测分支，对于处于临界尺度附近的目标可能存在边界震荡。未来可研究软性尺度分配或自适应高斯方差学习机制。

相关工作与启发

• vs RT-DETR [CVPR'24]: RT-DETR 为追求速度完全去除了底层高分辨率特征（B2/B3）的自注意力，导致微小目标关键细节不可逆丢失，且依赖 FPN 渐进间接交互。Slim-DETR 则通过聚集-注入机制和前景采样注意力，以更低开销完整保留了高分辨率特征交互，并在 VisDrone 上实现大幅反超（R18 提高 5.7% AP，R50 提高 3.6% AP）。
• vs DQ-DETR [ECCV'24]: DQ-DETR 虽引入密度图动态微调 query 数量，但选点依然依赖传统置信度机制，大目标和背景占据主导的失配问题并未解决。Slim-DETR 的 GTG 从源头上将概率峰值归一化，真正实现了尺度平权的高质量 query 供给。

评分

• 新颖性: ⭐⭐⭐⭐ [创新性地设计了聚集-注入式前景注意力与尺度解耦的高斯查询机制]
• 实验充分度: ⭐⭐⭐⭐⭐ [涵盖 VisDrone/AI-TOD 两大主流榜单、细致的模块与速度消融，并在 Jetson Orin 上完成了端侧实测]
• 写作质量: ⭐⭐⭐⭐⭐ [动机明确，逻辑严密，图表对比详实且直击 DETR 速度与尺度的核心矛盾]
• 价值: ⭐⭐⭐⭐⭐ [为无人机航拍等边缘计算场景下的微小目标实时端到端检测提供了极具落地价值的新基线]

相关论文

• [ECCV 2026] RiO-DETR: DETR for Real-time Oriented Object Detection
• [ECCV 2026] RT-SDGOD: Real-Time Single-Domain Generalized Object Detection
• [ECCV 2026] Per‑Object IoU Forecasting for Deadline‑Aware Real‑Time Embedded Detection Control
• [ECCV 2026] FSDC-DETR: A Frequency-Spatial Domain Collaborative DETR for Small-Object Detection
• [ECCV 2026] SplitHDR: Saturation-Aware HDR Recovery and Denoising for Real-Time Detection