Dynamic Query as Budgeting for Tiny Object Detection¶

会议: NeurIPS 2026
arXiv: 2610.33430
代码: https://github.com/zhangyi-magic/BUTR
领域: 目标检测
关键词: 微小目标检测, DETR, 动态查询, 查询预算, 无参数预算器

一句话总结¶

论文揭示了微小目标检测中动态查询的本质是依据图像密度进行解码器容量预算而非复杂的查询空间筛选，并据此提出了极简且免训练的预算感知检测器 BUTR，以近乎零的额外开销显著超越现有启发式与预测式动态查询方法。

研究背景与动机¶

微小目标检测在无人机航拍、遥感监测等场景中面临极为严峻的挑战。由于微小目标在图像中仅占据极少数像素，特征表征微弱且极易淹没在复杂杂乱的背景中，导致严重的前背景混淆。更致命的是，航拍场景中存在极端的目标密度分布不均：绝大多数图像视野空旷、目标稀疏，而极少数图像（如拥挤的停车场、集市）则聚集着成百上千个微小目标。

对于基于集合预测范式的 DETR 系列检测器，固定的解码器查询（Query）预算陷入两难权衡：若预设较小的查询数，在常见稀疏图上推理高效，但在极端密集场景下召回率急剧衰减；若盲目提高全局查询数，不仅给占绝大多数的稀疏图引入了无意义的计算与显存开销，更会在稀疏场景中引发大量的假阳性虚警。为此，近期工作如 DQ-DETR 和 Dome-DETR 引入了动态查询机制，但这些方法普遍将“解码多少个查询（how many）”与“保留哪些查询（which）”纠缠在一起，通过引入额外的密度图预测头、窗口掩码分类器或复杂的自适应 NMS 启发式过滤流程，带来了显著的训练负担、控制流开销与误过滤风险。

本文从机制解耦的视角重新审视动态查询：通过对前序代表性方法 Dome-DETR 内部算子的推理期消融与密度分层评估发现，复杂筛选算子带来的全局 AP 优势几乎完全来自于对长尾极端密集场景赋予了更多查询容量，而在保留相同容量前提下，精细的几何/掩码筛选与朴素的置信度截断性能几乎完全一致。核心 idea：动态查询的本质是根据场景目标密度进行解码器容量预算分配（Budgeting），而非繁琐的查询实体筛选；基于单调性与保守性原则，仅需利用编码器前背景置信度之和即可构建轻量免训练的预算器，使两阶段 DETR 在标准 Top-K 截断下实现高精度与高吞吐的兼得。

方法详解¶

整体框架¶

BUTR（Budgeting-based DETR）作为一种极简插件式架构，完全保留了两阶段 DETR 的骨干网、编码器、交叉注意力解码器以及预测头，其核心创新集中在编码器候选提议到解码器查询初始化的预算分配桥梁。整个流水线包含三个紧密衔接的阶段： 1. 置信度标定与提议评分：编码器多尺度特征图生成密集候选提议，通过对各提议的多类别分类对数几率进行通道最大化激活，获得提议级的前景存在置信度； 2. 免训练密度代理与保守映射：累加所有编码器提议的置信度得分，构建出严格保持场景密度偏序关系的连续标量密度代理，再结合安全系数放大并映射为整数形式的解码器动态预算容量 $K(x)$； 3. 标准 Top-K 截断初始化：依据置信度从高到低排序，直接截取前 $K(x)$ 个提议的特征与参考框输入解码器，无需任何窗口掩码分支或自适应 NMS。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 x<br/>航拍微小目标场景"] --> B["骨干网络与多尺度特征编码器<br/>提取密集候选提议 P"]
    B --> C["1. 置信度评分：前背景置信度抽取<br/>全类别 Sigmoid 最大激活取值"]
    C --> D["2. 密度代理估计：前背景置信度累加<br/>图像级连续密度标量 e(x)"]
    D --> E["3. 保守预算映射：安全因子自适应缩放<br/>整数查询容量 K(x) = clip(ceil(γ · e(x)))"]
    E --> F["4. 标准 Top-K(x) 截断初始化<br/>保留高置信度提议进入解码器"]
    F --> G["Transformer 解码器与检测头<br/>输出微小目标分类与回归结果"]

关键设计¶

1. 置信度评分：无额外开销的前景存在证据抽取 针对以往方法需额外挂载特征掩码预测头或密度图回归网络带来的结构冗余与计算延迟，BUTR 发现两阶段 DETR 编码器输出的分类对数几率（logits）本身就蕴含了天然且零成本的前景置信度。对于编码器产生的 $L$ 个候选提议 $\mathcal{P}=\{(\bm{z}_i, \bm{r}_i, \bm{\ell}_i)\}_{i=1}^L$，其中 $\bm{\ell}_i \in \mathbb{R}^C$ 为类别对数几率，设计采用逐提议沿类别维度的最大 Sigmoid 激活作为其前景排序得分： $$s_i = \phi(\bm{\ell}_i) = \max_{c \in \{1,\dots,C\}} \sigma(\ell_{ic}) \in [0, 1]$$ 该设计不改变检测器原有的分类头，无需额外的辅助损失函数，将每个提议的语义响应强度直接转化为连续的置信度标量。

2. 密度代理估计：保单调性的全局实例密度估计 以往离散分类分桶方法容易在分桶边界处发生误判并造成误差级联放大，而 BUTR 基于“更多前景提议响应反映更高实例密度”的直觉，将整幅图像的密度代理定义为全部候选提议得分的无偏代数和： $$e(x) = \sum_{i=1}^L s_i = \sum_{i=1}^L \phi(\bm{\ell}_i)$$ 该连续积分算子具有天然的单调性，实验表明该密度代理与真实目标数量呈现出极高的统计相关性（在 AI-TOD-v2 上 Pearson 相关系数达 0.94，Spearman 秩相关系数达 0.82）。由于消除了离散分类器与启发式局部统计，该统计过程仅包含简单的求和，在 GPU 上具备常数级极低开销。

3. 保守预算映射：面向饱和区间的自适应容量分配 针对微小目标检测在 AP 与查询数量曲线上表现出的“低容量剧烈欠拟合、高容量平缓饱和”的非对称敏感特性，解码器容量欠分配对检测精度的惩罚远大于适度过分配。因此，预算策略必须具备单调性与保守性。BUTR 采用带安全系数 $\gamma \ge 1$ 的线性缩放函数将连续密度标量转化为离散整数预算，并可根据硬件或协议约束加入上下界截断： $$K(x) = \operatorname{clip}\left(\lceil \gamma \cdot e(x) \rceil, K_{\min}, K_{\max}\right)$$ 在实际微小目标场景中，默认取 $\gamma = 2.0$。由于性能饱和区十分宽广，微小的密度估计偏差不会使模型脱离饱和平台区，从而在保证极端密集场景拥有充足容量（如向 1500 扩展）的同时，让占据 99% 以上的稀疏图像自然回退到紧凑的预算（如 300 左右），达成极致的计算效率。

损失函数 / 训练策略¶

BUTR 自身不引入任何可学习参数、辅助预测器、中间掩码分支或预算损失函数。模型在训练时完全遵循宿主两阶段 DETR（如 D-FINE 或 DEIM）的端到端集合匹配损失： $$\mathcal{L} = \mathcal{L}_{\text{cls}} + \lambda_{\text{L1}} \mathcal{L}_{\text{L1}} + \lambda_{\text{giou}} \mathcal{L}_{\text{giou}}$$ 在 AI-TOD-v2 与 VisDrone 上，模型基于 4 尺度特征图构建，锚框尺寸统一设为 0.0125，采用与前序基线严格对齐的 160 / 120 epoch 调度策略，并在训练全程与推理阶段均统一使用 BUTR 自适应计算出的 $K(x)$ 查询预算执行标准 Top-K 集合截断。

实验关键数据¶

主实验¶

在航拍微小目标权威基准 AI-TOD-v2 与 VisDrone 上，输入分辨率为 $800 \times 800$，评估硬件为单张 NVIDIA Tesla T4（TensorRT 10.4.0, FP16, batch size 1），对比前序固定查询与动态查询检测器：

数据集	方法	参数量	GFLOPs	平均查询数 $\\|Q\\|$	训练耗时 (h)	T4 延迟 (ms)	AP	$\text{AP}_{50}$	$\text{AP}_{75}$
AI-TOD-v2	D-FINE-L (Fixed-600)	31.9M	329.6	600	43.0	20.34	35.2	69.3	31.1
AI-TOD-v2	DQ-DETR	58.7M	1805.4	410	14.8	205.58	30.5	69.2	22.7
AI-TOD-v2	Dome-DETR-L	33.4M	379.8	630	83.6	33.30	35.1	69.6	30.8
AI-TOD-v2	BUTR-L (Ours)	31.9M	326.1	316	39.8 (2.1×快)	20.94 (1.6×快)	35.7 (+0.6)	69.7	32.2
VisDrone	D-FINE-L (Fixed-400)	34.5M	329.5	400	11.9	22.06	29.6	49.6	30.2
VisDrone	DQ-DETR	58.7M	1782.4	512	4.5	211.18	18.4	33.7	17.9
VisDrone	Dome-DETR-L	36.0M	379.0	388	22.4	34.47	29.3	49.2	30.0
VisDrone	BUTR-L (Ours)	34.5M	329.5	398	11.8 (1.9×快)	23.76 (1.5×快)	29.8 (+0.5)	50.1	30.4

消融实验¶

在 AI-TOD-v2 上对 BUTR-L 进行估计器函数 $\phi$ 与预算映射系数 $\gamma$ 的详细消融：

实验类别	变体配置	平均查询数 $\\|Q\\|$	训练耗时 (h)	全局 AP	$\text{AP}_{50}$	$\text{AP}_{75}$	极端子集 $\text{AP}_{\text{ext}}$
估计器 $\phi$ ($\gamma=1.0$)	Max ($\max(0, \max \ell)$)	302	37.8	35.6	69.6	31.5	27.7
估计器 $\phi$ ($\gamma=1.0$)	Max-sigmoid (默认)	303	37.8	35.5	69.3	32.2	28.9
估计器 $\phi$ ($\gamma=1.0$)	Sum-prob ($\sum \sigma$)	304	41.5	35.3	69.4	31.1	31.0
估计器 $\phi$ ($\gamma=1.0$)	Union-prob ($1-\prod(1-\sigma)$)	304	40.7	35.2	68.9	31.4	28.3
映射策略 $g$ (Max-sigmoid)	$\gamma = 1.2$	305	/	35.6	69.4	32.2	29.5
映射策略 $g$ (Max-sigmoid)	$\gamma = 1.5$	308	/	35.6	69.5	32.2	29.6
映射策略 $g$ (Max-sigmoid)	$\gamma = 2.0$ (默认)	316	/	35.7	69.6	32.3	29.8
映射策略 $g$ (Max-sigmoid)	$\gamma = 3.0$	340	/	35.7	69.6	32.3	29.8
映射策略 $g$ (Max-sigmoid)	Discrete Binning	305	/	35.6	69.6	32.2	29.5

关键发现¶

复杂筛选机制存在有害误过滤：Dome-DETR 的 PAQI 流程如果去除保护高分提议的 Split 阶段，AP 会断崖式下跌 2.4 点；而保留 Split 时，无论去掉窗口 Mask 还是去掉 NMS，AP 均保持不变（35.1 AP）。这证实 PAQI 的本质只是借助 Split 保留了高分提议，其额外加入的 Mask 与 NMS 甚至错误剔除了贴近真值目标的高分提议。
空间去重筛选并不带来增益：DDQ 风格的空间多样性去重筛选在保持相同查询数时，与普通基于置信度排序的 Top-K 截断在 AI-TOD-v2（35.2 AP）和 VisDrone（29.6 AP）上表现出完全相同的精度，进一步推翻了“查询选择至关重要”的传统假设。
动态查询的红利高度集中于极端长尾分布：在 AI-TOD-v2 上，99.81% 的非极端图像仅需 600 查询即可饱和；PAQI 相对于固定 600 查询的优势完全来自仅占 0.19%（26 张图）的极端密集子集（目标数 $>600$）。当把固定查询扩大到 1500 时，固定查询模型完全追平了 PAQI 在极端子集上的表现（29.9 AP）。
通用场景即插即用：在通用目标检测数据集 COCO 上，BUTR 无需任何重新训练，直接以即插即用形式替换官方预训练 D-FINE 与 DEIM 的固定初始化，在将解码器平均查询数减少 15%~40% 的同时，AP 仍取得 0.1~0.2 的轻微提升。

亮点与洞察¶

“返璞归真”的机制洞察：打破了学术界在动态查询领域不断堆叠网络分支、掩码预测头与启发式过滤的“军备竞赛”怪圈，用严谨的机制解耦实验揭示出“容量预算优先于空间筛选”的底层真相。
极其简练且零参数的工程实现：预算器完全依赖两阶段 DETR 本身已有的分类置信度求和与线性缩放，代码实现仅寥寥数行，无参数、免训练、无额外显存与显式同步算子，为工业落地扫清了障碍。
单调与保守设计理念的泛化价值：指出了非对称精度响应曲线下“轻微过分配远优于欠分配”的原则，这种将连续密集标量映射至宽平饱和区间的思路，对大模型自适应计算量分配、动态 Token 剪枝等前沿方向同样具备深刻启发。

局限与展望¶

依赖置信度的绝对数值标定：与单纯利用相对排名顺序的标准 Top-K 不同，直接累加置信度 $e(x) = \sum s_i$ 对分类置信度的绝对数值尺度与温度标定较为敏感；当迁移到域偏移严重、未充分校准或候选提议总数发生剧烈变动的架构时，可能需要调整安全系数 $\gamma$。
TensorRT 动态维度的引擎开销：在实际工程部署中，变长输入在当前 TensorRT 引擎边界和动态显存分配中存在微小的同步开销，导致在某些中等规模模型下，查询数减少带来的理论浮点节约未能完全等比例转化为推理物理时延的降低。
长尾极端样本评测统计方差：极端高密度图像在现有基准中的样本量极少（AI-TOD-v2 仅 26 张，VisDrone 仅 7 张），指标存在一定随机扰动，评估动态查询机制时应将密度分层指标与全集指标结合考量。

评分¶

新颖性: ⭐⭐⭐⭐☆ [机制解耦实验极具穿透力，有力推翻了社区对动态查询依赖复杂空间筛选的固有偏见]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖推理期算子消融、细粒度密度分层评测、多尺度模型对比、跨随机种子稳定性验证以及跨数据集（遥感、航拍、农业、通用COCO）即插即用验证]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密清晰，问题剖析一针见血，问题公式化与实验分析丝丝入扣]
价值: ⭐⭐⭐⭐⭐ [为微小目标检测乃至全场景 DETR 动态推理提供了一个极简、免训练、零参数且立即可落地的标准化组件]

实验类别	变体配置	平均查询数 \(\\|Q\\|\)	训练耗时 (h)	全局 AP	\(\text{AP}_{50}\)	\(\text{AP}_{75}\)	极端子集 \(\text{AP}_{\text{ext}}\)
估计器 \(\phi\) (\(\gamma=1.0\))	Max (\(\max(0, \max \ell)\))	302	37.8	35.6	69.6	31.5	27.7
估计器 \(\phi\) (\(\gamma=1.0\))	Max-sigmoid (默认)	303	37.8	35.5	69.3	32.2	28.9
估计器 \(\phi\) (\(\gamma=1.0\))	Sum-prob (\(\sum \sigma\))	304	41.5	35.3	69.4	31.1	31.0
估计器 \(\phi\) (\(\gamma=1.0\))	Union-prob (\(1-\prod(1-\sigma)\))	304	40.7	35.2	68.9	31.4	28.3
映射策略 \(g\) (Max-sigmoid)	\(\gamma = 1.2\)	305	/	35.6	69.4	32.2	29.5
映射策略 \(g\) (Max-sigmoid)	\(\gamma = 1.5\)	308	/	35.6	69.5	32.2	29.6
映射策略 \(g\) (Max-sigmoid)	\(\gamma = 2.0\) (默认)	316	/	35.7	69.6	32.3	29.8
映射策略 \(g\) (Max-sigmoid)	\(\gamma = 3.0\)	340	/	35.7	69.6	32.3	29.8
映射策略 \(g\) (Max-sigmoid)	Discrete Binning	305	/	35.6	69.6	32.2	29.5