Rethinking IRSTD: Single-Point Supervision Guided Encoder-only Framework is Enough for Infrared Small Target Detection¶
会议: ECCV2026
论文: ECCV 原文
项目: https://nirixiang.github.io/SPIRE-IRSTD/
代码: https://github.com/NIRIXIANG/SPIRE-IRSTD
领域: 目标检测
关键词: 红外小目标检测、单点监督、概率响应建模、高分辨率编码器、峰值定位
一句话总结¶
SPIRE 把红外小目标检测从轮廓分割改为中心响应回归，用单点生成局部结构化监督、用轻量纯编码器预测热图，再直接提取目标中心，在 SIRST-UAVB 上以约 0.29M 参数取得 97.05% F1。
研究背景与动机¶
红外小目标通常只有几个像素，缺乏可辨认的纹理与类别语义，成像响应又会受到点扩散函数、传感器采样和杂波影响。 这意味着一个目标可能具有相对明确的亮度中心，却没有同样明确的像素边界。 主流方法仍按分割任务处理它：人工描绘掩码，编码器压缩图像，解码器恢复空间细节，最后从预测区域中再算出目标位置。 当真正需要的是中心坐标时，这条路径既要求标注不稳定的边界，也要求网络重建未必有实际用途的轮廓。 论文引用 MCLC 的标注研究，指出逐像素与单点标注分别需要 11.4 秒和 1.4 秒；这是既有工作的统计，不是 SPIRE 新做的计时实验。
只把掩码标注换成一个点，还不能自动解决学习问题。 在一幅大图中，孤立正像素给出的梯度非常稀疏，容易被大量背景像素淹没。 LESPS、MCLC 等方法用点生成伪掩码来扩充监督，但网络仍围绕分割区域学习，保留了编码器与解码器的结构负担。 另一方面，强下采样会把本来就微弱的局部峰值抹掉，之后增加多尺度融合或注意力也未必能恢复被丢弃的位置线索。 因此，本文同时调整监督目标和网络结构，而不是只压缩一个已有分割模型。
作者的切入点是红外点目标的局部能量扩散：中心较强，邻域响应逐渐衰减，但衰减形状又受到真实局部对比度影响。 如果把一个标注点扩展成这种局部响应，周围像素也能参与学习，而预测结果仍服务于定位，不必被解释成目标轮廓。 这与关键点热图回归有共同基础，但额外把图像中的辐射强度结构纳入监督构造。 需要强调，本文主张的适用前提是中心定位，不是证明所有红外任务都不需要分割。 核心 idea：用点响应先验把稀疏中心标注变成可学习的局部热图，再让高分辨率纯编码器直接保留并预测这些峰值，使监督、网络和最终定位目标一致。
方法详解¶
整体框架¶
SPIRE 的输入是单通道红外图像；训练时还需要每个目标的一个中心点，推理时只需要图像。 点响应先验监督（Point-Response Prior Supervision，PRPS）离线生成训练响应图，高分辨率概率编码器（High-Resolution Probabilistic Encoder，HRPE）预测同一网格上的单通道响应。 轻量峰值推理随后把响应图转换为原图中的中心坐标集合，输出既不是框，也不是分割掩码。 默认输出步长为 \(s=4\)，中间特征在完成初始降采样后保持单一空间分辨率。 PRPS 是训练目标构造过程，不是推理时需要中心点作为输入的额外检测器。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["训练图像与中心点"] --> P["点响应先验监督<br/>PRPS"]
I["红外图像"] --> E["高分辨率概率编码器<br/>HRPE"]
P -.->|仅训练：响应图监督| R["预测响应图"]
E --> R
R --> D["轻量峰值推理"]
D --> O["原图中心坐标集合"]图中的虚线表示监督关系，不表示把真实中心或真实响应图送入推理网络。 整体流程见原文图 3、第 6 页；三个设计分别对应第 3.2、3.3、3.4 节。
关键设计¶
1. 点响应先验监督：让一个中心点提供有空间结构的学习信号
PRPS 首先按输出步长把标注中心映射到热图网格，并利用原图局部邻域的最大强度位置进一步对齐辐射峰。 这一调整针对的是“人工标注中心”和“实际观测最强响应”之间可能存在的小偏差，而不是估计完整目标边界。 随后，在中心周围构造峰值为 1 的各向同性高斯先验，并在有限邻域外截断。 默认设置为 \(\sigma=2\)、\(r=3\sigma=6\)，因而监督有紧凑支撑域，不向整幅背景传播。 该核不做总和归一化；这里的“概率响应”更接近定位置信热图，不是所有像素概率之和为 1 的分布。 高斯项表达中心增强、向外衰减的成像先验，并不宣称每个真实目标都严格服从高斯形状。
单纯高斯仍会给同一半径上的不同像素相同权重，忽略目标旁边的实际明暗变化。 因此，PRPS 还取局部 \((2r+1)\times(2r+1)\) 图像块，用其最小和最大强度做对比度归一化，得到局部调制项 \(C_k\)。 对第 \(k\) 个目标，将高斯项 \(G_k\) 与对比度项逐元素相乘，再把结果归一化到 \([0,1]\)。 原文式 (5) 的文字说明支持以下写法，其中 \(\odot\) 表示逐元素乘法：
这样，距离中心近并且符合局部辐射结构的位置得到较强监督，而不是简单把一个固定圆盘标成前景。 多个目标的局部响应再通过确定性聚合形成整幅监督图；可读正文没有明确聚合究竟取最大值、求和还是其他规则，不能代作者补定。 支撑域重叠不一定意味着目标合并，但仍需要聚合结果保留可分离的局部极大值。 因此，这一设计缓解的是梯度稀疏和响应不适配，而不是从数学上保证任意距离的相邻目标都可分。 表 3 中单点脉冲、纯高斯与 PRPS 的对比，正好分别检验“扩大有效监督”和“引入局部对比度”这两个作用。
2. 高分辨率概率编码器：在单尺度上保留微弱峰值，而非先丢失再重建
HRPE 的入口是两层步长为 2 的 \(3\times3\) 卷积，每层后接批归一化和 ReLU，总输出步长因此为 4。 通道首先扩展到 64，经过瓶颈残差块和轻量通道重组单元，再通过过渡层降到 32。 后续不再建立低分辨率分支或解码器，而是在这一网格上级联局部特征处理。 对于只有几个像素的目标，保留网格连续性可以减少多次下采样对中心和邻近响应的破坏。 这里的“高分辨率”是相对深层强下采样骨干而言，不是始终以原图分辨率计算。
每个通道重组单元把特征按通道均分：一半保留为恒等分支，另一半做深度卷积等轻量处理和通道重加权。 处理分支中的重加权采用类似 squeeze-and-excitation 的机制，因此该模型并非完全没有注意力。 两部分拼接后执行 channel shuffle，使后续单元能够交换不同通道组的信息；部分单元再加入深度卷积细化局部空间响应。 这样既保留直接传递的信号，也让有限计算用于改变有用的局部响应，而不是不断堆叠跨尺度融合。 “纯编码器”指没有分割解码路径与跨尺度跳接，不应误读为连单元内部的残差或恒等分支都没有。
最后用一个 \(1\times1\) 卷积把 32 通道映射为单通道响应图，输出端不加激活函数。 这使输出可以直接接受回归监督，但也意味着预测值并不天然受限于 \([0,1]\)，不能直接称为校准概率。 表 4 显示，步长从 4 增至 8 会显著损失召回，而降至 2 增加计算却没有提高 F1。 这支持的是当前任务与配置下的步长选择，不是“分辨率越高一定越好”的普遍规律。
3. 轻量峰值推理：把响应极大值直接变成中心坐标
推理先在预测热图上做 \(3\times3\)、步长为 1 的最大池化，保留与邻域最大值相等的位置，相当于局部非极大值抑制。 再用置信阈值 \(\tau\) 过滤低响应点，按剩余响应强度选择至多 \(N_{\max}\) 个候选。 作者把 \(N_{\max}\) 设为各数据集的最大目标数，并称扩大数倍不会改变指标，因为新增低分峰会被阈值去掉。 这不是无条件的密集场景保证：未知部署场景仍需要合理设置候选上限。 正文称阈值有较宽稳定区间，但没有在可读实验表中给出完整阈值扫描或明确默认数值。
整数网格峰值还要在 NMS 前的响应图上进行亚像素修正。 具体依据是峰值左右、上下邻居的有限差分符号，朝响应更强的一侧移动；原文文字给出修正尺度 \(1/s\)，默认即 \(1/4\)。 最后用逆仿射变换把修正后的热图坐标映射回原始图像，得到检测中心。 缓存中的式 (11) 和式 (12) 排版受损，因此这里说明可读机制，不把猜补的完整表达式当成作者公式。 这条后处理路径不需要对掩码做连通域聚类，也不需要另一个学习式定位头，但仍然有峰值筛选和坐标变换，并非“零后处理”。
一个完整示例¶
以实验中的 \(640\times640\) 单通道输入为例，步长 4 对应 \(160\times160\) 响应网格。 训练时，一个目标点先经过 PRPS 生成局部衰减响应；HRPE 从图像预测整幅热图，再与监督图比较。 以默认 \(r=6\) 看，局部窗口边长是 13；它是构造响应的邻域尺寸，不能当作目标真实宽度或预测框大小。 测试时没有这个标注点，也不再运行依赖标注的 PRPS。 网络预测峰值后，系统做局部极大值筛选、阈值过滤、亚像素修正和原图坐标还原。 若两个邻近目标仍产生两个可分峰值，它们可以各自输出；若合成一个峰值，当前推理机制没有显式的二次拆分步骤。 这个例子解释的是尺寸和数据流，不是论文额外报告的单图检测结果。
损失函数 / 训练策略¶
论文第 3.2 节只明确使用预测响应图与 PRPS 目标之间的标准逐像素回归，没有在可读正文中指定损失的精确范数或加权公式。 因此不能把 MSE、BCE 或 focal loss 中的任何一种写成已确认的实现。 作者认为局部结构化监督提供了足够梯度，使其不必专门设计类别不平衡损失；这是方法解释，而非梯度统计实验。 实现使用 PyTorch，在 RTX 4090 上训练，优化器为 Adam，初始学习率 0.005，批大小 10，共 500 个 epoch。 学习率调度为 ReduceLROnPlateau，factor 为 0.01、patience 为 3；比较方法遵循各自原始训练计划，并非统一训练轮数。 SIRST-UAVB 使用 \(640\times640\) 输入，SIRST4 使用 \(512\times512\) 输入。 缓存中坐标映射和高斯公式也有损坏，局部原图块与热图网格的精确采样对齐应以代码核实，不把文字说明扩写成未经验证的实现细节。
实验关键数据¶
主实验¶
SIRST-UAVB 共 3000 张图像，训练/测试划分为 2400/600；SIRST4 共 3352 张，划分为 2285/1067。 评估统一到中心层面：分割输出用 8 连通聚类求中心，框检测取框中心，SPIRE 取响应峰值。 默认匹配容差为原图中 \(\delta=5\) 像素，Recall 等价于检测概率 \(P_d\)，F1 为 Precision 与 Recall 的调和平均。 本文的虚警率定义为 \(F_a=\mathrm{FP}/N_{\mathrm{pixels}}\)，其中 FP 是错误中心检测数，不能直接混同于错误分割像素比例。
下表节选原文表 1（第 13 页）；Precision、Recall 和 F1 单位为 %，\(F_a\) 表示 \(10^{-8}\) 单位下的报告值。 参数量和 FLOPs 均按 \(640\times640\) 计算，不应把这列 FLOPs 当成 SIRST4 的 \(512\times512\) 实际开销。
| 数据集 | 方法 | Precision | Recall | F1 | \(F_a\) | FLOPs (G) | 参数 (M) |
|---|---|---|---|---|---|---|---|
| SIRST-UAVB | DNANet | 94.48 | 89.54 | 91.95 | 15.77 | 89.13 | 4.70 |
| SIRST-UAVB | SCTransNet | 98.27 | 95.95 | 97.09 | 5.09 | 63.22 | 11.19 |
| SIRST-UAVB | SPIRE | 99.82 | 94.44 | 97.05 | 1.02 | 7.68 | 0.29 |
| SIRST4 | DNANet | 93.99 | 81.20 | 87.13 | 29.82 | 89.13 | 4.70 |
| SIRST4 | SCTransNet | 81.20 | 86.39 | 83.72 | 114.98 | 63.22 | 11.19 |
| SIRST4 | SPIRE | 95.00 | 94.21 | 94.60 | 28.53 | 7.68 | 0.29 |
SPIRE 在 SIRST-UAVB 的优势主要是高精度和低虚警，F1 比 SCTransNet 低 0.04 个百分点，不能写成该数据集上所有指标最优。 SIRST4 的 94.60% F1 是表 1 所列方法中的最高值，但结论限定在中心级评价，不代表轮廓分割质量最优。 原文表 2（第 13 页）还报告 SPIRE 为 261.2 FPS、DNANet 为 80.86 FPS；这是论文同输入与硬件设置下的报告，不是本笔记重新测量的端到端吞吐。
消融实验¶
下表节选原文表 3（第 14 页），均为 SIRST-UAVB；前三项比较监督形式，后两项与默认 PRPS 比较尺度。 所有 Precision、Recall、F1 均为 %，\(F_a\) 的单位仍为 \(10^{-8}\)。
| 监督配置 | Precision | Recall | F1 | \(F_a\) |
|---|---|---|---|---|
| PRPS，\(\sigma=2,r=6\) | 99.82 | 94.44 | 97.05 | 1.02 |
| 单点脉冲 | 98.71 | 90.22 | 94.27 | 2.85 |
| 无约束高斯 | 98.93 | 93.76 | 96.28 | 2.44 |
| PRPS，\(\sigma=1,r=3\) | 97.60 | 88.60 | 92.87 | 5.26 |
| PRPS，\(\sigma=3,r=9\) | 99.70 | 92.50 | 95.99 | 0.67 |
PRPS 相对单点脉冲提高 F1 2.78 个百分点，相对无约束高斯提高 0.77 个百分点。 扩大到 \(\sigma=3\) 虽把虚警降到 0.67，却牺牲召回，说明“更宽的监督”并非单向收益。
下表节选原文表 4（第 14 页），仍为 SIRST-UAVB，FLOPs 在 \(640\times640\) 输入下计算。 为避免混淆，该表不抄参数列：原文表 4 的参数单位是 \(10^{-2}\)M，而表 1 是 M。
| 编码器配置 | Recall (%) | F1 (%) | \(F_a\) (\(10^{-8}\)) | FLOPs (G) |
|---|---|---|---|---|
| HRPE，\(s=4\) | 94.44 | 97.05 | 1.02 | 7.68 |
| HRPE，\(s=2\) | 91.23 | 95.25 | 0.81 | 26.77 |
| HRPE，\(s=8\) | 83.98 | 86.91 | 22.38 | 3.05 |
| 去掉通道重组 | 93.90 | 95.76 | 5.33 | 7.70 |
| 去掉重加权 | 93.71 | 95.09 | 8.15 | 7.72 |
关键发现¶
步长从 4 增至 8，F1 从 97.05% 降至 86.91%，说明减少计算不能以破坏小目标响应为代价。 去掉通道重组或重加权对召回的影响较小，却显著增加虚警，支持这些组件主要改善杂波判别的解释。 原文表 2 在容差从 3 放宽到 5 像素时，SPIRE 的 Recall 从 92.93% 增至 94.21%，但 \(F_a\) 同时从 18.61 增至 28.53，F1 从 94.74% 降至 94.60%。 对固定预测和常规匹配过程，这种虚警随容差放宽而上升的结果需要额外解释；本文保留原值，不擅自修正，也不把该表当作无疑点的稳健性证明。
亮点与洞察¶
最有价值的改变是先确定下游到底需要什么：若只需要定位，监督表示可以提供密集学习信号，却不必输出密集语义区域。 PRPS 把空间先验与图像局部对比度结合，说明“标签少”并不等于“可用监督必须是孤立脉冲”。 HRPE 的简化与监督重构相互配合，不能把效果完全归因于删掉解码器，也不能声称删解码器对任意 IRSTD 网络都有效。 对其他点状定位任务，可借鉴“紧凑响应监督加直接峰值输出”的思路，但响应核和强度先验需要重新验证，而不是机械套用红外假设。
局限与展望¶
论文没有单独的局限章节；以下主要是根据方法和实验范围作出的阅读判断。 实验只覆盖两个中心定位基准，没有证明模型能够恢复目标轮廓、尺寸或类别，也未给出跨传感器迁移和真实边缘设备时延测试。 主表没有纳入 LESPS、MCLC、FromEasy2Hard 或 P2P-HDNet 的直接结果，因此尚不足以完整比较现有单点监督及点到点路线。 局部最大强度对齐可能被近邻强杂波吸引，固定高斯尺度和各向同性先验也可能不适合拉长或严重退化的目标；需要针对这些条件的受控实验。 目标非常接近时，能否保留两个峰值仍是前提，正文没有按中心间距给出密集目标分离曲线。 聚合规则、精确回归损失、阈值默认值及坐标采样细节需要代码核查，表 2 的匹配统计疑点也需要原始预测或评估实现解释。 后续可优先测试标注点扰动、目标间距、传感器变化和阈值扫描，并报告重复运行方差，区分建模优势与设置敏感性。
相关工作与启发¶
与 LESPS、MCLC、FromEasy2Hard 的关系：它们同样减少点标注成本，但主要通过伪掩码或逐步细化监督维持分割范式；SPIRE 把最终预测对象本身改成中心响应。 与 P2P-HDNet 的关系：点到点热图定位并非本文首创；论文将区别放在局部成像先验、较少特征融合和纯编码器实现，因此创新应按这个组合判断。 与 HRNet、HigherHRNet 的关系：高分辨率关键点表示提供了方法背景，但 SPIRE 使用单分支固定步长，不等同于直接采用它们的多分辨率结构。 与 ShuffleNet 的关系：分组处理和通道 shuffle 是已有高效网络思想；在这里它们服务于局部响应的保留和交互，而不是独立提出的新算子。
评分¶
- 新颖性: 4/5。监督、结构与中心定位目标配合紧密，但热图回归和通道重组均有明确前作。
- 实验充分度: 3/5。有双基准和监督、尺度、结构消融，仍缺直接单点路线对比与部分复现细节。
- 写作质量: 3/5。方法动机清楚，表 2 统计疑点影响论证，当前全文提取还存在公式损坏。
- 价值: 4/5。对仅需中心坐标的低计算预算红外检测具有实用启发，不能外推到所有分割需求。