Rethinking Infrared Small Target Detection: A Foundation-Driven Efficient Paradigm¶

会议: NeurIPS 2026
arXiv: 2512.05511
代码: https://github.com/YuChuang1205/FDEP-Framework
领域: 目标检测
关键词: 红外弱小目标检测, 视觉基础模型, 语义对齐与调制融合, 协同优化隐式自蒸馏, 综合评估指标

一句话总结¶

针对单帧红外弱小目标检测（SIRST）中全局上下文缺失与推理开销矛盾，本文提出视觉基础模型驱动的高效范式 FDEP，通过语义对齐调制融合（SAMF）与参数共享的协同优化隐式自蒸馏（CO-ISD），在零推理开销下实现显著性能提升，并建立了多阈值积分的综合评估指标 HSE。

研究背景与动机¶

单帧红外弱小目标检测（SIRST）是红外搜索跟踪系统（IRST）、海事搜救与早期预警的核心关键技术。然而在实际成像场景中，弱小目标成像面积通常仅有数个像素，不仅缺乏清晰的边缘轮廓、颜色与纹理特征，更极易被复杂多变的地物杂波、高亮边缘、海浪反光和厚重云层所湮没。现有的深度学习 SIRST 检测方法大多依赖局部对比度放大、边缘形态先验约束或对 U-Net 编解码结构的定制化改造，虽然能够在受控场景下增强微弱响应，但由于缺乏大尺度的全局上下文感知与高级语义关系建模能力，面对低信噪比与复杂背景时常常出现高频误报或目标漏检。

将大规模预训练视觉基础模型（VFMs，如 DINOv2）引入 SIRST 任务直觉上能够提供强大的通用语义与全局拓扑先验，但面临两大根本障碍：一方面，在自然图像上自监督预训练的 VFM 呈现大尺度语义分布，与红外弱小目标极度稀疏、像素级高频细节敏感的特征分布存在严重的跨域鸿沟；若直接将 VFM 接入解码器甚至替换骨干网络，检测精度反而会发生灾难性劣化（实验显示直接连接解码器的 HSE 仅为 21.77）。另一方面，基础模型巨大的参数量与显存占用，与红外边缘端设备对严苛实时性（低延迟、极小算力）的部署要求存在尖锐矛盾。若采用传统的显式知识蒸馏方案，又会因红外图像极端的前背景类别不平衡（前景像素占比不足万分之一）而引发梯度震荡，导致特征对齐不稳定与性能退化。同时，现有评价体系依赖离散单阈值指标（$IoU, P_d, F_a$）以及对海量负样本极度钝化、常产生虚高假象的传统 ROC-AUC 指标，难以客观反映检测模型的真实置信度与鲁棒性。

本文的切入角度是解耦特征引入与推理部署的计算负担，构建一种在训练期充分汲取基础模型全局先验、但在推理期完全剥离基础模型开销的协同演化机制。核心 idea：构建视觉基础模型驱动的高效范式 FDEP，利用语义对齐调制融合（SAMF）跨越语义鸿沟，并通过编解码器全参数共享与同步反向传播的隐式自蒸馏（CO-ISD），在反向传播中将基础模型的高阶语义表征能力无感注入轻量分支，实现零额外推理成本的性能飞跃与全局置信评估。

方法详解¶

整体框架¶

FDEP 整体框架由三条协同运转的分支构成：冻结参数的基础模型特征提取分支、主检测分支以及轻量化推理分支。输入单帧红外图像首先送入冻结权重的大规模视觉基础模型（如 ViT-L/14 的 DINOv2），提取第 6、12、18、24 层的多层级全局语义表征；同时输入已有的特定任务 SIRST 骨干编码器（如 MSDA-Net、DNA-Net 等）提取任务特异性深层特征。在主分支中，二者通过级联的语义对齐调制融合（SAMF）模块进行跨尺度与跨域深层交互，输出抗杂波干扰且高语义判别的融合特征。轻量分支则完全保持原始 SIRST 网络的轻量拓扑。在训练阶段，轻量分支与主分支共享全部编码器与解码器参数，二者在统一优化目标下同步计算损失并反向传播；在推理部署阶段，冻结 VFM 分支与主分支的 SAMF 交互层被完全舍弃，仅激活轻量分支进行前向预测，实现无额外推理时延与参数量的高效部署。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    In["输入红外图像"] --> VFM["冻结基础模型 DINOv2<br/>提取多层全局语义 prior"]
    In --> Enc["共享编码器<br/>提取任务特异性特征"]

    subgraph S1["1. 语义对齐调制融合 SAMF"]
        direction TB
        VFM --> Align["尺度投影与通道对齐<br/>Conv1x1 + 双线性上采样"]
        Align --> GenMod["生成双路调制图<br/>乘性门控 Mmul + 加性语义 Madd"]
        Enc --> SplitFeat["特征通道均分<br/>[FA, FB]"]
        GenMod --> DualMod["双路径协同调制<br/>乘性杂波抑制 + 加性语义注入"]
        SplitFeat --> DualMod
        DualMod --> ResRefine["通道拼接与残差细化<br/>Conv3x3 渐进式多层特征重构"]
    end

    subgraph S2["2. 协同优化隐式自蒸馏 CO-ISD"]
        direction TB
        ResRefine --> MainLoss["主分支任务损失 Lmain<br/>EEDM 边缘增强难样本挖掘"]
        Enc --> LightDec["共享解码器前向推理<br/>纯轻量分支任务输出"]
        LightDec --> LightLoss["轻量分支任务损失 Llight<br/>EEDM 损失计算"]
        MainLoss & LightLoss --> JointLoss["联合损失 LCO-ISD = Lmain + α·Llight<br/>全参数共享 + 同步梯度反向传播"]
    end

    subgraph S3["3. 综合评估指标 HSE 统一评测"]
        direction TB
        JointLoss --> Deploy["推理部署阶段：仅保留轻量分支<br/>零推理开销 / 原生网络时延"]
        Deploy --> HSECalc["多阈值全景积分评测<br/>HSE = HSE-P × HSE-T"]
    end

    HSECalc --> Out["高保真低虚警检测结果"]

关键设计¶

1. 语义对齐调制融合：跨域先验对齐与双路径解耦调制

将自然图像基础模型的通用表征迁移至红外弱小目标任务的核心难点，在于空间分辨率失配与语义表征域偏移。针对这一问题，SAMF 模块设计了三步协同机制：语义对齐、双路径调制与残差细化。首先在语义对齐阶段，针对冻结 DINOv2（ViT-L/14）第 $i \in \{6, 12, 18, 24\}$ 层的深层特征 $F_{\text{DINO}}^{(i)} \in \mathbb{R}^{C_d \times H_i \times W_i}$，利用 $1 \times 1$ 卷积将其通道压缩至 32 维，并通过双线性插值上采样对齐至主干网络顶层特征 $F^{(t)} \in \mathbb{R}^{64 \times H \times W}$ 的空间尺度，得到对齐先验 $\tilde{P}^{(i)}$。随后，两个独立的 $1 \times 1$ 卷积分支分别生成归一化的乘性门控图与加性语义调制图： $$M_{\text{mul}}^{(i)} = \text{Sigmoid}(\text{Conv}_{1\times 1}(\tilde{P}^{(i)})), \quad M_{\text{add}}^{(i)} = \text{ReLU}(\text{BN}(\text{Conv}_{1\times 1}(\tilde{P}^{(i)})))$$ 在双路径调制阶段，主干特征 $F^{(t)}$ 沿通道维度等分为 $[F_A^{(t)}, F_B^{(t)}]$。其中 $F_A^{(t)}$ 与 $M_{\text{mul}}^{(i)}$ 进行逐元素点乘以施加空间-通道注意力门控，利用基础模型辨识出的背景结构强力压制高频噪声与杂波伪影；$F_B^{(t)}$ 则与 $M_{\text{add}}^{(i)}$ 直接相加，将富含全局上下文的高维语义表征直接补偿进稀疏的目标表征中。最后在残差细化阶段，两个调制后的特征向量在通道维度拼接后与原始输入 $F^{(t)}$ 进行残差求和，并通过 $3 \times 3$ 卷积整合为 $F^{(t+1)}$。通过级联 4 个 SAMF 模块，主干网络顶层特征渐进式地同化 DINO 4 个深层的多尺度先验，生成对噪声免疫且对微弱目标极端敏锐的高质量判别特征。

2. 协同优化隐式自蒸馏：参数共享驱动的零推理开销知识迁移

在边缘计算平台上，SIRST 算法受到严格的毫秒级时延限制，直接前向运行庞大的 VFM 是不可行的；而传统的显式知识蒸馏在极度不平衡的稀疏小目标场景中容易发生损失震荡。为此，CO-ISD 策略在训练阶段构建了主分支与轻量分支的参数共享双路结构。主分支融合了 VFM 的语义先验，轻量分支则严格保留基础 SIRST 网络原有拓扑。关键机制在于：两个分支共用同一套编码器和解码器权重，且在反向传播时直接同步联合更新。主分支由于吸收了经由 SAMF 增强的高维语义，其反向传播流向共享权重的梯度富含对全局上下文的理解与对杂波的判别能力；轻量分支在共享参数空间内被同步优化，通过梯度级的语义协同被动继承了主分支强大的表征能力。

该设计完全避免了传统特征对齐蒸馏中繁琐的显式距离惩罚（如 MSE、KL 散度等显式蒸馏损失），消除了显式蒸馏在前景像素极度稀缺时带来的数值不稳定问题。训练完成后，推理阶段直接剥离冻结基础模型和 SAMF 模块，仅加载更新后的共享轻量网络权重进行前向推理，使得模型既获得了基础模型的性能红利，又维持了与原始轻量架构完全一致的参数量与纯原生推理延迟。

3. 综合评估指标 HSE：像素级置信度与目标级鲁棒性的全域积分

传统的 SIRST 评价体系高度割裂且存在固有限制：单阈值指标（如在固定阈值 0.5 下计算的 $IoU$ 与 $nIoU$）只能反映单一操作点，无法衡量模型输出概率图的整体标定质量；而常用的 ROC-AUC 指标由于负样本（背景像素）占比超过 99.99%，假正例率（FPR）的分母被极大稀释，导致即便模型输出大量虚警斑块，其 AUC 依然能轻易达到 0.999 以上，严重掩盖了模型的缺陷。针对这一痛点，本文提出了兼具局部精度与宏观鲁棒性的多阈值全景积分评估指标 $HSE = HSE\text{-}P \times HSE\text{-}T$。

其中，$HSE\text{-}P$ 关注像素级置信度质量。它将测试集所有样本的预测概率图与真实标签扁平化展开，在整个连续概率域内计算精确率-召回率（Precision-Recall, PR）曲线，并通过定积分计算其曲线下面积： $$HSE\text{-}P = \int_0^1 P(R) \, \mathrm{d}R$$ 与 ROC-AUC 相比，PR 曲线对假阳性像素高度敏感，能够精准暴露微小伪影。$HSE\text{-}T$ 则立足于目标级检测鲁棒性。它在设定的离散阈值集合 $\mathcal{T} = \{t_1, t_2, \dots, t_M\}$ 下对预测概率图进行动态二值化，提取预测连通域与真值连通域，基于质心欧氏距离容差 $\tau$ 进行匈牙利匹配，统计各阈值下的目标级精确率 $P(t_j)$ 与召回率 $R(t_j)$，进而沿阈值维度进行离散积分： $$HSE\text{-}T = \sum_{j=1}^M P(t_j) [R(t_j) - R(t_{j+1})]$$ 二者通过乘积融合，$HSE$ 指标实现了从传统“孤立点评估”到“全阈值积分线评估”，最终到“概率空间立体面度量”的根本性跃升，为 SIRST 领域提供了稳定无偏的综合度量基准。

一个完整示例¶

以输入一张尺寸为 $448 \times 448$ 包含复杂云层反光、目标大小仅为 $3 \times 4$ 像素的低信噪比红外图像为例： 1. 基础表征与特异编码：图像同时输入冻结的 DINOv2-ViT-L/14 和 MSDA-Net 骨干编码器。DINOv2 在第 6, 12, 18, 24 层输出表征大尺度天空-云层拓扑的高维 token，而 MSDA-Net 提取尺寸为 $64 \times 112 \times 112$ 的顶层弱小目标感知特征 $F^{(t)}$。 2. SAMF 调制去噪：第 6 层 DINO 特征被投影上采样至 $32 \times 112 \times 112$ 维，生成加性图 $M_{\text{add}}$ 与乘性门控图 $M_{\text{mul}}$。$F^{(t)}$ 拆分为两个 32 维特征子块，在云层高亮区域，$M_{\text{mul}}$ 门控响应接近 0，直接压制了云块边缘的误响应；在暗弱小目标所在网格，$M_{\text{add}}$ 注入上下文显著性先验。残差融合后输出更纯净的 $F^{(t+1)}$。经过 4 轮渐进调制，假阳性响应大幅收敛。 3. 协同训练与梯度回传：主分支输出预测图 $Y_{\text{main}}$，轻量分支（未接入 SAMF 和 DINO）由共享骨干网络直接前向计算出 $Y_{\text{light}}$。两路各自与 Ground Truth 计算边缘增强难样本挖掘损失 $\mathcal{L}_{EEDM}$，在 $\mathcal{L}_{CO\text{-}ISD} = \mathcal{L}_{\text{main}} + \mathcal{L}_{\text{light}}$ 驱动下同步反向传播。主分支梯度直接淬炼了轻量分支共享权重的抗杂波辨别力。 4. 边缘端纯轻量推理：部署时彻底剥离 DINOv2 和 SAMF，单帧推理时间保持在原生 MSDA-Net 的 0.035 秒（GPU 显存无额外开销），输出图在多阈值下均能精准锁定小目标质心，实现 $HSE$ 达 91.31 的出色检测。

损失函数 / 训练策略¶

在训练阶段，两分支均采用面向红外弱小目标边界敏感特性的边缘增强难样本挖掘损失（Edge-Enhanced Difficulty-Mining Loss, $\mathcal{L}_{EEDM}$）： $$\mathcal{L}_{\text{main}} = \mathcal{L}_{EEDM}(Y_{\text{main}}, Y_{\text{gt}}), \quad \mathcal{L}_{\text{light}} = \mathcal{L}_{EEDM}(Y_{\text{light}}, Y_{\text{gt}})$$ 整体优化目标为两分支损失的加权和： $$\mathcal{L}_{CO\text{-}ISD} = \mathcal{L}_{\text{main}} + \alpha \cdot \mathcal{L}_{\text{light}}$$ 在所有基准模型实验中，超参数 $\alpha$ 统一设置为 1。优化器采用 AdamW，初始学习率设为 $1.0 \times 10^{-3}$，批量大小（batch size）为 16，训练迭代轮数为 400 epochs。所有输入图像归一化后随机裁剪为 $448 \times 448$ 像素的训练块，在单张 NVIDIA RTX 4090 24GB GPU 上完成端到端训练。

实验关键数据¶

主实验¶

在 SIRST3 综合数据集上，本文将 FDEP 范式嵌入到 8 种主流且代表性的 SIRST 检测架构中。实验对比了原始网络（Original）、引入基础模型但不使用隐式自蒸馏的直接前向版本（+ FDEP w/o CO-ISD），以及最终轻量部署模型（+ FDEP Framework）。

基础模型	配置版本	IoU (%) ↑	nIoU (%) ↑	$P_d$ (%) ↑	$F_a$ ($10^{-5}$) ↓	HSE-P (%) ↑	HSE-T (%) ↑	HSE (%) ↑	参数量 (M)	推理时间 (s)
ACM	Original	62.76	61.25	94.62	18.78	82.41	82.58	68.05	0.40	0.022
	+ FDEP w/o CO-ISD	70.43	69.73	96.48	19.70	90.02	86.66	78.01 (+9.96)	0.85	0.082
	+ FDEP Framework	68.56	68.01	95.42	13.92	89.17	85.02	75.81 (+7.76)	0.85	0.022
ALCNet	Original	68.30	69.55	95.28	34.07	87.56	84.74	74.20	0.43	0.021
	+ FDEP w/o CO-ISD	73.17	73.23	97.14	24.95	91.73	88.67	81.34 (+7.14)	0.88	0.082
	+ FDEP Framework	70.57	72.88	95.61	22.05	89.75	87.25	78.31 (+4.11)	0.88	0.021
MLCL-Net	Original	79.83	82.88	96.35	19.02	94.37	91.98	86.80	0.66	0.025
	+ FDEP w/o CO-ISD	84.16	85.08	97.54	8.59	96.63	93.57	90.43 (+3.63)	1.11	0.087
	+ FDEP Framework	80.24	83.46	95.42	12.25	94.27	92.50	87.20 (+0.40)	1.11	0.025
DNA-Net	Original	82.59	86.08	96.68	9.29	95.38	93.41	89.10	4.70	0.095
	+ FDEP w/o CO-ISD	83.06	86.09	98.14	8.90	96.33	94.99	91.50 (+2.40)	8.77	0.160
	+ FDEP Framework	82.54	86.06	97.54	11.93	95.46	93.89	89.62 (+0.52)	8.77	0.095
MSDA-Net	Original	82.86	85.46	97.01	12.53	96.43	93.04	89.72	4.79	0.035
	+ FDEP w/o CO-ISD	84.71	86.57	98.14	11.95	97.25	94.32	91.73 (+2.01)	5.24	0.100
	+ FDEP Framework	84.05	86.33	97.54	14.24	96.92	94.21	91.31 (+1.59)	5.24	0.035

消融实验¶

基于 MSDA-Net 骨干在 SIRST3 数据集上进行的模块拆解消融实验，清晰展示了基础模型表征（DINO）、语义对齐调制融合（SAMF）以及隐式自蒸馏（CO-ISD）的独立与协同作用：

方案配置	冻结 DINO	SAMF 模块	CO-ISD 蒸馏	HSE-P (%)	HSE-T (%)	HSE (%)	相对增益 (ΔHSE)	参数量 (M)	推理时间 (s)
Original	✗	✗	✗	96.43	93.04	89.72	基准	4.79	0.037
Scheme 1	✓	✗	✗	96.93	94.29	91.40	+1.68	5.05	0.100
Scheme 2	✓	✓	✗	97.25	94.32	91.73	+2.01	5.24	0.100
Scheme 3	✓	✗	✓	96.76	93.73	90.92	+1.20	5.05	0.037
Scheme 4 (Full)	✓	✓	✓	96.92	94.21	91.31	+1.59	5.24	0.037

同时，针对 CO-ISD 架构中参数共享方式与显式蒸馏损失（EDL）的消融对比（见下表）证实了隐式协同的优越性：

共享结构设置	引入显式蒸馏损失 (EDL)	HSE-P (%)	HSE-T (%)	HSE (%)
仅共享编码器 (Encoder Only)	✓	94.71	90.36	85.58
仅共享编码器 (Encoder Only)	✗	96.00	92.50	88.81
仅共享解码器 (Decoder Only)	✓	94.67	89.13	84.38
仅共享解码器 (Decoder Only)	✗	96.40	91.96	88.64
全共享 (Encoder + Decoder)	✓	96.59	93.66	90.47
全共享 (Encoder + Decoder)	✗	96.92	94.21	91.31

关键发现¶

基础模型表征的跨域价值得到证实：直接向弱小目标检测器引入冻结 DINOv2 特征（Scheme 1），HSE 立即从 89.72 提升至 91.40，证明了预训练基础模型的空间几何与全局上下文感知能够有效弥补红外单帧弱小目标信噪比低、特征极其稀疏的先天不足。
SAMF 调制化解语义偏移：相比直接相加/拼接融合，引入 SAMF 双路径调制机制使得 HSE 进一步提升 0.33~0.39 个百分点，表明乘性抑制（去噪）与加性注入（补全语义）解耦策略对于填补自然域与红外域的分布鸿沟必不可少。
CO-ISD 实现推理零时延无损蒸馏：通过全参数共享与联合梯度回传，轻量分支在推理时延从 0.100s 骤降 63.0% 至 0.037s（完全与原生 MSDA-Net 相同）的同时，HSE 仅比重型主分支微降 0.42（91.73 $\to$ 91.31），彻底打破了 SIRST 领域“精度提升必伴随计算膨胀”的固有局限。
显式蒸馏在极不平衡场景下失效：显式施加蒸馏损失（EDL）不仅没有带来增益，反而导致 HSE 显著下跌（全共享时从 91.31 跌至 90.47，仅编码器共享时从 88.81 暴跌至 85.58），有力论证了极度稀疏前景下显式距离正则化会干扰极端类别不平衡损失优化，而参数共享梯度的隐式蒸馏更为平稳健壮。

亮点与洞察¶

视觉基础模型在红外极小目标领域的首度破局：打破了 VFM 只能用于常规显著性或高分辨率自然目标检测的固有认知，首次通过先验冻结+轻量交互证明了百亿参数通用视觉特征对单帧几像素弱小目标的语义指引价值。
隐式梯度蒸馏巧解极端类别不平衡蒸馏困境：利用编解码器全参数共享和两分支同步反向传播构建隐式自蒸馏，省去了所有特征/概率层面的显式距离损失，既实现了完全无额外推理时延的极速部署，又规避了前景万分之一稀疏度下的蒸馏梯度震荡。
HSE 指标升级红外检测评价基准：跳出了传统单阈值判定与失真的 ROC-AUC 盲区，将“像素级全局置信度标定”与“目标级多阈值质心容差召回”在连续积分层面统筹，杜绝了模型依靠背景平坦度刷高 AUC 的评测漏洞。

局限与展望¶

训练显存峰值开销增加：尽管推理阶段零额外开销，但训练阶段需要常驻冻结的 ViT-L/14 基础模型，且需要同时维护两套前向计算图，这使得训练显存与单轮反向传播耗时显著高于原本的轻量网络。
对移动红外多帧序列上下文的利用不足：本文定位于单帧 SIRST（Single-frame SIRST），尚未将基础模型在视频时序追踪方面的时空连续性先验引入多帧微弱目标轨迹挖掘中。
未来改进方向：可进一步探索适配边缘端训练的超轻量基础模型（如 Mobile-DINO 等）作为先验源，并将 FDEP 框架拓展至红外运动目标检测与低空无人机微型轨迹追踪等时空关联任务中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性将冻结 VFM 引入 SIRST 任务，并提出免显式损失的参数共享隐式自蒸馏范式及 HSE 积分指标。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 种代表性骨干网络、4 个主流基准数据集以及详尽的模块/基础模型尺度/蒸馏策略消融，证据坚实。
写作质量: ⭐⭐⭐⭐⭐ 动机清晰，问题剖析一针见血，数学公式严密且系统性地重构了评价体系。
价值: ⭐⭐⭐⭐⭐ 兼顾了前沿基础模型的强大泛化能力与工业级边缘端红外探测的严苛实时部署要求，极具工程落地与学术启发意义。