InfraNet: Quality-Aware RGB Guidance for Infrared Object Detection¶

会议: ECCV 2026
论文: ECCV 原文
领域: 目标检测
关键词: 红外目标检测、模态非对称学习、质量感知跨模态融合、特权信息学习、多模态目标检测

一句话总结¶

针对恶劣光照下 RGB 模态严重退化污染多模态融合的问题，InfraNet 提出以红外为主干通路、RGB 为训练期质量自适应辅助指导的非对称范式，通过 QualGate 动态抑制低质 RGB 并补偿红外特征，同时支持推理期零开销纯红外（InfraNet-IR）与高容量双模态（InfraNet-RGB-IR）双重部署。

研究背景与动机¶

在自动驾驶、全天候安防监控与无人机航拍等现实感知任务中，依靠单可见光（RGB）的目标检测器极易受到夜间低照度、强逆光眩光以及雨雾等恶劣天气的影响。红外热成像（IR）能够捕捉物体自身的热辐射差异，在全黑无光或低能见度环境下具备极其稳定的成像表现；而 RGB 图像在光照充足时则能提供丰富的空间高频细节和色彩辨识度。为了融合两者的互补优势，现有的多模态目标检测大多采用对称的双流特征融合架构或决策级融合策略，假设两路模态始终能协同带来增益。

然而，这种平权融合范式忽略了一个致命痛点：恶劣条件下 RGB 模态的不可靠性与严重退化。在极暗夜晚或浓雾环境中，RGB 图像往往充满强噪点甚至呈现为无辨识度全黑画面。如果网络无差别地将退化的 RGB 特征与清晰的红外特征融合，RGB 引入的无用噪声不仅会污染原本干净的红外表征，还会造成严重的负迁移，导致融合后的特征质量反而低于纯红外基线。更严重的是，现有主流特征级融合模型在推理阶段强制要求 RGB 与 IR 双模态齐备，一旦可见光传感器失效或受阻，模型便无法正常运转。

本文的切入视角是摒弃模态对称融合的固有思维，确立“以红外为核心载体、将 RGB 视为带质量门控的辅助特权信息”的设计原则。核心 idea：构建以红外为主导通路的非对称感知架构，设计基于任务导向标量控制分数的 QualGate 模块，在训练期动态执行 RGB 噪声抑制与红外自适应特征补偿，在兼顾双流融合的同时支持推理阶段彻底剥离 RGB 分支的零额外开销纯红外检测。

方法详解¶

整体框架¶

InfraNet 针对不同部署场景构建了统一的非对称指导体系，并细分为两种部署架构：面向边缘计算与极端场景的轻量纯红外检测器 InfraNet-IR，以及面向双传感器完备场景的高性能双流检测器 InfraNet-RGB-IR。

整体网络以红外主干为主通路（基于 YOLOv8/v9/v12 或 ResNet 等分层结构），提取层次化红外多尺度特征 \(\{P_3, P_4, P_5\}\)；辅助 RGB 通路则通过轻量级结构提取特征，并在多个预设的多尺度融合位点与红外特征交互。在每个融合节点，QualGate 模块根据可见光特征自身的质量自适应评估可靠性控制标量 \(q\)，据此实施 RGB 特征降权抑制与红外特征增强补偿，生成融合表征 \(\{A_3, A_4, A_5\}\)。对于 InfraNet-IR，RGB 分支与所有 QualGate 模块仅在训练期充当特权辅助监督，推理时完全剥离，不增加任何参数和时延；对于 InfraNet-RGB-IR，推理时则完整保留双流结构以最大化特征表征能力。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["成对输入图像<br/>I_IR (红外) + I_RGB (可见光)"] --> B["双流骨干特征提取<br/>主红外分支 (P3, P4, P5) 与辅助 RGB 分支"]
    B --> C["QualGate 质量感知动态调控<br/>评估可靠度标量 q 调节指导强度"]
    C --> D["双向自适应调制<br/>RGB 特征抑制门控 + 红外特征补偿增益"]
    D --> E["多尺度特征融合注入<br/>输出质量感知融合表征 (A3, A4, A5)"]
    E --> F{"部署架构分支选择"}
    F -->|InfraNet-IR 模式| G["推理期剥离 RGB 与融合模块<br/>纯红外主干零开销检测"]
    F -->|InfraNet-RGB-IR 模式| H["推理期保留双流融合<br/>高容量多模态联合检测"]

关键设计¶

1. 任务导向的标量可靠性控制分数预测：摆脱显式图像质量标注的主动门控

传统自适应融合常依赖手工制定的光照度量或复杂的通道/空间密集权重图，优化不稳定且计算昂贵。InfraNet 在每个融合位点部署两层轻量瓶颈 MLP（\(\mathrm{MLP}_{\mathrm{qual}}\)），对输入辅助特征 \(A_{in}\) 进行全局平均池化（GAP）后，通过 Sigmoid 函数映射输出一个标量控制分数 \(q \in (0, 1)\)：

\[q = \sigma\left(\mathrm{MLP}_{\mathrm{qual}}\left(\mathrm{GAP}(A_{in})\right)\right)\]

该分数不依赖任何外部手工标注的图像质量标签，而是完全受下游检测目标联合驱动端到端优化。当 RGB 画面清晰、富含利于定位的目标纹理时，\(q\) 趋近于较大值；而在漆黑或严重雾霾退化场景下，网络为了规避分类与定位损失的恶化，会自动将 \(q\) 下调，使其成为表征跨模态信息指导有效性的任务驱动型门控信号。

2. 抑制与补偿双向门控：防范负迁移与红外特征增强

QualGate 的核心机制在于同时对辅助通路与主红外通路进行联合且相反方向的动态调节，单向的权重重分配不足以应对严重失真： - RGB 抑制门控（RGB Suppression Gate）：直接以 \(w_{\mathrm{rgb}}(q) = q\) 作为缩放因子乘以辅助特征 \(A_{in}\)。在 RGB 充满伪影和噪声时，较低的 \(q\) 会将可见光特征幅值大幅压缩，切断不可靠线索向主通路的传播路径。 - 红外补偿增益（IR Amplification Gate）：当可见光退化严重时，网络必须更加倚重红外通路本身体征。InfraNet 设计了一个反向可靠性增益函数：

\[\alpha(q) = \mathrm{clip}(1.5 - q;\; 1.0, 1.5)\]

当 \(q\) 较小时，\(\alpha(q)\) 提升至接近上限 1.5，对红外多尺度输入进行线性放大补偿；而当 \(q\) 充足时，\(\alpha(q)\) 降至接近 1.0 恢复常规尺度。

3. 多尺度红外特征注入与融合：跨层级内容自适应对齐

在融合节点处，为了充分利用红外特征的结构先验，QualGate 引入各尺度红外特征 \(\{C_k\}_{k=1}^K\)。每个尺度的特征先通过通道适配器（Channel Adapter, CA）对齐通道维度得到 \(F_k = \mathrm{CA}(C_k)\)，再经过通道门控网络生成基于内容的重要性权重 \(g_k = \sigma(\mathrm{MLP}_{\mathrm{gate}}(\mathrm{GAP}(F_k)))\)。最终输出的质量感知融合特征 \(A_{\mathrm{out}}\) 表示为：

\[A_{\mathrm{out}} = w_{\mathrm{rgb}}(q) \cdot A_{in} + \sum_{k=1}^K \alpha(q) \cdot g_k \cdot F_k\]

该结构确保了红外信息在不同尺度上都能以内容敏感和质量感知的方式协同注入，使得即使在低层级特征图上，网络也能有效过滤高空大气散射或传感器暗电流导致的背景噪声。

损失函数 / 训练策略¶

在训练阶段，模型针对成对图像同时计算主通路预测与融合辅助通路预测的检测损失（包含任务对齐匹配下的分类损失、CIoU 边界框回归损失及分布焦点损失 DFL）。总体优化目标设定为非对称联合损失：

\[\mathcal{L} = \mathcal{L}^{(\mathrm{main})}_{\mathrm{det}} + w_{\mathrm{aux}} \cdot \mathcal{L}^{(\mathrm{aux})}_{\mathrm{det}}\]

其中辅助损失权重默认固定为 \(w_{\mathrm{aux}} = 0.25\)。这一较小的权重设置保证了网络的梯度优化始终由纯红外主干占主导地位，避免主干表征向依赖可见光特征的方向漂移，使得 InfraNet-IR 在推理阶段剥离辅助分支时，主干特征提取能力保持最优且毫不失真。

实验关键数据¶

主实验¶

论文在四个主流红外/双模态基准（LLVIP 行人、FLIR-Aligned 车载感知、DroneVehicle 无人机遥感、M3FD 多场景）上进行了系统评测。在 FLIR-Aligned 数据集上，InfraNet 不仅在双模态指标上超越了 ICCV 2025 的 WaveMamba 等前沿方案，而且其 IR-only 部署变体展现出极其出色的计算效率。

方法	模式	骨干网络	Precision (%)	Recall (%)	F1-score (%)	mAP50 (%)	mAP (%)	参数量 (M)	推理时延 (ms)
WaveMamba [72]	RGB+IR	ResNet50	84.2	77.9	80.9	86.5	47.9	193.2	53.2
Ours (RGB-IR)	RGB+IR	ResNet50	83.5	80.4	81.9	88.6	54.3	73.8	14.4
Ours (IR)	IR	ResNet50	84.9	78.8	81.7	87.3	53.0	42.1	9.4
WaveMamba [72]	RGB+IR	YOLOv8	84.2	80.9	82.5	88.4	48.1	69.1	40.0
YOLOv8-IR [47]	IR	YOLOv8	75.1	65.3	69.9	72.9	38.3	43.7	22.0
Ours (RGB-IR)	RGB+IR	YOLOv8	85.8	79.9	82.8	89.4	55.2	54.3	13.4
Ours (IR)	IR	YOLOv8	84.6	80.9	82.7	88.5	54.0	28.2	12.5
Ours (RGB-IR)	RGB+IR	YOLOv12	84.3	81.7	83.0	89.3	55.8	56.8	13.2
Ours (IR)	IR	YOLOv12	85.0	79.5	82.2	87.7	53.2	24.7	12.0

在 LLVIP 数据集上，以 YOLOv8 为骨干时，Ours (RGB-IR) 达到 98.1% mAP50 与 70.5% mAP，单红外部署 Ours (IR) 亦取得 97.3% mAP50 与 68.8% mAP，相比单模态基线 YOLOv8l-IR（95.2% / 62.1%）分别提升了 +2.1% mAP50 与 +6.7% mAP。

消融实验¶

在 LLVIP 数据集上针对 QualGate 模块机制及替代设计进行消融验证（基于 YOLOv8，采用 InfraNet-IR 设定，对应原论文 Table 5）：

配置 / 模块设定	mAP50 (%)	mAP50-95 (%)	说明
Ours with Full QualGate	97.3	68.8	完整模型：RGB 抑制 + 红外补偿
w/o IR amp (\(\alpha(q) \equiv 1\))	97.1	67.2	移除红外增益补偿，mAP 下降 1.6%
w/o RGB supp (\(w_{\mathrm{rgb}} \equiv 1\))	97.1	68.4	移除 RGB 抑制，恶劣场景出现噪声注入
Naive (\(q \equiv 1\))	96.9	67.7	退化为固定无调控融合
替换为 CRLM [31]	96.9	66.7	传统追踪相关性可靠性模块，表现欠佳
替换为 CAGF [65]	95.7	66.8	传统跨模态门控融合，难以适配非对称监督
HalluciDet 伪 RGB 机制 [35]	95.2	64.9	幻觉重构生成质量低，性能受限

辅助损失权重消融（原论文 Table 7(b)）显示：当 \(w_{\mathrm{aux}} = 0\) 时模型 mAP 为 68.0%；提升至 0.25 时达到最优的 68.8%；若进一步增大至 0.5 与 1.0，mAP 反而回落至 68.3% 与 68.1%，证明了辅助分支必须处于非对称的次要地位。

关键发现¶

双向调控的互补必要性：消融表明，仅做 RGB 抑制（保留 \(w_{\mathrm{rgb}}\)）或仅做红外放大（保留 \(\alpha(q)\)）都会带来性能折损；两者联合调节能实现 +1.1% mAP 的稳定提升，说明“抑噪”与“补强”在跨模态学习中同等关键。
质量分数的自适应任务响应：在雾气与亮度扰动实验（Table 6）中，随着人工雾气浓度加深（Level 0.2 \(\to\) 1.0），学到的控制分数 \(q\) 自发从 0.441 稳定下降至 0.434，有效降低退化 RGB 的指导强度，使得检测 mAP 保持在 67.8% 稳定不滑坡，而强制固定 \(q=1\) 的朴素模型性能暴跌至 61.8%（-6.0%）。
小目标感知突破：在 DroneVehicle 航拍小目标场景中，InfraNet-IR 对 Freight-car 和 Van 的检测精度大幅领先 WaveMamba（+9.2% 与 +4.8% AP50），这得益于多尺度红外特征在 QualGate 中的分层注入，有效弥补了高空可见光因大气散射而丢失的小目标几何边缘。

亮点与洞察¶

模态非对称特权指导范式：不同于以往将双模态绑定在全生命周期的做法，InfraNet 将 RGB 定位为训练期“陪练”，在推理期允许全身而退，既享受了跨模态语义指导红外特征收敛的好处，又完全根除了测试期双相机的硬件依赖与时延瓶颈。
任务目标反哺的质量标量设计：放弃复杂的全图像素级质量估计网络，仅用两层 MLP 预测单一全局标量 \(q\)，计算开销极低且完全由目标检测梯度反向调节，实现了“下游任务需要多少 RGB 就放行多少”的即插即用控制。
极具工程落地价值的极速部署：在 FLIR-Aligned 上，InfraNet-IR（ResNet50 骨干）仅需 42.1M 参数量和 9.4ms 推理时间，性能（53.0% mAP）全面碾压参数量高达 193.2M、时延 53.2ms 的 WaveMamba（47.9% mAP），在工业级低成本边缘嵌入式硬件上具备压倒性优势。

局限与展望¶

反向增益函数的启发式常数设定：红外补偿增益公式 \(\alpha(q) = \mathrm{clip}(1.5 - q; 1.0, 1.5)\) 中的常数 1.5 和边界截断为经验预设，未来可探索自适应学习或动态曲率调节函数。
弱配准与模态视差容忍度：当前方法主要在空间严格对齐的数据集（LLVIP、FLIR-Aligned 等）上评测，若存在双光相机轻微抖动引起的几何未对准，辅助分支可能会将位移伪影通过梯度反传回主红外特征。
扩展至三模态与全天候雷达感知：可将 QualGate 的质量感知门控思想进一步拓展到“激光雷达（LiDAR）+ 毫米波雷达 + 红外”的多源恶劣天气感知系统中。

评分¶

新颖性: ⭐⭐⭐⭐ [以红外为主干的非对称特权辅助框架打破了平权融合定势，双向门控设计简单有效]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 4 个主流基准、涵盖 4 类骨干网络、详尽的退化鲁棒性测试与消融实验]
写作质量: ⭐⭐⭐⭐⭐ [动机叙述极其深刻，结构清晰，逻辑自洽，图表严谨]
价值: ⭐⭐⭐⭐⭐ [兼顾高性能与极致推理效率，对全天候自动驾驶与红外安防边缘部署具有极高落地价值]