Fully Rotation-Equivariant Spectral-Spatial Learning for Multispectral Object Detection¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/Riiluo/FressDet
领域: 目标检测
关键词: 多光谱目标检测、旋转等变神经网络、隐式光谱变形、光谱空间表示学习、遥感与无人机感知

一句话总结¶

针对多光谱目标检测中光谱离散采样、金字塔跨层融合失真及任意朝向几何不对齐等瓶颈，本文提出全旋转等变光谱空间学习框架 FressDet，通过隐式神经场实现保序连续光谱重采样，结合双原型路由实现尺度自适应融合，以降低 93% 参数量的超轻量架构在多个基准上刷新 SOTA。

研究背景与动机¶

多光谱目标检测（Multispectral Object Detection, MOD）结合了空间几何纹理与丰富的光谱特征，相比普通 RGB 检测在低能见度、夜间、伪装及复杂遥感场景中具有显著感知优势。然而，现有主流多光谱检测模型在表征建模上存在两个底层缺陷：一是普遍将多光谱各波段视为相互独立的离散通道，通过波段选择或常规通道注意力进行处理，忽视了光谱反射率沿波长维度的物理连续性与严格单调有序性；二是在特征金字塔（FPN/PAFPN）的多尺度融合过程中，随着空间分辨率衰减与语义抽象层级上升，光谱线索与空间线索的相对可靠性发生尺度依赖型漂移（scale-dependent shift），多轮无差别的跨尺度交互极易稀释细粒度光谱证据，导致光谱相似目标间判别力严重下降。

与此同时，航拍遥感与无人机视角下的地面目标往往呈任意方向分布，旋转等变性（Rotation Equivariance）是约束此类几何对称性的关键归纳偏置。然而，将旋转等变网络推广至多光谱检测面临深刻的技术冲突：传统等变网络（如 G-CNNs、ReDet）均基于离散空间采样构建，无法直接表征连续谱域特征；现存完全等变机制（如基于可形变卷积的 FRED）计算复杂度随群维度平方级增长，引入群索引后在多光谱多通道特征下的开销难以承受；此外，现有检测头在预测旋转框时往往依赖群通道复制或参数膨胀，参数效率极其低下。

面对连续谱特征重采样、跨层可靠性融合与低开销几何等变性这三重交织的挑战，本文提出从坐标条件隐式场与群解耦运算切入。核心 idea：将多光谱特征解耦为旋转等变空间潜在表征与傅里叶连续谱坐标场，通过积分单调变形实现保序光谱连续重采样，并在特征金字塔中引入基于双原型的旋转等变一致性路由门控，配合免参数复制的群索引检测头，构建首个参数效率极高的全旋转等变多光谱检测体系。

方法详解¶

整体框架¶

FressDet 的整体处理流程涵盖「等变特征提升 → 隐式保序重采样主干 → 双原型一致性加权金字塔 → 群索引定向感知检测头」四大阶段。输入的多光谱图像首先经过旋转提升卷积层（Lifting Layer），将平面特征映射到离散旋转群 $G = C_N$（默认 $N=4$，即 $90^\circ$ 旋转步长）的群特征图上。在 SpeIWNet 主干网络中，特征图按阶段通过光谱隐式变形（SpeIW）模块，在连续谱坐标空间自适应调整通道变形量。随后，多尺度群特征输入 PAFPN 颈部，由旋转等变一致性加权（ReCoW）模块在各个特征层自适应权衡光谱与空间分支的可靠性，完成抑制噪声与增强线索的凸组合融合。最终，多尺度特征送入定向感知检测头（Oriented-Aware Head），分别通过群均值池化和相对群偏移聚合直接输出旋转不变分类得分、等变边界框与朝向偏角。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["多光谱输入图像<br/>H x W x C_in"] --> B["群提升层 Lifting<br/>平面映射到旋转群 G=C4"]
    B --> C["光谱隐式变形 SpeIW<br/>傅里叶编码连续坐标 + 单调累计重采样"]
    C --> D["旋转等变一致性加权 ReCoW<br/>局部窗口软谱分配与硬空间聚类门控融合"]
    D --> E["定向感知检测头 Oriented-Aware Head<br/>群不变分类 + 循环绑定 DFL + 软圆形角度回归"]
    E --> F["定向旋转框检测结果 OBB<br/>(x, y, w, h, theta, class)"]

关键设计¶

1. 光谱隐式变形（SpeIW）：基于隐式神经场的连续保序光谱重采样 针对常规多光谱模型离散通道处理割裂波长连续性的问题，SpeIW 将连续函数拟合能力引入谱域建模。模型将每个输入通道归一化为连续谱坐标 $\lambda_c \in [-1, 1]$，并通过 $L$ 阶傅里叶位置编码 $\psi(\lambda) = [\sin(2^i \pi \lambda), \cos(2^i \pi \lambda)]_{i=0}^{L-1} \in \mathbb{R}^{2L}$ 映射为高频特征，有效消除坐标基神经网络固有的低频光谱偏差（spectral bias）。为了兼顾效率与等变性，变形场被低秩分解为等变空间潜在编码 $z(x, g) \in \mathbb{R}^R$ 与由轻量隐式 MLP $f_\theta$ 解码的光谱基向量的点积： $$\delta_c(x, g) = \langle \mathbf{z}(x, g), f_\theta(\psi(\lambda_c)) \rangle, \quad c = 1, \dots, C$$ 若直接采用 $\delta_c$ 作为重采样坐标，会导致通道索引交错颠倒（index crossing），破坏谱带物理顺序。为此，SpeIW 引入 Softplus 激活函数 $\sigma_+$ 强制步长非负，并利用累加求和构造严格单调递增的连续变形网格： $$\Delta_c(x, g) = \sigma_+(\delta_c(x, g)), \quad \phi_c(x, g) = (C - 1) \cdot \frac{\sum_{j=2}^c \Delta_j(x, g)}{\sum_{j=2}^C \Delta_j(x, g)}$$ 式中 $\phi_c(x, g)$ 严格保证 $\phi_1 < \phi_2 < \dots < \phi_C$ 且归一化至 $[0, C-1]$。最终通过沿谱维的可微线性插值完成重采样。由于重采样严格局限于光谱轴内部独立执行，完全与空间旋转操作交换（commute），在保持完全旋转等变性的同时实现了真正意义上的自适应连续谱表征。

2. 旋转等变一致性加权（ReCoW）：双分支原型路由与自适应可靠性融合 多尺度金字塔层级间的连续下采样和自顶向下/自底向上交互会导致高层语义中光谱差异减弱、低层细节中空间噪声剧烈等不平衡现象。ReCoW 在 $W \times W$ 局部窗口内构建旋转不变群均值描述子 $\bar{F}(x) = \frac{1}{|G|}\sum_{g} F(x, g)$，并通过自适应平均池化派生出 $K = q^2$（默认 $4 \times 4 = 16$）个空间原型。针对光谱与空间属性的本质差异，设计了不对称的双流路由策略： - 光谱分支（软分配）：真实多光谱地物多存在端元混合与连续过渡，故采用余弦相似度与带温控系数 $\tau$ 的 Softmax 进行连续软分配 $p_k(x) \propto \exp(\tau \cdot \cos(\mathbf{c}_k, \bar{F}(x)))$，聚合生成保有多样性谱特征的 $\hat{F}_{\text{spec}}(x)$ 并广播至各群朝向。 - 空间分支（硬聚类）：空间轮廓重在边界锐利与几何连贯，因此在标量强度图 $s(x)$ 上计算高斯亲和度 $a_k(x) = \exp(-\gamma \|\mu_k - s(x)\|_2^2)$，执行硬分配 $k^*(x) = \arg\max_k a_k(x)$，对分配到同原型的像素执行群特征均值聚合： $$\hat{F}_{\text{spat}}(x, g) = \frac{1}{|\Omega_{k^*(x)}|} \sum_{x' \in \Omega_{k^*(x)}} F(x', g)$$ 最后，通过轻量投影层 $\pi_s, \pi_t$ 测量两分支在共享嵌入空间的内积一致性，生成空间位置敏感的门控权重 $\beta(x) = \sigma(\langle \pi_s(\bar{F}_{\text{spec}}(x)), \pi_t(\bar{F}_{\text{spat}}(x)) \rangle)$，以凸组合 $F'(x, g) = \beta(x) F_{\text{spec}}(x, g) + (1-\beta(x)) F_{\text{spat}}(x, g)$ 完成自适应跨层融合，有效滤除背景虚警并保留关键判别通道。

3. 定向感知检测头（Oriented-Aware Head）：群索引特征驱动的免参数复制定向预测 针对旋转物体检测头计算膨胀与参数冗余难题，本文利用群卷积提取的群索引特征 $F_n \in \mathbb{R}^{C \times |G| \times H \times W}$ 构建轻量检测头。不同预测属性在旋转群变换下具备差异化的对称性需求：分类得分应当是朝向无关的（旋转不变性），而旋转边界框与主轴角度必须伴随输入旋转发生等变变换。检测头三条分支全部采用轻量深度可分离群卷积，参数在所有朝向间完全共享： - 分类分支：在输出层直接执行群维度均值池化 $\mathbf{z}_{\text{inv}} = \frac{1}{|G|}\sum_{g \in G} \mathbf{z}_g$，自然消除朝向依赖并保留空间等变坐标响应； - 边界框回归分支：保留完整的群索引通道，采用循环平移绑定的分布焦点损失（Cyclic-tied DFL）读出层，依据相对群偏置聚合回归几何偏移； - 角度回归分支：预测各离散群方向上的角度残差候选值，并通过周期约束为 $\pi$ 的软圆形聚合（soft circular aggregation）解码连续旋转角度，天然满足 $f_{\text{ang}}(\rho_g F_n)(x) = \text{wrap}_\pi(f_{\text{ang}}(F_n)(g^{-1}x) + \frac{2\pi}{|G|}\text{idx}(g))$。整套检测头避免了针对各个离散朝向单独复制检测参数，在极度轻量（仅约 2.3M 全网参数）的条件下实现了稳定的旋转框回归。

损失函数 / 训练策略¶

FressDet 建立在旋转检测版 Ultralytics YOLO 架构之上，将输入第一层卷积扩展以自适应任意波段数的 MSI 数据。全网络不依赖任何旋转数据增强（如随机旋转或镜像扩增），完全从零开始训练（from scratch），充分验证旋转等变归纳偏置带来的固有泛化性。损失函数综合定向旋转框的交叉熵分类损失 $\mathcal{L}_{\text{cls}}$、分布焦点损失 $\mathcal{L}_{\text{dfl}}$ 以及旋转 IoU 边界框损失 $\mathcal{L}_{\text{box}}$，所有实验均在双卡 NVIDIA RTX 3090 上采用 PyTorch 训练完成。

实验关键数据¶

主实验¶

论文在 MODA（主基准）、HOD3K、DroneVehicle、LLVIP 及 VEDAI 五大公共多光谱目标检测基准上进行了系统评测，覆盖空中俯视、车载前视等多源异构场景。主结果对比表明 FressDet 在大幅削减计算负担的同时取得了全面的性能跃升。

数据集	模型	骨干网络	参数量 (M)	计算量 (FLOPs)	$\text{mAP}_{50}$ (%)	$\text{mAP}_{75}$ (%)	mAP (%)
MODA	YOLO11m	CSP-D	25.1	126.2G	67.2	54.6	48.9
MODA	ReDet	ReR-N-50	31.6	245.2G	66.8	44.1	41.3
MODA	MessDet	RE-CSP-N	15.1	616.0G	68.1	42.4	40.1
MODA	OSSDet (Prev. SOTA)	ResNet-50	36.5	263.1G	69.0	45.9	42.7
MODA	FressDet (本文)	SpeIWNet	2.3	31.7G	73.1	60.2	54.3
HOD3K	Faster R-CNN	ResNet-50	41.1	206.7G	89.4	62.7	56.9
HOD3K	S2ADet	ResNet-50	48.6	169.2G	93.4	66.2	59.8
HOD3K	OSSDet (Prev. SOTA)	ResNet-50	36.6	131.2G	93.4	68.8	60.9
HOD3K	FressDet (本文)	SpeIWNet	2.3	35.2G	93.8	69.1	61.1
DroneVehicle	Dual-YOLO	CSP-D	-	-	71.9	-	55.2
DroneVehicle	WaveMamba (Prev. SOTA)	Mamba-based	-	-	79.8	-	60.5
DroneVehicle	FressDet (本文)	SpeIWNet	2.3	31.7G	80.3	-	61.6

在 MODA 数据集的小目标与易混淆类别上，FressDet 的精度提升尤为显著：自行车（Bike）AP 从 OSSDet 的 45.3% 飙升至 62.0%（+16.7%），行人（Pedestrian）AP 从 45.7% 提升至 72.5%（+26.8%）。

消融实验¶

消融实验在 MODA 基准上深入剖析了核心模块的有效性，并与主流可形变光谱算子进行了全面横向对比。

核心模块逐级消融（MODA）： | 等变卷积 (Equiv.) | 隐式变形 (SpeIW) | 一致性加权 (ReCoW) | 定向头 (OH) | $\text{mAP}_{50}$ (%) | $\text{mAP}_{75}$ (%) | mAP (%) | 核心说明 | |:---:|:---:|:---:|:---:|:---:|:---:|:---:|---| | ✗ | ✗ | ✗ | ✗ | 62.0 | 48.0 | 43.3 | 原始非等变基线 | | ✓ | ✗ | ✗ | ✗ | 66.8 | 54.1 | 47.7 | 引入群等变卷积带来 +4.4% mAP 几何增益 | | ✓ | ✓ | ✗ | ✗ | 69.9 | 55.8 | 50.3 | 引入 SpeIW 单独提升 +2.6% mAP | | ✓ | ✗ | ✓ | ✗ | 69.0 | 55.1 | 49.6 | 引入 ReCoW 单独提升 +1.9% mAP | | ✓ | ✗ | ✗ | ✓ | 68.6 | 55.5 | 49.3 | 引入 OH 单独提升 +1.6% mAP | | ✓ | ✓ | ✓ | ✗ | 71.7 | 58.8 | 52.5 | 结合连续谱与多尺度融合 | | ✓ | ✓ | ✗ | ✓ | 71.6 | 58.4 | 52.2 | 结合连续谱与轻量定向头 | | ✓ | ✓ | ✓ | ✓ | 73.1 | 60.2 | 54.3 | 完整模型（相较基线总体提升 +11.0% mAP） |

骨干网络谱维重采样算子对比（MODA）： | 谱维算子 | $\text{mAP}_{50}$ (%) | $\text{mAP}_{75}$ (%) | mAP (%) | 算子机制分析 | |---|---|---|---|---| | C4-CNN（标准群卷积） | 71.4 | 58.6 | 52.1 | 传统离散通道卷积，缺乏自适应重采样 | | RE-DCN | 71.6 | 58.7 | 52.9 | 旋转等变可形变卷积基础版 | | RE-DCNv2 | 72.0 | 59.3 | 53.2 | 带可形变调制标量的等变卷积 | | RE-DCNv3 | 71.7 | 59.0 | 53.1 | 多尺度稀疏分组版本 | | RE-DCNv4 | 71.9 | 59.2 | 53.0 | 高性能前向优化版本 | | SpeIW（本文方法） | 73.1 | 60.2 | 54.3 | 坐标连续场 + 单调累计保序，领先最强 DCN 1.1% mAP |

超参数与架构设计敏感性分析： - 旋转群阶数：$C_2$（71.2% $\text{mAP}_{50}$ / 1.1M 参数 / 15.4G FLOPs）到 $C_4$（73.1% $\text{mAP}_{50}$ / 2.3M 参数 / 31.7G FLOPs）取得大幅提升；而进一步拓展到 $C_8$ 时精度几乎持平（73.2% $\text{mAP}_{50}$，仅增 0.1%），但 FLOPs 翻倍至 65.1G，因此 $C_4$（$90^\circ$）是精度与算力的黄金分割点。 - 傅里叶位置编码频率：$L=0$ 时为 71.5% $\text{mAP}_{50}$，逐步提升至 $L=8$ 时达到峰值 73.1%，当 $L=16$ 时略有微跌（72.9%），证实适度的高频傅里叶特征对于捕捉细粒度光谱突变必不可少，但过高维度会导致过拟合。 - 分支路由范式：光谱软分配 + 空间硬分配组合达到最高的 73.1% $\text{mAP}_{50}$；若换成“双硬分配”跌至 70.4%，“双软分配”为 71.6%，“光谱硬分配 + 空间软分配”进一步恶化至 69.8%，充分证明光谱维度的连续混合性与空间几何的轮廓分明性需要异构的路由归纳偏置。

关键发现¶

连续物理建模胜过离散形变偏移：尽管 DCN 系列算子能够动态自适应调整感受野，但其离散离散偏移无法保证波长维度的保序拓扑，甚至带来通道置乱；而 SpeIW 利用隐式神经场与非负积分累加构造的严格保序映射，以连续函数逼近真实物理谱响应，带来了高达 1.1% 到 2.2% 的净 mAP 跨越。
等变几何先验消除数据增强依赖：在完全摒弃旋转数据增强的前提下，FressDet 在 $1^\circ$ 细粒度旋转扰动测试中展现出近乎圆形的平稳抗扰动性能曲线，而 YOLO26m、DCFL 等模型在特定偏角下指标剧烈波动。
参数效率极值：得益于群索引免复制的定向检测头与因式分解的隐式光谱基设计，FressDet 在全网仅 2.3M 参数、31.7G FLOPs 的体量下，超越了 36.5M 参数、263.1G FLOPs 的前 SOTA 模型 OSSDet，实现了精度与效率的双重颠覆。

亮点与洞察¶

隐式神经场在谱维特征重采样中的保序创新：巧妙利用积分累加（cumulative summation of softplus outputs）将连续坐标查询约束为严格递增映射，彻底解决了隐式场在通道域建模时容易发生索引穿越（index crossing）的难题。
非对称原型路由的设计哲学：对光谱线索使用余弦软分配保全连续谱的多样性与渐变性，对空间线索使用高斯硬聚类强化边界轮廓的几何一致性，并通过内积门控动态感知分支可靠性，契合了多模态物理特征的异质本质。
群索引特征的高效复用：打破了以往旋转等变网络检测头参数随着离散群阶数翻倍而膨胀的宿命，通过深度可分离卷积跨群共享和循环平移对齐，让超轻量模型也能承载复杂的等变几何约束。

局限与展望¶

离散群对称性的分辨率瓶颈：当前模型基于 $C_4$ 离散循环群构建，虽然对于常见航拍目标足够紧凑，但在应对非正交夹角（如 $30^\circ, 60^\circ$）时仍依赖连续插值近似，未来可探索向连续 Lie 群等变性（如 Steerable CNNs）或可学习连续流形群拓展。
超多波段超光谱计算拓展：目前实验主要验证于数个至十几个波段的多光谱场景（MSI），在面对具有数百个连续波段的高光谱遥感（HSI）数据时，隐式场的查询层级与重采样开销有待进一步评估与稀疏化优化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次打通连续隐式谱重采样与全旋转等变检测，保序累加设计严谨精巧。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大主流多光谱数据集，主实验、消融、细粒度旋转扰动与特征可视化完备。
写作质量: ⭐⭐⭐⭐⭐ 数学表达规范，理论等变推导与物理动机自洽，图表质量上乘。
价值: ⭐⭐⭐⭐⭐ 超低参数量（2.3M）刷新 SOTA，为无人机与遥感边缘设备部署高精度多光谱目标检测树立了标杆。