M4-SAR: A Multi-Resolution, Multi-Polarization, Multi-Scene, Multi-Source Dataset and Benchmark for optical-SAR Object Detection¶

会议: ECCV2026
arXiv: 2505.10931
论文: ECCV 原文
代码: https://github.com/wchao0601/M4-SAR
领域: 遥感
关键词: 光学-SAR融合、配对遥感数据、旋转目标检测、跨模态交互、辅助标注

一句话总结¶

M4-SAR 从 Sentinel-1/2 构建 112,174 对弱对齐光学–SAR图像、981,862 个六类静态设施实例，并用统一融合检测基准与 E2E-OSDet 证明两种传感器可以互补；主表 mAP 为 61.4，比最佳光学单源高 5.1 个百分点，而非已解决像素级跨模态配准。

研究背景与动机¶

同一片港区，晴天光学图像能展示纹理与颜色，云遮、低照或较粗分辨率却会抹掉这些线索。SAR 依靠微波后向散射成像，较少受光照与天气影响，但散斑、外观差异和模糊边界又使识别与定位困难。两种传感器看的是同一地面区域，却不是给同一幅自然图换一个颜色通道；直接混合它们的像素或特征，不保证模型自动发现对应的语义结构。

研究首先卡在数据而非网络复杂度。大量SAR基准只有单源图像，不能测试推理时同时输入两模态的融合系统。OGSOD-1.0/2.0 虽有光学–SAR配对，主文说明其测试设计主要面向光学辅助的SAR蒸馏，而不是持续双输入融合。更难的是采集时间、地理覆盖和成像几何不完全一致：即便卫星记录相同坐标，物体也未必逐像素对齐，动态目标还可能已经移动。

本文选择承认这些现实约束：以公开 Sentinel 数据及静态设施为对象，借助较易解释的无云光学图像完成迭代标注，构建能在弱对齐条件下考察融合的数据，再统一比较算法。核心 idea：先建立现实传感器条件下可复用的配对监督，再从输入、跨模态交互和区域融合三个层次降低光学–SAR差异，而不是把“有两张图”当作已经完成配准与融合。

方法详解¶

整体框架¶

工作分为数据基础设施和检测基线两部分。数据侧从 Sentinel-1 SAR 与 Sentinel-2 光学图像获得地理对应区域，在光学图上辅助标注并迁移到SAR，最终生成带旋转框的成对图像。MSRODet 将既有融合方法放进统一检测框架；E2E-OSDet 则在该框架中加入滤波增强、Mamba交互和区域注意力融合，输出目标类别、旋转边界框与置信度。

下面只画检测时真实运行的数据流，避免把数据下载、人工标注和部署推理串成一个网络。三种模块在多个尺度上参与融合，标签只在训练时提供监督；部署仍需要配对的光学与SAR输入，不是训练时借光学、推理只留SAR的蒸馏系统。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["配对光学与SAR"] --> B["滤波增强 FAM"]
    B --> C["双路骨干<br/>多尺度特征"]
    C --> D["跨模态交互 CMIM"]
    D --> E["区域注意力融合 AFM"]
    E --> F["Neck与旋转检测头"]
    F --> G["类别与旋转框"]
    H["训练标签"] -.->|仅训练监督| F

当前缓存含主文和参考文献，不含被引用的附录7–10。因此数据采集、迭代标注、模块作用和主表可以解释清楚，但滤波混合公式、Mamba扫描的精确实现、完整损失配置等不从受损架构图猜补。

关键设计¶

1. 滤波增强 FAM：先增加可比较的结构线索

光学图的颜色纹理与SAR的后向散射并不直接可比，FAM因而利用经典滤波特征，把输入表示变换到更有判别性的结构空间。主文比较 HOG、Canny、Haar、Grad 和 WST，并用图6展示不同变换下的模态相似性。它不是把SAR翻译成一张逼真的光学图，而是为检测器提供更容易跨模态利用的线索。

Grad在图5(a)的检测实验中表现最好，作者将其归因于缩小域差异与保留多尺度信息。但更高SSIM只是变换后结构相似性的诊断，不证明两个传感器已经几何对齐，更不证明任意场景下Grad都最优。表3中单FAM把 mAP 从58.0提高到58.9，报告的参数规模没有变化；这表示可学习参数增量很小或被统计精度隐藏，不等于滤波运算没有时间和算力成本。

2. 跨模态交互 CMIM：让两路表示在融合前交换信息

两路骨干保留各自模态的特征，但如果直到末端才简单相加，特征域偏差仍可能让语义相关的位置产生不相容响应。CMIM利用Mamba的状态空间序列建模，在两模态特征之间传递上下文，使一侧的信息能够影响另一侧，而不是把两个互不交谈的检测结果事后合并。

图4表明交互发生在多尺度特征上，随后返回空间表示进入融合。图5(b)比较扫描方式，主文报告多种扫描都能带来收益，说明效果不局限于一条特定扫描路线。然而缓存未提供附录的精确重排、扫描与合并公式，不能据图中的相邻数字就写出作者的完整IIR序列算法，也不声称该模块已严格纠正任意空间偏移。

3. 区域注意力融合 AFM：根据局部区域分配两模态的作用

不同区域对模态的依赖不同：云遮处光学线索可能弱，清晰区域则可提供SAR难表达的边界与纹理。AFM关注局部目标与关键区域的响应，把已交互的特征整合为检测表示，再送往Neck和旋转框头。它保留区域差异，而不是要求整幅图用同一个模态权重。

图4(e)给出区域注意力结构，图5(d)分析区域设置；主文描述的是该设计和实验效果，没有给出能独立重现的全部注意力方程与复杂度推导。单独加AFM的 mAP 为60.0，比58.0基线高2.0，是表3单模块增益最大的一项。三模块一起达到61.4，但不能把0.9、1.6、2.0直接相加当成完整收益，因为它们共享同一检测系统、存在相互作用。

一个完整示例¶

以一块包含桥梁与油罐的配对区域说明数据如何支持上述检测；这是机制例子，不是原文额外报告的一次预测。

选择采集间隔小于10天的同区域光学与SAR图像。目标使用静态设施，不把可能移动的船舶当作可靠的一一对应实例。
用地理坐标对齐并保留有效重叠区域，先切成 \(1,024\times1,024\) 块方便人工标注。这个步骤是粗地理对应，不声称每个像素相同。
人工标注最初5%的无云光学图像，训练辅助检测器；给新增5%数据出伪标签，人工修正并加入标注集，再继续迭代。监督并非未经检查的自动伪标签。
通过实例对应把标注映射到SAR，完成后以相应含云光学图替换无云图，再切成不重叠 \(512\times512\) 块。这样训练/评测能出现困难光学条件，而标签仍利用清晰图建立。
检测时两张图进入FAM、双路骨干、CMIM与AFM，再预测旋转框。某次输出的置信度是该实例判断，数据集AP是跨图像的统计，两者不能混作一个数。

第2.4节说初始人工子集确保所选图像覆盖全部六类，但没有在主文充分展开抽样细则；不把这句话推成每张原始图都自然含六类。标注训练初期还使用同一批数据训练和评估辅助检测器，这只是标注流程说明，不是最终检测器泛化能力的独立证据。

损失函数 / 训练策略¶

采集包含2020–2022年沿海城市数据。光学原始来源有10、20、60米分辨率，最终保留10与60米；SAR使用VH/VV极化及SLC产品，经多视、滤波、DEM地理编码和辐射定标。六类为桥梁、港口、油罐、操场、机场和风机，最终112,174对图像、981,862实例，平均每对图像8.75实例。

数据的难点不只是图像数量。桥梁占43.64%，港口2.83%，机场0.38%，类别数量与目标尺度差异明显。角度按YOLO-OBB规则归一化到 \([0,\pi/2)\)；圆形油罐的方向还依靠周边语境定义，因此角度标签并非总能由物体自身唯一决定。由于非同步采集和弱对齐，数据适合研究鲁棒融合检测，不适合直接作为精确像素配准、严格变化检测或像素融合真值。

主文统一融合模型采用YOLOv11骨干和YOLOv8旋转检测头，从头训练，不使用预训练权重。两张RTX4090、SGD、学习率0.01、动量0.937、权重衰减 \(5\times10^{-4}\)，训练300轮，batch64，输入 \(512\times512\)。评价采用COCO式AP50、AP75与mAP，后者不是只在IoU0.5处的准确率。

当前主文没有给出完整损失公式、最终划分比例和按地理区域隔离的具体策略，也未给出所有基线的完整训练配置。不能据既有YOLO惯例补写作者实际使用的损失权重、混合精度、单源预训练或跨数据集实验；可复现性仍需附录/代码核对。

实验关键数据¶

主实验¶

下表摘自原文表2。O为光学、S为SAR，AP数值越高越好；参数量和推理时间是表内报告值。不同单源与融合网络的容量、FLOPs并不一致，融合相对单源的差异不是严格隔离了输入模态这一项的净因果效应。

方法	输入	mAP	AP50	AP75	参数量/M	推理/ms
YOLO-Master	O	56.3	80.0	63.9	29.3	15.7
YOLO-Master	S	48.5	73.9	53.1	29.3	15.7
CFT	O+S	59.9	84.6	68.9	53.8	40.6
CLANet	O+S	59.6	84.6	68.5	48.2	29.1
CSSA	O+S	58.0	83.4	66.4	13.5	12.3
MMIDet	O+S	59.8	84.8	68.6	53.8	41.9
E2E-OSDet	O+S	61.4	85.7	70.3	24.7	20.9

61.4相对最佳光学56.3高5.1个百分点，相对最佳SAR48.5高12.9个百分点；摘要写“提高5.7%”与该主表口径不一致，不能直接当作同一比较的结果。最佳其他融合方法CFT为59.9，差距为1.5个百分点，才更接近在融合任务内部比较方法的含义。

E2E-OSDet不是最快或FLOPs最少的融合模型：原表MHFNet为19.2ms、CSSA为12.3ms，都快于20.9ms。它相对CFT或MMIDet更省参数、更快，但不能据此称所有融合配置中效率最优。类别上，港口AP50为90.7，低于CFT92.5与MMIDet92.6，也不是每类全面领先。

消融实验¶

表3以CSSA为基线，分别增加三个模块。这里只保留可清楚读取的AP列；原表参数总量与“增加参数”存在不匹配，例如19.01M相对14.17M不是所写的+5.68M，因而不在本表拼接推算修正值。

配置	FAM	CMIM	AFM	mAP	AP50	AP75
基线	否	否	否	58.0	83.4	66.4
仅FAM	是	否	否	58.9	84.5	67.1
仅CMIM	否	是	否	59.6	84.9	68.6
仅AFM	否	否	是	60.0	84.6	68.9
FAM+CMIM	是	是	否	61.0	85.5	69.9
FAM+AFM	是	否	是	60.7	84.9	69.5
CMIM+AFM	否	是	是	60.9	85.2	70.0
完整模型	是	是	是	61.4	85.7	70.3

单模块增益为0.9、1.6、2.0，联合增益为3.4。两模块组合也不简单相加：FAM+CMIM为61.0，比各自独立提升相加的60.5还高；这说明应直接报告联合配置，不能声称三个单模块贡献完全可分。

基线的参数量在表2为13.5M、表3为14.17M，主文没有充分解释差别。该不一致不影响这里按原表读取AP，但影响跨表参数效率推断；它应成为复现核查点而非被自动统一。

关键发现¶

双模态有用，但不能概括为任何融合都更强。 表2的CMADet mAP55.7低于最佳光学单源56.3。更准确的结论是强融合配置能利用互补信息，而不是输入数量增加就保证收益。
区域融合在本消融中最有效。 AFM单独增益最大，完整组合进一步提升，但缺少重复实验方差，不能把小数差异一律视为稳定显著。
可视化提供定位线索，不替代量化。 图7/8用云雪、低照、低分辨率及不同极化展示框与Grad-CAM响应，支持检查失败场景；没有独立困难子集表时，不据图断言某类天气获得确定数值增益。
弱对齐指标不是配准精度。 主文报告MSE0.0662、SSIM0.1256、MI0.1729；不同成像机制本身也影响外观统计，不能把三者直接换算成像素偏移，尤其较低MSE本身通常不代表更差对齐。

亮点与洞察¶

数据构建把“清晰图便于标注”与“困难图用于检测”分离，降低监督建立的困难。关键在对应关系与人工修正，不是让伪标签完全取代人。
实例级可迁移标签与像素级一一对应是不同承诺。只要把边界讲清，弱配对也能支持有价值的融合检测；相反，把它当精准配准真值会误导下游实验。
统一工具使方法比较更接近同一问题，但不能消除模型容量与预训练设置的所有差异。数据、模块与系统效率需要分别读表，而不是由最高AP推出全部优越性。

局限与展望¶

当前只含六类沿海静态设施，难代表车辆、船舶等动态对象或其他地貌；小于10天的时间间隔并不等于同步观测。
模态只有粗地理对应，精细像素任务不在数据的适用范围。动态类别扩展需要额外时间与几何处理，不能简单复用静态标签迁移。
类别长尾和跨区域划分细节影响泛化解释。主文没有展开地理隔离，应在训练测试划分与相邻切块是否跨集合方面进一步核查。
FAM/CMIM/AFM的精确实现和进一步实验位于当前缓存缺失的附录，不能仅凭概念说明就宣称足以完整复现；主表、摘要和参数列也有口径差异。
作者提出轻量融合、更多动态细粒度类别和时序建模作为未来方向，本文没有完成这些扩展的效果验证。

评分¶

新颖性: ⭐⭐⭐⭐ — 大规模光学–SAR弱配对数据与统一融合基准有明确价值，检测模块主要组合已知技术。
实验充分度: ⭐⭐⭐⭐⭐ — 主文有多种单源/融合比较、组合消融及困难场景分析；附录细节和重复统计仍需补充核验。
写作质量: ⭐⭐⭐⭐ — 数据与方法主线明确，但摘要增益、参数列和部分整体结论需要谨慎区分。
价值: ⭐⭐⭐⭐⭐ — 为现实传感器条件下的多源遥感检测提供数据与工具，价值受配对精度和类别范围约束。