跳转至

SegFly: A 2D-3D-2D Paradigm for Aerial RGB-Thermal Semantic Segmentation at Scale

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/markus-42/SegFly
领域: 语义分割
关键词: 空中语义分割、RGB-Thermal、2D-3D-2D范式、几何配准、跨模态伪标签生成

一句话总结

提出一种面向无人机高重叠空照视角的 2D-3D-2D 跨模态几何驱动标注与配准范式,仅需手动标注不足 3% 的 RGB 图像并提升至 3D 点云,便能自动渲染生成其余 97% RGB 与 100% 热成像的高保真稠密伪真值(准确率达 91% 和 88%),同时在无硬件级时钟同步前提下实现 87.05% 精度的像素级跨模态几何对齐,构建出含 20,606 张 RGB 与 15,007 对对齐 RGB-T 图像的大规模基准 SegFly,并提出高效统一的 Firefly 基线。

研究背景与动机

无人机(UAV)机载视觉在灾难应急救援、关键基础设施巡检、环境监测、智慧农业和城市场景三维感知中扮演着日益核心的角色。大部分航拍感知系统高度依赖标准 RGB 相机,但在复杂光照、浓雾夜间或恶劣气象条件下易发生感知性能退化。长波红外(LWIR)热成像传感器对光照变化不敏感,能够全天候稳定捕捉目标物体的温差辐射特性,因此 RGB-Thermal(RGB-T)双模态多传感器融合成为实现全天候全天时鲁棒感知的必然演进路径。

然而,空照尺度的 RGB 与 RGB-T 稠密语义分割面临着两大陆地感知所不具备的技术瓶颈。首先是像素级标注成本极其高昂。无人机高空视角存在剧烈的尺度变化、俯仰视角几何畸变以及繁杂细碎的地物结构,现有航拍语义分割数据集(如 Aeroscapes、UAVid、Kust4K、CART、MVUAV 等)受限于纯人工 2D 标注成本,样本量往往仅停留在数百到数千张,严重限制了现代深度网络与视觉大基座模型的大规模预训练。其次是跨模态精准几何对齐极其困难。长波红外与可见光波段在纹理和对比度上差异悬殊,依赖传统 2D 特征匹配或单应性变换极易失效;而消费级现成无人机(off-the-shelf UAVs,如 DJI Mavic 3 Thermal)在硬件层面上往往缺乏纳秒级双传感器物理时钟同步和绝对刚性支架约束,导致采集的跨模态数据存在非刚性视差与时间漂移,迫使前人必须依赖定制昂贵硬件或大量手工后处理,极大制约了数据的规模化收集。

无人机航测飞行通常具备高重叠率(航向与旁向重叠度高)和厘米级地理参考定位(RTK/GNSS)的天然优势,相邻多视角画面之间蕴含着极强的三维几何冗余。OccuFly 等前序工作证明了从少量视角向 3D 几何空间提升(2D-to-3D lifting)标注的可行性,但仅停留在单模态 3D 体素占有率,未曾打通 3D 向 2D 跨模态稠密反投影以及无硬件同步的像素级跨模态配准。本文的核心 idea 是构建几何驱动的 2D-3D-2D 跨模态数据生成与配准闭环:仅对全集不足 3% 的 RGB 图像进行人工标注并升至 3D 语义点云,通过四阶段深度引导点云渲染逆向投射为高精度 RGB 与热成像稠密伪真值;同时以重建的 3D 几何作为无偏跨模态对齐桥梁,结合透镜畸变迁移在纯软件层实现无硬件时钟同步的精准 RGB-T 像素级对齐。

方法详解

整体框架

SegFly 的核心流水线围绕 2D-3D-2D 几何驱动闭环展开。输入为无人机在不同高度(50m、40m、30m)、多季节及不同场景下采集的高重叠度地理参考 RGB 图像集 \(\mathcal{I}^{\text{RGB}} = \{\mathbf{I}_n^{\text{RGB}}\}_{n=1}^N\) 与未配准的热成像图像集 \(\mathcal{I}^{\text{Th}} = \{\mathbf{I}_n^{\text{Th}}\}_{n=1}^N\)。输出为全量稠密语义伪真值(涵盖 97% RGB 与 100% Thermal)以及高精度几何配准的图像对 \((\mathbf{I}_n^{\text{Th}}, \mathbf{I}_n^{\text{RGB,reg}})\)。

整个方法划分为四个有机协同的核心阶段: 1. 2D 到 3D 语义提升:首先对全量 RGB 航拍图像执行 SfM+MVS 重建全局度量点云,在地面空间划分网格进行空间分层抽样,仅挑选 \(<3\%\) 的代表性关键视点由人工标注 2D 语义,随后通过射线反向投影与多视点非加权多数投票将语义融合至 3D 点云,并通过 kNN 填补未观测点与滤波降噪。 2. 3D 到 2D 深度引导点云语义渲染:将构建完毕的全局语义 3D 点云向所有目标视点(未标注 RGB 及全部热成像)逆向重投影。针对传统点云投影存在的遮挡穿透、边界撕裂与离散稀疏问题,依次执行 Z-buffering 投影、局部核深度遮挡过滤、逆序表面 Splatting 致密化以及两阶段深度优先标签传播。 3. 跨模态 3D 几何对齐与透镜畸变迁移:热成像单独进行 SfM+MVS 获得红外三维几何,利用 ICP 刚体变换将其对齐到 RGB 语义点云空间,消除时间与空间位姿漂移;随后在无畸变虚拟针孔空间中利用三维投影包围盒确定视场边界,并通过包含镜头畸变矫正与红外镜头畸变重映射的单步透镜畸变迁移,生成像素级严格对准的配准图像。 4. Firefly 统一多模态自适应基线:基于 DINOv3 ViT 冻结主干构建三阶段分步训练机制,通过极轻量的 Rein 适配器学习红外到 RGB 的残差特征映射,实现参数高效且表现强劲的跨模态语义分割。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["无人机多视角高重叠图像<br/>RGB 集合 + 热成像集合"] --> B["空间分层抽样与 2D-3D 语义提升<br/>网格采样少于3% RGB人工标注"]
    B --> C["四阶段深度引导点云语义渲染<br/>Z-Buffer / 遮挡过滤 / 表面Splatting / 深度引导传播"]
    A --> D["跨模态 3D 几何对齐与透镜畸变迁移<br/>热红外SfM+MVS / 点云ICP / 畸变迁移采样"]
    C --> E["稠密多模态伪真值<br/>97% RGB + 100% Thermal 伪标签"]
    D --> F["强像素级配准 RGB-T 图像对<br/>87.05% 几何对齐精度"]
    E & F --> G["Firefly 统一基线与下游适配<br/>DINOv3编码器 + Rein自适应 + MLP头"]

关键设计

1. 空间分层抽样与多视角 2D-3D 语义提升:以最小标注代价覆盖全场景度量几何

由于无人机空拍视角重叠率高达 70%-80%,若随机挑选图像进行标注,会导致大量视点重叠区域被重复标注,而边角区域覆盖不足。针对该痛点,系统首先对全量 RGB 图像利用运动恢复结构(SfM)与多视角立体视觉(MVS)重建出高密度度量点云 \(\mathcal{P} = \{\mathbf{x}_m \in \mathbb{R}^3\}_{m=1}^M\) 以及密集的 2D-3D 对应关系 \(\mathcal{A}_n\)。

为实现标注成本的指数级压缩,本文设计了空间分层采样机制:将场景地面空间划分成 \(25\text{ m} \times 25\text{ m}\) 的均匀网格,每个单元格仅挑选空间位姿距离网格中心最近的一张单视点 RGB 图像构成人工标注源集 \(\mathcal{S} \subset \{1, \dots, N\}\)。该策略在理论和实验上保证了仅用 \(|\mathcal{S}|/N < 3\%\)(平均仅 2.84%)的图像样本,就能使超过 99% 的重构 3D 点云至少被一张标注图像观察到。标注人员仅需精标该集合 \(\mathcal{S}\),标注好的 2D 像素通过对应关系 \(\mathcal{A}_n\) 反向投射至 3D 空间。由于绝大多数空间点被多个标注视点共同捕获,系统采用非加权多数投票(unweighted majority voting)决策融合多视角语义,若平票则依据类别全局先验频率仲裁;对极少数未覆盖点采用反距离加权 kNN 插值填充并进行双通降噪,产出兼具度量尺度与高精度语义的全局三维点云 \(\mathcal{P}_{\mathcal{S}}\)。

2. 四阶段深度引导点云语义渲染:消除稀疏投影与遮挡穿透误差

将 3D 点云离散点投影回 2D 图像平面极易产生两大固有缺陷:点云密度不均导致的空洞与离散孔隙,以及深层背景点跨越几何遮挡物“穿透”到前景目标表面的误投影。相较于传统基于 Poisson 泊松表面网格重建(如 UAVScenes)会导致类别边界平滑涂抹并造成超 64% 的无效像素,本文提出了一套严格遵循空间深度层级的四阶段深度引导点云语义渲染管线:

  • 阶段一:带 Z-Buffering 的几何与畸变感知投影。利用相机内外参矩阵及全阶径向与切向镜头畸变参数(RGB 为 \(\boldsymbol{\kappa}^{\text{RGB}}\),红外为 \(\boldsymbol{\kappa}^{\text{Th}}\)),将点云投影至像平面;维护每像素浮点型 Z-Buffer,在像素格内严格仅保留相机坐标系下深度值 \(D\) 最小的单个语义点,输出初级稀疏投影图 \(\mathbf{L}_n^{\text{proj}} \in (\mathcal{C} \cup \{0\})^{H \times W}\)。
  • 阶段二:局部核深度感知遮挡过滤。针对跨像素边缘穿透问题,在每个已投影像素 \((u,v)\) 周围设定局部窗口 \(\Omega_{u,v}\)(RGB 为 \(9 \times 9\),热成像由于分辨率较低设为 \(5 \times 5\))。若窗口内存在异类邻域像素 \((u', v')\) 且其深度显著浅于当前中心点: $\(D_n(u',v') < D_n(u,v) - \tau\)$ (经验设定深度容差阈值 \(\tau = 0.2\text{ m}\)),则判定当前中心点属于背向穿透遮挡伪影,直接将其置零剔除,得到净化后的标签图 \(\mathbf{L}_n^{\text{filt}}\)。
  • 阶段三:基于深度逆序的表面 Splatting 致密化。将存活点按照深度由远及近(back-to-front,即深度递减)顺序,向以当前像素为中心、半径为 \(r_{\text{splat}}\) 的小圆形盘状区域进行 splatting 膨胀(RGB 取 \(r=3\),红外取 \(r=1\))。逆序绘制机制确保较近的前景像素能够覆盖远景区域,显著提升覆盖密度且完全杜绝前景边缘被背景回渗污染,生成致密图 \(\mathbf{L}_n^{\text{dense}}\)。
  • 阶段四:深度引导双通标签扩散补全。对致密化后仍残留的无点空洞像素,实施两阶段扩散:第一阶段在局部检索 \(k=5\) 个已标注近邻,优先选取距相机光心物理深度最小的前景邻居类别赋予当前像素;第二阶段采用较大空间窗口的标准 2D kNN(RGB 设定 \(k \in [7, 25]\),红外设定 \(k \in [13, 15]\))对细部边界做保边平滑,最终导出高质量全稠密伪真值 \((\mathbf{Y}_n^{\text{RGB}}, \mathbf{Y}_n^{\text{Th}})\)。

3. 跨模态 3D 几何对齐与透镜畸变迁移:彻底摆脱硬件级时钟同步与刚性支架

在常规多模态无人机作业中,RGB 与热成像传感器光心存在相对位移、快门触发异步、视场角(FoV)及镜头畸变特性悬殊。若在 2D 图像域通过特征匹配或单应矩阵对齐,面对热红外与可见光截然不同的灰度与纹理特征时极易失配。本文的突破在于将配准升维至三维物理空间:

首先,对热红外图像集独立执行 SfM+MVS 重建,获得稀疏度量点云 \(\mathcal{P}^{\text{Th}}\) 与各帧精确的外参相机位姿 \(\mathcal{T}^{\text{Th,ref}}\)。红外镜头内参和畸变参数预先经由定制被动标定板离线精确标定。接着,利用迭代最近点算法(ICP)将三维热红外点云 \(\mathcal{P}^{\text{Th}}\) 刚体配准至高精度的 RGB 语义三维点云 \(\mathcal{P}\),求解出两坐标系间的空间刚体变换矩阵 \(\mathbf{T}_{\text{reg}} \in \mathrm{SE}(3)\),进而修正得到热红外相机在统一世界坐标系下的绝对注册位姿: $\(\mathcal{T}^{\text{Th,reg}} = \mathbf{T}_{\text{reg}} \circ \mathcal{T}^{\text{Th,ref}}\)$ 在位姿对齐后,系统将配准映射定义在一个虚拟的无畸变针孔相机域(undistorted pinhole domain)。将热红外相机视锥内可见的 3D 空间点分别反投影至无畸变的热红外与 RGB 针孔平面,取其极值坐标作为交集视场的轴对齐包围盒 \(\bar{\mathcal{B}}_n\)。最后,执行单次透镜畸变迁移(lens-distortion transfer):先利用 RGB 逆畸变模型将原始畸变 RGB 图像重采样至无畸变针孔域,再应用热红外镜头内参与畸变模型 \(\boldsymbol{\kappa}^{\text{Th}}\) 将其前向映射至热红外畸变坐标系,并在包围盒 \(\bar{\mathcal{B}}_n\) 内裁剪并缩放至与热成像完全相同的分辨率(\(640 \times 512\))。该方法纯依赖几何与光学数学模型运算,在零硬件同步的消费级设备上实现了高达 87.05% 的亚像素级配准准确率。

4. Firefly 统一多模态自适应架构:轻量适配器驱动的跨模态高效知识迁移

针对热成像缺少大规模高质量预训练基座、且直接微调庞大骨干易导致灾难性过拟合的问题,本文基于视觉基础模型 DINOv3 提出了统一且高效的 Firefly 基准架构:

  • 阶段一(RGB 预训练):冻结预训练的 DINOv3 ViT 编码器,仅在其输出特征后级联轻量级多层感知机(MLP)预测头,在 SegFly-RGB 大规模伪标签监督下训练,确立强劲的航拍 RGB 语义感知上限;
  • 阶段二(RGB-T 跨模态无监督域自适应):利用配准后的高质量图像对 \((\mathbf{I}_n^{\text{Th}}, \mathbf{I}_n^{\text{RGB,reg}})\),在完全冻结 DINOv3 骨干的前提下,在 ViT 各层插入热红外专用残差上下文适配器 Rein(Residual In-Context Adapter)。通过自监督特征层蒸馏,驱使红外输入特征在隐空间中残差对齐至对等的 RGB 视觉特征分布;
  • 阶段三(热成像有监督微调):以预训练好的 RGB-MLP 预测头初始化热成像语义分割头,在 SegFly-RGB-T 热成像伪标签监督下,联合微调 Rein 适配器与红外 MLP 头,骨干网络持续冻结。该设计使得热成像分支能无损继承可见光在海量数据上汲取的结构化语义表征,推理高效且训练参数量降低一个数量级。

损失函数 / 训练策略

Firefly 的三阶段训练严格采用解耦优化策略: 1. RGB 预训练阶段采用加权多类别交叉熵损失 \(\mathcal{L}_{\text{ce}}\),针对 SegFly 中合并后的 15 个语义类别进行全监督优化; 2. 跨模态域自适应阶段利用几何配准的 RGB-T 样本对,在 ViT 中间层特征与输出 token 之间构建余弦距离与均方误差(MSE)对齐特征损失,仅更新 Rein 模块参数; 3. 热成像微调阶段再次采用交叉熵损失监督热成像预测头与 Rein 适配器。数据后处理中,将原始罕见类别(如频率仅占 0.063% 的 Rock 与 0.002% 的 CableTower)合并归入 GroundObstacle,将 Person、Bicycle、FlyingAnimals、Cables 与 Cranes 等由于动态位移或过细结构难以在 3D 重建中稳定捕捉的类别(合计占比仅 0.006%)划入未标注掩码(占比仅 1.54%/1.78%),确保全流程梯度回传具备高度数值稳定性与语义鲁棒性。

实验关键数据

主实验

论文在 SegFly-RGB 与 SegFly-RGB-T 测试集上全面对比了经典模型(UPerNet、SegFormer)与提出的 Firefly 基线,并在手工真值与全量伪标签测试集上交叉评测。

训练监督来源 测试评估协议 评测模型 Accuracy [%] FWmIoU [%] 相对增益 / 说明
仅人工标注 (586张) 手工 GT 测试集 UPerNet (Xiao et al., ECCV'18) 52.08 52.46 仅约 2.84% 样本监督
仅人工标注 (586张) 手工 GT 测试集 SegFormer (Xie et al., NeurIPS'21) 50.05 48.50 缺乏大样本时过拟合
仅人工标注 (586张) 手工 GT 测试集 Firefly-RGB (本文) 47.81 45.81 参数受限基线
SegFly-RGB 全量伪真值 手工 GT 测试集 UPerNet 52.13 54.36 +1.90% FWmIoU
SegFly-RGB 全量伪真值 手工 GT 测试集 SegFormer 51.48 51.36 +2.86% FWmIoU
SegFly-RGB 全量伪真值 手工 GT 测试集 Firefly-RGB (本文) 53.40 54.90 +9.09% FWmIoU,同协议最优
仅人工标注 (586张) SegFly-RGB 测试集 UPerNet 47.72 43.72 泛化至全场景受限
仅人工标注 (586张) SegFly-RGB 测试集 SegFormer 46.02 41.74 评测集全面扩展
仅人工标注 (586张) SegFly-RGB 测试集 Firefly-RGB (本文) 45.72 42.34 基线表现
SegFly-RGB 全量伪真值 SegFly-RGB 测试集 UPerNet 48.38 46.73 +3.01% FWmIoU
SegFly-RGB 全量伪真值 SegFly-RGB 测试集 SegFormer 48.01 44.46 +2.72% FWmIoU
SegFly-RGB 全量伪真值 SegFly-RGB 测试集 Firefly-RGB (本文) 49.70 50.44 +8.10% FWmIoU,显著超越经典架构

在热成像多模态语义分割任务中,论文对比了从头微调、单模态预训练及三阶段跨模态自适应方案:

训练范式与流程 评测模型 Accuracy [%] FWmIoU [%] 相对增益 / 说明
从头微调 (Scratch) UPerNet 31.36 27.82 热红外纹理贫乏,极难收敛
从头微调 (Scratch) SegFormer 33.26 28.33 缺乏几何先验
从头微调 (Scratch) Firefly-RGB (直接用于红外) 37.48 35.20 视觉大基座展现特征初阶鲁棒性
RGB预训练 \(\to\) 红外微调 UPerNet 33.48 32.21 权重迁移带来 +4.39% FWmIoU 增益
RGB预训练 \(\to\) 红外微调 SegFormer 34.26 30.66 权重迁移有效缓解过拟合
RGB预训练 \(\to\) 红外微调 Firefly-RGB 37.67 37.38 跨模态表征初阶迁移
三阶段自适应 (预训练 \(\to\) Rein适配 \(\to\) 微调) UPerNet + Rein 34.74 31.98 适配器迁移机制
三阶段自适应 (预训练 \(\to\) Rein适配 \(\to\) 微调) SegFormer + Rein 35.75 33.48 适配器带来明显提点
三阶段自适应 (完整流程) Firefly-RGB-T (本文完整模型) 41.06 43.83 最优性能,FWmIoU 跃升 +8.63%

消融实验

针对 3D-to-2D 深度引导点云语义渲染管线中各核心模块的独立贡献,论文在场景 8 的未见人工测试集上进行了系统性消融验证:

实验配置方案 局部遮挡过滤 (Occlusion Filtering) 表面 Splatting 致密化 (Densification) 深度引导标签扩散 (Depth-Guided Propagation) Accuracy [%] FWmIoU [%] 机制剖析与退化表现
配置 (A) \(\times\) \(\checkmark\) \(\checkmark\) 89.78 84.58 缺少遮挡过滤,背部穿透误投影增多
配置 (B) \(\checkmark\) \(\times\) \(\checkmark\) 89.54 84.35 缺少 Splatting,点云边界稀疏导致空洞扩大
配置 (C) \(\checkmark\) \(\checkmark\) \(\times\) 83.95 80.49 去掉深度引导传播性能暴跌 -4.65% FWmIoU
完整管线 (D) (本文) \(\checkmark\) \(\checkmark\) \(\checkmark\) 90.08 85.14 各环节正交增益,精度最高且轮廓锐利

在跨数据集大模型零样本与微调泛化评测中(验证 SegFly 伪标签对前沿视觉基础模型的赋能潜力): - 可见光开集分割基座 CatSeg (CVPR 2024) 在 CART 航拍基准上,Zero-Shot 精度仅为 4.32% Acc / 15.03% FWmIoU;在 SegFly-RGB 伪标签上微调后,性能跃升至 11.35% Acc / 17.45% FWmIoU; - 红外通用表征大模型 AnyThermal (ICRA 2026) 在独立目标数据集 Kust4K 上,Zero-Shot 精度为 46.02% Acc / 35.06% FWmIoU;而在 SegFly-RGB-T 配准伪数据上微调后,指标飙升至 58.73% Acc / 51.75% FWmIoU(FWmIoU 暴涨 +16.69%)。

关键发现

  1. 伪标签质量全面超越稀疏纯人工标注的监督效率:所有评测架构(UPerNet、SegFormer、Firefly)在全量 SegFly 伪标签上训练的测试精度,不仅在全量集上大幅占优,甚至在独立保留的纯手工标注真实测试集上,指标也一致显著超越直接用真实手工集训练的模型(FWmIoU 绝对提升 1.9% 至 9.1%)。无监督对照实验中,在同样样本量下移除伪标签的 PriMaPs 模型 FWmIoU 暴跌至 15.31%,证明性能跃升完全源于几何伪标签的优质监督信号而非单纯样本堆叠。
  2. 深度引导标签传播是渲染的核心命门:消融表显示,去除深度引导直接进行无序 kNN(配置 C)导致 FWmIoU 剧烈下滑 4.65%,表明在俯视航拍中,严格依据物距光心深度决定标签归属是避免背景侵蚀前景的根本防线。
  3. 透镜畸变迁移决定几何配准成败:定量配准实验表明,包含透镜畸变迁移可达到 87.05% 的跨模态像素配准精度;若忽略红外透镜畸变,指标即刻退化至 84.08% / 73.63%,证明高空热红外光学的边缘畸变不容忽视。

亮点与洞察

  • 2D-3D-2D 跨高度平摊标注成本的几何闭环:该设计巧妙之处在于仅需在单一基准高度(如 50m)花费极少人工标注构建 3D 语义几何,即可直接无损渲染至 40m、30m 等多飞行高度和全量热红外视点,使数据产出效率提升数十倍且零额外人工开销。
  • 3D 几何作为无硬件同步跨模态配准的中间载体:突破了以往依赖 2D 跨模态特征点强行匹配或高昂物理硬件时钟同步的固有局限,将配准升维至三维 ICP 刚体对齐并下刷到红外镜头畸变域,让千元级普通消费级双光无人机具备了生成科研级对齐数据集的能力。
  • 可复用的航拍深度优先渲染策略:Z-Buffer + 遮挡过滤 + 逆序 Splatting + 深度优先扩散的四步法,能平滑迁移至自动驾驶车载多相机环视雷达标注或具身机器人多模态数据生成任务中。

局限与展望

  • 作者承认的局限:底层重建严重依赖传统 SfM+MVS 静态场景假设,导致场景中移动的人员、车辆、飞鸟等动态实体无法形成有效 3D 几何点云,目前只能作为未标注类别剔除;同时目前热成像数据主要集中在日间航拍,尚未覆盖昼夜温差反转条件下的复杂夜间空照。
  • 实测与方法局限:强阴影边缘或极其细长的高空线缆(Cables/Cranes)在点云生成阶段易发生重构断裂;若热红外初始图像缺乏明显热对比度纹理,热点云独立重建与 ICP 空间收敛可能陷入局部极值。
  • 未来改进方向:可引入结合 4D 动态高斯泼溅(Dynamic 4DGS)进行动态运动解耦重构;在夜间航拍场景中引入热辐射对偶对抗域自适应机制,实现真正意义上的全天候全动态自主数据闭环。

相关工作与启发

  • vs UAVScenes (ICCV 2025):UAVScenes 依赖全量手工 3D 标注后通过 Poisson 泊松曲面重建渲染 2D 标签,但由于曲面颜色平滑混合产生严重歧义(未标注无效像素高达 64.07%,精度仅 34.92%),不得不引入二次人工修正;SegFly 的点云直接分层深度渲染实现 90.08% 精度与仅 1.54% 未知率,完全零人工二次修整。
  • vs CART (ECCV 2024) / Kust4K (Sci Data 2025):CART 依赖定制硬件刚性支架同步但样本量有限(2,282 对),Kust4K 依赖 SIFT 匹配与手工裁剪且无多高度覆盖;SegFly 首创 3D 几何与透镜迁移纯算法对齐,规模跃升至 15,007 对高质量对齐样本,覆盖 3 种航高与全四季。
  • vs OccuFly (CVPR 2026):OccuFly 仅探索了可见光在 3D 体素占有率层面的预测与单向 2D-to-3D 提升;SegFly 闭环完成了 2D-3D-2D 跨模态反向渲染与无硬件时钟同步的跨模态空间几何配准,释放了基础模型在多模态航拍领域的巨大潜力。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [首创 2D-3D-2D 闭环完成跨高度标签迁移与无硬件同步的红外-可见光几何配准,架构设计极其精妙]
  • 实验充分度: ⭐⭐⭐⭐⭐ [规模达 2 万张 RGB 与 1.5 万对 RGB-T,涵盖 9 大场景四季多高度,主实验、全消融、基座泛化与对照实验完备扎实]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑严丝合缝,公式与几何物理推导清晰规范,插图与实验剖析深刻透彻]
  • 价值: ⭐⭐⭐⭐⭐ [彻底打破现成消费级无人机采集多模态科研数据集的高门槛,开源 SegFly 基准与代码将极大推动航拍低空感知与红外大模型发展]