SkyLume: A Large-Scale Multi-Illumination Aerial Benchmark for Urban Scene Reconstruction and Beyond¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://skylume.github.io
领域: 3D视觉 / 自动驾驶
关键词: 大规模3D重建、3D高斯泼溅、多时相光照、逆渲染、无人机航拍数据集

一句话总结¶

针对真实无人机航拍测绘中因跨时段光照与阴影漂移导致光度一致性失效的根本痛点，SkyLume 构建了首个涵盖 10 个典型城市区域、超 10 万张 6K 五向倾斜航拍影像的大规模真实数据集，通过 RTK 重复航线与多时段对齐联合 SfM 隔离光照变量，配套厘米级 LiDAR 真实几何真值，并提出时序一致性系数（TCC）用于量化评测大规模三维重建、新视角合成与逆渲染的材质解耦能力。

研究背景与动机¶

无人机倾斜摄影测量已成为大规模城市三维建模与实景三维建设的核心手段。近年来，以神经辐射场（NeRF）和三维高斯泼溅（3DGS）为代表的隐式与显式辐射场技术，极大提升了新视角合成与几何表面重建的质量和效率。然而，在城市级或广域测绘任务中，单架次无人机的续航与作业范围有限，整个区域的数据采集往往需要跨越数小时乃至数天分批次完成。这种多时相飞行必然引入剧烈的日照角度变化、移动阴影、漫反射与直射光比例波动以及相机自动曝光差异，从根本上违背了传统几何重建与辐射场优化所依赖的多视角“光度一致性”（Photometric Consistency）基本假设。现有的三维重建管线往往将特定时段的光照和移动阴影硬生生“烘焙”进辐射场或几何网格中，导致跨架次拼接时出现严重的色彩跳跃、伪影漂移以及几何畸变。

导致这一挑战长期未被充分研究的核心瓶颈在于高质量真实世界基准的缺失。现有的无人机航拍数据集呈现出明显的两极分化：一类依赖游戏引擎或合成渲染管线（如 Matrix City），虽然能任意调节光照和天气，但与真实光学成像、大气散射以及复杂植被质感存在显著的 Sim-to-Real 领域鸿沟；另一类是真实航拍数据集（如 Mill 19、UrbanScene3D、GauU-Scene 等），它们绝大多数仅对场景进行单次飞行采集，缺乏对同一区域在不同光照条件下的系统性重复观测，且通常缺少与高精度测绘级主动激光雷达（LiDAR）对齐的高精几何真值与法向量真值，使得算法在面对光照变化时无法独立解耦材质反照率与几何结构误差。

为了填补这一关键空白，本文打破以往单次采集或合成模拟的局限，提出了首个面向光照鲁棒城市三维建模的大规模真实无人机基准。核心 idea：利用 RTK 厘米级航路规划在早、中、晚三个典型时段沿完全相同航线进行五向倾斜同步拍摄，结合主动激光雷达构建统一坐标系下的联合 SfM 与高精几何真值，并提出无需真实反照率标注的时序一致性指标（TCC），将多时相航拍从干扰变量转化为系统性检验三维重建与逆渲染解耦能力的科学评测基准。

方法详解¶

整体框架¶

SkyLume 的构建与评测体系涵盖硬件同步采集、跨时相激光雷达联合严密配准、水体几何修复与真值导出，以及多维度时序鲁棒性评测协议四大阶段。输入为搭载五镜头倾斜相机与激光雷达的工业级无人机在早、中、晚三个时段执行相同航点航线采集的原始数据；输出包括严格统一坐标系下的 COLMAP 格式多时段相机姿态、单帧激光/网格深度与法线真值、太阳天顶角/方位角几何参数，以及针对新视角合成、几何表面重建与逆渲染的统一基准评测结果。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["工业级无人机多时相航拍采集<br/>早/中/晚三时段 + 相同RTK航线 + 5向6K倾斜相机"] --> B["激光雷达引导的跨时相联合SfM配准"]
    B --> C["多模态融合MVS与水面几何补全"]
    C --> D["多模态标准化真值导出<br/>统一坐标系位姿 / 密集深度法线 / 太阳几何参数"]
    D --> E["时序一致性评测体系 TCC 框架"]
    E --> F["下游多任务基准评测<br/>逆渲染反照率解耦 / 跨时段几何网格提取 / 新视角合成"]

关键设计¶

1. 激光雷达引导的跨时相联合SfM配准：解决跨时段极端光照与阴影漂移下的亚像素对齐难题

在早晨低角度直射光、正午强漫射光与傍晚背光阴影之间，建筑物立面与地表的纹理特征点会发生剧烈的色彩与梯度突变，传统的独立特征匹配与 SfM 重建必然会导致不同时段模型处于割裂的局部坐标系中，或者产生严重的尺度与旋转漂移。为了实现跨时段与跨模态的亚像素级联合对齐，SkyLume 首先将不依赖环境光的独立架次激光雷达（DJI Zenmuse L2）点云地理参考到 WGS 84 / UTM 测绘坐标系中，并利用固定虚拟相机姿态渲染出点云的伪 RGB 锚点视图（Anchor Views）。随后，管线执行锚点约束的联合 SfM 优化：将三个时段所有倾斜与下视 RGB 图像与激光雷达锚点视图放入同一个全局平差（Bundle Adjustment）网络中联合求解，RTK 差分坐标作为高精软先验约束，并在极少弱纹理漂移区域引入人工刺点地面控制点（GCPs）。全局联合平差完成后，再按时段索引提取出严格对齐在同一坐标系下的分时段相机内外参和稀疏点云，平差平均重投影误差仅为 0.79 像素，相对相机位置不确定度在 X、Y、Z 方向均小于或等于 1-2 毫米。

2. 多模态融合MVS与水面几何补全：构建无光照偏置的高保真几何与法向量真值

光照变化不仅破坏图像外观，更会在多视角立体重建（MVS）中引入几何伪结构——例如建筑物投射在地表的深色阴影常被误判为几何凹坑或实体凸起。为了建立不随光线移动而改变的绝对几何真值，SkyLume 将严格对齐的三时段五向影像与激光雷达点云进行多模态稠密表面重建，利用主动激光雷达作为度量骨架（Metric Scaffold），强力正则化阴影与弱纹理区域的深度估计。更进一步，城市场景中不可避免包含河流、湖泊等高反射与半透光水体，这类区域在航拍视角下由于强烈的视角依赖镜面反射和折射，会导致传统 MVS 彻底崩溃并产生大量拓扑孔洞。SkyLume 提出专用的水面几何拓扑补齐算法：在水体岸线精确采样四个基准点，计算平均高程 \(z_{\text{mean}}\)（严格保证采样方差 \(\le 2\text{ cm}\)），将水体表面法向量在物理上严格约束为水平面，生成平整光滑的水体网格补丁并无缝缝合融入全局三维网格模型中。基于该网格和原始激光点云，项目渲染并导出了分辨率与 6K 原图严格一致的逐帧网格深度、表面法向量以及占用滤波后的稀疏激光深度图。

3. 时序一致性系数（TCC）：无需材质真值的逆渲染跨时段反照率解耦定量评测

在真实世界大规模城市尺度下，获取全场景物理材质的绝对真实反照率（Ground Truth Albedo）在工程上极其困难且代价高昂。为了客观评测逆渲染算法在多变日光下是否真正做到了光照与材质的解耦，SkyLume 提出了时序一致性系数（Temporal Consistency Coefficient, TCC）。该指标的核心洞察是：无论外界入射日光方向与阴影如何随时间推移而演变，物体本征的物理反照率（Albedo）应具备时空不变性。基于统一坐标系，评测协议在全局航线上均匀采样 \(K\) 个固定虚拟测试视点 \(\{v_k\}_{k=1}^K\)。对于视点 \(v_k\)，分别利用在三个独立时段（\(T=3\)）训练的逆渲染模型渲染出反照率图像 \(A_t^{(k)} \in [0, 1]^{H \times W \times 3}\)，并计算跨时段平均反照率：

\[\bar{A}^{(k)} = \frac{1}{T}\sum_{t=1}^T A_t^{(k)}\]

为避免单一度量维度的偏置，TCC 构建了多维评价矩阵：利用 \(TCC_{\text{SSIM}}\) 评估跨时段结构保持度，利用深度特征感知距离 \(TCC_{\text{LPIPS}}\) 衡量感知一致性，并利用 \(TCC_{\text{MAE}}\) 和 \(TCC_{\text{RMSE}}\) 衡量像素级数值绝对偏差：

\[TCC_{\text{metric}} = \frac{1}{KT} \sum_{k=1}^K \sum_{t=1}^T \text{metric}\left(A_t^{(k)}, \bar{A}^{(k)}\right), \quad \text{metric} \in \{\text{SSIM}, \text{LPIPS}, \text{MAE}, \text{RMSE}\}\]

最终将误差项取反归一化为相似度，合成统一的综合时序一致性系数 \(TCC_{\text{overall}} \in [0, 1]\)，完美解耦反照率的模型该值严格为 1：

\[TCC_{\text{overall}} = \frac{1}{4}\left( TCC_{\text{SSIM}} + (1 - TCC_{\text{LPIPS}}) + (1 - TCC_{\text{MAE}}) + (1 - TCC_{\text{RMSE}}) \right)\]

实验关键数据¶

主实验¶

SkyLume 在统一的硬件环境（NVIDIA A800 80GB GPU）下，对代表性的逆渲染方法（GS-IR、Ref-Gaussian、Ref-GS）、显式几何表面重建方法（2DGS、PGSR、GOF、CityGaussianV2）以及新视角合成方法（3DGS、Abs-GS、Mip-Splatting、Octree-GS）展开了全面基准评测。

表 1: 逆渲染基线模型在测试视点上的 TCC 时序一致性评测结果（对应原论文 Table 4） 所有指标数值均归一化在 \([0, 1]\) 之间，除 Std（标准差）越低越好外，其余数值越高代表跨时相反照率越稳定、光照解耦越彻底。

评测指标	统计量	GS-IR	Ref-Gaussian	Ref-GS	说明 / 结论
TCC-LPIPS	Mean ↑	0.826	0.866	0.874	感知一致性整体较好，Ref-GS 最优
	Min ↑	0.759	0.778	0.755	极端视角下的最低感知稳定性
	Max ↑	0.867	0.919	0.979	最优光照条件下的感知重合度
	Std ↓	0.020	0.027	0.029	跨场景跨时段离散波动程度
TCC-SSIM	Mean ↑	0.905	0.883	0.928	结构一致性普遍在 0.88 以上，几何结构受光照漂移影响相对次要
	Min ↑	0.864	0.832	0.878	最差时段结构相似度下限
	Max ↑	0.936	0.928	0.985	极佳的材质纹理骨架保持能力
	Std ↓	0.014	0.019	0.017	结构一致性表现最为平稳
TCC-MAE	Mean ↑	0.700	0.513	0.766	像素色彩偏差是瓶颈；Ref-Gaussian 最低仅 0.513，色彩漂移严重
	Min ↑	0.212	0.262	0.587	强光斑/硬阴影下各模型均出现反照率暴跌，Ref-GS 鲁棒性显著更优
	Max ↑	0.800	0.653	0.977	顺光与漫反射区域像素差异较小
	Std ↓	0.074	0.078	0.063	各场景受阴影干扰的离散度显著高于 SSIM/LPIPS
TCC Overall	Mean ↑	0.721	0.658	0.775	Ref-GS 综合表现第一（0.775），Ref-Gaussian 垫底（0.658）
	Min ↑	0.563	0.575	0.622	最恶劣光照条件下的整体下限
	Max ↑	0.765	0.735	0.913	最佳场景综合得分
	Std ↓	0.033	0.026	0.036	综合得分波动稳定在 0.03 左右

表 2: 几何重建方法在不同时段下的网格精度及跨时段几何一致性评测（对应原论文 Table 5） 评估网格在三个距离容差阈值 \(\tau \in \{0.25, 0.5, 0.75\}\text{ m}\) 下的精确率（Pre）、召回率（Rec）与 F-1 分数。右侧 TCC-Geometry 为时段间网格两两几何一致性的平均 F-1 分数。

评估方法	Period 1 (晴天强直射光) F-1 ↑	Period 1 (晴天强直射光) F-1 ↑	Period 1 (晴天强直射光) F-1 ↑	Period 2 (漫射光/微云) F-1 ↑	Period 2 (漫射光/微云) F-1 ↑	Period 2 (漫射光/微云) F-1 ↑	TCC-Geometry F-1 ↑	TCC-Geometry F-1 ↑	TCC-Geometry F-1 ↑
容差 \(\tau\)	0.25 m	0.50 m	0.75 m	0.25 m	0.50 m	0.75 m	0.25 m	0.50 m	0.75 m
2DGS	0.227	0.508	0.704	0.232	0.552	0.735	0.570	0.675	0.750
PGSR	0.152	0.428	0.719	0.171	0.420	0.720	0.554	0.662	0.749
GOF	0.103	0.372	0.672	0.116	0.400	0.689	0.431	0.610	0.712
CityGaussianV2	0.291	0.610	0.808	0.250	0.566	0.770	0.547	0.719	0.790

表 3: Period 1（阳光直射强阴影）下新视角合成渲染质量横向对比（对应原论文 Table 6 节选典型场景）

场景名称	评估指标	3DGS	Abs-GS	Mip-Splatting	Octree-GS	GOF	2DGS	PGSR
Gym (低密度/无玻璃)	PSNR ↑	21.144	21.183	21.131	20.931	20.830	20.350	20.110
	SSIM ↑	0.672	0.681	0.669	0.648	0.626	0.583	0.580
	LPIPS ↓	0.318	0.305	0.325	0.336	0.360	0.425	0.424
iPark (高层/玻璃幕墙)	PSNR ↑	23.250	22.958	22.708	22.681	23.172	22.722	21.953
	SSIM ↑	0.707	0.711	0.701	0.697	0.681	0.648	0.622
	LPIPS ↓	0.355	0.335	0.362	0.358	0.382	0.440	0.467
Tec School (中密度/含水体)	PSNR ↑	21.652	21.523	21.364	21.765	21.224	21.103	20.926
	SSIM ↑	0.631	0.639	0.621	0.607	0.619	0.549	0.537
	LPIPS ↓	0.384	0.375	0.398	0.360	0.401	0.489	0.500
High School (中密度/多阴影)	PSNR ↑	20.570	20.413	OOM	20.618	OOM	19.531	19.398
	SSIM ↑	0.626	0.634	OOM	0.624	OOM	0.497	0.490
	LPIPS ↓	0.389	0.382	OOM	0.380	OOM	0.539	0.547

关键发现¶

逆渲染反照率对光照变化的敏感度呈结构与色彩的分化：TCC 细分指标表明，现有逆渲染方法的 \(TCC_{\text{SSIM}}\) 普遍保持在 0.88 以上，表明几何轮廓在各时段具有一定的稳定性；然而 \(TCC_{\text{MAE}}\) 表现极其脆弱（Ref-Gaussian 平均仅为 0.513，最低点跌至 0.262）。可视化分析显示，现存逆渲染管线严重依赖单时段静态光照假设，导致建筑物背阴面、投射硬阴影被永久性“烙印”在反照率贴图内，无法实现真正意义上的物理材质解耦。
强日光直射是几何表面提取的“重灾区”：在 Period 1（清晨强日照直射）下，强光照引发的长投影会导致所有几何重建方法产生大面积破洞与断裂。基于透明度（Opacity）的面元重建方法（如 GOF 与 CityGaussianV2）在无遮挡平坦区域的绝对精度最高（CityGaussianV2 在 0.75m 容差下 F-1 达 0.808），但在投射阴影区域极端脆弱；相反，基于 Alpha-blending 深度融合成 TSDF 的网格方法（2DGS、PGSR）虽然高频几何细节缺失，但拓扑连贯性更强，在细粒度容差（0.25m）下的跨时序几何一致性得分更优（2DGS 达 0.570）。
几何正则化与新视角渲染质量存在权衡折中：在 NVS 评测中，纯渲染导向的方法（如 Abs-GS 与 3DGS）在新视角合成质量上显著领先；而引入严格平面或表面法线几何约束的方法（2DGS、PGSR），在 PSNR 上普遍落后渲染导向方法 1.0 到 1.5 dB，LPIPS 恶化约 0.1 到 0.15。这表明单纯施加局部几何平滑容易压制高频视角相关纹理的拟合能力。
拓展下游任务揭示出空中视角的独特挑战：作者在单目深度/法线估计、传统 MVS 与前馈 3D 重建（\(\pi^3\) 与 VGGT）上的探索性实验揭示，现有大模型或密集匹配方案面对广域低空俯视影像时，普遍缺乏高频结构解析力；前馈大模型由于缺少对大畸变航拍镜头的联合位姿与内参标定泛化能力，在无人机轨迹上直接推理会出现严重的几何重叠与崩溃。

亮点与洞察¶

多时相全对齐的工业级飞控设计：通过 RTK 高精航路自动执行与跨时段五向同步曝光，在真实物理世界中严格控制了无人机视角、航向与重叠度变量，使得不同时段的图像差异仅源于太阳天顶角、光照强度与阴影位移，从数据底层确保了基准评测的严谨性。
无须反照率真值的 TCC 评估范式：巧妙借助多视角几何注册在虚拟视点渲染不同时段模型预测的反照率并互相比对，避开了城市级大尺度无法测得物理反照率真值的现实壁垒，为逆渲染与本征图像分解任务提供了可泛化的基准量化工具。
水面与阴影几何的激光互补修复设计：利用单次无视环境光的机载激光雷达扫描，不仅作为多时段 SfM 平差锚点消解漂移，还通过岸线高程采样与水平法线硬约束化解了水体高光镜面反射与透明性带来的 MVS 伪影，提供了极其珍贵的高保真网格基准。

局限与展望¶

作者承认的局限：目前发布的基准涵盖的场景主要集中在白昼光照变化（晴天、多云、直射光与漫射光），尚未覆盖夜间人工照明、雨雪雾等恶劣天气场景；且目前的真值与标注主要侧重于几何深度、法线和姿态，尚未包含多模态红外航拍或逐像素语义分割标签。
自行发现的局限：数据集中水体修复虽然解决了拓扑不连续，但采用了静态平面高程硬约束，对于伴随潮汐或水位涨落的水域可能存在高程微小误差；此外，TCC 指标以三时段平均反照率作为锚点，若所有被测模型对某种特定阴影均存在系统性同向偏置，TCC 的相对一致性可能高估实际的材质解耦效果。
改进与研究启发：未来工作可考虑将机载热红外辐射或多光谱相机引入多时序三维建图，利用热惯性特性辅助判别物理材质与投射阴影；在辐射场表征方面，应探索在大规模 3DGS 中显式解耦球谐函数与可微阴影追踪（Ray-traced Ambient Occlusion），利用时序航拍数据联合反求天空光照辐射与环境贴图。

评分¶

新颖性: ⭐⭐⭐⭐⭐（构建了首个涵盖超 10 万张真实 6K 航拍五向影像的多时相多光照城市三维重建与逆渲染基准，提出 TCC 评估框架）
实验充分度: ⭐⭐⭐⭐⭐（在逆渲染、几何重建、新视角合成三条赛道上详尽评测了 11 种主流 SOTA 方法，并配套单目深度与前馈大模型拓展评测）
写作质量: ⭐⭐⭐⭐⭐（管线设计严谨，硬件规格、联合平差数学建模、水体修复与指标定义清晰，图表数据详实）
价值: ⭐⭐⭐⭐⭐（对实景三维中国建设、城市级具身智能与大尺度神经辐射场/高斯泼溅算法的光照鲁棒性演进具有基石级推动作用）