Skyfall-GS: Synthesizing Immersive 3D Urban Scenes from Satellite Imagery¶

会议: ECCV2026
论文: ECCV 原文
官方 ID: 3179
项目: Skyfall-GS
领域: 遥感
关键词: 高斯泼溅、多时相卫星影像、城市场景合成、扩散细化、课程学习

一句话总结¶

Skyfall-GS 用卫星影像约束城市的粗几何与外观，再通过由高到低的视角课程将扩散模型生成的立面细节逐轮写回 3D 高斯场景，在 DFC2019 上取得 FIDCLIP 27.03、CMMD 2.110，并支持离线优化后的实时漫游。

研究背景与动机¶

卫星影像覆盖广，能提供屋顶、道路和城市布局，却不是适合街景重建的观测集合。卫星相机的视差有限，建筑立面经常被遮挡；多时相图像还混有不同光照、季节变化和临时物体。直接拟合 3D Gaussian Splatting（3DGS，高斯泼溅）或 Sat-NeRF，可以得到俯视下尚可的场景，但相机下降后，原本没有被充分约束的高斯会表现为漂浮物、拖影和模糊立面。

这不是单纯增加重建迭代就能消除的问题：训练影像根本没有包含完整的低视角细节。CityDreamer、GaussianCity 等生成方法可以依据布局补出城市，却更依赖高度场、语义图和领域训练数据，未必保留具体卫星影像中的建筑外观。本文因此把任务定义为观测约束下的场景合成，而不是声称从远距离影像恢复每一扇真实窗户；需要让生成先验补充缺失信息，同时避免它把已有布局和纹理改成另一座城市。

扩散模型能改善单张退化渲染，但立即让它处理最差的街道视角会放大错误，各视角独立编辑又可能互相矛盾。核心 idea：先建立卫星约束的 3D 场景，再从较可靠的高视角逐步下降，用每视角多个扩散样本共同监督同一个高斯表示，使可见结构和生成细节逐轮协调。

方法详解¶

整体框架¶

输入是同一区域的多视角、多时相卫星 RGB 图像及其相机信息，输出是可以自由飞行浏览的街区级 3DGS 场景。流程分为重建和合成两个阶段：多时相重建与几何约束先建立可靠底座，高低视角课程再安排合成顺序，多样本迭代细化则把每轮二维编辑结果反馈给三维表示。

这里没有训练一个新的城市扩散模型，而是对每个场景优化高斯参数，调用预训练 FLUX.1 [dev] 和 FlowEdit 提供编辑监督。最终实时浏览的是优化后的高斯模型，不是在每帧渲染时运行扩散模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["多视角卫星影像<br/>与相机信息"] --> B["多时相重建"]
        B --> C["几何约束"]
        C --> D["高低视角课程"]
        D --> E["多样本迭代细化"]
        E -->|更新场景后进入下一轮| D
        E --> F["可实时漫游的<br/>3D 高斯场景"]

关键设计¶

1. 多时相重建：把拍摄条件变化与场景结构分开

卫星图像常用有理多项式相机模型（RPC），不能直接按普通透视照片处理。作者用 SatelliteSfM 近似得到透视相机的内外参，并将稀疏 SfM 点初始化为高斯。这个步骤把卫星数据接入标准 3DGS 优化流程，也让初始空间结构来自观测，而非由扩散模型自由生成。

不同日期拍到的同一屋顶可能颜色不同，若强迫所有图像共享一个颜色，优化容易用错误几何解释光照变化。本文沿用 WildGaussians 的思路：为每张图像学习全局嵌入、为每个高斯学习局部嵌入，让轻量 MLP 结合这些嵌入和零阶球谐颜色预测仿射颜色变换。球谐仅保留零阶与一阶，避免把拍摄条件变化过度编码为视角相关颜色。推理时选定一个图像嵌入，将外观烘焙为静态高斯颜色，再丢弃嵌入与 MLP，因此仍能使用标准 3DGS 渲染器。

2. 几何约束：同时清理漂浮物和约束低视角表面

初始重建中许多漂浮物具有较低不透明度。作者引入基于熵的不透明度正则，使高斯的不透明度更接近二值分布，从而在致密化过程的剪枝中更容易移除低不透明度高斯。它不是给所有高斯统一降低透明度，而是减少悬浮在真实表面之外、用半透明叠加解释图像的自由度。

另一条约束来自较低位置的伪相机：用当前高斯模型同时渲染 RGB 与 alpha 混合深度，再让 MoGe 从渲染 RGB 预测单目深度，以两份深度的相关性监督几何。MoGe 没有引入额外真实街景照片，它提供的是预训练模型对当前图像的几何先验。由于单目深度不保证绝对尺度，作者使用 Pearson 相关系数的绝对值，而非直接比较米制深度误差。

以下按原文式 (3) 附近的清晰文字整理公式；缓存中的公式排版存在损坏，不把残缺公式照抄为完整原式：

\[ \mathcal{L}_{\mathrm{depth}}=1-\left|\operatorname{PCorr}(\hat D_{\mathrm{GS}},\hat D_{\mathrm{est}})\right|, \qquad \operatorname{PCorr}(X,Y)=\frac{\operatorname{Cov}(X,Y)}{\sigma_X\sigma_Y}. \]

这里两份深度分别来自高斯渲染和 MoGe 预测，协方差与标准差在对应像素上计算。该目标约束的是深度结构相关性，不能单独保证绝对尺度，也不能把预测先验当作真实测量；它与原始卫星重建监督共同工作。原文重建消融还用 LiDAR 对数字表面模型（DSM）做几何验证，以区别于仅凭图像观感判断几何。

3. 高低视角课程：先修容易的视角，再暴露遮挡区域

初始模型在高仰角下更可靠，低仰角下的错误则可能让编辑器误认建筑轮廓。作者在场景中均匀放置注视点，为每个点采样环绕相机，并用每轮的半径和仰角序列控制轨迹。课程从高仰角开始，逐轮下降，而不是从原始训练相机随机抽样，也不是一次性渲染全部最困难的近地视角。

关键在于相邻轮次之间更新了三维场景：下一轮输入不再是最初的退化模型，而是已经吸收上一轮细节的表示。这样立面可以随着视角下降逐步显露，编辑器每次面对的缺损较小，更有机会保留已有结构。反向课程首先处理最差的低视角，随后再向上修，消融明显更差，说明贡献不仅是“多做几轮”，还包括信息进入模型的顺序。

4. 多样本迭代细化：让二维编辑成为共享三维表示的监督

每轮先渲染课程指定的相机，再用 FlowEdit 调用 FLUX.1 [dev] 编辑这些图像。源提示描述模糊和伪影，目标提示描述清晰、合理的建筑外观；编辑目标是改进已有内容，而不是将立面全部视为空白后任意填充。卫星斜视图已包含部分立面颜色和结构，所以保留输入约束比完全自由的图像补全更重要。作者用编辑图像作为伪真值优化高斯，再重新渲染，形成迭代数据集更新（IDU）。

单个视角只取一个扩散结果时，某次随机生成的窗格或边缘可能被高斯过拟合，并与其他视角冲突。本文为每个视角生成多个独立编辑样本，使光度损失在这些样本上共同约束同一个模型。所谓“共识”是共享三维表示在优化中折中，不是显式匹配不同图像的窗户，也不是简单把图像预先平均；它缓解随机高频几何噪声，但不提供严格的多视角一致性保证。默认每视角取 2 个样本，更多样本并不会让所有指标单调改善。

一个完整示例¶

以一块能看见屋顶、只能斜看部分立面的街区为例：先用卫星图像拟合初始高斯，并通过外观建模避免把阴影变化解释成悬浮结构。几何约束进一步清理漂浮物，给屋顶和道路提供较规整的深度结构。

进入合成阶段后，每个注视点每轮采样 6 台环绕相机，各相机生成 2 个编辑样本，即每个注视点每轮提供 12 张细化图像。高视角先修复轮廓和局部纹理，更新高斯之后再降低下一轮仰角，使立面逐步进入视野；共运行 5 轮。这里的 12 是由原文配置计算的样本数量，不是论文额外报告的性能指标。

最终漫游看到的立面既受卫星观测约束，也含扩散先验生成的信息。即使从相邻位置看起来连贯，也不能据此断言新增门窗对应真实建筑细节。

损失函数 / 训练策略¶

重建阶段运行 30,000 次迭代，联合颜色重建、不透明度正则和伪相机深度监督；原文给出的权重为 D-SSIM 0.2、不透明度 10、深度 0.5。颜色项结合像素重建与结构相似性，几何约束补足有限视差带来的欠约束。

合成阶段包含 5 轮，每轮优化 10,000 次。训练图像按 75% 的 IDU 细化视图和 25% 的原始卫星视图采样，因此生成监督并未完全替代真实输入。保留原始图像可持续约束场景外观，降低连续编辑偏离卫星影像的风险。

实验使用单张 RTX A6000（48GB）。JAX_214 完整流程约 6 小时 45 分钟，其中重建 1 小时 35 分钟、合成 5 小时 10 分钟；这是逐场景离线开销。烘焙外观后的模型在 MacBook Pro M4 Pro 上以 1920×1080 达到 60 FPS，不能将这个渲染速度误写为生成速度。

实验关键数据¶

主实验¶

DFC2019 使用 Jacksonville 的 4 个 AOI：JAX_004、JAX_068、JAX_214、JAX_260。GoogleEarth 使用 NYC 的 004、010、219、336 场景，训练视图仰角为 80°；其数据来源同时也是 CityDreamer 和 GaussianCity 的训练域。

下表摘录原文表 1、表 2 的分布指标，均越低越好。FIDCLIP 基于 CLIP 特征分布比较，CMMD 使用 CLIP 表征上的最大均值差异；它们评估生成分布，而不是逐建筑几何测量。两个数据集不能因为数值大小不同而直接比较难度。

数据集	方法	FIDCLIP ↓	CMMD ↓
DFC2019	Sat-NeRF	86.52	4.788
DFC2019	EOGS	87.67	5.291
DFC2019	CoR-GS	84.95	5.692
DFC2019	Mip-Splatting + 本文外观建模	86.72	5.404
DFC2019	Skyfall-GS	27.03	2.110
GoogleEarth	CityDreamer	36.66	4.200
GoogleEarth	GaussianCity	28.76	2.915
GoogleEarth	CoR-GS	26.35	3.758
GoogleEarth	Mip-Splatting	16.09	2.086
GoogleEarth	Skyfall-GS	10.29	1.959

参考图像来自 Google Earth Studio（GES），DFC2019 测试仰角为 17°，GoogleEarth 为 45°。这既存在视角协议差异，也存在 WorldView-3 与 GES 的光照及颜色域差异；原文因此将像素指标作为次要参考。GoogleEarth 上本文 PSNR 为 14.42、SSIM 为 0.302、LPIPS 为 0.393；Mip-Splatting 的 LPIPS 0.379 更好，不能声称本文所有指标都领先。

消融实验¶

下表摘录原文表 4，在 JAX_068 上比较合成阶段。时间单位为小时，未报告的课程变体时间标为“未报告”；这些时间不是 JAX_214 的完整流程计时。

配置	FIDCLIP ↓	CMMD ↓	时间（小时）
每视角 1 个样本	34.11	3.189	3.44
每视角 2 个样本（默认）	28.35	2.875	6.37
每视角 3 个样本	28.64	2.769	7.19
每视角 5 个样本	29.17	2.677	9.80
随机仰角，取消课程	33.79	3.361	未报告
反向课程，由低到高	53.03	4.170	未报告

关键发现¶

课程方向比“有没有更多编辑”更关键：反向课程的 FIDCLIP 为 53.03，默认配置为 28.35。先把退化最严重的图像送入扩散模型，会使之后的几何恢复更困难。
多样本存在质量与成本权衡：2 个样本在表内取得最低 FIDCLIP，5 个样本取得最低 CMMD，但时间从 6.37 增至 9.80 小时。原文以视觉效果与成本选择 2，并非声称它在所有指标上最优。
原文表 3 的重建消融采用更高评估仰角，不能与主表的低视角结果混比；其 LiDAR 对照 DSM 的 MAE 从仅外观建模时的 3.542 米降至完整约束的 2.250 米，RMSE 从 5.218 米降至 3.483 米。
两项用户研究各有 44 名参与者，作者报告 DFC2019 的偏好胜率约 90–94%，GoogleEarth 约 79–82%。这支持感知质量，但不是逐点几何真实性的独立证明。

亮点与洞察¶

相机课程决定生成先验接触什么证据。对于从稀疏观测补全场景的系统，先暴露可靠部分再逐步扩大缺失区域，可能比一开始要求模型处理最大视角差更稳健。
多样本不是简单增加输出多样性，而是减轻一次随机编辑对三维表示的支配。可迁移的思路是让共享表示吸收多个监督假设，但必须检查这种折中是否损失细节。
外观建模同时考虑训练稳定性与部署。复杂的嵌入和 MLP 留在优化阶段，最后烘焙回标准高斯表示，避免把生成工具链变成每帧渲染依赖。

局限与展望¶

作者明确将严格行人视角排除在范围外：仰角低于 10°、紧贴立面的观察仍难可靠生成和评估。固定启发式相机轨迹也可能漏掉复杂几何后的盲区。
输入需要非垂直俯视的观测来提供部分立面信息；纯正射俯视输入仍是开放问题。“仅需卫星影像”不等于任意单张俯视图都可直接使用。
评估仅覆盖两个来源的若干静态场景，且细化是逐场景昂贵优化。相邻 AOI 合并展示了约 1 km × 512 m、约 9 小时的案例，但还不是整座城市规模的普遍验证。
本笔记的风险判断：生成窗户、立面纹理和遮挡区域只能作为合理假设，不能直接当作测绘、导航安全或物理仿真的真实依据。后续可增加可见性或不确定性标注，并用真实近地观测单独验证生成细节。
本笔记的评估建议：补充更多地域、材质与极端视角测试，将观测区域几何精度、不可见区域感知质量和跨视角一致性分开报告，避免一个生成指标承担全部结论。

评分¶

新颖性: 4/5。已有重建、编辑与 IDU 组件的组合具有明确任务针对性，核心增量在卫星到低视角的课程和约束设计。
实验充分度: 4/5。覆盖两类数据、重建与生成基线、组件消融和用户研究，但严格街道视角及更广地域验证有限。
写作质量: 4/5。两阶段动机与课程消融衔接清楚，需注意“几何准确”与“合理生成”在阅读中的区别。
价值: 4/5。对可交互城市场景和仿真素材生成有价值，实际部署必须保留生成细节的不确定性边界。