RPC-GS: Gaussian Splatting with native RPC Rendering for Satellite Imagery¶

会议: NeurIPS 2026
arXiv: 2606.06690
OpenReview: https://openreview.net/forum?id=1pXVfZYbAY
论文: https://arxiv.org/abs/2606.06690
领域: 重建与渲染
关键词: 3D高斯泼溅, 有理多项式相机(RPC), 卫星遥感, 坐标变换链, 表面三维重建

一句话总结¶

首个原生支持有理多项式相机（RPC）模型的卫星影像 3D Gaussian Splatting 框架，通过严谨的地学坐标变换链、无求解器依赖的雅可比协方差投影与度量射线深度，消除了透视与仿射相机近似带来的系统性几何误差，在 DFC2019 与 IARPA2016 数据集上将地表高程误差降低 29.6% 与 9.9%。

研究背景与动机¶

地球观测卫星影像通常采用线阵推扫式（pushbroom）传感器成像，伴随着地球自转、地表曲率、大气折射及卫星轨道复杂姿态扰动。为了统一表达这些复杂的成像几何，工业界与学术界普遍采用有理多项式相机（Rational Polynomial Camera, RPC）模型作为事实标准。RPC 模型通过四个 20 项三次多项式之比，直接将大地坐标系下的经度、纬度与椭球高映射至二维像素坐标。然而，标准 3D Gaussian Splatting（3DGS）及其可微栅格化渲染器本质上是为中心透视针孔相机（perspective pinhole camera）设计的，其投影矩阵与协方差投影依赖显式的相机坐标系中心与视线 $z$ 轴，无法直接处理非物理、非线性的 RPC 有理分式投影。

现有的卫星 3DGS 方法为了复用标准渲染管线，通常退而求其次地采用局部相机模型近似：一类是以 Sat-GS、Skyfall-GS 和 Shadow-GS 为代表的透视针孔相机近似，另一类是以 EO-GS 为代表的正交/弱透视仿射相机近似。但这种妥协带来了严重的几何退化：针孔近似在大范围场景中产生显著的模型失配误差（如在 IARPA2016 影像中，场景尺寸由 256 扩展到 16k 像素时，重投影误差从 0.002 像素激增至 3.46 像素，在 0.31m 分辨率下对应超过 1m 的水平几何误差），且需要对输入图像进行非刚性重采样以消除偏斜（skew），带来插值伪影和边缘视场丢失；仿射相机近似虽然计算高效，但缺乏真实的景深概念，仅能使用逆高程近似排序，在远离天底（off-nadir）的大倾角观测或高楼密集的城市区域极易造成图层前后遮挡顺序错乱。

消除上述误差的根本途径是让 3DGS 渲染器直接原生运行在 RPC 几何之下。核心 idea：构建一套连接局部场景归一化空间、局部测地坐标系（ENU）、地心空间直角坐标系（ECEF）与大地坐标系的复合映射链，通过对正向测地映射解析求逆推导数值稳定的雅可比矩阵实现高斯协方差投射，并结合反投影双平面构造度量射线深度，实现无需任何相机几何近似的端到端原生 RPC 高斯泼溅渲染。

方法详解¶

核心机制¶

RPC-GS 的核心机制在于打破传统 3DGS 对单一“世界坐标系→相机坐标系→像素坐标系”线性透视投影矩阵的依赖，将高斯图元的投影建模为非线性测地坐标变换链。对于高斯中心均值 $\bm{\mu}$，算法严格沿场景归一化坐标 $\to$ 局部站心地平坐标系（ENU） $\to$ 地心地固坐标系（ECEF） $\to$ 大地测地坐标系（Geodetic） $\to$ RPC 像素平面的复合映射前向传递；对于高斯协方差矩阵 $\bm{\Sigma}$，通过链式法则复合各阶段变换的雅可比矩阵；针对无相心和无内蕴深度的 RPC 成像，通过高度边界沿光线构造度量射线深度以驱动 $\alpha$-compositing。

整体框架与流程¶

整个 RPC-GS 管线可分为坐标映射与均值投影、解析雅可比协方差投影、度量光线深度构建，以及最终的多视高斯栅格化渲染四个阶段。

%%{init: {'theme': 'base', 'themeVariables': {'fontSize': '12px', 'lineColor': '#2B6CB0'}}}%%
flowchart TD
    A["输入：3D 高斯图元<br/>(均值、协方差、不透明度、颜色)"] --> B["阶段 1：复合地学坐标变换<br/>Scene → ENU → ECEF → Geodetic"]
    B --> C["阶段 2：RPC 原生中心投影<br/>有理多项式方程 P(λ, φ, h) → 像素 (r, c)"]
    B --> D["阶段 3：解析雅可比协方差投射<br/>J = J_rpc · J_geo←ecef · J_ecef←enu · J_enu←scene"]
    C --> E["阶段 4：度量光线深度计算<br/>双高度平面反投影光线插值"]
    D --> F["阶段 5：标准 CUDA 栅格化<br/>深度排序与 Alpha 混合渲染"]
    E --> F
    F --> G["输出：RGB 影像与数字表面模型 (DSM)"]

关键设计（带序号的紧凑段落）¶

1. 阶梯式地学坐标变换链与闭式逆解：解决地球曲率与跨尺度数值病态 卫星遥感场景覆盖范围从数百米到数千公里，大地坐标系（经度 $\lambda$、纬度 $\phi$、椭球高 $h$）基于 WGS84 椭球体定义，不仅具有角度与长度量纲不一致的非均匀缩放，且直接在角度空间定义高斯球会导致协方差严重畸变；而全局 ECEF 直角坐标系原点在地球质心，数值尺度达 $6.4 \times 10^6$ 米，直接训练会导致浮点精度损失与梯度不稳定。RPC-GS 在场景中心锚定观测基准点 $(\lambda_o, \phi_o, h_o)$，建立局部正交切平面 ENU 坐标系，并通过中心平移与缩放因子 $s$ 归一化至 $[-1, 1]$ 紧凑空间： $$\bm{\mu}^{\mathrm{enu}} = \frac{1}{s}\bm{\mu}^{\mathrm{scene}} + \bm{c}$$ 由 ENU 向 ECEF 的变换为刚体变换，由基准点纬度 $\phi_o$ 和经度 $\lambda_o$ 决定的旋转矩阵 $\bm{R}^{\mathrm{ecef}\leftarrow\mathrm{enu}}$ 与平移向量 $\bm{x}_o^{\mathrm{ecef}}$ 确定。从 ECEF 直角坐标 $(x_\mu, y_\mu, z_\mu)$ 到大地坐标 $(\lambda_\mu, \phi_\mu, h_\mu)$ 的转换极度非线性（因主垂直曲率半径 $N_{\phi_\mu} = a / \sqrt{1 - e^2\sin^2\phi_\mu}$ 依赖纬度）。RPC-GS 摒弃收敛速度不可控的迭代数值解法，引入 You (2000) 的非迭代闭式精确解法，保证了前向传播的高效与确定性。

2. 求解器无关的正向映射微分求逆：实现数值稳定的协方差雅可比投射 标准 3DGS 依赖局部仿射线性化 $\bm{\Sigma}^{\mathrm{image}} = \bm{J} \bm{\Sigma}^{\mathrm{3D}} \bm{J}^T$ 投射协方差。在 RPC-GS 链条中，全变换雅可比为： $$\bm{J}^{\mathrm{image}\leftarrow\mathrm{scene}} = \bm{J}_\mu^{\mathrm{image}\leftarrow\mathrm{geodetic}} \bm{J}_\mu^{\mathrm{geodetic}\leftarrow\mathrm{ecef}} \bm{J}^{\mathrm{ecef}\leftarrow\mathrm{enu}} \bm{J}^{\mathrm{enu}\leftarrow\mathrm{scene}}$$ 其中 $\bm{J}^{\mathrm{enu}\leftarrow\mathrm{scene}} = \frac{1}{s}\bm{I}_3$，$\bm{J}^{\mathrm{ecef}\leftarrow\mathrm{enu}} = \bm{R}^{\mathrm{ecef}\leftarrow\mathrm{enu}}$ 均为常数解析矩阵。最大的理论难点在于非线性逆变换 $\text{ECEF} \to \text{Geodetic}$ 的微分：若直接对复杂的 You 闭式代数公式求导，极易遭遇数值奇点与求导膨胀。针对 ECEF 到大地坐标系的非线性逆解，RPC-GS 巧妙利用微分流形理论，转而对极其光滑的正向映射 $\text{Geodetic} \to \text{ECEF}$（方程 5）求导，构造局部正交基 $(\bm{e}_{\lambda_\mu}, \bm{e}_{\phi_\mu}, \bm{e}_{h_\mu})$，推导出正向微分雅可比分解： $$\bm{J}_\mu^{\mathrm{ecef}\leftarrow\mathrm{geodetic}} = \bm{R}_\mu \bm{H}_\mu = \begin{bmatrix} \bm{e}_{\lambda_\mu} & \bm{e}_{\phi_\mu} & \bm{e}_{h_\mu} \end{bmatrix} \operatorname{diag}\left((N_{\phi_\mu}+h_\mu)\cos\phi_\mu, M_{\phi_\mu}+h_\mu, 1\right)$$ 其中 $M_{\phi_\mu} = a(1-e^2)/(1-e^2\sin^2\phi_\mu)^{3/2}$ 为子午圈曲率半径。由于基底旋转矩阵 $\bm{R}_\mu$ 严格正交（$\bm{R}_\mu^{-1} = \bm{R}_\mu^T$），逆雅可比可无需求解逆运算而解析求得： $$\bm{J}_\mu^{\mathrm{geodetic}\leftarrow\mathrm{ecef}} = \bm{H}_\mu^{-1} \bm{R}_\mu^T = \operatorname{diag}\left(\frac{1}{(N_{\phi_\mu}+h_\mu)\cos\phi_\mu}, \frac{1}{M_{\phi_\mu}+h_\mu}, 1\right) \begin{bmatrix} \bm{e}_{\lambda_\mu}^T \\ \bm{e}_{\phi_\mu}^T \\ \bm{e}_{h_\mu}^T \end{bmatrix}$$ 该公式完全独立于逆变换求解器，计算极简且具备完美的数值稳定性。随后对 RPC 有理多项式应用商法则求导得到 $\bm{J}_\mu^{\mathrm{image}\leftarrow\mathrm{geodetic}}$，截断第三行第三列即获得 2D 协方差 $\bm{\Sigma}^{2D}$。

3. 基于双高度平面的度量射线深度：保证 RPC 前后透明度合成的一致性 标准 3DGS 依赖相机坐标系下的视向 $z$ 轴深度进行图元深度排序，但 RPC 作为经验多项式模型不具备物理相机中心与视轴。仿射近似采用的逆高程在倾斜卫星视角下会使直立建筑物侧墙的高斯排序倒置。RPC-GS 利用卫星先验高程范围 $[h_{\min}, h_{\max}]$（由低分辨率 SRTM 等地形高程数据获取），对每个像素点 $(r, c)$ 利用逆 RPC 反求其在最低与最高平面的两个测地坐标，并在局部 ENU 系下构造单位视线射线 $\bm{r}(t) = \bm{x}_{\max}^{\mathrm{enu}} + t \bm{d}$，其中 $\bm{d} = (\bm{x}_{\min}^{\mathrm{enu}} - \bm{x}_{\max}^{\mathrm{enu}}) / \|\bm{x}_{\min}^{\mathrm{enu}} - \bm{x}_{\max}^{\mathrm{enu}}\|_2$。对于每个高斯均值 $\bm{\mu}^{\mathrm{enu}}$，将其沿射线投影的标量参数 $t$ 定义为度量射线深度 $d$。为提升效率，光线参数在像素网格预计算，渲染时依据高斯投影中心 $\bm{\mu}^{\mathrm{image}}$ 双线性插值获得，从而确保了严格符合光线传播方向的 front-to-back 排序。

理论分析与设计权衡¶

从误差传递理论来看，透视与仿射近似属于模型结构级失配，其逼近误差随着视场扩大按二次方级数迅速增长；而 RPC-GS 采用一阶泰勒展开进行局部协方差投影，由于单颗高斯图元的空间方差微小（通常对应几个像素），一阶雅可比线性化的局部截断误差远小于宏观视锥的全局投影畸变。在设计权衡方面，RPC-GS 将主精度收益聚焦在几何重建保真度上。为了隔离相机模型对三维表面的纯净影响，实验中去除了特异性的阴影显式建模或高阶球谐函数，采用 Lambertian 漫反射配合 WildGaussians 的轻量图像/图元外观嵌入 MLP。实验表明，尽管在未显式拟合阴影和非朗伯高光的情况下 PSNR 略有下降，但地表高程误差实现了大幅缩减，验证了精准相机几何模型是高质量三维表面重建的前提。

实验关键数据¶

主实验¶

在 DFC2019（WorldView-3 多时相卫星影像）和 IARPA2016（布宜诺斯艾利斯全色与多光谱立体影像）两个权威基准上，保持训练轮次（30k iters）、优化超参及初值完全一致，对比不同相机模型下的三维表面数字高程模型（DSM）高程绝对误差（MAE）以及图像重建 PSNR。

数据集	场景	评估指标	仿射近似 (EO-GS)	透视近似 (3DGS)	本文 (RPC-GS)	相对透视提升
DFC2019	JAX_004	MAE [m] ↓	4.34	2.56	1.96	+23.4%
DFC2019	JAX_068	MAE [m] ↓	3.55	1.95	1.55	+20.5%
DFC2019	JAX_214	MAE [m] ↓	10.64	4.10	3.00	+26.8%
DFC2019	JAX_260	MAE [m] ↓	5.09	3.57	2.05	+42.6%
DFC2019	均值	MAE [m] ↓	5.91	3.04	2.14	+29.6%
DFC2019	均值	PSNR [dB] ↑	34.95	33.88	30.06	-3.82 dB
IARPA2016	001	MAE [m] ↓	3.44	2.65	2.34	+11.7%
IARPA2016	002	MAE [m] ↓	2.07	1.73	1.53	+11.6%
IARPA2016	003	MAE [m] ↓	4.64	2.61	2.43	+6.9%
IARPA2016	均值	MAE [m] ↓	3.38	2.33	2.10	+9.9%
IARPA2016	均值	PSNR [dB] ↑	34.32	33.11	29.20	-3.91 dB

近似误差分析实验¶

为量化透视与仿射替代 RPC 带来的内生投影误差，论文在 IARPA2016 全部 50 幅卫星影像上测试不同图像视场尺寸下的平均重投影像素误差：

图像视场尺寸 (Pixels)	透视相机近似误差 (Pixels)	仿射相机近似误差 (Pixels)	误差量级评估
$256^2$	0.00231	0.00273	极小，局部可忽略
$512^2$	0.00514	0.00656	亚像素级
$1024^2$	0.01540	0.02221	开始显现
$2048^2$	0.05578	0.08519	中等视场可见偏移
$4096^2$	0.21753	0.33734	显著几何偏离
$8192^2$	0.86486	1.34605	达到像素级失准
$16384^2$	3.45615	5.37837	严重失真（约 1m 空间误差）

关键发现¶

大视场下近似误差呈指数级激增：无论透视还是仿射近似，在处理大幅宽卫星遥感影像时，投影误差均会急剧放大至数个像素。由于卫星分辨率通常在 0.3m 左右，3.5 像素的投影误差直接导致地表超过 1 米的系统性水平几何漂移。
几何重建质量取得决定性突破：RPC-GS 在 DFC2019 基准上将高程平均绝对误差从透视近似的 3.04m 和仿射近似的 5.91m 降低至 2.14m，分别取得 29.6% 和 63.8% 的大幅精度跃升；在复杂城区（如 JAX_260）提升高达 42.6%。
几何精度与表观过拟合存在客观权衡：近似模型虽然在 PSNR 上略高，但其本质是通过高斯的浮动位置与颜色过度拟合了畸变的视网膜投影；RPC-GS 约束了几何刚性与真实光线追踪，消除了伪几何浮沉，使渲染深度转换的 DSM 表面与激光雷达真实地表高度贴合。

亮点与洞察¶

雅可比微分求逆的优雅数学构造：面对复杂的 ECEF $\to$ 大地坐标非线性反演，没有陷入复杂的自动微分或数值微分陷阱，而是通过微分流形性质求出解析正向导数后利用正交基底矩阵正交性一键求逆，既极其高效又规避了求导奇点。
消除了航天摄影测量与神经渲染之间的几何鸿沟：此前遥感 3D 重建常被迫削足适履地通过透视投影加图像扭曲（image warping）来迎合传统渲染器，RPC-GS 证明了将传感器原生模型内化到高斯投射链条中的可行性与巨大几何优势。
光线深度参数化的普适迁移价值：针对非中心投影、无物理相机的传感器（如推扫式卫星、鱼眼全景折反射相机），构建基于边界高度截断的射线度量深度排序，为各类广义相机的 3DGS 扩展提供了可复用范例。

局限与展望¶

高阶非线性协方差截断误差：当前协方差投射依然基于一阶雅可比局部线性化，当卫星视线近掠地表或高斯体积较大时，一阶近似可能出现形变失真，未来可探索无迹变换（Unscented Transform）进行高阶不确定性传播。
混合语言实现的计算开销：当前 RPC 前向投影与雅可比计算在 PyTorch Python 侧运行以支持数值梯度，后端光栅化调用 CUDA，跨设备与跨内核调用带来了额外的延迟，亟需统一编写原生的全 CUDA RPC-GS 算子。
暂未集成复杂时变光照与阴影建模：为保持相机模型对比的纯粹性，当前模型仅使用朗伯假设与基础外观向量，未显式处理卫星影像中因太阳入射角变化引起的阴影遮挡，未来结合阴影光线追踪将进一步提升视觉指标。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首个实现原生 RPC 高斯泼溅渲染的框架，优雅解决了无相心相机的协方差投射与射线深度问题。
实验充分度: ⭐⭐⭐⭐⭐ 严格在同一基准与参数下剥离相机模型对比，覆盖 DFC2019 与 IARPA2016 权威多时相卫星数据。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密规范，几何概念阐述清晰，附录提供了完整的测地坐标求导过程。
价值: ⭐⭐⭐⭐⭐ 彻底打通了 3DGS 在高分辨率卫星遥感摄影测量与大规模数字表面重建中的应用瓶颈。

图像视场尺寸 (Pixels)	透视相机近似误差 (Pixels)	仿射相机近似误差 (Pixels)	误差量级评估
\(256^2\)	0.00231	0.00273	极小，局部可忽略
\(512^2\)	0.00514	0.00656	亚像素级
\(1024^2\)	0.01540	0.02221	开始显现
\(2048^2\)	0.05578	0.08519	中等视场可见偏移
\(4096^2\)	0.21753	0.33734	显著几何偏离
\(8192^2\)	0.86486	1.34605	达到像素级失准
\(16384^2\)	3.45615	5.37837	严重失真（约 1m 空间误差）