UniGS: Unified Geometry-Aware Gaussian Splatting for Multimodal Rendering¶

会议: NeurIPS 2026
arXiv: 2510.12174
代码: https://github.com/xieyuser/UniGS
领域: 重建与渲染
关键词: 3D Gaussian Splatting, 多模态渲染, 几何一致性, 可微光线-椭球相交, 可微剪枝

一句话总结¶

UniGS 提出了一个基于 3DGS 的几何感知统一多模态渲染框架，通过可微光线-椭球求交与解析梯度回传将旋转缩放属性引入深度与法线优化，并结合梯度因子进行可微剪枝，实现了高保真且高效的 RGB、深度、法线与语义多模态联合重建。

研究背景与动机¶

基于高斯泼溅（3D Gaussian Splatting, 3DGS）与神经辐射场（NeRF）的新视角合成和 3D 重建技术近年来取得了显著进展。然而，传统的 3DGS 严重依赖图像颜色监督，本质上是图像驱动的表征。在几何渲染方面，现有方法普遍采用高斯中心点在相机坐标系下的深度作为该基元的深度表征，完全忽略了高斯椭球本身的旋转（rotation）与尺度（scale）参数对光线相交几何的影响。这一设计阻碍了深度与法线等几何监督信号向高斯几何属性反向传播，导致重建场景的表面法线不一致，基元在几何表面上严重错配与漂移。

另一方面，为了拟合复杂的 RGB 纹理细节，现有 3DGS 方法往往依赖激进的自适应致密化机制，生成海量冗余的高斯基元。这不仅大幅降低了渲染帧率，还带来了沉重的显存与存储开销，削弱了 3DGS 原生的实时性优势。此外，现有多模态感知研究（如联合渲染语义、深度、法线等）通常采用相互割裂的独立网络或离线后处理流程，不仅带来重复计算，而且导致各模态之间 3D 几何与语义表征的相互脱节。

解决这一困境的关键在于建立一个原生几何感知且紧凑的多模态统一表征：光线在投射到 3D 高斯基元时，必须具备严格的微分相交几何模型，使几何梯度能同时优化高斯的位置、旋转与尺度，并引入端到端衡量基元训练贡献度的剪枝机制。核心 idea：通过基于光线-椭球相交的可微深度光栅化构建几何感知的统一高斯表征，推导深度与法线损失向旋转与尺度的解析梯度回传链条，并引入可微梯度因子实现冗余基元的动态剪枝，在单次前向光栅化中联合渲染 RGB、几何深度、一致表面法线与语义特征。

方法详解¶

整体框架¶

UniGS 基于锚点高斯表征（Scaffold-GS 架构演进）构建统一场景地图。每个高斯基元 $\mathcal{G} = \{\boldsymbol{\mu}, \mathbf{q}, \mathbf{s}, \alpha, \mathbf{h}, \mathbf{o}, k\}$ 包含位置 $\boldsymbol{\mu} \in \mathbb{R}^3$、四元数旋转 $\mathbf{q} \in \mathbb{R}^4$、尺度 $\mathbf{s} \in \mathbb{R}^3$、不透明度 $\alpha \in \mathbb{R}$、球谐系数 $\mathbf{h} \in \mathbb{R}^{C_h}$、语义类别概率 $\mathbf{o} \in \mathbb{R}^{C_o}$ 以及用于表征训练活跃度的标量梯度因子 $k \in \mathbb{R}$。

在单次前向光栅化阶段，系统首先生成视线光线并计算其与视锥内各高斯椭球的可微相交，求出光线穿过椭球两交点的中点深度，替代传统粗糙的高斯中心深度；随后通过基于 tile 的 $\alpha$-blending 同时合成 RGB 图像、深度图、语义 Logit 图以及梯度因子图。对于表面法线，系统通过相机内参将渲染深度反投影到 3D 空间，利用多尺度中心差分与视线方向矫正构建出稠密法线图。在反向传播中，CUDA 加速的解析梯度公式直接将 RGB、深度、法线、语义及剪枝损失高效回传至高斯的所有几何与属性参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["统一锚点高斯基元<br/>位置/旋转/尺度/球谐/语义/梯度因子"] --> B["光线-椭球可微求交<br/>计算两交点中点深度 t_mid"]
    B --> C["Tile 多模态前向光栅化<br/>Alpha-Blending 合成多属性"]
    C --> D["多模态输出生成<br/>RGB / 深度图 / 语义图 / 梯度因子图"]
    D --> E["多尺度深度差分与法向矫正<br/>稠密表面法线图生成"]
    E --> F["解析梯度联合反向传播<br/>几何与属性梯度更新到高斯"]
    F --> G["动态可微剪枝<br/>基于梯度因子过滤冗余高斯"]

关键设计¶

1. 基于光线-椭球相交的几何感知深度光栅化：消除中心点近似带来的几何失真 传统 3DGS 仅使用高斯中心点在相机坐标系下的深度作为该基元的深度值，使得深度完全独立于高斯的旋转 $\mathbf{q}$ 和尺度 $\mathbf{s}$，导致几何约束无法优化高斯形态。UniGS 建立精确的椭球几何模型：将高斯椭球变换到局部缩放坐标系 $\mathbf{v}_s = \mathbf{S}^{-1}\mathbf{R}^{-1}(\mathbf{t}_{\text{cam}}^{\text{world}} - \boldsymbol{\mu})$ 和 $\mathbf{d}_s = \mathbf{S}^{-1}\mathbf{R}^{-1}\mathbf{d}$，将视线相交转化为单位球面求交方程 $\|\mathbf{v}_s + t\mathbf{d}_s\|^2 = 1$。求解该二次方程 $a t^2 + b t + c = 0$ 获得两交点参数 $t_1, t_2$，并取其中点 $t_{\text{mid}} = -\frac{b}{2a}$ 作为该基元在该像素处的相交距离。变换回相机坐标系后得到基元深度 $d = \mathbf{P}_{\text{cam}, z}$，随后利用 $\alpha$-blending 累加： $$\tilde{\mathbf{D}}(u,v) = \sum_{i \in \mathcal{N}} \alpha_i d_i \prod_{j=1}^{i-1} (1 - \alpha_j)$$ 由于 $t_{\text{mid}}$ 显式依赖于局部缩放方向 $\mathbf{d}_s$ 与起点 $\mathbf{v}_s$，UniGS 能够严格推导 $\frac{\partial d_i}{\partial t_{\text{mid}}}$、$\frac{\partial t_{\text{mid}}}{\partial (a,b,c)}$、$\frac{\partial (a,b,c)}{\partial (\mathbf{v}_s, \mathbf{d}_s)}$ 直至高斯尺度 $\mathbf{s}$、位置 $\boldsymbol{\mu}$ 与四元数 $\mathbf{q}$ 的全链条解析梯度，驱动椭球表面紧密贴合真实物体表面。

2. 基于深度反投影与多尺度差分的表面法线估计与解析梯度：保证表面朝向与几何一致性 直接对离散高斯基元赋予法线属性并进行光栅化极易受视角方向噪声影响，导致渲染法线高频抖动。UniGS 提出通过渲染深度图间接构建法线的方法：首先将像素深度 $\tilde{\mathbf{D}}(u,v)$ 反投影至世界坐标系空间点 $\mathbf{P}_{\text{world}}$，选取双步长 $\texttt{STEP\_1}$ 与 $\texttt{STEP\_2}$ 进行多尺度有限差分，计算邻域切向量 $\mathbf{v}_{x,i}$ 与 $\mathbf{v}_{y,i}$，并通过叉乘得到邻域法向 $\mathbf{n}_i = \mathbf{v}_{x,i} \times \mathbf{v}_{y,i}$。经过多尺度加权融合 $\mathbf{n}_{\text{fused}} = \lambda \mathbf{n}_1 + (1-\lambda)\mathbf{n}_2 \cdot \text{sign}(\mathbf{n}_1 \cdot \mathbf{n}_2)$、单位归一化以及视线方向一致性翻转，获得稠密法线图 $\tilde{\mathbf{N}}(u,v)$。更关键的是，UniGS 推导了从法线余弦相似度损失 $\mathcal{L}_{\text{normal}}$ 沿归一化、多尺度叉乘差分矩阵反向传播到像素深度 $\tilde{\mathbf{D}}(u,v)$ 的完整解析导数，使法线监督信号能够顺畅传回每个高斯椭球的几何参数。

3. 梯度因子驱动的可微剪枝机制：自适应剔除观测不足与异常噪点基元 为了克服冗余高斯过度致密化导致的显存爆炸与帧率下降，UniGS 为每个高斯赋予标量梯度因子 $k$。在光栅化过程中，梯度因子随同 RGB 按照相同权重进行累加渲染生成 2D 梯度因子图 $\tilde{\mathbf{K}}(u,v) = \sum_{i \in \mathcal{N}} \alpha_i k_i \prod_{j=1}^{i-1}(1 - \alpha_j)$。在理论上，当场景充分收敛且基元健康参与渲染时，全图累加的不透明度趋近于 1，最佳状态即为每个基元的 $k$ 趋向于 1。训练中通过监督损失 $\mathcal{L}_K = \|\tilde{\mathbf{K}} - \mathbf{1}\|_1$ 引导高斯优化；每隔固定迭代步数（$K_p = 3000$），算法对偏离正常区间的基元 $\|k - 1\|_1 > \mathcal{T}_k$ 进行直接物理剔除。因遮挡或视角盲区缺乏有效梯度参与的高斯（$k < 1$ 且滞留在重置初值 0.9 附近）以及由高频噪声导致的异常高斯（$k > 1$）被精准清除，大幅减少了基元总量。

4. 统一多模态协同架构与单阶段光栅化：单次前向同时预测 RGB、几何与语义 不同于现有将语义或法线拆分为级联网络的方法，UniGS 扩展了锚点架构，由轻量 MLP 分支同时预测局部偏移与各通道属性。语义 Logits $\mathbf{o} \in \mathbb{R}^{C_o}$ 与梯度因子 $k$ 经由锚点特征调制后，与颜色球谐系数、几何属性一同输入自定义 CUDA 光栅化内核。单次前向循环中，所有通道同步完成深度排序与 Alpha 累加，既消除了重复遍历和访存开销，又使语义特征的分类边界与几何表面的物理边界在底层空间结构上实现严格的拓扑对齐。

损失函数 / 训练策略¶

UniGS 的整体优化目标涵盖光度、几何、语义与紧凑性约束，总损失函数定义为动态平衡的组合形式： $$\mathcal{L}_{\text{all}} = \lambda_1 \mathcal{L}_{l1} + \lambda_2 \frac{|\mathcal{L}_{l1}|\mathcal{L}_{\text{ssim}}}{|\mathcal{L}_{\text{ssim}}|} + \lambda_3 \frac{|\mathcal{L}_{l1}|\mathcal{L}_{\text{normal}}}{|\mathcal{L}_{\text{normal}}|} + \lambda_4 \frac{|\mathcal{L}_{l1}|\mathcal{L}_{\text{depth}}}{|\mathcal{L}_{\text{depth}}|} + \lambda_5 \frac{|\mathcal{L}_{l1}|\mathcal{L}_{\text{seg}}}{|\mathcal{L}_{\text{seg}}|} + \lambda_6 \frac{|\mathcal{L}_{l1}|\mathcal{L}_{K}}{|\mathcal{L}_{K}|}$$ 其中各模态损失通过与 $\mathcal{L}_{l1}$ 绝对值的比值进行自适应尺度对齐，基础权重设置为 $\lambda_1 = 1$，其余权重 $\lambda_2 = \lambda_3 = \lambda_4 = \lambda_5 = \lambda_6 = 0.1$。法线损失 $\mathcal{L}_{\text{normal}}$ 采用余弦相似度损失 $1 - \frac{1}{|\Omega|}\sum \tilde{\mathbf{N}} \cdot \tilde{\mathbf{N}}_{\text{gt}}$；语义损失 $\mathcal{L}_{\text{seg}}$ 采用交叉熵损失。梯度因子 $k$ 在剪枝后周期性重置为 0.9，以保证后续训练迭代的动态调节能力。全套系统采用 LibTorch 与高度优化的原生 CUDA 内核实现，单张 RTX 4090 即可完成高效端到端训练。

实验关键数据¶

主实验¶

在具有完整多模态真值的真实室内仿真基准 Replica 数据集上，对深度估计与表面法线估计进行了严格定量对比。

表 1：Replica 数据集上的几何重建质量对比（深度绝对相对误差 Abs.Rel、深度均方根误差 RMSE 与法线余弦相似度 CS）

方法	Office0-Seq1 (Abs.Rel ↓ / RMSE ↓ / CS ↑)	Office1-Seq2 (Abs.Rel ↓ / RMSE ↓ / CS ↑)	Room1-Seq2 (Abs.Rel ↓ / RMSE ↓ / CS ↑)	Room2-Seq2 (Abs.Rel ↓ / RMSE ↓ / CS ↑)
GeoGaussian	0.5828 / 0.8006 / 0.3046	2.8959 / 1.1092 / 0.1861	0.1336 / 0.3236 / 0.5700	0.1082 / 0.2592 / 0.5998
3DGS	1.2231 / 0.9183 / 0.2304	0.8711 / 0.6238 / 0.3201	0.2134 / 0.4092 / 0.4963	1.4422 / 1.0972 / 0.2905
Scaffold-GS	2.2857 / 1.2102 / 0.2195	1.4609 / 0.9413 / 0.2854	4.0575 / 1.4786 / 0.1555	— / — / 0.1286
2DGS	0.0089 / 0.0679 / 0.8775	0.0172 / 0.0399 / 0.9299	0.0451 / 0.1400 / 0.9112	0.0735 / 0.1759 / 0.8480
Normal-GS	0.0074 / 0.0657 / 0.8755	0.0154 / 0.0344 / 0.9234	0.0243 / 0.0766 / 0.9234	0.0192 / 0.0589 / 0.8987
Ours (UniGS)	0.0062 / 0.0310 / 0.8880	0.0015 / 0.0073 / 0.9686	0.0136 / 0.0467 / 0.9545	0.0144 / 0.0465 / 0.9076

表 2：跨基准高斯基元总数（Count）与渲染帧率（FPS）对比

数据集	指标	3DGS	Scaffold-GS	Normal-GS	Ours (UniGS)
Mip-NeRF360	Count ↓ / FPS ↑	504,167 / 128.7	301,839 / 240.1	318,064 / 180.3	161,081 / 169.8
Tanks & Temples	Count ↓ / FPS ↑	421,167 / 136.9	247,081 / 249.1	226,283 / 178.7	119,947 / 163.1
Deep Blending	Count ↓ / FPS ↑	285,394 / 162.4	182,304 / 324.0	185,243 / 250.7	48,970 / 296.7
Replica	Count ↓ / FPS ↑	543,581 / 137.5	235,446 / 346.2	204,358 / 180.0	169,273 / 197.8

消融实验¶

在 Replica 数据集上的模块消融实验明确验证了各关键组件对多模态重建指标与模型复杂度的具体影响：

表 3：各模块消融定量对比（Room0-Sequence1 与 Office3-Sequence3）

实验配置	PSNR ↑ (R0/O3)	Abs.Rel. ↓ (R0/O3)	CosSimi ↑ (R0/O3)	mIoU ↑ (R0/O3)	Count ↓ (R0/O3)	FPS ↑ (R0/O3)
UniGS 全模型 (RayCasting-Point)	31.341 / 36.892	0.0062 / 0.0208	0.855 / 0.931	0.607 / 0.534	170,859 / 178,905	183.8 / 184.8
退化为中心点深度 (Center Point)	31.800 / 36.873	0.0071 / 0.0204	0.849 / 0.932	0.607 / 0.534	174,177 / 179,128	181.7 / 187.8
移除可微剪枝 (w/o prune)	31.509 / 37.100	0.0070 / 0.0315	0.851 / 0.928	0.606 / 0.534	229,487 / 237,914	156.3 / 165.5
更激进剪枝 ($\mathcal{T}_k = 0.2$)	31.273 / 36.925	0.0068 / 0.0161	0.847 / 0.932	0.605 / 0.534	144,185 / 148,167	204.1 / 189.7
移除语义分支 (w/o seg)	31.605 / 36.833	0.0226 / 0.0225	0.837 / 0.929	0.021 / 0.024	174,230 / 184,952	188.0 / 168.9
移除法线监督 (w/o normal)	32.750 / 37.488	0.0061 / 0.0088	0.774 / 0.895	0.608 / 0.535	167,494 / 182,019	206.5 / 203.8
移除几何深度与法线 (w/o depth&normal)	33.691 / 37.449	0.0214 / 0.1106	0.658 / 0.782	0.609 / 0.539	167,198 / 180,747	202.6 / 189.7

关键发现¶

几何感知求交的质变收益：替换传统中心点深度为光线-椭球相交中点深度后，深度误差 Abs.Rel. 在 Office1-Seq2 场景下从 0.0154 暴跌至 0.0015，RMSE 下降超 78%，法线余弦相似度从 0.92 提升至近 0.97。实验可视化进一步证明，高斯椭球被强制压平并贴合到物体真实表面，极大缓解了无纹理平坦区域的穿模与几何凹凸不平。
可微剪枝的存储与速度增益：可微剪枝模块通过动态监控 $k$ 因子，在不损失渲染精度的情况下将基元数量削减约 25%~35%（例如 Room0 从 22.9 万降至 17.0 万），直接带来 17% 以上的推理帧率提升；在极端设置 $\mathcal{T}_k=0.2$ 下基元数可进一步缩减至 14.4 万。
多模态互促互强：消融数据显示，移除法线约束会导致法线余弦相似度显著崩塌（从 0.855 跌至 0.774）；而在完全剥离深度与法线约束时，几何误差剧增 3 倍以上。这证明多模态联合梯度对于正则化复杂 3D 场景具有不可替代的约束作用。

亮点与洞察¶

解析光线-椭球梯度的封闭形式推导：将连续光线与任意旋转缩放的高斯椭球求交表达为单步单位球二次方程，并手推了自交点中点深度至四元数 $\mathbf{q}$ 与尺度 $\mathbf{s}$ 的链式解析导数。这彻底打破了传统 3DGS 深度优化无法调整椭球空间朝向的死穴。
物理直觉极强的可微梯度因子剪枝：将基元的训练活跃度建模为一个可渲染的标量属性 $k$ 并约束其全图投影接近 1。未充分采样的遮挡盲区由于缺乏多视角反向更新而停留在重置初值附近，被作为天然冗余自适应剔除，避免了启发式密度分裂规则的盲目性。
兼顾极速渲染与多模态扩展的一体化内核：没有采用多阶段分治，而是在一套紧凑的 CUDA 光栅化管线内同时聚合颜色、深度、法线和语义 logits，使得单模型能够直接支撑下游具身导航与 3D 场景理解。

局限与展望¶

法线估计依赖局部几何差分：当前法线仍由渲染深度图经由多尺度中心差分反投影推导而来，在物体剧烈遮挡边缘或深度不连续边界处容易产生局部的边缘法线瑕疵。
大尺度室外场景的泛化开销：光线-椭球求交在每个像素-基元计算对上增加了二次方程判别式与开根号运算，虽然借助 CUDA 并行实现了实时渲染，但在海量无界大场景中的显存吞吐量仍有进一步精简优化的空间。
未来方向：可进一步探索结合有向距离场（SDF）先验与神经隐式表征，将解析椭球相交延伸至开放世界 3D 物理交互与动态实体交互中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次完整推导了基于光线-椭球二次求交的高斯深度与法线解析梯度回传链路，并创新性提出基于投影梯度因子的可微剪枝。
实验充分度: ⭐⭐⭐⭐⭐ 在仿真与真实多数据集上覆盖 RGB、深度、法线、语义、点云 Hausdorff 距离、基元数量及 FPS 的全方位定量验证。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密详实，框架图与理论阐述脉络清晰，附录给出了完整的解析偏导数展开。
价值: ⭐⭐⭐⭐⭐ 为 3DGS 从纯视觉“外表逼真”跨越到几何结构与语义特征均一致的“物理世界统一表征”提供了坚实范例。