TransmissiveGS: Residual-Guided Disentangled Gaussian Splatting for Transmissive Scene Reconstruction and Rendering¶
会议: NeurIPS 2026
arXiv: 2605.10705
论文: https://arxiv.org/abs/2605.10705
代码: 待开源
领域: 重建与渲染
关键词: 3D高斯泼溅, 透射场景重建, 反射解耦, 近场光场, 逆向渲染
一句话总结¶
针对玻璃、车窗等透射场景中近场反射与背景透射辐射相互纠缠导致几何重建退化的问题，TransmissiveGS 提出双高斯表示、残差引导的多阶段解耦重建策略与近场反射光场，实现了无需几何先验的透射表面高精度法线恢复与逼真新视角合成。
研究背景与动机¶
在日常生活与自动驾驶、增强现实等复杂三维环境中，包含玻璃、建筑幕墙、车窗和展柜等透射表面（transmissive surfaces）的场景无处不在。然而，对此类场景进行高保真三维重建与逼真逆向渲染长期以来极具挑战。当光线穿过透明介质时，观测视线内的辐射由透射介质表面产生的环境反射辐射与介质后方物体的透射散射辐射叠加而成。这意味着在多视角图像的单像素观测中，纠缠了属于不同三维深度的双重表面几何信息。
当前主流的三维重建与渲染范式（如基于隐式神经辐射场的 NeRF 或显式基元的 3D/2D Gaussian Splatting）大多采用单一集合的高斯基元来表示整场几何。由于透射过去的内部物体具有强多视角光度一致性（即漫反射特征明显），而透射表面的反射辐射则呈现强烈的高频视点依赖性，现有优化器倾向于直接拟合后方多视角一致的透射物体，从而在透明表面处留下空洞或严重形变。这种几何退化反过来又彻底破坏了表面反射光照的建模与推断。此外，真实世界中的表面反射大多由近处复杂环境物体引起（近场光照），传统依赖无限远环境贴图（environment map）的假设会产生严重的视差畸变，而依赖射线追踪环境高斯或浅层 MLP 的方案在弱反射或透明场景下又因缺乏强梯度引导而难以收敛。
本文切入的核心洞见在于：虽然透射场景中反射与透射在色彩上耦合，但它们在多视角一致性上存在本质差异。核心 idea：将场景解耦为反射高斯与散射高斯双重基元，先利用漫反射一致性拟合透射背景，再将残差作为无监督几何线索精准恢复透射表面法线，并结合显式注入坐标与反射方向的近场反射光场实现两阶段解耦渲染。
方法详解¶
核心机制¶
TransmissiveGS 的物理底层建立在光能传输分解的基础之上。当入射光投射到透射表面时，一部分能量发生镜面或各向异性反射，其余能量穿透介质并由内部结构漫反射散射。为了显式建模这一过程，方法放弃了单高斯表示，引入由平面各向异性椭圆盘组成的 2D Gaussian Splatting（2DGS）为几何基元，并将场景解构为两组具有不同物理属性的高斯集合： 1. 散射高斯（Scattering Gaussians \(\mathcal{G}_{\text{scat}}\)）：建模穿透透射介质后可见的背景几何及周边不透明漫反射物体； 2. 反射高斯（Reflection Gaussians \(\mathcal{G}_{\text{refl}}\)）：建模透射表面本身的薄壳几何及其镜面反射特性，每个基元额外绑定可学习的菲涅尔基础反射系数 \(\mathbf{f}_0 \in \mathbb{R}^3\) 与标量反射率系数 \(r \in \mathbb{R}\)。
在屏幕空间中，两组高斯独立光栅化后，通过物理延迟着色函数合成： $\(I = (1 - R) I_{\text{scat}} + R I_{\text{refl}}\)$ 其中 \(R\) 为光栅化反射率贴图，\(I_{\text{scat}}\) 为透射图像，\(I_{\text{refl}} = F \cdot \Phi_{\text{refl}}(\mathbf{x}^{\text{refl}}, \omega_r)\) 由反射光场查询得到并由 Schlick 菲涅尔项 \(F\) 动态调制。
整体框架与流程¶
TransmissiveGS 采用渐进式三阶段解耦优化流水线，从多视角一致性逐步剥离漫反射成分与高频反射成分：
%%{init: {'theme': 'base', 'themeVariables': {'fontSize': '12px', 'lineColor': '#2B6CB0'}}}%%
flowchart TD
A["多视角图像输入<br/>I_GT"] --> B["Stage I: 散射高斯优化<br/>仅优化 G_scat 拟合多视角一致背景"]
B --> C["残差计算<br/>r = I_GT - I_scat"]
C --> D["Stage II: 残差引导反射几何重建<br/>冻结 G_scat，利用环境贴图 E 监督 G_refl 法线"]
D --> E["Stage III: 反射光场建模与联合渲染<br/>冻结 G_refl 几何，优化反射光场与 G_scat 细节"]
E --> F["延迟着色屏幕空间合成<br/>I = (1-R)I_scat + R I_refl"]
F --> G["最终透射与反射高保真渲染"]关键设计（带序号的紧凑段落）¶
1. 双高斯物理延迟着色解耦：从单一几何退化到双层传输表达 为了彻底解决单集合高斯在透射表面与透射背景共存时的几何混叠，TransmissiveGS 将场景解耦为散射高斯 \(\mathcal{G}_{\text{scat}}\) 与反射高斯 \(\mathcal{G}_{\text{refl}}\)。散射高斯遵循标准 2DGS 参数化，输出多视角一致的透射图像 \(I_{\text{scat}}\)。反射高斯则显式承载透射介质表面，增设基础菲涅尔反射率向量 \(\mathbf{f}_0\) 与局部反射率标量 \(r\)。在两组基元分别完成可微光栅化后，像素级最终颜色通过反射率贴图 \(R\) 加权融合： $\(I = (1 - R) I_{\text{scat}} + R I_{\text{refl}}\)$ 其中反射辐射 \(I_{\text{refl}}\) 是由反射表面位置 \(\mathbf{x}^{\text{refl}}\)、法线 \(\mathbf{n}_{\text{refl}}\) 与视线方向 \(\omega_o\) 计算出的镜面反射向量 \(\omega_r = \omega_o - 2(\omega_o^\top \mathbf{n}_{\text{refl}})\mathbf{n}_{\text{refl}}\) 共同决定，并利用 Schlick 经验近似式计算视角相关的菲涅尔反射率 \(F = F_0 + (1 - F_0)(1 - \mathbf{n}_{\text{refl}}^\top (-\omega_o))^5\)。这种解耦避免了单一高斯强行用多视角不一致的球面谐波系数拟合高频反射，使表面反射与背景透射互不干扰。
2. 残差引导的无监督几何恢复：利用拟合误差反推表面法线 在透射介质缺少不透明纹理甚至完全透明时，传统 SfM 或几何一致性监督完全无法定位其表面。TransmissiveGS 提出三阶段残差引导优化策略。在 Stage I 中，仅优化散射高斯 \(\mathcal{G}_{\text{scat}}\)，由于漫反射物体满足强多视角一致性，背景迅速收敛，而具有强烈视点依赖反射的透射表面区域则被优化器遗漏，由此自然暴露出光度残差图 \(\mathbf{r} = I_{\text{GT}} - I_{\text{scat}}\)。在 Stage II 中，算法从收敛的 \(\mathcal{G}_{\text{scat}}\) 初始化反射高斯 \(\mathcal{G}_{\text{refl}}\) 并冻结散射高斯，仅优化 \(\mathcal{G}_{\text{refl}}\)。通过引入粗粒度可学习环境贴图 \(E(\omega_{r,i})\)，各高斯基元着色为 \(\mathbf{c}_i^{\text{refl}} = \mathbf{f}_{0,i} \cdot E(\omega_{r,i})\)。将两式代入延迟着色方程并令重建误差趋零，推导出极具物理美感的平衡准则： $\(R (I_{\text{refl}} - I_{\text{scat}}) = \mathbf{r}\)$ 在漫反射背景区域，\(\mathbf{r} \approx \mathbf{0}\)，约束促使反射率 \(R \to 0\)；而在强反射透射区，\(\|\mathbf{r}\|\) 显著大于零，迫使 \(R > 0\) 且必须由 \(I_{\text{refl}}\) 精确补偿残差。由于环境贴图 \(E\) 本质上是由反射方向 \(\omega_{r,i}\) 索引的辐射字典，对于给定视点 \(\omega_{o,i}\)，控制反射方向的唯一自由度就是局部表面法线 \(\mathbf{n}_i\)。因此，Stage I 留下的光度残差充当了隐式几何监督信号，无需任何法线先验或深度标签，便能自动引导反射高斯吸附并对齐到真实的透射曲面几何上。
3. 分阶段近场反射光场与高频聚焦正则化：克服视差畸变与细节平滑 远距离环境贴图因假设照明源在无穷远处，无法处理近邻物体产生的近场视差与局部遮挡。在 Stage III 中，TransmissiveGS 设计了一个 8 层全连接（宽度 256）的近场反射光场 MLP \(\Phi_{\text{refl}}\)，将输入表面坐标 \(\mathbf{x}^{\text{refl}}\) 和反射方向 \(\omega_r\) 均经由 \(L=12\) 阶傅里叶特征编码 \(\gamma(\cdot)\) 升维。为了防止深层 MLP 对高频镜面反射过平滑，网络采用分阶段融合架构（Staged Fusion）：前 4 层仅输入坐标特征 \(\gamma(\mathbf{x}^{\text{refl}})\)，专职提取空间变化的局部几何上下文与可见性；在第 5 层将方向特征 \(\gamma(\omega_r)\) 拼接输入，并引入直连跳跃连接（Skip Connection）重新注入坐标特征，强化梯度流动。此外，为了防止整图 \(L_1 + \text{D-SSIM}\) 损失抹平微弱高频反射细节，提出了高频误差损失 \(\mathcal{L}_{\mathit{hf}}\)： $\(\mathcal{L}_{\mathit{hf}} = \frac{\sum_{\mathbf{x} \in \Omega} \mathbb{I}(e(\mathbf{x}) > \tau_p) e(\mathbf{x})}{\sum_{\mathbf{x} \in \Omega} \mathbb{I}(e(\mathbf{x}) > \tau_p) + \epsilon}\)$ 该损失通过设定误差分位数阈值 \(\tau_p\)，专门对误差最高的前 \((100-p)\%\) 像素计算均值惩罚，结合 2DGS 的法线一致性项 \(\mathcal{L}_n\)，显著增强了复杂玻璃倒影的锐利度。
理论分析与设计权衡¶
- 解耦阶段冻结机制的权衡：在 Stage II 中冻结散射高斯、在 Stage III 中冻结反射高斯几何是保证优化稳定性的关键权衡。如果同时端到端联合更新双高斯的几何与外观，两组基元会出现退化竞争（例如散射高斯试图通过生成漂浮噪点来拟合反射，或者反射高斯抢占漫反射背景），导致透射面法线彻底崩溃。消融实验证明去掉解耦阶段冻结会导致 PSNR 下降 1.46 dB。
- 近场光场 vs 射线追踪环境高斯：相比 EnvGS 显式重建周边环境高斯并做光线追踪求交，反射光场 \(\Phi_{\text{refl}}\) 采用连续坐标与方向隐式映射，在弱反射、曲面透射等缺乏密集表面特征的场景中收敛更为鲁棒，避免了光线求交因环境高斯稀疏导致的走样与计算瓶颈。
实验关键数据¶
主实验¶
评估在合成 Blender 数据集（7 个场景：bookshelf, car, computer, house, garage, pyramid, dome）以及真实世界数据集（4 个场景：compact, hatchback, facade, glazing）上展开。对比方法包括经典 3DGS、2DGS 以及专为反射场景设计的 SOTA 方法 GaussianShader、Ref-Gaussian、Ref-GS 和 EnvGS。
表 1：新视角合成真实感渲染质量对比（PSNR ↑ / SSIM ↑ / LPIPS ↓）
| 方法 | bookshelf (PSNR/SSIM/LPIPS) | car (PSNR/SSIM/LPIPS) | pyramid (PSNR/SSIM/LPIPS) | dome (PSNR/SSIM/LPIPS) | facade (真实) (PSNR/SSIM/LPIPS) | glazing (真实) (PSNR/SSIM/LPIPS) |
|---|---|---|---|---|---|---|
| 3DGS (Kerbl et al., 2023) | 36.21 / 0.983 / 0.031 | 32.84 / 0.963 / 0.035 | 32.81 / 0.940 / 0.076 | 20.80 / 0.721 / 0.244 | 23.88 / 0.896 / 0.089 | 27.70 / 0.910 / 0.089 |
| 2DGS (Huang et al., 2024) | 35.76 / 0.981 / 0.033 | 32.56 / 0.966 / 0.041 | 31.95 / 0.932 / 0.092 | 20.28 / 0.678 / 0.281 | 24.44 / 0.901 / 0.087 | 26.60 / 0.902 / 0.108 |
| GaussianShader (Jiang et al., 2024) | 28.51 / 0.946 / 0.092 | 16.88 / 0.854 / 0.182 | 19.72 / 0.531 / 0.584 | 13.60 / 0.214 / 0.700 | 22.60 / 0.841 / 0.131 | 27.68 / 0.909 / 0.099 |
| Ref-Gaussian (Yao et al., 2025) | 35.64 / 0.980 / 0.036 | 34.68 / 0.961 / 0.038 | 33.09 / 0.943 / 0.082 | 20.94 / 0.720 / 0.246 | 22.76 / 0.863 / 0.111 | 27.73 / 0.913 / 0.098 |
| Ref-GS (Zhang et al., 2025) | 27.51 / 0.944 / 0.094 | 17.60 / 0.865 / 0.182 | 24.08 / 0.588 / 0.551 | 14.73 / 0.245 / 0.707 | 24.51 / 0.899 / 0.088 | 27.26 / 0.916 / 0.091 |
| EnvGS (Xie et al., 2025) | 34.79 / 0.982 / 0.048 | 32.92 / 0.958 / 0.051 | 31.82 / 0.937 / 0.078 | 20.44 / 0.697 / 0.263 | 24.22 / 0.878 / 0.088 | 28.92 / 0.919 / 0.084 |
| TransmissiveGS (本文) | 37.19 / 0.985 / 0.029 | 34.74 / 0.970 / 0.033 | 33.49 / 0.946 / 0.072 | 21.22 / 0.731 / 0.218 | 24.69 / 0.904 / 0.085 | 29.16 / 0.917 / 0.081 |
表 2：透射表面几何重建法线平均角误差（MAE\(^\circ\) ↓）
| 方法 | bookshelf | car | computer | house | garage | pyramid | dome | 平均 (Average) |
|---|---|---|---|---|---|---|---|---|
| 3DGS (Kerbl et al., 2023) | 56.41 | 41.45 | 48.80 | 46.46 | 42.15 | 47.35 | 51.64 | 47.75 |
| 2DGS (Huang et al., 2024) | 37.59 | 19.98 | 43.89 | 59.61 | 33.93 | 33.41 | 56.94 | 40.76 |
| GaussianShader (Jiang et al., 2024) | 44.43 | 30.96 | 42.51 | 55.08 | 45.29 | 45.03 | 47.61 | 44.41 |
| Ref-Gaussian (Yao et al., 2025) | 13.39 | 5.91 | 42.09 | 44.05 | 28.76 | 17.57 | 39.89 | 27.24 |
| Ref-GS (Zhang et al., 2025) | 8.10 | 23.95 | 22.83 | 20.52 | 49.63 | 42.42 | 30.59 | 28.29 |
| TransmissiveGS (本文) | 7.38 | 5.50 | 4.57 | 12.72 | 7.01 | 6.53 | 8.50 | 7.46 |
消融实验¶
在真实建筑玻璃幕墙场景 facade 上评估各个模块的必要性：
表 3：各核心设计消融对比（在 facade 场景上）
| 配置 | PSNR ↑ | SSIM ↑ | LPIPS ↓ | 说明 |
|---|---|---|---|---|
| 完整模型 (Ours) | 24.69 | 0.904 | 0.085 | 完整双高斯 + 残差解耦 + 反射光场 |
| w/o Dual-Gaussian | 22.98 | 0.827 | 0.152 | 移除散射高斯，仅用反射高斯训练（几何彻底崩溃） |
| w/o Reflection MLP | 24.20 | 0.858 | 0.124 | 用远景环境贴图替换反射光场（近场视差畸变） |
| w/o Decoupling | 23.23 | 0.878 | 0.100 | 取消分阶段参数冻结（双高斯相互竞争退化） |
| w/o High-frequency Loss | 24.52 | 0.891 | 0.089 | 移除高频损失 \(\mathcal{L}_{\mathit{hf}}\)（微小反射倒影模糊） |
表 4：反射光场架构消融（在 garage 场景上）
| 网络架构变体 | PSNR ↑ | SSIM ↑ | LPIPS ↓ |
|---|---|---|---|
| 完整设计 (dim 256, depth 8, L=12, w/ skip, w/ staged fusion) | 24.35 | 0.746 | 0.418 |
| w/o staged fusion（位置与方向从第 1 层直接拼接） | 23.96 | 0.739 | 0.424 |
| w/o skip connection（移除第 5 层空间坐标跳连） | 24.17 | 0.742 | 0.421 |
| depth 6（减小网络深度） | 24.05 | 0.741 | 0.420 |
| hidden dim 128（减小网络宽度） | 24.26 | 0.744 | 0.424 |
| L=10（降低傅里叶编码阶数） | 24.24 | 0.742 | 0.425 |
| L=14（增加傅里叶编码阶数，引入高频噪声） | 24.26 | 0.743 | 0.423 |
关键发现¶
- 透射表面法线误差出现断崖式下降：现有 SOTA 方法在透射表面的平均法线误差高达 \(27.24^\circ \sim 47.75^\circ\)，甚至即便 EnvGS 引入外部单目法线大模型（StableNormal）先验，在 computer、dome 等透明曲面上仍然失效；而 TransmissiveGS 依靠纯光度残差引导，将平均法线角误差大幅削减至 \(7.46^\circ\)，证明了残差优化作为隐式法线梯度的有效性。
- 双高斯解耦是透射场景的基石：去掉双高斯表示会导致 PSNR 暴跌 1.71 dB、SSIM 下跌 0.077，证明单层几何无法同时承载来自不同深度的反射与透射信号。
- 分阶段融合对光场拟合至关重要：反射光场如果直接在前层融合位置与方向（w/o staged fusion），网络容易将空间变化纹理与视角变化混为一谈，导致 PSNR 下降 0.39 dB。
亮点与洞察¶
- 残差转化的数学巧妙性：通过公式 \(R(I_{\text{refl}} - I_{\text{scat}}) = \mathbf{r}\)，将背景拟合失败的光度残差直接转化为透射表面法线恢复的驱动力。这种机制无需任何额外的语义分割掩码、深度先验或外部法线模型，优雅地利用逆向渲染原理闭环求解。
- 近场光场架构的分阶段输入设计：通过前 4 层纯空间位置编码与第 5 层跳连注入，使得网络先理解“反射发生的空间基座与局部几何”，再学习“该点的光线反射角”。这一结构对于后续基于神经场的高光/镜面建模提供了通用借鉴意义。
局限与展望¶
- 静态场景假设约束：当前框架假设反射环境与透射物体均为完全静态。如果场景中存在动态移动的背景行人或反射车辆，多视角一致性假设将被打破，残差图将包含动态运动噪声。
- 极端微弱反射下的退化现象：当透射介质极其透明且表面反射极其微弱（例如暗光环境下的洁净玻璃）时，光度残差信号过于微弱，反射高斯可能难以感知足够的梯度，导致局部反射分量退化消失。
- 折射效应简化：当前模型假设光线沿视线直线穿透介质，忽略了厚介质折射导致的光路偏折，未来可结合 Snell 定律将折射光线追踪融入双高斯光栅化管线中。
相关工作与启发¶
- vs 3DGS / 2DGS：经典高斯泼溅将所有辐射绑定在单一空间基元上，透射表面处因视角高光不一致而无法重建真实曲面；本文采用双高斯延迟着色，解耦了双重几何。
- vs Ref-Gaussian / Ref-GS：Ref-Gaussian 依赖无限远 HDRI 环境图，无法处理近场近处物体反射；Ref-GS 的浅层 MLP 缺乏位置优先的层次解耦，高频细节模糊；TransmissiveGS 借助残差引导与分阶段近场反射光场，同时攻克了几何恢复与近场高频渲染难题。
- vs EnvGS：EnvGS 需光线追踪显式环境高斯且依赖外部单目几何先验，在弱反射玻璃上难以生成有效梯度；TransmissiveGS 无需任何外部几何先验，端到端完成几何解耦。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用漫反射拟合残差作为无监督几何线索，架构解耦与物理依据扎实。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个合成场景与 4 个真实复杂场景，兼顾法线误差度量与多项消融。
- 写作质量: ⭐⭐⭐⭐⭐ 物理机理推导清晰，图表完备，论证链条严密。
- 价值: ⭐⭐⭐⭐⭐ 填补了高斯泼溅在非平面复杂透射场景重建领域的空白，对工业质检、自动驾驶及数字孪生具有高度实用价值。