GlassGS: Geometry and Concept-Aware 3D Gaussian Splatting for Reflective Enclosures¶

会议: ECCV 2026
论文: ECCV 原文
领域: 重建与渲染
关键词: 3D高斯泼溅, 镜面高光反射, 几何一致性感知, 概念学习, 玻璃外壳重建

一句话总结¶

针对博物馆等玻璃展柜中强镜面反射破坏多视角一致性的难题，GlassGS 提出几何一致性感知与无反射概念学习双阶段迭代框架，结合自建首个玻璃展柜基准数据集，实现了无伪影的高保真 3D 高斯重建。

研究背景与动机¶

在博物馆展览、文化遗产数字化、增强现实（AR）以及机器人感知等前沿应用中，展品通常被放置在透明的防护玻璃展柜内。基于神经网络的辐射场（NeRF）与 3D 高斯泼溅（3DGS）虽然在常规多视角重建中取得了突破性进展，但在面对玻璃展柜场景时却遭遇了根本性瓶颈。玻璃表面产生的高强度镜面反射（High Specular Reflections, HSR）伴随视点移动呈现剧烈的外观突变——在某些视角下因闪光灯直射形成刺眼光斑，在另一些视角下呈现暗影甚至倒映出周围展厅中的虚像物体。这种剧烈的视点依赖性彻底违背了 3DGS 所依赖的多视角几何外观一致性假设，导致辐射场优化将反射虚像错误解算为实体几何，在空间中生成大面积的破损浮点、几何碎块与表面凹凸伪影。

现有针对反射处理的探索主要面临三类缺陷：基于物理光路追迹或平面反射假设的方法在遇到展柜复杂的非平面曲面或多重杂散光时极易失效；基于外观分解与阴影延展的 3DGS 扩展因缺乏严谨的几何约束，残留反射伪影依然严重；而现有的 2D 图像去反射或动态物体过滤方法（如单图去反或 SpotLessSplats）仅将反射视为瞬态遮挡物，缺少三维多视角的交叉校验机制，既无法精准区分半透明反光层与底层物体，又会在 3D 空间中引入不可逆的几何模糊。然而，作者通过深入探究揭示出 HSR 的两大底层特质：其一是“几何不一致性”，即反射区域在跨视角投影下颜色方差剧烈，破坏三维一致性；其二是“概念保持性”，即即便局部区域被强烈反射严重污染遮蔽，底层真实目标的高层语义概念（如形状拓扑、材料属性、类别本体）在预训练视觉模型中依然保持极高稳定性。

基于这两项物理与语义层面的关键洞察，本文跳出单一几何或单一图像去反的思路局限，提出将跨视角的局部几何不一致性度量与跨模态的高层目标概念先验进行闭环深度耦合。核心 idea：通过构建像素级几何一致性图显式定位与降权镜面反射区域，并驱动无反射文本概念反演与几何感知 ControlNet 扩散模型重构纯净纹理，通过自循环迭代优化在抑制高光伪影的同时无损恢复玻璃展柜内物体的真实三维几何与外观。

方法详解¶

整体框架¶

GlassGS 的整体架构由两大核心模块紧密协同构成：第一阶段为“几何不一致性感知（Geometry-Consistency Perception, GCP）”，通过将当前视角的像素反投影至三维空间并在邻近视点间追踪外观方差，生成像素级的几何一致性置信度图，在 3DGS 训练中显式降权反射污染区域；第二阶段为“无反射概念学习（Reflection-Free Concept Learning, RFCL）”，基于扩散先验与文本反演提取不受局部反射干扰的目标整体概念 token，并通过拼接渲染图与一致性图作为四通道条件的 ControlNet 生成去反射纯净视图；最后借助“自循环迭代精炼（Self-Cycling Refinement）”机制，交替进行 3DGS 重建与纯净图像生成，直至多视角一致性收敛。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角输入图像 + 相机位姿"] --> B["几何一致性感知 (GCP)<br/>3D投影追踪视点方差生成一致性图"]
    B --> C["反射感知 3DGS 优化<br/>一致性加权几何损失抑制伪影"]
    C --> D["渲染当前视角图像"]
    D --> E["无反射概念学习 (RFCL)<br/>文本反演提取稳定概念 + 4通道ControlNet去反"]
    E --> F["自循环迭代精炼 (Self-Cycling)<br/>拼接纯净视图与置信度更新高斯场"]
    F -->|未收敛/一致性不足| B
    F -->|均值一致性超过阈值| G["高保真无反射 3D 高斯重建结果"]

关键设计¶

1. 几何一致性感知：跨视角投影方差定位高光反射

传统 3DGS 假设每个三维点在所有视角中具有稳定的漫反射颜色，当面对玻璃镜面高光时，优化器会强行在玻璃表面拉扯出假几何。针对这一痛点，GCP 模块通过显式度量三维点在视点迁移下的颜色稳定性来量化反射污染程度。具体而言，对于第 $i$ 个视角图像 $I_i$ 中的像素 $x$，利用当前 3DGS 场景渲染得到的深度图 $D_i$ 将其反投影至世界坐标系下的三维点 $w_x$，随后将 $w_x$ 投影至相邻相机视角集合 $P' \subset P$ 中，追踪其在各邻近视角中的投影颜色 $c(w_x, p_j)$。几何一致性指标 $\text{cons}_x$ 形式化定义为各视点观测颜色与平均颜色之间的色差相似度： $$\text{cons}_x = \frac{1}{|P'|} \sum_{p_j \in P'} \text{Similarity}\left( c(w_x, p_j), \frac{1}{|P'|} \sum_{p_k \in P'} c(w_x, p_k) \right)$$ 当像素处于强镜面反射或闪光眩光区域时，视角轻微偏转即引发剧烈颜色跳变，$\text{cons}_x$ 显著偏低；而真实物体表面则维持较高的 $\text{cons}_x$。汇总各像素值构成分辨率对齐的一致性图 $\text{Cons}_i$。在 3DGS 的辐射场优化中，采用一致性感知加权几何损失： $$\mathcal{L}_{geo} = \lambda_1 \left\| \text{Cons}_i \odot (I_i - \hat{I}_i) \right\|_1 + \lambda_2 \text{D-SSIM}\left( \text{Cons}_i \odot I_i, \text{Cons}_i \odot \hat{I}_i \right)$$ 其中 $\odot$ 表示逐像素相乘。这一设计直接降权不一致区域的监督回传，迫使优化器仅依据高置信度视角的信息拟合高斯球，有效遏制了虚假几何的膨胀与散斑生成。

2. 无反射概念学习：文本反演解耦与几何感知 ControlNet

单纯降权反射区域会导致强遮挡区域缺乏足够的几何与纹理约束，从而造成重建缺失。基于“反射污染并不破坏物体全局语义概念”的观察，RFCL 模块首先利用文本反演（Textual Inversion）在一小批受污染图像上优化一个场景概念 token $s_{\text{scene}}$。该反演过程利用预训练冻结的 Stable Diffusion 降噪先验，捕捉目标物体的拓扑形状、材质风格与全局结构，将语义从高频反射噪声中完全剥离。

为了将学习到的高层语义概念精准回灌并修复局部受损区域，设计了四通道条件的几何感知 ControlNet。该网络的条件输入由 3 维被污染图像 $\hat{I}_{p_i}$ 与 1 维几何一致性图 $\text{Cons}_i$ 沿通道拼接而成：$C = \text{Concat}(\hat{I}_{p_i}, \text{Cons}_i)$。为了解决 3D 训练数据稀缺的问题，设计了巧妙的 2D 高斯模糊模拟机制：利用 2D 局部高斯滤波等效逼近三维空间邻域采样，在合成的 10 万对大规模图像上预训练 ControlNet，以自适应地对低一致性区域执行基于语义概念的补全与去反，同时严格冻结高一致性区域的细粒度真实纹理。

3. 自循环迭代精炼：渐进式图地一致收敛机制

单次前向去反容易在 2D 生成中引入微小的视角几何漂移，导致多图拼接重建时模糊。GlassGS 设计了四步自循环迭代精炼策略：首先利用初始受污图像 $I_0$ 与初始一致性图 $C_0$ 优化得到粗糙高斯场 $G_0$ 并渲染得到初步视图 $\hat{I}_0$；其次在第 $k$ 轮，输入 $\hat{I}_{k-1}$ 与上一轮一致性图进入 RFCL 生成去反射图像 $\tilde{I}_k$；接着，将置信度权重赋为 $\tilde{C}_k = 1 - \text{Cons}_{k-1}$ 并拼接入训练集，联合优化更新高斯参数： $$\mathcal{L}_{\text{refine}} = \mathcal{L}_{geo}(I_0, C_0) + \mathcal{L}_{geo}(\tilde{I}_k, \tilde{C}_k)$$ 最后渲染更新的高斯场 $\hat{I}_k$ 并重新计算更加干净的一致性图 $C_k$。整个循环动态交互，随着高斯质量的提升，一致性图识别更准；而更准的一致性图又反哺更清晰的图像去反。当全图平均几何一致性达到收敛阈值 $\text{Mean}(C_k) > \tau$（实验中稳定收敛至约 0.92）或达到最大轮次时终止循环，得到兼具视点一致性与语义保真度的最终 3D 高斯场。

损失函数 / 训练策略¶

在 ControlNet 的预训练阶段，输入潜空间变量 $z_0 = \phi(I)$ 随加噪步数 $t$ 扰动为 $z_t$，结合文本特征 $h_{\text{text}}$ 与 4 通道控制特征 $C$，网络联合优化噪声预测误差与去噪图像对齐损失： $$\mathcal{L}_{\text{control}} = \mathbb{E}_{z_0, t, C, \epsilon} \left[ \|\epsilon - \hat{\epsilon}\|_2^2 + \lambda_{x_0} \|z_0 - \hat{x}_0\|_2^2 \right]$$ 在 3DGS 优化阶段，学习率、致密化与剪枝策略沿用标准 3DGS 配置，迭代循环轮数通常设置为 3-4 轮。在自循环过程中，前 3 轮各项评估指标发生显著优化，之后随着一致性收敛逐渐趋于稳定。

实验关键数据¶

主实验¶

评估在专门采集构建的 GlassFlash3D 真实基准数据集上进行。该数据集包含 23 组真实世界放置在玻璃展柜中的物体，每组场景包含 80 张带玻璃障碍的强镜面反射训练图，以及 20 张撤去玻璃后的纯净参考图和目标物 mask。同时在 NeuS-HSR 真实数据集上进行了定性对比。定量结果如下表所示：

方法	PSNR ↑	SSIM ↑	MAE ↓	Mask PSNR ↑	Mask SSIM ↑	Mask MAE ↓
Vanilla 3DGS	15.38	0.62	36.05	17.17	0.65	32.59
DSRNet + 3DGS	15.90	0.65	33.30	16.91	0.68	32.67
YTMT + 3DGS	15.89	0.64	33.32	17.10	0.66	33.21
SpotLessSplats	15.90	0.66	33.92	17.75	0.69	30.82
Ours (GlassGS)	15.90	0.68	31.99	18.94	0.71	24.68

消融实验¶

作者针对所提架构中各核心组件在 GlassFlash3D 数据集上展开了系统的消融分析，验证各模块的必要性：

配置	PSNR ↑	SSIM ↑	MAE ↓	Mask PSNR ↑	Mask SSIM ↑	Mask MAE ↓	说明
Vanilla 3DGS	15.38	0.62	36.05	17.17	0.65	32.59	基础基线无去反机制
Ours w/o GCP	15.90	0.62	33.44	17.86	0.65	28.22	移除几何一致性感知，退化为纯2D去反
Ours w/o RFCL	15.89	0.64	33.88	17.62	0.68	30.31	移除无反射概念学习，去反缺乏高层语义引导
Ours w/o $\text{Cons}$ in Eq.(2)	15.29	0.62	36.73	17.44	0.65	30.15	3DGS损失中不带一致性加权，强反光直接污染几何
Ours w/o $\text{Cons}$ in Eq.(3)	15.90	0.67	32.03	18.78	0.70	24.95	概念反演不考虑一致性区域掩膜
Ours w/o $\mathcal{L}_{x_0}$ in Eq.(9)	15.75	0.62	34.33	17.70	0.65	28.81	ControlNet训练去除对齐项，生成纹理保真度下滑
Ours (完整模型)	15.90	0.68	31.99	18.94	0.71	24.68	各组件协同，目标区域指标达到最优

关键发现¶

目标物区域的误差大幅缩减：Mask MAE 从 Vanilla 3DGS 的 32.59 锐减至 24.68（降幅达 24.3%），Mask PSNR 显著提升 1.77 dB，充分证明模型在剥离背景反射的同时，强力保护了展品本体的几何结构与色彩。
GCP 模块起决定性骨架作用：去除 GCP（Ours w/o GCP）导致 Mask MAE 显著恶化至 28.22，Mask SSIM 跌至 0.65。而在 3DGS 优化中如果不加一致性加权（Ours w/o $\text{Cons}$ in Eq.(2)），全局 MAE 恶化至 36.73，甚至劣于基准 3DGS，证实了几何一致性图对阻断反光污染的关键作用。
自循环收敛迅速且平稳：指标在第 1 至第 3 轮迭代中呈现断崖式改善，随着多视角一致性逐步建立，反射消除模块自动停止修改高一致性区域，全图平均一致性 $\text{Mean}(C_i)$ 最终稳定在 0.92，验证了自闭环策略的稳定性。

亮点与洞察¶

提出高光反射的双重内在属性：深入剖析并提炼出反射对 3D 重建的“几何不一致性”与对表征学习的“概念保持性”，从物理几何与深度语义两个截然不同的维度解构了长期困扰视觉重建的反射问题。
2D 高斯模糊等效 3D 邻域投影的巧妙训练设计：利用单图加噪与 2D 高斯模糊逼近三维空间邻域投影方差的计算，解决了大规模真实 3D 反射多视角成对训练数据匮乏的难题，构建了 10 万对样本的 GlassFlash2D 数据集。
自适应置信度闭环迭代范式：将几何置信度图作为几何感知与纹理生成的桥梁，形成了“一致性感知指导去反生成，去反生成辅助高斯重建，高质量高斯反哺精准一致性”的正向飞轮机制，不仅适用于玻璃展柜，亦可迁移至车载前挡风玻璃、水中生物箱等多介质场景重建。

局限与展望¶

合成与真实光斑分布的域差异：当前 ControlNet 主要在合成的高斯与光斑数据集 GlassFlash2D 上预训练，面对现实世界极端复杂的环境多重反射或非均匀曲面异形展柜时，去反能力仍存在部分瑕疵。
一致性估计存在误检风险：若物体自身存在视角依赖的微弱各向异性高光材质（如金属抛光表面），当前基于颜色方差的一致性度量可能会将其误判为玻璃反射，导致扩散模型错误“修补”真实表面。
未来方向：未来可将物理光路偏振特性（Polarization cues）或大模型语义分割与几何方差图深度融合，进一步提升复杂环境下的自适应分割精度与跨领域泛化性。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次发掘 HSR 的概念保持特性并结合几何一致性感知，设计了极具新意的 2D-3D 协同去反迭代架构。
实验充分度: ⭐⭐⭐⭐⭐ 采集构建了首个玻璃展柜专用评测基准 GlassFlash3D 与大规模合成训练集，对比详实，消融完备。
写作质量: ⭐⭐⭐⭐⭐ 逻辑主线清晰，图文呼应紧密，数学表达与设计动机阐述严谨。
价值: ⭐⭐⭐⭐☆ 对博物馆虚拟数字化、展品高保真 3D 扫描及复杂镜面环境下的具身感知具有极高的实用转化价值。