Physically Grounded Dual-Opacity Gaussian Splatting for Joint RGB-TIR Reconstruction¶

会议: ECCV 2026
论文: ECCV 原文
领域: 3D 视觉
关键词: 3D高斯泼溅, RGB-TIR联合重建, 辐射物理属性分解, 双重不透明度, 跨光谱渲染

一句话总结¶

提出 RaViGS 框架，通过共享几何骨架下的辐射物理属性参数化与光谱解耦的双重不透明度渲染，彻底解决了可见光与热红外（RGB-TIR）联合 3DGS 重建中的辐射机理错配和跨模态视线遮挡冲突。

研究背景与动机¶

随着自动驾驶与数字孪生在全天候、全天时严苛环境下的部署需求激增，跨模态 3D 场景重建成为计算机视觉领域的核心任务。常规基于可见光（RGB）的神经辐射场或 3D 高斯泼溅虽然能呈现极致的表面几何细节与纹理保真度，但在弱光照、浓烟掩盖以及强视觉伪装等恶劣条件下极易失效。热红外（TIR）成像依据物体表面温度及其物理辐射特性成像，独立于外部环境光照，能够清晰捕捉被隐藏的热传导模式与目标热轮廓。将两者结合不仅能获得视觉逼真的 3D 模型，更能反演精确的物理热力学温度场，在工业探伤、灾难搜救以及夜间无人巡航等关键任务中具备不可替代的实用价值。

然而，RGB-TIR 联合重建面临物理成像机制与频谱特性的根本冲突。现有方法通常机械套用 NeRF 或 3DGS 范式，直接把单通道热红外信号当作一个额外的灰度或强度通道进行端到端数值回归。这种做法完全脱离了黑体热辐射（Stefan-Boltzmann 定律）的基础物理机理，因为红外传感接收到的是物体表面自发热辐射与环境反射辐射的能量叠加，而非纯粹的外部环境光漫反射。此外，RGB 图像包含丰富的高频纹理，而 TIR 图像多呈现低频分段平滑的热分布；若强行让两种模态共用单一的几何不透明度（Opacity），高低频梯度的相互干扰会导致严重的几何失真与边缘模糊，陷入真实色彩细节与热辐射保真度此消彼长的两难境地。

更为关键的是，电磁波在不同频段下的穿透与遮挡行为具有强烈的波谱依赖性。例如建筑玻璃与挡风玻璃在可见光波段高度透明（$\alpha^{\text{rgb}} \to 0$），但在长波红外波段下却表现为极强的吸收与不透明特性（$\alpha^{\text{ir}} \to 1$）。若在单一几何结构上强制共享视线可见性，将直接引发跨模态视线遮挡冲突，产生边界鬼影伪影。本文的切入角度是：保持三维几何骨架对齐的同时，将模态特定表现完全解耦为物理辐射属性与独立的光谱可见性场。核心 idea：构建基于共享几何脚手架的物理落地双重不透明度高斯泼溅框架（RaViGS），将 TIR 表征分解为发射率、温度和反射率三大物理内秉属性，并解耦 RGB 与 TIR 的独立不透明度累积路径，配合共支撑剪枝与物理引导联合损失消除多模态梯度干扰与鬼影伪影。

方法详解¶

整体框架¶

RaViGS 建立了面向 RGB-TIR 双模态协同重建的统一 3DGS 表征体系。输入为多视角标定的 RGB 与 TIR 同步图像对以及稀疏点云初始化。在表征层面，每个 3D 高斯基元继承共享的空间几何参数（中心位置 $\mu$、旋转矩阵 $R$、缩放尺度 $S$），但在外观与可见性层级分流为两条并行分支：RGB 分支保留标准球谐函数（SH）系数用于视点相关颜色建模，并拥有专属于可见光的透明度参数 $\alpha^{\text{rgb}}$；TIR 分支则抛弃直接强度回归，引入辐射物理属性参数化，并配备独立的热红外透明度参数 $\alpha^{\text{ir}}$。两路分支在光栅化阶段独立进行前向 $\alpha$-blending 累积，并由联合物理约束与几何感知损失协同反向传播更新共享骨架。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角 RGB-TIR 图像对 + COLMAP 稀疏点云"] --> B["共享 3D 高斯几何骨架<br/>中心位置 / 旋转矩阵 / 缩放尺度"]
    B --> C["辐射物理属性参数化<br/>分解为发射率 / 温度 / 反射率"]
    B --> D["光谱解耦的双重不透明度渲染<br/>解耦 RGB 与 TIR 独立视线透射率"]
    C --> E["双模态并行可微光栅化渲染<br/>RGB 颜色场 + TIR 物理辐射能场"]
    D --> E
    E --> F["物理约束多目标联合优化<br/>辐射重建 + 物理先验 + 梯度引导平滑"]
    F --> G["共支撑剪枝机制<br/>抑制单模态冗余基元并保持几何统一"]

关键设计¶

1. 辐射物理属性参数化：基于热力学定律解耦内秉物理量 针对将 TIR 强度当成灰度标量导致辐射物理意义丢失及视点温度漂移的缺陷，RaViGS 将每个 3D 高斯基元的红外响应显式参数化为三大具有明确物理内涵的属性：表面发射率（Emissivity）$\epsilon$、归一化热力学温度（Temperature）$T$ 以及环境反射率（Reflectance）$\rho$。考虑到实际粗糙非朗伯体表面的微面元自遮挡与局部温度梯度，上述三个属性均采用球谐函数（SH）进行视向各向异性编码，并通过 Sigmoid 激活函数映射至物理合规的 $[0, 1]$ 区间。在沿视线方向 $d$ 渲染时，基元的有效红外辐射强度 $E_i(d)$ 遵循 Stefan-Boltzmann 定律与辐射度平衡建模： $$E_i(d) = \text{clip}\left(\epsilon_i(d) \cdot \sigma T_i(d)^4 + \rho_i(d) \cdot L_{\text{env}}, 0, 1\right)$$ 其中 $T_i(d)^4$ 精确表征黑体辐射能量与温度的非线性四次方关系，$\sigma$ 为吸收了传感器增益与 Stefan-Boltzmann 常数的自适应缩放因子，$L_{\text{env}}$ 模拟全向环境热辐射通量。该设计迫使模型学习材料本身的内秉热辐射特质，从根源上保障了多视角热力学温度反演的真实性。

2. 光谱解耦的双重不透明度渲染：消除跨模态透射冲突与视线鬼影 为解决玻璃、塑料膜等介质在不同电磁波段下透射率极端不一致（可见光透明而红外不透，或反之）所引发的几何梯度撕裂与边界鬼影问题，本文为每个 3D 高斯基元解耦配置了两套独立的透明度场：$\alpha^{\text{rgb}}$ 与 $\alpha^{\text{ir}}$。在投影渲染时，两路分支共享同一套根据视距排序的高斯基元集合 $\mathcal{N}(p)$，但在像素光线步进时分别按各自的不透明度计算透射率累积权重： $$\hat{C}_{\text{rgb}}(p) = \sum_{i \in \mathcal{N}(p)} \mathcal{T}_i^{\text{rgb}}(p) \alpha_i^{\text{rgb}}(p) c_i(d), \quad \hat{I}_{\text{tir}}(p) = \sum_{i \in \mathcal{N}(p)} \mathcal{T}_i^{\text{ir}}(p) \alpha_i^{\text{ir}}(p) E_i(d)$$ 透射率定义为 $\mathcal{T}_i^m(p) = \prod_{j < i} (1 - \alpha_j^m(p))$（$m \in \{\text{rgb}, \text{ir}\}$）。几何核心变量（位置、尺度、旋转）接收来自双模态重建梯度的加权联合监督（$\lambda_{\text{rgb}} \frac{\partial \mathcal{L}_{\text{rgb}}}{\partial \text{geo}} + \lambda_{\text{ir}} \frac{\partial \mathcal{L}_{\text{ir}}}{\partial \text{geo}}$），将跨模态观测差异完好地分流至各自的透明度与辐射参数层，阻断了低频热图对高频高斯几何形状的破坏。

3. 共支撑剪枝机制：维持双模态共享骨架的紧致一致性 为了防止双重不透明度机制在优化过程中退化为两套互不相干的高斯子集（即部分基元只拟合 RGB、部分基元只拟合 TIR），算法引入了共支撑最小门控准则（Co-support Criterion）驱动高斯增密与剪枝。在迭代更新密度掩码时，采用两模态透明度的最小值进行判定： $$M_{\text{prune}}^{(k)}(i) = \mathbb{I}\left(\min\left(\alpha_i^{\text{rgb}}, \alpha_i^{\text{ir}}\right) < \tau_\alpha\right)$$ 当且仅当一个基元在两个模态中的透明度均跌破剪枝阈值（$\tau_\alpha = 0.005$）时才被移除。即使在完全透明的玻璃区域，由于现实中的边缘反射或微弱镜面高光，微小非零的 $\alpha^{\text{rgb}}$ 配合较高的 $\alpha^{\text{ir}}$ 依然满足存活条件，有效锁定了统一的多模态空间支架。

损失函数 / 训练策略¶

系统联合多目标损失函数端到端训练。基础光度重建损失采用 $L_1$ 结合结构相似性 D-SSIM：$\mathcal{L}_{\text{rec}}^m = \|I_m - I_m^{gt}\|_1 + \lambda_{\text{ssim}} \text{DSSIM}(I_m, I_m^{gt})$。为规范物理属性求解空间，引入基于基尔霍夫热辐射定律的物理先验损失： $$\mathcal{L}_{\text{phy}} = \frac{1}{|\mathcal{K}|} \sum_{i \in \mathcal{K}} \left[ \mathcal{B}(\epsilon_i^0)^2 + \mathcal{B}(\rho_i^0)^2 + \text{ReLU}\left(\epsilon_i^0 + \rho_i^0 - 1 - \delta\right)^2 \right]$$ 其中 $\mathcal{B}(x) = \text{ReLU}(-x) + \text{ReLU}(x-1)$，将 0 阶发射率与反射率基底严格限制在 $[0, 1]$ 之间，并施加能量守恒约束 $\epsilon^0 + \rho^0 \le 1 + \delta$。此外，构建了 RGB 梯度引导的边缘自适应全变分平滑损失 $\mathcal{L}_{\text{smooth}}$，利用可见光强边缘动态放宽对 TIR 平滑度的惩罚，在平坦区抑制热噪声的同时锁紧清晰物理边界；再加上高斯 SH 高阶能量惩罚 $\mathcal{L}_{\text{sh}}$ 和 RGB 图像梯度损失 $\mathcal{L}_{\text{grad}}$，总目标为： $$\mathcal{L}_{\text{total}} = \lambda_{\text{rgb}} \left(\mathcal{L}_{\text{rec}}^{\text{rgb}} + \lambda_g \mathcal{L}_{\text{grad}} + \lambda_{\text{sh}} \mathcal{L}_{\text{sh}}\right) + \lambda_{\text{ir}} \left(\mathcal{L}_{\text{rec}}^{\text{ir}} + \lambda_s \mathcal{L}_{\text{smooth}} + \lambda_p \mathcal{L}_{\text{phy}}\right)$$ 训练采用两阶段交替调度策略：前 3,000 次迭代稳定几何骨架，随后交替周期性冻结特定参数群以平滑解耦双模态透明度场，总计迭代 30,000 次。

实验关键数据¶

主实验¶

在 ThermoNeRF 多视角双模态基准（包含 16 个室内外建筑物与日常物品场景）上展开全面对比。评估指标包括红外重建峰值信噪比（PSNR）、结构相似度（SSIM）、感知距离（LPIPS），以及针对物理温度反演准确性的平均绝对误差（MAE）和感兴趣区域平均绝对误差（$\text{MAE}_{\text{ROI}}$，单位 $^\circ\text{C}$）。

方法	PSNR (TIR) ↑	SSIM (TIR) ↑	LPIPS (TIR) ↓	$\text{MAE}_{\text{ROI}}$ ($^\circ\text{C}$) ↓	MAE ($^\circ\text{C}$) ↓	PSNR (RGB) ↑	SSIM (RGB) ↑	LPIPS (RGB) ↓
Thermo-NeRF	31.101	0.943	0.153	1.550	0.603	19.971	0.622	0.273
Scaffold-GS	-	-	-	-	-	20.077	0.625	0.340
Mip-Splatting	-	-	-	-	-	20.536	0.664	0.345
MFTG	29.472	0.964	0.093	1.829	0.700	20.466	0.693	0.345
MSMG	28.155	0.962	0.116	1.924	0.788	20.551	0.708	0.383
OMMG	32.197	0.970	0.084	1.148	0.490	21.622	0.706	0.358
Thermal3DGS	28.397	0.958	0.081	2.335	1.041	-	-	-
3DGS+IR (通道拼接基线)	30.910	0.959	0.162	1.233	0.606	21.878	0.710	0.341
Ours (RaViGS)	32.479	0.975	0.068	1.425	0.472	22.011	0.713	0.337

消融实验¶

下表汇总了关键模块设计对 TIR 与 RGB 跨光谱多视角合成质量的影响（取全场景平均值）：

模块配置 (Dual-Opacity / 3-Physics / Loss-Constraint)	TIR PSNR ↑	TIR SSIM ↑	TIR LPIPS ↓	$\text{MAE}_{\text{ROI}}$ ($^\circ\text{C}$) ↓	TIR MAE ↓	RGB PSNR ↑	RGB SSIM ↑	RGB LPIPS ↓
Baseline (简单通道拼接)	30.910	0.959	0.162	1.233	0.606	21.878	0.710	0.341
+ Dual-Opacity (仅双重不透明度)	32.068	0.969	0.075	1.194	0.517	21.358	0.693	0.359
+ 3-Physics (仅辐射三参数分解)	31.544	0.962	0.180	1.850	2.259	21.254	0.685	0.344
+ Loss-Constraint (仅约束损失)	31.422	0.966	0.118	1.132	0.522	21.080	0.691	0.344
Dual-Opacity + 3-Physics	31.567	0.962	0.071	1.334	0.528	21.316	0.696	0.340
3-Physics + Loss-Constraint	31.617	0.961	0.069	1.276	0.548	21.262	0.686	0.340
Ours (完整系统)	32.479	0.971	0.068	1.425	0.472	22.011	0.713	0.337

关键发现¶

解耦双重不透明度是消除边界伪影的关键：去除 Dual-Opacity 机制将导致 TIR PSNR 骤降近 1.5 dB，且在视觉上引发严重的轮廓鬼影；实验表明，将可见光与热红外对同一介质的可见度解耦，是消除跨光谱梯度矛盾的核心要素。
物理分解有效约束真实温度反演：单纯拟合无物理约束的标量辐射场时，温度绝对反演误差 MAE 居高不下；引入基于 Stefan-Boltzmann 定律的发射率、温度和反射率三参数分解后，整体温度场 MAE 显著下降至 0.472 $^\circ\text{C}$，具备优异的度量准确性。
RGB 引导带来双向增益：RGB 纹理的高频梯度通过边缘引导平滑项传导至红外分支，成功抑制热成像噪声并锐化了材料交界处的温度阶跃，实现了高保真几何细节与物理解释性的双赢。

亮点与洞察¶

物理机理与显式几何融合：突破了以往将多模态数据当作多通道张量机械拼接的粗放模式，首次在 3DGS 体系内完整建立了热辐射能量分解与传递物理模型，使神经渲染具备真实的热力学可解释性。
跨光谱视线解耦新范式：巧妙揭示了光学与热学透明度之间的本质差异，通过共享高斯几何姿态但分立不透明度场的设计，完美平衡了“几何刚性共享”与“辐射柔性解耦”之间的矛盾。
严密自洽的共支撑约束：采用 $\min(\alpha^{\text{rgb}}, \alpha^{\text{ir}})$ 门控剪枝策略，既避免了双分支退化分裂为两组孤立高斯点云，又容纳了玻璃等在极端光谱条件下表现迥异的半透明与强吸收物体。

局限与展望¶

极端无纹理完全透射表面的退化风险：共支撑剪枝机制依赖于半透明物体在可见光波段仍存在微弱的边缘、高光或反射信息；对于完全缺乏任何可见光几何依据的理想纯透明介质，可见光透明度若跌至 0 会导致红外实体基元被误剪枝。
静态稳态热场假设：当前模型基于稳态热传导与恒定环境辐射假设，未能建模物体在剧烈光照交替或外部热源介入下的动态瞬态热传导与降温过程。
半透明介质体积吸收未完全建模：目前的双重不透明度仍基于表面辐射假设，对于半透明半吸收流体（如烟雾、弥散气体等具有体积吸收散射特性的介质）的物理辐射传输模型仍需进一步拓展。

评分¶

新颖性: 4.5 / 5.0（物理辐射内秉分解结合双重不透明度解耦，视角新颖且立论扎实）
实验充分度: 4.5 / 5.0（涵盖 16 个场景的真实度量级温度误差、双模态消融与玻璃极值案例分析）
写作质量: 4.5 / 5.0（数理推导严谨，动机阐述直击物理本质）
价值: 4.5 / 5.0（对全天候自动驾驶、安防红外三维感知及工业测温数字孪生具有高度实用价值）