ThermoGS: Decoupling Physical Surface Attributes for Spatio-Temporal Thermal Field Emulation via 4D Gaussian Splatting¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/NPU-CVPG/ThermoGS
领域: 3D视觉
关键词: 热红外仿真, 4D高斯泼溅, 热力学, PINN, 物理属性解耦

一句话总结¶

ThermoGS 将 4D 高斯泼溅与热力学物理定律相融合，通过 PINN 显式解耦地表材质的发射率、对流换热系数、体积热容与吸收率，实现了全天候动态环境下的高保真时空热场仿真与绝对温度预测（误差小于 1℃）。

研究背景与动机¶

热红外（TIR）成像具备全天候感知能力，能穿透弱光与薄雾直接捕获地表辐射温度，在智慧安防、建筑能耗检测与大规模城市管理中具有不可替代的价值。随着小型化高分辨率红外传感器与无人机巡检技术的普及，三维场景级热场建模成为研究焦点。然而，早期的热红外三维处理方法主要停留在几何重建层面，先利用可见光 RGB 图像完成多视角立体重建（MVS），再将拍摄到的红外辐射值静态投影贴图回三维几何表面。这种重建范式本质上属于数据驱动的快照复刻，脱离了真实物理环境对温度演化的驱动机制，一旦外界风速、光照或气压发生变化，便彻底丧失了外推仿真与时序预测的能力。

近期基于神经辐射场（NeRF）与三维高斯泼溅（3DGS）的研究将热红外建模推向了新视点合成维度，如 ThermoNeRF、Thermal3D-GS 等方法实现了三维辐射场的连续表征。然而，现有模型大多直接回归视线方向上的热辐射强度（Radiance），忽略了太阳辐射、对流传热以及环境换热的动力学平衡；即便有工作引入时间维度或针对夜间开展时序重建（如 NTR-Gaussian），也局限于单一天气条件或缺乏白昼太阳光辐照模型，无法处理全昼夜极端温差变化。更关键的是，现有网络未能将物体表面的本征热物理属性（如比热容、换热系数、发射率与吸收率）从瞬态温度场中解耦出来，使得模型在面对未见过的气象条件与时空场景时缺乏物理泛化能力与可解释性。

本研究认为，三维热红外任务的终极目标应当从“静态被动重建”跃升为“动态主动仿真”。核心 idea：将热力学第一定律的能量守恒微分方程引入 4D 高斯泼溅表征，借助物理信息神经网络（PINN）在三维高斯椭球尺度上显式解耦地表发射率、对流换热系数、体积热容与太阳辐射吸收率，构建物理一致的时空动态连续热场。

方法详解¶

整体框架¶

ThermoGS 整体流程以无人机倾斜摄影重建的可见光 3D 高斯模型为几何骨架，结合高斯空间特征提取、多通道时间傅里叶位置编码以及同步气象环境参数（环境温度、空气相对湿度、气压、风速与太阳辐照强度），共同驱动物理信息神经网络（PINN）。网络输出每个高斯椭球元对应的绝对温度 $T$ 以及本征物理属性参数（发射率 $e$、对流换热系数 $h$、体积热容 $c$ 与太阳吸收率 $\alpha$）。随后，算法将热传导与辐射微分方程映射到三维高斯椭球的几何尺度上，联合多视角热红外辐射标定图像与物理能量守恒微分约束进行端到端优化，最终支持任意视角、任意时刻及虚拟环境扰动下的高保真温度场渲染。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>几何模型 + 时空编码 + 气象参数"] --> B["物性解耦网络<br/>多头残差MLP预测温度与物理属性"]
    B --> C["高斯尺度热力学耦合<br/>椭球几何面积/体积融入能量平衡方程"]
    C --> D["时空热场物理约束求解<br/>瞬态微分方程 + ODE连续轨迹积分"]
    D --> E["高保真热场输出<br/>任意视角温度图与物理参数分布图"]

关键设计¶

1. 高斯椭球尺度的热力学能量守恒耦合：将物理定律直接锚定在显式几何基元上

户外地表温度的演变受控于地表与环境间瞬时能量交换平衡。白天受太阳直射影响，物体同时经历光热吸收、热辐射发射和对流换热；夜间则以辐射散热和空气对流为主。控制单位时间内地表温度随时间变化的偏微分方程（PDE）为： $$c V \frac{\partial T}{\partial t} = Q_{absorb} - Q_{rad} - Q_{conv}$$ 其中吸收热量取决于材料吸收率 $\alpha$、受光法向投影面积 $A_{\perp}$ 及太阳辐射强度 $G_{sun}$，即 $Q_{absorb} = \alpha A_{\perp} G_{sun}$；辐射放热由斯蒂芬-玻尔兹曼定律决定，即 $Q_{rad} = e \sigma A_{rad} T^4$（$e$ 为发射率，$\sigma$ 为玻尔兹曼常数，$A_{rad}$ 为辐射面积）；对流放热遵循牛顿冷却定律，即 $Q_{conv} = h A_{surf} (T - T_m)$（$h$ 为对流换热系数，$T_m$ 为环境温度）。

传统网格或体素方法难以精确计算各向异性微元的实际换热面积与体积。ThermoGS 巧妙利用 3D 高斯椭球的半长轴尺度 $(a, b, c)$，精确导出高斯尺度下的封闭几何表达式： - 椭球表面积：$A_{surf} \approx \frac{\pi}{3}(ab + ac + bc)$ - 热辐射等效面积：利用 Knud Thomsen 近似公式，$A_{rad} = 4\pi \left(\frac{a^p b^p + a^p c^p + b^p c^p}{3}\right)^{1/p}$（常数 $p \approx 1.61$） - 太阳入射投影面积：沿局部入射单位方向 $(d_x, d_y, d_z)$ 的椭圆投影面积为 $A_{\perp} = \pi \frac{abc}{\sqrt{(a d_x)^2 + (b d_y)^2 + (c d_z)^2}}$ - 高斯微元体积：$V = \frac{4}{3}\pi abc$

通过将换热项几何尺度深度绑定至高斯椭球几何参数，使热动力学能量交换完全建立在真实三维尺度基准上。

2. 基于 PINN 的连续物理流形解耦推断：摆脱类别离散查表的局限性

若直接根据地表类别（如建筑、道路、植被）赋以离散材质常数查表值，将彻底忽略同类地表在材质老化、粗糙度、结构朝向和微气候差异下的空间异质性。ThermoGS 采用深层残差多层感知机（MLP）构建 PINN 核心，输入可见光三维高斯特征、空间坐标位置编码、时间傅里叶高阶编码与气象要素向量，并行设置多个解耦分支头，分别输出各高斯单元的本征属性 $(e, h, c, \alpha)$ 与绝对温度 $T$。

该设计使得网络不再简单记忆瞬时温度，而是推断出覆盖三维场景的高斯级连续物理属性流形。当气象环境输入（如风速突增或太阳光照被遮挡）发生变化时，网络能直接依据学得的本征物理参数，经由能量方程动态推算合理的瞬态温度响应，从机理上保障了模型向未见环境条件的外推泛化能力。

3. 多重物理一致性联合约束：数值差分与连续 ODE 双重轨迹校准

逆向求解热力学参数存在高度病态性（多种不同的物理参数组合可能产生相似的瞬态温度）。为确保解的物理真实性，ThermoGS 提出了包含有限差分与常微分方程（ODE）积分的双重物理正则化约束： - PINN 有限差分损失（$L_{pinn}$）：约束相邻时间观测步之间的温度离散数值差分，与网络内部反向传播求导得出的偏导数 $\frac{\partial T}{\partial t}$ 保持一致。 - ODE 轨迹积分一致性损失（$L_{ode}$）：沿时间轴利用数值 ODE 求解器积分温度演化轨迹，并强制该轨迹与网络在各时刻直接预测的绝对温度闭环对齐，并在步长中点重新评估物理属性一致性。 - 物理先验正则化（$L_{physical}$）：以标准地物分类的物理参数宏观参考值作为软先验约束，防止梯度优化漂移至违背物理法则的奇异解空间。

损失函数 / 训练策略¶

模型综合利用辐射校正后的红外真实表面温度图监督与物理方程约束进行多任务端到端训练。总损失函数定义为： $$L = \lambda_1 L_{data} + \lambda_2 L_{edge} + \lambda_3 L_{smooth} + \lambda_4 L_{physical} + \lambda_5 L_{ode} + \lambda_6 L_{pinn}$$ 各项损失功能与权重配置如下： - 数据保真损失 $L_{data}$（$\lambda_1 = 0.8$）：由多视点红外辐射校正温度图的 $L_1$ 损失与结构相似度（SSIM）损失组成。 - 边缘锐化损失 $L_{edge}$（$\lambda_2 = 0.2$）：约束温度突变边界的高频结构。 - 时序平滑损失 $L_{smooth}$（$\lambda_3 = 1.0$）：抑制相邻时序高斯温度因局部噪声导致的非物理抖动。 - 物性正则化损失 $L_{physical}$（$\lambda_4 = 0.01$）：约束预测的 $e, h, c, \alpha$ 维持在合理物理量级范围内。 - ODE 轨迹积分损失 $L_{ode}$（$\lambda_5 = 0.01$）：保证时序动态积分温度轨迹的一致性。 - PINN 微分损失 $L_{pinn}$（$\lambda_6 = 1.0$）：直接拉齐瞬态温变率与热力学微分方程右侧能量项。

实验关键数据¶

主实验¶

论文构建了包含 40K 帧全天候红外图像的无人机倾斜摄影热数据集（Thermo Dataset），覆盖变电站（S1）、学校（S2）、市民广场（S3）和驾校（S4）四个大型城市场景，涵盖 10 种典型地物类别。表 2 给出了全天候跨时间与跨场景泛化设置下的量化对比（指标为 PSNR [dB]、SSIM 以及温度平均绝对误差 MAE [℃]）：

场景	指标	4DGS (Wu et al. 2024)	NTR-Gaussian (ECCV 2024)	ThermalGS (2024)	本文 (ThermoGS)	提升 (vs 最佳基线)
S1 (变电站)	PSNR / SSIM / MAE	24.34 / 0.866 / 2.147	25.03 / 0.872 / 1.993	24.38 / 0.859 / 2.199	26.82 / 0.874 / 1.464	+1.79 dB / -0.529 ℃
S2 (学校)	PSNR / SSIM / MAE	29.88 / 0.941 / 1.067	27.39 / 0.940 / 1.524	30.48 / 0.948 / 1.022	31.24 / 0.948 / 0.890	+0.76 dB / -0.132 ℃
S3 (市民广场)	PSNR / SSIM / MAE	23.66 / 0.949 / 2.533	21.78 / 0.944 / 3.122	24.22 / 0.952 / 2.333	26.03 / 0.955 / 1.490	+1.81 dB / -0.843 ℃
S4 (驾校)	PSNR / SSIM / MAE	27.37 / 0.934 / 1.403	28.80 / 0.950 / 1.278	27.42 / 0.944 / 1.426	28.81 / 0.954 / 1.173	+0.01 dB / -0.105 ℃
S1-S4 平均	PSNR / SSIM / MAE	28.82 / 0.948 / 1.475	31.42 / 0.956 / 1.136	29.69 / 0.948 / 1.396	31.83 / 0.960 / 0.932	+0.41 dB / -0.204 ℃

此外，在原 NTR-Gaussian 的夜间数据集上（表 3），ThermoGS 在全场景下依然刷新 SOTA：S1 达到 34.62 dB / MAE 0.824℃（对比 NTR-Gaussian 34.50 dB / 0.947℃）；S2 达到 31.85 dB / MAE 0.785℃（对比 NTR-Gaussian 31.43 dB / 1.709℃）；S3 达到 35.41 dB / MAE 0.752℃（对比 35.15 dB / 0.959℃）。

消融实验¶

论文在完整数据集上逐步剥离各损失组件（表 5），验证物理一致性设计对温度推断精度的必要性：

模型配置	$L_{edge}$	$L_{smooth}$	$L_{physical}$	$L_{ode}$	$L_{pinn}$	PSNR (dB) ↑	SSIM ↑	温度 MAE (℃) ↓	结论说明
w/o $L_{pinn}$	✓	✓	✓	✓		31.17	0.957	1.147	缺少微分约束，温变率失真，误差升至 1.147℃
w/o $L_{edge}$		✓	✓	✓	✓	31.27	0.957	1.163	边缘结构模糊，地物边界误差增大
w/o $L_{smooth}$	✓		✓	✓	✓	31.33	0.956	1.147	缺少平滑约束，时序温度局部出现剧烈跳动
w/o $L_{physical}$	✓	✓		✓	✓	31.42	0.956	1.175	缺失物性正则化，易导致病态解，MAE 恶化最大
w/o $L_{ode}$	✓	✓	✓		✓	31.42	0.956	1.133	缺少连续轨迹积分约束，长期误差发散
完整模型 (Full)	✓	✓	✓	✓	✓	31.83	0.960	0.932	全面引入物理约束，温度误差成功控制在 1℃ 内

在物理属性预测消融（表 6、表 7）中，直接使用静态查表赋参进行热场仿真的温度 MAE 高达 1.282℃（PSNR 31.06 dB），而基于网络推断连续流形的温度 MAE 大幅下降至 0.932℃。同时，网络推断物理属性与真实经验值的偏差极其微弱：发射率 MAE 仅 0.018，换热系数 MAE 仅 0.534 $\text{W/(m}^2\cdot\text{K)}$，体积热容 MAE 仅 5.86 $\text{kJ/(m}^3\cdot\text{K)}$，吸收率 MAE 仅 0.019，大幅优于 NTR-Gaussian（其对应物性 MAE 高达 0.470、32.80 与 160.80）。

关键发现¶

日温峰值区间的物理挑战：时序误差统计显示，所有模型在 13:00–14:00 之间的温度 MAE 均达到全天峰值。这符合自然热力学规律：正午强太阳直射与高温环境引发地表剧烈换热，加剧了非线性响应。而 ThermoGS 借助 $Q_{absorb}$ 与高斯投影面积 $A_\perp$ 精准捕捉了光热转换过程，在该极端区间的误差增幅显著低于纯数据驱动方法。
物理泛化胜过算力妥协：在计算开销上（表 4/9），ThermoGS 显存占用 20GB、单帧推理耗时 12ms（~6 FPS），在 RTX 4090 上保持了与 4DGS 相当的实时渲染吞吐量，且显存显著低于 NTR-Gaussian（33GB）。

亮点与洞察¶

高斯几何尺度与物理传热参数的几何代数闭环：巧妙将 3D 高斯椭球的半长轴直接代入椭球表面积、投影截面积与体积公式，使得原本抽象的宏观热动力学守恒定律无需体素化或网格化离散，便无缝契合高斯泼溅显式微分管线。
打破被动重建，实现物理可解释的参数反演与主动仿真：传统方法只能“播放”已知时段辐射图，而 ThermoGS 通过 PINN 解耦出本征物理属性流形，具备在虚拟调高环境温度、修改光照强度甚至改变地表材质属性时，主动推演出合理未来热场的可交互仿真能力。
可复用的物理正则化范式：结合数值差分（$L_{pinn}$）与 ODE 连续积分（$L_{ode}$）对动态神经网络输出实施双重物理流形约束，这种设计对于其他受偏微分方程支配的物理渲染场（如空气流场、流体浓度、声场仿真）具有极高的借鉴价值。

局限与展望¶

假设前提局限于晴空（Clear-Sky）气象条件：当前方法主要建模一阶主导热力学过程（太阳直射辐射、自然对流与自身长波热辐射），尚未考虑复杂气象下云层遮挡引发的漫射辐射剧烈扰动，以及降雨、结霜带来的潜热蒸发相变换热过程。
遮挡与二次互辐射近似不足：高斯微元间的投影面积仅考虑了全局太阳入射矢量，尚未考虑密集建筑群或高大树木产生的阴影遮挡（Self-shadowing）以及建筑物之间的二次红外热漫反射交换。
未来改进方向：可进一步在渲染管线中集成基于可见光/红外光追的动态阴影剔除模块，并将降水湿度驱动的多孔介质相变热流纳入能量守恒方程，实现全气候极端天气下的拟真仿真。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将微元尺度热动力学能量守恒方程与 4D 高斯椭球几何特性深度耦合，实现地表物性解耦与全天候热场仿真。
实验充分度: ⭐⭐⭐⭐⭐ 构建了包含 40K 帧图的大型无人机全天候多模态热数据集，跨时间、跨场景及底层物性预测评估极具说服力。
写作质量: ⭐⭐⭐⭐⭐ 物理传热学理论推导扎实严密，公式定义清晰，框架图与实验设计自洽。
价值: ⭐⭐⭐⭐⭐ 在智慧城市数字孪生、建筑能耗智能评估、自动驾驶夜视仿真等领域具有重大的实用落地价值。

模型配置	\(L_{edge}\)	\(L_{smooth}\)	\(L_{physical}\)	\(L_{ode}\)	\(L_{pinn}\)	PSNR (dB) ↑	SSIM ↑	温度 MAE (℃) ↓	结论说明
w/o \(L_{pinn}\)	✓	✓	✓	✓		31.17	0.957	1.147	缺少微分约束，温变率失真，误差升至 1.147℃
w/o \(L_{edge}\)		✓	✓	✓	✓	31.27	0.957	1.163	边缘结构模糊，地物边界误差增大
w/o \(L_{smooth}\)	✓		✓	✓	✓	31.33	0.956	1.147	缺少平滑约束，时序温度局部出现剧烈跳动
w/o \(L_{physical}\)	✓	✓		✓	✓	31.42	0.956	1.175	缺失物性正则化，易导致病态解，MAE 恶化最大
w/o \(L_{ode}\)	✓	✓	✓		✓	31.42	0.956	1.133	缺少连续轨迹积分约束，长期误差发散
完整模型 (Full)	✓	✓	✓	✓	✓	31.83	0.960	0.932	全面引入物理约束，温度误差成功控制在 1℃ 内