SupIR-GS: Thermal Infrared Super-Resolution Novel View Synthesis with Imaging-Calibrated 3D Gaussian Splatting

会议: ECCV 2026
论文: ECCV 原文
领域: 3D 视觉
关键词: 热红外成像, 3D高斯泼溅, 超分辨率, 新视角合成, 成像退化标定

一句话总结

针对热红外成像中热扩散导致几何模糊与传感器硬件噪声引发“信噪比倒置”的核心难题，SupIR-GS 提出首个结合成像标定的超分辨率 3D 高斯泼溅框架，通过物理可微标定层解耦硬件噪声、强度条件色调适配器激活平坦纹理对比度，并借助频域感知渐进式学习由粗到精恢复精细高频热边界。

研究背景与动机

热红外（TIR）成像通过捕获长波红外辐射反映场景的温度场分布，在暗光、烟雾及恶劣全天候感知、自动驾驶与工业无损检测中展现出不可替代的物理鲁棒性。然而，受限于半导体制造工艺和物理光学衍射极限，非制冷微测辐射热计（uncooled microbolometer）热红外探测器的空间分辨率通常极低。当研究人员尝试将神经辐射场（NeRF）和 3D 高斯泼溅（3DGS）等连续辐射场表征迁移到低分辨率热红外多视角观测时，遭遇了严重的几何-辐射二义性瓶颈。

造成这一困境的深层物理机理在于热红外成像特有的“信噪比倒置”（signal-to-noise ratio inversion）现象。一方面，物体表面热传导、热扩散以及大气散射衰减抹平了场景的真实物理边界，使原本锐利的几何轮廓退化为低对比度的低频平滑过渡；另一方面，传感器制造缺陷导致的非均匀响应（NUR）和固定图案噪声（FPN）却在成像平面引入了强烈、结构化的伪高频网格纹理。标准 3DGS 在以光度误差驱动优化时，不可避免地陷入局部极小值——将传感器的高频噪声错误当作微小几何结构，过度分裂并增殖出大量悬浮漂浮物（floaters）；而在缺乏高频纹理的平坦热区，高斯基元又因梯度匮乏发生几何塌缩。直接借用可见光 3D 超分辨率方法（如 SRGS）或 2D 图像超分辨率先验，往往误将硬件噪声强化为虚假 3D 结构，且难以保证跨视角几何一致性。

本文的核心 idea 是：将 3D 高斯作为连续物理辐射场在目标高分辨率网格上原生渲染，通过可微的前向物理成像标定链与局部色调适配将潜空间辐射与传感器退化精确解耦，并以频域感知渐进学习策略自适应引导由低频几何骨干至高频真实热边界的稳定演进。

方法详解

整体框架

SupIR-GS 建立了一套正向成像物理退化与连续辐射场逆向优化协同的端到端框架。输入为多视点低分辨率热红外图像序列 \(\{I_v^{lr}\}\)。模型首先在目标高分辨率采样网格 \(\Omega^{hr}\)（查询点数是输入的 \(r^2\) 倍，\(r\) 为超分辨率倍率）上对连续 3D 高斯基元进行光栅化，原生渲染出理想的潜在高分辨率无退化热辐射图像 \(I_{base}\)。随后，这一理想渲染结果依次穿过由物理约束红外成像标定（PhysIR-Cal）构成的可微退化层与轻量级强度条件色调适配器（IRTone-Adapter），精准仿真传感器固有的非均匀响应、加性偏置、镜头径向渐晕以及局部对比度压缩，得到校准后的预测图像 \(I_{pred}\)。在监督信号反向传播过程中，几何更新与高斯致密化分裂被限制在去除传感器伪影后的真实辐射域；同时，频域感知渐进式学习模块引入预训练超分辨率教师网络的结构先验，配合置信度空间加权掩膜与余弦退火调度，平滑推动几何重构由宏观低频结构向微观高频热边缘演化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角低分辨率热红外输入序列<br/>多视点观测与高密度超分辨率采样网格"] --> B["分辨率无关3D高斯连续辐射场渲染<br/>连续3D高斯基元原生栅格化输出无退化高分辨率辐射图"]
    B --> C["物理约束红外成像标定<br/>参数化空间增益偏置场与径向渐晕解耦NUR与FPN硬件噪声"]
    C --> D["强度条件色调适配器<br/>轻量MLP预测有界局部仿射残差增强平坦区温度梯度"]
    D --> E["频域感知渐进式学习策略<br/>教师先验置信度动态加权高频残差与余弦退火渐进优化"]
    E --> F["超分辨率高质量热红外新视角合成<br/>精确几何边界与物理温度保真度输出"]

关键设计

1. 物理约束红外成像标定：解耦传感器非均匀响应与固定图案噪声

非制冷微测辐射热计普遍存在像元响应不一致性（NUR）与固定图案条纹噪声（FPN），若直接在像素级拟合噪声，极易在低信噪比下发生过拟合，导致 3D 高斯基元严重偏离几何表面。为此，PhysIR-Cal 模块构建了一个参数高效的可微前向成像标定层，显式建模传感器的系统性物理畸变。模块设置了两个低分辨率的可学习栅格参数 \(G_{grid}, B_{grid} \in \mathbb{R}^{16 \times 16}\)，通过双线性插值上采样至目标分辨率，并经过 \(\tanh(\cdot)\) 非线性激活函数限定动态范围，分别表征乘性增益场 \(G\) 与加性偏置场 \(B\)。针对红外光学镜头特有的光线衰减，引入可学习参数 \(a_2, a_4\) 的四阶径向渐晕函数 \(V(r) = \exp(a_2 r^2 + a_4 r^4)\)，其中 \(r\) 为归一化径向距离。对于 3DGS 渲染出的理想辐射图 \(I_{base}\)，标定辐射强度定义为：

\[I_{calib} = \big[I_{base} \cdot (1 + G) + B\big] \cdot V\]

针对热像仪常见的单帧直方图拉伸或自动增益控制（AGC），模块进一步在 logit 域引入单调色调映射：\(I_{phy} = \sigma\big(s_k \cdot \text{logit}(\tilde{I}_{calib}) + t_k\big)\)，其中 \(s_k, t_k\) 是第 \(k\) 帧的增益与偏移，\(\tilde{I}_{calib}\) 为数值稳定裁剪后的强度。通过这一物理标定层，系统将高频硬件噪声吸收至可微参数网格中，彻底屏蔽其向 3D 高斯几何位置与协方差的虚假梯度回传，为后续的高斯致密化分裂提供了干净的跨视角结构依据。

2. 强度条件色调适配器：局部仿射残差调制激活潜在温度梯度

热红外图像受窄动态范围限制，背景与非发热区域的像素强度高度扁平，缺乏纹理变化。在这些纹理稀疏区域，重投影光度误差产生的梯度极其微弱且不稳定，无法驱动高斯基元细化亚像素级微小结构；而盲目进行全局对比度拉伸又会放大传感器底噪。IRTone-Adapter 采用轻量级两层 MLP 结构（隐层通道 64），接收渲染强度 \(I_{in}(p)\) 作为条件输入，逐像素预测局部自适应乘性增益残差 \(\delta_m\) 与加性偏置残差 \(\delta_o\)：

\[[\delta_m, \delta_o] = \Phi_{tone}\big(\text{mean}(I_{in}(p)); \theta_{tone}\big)\]

\[I_{pred}(p) = I_{in}(p) \cdot \big(1 + \lambda_m \tanh(\delta_m)\big) + \lambda_o \tanh(\delta_o)\]

为了杜绝色调映射过强而掩盖三维几何误差（即通过激进的颜色重映射代替准确的几何拟合），算法将超参数严格约束为 \(\lambda_m = 0.08, \lambda_o = 0.04\)，将乘性和加性扰动硬性截断在 \(\pm 8\%\) 和 \(\pm 4\%\) 的窄阈值内。这种有界局部仿射变换温和地拉开低对比度平坦区域的潜在温度梯度，使高斯光栅化能够产生足够灵敏且方向一致的梯度更新流。

3. 频域感知渐进式学习策略：置信度掩膜与余弦退火引导由粗到精重构

由于热扩散的物理模糊，低分辨率输入中的高频边缘往往真假难辨。若盲目引入通用 2D 超分辨率模型（如 SwinIR）的高频细节，模型容易受到单视角幻觉与伪影的干扰。该策略首先利用预训练 SwinIR 教师网络输出 \(I_{teacher}\) 与双线性上采样观测 \(I_{up}\)，在像素值与空间梯度两个维度共同构建置信度空间加权掩膜 \(W_{conf}\)：

\[W_{conf}(\mathbf{p}) = \exp\Big(-\gamma_p |I_{teacher}(\mathbf{p}) - I_{up}(\mathbf{p})| - \gamma_g \|\nabla I_{teacher}(\mathbf{p}) - \nabla I_{up}(\mathbf{p})\|_1\Big)\]

该指数映射确保仅当教师网络的输出在低频宏观结构和边缘梯度上与原始低分辨率观测严格吻合时，\(W_{conf}(\mathbf{p})\) 才逼近 1，从而滤除因跨模态幻觉产生的不一致高频。高频残差损失定义为经过平均池化差值高通滤波器 \(H(\cdot)\) 后的加权 \(\ell_1\) 范数：

\[\mathcal{L}_{hf} = \frac{1}{N} \sum_{\mathbf{p}} W_{conf}(\mathbf{p}) \, \big|H(I_{pred}(\mathbf{p})) - H(I_{teacher}(\mathbf{p}))\big|\]

在训练时间步 \(t\) 上，高频权值 \(\lambda_{hf}(t)\) 遵循余弦渐增策略（Cosine Ramp-up），在优化初期保持为 0，使网络纯粹依赖光度与结构相似度（SSIM）拟合出稳定的低频宏观几何骨架；在中后期（总步数 65% 至 95%），\(\lambda_{hf}(t)\) 沿平滑余弦曲线逐步升至预设极值，安全注入真实几何边缘的高频细节，避免早期优化方向被高频梯度带偏。

损失函数 / 训练策略

整个优化过程在 30,000 次迭代中端到端进行。总体训练目标由光度重构损失、结构相似度损失、置信度加权高频残差损失以及正则化项共同组成：

\[\mathcal{L}_{total} = \mathcal{L}_{pix} + \lambda_{ssim}\mathcal{L}_{ssim} + \lambda_{hf}(t)\mathcal{L}_{hf} + \mathcal{R}_{cal} + \mathcal{R}_{tone}\]

其中，光度误差 \(\mathcal{L}_{pix}\) 结合 \(\ell_1\) 距离；\(\mathcal{L}_{ssim}\) 保持宏观几何结构的一致性；\(\mathcal{R}_{cal}\) 和 \(\mathcal{R}_{tone}\) 分别为退化标定场与色调适配器的正则化项，权重分别设为 \(\lambda_{cal} = 5 \times 10^{-4}\) 和 \(\lambda_{tone} = 10^{-3}\)，防止标定参数过度漂移。SwinIR-S 教师网络仅在训练前用于离线生成高频伪标签与置信度掩膜，在实际训练和推理渲染阶段均不引入计算显存负担。

实验关键数据

主实验

评估在 TI-NSD（20 个场景，覆盖室内、室外与无人机俯拍）和 ThermoScenes（10 个场景，含室内大温度梯度目标与室外建筑立面）两个真实热红外数据集上开展，输入统一为 \(4\times\) 双三次下采样退化序列。

表 1：TI-NSD 数据集上 4× 超分辨率新视角合成定量对比

方法	室内 SSIM↑	室内 PSNR↑ (dB)	室内 LPIPS↓	室外 SSIM↑	室外 PSNR↑ (dB)	室外 LPIPS↓	UAV SSIM↑	UAV PSNR↑ (dB)	UAV LPIPS↓
Bicubic + 3DGS	0.9222	31.16	0.3095	0.8466	27.47	0.3311	0.8399	29.26	0.3127
Lanczos + 3DGS	0.9237	31.04	0.3085	0.8375	26.94	0.3360	0.8444	29.39	0.3069
DifIISR + 3DGS	0.9278	30.45	0.3097	0.8453	26.77	0.3235	0.8449	28.96	0.2899
3DGS (4×)	0.9060	28.23	0.3147	0.7825	21.86	0.3491	0.7555	23.37	0.3562
Thermal3DGS (4×)	0.9154	30.15	0.3117	0.7852	23.36	0.3418	0.7287	23.40	0.3733
Mip-Splatting (4×)	0.9232	30.63	0.3020	0.8280	25.37	0.3304	0.8582	29.92	0.2786
Scaffold-GS (4×)	0.9145	28.70	0.3077	0.7998	22.05	0.3331	0.7405	21.64	0.3612
SRGS	0.9312	32.09	0.2765	0.8701	27.38	0.2790	0.9078	31.78	0.2014
Ours (SupIR-GS)	0.9455	34.81	0.2597	0.9066	29.94	0.2336	0.9428	34.24	0.1453

表 2：ThermoScenes 数据集上定量对比与温度保真度评估（含平滑性偏差分析）

方法	室内 SSIM↑	室内 PSNR↑ (dB)	室内 LPIPS↓	室内 MAE↓	室内 \(\text{MAE}_{roi}\)↓	室外 SSIM↑	室外 PSNR↑ (dB)	室外 LPIPS↓	室外 MAE↓	室外 \(\text{MAE}_{roi}\)↓
Bicubic + 3DGS	0.9650	31.19	0.0415	0.3536	1.6318	0.9663	30.24	0.1577	0.6166	0.5411
Lanczos + 3DGS	0.9665	30.73	0.0414	0.3574	1.7223	0.9686	30.54	0.1555	0.7988	0.7441
DifIISR + 3DGS	0.9486	28.95	0.0530	0.7947	1.9993	0.9617	29.21	0.1636	1.1811	1.1606
3DGS (4×)	0.9612	29.23	0.0556	0.3581	2.0971	0.9238	25.71	0.2164	0.8346	0.7380
Thermal3DGS (4×)	0.9122	27.17	0.0504	0.8558	2.1585	0.9201	23.92	0.2205	1.8974	2.0263
Mip-Splatting (4×)	0.9662	30.59	0.0476	0.3685	1.8094	0.9585	29.83	0.1659	0.7149	0.6316
Scaffold-GS (4×)	0.9656	28.93	0.0545	0.3219	2.1495	0.9315	26.45	0.1998	0.6888	0.6311
SRGS	0.9537	29.84	0.0454	0.4048	2.1793	0.9679	30.76	0.1472	0.6619	0.5969
Ours (SupIR-GS)	0.9672	31.32	0.0438	0.3368	1.7903	0.9662	30.40	0.1546	0.7957	0.7329

消融实验

表 3：核心模块逐步递进消融分析（TI-NSD 数据集）

配置编号	PhysIR-Cal	IRTone-Adapter	Frequency-Aware	室内 SSIM↑	室内 PSNR↑ (dB)	室内 LPIPS↓	室外 SSIM↑	室外 PSNR↑ (dB)	室外 LPIPS↓	UAV SSIM↑	UAV PSNR↑ (dB)	UAV LPIPS↓
(1) 基线	×	×	×	0.9312	32.086	0.2765	0.8701	27.381	0.2790	0.8888	30.291	0.2299
(2) 孤立调色	×	✓	×	0.9400	31.700	0.2920	0.8655	27.202	0.2836	0.8988	30.860	0.2087
(3) 孤立频域	×	×	✓	0.9354	32.281	0.2662	0.8727	27.263	0.2680	0.9121	31.550	0.1868
(4) 调色+频域	×	✓	✓	0.9401	32.936	0.2638	0.8925	28.514	0.2491	0.9231	32.203	0.1745
(5) 仅物理标定	✓	×	×	0.9420	33.692	0.2837	0.8795	28.449	0.2681	0.9118	32.218	0.1928
(6) 标定+频域	✓	×	✓	0.9453	34.276	0.2788	0.9031	29.800	0.2377	0.9305	33.142	0.1668
(7) 完整 Ours	✓	✓	✓	0.9455	34.806	0.2597	0.9066	29.935	0.2336	0.9320	33.326	0.1653

关键发现

1. 模块物理协同的因果次序：消融表明，孤立开启 IRTone-Adapter 反而导致室内 PSNR 下降 0.39 dB，因为在未标定传感器噪声前，对比度拉伸会同等放大 FPN 和 NUR 伪影；类似地，孤立开启 Frequency-Aware 约束在室外场景引起 0.12 dB 掉点，这是由于噪声与真实结构产生剧烈梯度冲突。只有当 PhysIR-Cal 率先解耦底层噪声并构建洁净的低频骨架后（PSNR 直接提升 1.61~1.93 dB），色调增强与频域先验才能释放正向收益，全模块协同带来超过 2.5 dB 至 3.0 dB 的显著性能跃升。
2. 平滑性偏差（Smoothness Bias）现象：在 ThermoScenes 室外大面积平坦温场背景中，传统的 2D 插值方法（Bicubic+3DGS、Lanczos+3DGS）通过彻底抹平高频结构产生极度平滑的图像，在全局像素均方误差指标上占优。然而视觉对比证明其建筑门窗轮廓全部损失；而 SupIR-GS 能够准确剥离硬件条纹并重现锐利边界，在表征几何感知的 LPIPS 与感兴趣发热区域温差指标（\(\text{MAE}_{roi}\)）上展现出真正符合物理规律的优越性。
3. 极佳的推理效率与显存占用：在单张 RTX 3080 上，SupIR-GS 训练耗时 16.42 分钟，由于推理阶段完全丢弃教师网络与标定层、直接利用高精 3D 高斯基元进行光栅化，其渲染速度高达 381.10 FPS，峰值显存仅为 2792 MB，运行效率显著优于 3DGS（276.36 FPS / 3580 MB）和 SRGS（313.75 FPS / 3484 MB）。

亮点与洞察

• 硬件退化解耦机制：巧妙地将低分辨率可学习参数网格作为可微前向物理标定层引入辐射场优化，成功化解了热红外成像特有的“信噪比倒置”困境，避免了传统方法将 FPN 误重构为空间漂浮物的通病。
• 有界局部仿射调色：利用轻量 MLP 动态感知强度并受限在 \(\pm 8\%\) 增益与 \(\pm 4\%\) 偏置内微调局部色调，在不破坏全局物理测温一致性的前提下激活了平坦区域的关键重投影梯度。
• 双模态置信度驱动的频域退火：结合强度与梯度双重一致性构建动态置信度掩膜，辅以余弦时间退火，既高效利用了可见光预训练教师网络的边缘先验，又杜绝了 2D 幻觉对多视角几何连续性的破坏。

局限与展望

• 极端动态温变场景适应性：当前假设场景内的物体处于热平衡稳态；若在观测过程中发生剧烈的物体移动摩擦生热或流体快速散热，静态 3D 高斯表征与固定的时间色调标定将面临失准。
• 先验教师模型的跨谱系偏差：置信度评估仍然依赖基于可见光/合成红外微调的 2D 图像恢复网络（SwinIR），对于极度不符合自然图像统计特征的特殊红外工业缺陷场景，教师先验的指导效能可能降低。
• 未来改进方向：可进一步将瞬态传热微分方程作为物理正则项嵌入 3DGS 优化过程，实现真正面向时空动态变温场的 4D 热红外辐射场超分辨率重建。

相关工作与启发

• vs SRGS：SRGS 专为可见光设计，默认图像高频响应即为有效纹理和边缘；而 SupIR-GS 首次揭示并解决了热红外中的“信噪比倒置”挑战，通过 PhysIR-Cal 在高斯优化前滤除伪高频，不仅消除了大量漂浮物伪影，更在各类场景上实现 2.5~2.7 dB 的 PSNR 稳定超频。
• vs Thermal3D-GS：Thermal3D-GS 虽然引入了红外物理约束，但在低分辨率下依然直接将带噪观测用于光度监督，导致高斯基元过度拟合条纹噪声；SupIR-GS 通过超分辨率原生高密度采样与前向退化链对齐，从底层保障了几何与辐射场的解耦。
• vs 2D 超分辨率级联方案（DifIISR + 3DGS）：单纯使用 2D 扩散超分辨率模型对输入逐帧预处理再训练 3DGS 会引入跨视角几何不一致的伪影；SupIR-GS 将超分辨率直接约束在连续 3D 空间，保证了严格的多视角几何一致性与实时渲染帧率。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次针对热红外信噪比倒置提出成像标定与 3D 高斯超分协同机制，物理直觉与设计极其扎实。
• 实验充分度: ⭐⭐⭐⭐⭐ 在 TI-NSD 与 ThermoScenes 多数据集上进行了详尽的主客观测试、温度保真度评估与消融实验。
• 写作质量: ⭐⭐⭐⭐⭐ 物理机理推导严谨，图表结构清晰完整，逻辑链条层层递进。
• 价值: ⭐⭐⭐⭐⭐ 为全天候恶劣条件感知、无人机巡检与工业级 3D 测温重建提供了极具实用价值的高保真解决方案。

相关论文

• [ECCV 2024] Thermal3D-GS: Physics-induced 3D Gaussians for Thermal Infrared Novel-view Synthesis
• [ECCV 2026] Nexels: Neurally-Textured Surfels for Real-Time Novel View Synthesis with Sparse Primitives
• [ECCV 2026] RefracGS: Novel View Synthesis Through Refractive Water Surfaces with 3D Gaussian Ray Tracing
• [ECCV 2026] ViewSplat: View-Adaptive 3D Gaussian Splatting for Feed-Forward Synthesis
• [ECCV 2026] DF3DV-1K: A Large-Scale Dataset and Benchmark for Distractor-Free Novel View Synthesis