PRISM: Rethinking Atmospheric Scattering Reconstruction as a Unified Understanding and Restoration Model for Real-world Dehazing

会议: NeurIPS 2026
arXiv: 2604.07048
OpenReview: https://openreview.net/forum?id=WY2sSyJM2Y
代码: https://github.com/cnyvfang/PRISM
领域: 图像恢复
关键词: 真实场景图像去雾, 大气散射模型, 近端算子展开, 质量门控自蒸馏, 物理残余雾审计

一句话总结

PRISM 将真实场景去雾重构为物理引导的近端算子展开模型（PSAR），联合重建空间变化的大气光场、透射率和无雾场景辐射度，并结合在线非均匀雾合成与质量门控自蒸馏及物理残余雾审计（SSDA），在无成对真实数据的真实去雾任务上实现高质量恢复。

研究背景与动机

真实场景图像去雾（Real-world Image Dehazing, RID）是智能交通、遥感成像和室外摄影的核心基础预处理任务。然而在野外真实场景中，雾气浓度高度空间非均匀，并伴随着由局部车灯、建筑物窗光或彩色滤光导致的复杂空间变化色偏，叠加相机噪声与压缩伪影，使得从单张观测图像恢复清晰场景辐射度极其病态。

现有学习方法大多将去雾视为直接的端到端“有雾到清晰”黑盒映射网络，缺乏对物理退化过程的显式建模，容易在极端浓雾或天空区域产生伪影；而基于经典大气散射模型（Atmospheric Scattering Model, ASM）的传统方法或浅层网络，通常采用“先估计透射率与全局大气光、再代入公式求辐射度”的分步级联管线，不仅将物理散射变量视为孤立的副产物，且普遍假设大气光为全局恒定标量，无法建模真实世界中的非均匀光照与色偏。尽管近端梯度展开网络（如 PDN、CORUN）尝试将优化算法与物理模型耦合，但仍局限于全局恒定大气光或脆弱的重组策略。与此同时，缺乏成对真实有雾/清晰图像迫使模型依赖合成数据，而传统合成雾均匀单一，在无监督自蒸馏迁移到真实域时，教师网络产生的伪标签噪声极易累积并导致模型崩溃。

面对物理建模不全与真实域自适应伪标签噪声的双重挑战，本文的切入角度是：必须将去雾建模为物理联合重建优化问题，同时利用模型自身学得的散射物理先验来反向约束无监督域自适应。核心 idea：提出近端散射大气重建框架（PSAR），将大气光、透射率和清晰场景全流程建模为空间场并推导闭式近端更新；并提出选择性自蒸馏自适应机制（SSDA），由多指标质量门控过滤伪标签，并利用教师网络对透射率进行残余雾物理审计以指导自精炼。

方法详解

整体框架

PRISM 由两大部分构成：第一阶段是基于优化算法展开的物理结构化主干 PSAR（Proximal Scattering Atmosphere Reconstruction），在大气散射模型下交替计算大气光场 \(A\)、透射率场 \(T\) 和场景辐射度 \(J\) 的解析近端更新，并辅以轻量级残差精炼模块，配合在线非均匀雾合成算法进行预训练；第二阶段是面向无配对真实图像的选择性自蒸馏自适应（SSDA）方案，包含质量门控自蒸馏（QGSD）与基于物理散射的残余雾审计正则化（PGSR）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入有雾图像 P(x)"] --> Synth["阶段1：在线非均匀雾合成预训练<br/>深度自适应扰动生成 (P, T_gt, A_rend)"]
    Synth --> PSAR["阶段1：PSAR 物理近端展开网络<br/>多阶段交替更新 A_k, T_k, J_k"]
    PSAR --> SSDA["阶段2：选择性自蒸馏自适应 (SSDA)<br/>弱增强送入 EMA 教师，强增强送入学生"]
    SSDA --> QGSD["1. 质量门控自蒸馏 (QGSD)<br/>MUSIQ 与 NIMA 双指标严格交集门控"]
    SSDA --> PGSR["2. 物理残余雾审计 (PGSR)<br/>教师网络反查透射率并施加方向铰链损失"]
    QGSD --> Out["输出高质量无雾清晰图像 J(x)"]
    PGSR --> Out

关键设计

1. 空间变化大气光场与交替闭式近端算子展开 经典大气散射方程为 \(P(x) = T(x)J(x) + (1-T(x))A(x)\)。传统方法将大气光 \(A\) 简化为全局常数标量，导致非均匀光照与环境色偏被迫吸收进场景辐射度 \(J(x)\) 导致严重失真。PSAR 将 \(A(x) \in \mathbb{R}^3\) 提升为空间变化场，并在每个展开阶段 \(k\) 最小化包含二次保真项和近端置信区域的数据目标：

\[\mathcal{D}(J,T,A) = \frac{1}{2}\sum_x \|P(x) - T(x)J(x) - (1-T(x))A(x)\|_2^2\]

在第 \(k\) 阶段，固定 \(J_{k-1}\) 与 \(T_{k-1}\)，对 \(A(x)\) 求偏导并置零，推导出全局有界的闭式近端解：

\[\bar{A}_k(x) = \frac{(1-T_{k-1}(x))(P(x) - J_{k-1}(x)T_{k-1}(x)) + \lambda_A A_{k-1}(x)}{(1-T_{k-1}(x))^2 + \lambda_A}\]

由于大气光主要反映低频光照与色偏，PSAR 直接令 \(A_k = \bar{A}_k\) 而不引入可学习精炼，防止参数冗余和误差放大；随后固定 \(A_k\) 与 \(J_{k-1}\)，解出透射率近端解 \(\bar{T}_k(x)\) 并经轻量级 U-Net 模块 \(f_T^{(k)}\) 修正得到 \(T_k\)；最后固定 \(A_k\) 与 \(T_k\)，求解关于场景辐射度 \(J(x)\) 的闭式解析解 \(\bar{J}_k(x)\) 并经 \(f_J^{(k)}\) 精炼得到 \(J_k\)。整套更新步骤均为解析形式，保证了严格的物理一致性。

2. 在线非均匀雾场生成管道 针对合成雾过于均匀且缺乏真实景深多样性的瓶颈，PRISM 设计了无需预先离线生成的在线非均匀雾合成算法。给定清晰图像 \(J_{gt}\) 和归一化深度图 \(D\)，算法以概率 \(p\) 采样低频二维高斯平滑噪声 \(z_0\)，构造非均匀散射系数空间扰动场 \(\Delta\beta = \mathcal{S}(G_{\sigma_1} * \mathcal{U}(G_{\sigma_0} * z_0))\)，使最终散射系数 \(\beta(x) = \beta_{\text{init}} + \Delta\beta(x)\) 具备空间异质性。同时，通过引入可控的前景近相距偏置 \(d_0 = -\log(1-h_{\text{near}})/(\beta_{\text{init}}+\varepsilon)\)，生成景深相关的真值透射率：

\[T_{gt}(x) = \exp(-\beta(x)[(1-D(x)) + d_0])\]

该算法在线随机混入色偏大气光 \(A_{\text{rend}}\) 与压缩噪声，使预训练模型在进入真实域前便具备应对局部厚雾与颜色漂移的适应能力。

3. 质量门控自蒸馏自适应（QGSD） 将合成域模型迁移至无成对标注的真实有雾数据集（如 RESIDE-URHI）时，常规 Mean-Teacher 自蒸馏极易因教师预测错误而产生伪标签确认偏差。QGSD 引入了无参考图像质量评价（NR-IQA）多指标严格交集检验。选取评估多尺度视觉质量的 MUSIQ 和评估高层美学评分的 NIMA 构成指标集合 \(\Omega = \{\text{MUSIQ}, \text{NIMA}\}\)，定义二值更新门控掩码：

\[\mathcal{M} = \prod_{i=1}^N \mathbb{I}(\mathcal{Q}_i(J_{\text{ema}}) \succ \mathcal{Q}_i(J_\theta))\]

仅当 EMA 教师网络在所有选定质量指标上均严格优于当前学生网络时，才允许伪标签反传梯度：

\[\mathcal{L}_{\text{distill}} = \mathcal{M} \cdot \left( \|J_\theta - \text{sg}(J_{\text{ema}})\|_1 + \lambda_c \frac{d(J_\theta, \text{sg}(J_{\text{ema}}))}{d(J_\theta, P_s) + \epsilon} \right)\]

这种保守的门控机制从源头上阻断了退化或带有严重伪影的伪标签对学生网络的负迁移。

4. 物理残余雾审计与亮度-大气光感知正则化（PGSR） 外部感知质量指标只能评价图像视觉外观，无法评估潜在的残留雾气。PRISM 创新性地利用模型自身的物理逆过程实现内部物理闭环：将学生去雾输出 \(J_\theta\) 重新输入稳定的 EMA 教师网络 \(\mathcal{F}_{\text{ema}}\) 估算物理变量 \((\hat{J}_{\text{ema}}, \hat{T}_{\text{ema}}, \hat{A}_{\text{ema}}) = \mathcal{F}_{\text{ema}}(J_\theta)\)。理想无雾图像对应的透射率 \(\hat{T}_{\text{ema}}\) 应趋近于 1。

为了避免在平滑过曝或高光天空区域由于散射先验失效而产生色彩畸变，模型构造了亮度与大气光感知加权图 \(W_{\text{BAW}} = \max(W_{\text{dist}}, W_{\text{tex}}) \odot W_{\text{dist}} \odot W_{\text{high}}\)，其中 \(W_{\text{dist}} = \mathcal{S}(\frac{1}{3}\sum_c |J_\theta^c - \hat{A}_{\text{ema}}^c|)\) 为色彩区分度门控，\(W_{\text{high}} = 1 - \mathcal{S}(\max_c J_\theta^c)\) 剔除过曝高光区。随后对估计透射率施加松弛目标值（\(T_{\text{target}}=0.9\)）的方向铰链损失：

\[\mathcal{L}_{\text{prior}} = \frac{1}{\|W_{\text{BAW}}\|_1 + \epsilon} \sum \left( W_{\text{BAW}} \odot \max(0, T_{\text{target}} - \hat{T}_{\text{ema}}) \right)\]

这使得模型只在结构可靠、非过曝的真实场景区域定向惩罚残留雾，实现了无监督微调阶段的物理自洽。

损失函数 / 训练策略

训练分为两个阶段： 1. 预训练阶段：在 RIDCP 合成数据集上优化总损失 \(\mathcal{L}_{\text{total}} = \|J - J_{gt}\|_1 + \|T - T_{gt}\|_1 + \lambda_A^{\text{tv}} \sum_x \|\nabla A(x)\|_1 + \lambda_c \frac{d(J, J_{gt})}{d(J, P) + \epsilon} + \lambda_{\text{adv}} \mathcal{L}_{\text{adv}}(J)\)，其中 \(\lambda_A^{\text{tv}} = \lambda_c = \lambda_{\text{adv}} = 0.5\)。采用 AdamW 优化器，展开阶段数 \(k=4\)，在 4 块 NVIDIA A100 GPU 上训练 35K 次迭代，初始学习率 \(2 \times 10^{-4}\)，在 20K 次时减半。 2. 适应阶段（SSDA）：在无标签的真实数据集 RESIDE-URHI（4,807 张无配对真实有雾图像）上优化 \(\mathcal{L}_{\text{adapt}} = \mathcal{L}_{\text{distill}} + \mathcal{L}_{\text{prior}} + \lambda_A^{\text{tv}} \sum_x \|\nabla A(x)\|_1\)。学习率固定为 \(2 \times 10^{-5}\)，精炼微调 1.5K 次迭代。

实验关键数据

主实验

在代表性真实世界去雾基准 RTTS（无配对测试集）及跨数据集 Fattal 上进行定量测试，主要对比物理模型（CORUN、PDN）、自适应模型（PSD、DAD、CoA）及生成流模型（HazeFlow）。

数据集	指标	PRISM (本文)	之前 SOTA (HazeFlow / CORUN)	表现分析
RTTS	FADE ↓	0.470	0.583 (HazeFlow) / 0.824 (CORUN)	显著降低残余雾密度，去雾更彻底
RTTS	PAQ2PIQ ↑	74.05	72.96 (HazeFlow) / 72.95 (CORUN)	感知图像质量全面领先
RTTS	CLIPIQA ↑	0.456	0.437 (HazeFlow) / 0.450 (CORUN)	自然度与文本对齐质量优异
Fattal's	FADE ↓	0.225	0.264 (HazeFlow) / 0.338 (CORUN)	跨数据集域泛化性能突出
Fattal's	PAQ2PIQ ↑	76.86	76.44 (HazeFlow) / 76.28 (CORUN)	图像保真度最高
Fattal's	CLIPIQA ↑	0.590	0.549 (HazeFlow) / 0.564 (CORUN)	泛化自然度大幅超越基线

在有真实配对的非均匀雾数据集 NH-HAZE 上的全参考评估中，PSAR 达到 20.10 dB PSNR 与 0.688 SSIM，显著超过 DehazeDDPM（19.44 dB / 0.627）与 FFANet（18.48 dB / 0.618）。此外在补充实验的四项无参考指标（NIMA, MUSIQ, ManIQA, LIQE）中，PRISM 同样在 RTTS 上获得最高分（MUSIQ 达到 70.02，LIQE 达到 3.569）。

消融实验

消融实验系统性验证了架构设计、展开阶段数、合成策略与 SSDA 机制的有效性：

配置	FADE ↓	PAQ2PIQ ↑	CLIPIQA ↑	说明
PRISM (Full model)	0.470	74.05	0.456	完整模型（PSAR + 在线非均匀合成 + SSDA）
PSAR (仅预训练模型)	0.869	70.43	0.436	未经 SSDA 真实域自适应的基线
w/o non-uniform haze	0.955	69.84	0.395	替换为传统均匀合成雾，特征泛化退化明显
w/o \(f_J^{(k)}\)	1.404	60.92	0.259	去掉场景辐射度精炼模块，指标全面严重崩塌
w/o \(f_T^{(k)}\)	0.875	71.01	0.380	去掉透射率精炼模块，去雾彻底度与自然度下降
w/ \(f_A^{(k)}\)	0.885	70.56	0.356	为大气光增加可学习精炼，参数过载放大误差导致退化
w/o spatial \(A\) (全局常量)	0.927	70.31	0.381	大气光退化为全局常量标量，无法应对空间色偏
PSAR 阶段数 \(k=1\)	0.998	70.11	0.355	展开轮数过少，优化未充分收敛
PSAR 阶段数 \(k=2\)	0.931	70.52	0.408	展开阶段增加带来逐步收益
PSAR 阶段数 \(k=6\)	0.840	70.68	0.370	6 阶段收益趋于饱和且优化复杂度增大，选 \(k=4\) 最佳
PRISM w/o QGSD	0.549	73.19	0.442	移除质量门控自蒸馏，易受退化伪标签噪声干扰
PRISM w/o PGSR	0.652	73.04	0.463	移除残余雾物理审计，FADE 急剧恶化（残雾残留明显）

关键发现

1. 辐射度与大气光更新形式的非对称性至关重要：消融表明，为 \(J\) 和 \(T\) 配置轻量残差精炼模块是必不可少的（去掉 \(f_J\) 导致 FADE 暴跌至 1.404），但为 \(A\) 添加学习精炼反而会掉点。由于大气光承载低频色偏背景，解析算子更新配合 TV 空间平滑能维持稳定性，而过度参数化会导致无约束的特征混淆。
2. PGSR 与 QGSD 形成外在感知与内在物理的双重制衡：去掉 PGSR 后 CLIPIQA 虽略有提升（说明纹理被过度平滑减弱），但 FADE 从 0.470 恶化至 0.652，表明缺乏物理透射率审计时去雾残留极多；而去掉 QGSD 则使教师网络错误标签直接污染网络。两者配合方能在残雾消除与感知自然度间达成帕累托最优。
3. SSDA 框架具有强大的跨模型泛化性：当将 QGSD 应用于通用去噪网络 DGUNet 时，FADE 从 1.111 改善至 0.940；而当将完整 SSDA 应用于物理去雾模型 CORUN 时，FADE 从 1.044 显著改善至 0.745，验证了其通用的即插即用价值。

亮点与洞察

• 空间自适应闭式近端展开推导：将大气散射物理约束拆解为局部逐像素的凸优化子问题，推导出包含空间变化大气光场、透射率与清晰辐射度的显式代数迭代步，不仅赋予深度网络坚实的物理可解释性，而且无需复杂矩阵求逆。
• “以子之矛攻子之盾”的物理自残雾审计（PGSR）：颠覆了传统自监督仅依赖对比学习或感知损失的思路，利用模型自身能同时估计透射率与场景的天然属性，让冻结的教师模型对预测结果反向推演透射率，把“透射率是否接近 1”转化为天然的物理自监督信号。
• 质量门控的保守交集准则：在无监督域自适应中，采用保守的布尔交集逻辑（MUSIQ 与 NIMA 均严格超越才蒸馏），有效打破了 Mean-Teacher 伪标签自确认偏差（confirmation bias）的恶性循环。

局限与展望

• 极端景深边缘处的局部结构伪影：作者指出在前景物体与远景天空交界的深度不连续边缘处，由于强散射效应与极度对比度缺失交织，偶发轻微的残余雾痕迹或边缘轮廓晕影。
• 物理模型的适用边界：PSAR 深度锚定在标准大气单次散射模型上，对于夜间主动点光源照射、水下光波长差异衰减、雨雪天气等包含高阶复杂散射的场景，当前公式无法直接适用，需进一步扩展多散射物理近似。
• 真实去雾客观评价准则缺失：当前真实去雾领域重度依赖无参考 IQA 指标（如 FADE、CLIPIQA），容易受对比度过度增强或色彩饱和度虚高的影响，未来亟需建立任务驱动（如自动驾驶目标检测率）的下游评测标准。

相关工作与启发

• vs CORUN (Fang et al., NeurIPS 2024): CORUN 同样采用展开网络联合更新透射率和场景，但其假设大气光为全局统一常数，在复杂非均匀真实雾霾下易发生色偏；PRISM 建立了空间变化大气光场解析解，并在域自适应上提出了创新的物理残余雾审计机制。
• vs HazeFlow (Shin et al., ICCV 2025): HazeFlow 将物理过程建模为常微分方程（ODE）并通过扩散/流模型生成，但计算复杂度高且天空区域易产生不真实的紫红色幻觉；PRISM 保持确定性近端展开，结合严格质量门控，有效规避了生成式幻觉。
• vs RIDCP (Wu et al., CVPR 2023): RIDCP 依赖预先训练的离散码本先验，易丢失真实高频细节；PRISM 则从可解释的物理展开架构与在线动态合成切入，在保持物理真实感的同时大幅降低了对特定数据码本的依赖。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 巧妙推导了空间变化大气光场与场景的闭式近端算子，并创新性提出基于自透射率审计的无监督域自适应。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖无参考基准 RTTS、跨数据集 Fattal、真实配对 NH-HAZE 及多项消融实验，泛化评估扎实。
• 写作质量: ⭐⭐⭐⭐⭐ 数学推导严密自洽，架构图与动机层层递进，消融分析细致深刻。
• 价值: ⭐⭐⭐⭐⭐ 为物理引导的图像恢复展开网络与无配对无监督域自适应提供了极具参考价值的范式。

相关论文

• [CVPR 2025] Iterative Predictor-Critic Code Decoding for Real-World Image Dehazing
• [CVPR 2026] Toward Real-world Infrared Image Super-Resolution: A Unified Autoregressive Framework and Benchmark Dataset
• [CVPR 2026] UniSER: A Foundation Model for Unified Soft Effects Removal
• [ICLR 2026] Seeing Through the PRISM: Compound & Controllable Restoration of Scientific Images
• [NeurIPS 2026] Bricker to BRACE: A Bracket Exposure RAW Dataset and Restoration Model for Flicker-Banding