MESS: Multi-Exposure Sequence Synthesis for Generalizable Image Enhancement¶

会议: NeurIPS 2026
arXiv: 2610.24680
代码: https://github.com/PolyU-VCLab/MESS
领域: 图像恢复
关键词: 图像增强, 多曝光序列合成, 扩散生成先验, 离散小波变换, 跨任务泛化

一句话总结¶

针对真实场景图像光照增强模型跨任务泛化能力差及配对训练数据匮乏的问题，MESS提出利用RAW图像构建的相机一致性曝光先验指导扩散生成器，从单张8-bit自然RGB图像合成逼真的多曝光序列，由此构建出500K规模的高质量配对数据集，显著提升了下游轻量级增强网络在低光、曝光校正和逆光增强等多任务上的泛化表现。

研究背景与动机¶

恶劣光照条件（如严重欠曝、过曝以及高对比度逆光）会导致图像细节丢失、对比度受损和色彩严重失真。近年来，学术界针对特定退化场景分别提出了低光照图像增强（LLIE）、曝光校正（EC）和逆光图像增强（BIE）等专用方案，并在各类基准上取得了显著进展。然而，现存大部分增强网络均在单一任务的狭窄数据分布上训练，一旦脱离预设场景进行跨任务或跨数据集测试，往往会出现局部亮度误调、噪点伪影放大或结构模糊等严重泛化缺陷。例如，在低光数据集上表现优异的模型在面对过曝或复杂光照混合场景时，常因先验不匹配而导致整图崩溃。

制约通用光照增强性能的核心瓶颈在于缺乏大规模、高多样性且可靠对齐的真实配对数据。现有的真实采集基准（如 LOLv2、UHD-LL、LSRW、SICE 和 BAID）高度依赖三脚架与静态场景的人工对齐拍摄，规模通常局限在几百到几千组之间，数据采集与对齐成本极高，极难覆盖自然界错综复杂的光照退化模式。虽然合成退化数据被视为打破数据壁垒的重要途径，但现有合成策略在物理真实感与数据规模之间存在尖锐矛盾：一方面，直接在高位深 RAW 域中通过 ISP 模拟曝光调节虽然能保持物理线性真实感，却受限于公开高质量 RAW 图像匮乏的现实，规模难以扩展；另一方面，从海量 8-bit RGB 图像出发、通过逆向拟合 ISP 或 Gamma 扰动合成曝光变化的方案虽具备扩容能力，但由于 8-bit RGB 图像的动态范围早已被截断与压缩，逆向映射本质上严重病态，生成的退化往往缺乏真实相机的物理特性。

为了打破这一僵局，本文探索能否将 RAW 图像中精确的相机曝光变化规律作为监督信号，迁移至海量无约束的野外 RGB 图像上。核心 idea：利用 RAW 图像构建跨风格一致性表征与相机一致性曝光参考作为监督，训练一个基于单步扩散先验与小波仿射调制的 RGB 到多曝光序列（MES）生成器，将高保真曝光变化泛化至 50 万张无约束高质量 RGB 图像中，自动构建大规模配对增强数据。

方法详解¶

整体框架¶

MESS 的核心目标是从单张普通 8-bit RGB 图像 $I_i$ 中，根据指定的归一化目标曝光值 $e_t \in [0, 1]$（对应于 $[-3, +3]$ EV），合成与真实相机成像管线高度一致的多曝光序列（MES）变体 $\hat{I}_t = \mathrm{MESS}(I_i, e_t)$。训练阶段，MESS 依托高位深 RAW 图像渲染得到的跨风格图像对 $\{I_i, I_j\}$ 与相机一致性曝光参考图像 $I_t^\star$ 提供严密监督；推理阶段，MESS 则直接部署于海量自然图像，将合成的曝光退化图作为输入，原始高质量清晰图作为 Ground Truth，构建下游增强配对集。

整个 MESS 模型由三个顺序衔接的核心阶段构成：首先通过基于离散小波变换的频率增强模块 $D(\cdot)$ 滤除多源 ISP 渲染风格偏差，提取场景的结构与纹理表征 $C_i$；随后将该表征送入基于单步扩散蒸馏模型（SD-Turbo）的细节增强模块 $G(\cdot)$，利用预训练生成先验填补 8-bit 动态范围截断带来的缺失细节，生成中间结构增强图 $I_m$；最后由曝光条件渲染模块 $P(\cdot)$ 将目标曝光标量通过小波域特征仿射变换调制至特征中，渲染出最终符合目标曝光的 RGB 输出 $\hat{I}_t$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 8-bit RGB 图像 I_i + 目标曝光标量 e_t"] --> B["小波频率解耦与风格不变表征提取<br/>Haar DWT 分解低频与高频 + 通道注意力"]
    B --> C["扩散生成先验细节补全<br/>SD-Turbo 潜空间单步去噪 + 共享伪词嵌入"]
    C --> D["小波域内容自适应曝光条件调制渲染<br/>FiLM Affine 调制小波子带 + IDWT 重建"]
    D --> E["输出多曝光合成图像 I_hat_t<br/>与原始高清图构成 (I_hat_t, I_hq) 训练对"]

关键设计¶

1. 小波频率解耦与风格不变表征提取：消除渲染风格差异并锁定场景本质结构

在真实成像系统中，不同相机 ISP 或后期色调映射算法造成的全局色调与对比度差异主要集中在低频响应，而场景的高频细节和边缘纹理则具有更强的稳定性。若直接在图像像素域提取特征，模型极易受到相机渲染风格的过拟合干扰。为此，MESS 设计了频域增强模块 $D(\cdot)$，首先利用不降采样的卷积编码器将输入图像 $I_k$（$k \in \{i, j\}$）映射为 64 通道特征 $H_k$，随后引入单级 Haar 离散小波变换（Haar DWT）将其正交分解为低频子带 $LL$ 与三个高频子带 $LH, HL, HH$，沿通道拼接为 256 通道的小波特征 $F_k \in \mathbb{R}^{256 \times \frac{H}{2} \times \frac{W}{2}}$。相较于缺乏空间局部化能力的快速傅里叶变换（FFT），Haar DWT 在保留频域能量集中特性的同时保留了精确的空间结构对应关系。

为了动态权衡不同频段在风格抑制与结构保留中的作用，模块通过全局平均池化与最大池化抽取通道描述符，经过共享的双层 MLP 与 Sigmoid 激活生成自适应通道权重 $A_k$，得到加权小波特征 $\tilde{F}_k = A_k \odot F_k$。经逆离散小波变换（IDWT）与解码器还原后，输出风格鲁棒的内容表征 $C_k$。在训练时，输入源自同一 RAW 图像但经过不同曝光融合（MEF）与色调映射渲染的跨风格图像对 $\{I_i, I_j\}$，通过强制内容表征一致性损失拉近两者的隐空间距离，使得网络学会在极端风格扰动下稳定锁定场景真实几何与语义信息。

2. 扩散生成先验细节补全：补偿 8-bit 动态范围截断引发的结构空缺

当高位深 RAW 图像被压缩或截断为常规 8-bit RGB 图像时，深暗区域与高光过曝区域的底层信息往往不可逆地丢失。传统的确定性映射或逆向 ISP 算子无法“无中生有”地还原这些信息，合成时易产生平滑模糊或伪影。MESS 引入基于 SD-Turbo 的单步扩散生成先验，利用大规模自然图像预训练所沉淀的结构与纹理知识，对频域增强后的特征进行语义级合理补全。

为了避免手工设计文本提示词（Prompt）带来的主观偏置与跨场景泛化受限，该模块引入了一个在所有训练样本间共享的可学习伪词嵌入向量 $\mathbf{p}$。将内容表征 $C_i$ 归一化后送入预训练冻结的 VAE 编码器获取潜码 $z = \mathrm{Enc}_{\mathrm{VAE}}(C_i)$，再由注入了低秩自适应层（LoRA，设置秩 $r=8$、缩放因子 $\alpha=8$）的 U-Net 在单步内完成条件去噪： $$z' = \mathcal{G}_\theta(z, \mathbf{p})$$ 最终通过冻结的 VAE 解码器重建出富含逼真高频细节的中间图像 $I_m = \mathrm{Dec}_{\mathrm{VAE}}(z')$。在此设计中，VAE 编解码器与主干 U-Net 大部分参数均被冻结，仅微调注意力投影矩阵上的 LoRA 分支与伪词嵌入，既继承了扩散模型的强泛化生成能力，又极大降低了计算开销并避免了语义漂移。

3. 小波域内容自适应曝光条件调制渲染：实现物理逼真的连续曝光调控

获得高保真中间图像 $I_m$ 后，核心任务是按照目标曝光值精确调整图像全局亮度、局部对比度与色调响应，同时不得破坏已修复的几何纹理。鉴于曝光调整在物理上主要表现为对低频照度场的缩放以及对高频局部对比度的非线性衰减，MESS 构建了曝光条件渲染模块 $P(\cdot)$，再次在 Haar 小波域内展开特征仿射调制。

编码器先提取 64 通道特征 $H_m$ 并经 Haar DWT 分解为小波子带特征 $F_m \in \mathbb{R}^{256 \times \frac{H}{2} \times \frac{W}{2}}$。与此同时，将标量目标曝光值 $e_t \in [0, 1]$ 通过轻量两层 MLP 编码为 128 维曝光嵌入向量。为了实现场景内容自适应的曝光调制，模块从小波特征 $F_m$ 中通过均值与最大池化提取两个 256 维内容描述符，与 128 维曝光嵌入拼接成 640 维联合向量，送入两层 FiLM 预测器中回归出通道级仿射参数 $\gamma_t, \beta_t \in \mathbb{R}^{256}$。为了保证训练初始阶段的数值稳定性，调制过程采用带恒等跳跃的残差仿射形式： $$\tilde{F}_t = (1 + \gamma_t) \odot F_m + \beta_t$$ 该公式允许网络以渐进微调的方式平滑改变各频段能量分布，最后通过 IDWT 与卷积解码器输出最终的目标曝光图像 $\hat{I}_t$。该机制实现了对目标曝光水平连续、解耦且符合相机物理响应特性的精准控制。

损失函数 / 训练策略¶

MESS 采用端到端联合训练策略，总损失函数由两部分构成：表征一致性损失与合成重建损失。

针对由同一 RAW 图像通过不同色调映射算法生成的风格变体图像对 $I_i$ 和 $I_j$，表征一致性损失约束频域增强模块 $D(\cdot)$ 的输出特征相互逼近： $$\mathcal{L}_{\mathrm{con}} = \|D(I_i) - D(I_j)\|_1$$ 针对最终合成的曝光图像 $\hat{I}_t$ 与对应 RAW 图像在相同曝光条件下通过相机标准 ISP 渲染出的真实参考图像 $I_t^\star$，采用均方误差损失进行重建监督： $$\mathcal{L}_{\mathrm{syn}} = \|\hat{I}_t - I_t^\star\|_2^2$$ 总体优化目标定义为： $$\mathcal{L}_{\mathrm{total}} = \lambda \mathcal{L}_{\mathrm{con}} + \mathcal{L}_{\mathrm{syn}}$$ 其中平衡权重取 $\lambda = 1$。模型在 8 张 NVIDIA A100 GPU 上采用 AdamW 优化器进行 200K 次迭代训练，批大小为 64，学习率从 $1 \times 10^{-4}$ 经余弦退火降至 $1 \times 10^{-6}$。

生成器训练完成后，研究人员从 Unsplash、SA-1B 和 Open Images 等无约束数据源中筛选出 50 万张经过多维无参考质量评估（ARNIQA、MUSIQ、MANIQA、TOPIQ 综合打分前列）的高清 RGB 图像作为参考真值，利用 MESS 在 $[-3, +3]$ EV 内非均匀随机采样合成退化输入，成功构建包含 500K 对的高质量大规模配对数据集（MESS-500K）。

实验关键数据¶

主实验¶

为了验证合成数据的通用跨任务泛化价值，实验选用原本仅针对低光照图像增强设计的轻量级主干网络 FourLLIE，分别在各类真实采集数据集、传统合成数据集以及 MESS 合成数据集上训练，并在 5 个跨越不同任务的基准测试集（低光照 UHDLL、LSRW；曝光校正 SICE、MSEC；逆光增强 BAID）上进行零样本（Zero-Shot）跨域评估，无需任何下游微调。

下表展示了全参考（Full-Reference）与无参考（No-Reference）图像质量评价指标的对比结果（表中展示全参考 PSNR / SSIM / LPIPS 与无参考 ARNIQA / MUSIQ / MANIQA 的全数据集宏平均分数）：

训练数据集	数据类型	平均 PSNR (dB) ↑	平均 SSIM ↑	平均 LPIPS ↓	平均 ARNIQA ↑	平均 MUSIQ ↑	平均 MANIQA ↑
UHDLL	真实采集 (LLIE)	19.678	0.813	0.142	0.684	53.170	0.442
LSRW	真实采集 (LLIE)	19.663	0.816	0.149	0.682	53.508	0.444
SICE	真实采集 (EC)	19.965	0.816	0.149	0.684	53.752	0.444
MSEC	RAW合成/真实	20.079	0.816	0.147	0.692	53.920	0.450
BAID	真实采集 (BIE)	18.662	0.774	0.182	0.657	52.223	0.427
RCD	RAW 合成	19.101	0.798	0.154	0.678	53.155	0.439
Gamma 矫正	RGB 启发式合成	16.920	0.703	0.244	0.650	51.856	0.414
CSNorm-Fourier	RGB 频域合成	18.399	0.755	0.206	0.659	52.551	0.428
UEC-based	RGB 伪 RAW 合成	19.645	0.795	0.169	0.681	53.317	0.441
MESS-generated (Ours)	RGB 生成合成	21.923	0.846	0.121	0.709	55.510	0.467

在跨网络架构验证中，除 FourLLIE 外，作者还在 RetinexFormer、Multinex（低光）、ExSLOT、CSEC（曝光校正）以及 RAVE（逆光）上进行了相同对比。例如在 RetinexFormer 主干上，MESS 训练的模型在五个测试集上的 PSNR 分别达到 22.231 dB (UHDLL)、20.161 dB (LSRW)、21.591 dB (SICE)、22.936 dB (MSEC) 和 21.210 dB (BAID)，全面超越各任务的域内真实数据训练表现。

消融实验与数据规模分析¶

为了深入验证 MESS 各核心组件的有效性，作者在 FourLLIE 主干上对生成管线的不同模块进行了系统消融（下表评分为 5 个测试集的宏平均）：

实验配置	PSNR (dB) ↑	SSIM ↑	LPIPS ↓	ARNIQA ↑	MUSIQ ↑	说明
完整 MESS 模型	21.923	0.846	0.121	0.709	55.510	包含所有频域、扩散与小波仿射组件
去除表征一致性损失 $\mathcal{L}_{\mathrm{con}}$	21.354	0.835	0.132	0.698	54.821	缺乏风格不变约束，特征受多源 ISP 扰动
去除频域增强模块 $D(\cdot)$	20.936	0.828	0.140	0.692	54.307	直接像素卷积编码，无法有效分离结构与照度
去除扩散细节增强模块 $G(\cdot)$	21.112	0.832	0.136	0.695	54.563	缺失生成先验，极端动态截断处细节失真
去除曝光条件渲染模块 $P(\cdot)$	20.781	0.821	0.145	0.688	54.018	缺乏曝光精确受控调节能力，掉点最严重
采用 FFT 替代 Haar DWT	21.447	0.837	0.130	0.700	54.963	FFT 缺少局部空间定位能力，小波更具优势

同时，针对数据规模扩展性（Data Scaling）与数据源形态的对比表明： 1. 数据规模收益：MESS-5K（20.220 dB）在样本量与 LSRW/SICE 相当的情况下，性能即已超越这两个真实采集基准；当规模扩充至 MESS-10K（20.590 dB）、MESS-50K（21.199 dB）到 MESS-500K（21.923 dB）时，各项指标呈现持续且显著的单调增长。 2. RAW 真实性 vs RGB 扩展性：在完全匹配的 39,642 组规模下，基于自然 RGB 图像拓展的 MESS-RGB 表现（21.083 dB / 0.837 SSIM / 0.131 LPIPS）显著超越基于真实高位深 RAW 通过多曝光融合生成的 RAW-only 数据集（20.764 dB / 0.829 SSIM / 0.139 LPIPS），直接证明了无约束野外场景多样性与高质真值在构建通用增强模型时的压倒性优势。

关键发现¶

曝光条件渲染模块是控制质量的核心命脉：去除曝光条件渲染模块导致 PSNR 暴跌 1.142 dB（从 21.923 降至 20.781），证实了可控且线性的连续曝光调制在构建高质量退化图中的主导作用。
频域小波较传统傅里叶变换具备更优空间保持特性：Haar DWT 相比全局 FFT 实现了 0.476 dB 的 PSNR 增益与更低的感知损失（0.121 vs 0.130），说明空间局部化对于保留图像局部高频纹理不可或缺。
高质真值结合生成扰动超越小规模真实配对：即使仅使用 5K 规模的 MESS 合成数据，下游模型也全面胜过了在几千张真实拍摄图像（LSRW、SICE）上训练的模型，破除了“合成数据必然弱于真实采集数据”的传统刻板印象。

亮点与洞察¶

将 RAW 物理先验与野外 RGB 规模优势解耦嫁接：巧妙地将高质量 RAW 数据作为曝光物理规律的学习“导师”，而将海量无标签野外 RGB 图像作为承载多样性内容的“画布”，绕开了 RAW 数据规模受限与 RGB 逆向映射病态的双重泥潭。
小波域内容与曝光联合调制（DWT-FiLM）：在频域上精巧解耦光照能量与几何结构，通过小波通道平均/最大池化结合曝光标量回归仿射参数，在极低计算开销下实现了高精度、抗伪影的连续光照调节。
单步蒸馏扩散模型的“无提示词”先验迁移：利用 SD-Turbo 的单步生成能力与全样本共享的可学习伪词嵌入，既利用了十亿级扩散大模型的纹理修复先验，又避免了文本描述对底层视觉修复带来的语义幻觉。

局限与展望¶

作者承认的局限：目前监督 MESS 训练所依赖的底层真实 RAW 数据集规模固定（约数万张），其涵盖的传感器响应函数与 ISP 特性仍有扩展空间；此外，下游 50 万张高质图像的筛选主要依赖若干传统无参考 IQA 指标，未来若引入具有高维理解能力的多模态大语言模型（VLMs）进行质量门控，有望进一步剔除边缘低质样本。
额外观察的局限：MESS 目前主要针对全局与局部的曝光变动进行物理模拟，对真实极端暗光拍摄中伴随的复杂传感器高斯-泊松噪声、行条纹噪声以及动态运动模糊等非光照退化的联合建模仍显不足。
未来改进思路：可进一步将传感器物理噪声发生器与相机运动扰动嵌入到曝光渲染阶段之后，构建光照-噪声-模糊一体化的端到端全场景物理扰动引擎。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出将 RAW 曝光规律通过扩散和小波解耦迁移至野外 RGB 的统一 MES 合成范式。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 6 大主流主干模型、5 大跨任务真实评测基准，消融和扩展性实验极其详实严密。
写作质量: ⭐⭐⭐⭐⭐ 逻辑链路清晰，物理建模动机充分，图表与附录数据高度自洽。
价值: ⭐⭐⭐⭐⭐ 开源 500K 级配对数据集与生成管线，为突破底层通用视觉增强的数据墙提供了极具工业实用价值的方案。