跳转至

LUCE: Constrained Curve-Domain Guidance for Training-Free Low-Light Enhancement with Hue-Preserving Decoupling

会议: ECCV 2026
论文: ECCV 官方
领域: 图像恢复
关键词: 暗光图像增强 / 扩散模型 / 免训练引导 / 曲线域约束 / 色调保持解耦

一句话总结

针对基于预训练扩散模型的免训练暗光增强常因多属性像素损失梯度冲突导致采样不稳定与色偏的痛点,LUCE 将采样器端引导重构为曲线域约束亮度控制与色调保持解耦,仅凭单一亮度标量能量驱动冻结的 DDPM 采样器,实现稳定曝光与高保真色彩恢复。

研究背景与动机

微光或低照度环境下拍摄的图像普遍存在可见度极低、信噪比恶劣以及色彩严重失真的问题,极大地影响了人类视觉感知与下游高级视觉任务。传统方法大多基于直方图均衡化或 Retinex 照度分解先验,虽然计算开销较小,但在复杂的非均匀极暗场景中容易产生明显的噪声放大与伪影边缘;基于深度学习的有监督 CNN/Transformer 模型以及零参考曲线估计(如 Zero-DCE)虽然推进了增强效果,却分别受限于高昂的配对数据采集成本以及在极端黑暗场景下的泛化瓶颈。

近期,基于预训练生成式扩散模型的暗光增强方法展现出强大的图像结构与纹理生成先验。然而,任务特定微调(如 DiffLL、LightenDiffusion)通常需要昂贵的再训练代价。另一条更加灵活轻量的免训练(training-free)路线(如 PGDiff、AGLLDiff)直接利用冻结的预训练扩散骨干,在采样去噪阶段注入人工设计的曝光、结构、色彩等多属性像素级引导损失。但这套范式存在三个根深蒂固的缺陷:第一是梯度竞争,多个异构的像素级损失项梯度方向经常互相冲突,超参数权重极难平衡且极易破坏采样轨迹的稳定性;第二是亮度与色度纠缠,直接在 RGB 像素空间施加增亮损失会打乱三通道比例,导致局部饱和度过高与严重偏色;第三是缺乏全局曝光演化模型,无法保证从极暗到正常曝光的平滑单调映射。

为了从根本上消除多目标梯度冲突与色彩畸变,本文提出将采样器端的暗光增强重塑为一个在低维单调曲线空间内的受约束亮度控制问题。核心 idea:摒弃 RGB 像素空间的多重异构损失,将亮度引导投影为低维分段线性单调曲线的单一标量能量以消除梯度竞争,并在推理时通过保持 RGB 矢量方向的逐像素标量增益实现亮度与色度的严格解耦。

方法详解

整体框架

LUCE 构建在完全冻结参数的预训练 DDPM 扩散模型之上,仅在反向去噪采样的最后若干步(默认 \(K=10\))注入梯度修正。给定低照度输入 \(x_{\text{in}}\),在去噪步 \(t\),骨干网络首先输出当前干净图像的预测估计 \(\hat{x}_0(x_t, t)\),并提取其线性空间亮度 \(Y_t\)。整个方法由三大核心模块流水线串联: 1. 统一亮度目标(Unified Luminance Target, UM*):将当前扩散预测的亮度 \(Y_t\) 与基于输入动态计算的全局曝光先验 \(E(x_{\text{in}})\) 进行时变凸组合,构建全局一致的目标亮度图 \(Y_t^\star\); 2. 曲线域亮度能量(Curve-Guided Luminance Energy, CMM*):在低维单调查找表(LUT)曲线空间内拟合单调曲线 \(C_{\phi_t}\),并以此定义单一标量引导能量 \(E_t(x_t) = \mathcal{L}_{\text{curve}}\),通过单一梯度项驱动 DDPM 采样器更新; 3. 色调保持色度解耦(Hue-Preserving Chromatic Decoupling, CDM*):在得到曲线映射后的目标亮度后,利用基于亮度比值的逐像素标量增益缩放 RGB 向量,严格保持色调不变并避免颜色过饱和。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["低照度输入 x_in 与当前噪声状态 x_t"] --> B["冻结 DDPM UNet 去噪预测<br/>估计当前纯净图像 x^0_t"]
    B --> C["统一亮度目标<br/>融合预测亮度 Y_t 与输入曝光先验 E(x_in) 生成 Y*_t"]
    C --> D["曲线域亮度能量<br/>拟合低维单调 LUT 曲线并计算单一标量能量 E_t(x_t)"]
    D --> E["色调保持色度解耦<br/>逐像素计算标量增益 s_t 缩放 RGB 向量维持色调"]
    E --> F["单能量梯度反向传播注入采样器<br/>完成当前去噪步 x_t-1 更新"]

关键设计

1. 统一亮度目标(Unified Luminance Target):动态融合去噪估计与输入曝光先验

以往免训练方法在像素空间同时优化局部对比度、全局均值与过曝抑制等目标,造成梯度对抗。LUCE 将所有关于亮度的约束在进入采样器之前显式收敛为唯一的参考亮度分布 \(Y_t^\star\)。系统首先在线性 RGB 空间通过标准亮度公式 \(Y = 0.299R + 0.587G + 0.114B\) 计算输入的原始亮度 \(Y_{\text{in}}\),通过全局伽马矫正 \(\hat{Y}_\gamma = Y_{\text{in}}^\gamma\)(默认 \(\gamma=0.6\))结合仿射缩放与截断,将全局均值拉伸至目标中值 \(\mu_{\text{tar}}=0.5\),得到稳健的曝光先验图 \(E(x_{\text{in}})\)。随后,在去噪第 \(t\) 步,将当前扩散生成的预测亮度 \(Y_t\) 与该先验通过时变权重 \(\beta_t \in [0.3, 0.9]\) 进行逐像素凸组合: $\(Y_t^\star = \beta_t Y_t + (1 - \beta_t) E(x_{\text{in}})\)$ 在采样早期(\(t\) 较大),较小的 \(\beta_t\) 赋予曝光先验更大权重以迅速拉升暗区能见度;随着 \(t \to 0\),\(\beta_t\) 逐渐单调递增逼近 1.0,逐渐退让给扩散骨干网络生成的真实高频纹理与自洽光影,保证最终画质自然、无生硬拼贴感。

2. 曲线域亮度能量(Curve-Guided Luminance Energy):低维单调查找表约束与平滑正则

若直接使用逐像素距离 \(|Y_t - Y_t^\star|\) 作为损失指导扩散反向更新,局部像素的独立漂移极易引发对比度崩溃或局部块状斑纹。LUCE 将亮度调整限定在全局一维单调曲线变换的低维参数空间内。曲线 \(C_\phi: [0, 1] \to [0, 1]\) 采用具有 \(B=32\) 个等距节点的均匀分段线性查找表(LUT)表示,通过节点值 \(\phi = \{\phi_0, \dots, \phi_B\}\) 的线性插值实现连续映射,并严格施加单调性约束 \(0 \le \phi_0 \le \phi_1 \le \dots \le \phi_B \le 1\)。为了防止非物理形变,曲线优化目标中引入了二阶差分平滑正则 \(\mathcal{L}_{\text{smooth}}(\phi)\) 与偏离恒等映射的形状正则 \(\mathcal{L}_{\text{shape}}(\phi)\): $\(\mathcal{L}_{\text{curve}}(\phi) = \frac{1}{N} \sum_{p=1}^N \big| C_\phi(Y_t(p)) - Y_t^\star(p) \big| + \lambda_1 \mathcal{L}_{\text{smooth}}(\phi) + \lambda_2 \mathcal{L}_{\text{shape}}(\phi)\)$ 在当前去噪步中,曲线参数 \(\phi_t\) 仅需经少量等渗投影梯度下降迭代即可完成优化。在将标量能量 \(E_t(x_t) = \mathcal{L}_{\text{curve}}(\phi_t; Y_t, Y_t^\star)\) 对输入隐状态 \(x_t\) 求导时,\(\phi_t\) 被视为常数冻结。因此,注入采样器的修正梯度 \(-\lambda_t \nabla_{x_t} E_t(x_t)\) 严格退化为单一的宏观亮度匹配梯度,平滑与形状正则均在低维曲线空间内部消化,彻底杜绝了采样过程中多重损失的梯度撕扯。

3. 色调保持色度解耦(Hue-Preserving Chromatic Decoupling):无畸变标量增益映射

在确定了曲线域调控后的目标亮度 \(\tilde{Y}_t(p) = C_{\phi_t}(Y_t(p))\) 后,如何将其精确映回 RGB 三通道是防止偏色与局部饱和溢出的核心关卡。传统在三通道独立执行色彩或对比度引导的方法破坏了颜色矢量的相对几何方向,导致暗区增亮后泛白或出现异常绿紫偏色。LUCE 利用几何投影性质证明:只要以非负标量对像素 RGB 向量进行同比例缩放,其在归一化色度空间的色调(Hue)与相对饱和关系将被严格保持。为此,系统计算逐像素正标量增益: $\(s_t(p) = \frac{\tilde{Y}_t(p)}{\max(Y_t(p), \varepsilon)}\)$ 并将更新后的色彩向量定义为 \(\tilde{c}_t(p) = \text{clip}_{[0.5, 3.0]}(s_t(p)) \cdot c_t(p)\)。当未发生色域截断时,该变换不仅在数学上严格满足 \(w^\top \tilde{c}_t(p) = \tilde{Y}_t(p)\)(其中 \(w=[0.299, 0.587, 0.114]^\top\)),而且彻底切断了亮度提升对色度分量的非线性污染,使暗区在被充分提亮的同时忠实还原原本的色彩基底。

损失函数 / 训练策略

LUCE 为完全免训练(training-free)架构,骨干扩散模型参数在整个推理生命周期中保持严格冻结。采样器采用标准离散 DDPM 更新规则,在后 \(K=10\) 步反向迭代中引入梯度校正: $\(x_{t-1} = \text{DDPMUpdate}_\theta(x_t, t) - \lambda_t \nabla_{x_t} E_t(x_t)\)$ 其中时变引导系数 \(\lambda_t\) 随采样步从 0 平滑上升至 1.0;曲线超参数设置固定为 \(B=32\)、平滑正则权重 \(\lambda_1 = 0.01\)、形状正则权重 \(\lambda_2 = 0.1\)、增益截断范围限制为 \([0.5, 3.0]\)。全部测试在单张 NVIDIA A100 GPU 上运行,无需针对不同数据集微调任何超参。

实验关键数据

主实验

在配对基准测试集 LOL-v1、LOL-v2(Real+Synthetic 综合评测)以及真实退化数据集 LSRW 上,LUCE 与代表性有监督(S)和无监督(U)方法进行了定量对比(表 1)。LUCE 在无监督/免训练范式中全面领跑,并在结构保持指标 SSIM 与感知指标 LPIPS 上显著优于现有基线。

类型 方法 LOL-v1 (PSNR↑/SSIM↑/LPIPS↓) LOL-v2 (R+S) (PSNR↑/SSIM↑/LPIPS↓) LSRW (PSNR↑/SSIM↑/LPIPS↓)
S Retinex-Net 17.62 / 0.64 / 0.38 16.62 / 0.58 / 0.40 15.58 / 0.41 / 0.39
S KinD 21.02 / 0.84 / 0.20 17.93 / 0.73 / 0.31 15.51 / 0.38 / 0.39
S URetinex-Net 19.84 / 0.82 / 0.13 20.56 / 0.86 / 0.24 18.27 / 0.52 / 0.30
S DiffLL 27.93 / 0.88 / 0.11 25.47 / 0.89 / 0.11 19.27 / 0.55 / 0.30
U Zero-DCE 14.86 / 0.55 / 0.34 16.52 / 0.68 / 0.26 15.84 / 0.45 / 0.31
U RUAS 16.44 / 0.49 / 0.27 15.32 / 0.58 / 0.49 14.31 / 0.48 / 0.47
U SCI 14.78 / 0.53 / 0.33 13.38 / 0.61 / 0.33 15.24 / 0.42 / 0.45
U NeRCo 19.81 / 0.74 / 0.24 17.19 / 0.64 / 0.39 18.82 / 0.51 / 0.34
U LightenDiffusion 20.44 / 0.81 / 0.19 19.24 / 0.83 / 0.17 18.54 / 0.54 / 0.31
U AGLLDiff 21.81 / 0.84 / 0.16 19.59 / 0.83 / 0.21 16.92 / 0.56 / 0.32
U LUCE (本文) 22.81 / 0.85 / 0.15 20.21 / 0.84 / 0.19 18.80 / 0.56 / 0.32

在无参考基准测试集(LIME、NPE、MEF、DICM、VV)上的感知画质、残留噪声与效率对比(表 2)表明,LUCE 在保持极高视觉保真度的同时,相比同为免训练扩散引导的 SOTA 方法 AGLLDiff,推理速度提升了将近一倍(从 20.43 秒缩短至 10.53 秒)。

类型 方法 参数量 Params (M) 计算量 MACs (G) 推理耗时 Time (s) 无参考质量 BRISQUE↓ 残留噪声 NL↓
S Retinex-Net 0.555 87.28 0.093 27.10 3.25
S DiffLL 22.08 21.88 0.340 24.13 0.68
U Zero-DCE 0.079 20.92 0.016 21.76 1.57
U SCI 0.00026 0.095 0.002 16.73 0.85
U NeRCo 23.30 822.8 0.949 22.81 0.65
U LightenDiffusion 26.54 2257.42 9.539 18.53 1.11
U AGLLDiff 552.81 1114.68 20.43 19.55 0.80
U LUCE (本文) 556.22 1106.35 10.53 18.03 0.76

消融实验

为了验证三大组件(统一亮度目标 UM、曲线域映射 CMM 以及色调保持色度解耦 CDM*)的有效性,在 LOL-v2 配对数据集与 5 个无参考数据集上进行了严密的剥离测试(表 3)。

实验配置 LOL-v2 PSNR↑ LOL-v2 SSIM↑ LOL-v2 LPIPS↓ 无参考 BRISQUE↓ 无参考 NL↓ 说明
w/o UM*(移除统一目标) 19.70 0.832 0.205 20.71 1.45 缺失全局曝光锚点,PSNR/SSIM 跌幅最大,噪声指标失控
w/o CMM*(移除曲线约束,改用像素级 ℓ1) 19.85 0.836 0.200 19.86 1.39 局部像素独立漂移,结构平淡且产生局部对比度衰减
w/o CDM*(移除色度解耦,直接通道缩放) 19.78 0.834 0.208 19.03 1.08 破坏 RGB 通道矢量比率,LPIPS 感知指标与偏色严重恶化
LUCE (完整模型) 20.21 0.840 0.192 18.03 0.76 三者协同达到最优的保真度、结构一致性与色彩自然度

关键发现

  • 统一亮度目标(UM*)决定了全局曝光的下限:剥离 UM* 导致 LOL-v2 上的 PSNR 从 20.21 dB 暴跌至 19.70 dB,NL 噪声级从 0.76 激增至 1.45。这证明在缺乏宏观曝光先验约束时,扩散去噪方向容易陷入局部暗区或曝光漂移。
  • 低维单调曲线约束(CMM*)是消除多损失梯度撕扯的关键:若退回到基于逐像素 ℓ1 损失引导,图像表面对比度扁平且产生局部瑕疵。将引导能量投影到 32 维单调 LUT 空间,以宏观映射引导微观采样,不仅提升了保真度,还使得采样器引导反传耗时较 AGLLDiff 减少近一半。
  • 色度解耦(CDM*)是消灭伪彩与过饱和的必要防线:去除去耦模块后 LPIPS 出现了最显著的退化(0.192 \(\to\) 0.208),说明即便亮度控制得当,通道非等比增益仍会造成严重的色彩感知畸变。

亮点与洞察

  • 将复杂的像素多属性引导收敛为低维单调曲线控制:传统方法试图在扩散采样中用启发式加权调和曝光、色彩、结构等多项像素损失,频繁陷入梯度竞争;LUCE 将亮度调整限定在单调曲线空间,使能量梯度方向全局协同,设计极其优雅。
  • 数学严谨的色度解耦标量增益:通过对 RGB 矢量进行全局/局部非负标量缩放维持色度向量几何方向不变,用极其简洁高效的算子从根本上解决了暗光提亮伴随的严重偏色与通道饱和问题。
  • 兼顾免训练灵活性与实用生成效率:由于约束被预先吸收在 32 维 LUT 的低维优化中,反向求导计算复杂度大幅降低,在单张 A100 上将扩散采样时间压缩至约 10 秒,为免训练恢复管线的轻量落地提供了重要范例。

局限与展望

  • 曝光先验高度依赖手工设计的全局启发式规则:目前统一亮度目标中的先验曝光值仍基于固定的伽马校正(\(\gamma=0.6\))与固定的均值锚点(\(\mu_{\text{tar}}=0.5\)),面对含有极端高动态范围(HDR)局部眩光或光源强烈复杂的夜景,可能出现局部的非最佳曝光。
  • 分辨率与采样步数开销:当前实验基于 256×256 分辨率的 ImageNet 预训练 DDPM,处理百万像素高分辨率大图仍需下采样与双三次插值重缩放;单图 10 秒的推理耗时虽优于同类扩散引导方法,但距离传统小模型(如 Zero-DCE 的数十毫秒)仍有量级差距。
  • 未来方向:探索基于自适应场景感知的动态曝光先验,将单调曲线域约束引导迁移至更强大的隐空间扩散模型(如 Stable Diffusion / Flux)及高帧率微光视频增强任务中。

相关工作与启发

  • vs Zero-DCE [6]: Zero-DCE 依靠专门设计的 CNN 网络离线训练端到端的逐像素曲线参数,模型极小且推理迅速,但在极端极暗场景下缺乏先验支撑、易产生噪点与色偏;LUCE 则是完全无需训练的在线引导框架,依托预训练扩散模型的丰富生成先验,通过 1D 单调 LUT 提供鲁棒而保真的纹理与曝光恢复。
  • vs AGLLDiff [24]: AGLLDiff 同样在冻结扩散模型上实现免训练增强,但其依赖多项复杂的像素域色彩与曝光损失项联合加权,梯度相互冲突导致调参困难且易偏色;LUCE 提出了曲线域单一标量能量并解耦色度,不仅在定量 PSNR/SSIM 上实现超越,更消除了色偏、将推理耗时减半。
  • vs LightenDiffusion [15]: LightenDiffusion 需要在配对或非配对数据集上重构并重新训练潜在 Retinex 扩散模型,训练成本高昂;LUCE 直接即插即用部署于任何现成的无条件/通用扩散模型,具备极高的通用性与迁移价值。

评分

  • 新颖性: ⭐⭐⭐⭐☆ [将曲线域单调约束与色度解耦引入扩散采样器免训练引导,有效解决了传统像素级多损失梯度竞争问题]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 3 个主流配对数据集与 5 个真实非配对数据集,消融严密且指标涵盖失真度、感知度、噪声级与推理耗时]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑链条严密自洽,问题抽象精确,数学公式与物理几何意义阐述清晰透彻]
  • 价值: ⭐⭐⭐⭐☆ [为大模型时代的低光照图像恢复与免训练扩散反向轨迹调控提供了兼具理论洞察与实用效能的通用范式]