RIFLE: Removal of Image Flicker-Banding via Latent Diffusion Enhancement¶

会议: NeurIPS 2026
arXiv: 2509.24644
代码: https://github.com/libozhu03/RIFLE
领域: 图像恢复
关键词: 频闪条纹去除, 潜扩散模型, 图像恢复, 卷帘快门伪影, 先验估计

一句话总结¶

针对智能手机拍摄发光屏幕时因卷帘快门曝光与屏幕调制混叠导致的频闪条纹（Flicker-Banding）退化，本文提出了首个专用的条纹生成仿真管线、真实对齐评测基准，以及融合条纹先验估计器与区域掩膜损失的一步潜扩散恢复框架 RIFLE。

研究背景与动机¶

手机拍摄发光电子屏幕已成为讲座记录、会议投屏翻拍及车载/户外显示屏采样的日常需求。然而，拍照时屏幕常布满交替出现的明暗相间横向或倾斜条纹，严重损毁画面可读性与美感。虽然显示器与相机交互引发的摩尔纹（Moiré pattern）已得到广泛研究，但这种由于时域频闪引起的条纹退化——频闪条纹（Flicker-Banding, FB）在计算机视觉领域长期处于被忽视的状态。

频闪条纹的物理成因是相机的逐行曝光与屏幕亮度调制的时域混叠。主流手机 CMOS 传感器采用电子卷帘快门（Rolling Shutter），传感器阵列各行存在微小时序偏差；而现代 OLED 屏幕普遍采用脉冲宽度调制（PWM）调光，LED 点阵屏采用扫描刷新机制。当相机的行读取节奏与屏幕的高频时变发光发生时域混叠时，时域波动便塌缩投影为空间上的明暗交替条带。该退化具有三大核心挑战：其一，拍照设备完全缺失屏幕端的驱动参数（如 PWM 频率、占空比、扫描方向等），难以单纯依赖硬件或固件调谐消除；其二，由于曝光时长、读取行频及拍摄角度差异，条纹在角度、周期、占空比及对比度上表现出极强的非平稳形态；其三，严重条纹下暗带接近全黑，发生严重的局部信息遮挡与丢失，普通去噪或去模糊算法无法有效恢复被覆盖的内容结构。

解决该问题的根本瓶颈在于真实成对监督数据的严重匮乏，同时通用图像超分或编辑模型缺乏针对条纹几何特性的先验建模能力。本文的核心 idea 是构建物理启发的频闪条纹随机仿真管线与长短曝光像素级对齐真实基准，并基于单步潜扩散模型引入频闪条纹先验估计器（FPE）与区域解耦掩膜损失（ML），实现强力去条纹与无条纹区高保真的协同。

方法详解¶

整体框架¶

RIFLE（Removal of Image Flicker-Banding via Latent Diffusion Enhancement）将频闪条纹去除形式化为基于潜扩散增强的图像重建任务，以高效的一步扩散超分模型 PiSA-SR 为骨干架构。系统主要由频闪条纹先验估计器（FPE）、参数化嵌入调制模块，以及配合区域解耦掩膜损失（Masked Loss）微调的潜扩散 UNet 组成。

面对输入的退化图像 $x_{\text{LQ}}$，冻结权重的轻量级 FPE 骨干网络首先从输入中提取条纹周期、倾角和宽度等显式几何属性先验；随后，全参数微调的嵌入模块将该先验变换为特征条件并注入 UNet 结构中；最后，采用 LoRA 微调的潜扩散 UNet 结合 VAE 解码器一步重建出清晰无条纹图像 $x_{\text{Pred}}$。在训练期间，仿真管线动态输出条纹二值掩膜 $\mathcal{M}$，并通过区域加权损失指导网络对条纹区强化结构填补、对非条纹区严格保持原始纹理保真度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["退化输入图像 x_LQ"] --> B["频闪条纹先验估计器 FPE<br/>预测条纹宽度/间距/倾角"]
    A --> C["预训练 VAE 编码器<br/>提取潜在特征 z_0"]
    B --> D["先验嵌入模块<br/>几何属性特征映射"]
    D --> E["一步潜扩散 UNet<br/>LoRA 微调扩散反向去噪"]
    C --> E
    E --> F["预训练 VAE 解码器<br/>重建图像 x_Pred"]
    F --> G["区域解耦掩膜损失 ML<br/>平衡条纹修复与背景保真"]

关键设计¶

1. 频闪条纹物理退化建模与两阶段高保真仿真：解决配对训练数据匮乏 真实场景下采集大规模配对的带条纹与无条纹屏幕图像极其困难。针对这一痛点，本文提出了两阶段频闪条纹物理仿真管线，在保持高效合成的同时逼真模拟现实拍摄退化。第一阶段在几何空间生成带随机抖动的条纹掩膜：首先围绕画面中心以旋转角 $\theta$ 将图像像素坐标系旋转到条纹对齐局部坐标系 $[u, v]^T$；以标称宽度 $w$ 和间隙 $g$（周期 $P = w + g$）定义条纹中心线，并在角度上引入高斯抖动 $\Delta\theta_k(u) \sim \mathcal{N}(0, \sigma_\theta^2)$、间距引入均匀分布扰动 $\Delta g_k \sim \mathcal{U}(-\delta_g, \delta_g)$、宽度引入扰动 $\Delta w_k \sim \mathcal{U}(-\delta_w, \delta_w)$；同时利用一维低通随机过程模拟边缘沿条带轴向的微小起伏，并在条纹边界引入羽化过渡。第二阶段将高质量图像 $I_{HQ}$ 转换至 $\text{YC}_b\text{C}_r$ 空间，实验证明真实频闪主要作用于亮度通道，因此仅在 Y 通道乘以变暗衰减因子 $v_Y \in (0, 1]$ 叠加掩膜： $$I_{LQ}^Y = v_Y I_{HQ}^Y \mathcal{M} + I_{HQ}^Y (1 - \mathcal{M})$$ 合并色度通道后，进一步施加兼具泊松散粒噪声和高斯读出噪声的传感器混合噪声 $\zeta(I) = \sqrt{\alpha I + \sigma_r^2}\varepsilon$，完美再现手机短曝光下的真实感光噪声分布。

2. 频闪条纹先验估计器（FPE）：显式注入几何属性指导潜扩散去噪 通用图像恢复网络在面对未知频率与倾角的非平稳条纹时容易产生混淆，甚至将正常文本内容误判为条纹，或残留周期性伪影。本文利用仿真数据包含精确物理参数标注的优势，构建了基于 ResNet 的轻量级频闪条纹先验估计器 FPE，直接逆向回归退化图像中的条纹宽度 $w$、条带间距 $g$ 及倾斜角度 $\theta$ 等核心几何属性。在扩散训练阶段，预训练的 FPE 权重被完全冻结以避免表征漂移，其预测的高维属性嵌入经由专用的小型映射模块投影至 UNet 中间层特征空间，充当显式条件引导。这种显式注入让扩散骨干在单步去噪过程中提前“感知”条纹的走向与密度，极大提升了对重度条带遮挡区域语义与线条的定向重建能力。

3. 区域解耦掩膜损失函数（ML）：平衡条纹区高强度修复与无条纹区保真 在频闪图像中，非条纹区域的背景信息与真实参考图高度一致且细节完好，若采用全局均等加权的均方误差或感知损失，模型容易在非条纹区域过度平滑细节，而在严重受损的条纹区域监督力度不足。针对这一非对称退化特性，本文设计了区域解耦的掩膜均值算子，对任意张量 $I$ 和单通道权重图 $\mathcal{M}$ 定义： $$\langle\langle I \rangle\rangle_{\mathcal{M}} = \frac{\sum I \odot \tilde{\mathcal{M}}}{\sum_{b,c,h,w}\mathbf{1}\odot\tilde{\mathcal{M}}+\varepsilon}$$ 基于该算子，将像素级 MSE 损失与 LPIPS 感知损失均解耦为条纹区和背景区的加权组合： $$\mathcal{L}_{\text{Pixel}}^{\text{Masked}} = \lambda_{\text{banding}} \langle\langle (x_{\text{Pred}} - x_{\text{GT}})^2 \rangle\rangle_{\mathcal{M}} + (1 - \lambda_{\text{banding}}) \langle\langle (x_{\text{Pred}} - x_{\text{GT}})^2 \rangle\rangle_{\mathbf{1}-\mathcal{M}}$$ $$\mathcal{L}_{\text{Perceptual}}^{\text{Masked}} = \lambda_{\text{banding}} \langle\langle \Phi(x_{\text{Pred}}, x_{\text{GT}}) \rangle\rangle_{\mathcal{M}} + (1 - \lambda_{\text{banding}}) \langle\langle \Phi(x_{\text{Pred}}, x_{\text{GT}}) \rangle\rangle_{\mathbf{1}-\mathcal{M}}$$ 通过设置显著倾斜的权重系数 $\lambda_{\text{banding}} = 0.8$，迫使梯度反向传播集中惩罚条纹内部的伪影和颜色失真，同时以 $1-\lambda_{\text{banding}} = 0.2$ 保证非条纹区域不发生色彩漂移与高频纹理模糊。

一个完整示例¶

以拍摄带有代码编辑器的 OLED 屏幕图像为例：输入图像带有 15 度倾角、周期约为 40 像素的暗色条纹。首先，FPE 模块直接预测出该几何状态（$\hat{\theta} \approx 15^\circ, \hat{w} \approx 20\text{px}, \hat{g} \approx 20\text{px}$）并送入嵌入层；扩散模型在接收到编码潜在特征后，借助该几何先验迅速定位暗带覆盖的行代码区域；在 UNet 一步去噪中，掩膜损失驱使网络重点推断被深暗色压暗的代码字符骨架，而无条纹的代码区域则仅做保真微调；最终解码输出清晰、无条带残留且字符边缘锐利的复原图。

损失函数 / 训练策略¶

模型的总训练目标为掩膜像素损失与掩膜感知损失的加权和： $$\mathcal{L} = \lambda_{\text{Pixel}} \mathcal{L}_{\text{Pixel}}^{\text{Masked}} + \lambda_{\text{Perceptual}} \mathcal{L}_{\text{Perceptual}}^{\text{Masked}}$$ 其中权重分别设为 $\lambda_{\text{Pixel}} = 1.0$、$\lambda_{\text{Perceptual}} = 2.0$，条纹区平衡系数为 $\lambda_{\text{banding}} = 0.8$。

训练采用两阶段与模块冻结策略： 1. FPE 预训练：使用仿真生成的带条纹图像与其真实物理参数标签（角度、宽度、间距）训练 ResNet 估计器直至收敛。 2. 扩散模型 LoRA 联合微调：将预训练的 FPE 权重与预训练 VAE 编码器/解码器完全冻结，对潜扩散 UNet 挂载 rank 为 32 的 LoRA 分支，对 FPE 与 UNet 之间的先验嵌入模块执行全参数微调。采用 Adam 优化器，学习率设为 $5 \times 10^{-5}$，输入图像尺寸为 $512 \times 512$，批大小（batch size）为 4，共迭代训练 50,000 步，显存占用约 43.3 GB，总训练时长约 25.8 小时。训练数据混合了 LSDIR（通用超分辨率图像）与 UHDM（超高清去摩尔纹屏幕图像）经过仿真退化合成的样本。

实验关键数据¶

主实验¶

为了客观评测真实世界的条纹去除表现，作者构建了包含 5 种屏幕场景、105 对 $4096 \times 3072$ 高分辨率固定机位采集的真实配对数据集（短曝光拍摄条带图，长曝光无条纹图作为 Ground Truth），并用 SAM2 分割屏幕区域裁剪出 424 对 $512 \times 512$ 图像块进行定焦测试。对比基线涵盖 Transformer 超分代表 MAT、扩散恢复代表 InvSR、一步扩散超分基线 PiSA-SR 以及通用图像编辑模型 Step1X（所有对比模型均在本文仿真数据集上充分微调）。

主实验结果如下表所示：

方法	PSNR ↑	SSIM ↑	ms-SSIM ↑	LPIPS ↓	DISTS ↓	FSIM ↑	GMSD ↓
LQ（原始输入）	19.43	0.5636	0.6364	0.3374	0.2213	0.7907	0.2091
MAT (Xie et al., 2025)	20.28	0.5984	0.7078	0.2967	0.2082	0.8214	0.1804
InvSR (Yue et al., 2025)	19.08	0.5260	0.6328	0.4367	0.2801	0.7362	0.2177
PiSA-SR (Sun et al., 2025)	20.57	0.6264	0.8056	0.2389	0.1732	0.8663	0.1457
Step1X (Liu et al., 2025a)	19.20	0.5619	0.6317	0.3487	0.2249	0.7867	0.2114
RIFLE (本文方法)	20.66	0.6220	0.8067	0.2456	0.1723	0.8711	0.1433

消融实验¶

为验证核心设计中掩膜损失（ML）与频闪先验估计器（FPE）各自的有效性，在真实条纹测试集上进行了消融分析，各组件表现如下：

配置	PSNR ↑	SSIM ↑	ms-SSIM ↑	LPIPS ↓	DISTS ↓	FSIM ↑	GMSD ↓	说明
LQ	21.78	0.7373	0.7655	0.2322	0.1219	0.8594	0.1848	原始输入
Baseline (PiSA-SR)	22.12	0.7490	0.8677	0.1812	0.0920	0.9406	0.1297	基础一步扩散微调
+ ML (Masked Loss)	22.28	0.7505	0.8590	0.1955	0.0984	0.9372	0.1344	引入区域解耦掩膜损失
+ FPE (Prior Estimator)	22.15	0.7349	0.8683	0.1910	0.0918	0.9431	0.1337	引入条纹几何先验估计
Full (ML + FPE)	22.30	0.7425	0.8697	0.1902	0.0908	0.9460	0.1286	完整 RIFLE 框架

关键发现¶

非参考指标失灵与全参考指标钝化：无参考图像质量评估（NR-IQA）指标在此类任务中几乎完全失效，因其无法将高频周期性条纹识别为瑕疵；同时全参考指标在未处理的 LQ 图像上也能获得较高分值（例如 PSNR 近 20 dB），原因在于非条纹区域占据大面积正常内容。因此，结构感知特征指标（如 FSIM、GMSD、DISTS）更能客观反映去条纹能力。
模块互补性：仅引入 ML 时，网络对条纹区反向梯度大幅增强，PSNR 提升显著（+0.16 dB）；仅引入 FPE 时，几何先验帮助网络更强力地抑制周期性条纹，但单独使用可能略微平滑局部纹理。两模块联合时，达到了最佳的结构一致性（FSIM 0.9460、GMSD 0.1286、DISTS 0.0908 均为最优），在重度遮挡条纹下依然能完整复原底图文字。

亮点与洞察¶

开创性确立屏幕翻拍新课题：明确区分了屏幕拍照中的频闪条纹（时间混叠引起）与摩尔纹（空间混叠引起），为低算力移动端屏幕拍摄图像增强开辟了独立而关键的研究分支。
物理先验驱动的鲁棒仿真：基于卷帘快门曝光微分原理，在 Y 通道以参数化扰动（角度、宽度、间距随机抖动加轴向边缘低通扰动与羽化）完成条纹建模，极好地弥补了真实无伪影大样本难以采集的瓶颈。
一步扩散模型的高效落盘：基于 PiSA-SR 实现单步去噪，规避了传统多步扩散模型推理极慢的通病，具备集成至智能手机相册或 ISP 后处理管道的实用潜力。

局限与展望¶

极端近全黑深暗条纹的信息幻觉：当曝光极短且 PWM 处于完全关断相位时，图像条带内部有效光子信号丢失接近 100%，此时扩散模型依靠生成先验填补的内容可能与原屏幕真实字符存在语义微小偏差。
视频序列时序一致性尚未涵盖：当前方法主要面向单张静态图像，若将其扩展至连续预览流或手机视频拍摄，如何维持跨帧条纹运动估计与时序连贯性是待解问题。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统形式化单图屏幕频闪条纹去除任务，提出首个物理仿真管线与对齐基准。
实验充分度: ⭐⭐⭐⭐⭐ 兼顾仿真微调与真实高分辨率长短曝光配对基准测试，度量指标详实全面。
写作质量: ⭐⭐⭐⭐⭐ 物理原理推导严谨，仿真过程与网络模块设计环环相扣，逻辑清晰。
价值: ⭐⭐⭐⭐⭐ 紧密贴合手机日常拍照的高频痛点，为移动端计算摄影与屏幕文档复原提供了坚实基石。