跳转至

LucidNFT: LR-Anchored Multi-Reward Preference Optimization for Flow-Based Real-World Super-Resolution

会议: NeurIPS 2026
arXiv: 2603.05947
OpenReview: https://openreview.net/forum?id=W1dvS9O0dJ
代码: https://github.com/W2GenAI-Lab/LucidNFT
领域: 图像恢复
关键词: 真实世界超分辨率, 流匹配, 多奖励强化学习, 偏好优化, 局部幻觉抑制

一句话总结

针对流匹配真实世界超分辨率中生成随机性引发的结构与语义幻觉问题，LucidNFT 提出了局部幻觉敏感的低分辨率参考评估器 LucidConsistency、保持维度对比的解耦奖励归一化策略，以及大规模真实降质数据集 LucidLR，实现了保真度与感知质量的协同对齐。

研究背景与动机

基于大规模生成先验的真实世界图像超分辨率（Real-ISR）近年来取得了显著进展。相较于传统回归模型，利用扩散模型或流匹配（Flow Matching）架构的方法能够从严重降质的低分辨率（LR）输入中合成极其丰富且视觉逼真的高频纹理。然而，这种强大的生成自由度也引入了一个关键的可靠性隐患：随机采样生成的细节虽然视觉上锐利自然，却往往缺乏低分辨率观测证据的支撑，容易出现虚假语义、错构文字甚至结构性幻觉。在缺乏真实高分辨率（HR）图像作为参考的实际场景中，现有无参考图像质量评价（NR-IQA）指标往往仅关注画面清晰度与美学分布，无法衡量恢复结果对输入 LR 的事实保真度，导致盲目优化感知指标反而进一步加剧了过度锐化和局部幻觉。

从强化学习偏好优化的视角来看，面对同一张 LR 输入，生成式模型在不同噪声种子下产生的多次随机采样天然构成了一组候选解（Rollout Group），展现出感知清晰度与低分辨率忠实度之间的多样化权衡。然而，将多奖励强化学习引入 Real-ISR 面临着两项深刻挑战：一方面，异构奖励信号（如平滑的全局感知分数与局部敏感的忠实度分数）在尺度与方差上存在巨大差异，直接将多目标加权求和后再做归一化的做法会造成优势压缩（Advantage Compression），使得主导维度的方差掩盖了忠实度维度的细微对比，在基于前向扰动的扩散强化学习中导致正负速度场的判别动态范围严重坍缩；另一方面，现存的真实降质超分辨率数据集规模狭小且主要面向基准评测，缺乏真实退化的丰富长尾组合，限制了采样候选的多样性与偏好梯度的有效性。

为了突破这一瓶颈，本文深入探索了如何在无需高分辨率真值指导的前提下建立对降质不敏感但对局部伪影敏锐的参考评估机制，并从流匹配的策略更新机制出发重新审视多目标奖励融合的顺序。本文的核心 idea 是：构建多尺度退化不变且显式对齐局部硬负样本的低分辨率一致性评估器 LucidConsistency，并在组内对各异构奖励独立归一化后再行融合，配合大规模真实退化数据集 LucidLR，在流匹配框架下实现精准约束幻觉的偏好优化。

方法详解

整体框架

LucidNFT 的核心目标是在流匹配（Rectified Flow）超分辨率模型的前向强化微调过程中，协同优化感知真实感与 LR 忠实度。系统输入为真实世界退化的低分辨率图像，模型首先通过随机采样生成一组包含多个候选超分辨率结果的 Rollout Group；随后，评估系统分别计算无参考感知奖励与基于低分辨率参考的保真度奖励；接着通过解耦归一化计算各维度的组内标准化优势，最终加权映射为有界奖励权重，直接调制流匹配速度场的正负扰动梯度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入真实低分辨率图像 x_lr"] --> B["大规模真实退化数据集<br/>LucidLR 支撑多样化采样"]
    B --> C["流匹配模型生成<br/>Rollout 候选解组 {y_i,j}"]
    C --> D["双支路异构奖励计算<br/>UniPercept + LucidConsistency"]
    D --> E["解耦奖励归一化<br/>组内按维度独立标准化后融合"]
    E --> F["DiffusionNFT 前向策略更新<br/>调制正负速度扰动场"]
    F --> G["输出保真且逼真的高分辨率结果"]

关键设计

1. LucidConsistency 评估器：退化不变且幻觉敏感的表征学习 现有无参考评估指标无法捕捉生成细节是否得到 LR 输入证据的支撑，而直接计算语义特征相似度又极易被输入与输出之间巨大的分辨率差异、严重模糊和噪声等降质差异所干扰。为此，LucidConsistency 采用冻结的多模态视觉主干 Qwen3-VL-Embedding-8B 并微调 LoRA 适配器，构建了全局与局部原生 token 双重表征。为了消除降质鸿沟对保真度判别的影响，方法利用真实图像合成具有多级退化梯度的“同内容正样本池”；更关键的是，为了让模型学会识别生成模型特有的局部结构幻觉，方法引入了空间严格对齐但局部包含 AI 生成内容的“原图-修复对（Original-Inpainted Pairs）”作为硬负样本池。在对比学习损失的约束下，同一内容在不同严重退化程度下的表征被拉近，而全局语义相似但局部存在虚假修补的负样本则被精确推开。在推理阶段，给定低分辨率输入 \(x_{lr}\) 与超分辨率结果 \(x_{sr}\)，其综合一致性评分定义为全局嵌入与空间索引对应的原生 token 局部余弦相似度的凸组合： $\(\mathcal{C}(x_{lr}, x_{sr}) = \alpha_{g} \, \mathrm{s}\big(e_{g}(x_{lr}), e_{g}(x_{sr})\big) + \alpha_{l} \, \frac{1}{N}\sum_{i=1}^{N}\mathrm{s}\big(e_{t}^{i}(x_{lr}), e_{t}^{i}(x_{sr})\big)\)$ 其中权重通常设为 \(\alpha_g = \alpha_l = 0.5\)。该设计确保了评估器对整体场景降质具有不变性，同时对细微文字笔画扭曲或局部虚构纹理具备极高的敏感度。

2. 解耦奖励归一化：消除组内优势压缩与目标湮灭 在基于同一张 LR 输入生成的候选解组中，不同候选样本往往各自在清晰度或忠实度上有所侧重。常规多目标强化学习通常先将不同奖励指标加权标量化，再在组内或批次内进行标准化。然而，感知指标往往数值平缓，而忠实度指标对方差高度敏感，先行加权求和会导致高方差的主导指标吞噬次要指标的相对差异，使得具有截然不同感知-保真度权衡的样本被赋予几乎相同的归一化优势值。在基于前向扩散流匹配的 DiffusionNFT 框架中，更新步长受限于映射到 \([0, 1]\) 的有界奖励权重 \(r\)，优势压缩会使权重丧失动态区间，使偏好引导严重失效。针对该问题，LucidNFT 提出了在组内针对每个奖励维度独立执行标准化的解耦机制： $\(z_{i,j}^{(k)} = \frac{r_{i,j}^{(k)} - \mu_{i}^{(k)}}{\sigma_{i}^{(k)} + \epsilon}, \quad \tilde{a}_{i,j} = \sum_{k=1}^{K}\lambda_{k}z_{i,j}^{(k)}\)$ 每个维度在当前 LR 候选组内部根据其自身的均值 \(\mu_i^{(k)}\) 与标准差 \(\sigma_i^{(k)}\) 计算出独立的 \(z\)-score 后再进行线性加权融合。融合后的优势经由批次稳定性校准后，通过截断线性映射映射为流匹配前向更新所需的置信度权重 \(r_{i,j}^{L}\)。这保证了哪怕某个样本在感知质量上略显保守，但若其忠实度显著优于组内同类，依然能凭借高区分度的偏好优势向网络提供清晰的正向梯度。

3. LucidLR 数据集：大规模真实退化支撑的多样化探索 强化学习策略优化的有效性极度依赖候选解在策略空间中的充分探索。若训练数据仅限于合成退化或实验室微距采集的少量基准样本，模型在面对复合型未知退化时采样的候选解将高度同质化，无法产生具有辨识度的优势差。为此，团队从 Wikimedia Commons 公共类目中爬取真实低质图像，经由 NSFW 过滤与人工排查，构建了包含 20,000 张高异质性真实退化图像的专用微调数据集 LucidLR。统计分析表明，LucidLR 打破了传统基准数据（如 RealSR、DRealSR）主要被离焦模糊单一主导（占比超 75%）的局限，均匀覆盖了离焦模糊（31.5%）、JPEG 压缩块效应（15.8%）、传感器噪声（12.6%）、运动模糊（9.0%）与低光照等复合真实噪声，为强化学习的 Rollout 采样提供了极其宽广的真实物理扰动空间。

损失函数 / 训练策略

在策略更新阶段，微调框架沿用并改进了流匹配的 DiffusionNFT 形式。对于冻结的参考策略速度场 \(v_{\text{old}}\) 与待优化速度场 \(v_\theta\)，在流匹配线性插值 \(x_t = (1-t)x_0 + t x_1\) 下构建正负扰动场： $\(v_{\theta}^{+}(x_t, t, c) = (1-\beta)v_{\text{old}}(x_t, t, c) + \beta v_\theta(x_t, t, c)\)$ $\(v_{\theta}^{-}(x_t, t, c) = (1+\beta)v_{\text{old}}(x_t, t, c) - \beta v_\theta(x_t, t, c)\)$ 训练目标利用解耦归一化计算所得的有界权重 \(r_{i,j}^L \in [0, 1]\)，对正负扰动速度场与真实速度目标 \(v = x_1 - x_0\) 的均方误差进行加权优化： $\(\mathcal{L}(\theta) = \mathbb{E}\left[ r_{i,j}^{L} \|v_\theta^+ - v\|_2^2 + (1 - r_{i,j}^{L}) \|v_\theta^- - v\|_2^2 \right]\)$ 实验基于 LucidFlux（14B 参数）与 DiT4SR（Stable Diffusion 3 架构）进行微调，使用 LoRA（rank=32），优化器为 AdamW，学习率为 \(3 \times 10^{-5}\)，每张 LR 采样 12 个 rollouts，步数仅需 600 步即可稳定收敛。

实验关键数据

主实验

论文在无配对真实图像基准 RealLQ250 以及两个具有真实传感器配对的经典基准 DRealSR 和 RealSR 上进行了全面的无参考质量对比。评价指标涵盖感知质量指标与 LR 一致性指标（NIQE 越低越好，其余越高越好）。

测试集 评估指标 DiT4SR (基线) DiT4SR (+LucidNFT) LucidFlux (基线) LucidFlux (+DPO) LucidFlux (+LucidNFT)
RealLQ250 CLIP-IQA+ ↑ 0.7098 0.7124 (+0.0026) 0.7208 0.7228 (+0.0020) 0.7465 (+0.0257)
RealLQ250 Q-Align ↑ 4.2270 4.2358 (+0.0088) 4.4052 4.4430 (+0.0378) 4.4855 (+0.0803)
RealLQ250 MUSIQ ↑ 71.6682 72.1732 (+0.5050) 72.3351 72.4504 (+0.1153) 73.4475 (+1.1124)
RealLQ250 NIQE ↓ 3.5556 3.5007 (-0.0549) 3.7410 3.7785 (+0.0375) 3.2532 (-0.4878)
RealLQ250 UniPercept ↑ 73.0740 73.3430 (+0.2690) 70.9300 71.1330 (+0.2030) 73.4790 (+2.5490)
RealLQ250 LucidConsistency ↑ 0.9052 0.9172 (+0.0120) 0.9237 0.9296 (+0.0059) 0.9345 (+0.0108)
DRealSR UniPercept ↑ 58.1290 59.9328 (+1.8038) 59.9032 59.7782 (-0.1250) 63.7782 (+3.8750)
DRealSR LucidConsistency ↑ 0.8438 0.8544 (+0.0106) 0.8813 0.8890 (+0.0077) 0.8879 (+0.0066)
RealSR UniPercept ↑ 63.2025 64.8425 (+1.6400) 60.0925 60.4775 (+0.3850) 64.7588 (+4.6663)
RealSR LucidConsistency ↑ 0.8318 0.8498 (+0.0180) 0.8853 0.8932 (+0.0079) 0.8923 (+0.0070)

在真实人类专家一致性主观评估实验中（RealSR 上针对 LR 真实忠实度排序的 Agreement、Recall@1 与 Filter@1 评测），LucidConsistency 分别取得了 0.690、0.558 与 0.558 的成绩，显著超越通用语义主干 Qwen3-VL-Embedding-8B（0.643 / 0.465 / 0.302）以及各类纯感知指标（如 UniPercept 仅为 0.322 / 0.070 / 0.093），证明了其作为真实忠实度奖励的有效性。

消融实验

在 RealLQ250 基准上使用 LucidFlux 作为基础模型，系统验证各核心组件的贡献（指标值越高越好，NIQE 越低越好）：

实验配置 UniPercept ↑ VQ-R1 ↑ NIQE ↓ LucidConsistency ↑ 核心观察说明
LucidFlux (基线模型) 70.930 4.547 3.741 0.9237 基础流匹配生成性能
(A) 单一感知奖励 (IQA-only) 71.538 4.601 3.514 0.9259 感知提升明显，但保真度控制受限
(B) + 冻结多模态特征奖励 71.366 4.596 3.529 0.9298 保真度轻微改善，受制于退化表征鸿沟
(C) + LucidConsistency 奖励 71.214 4.593 3.547 0.9341 忠实度显著增强，但在标量化融合下感知增益受限
(D) + 解耦奖励归一化 72.703 4.633 3.372 0.9356 消除优势压缩，感知与忠实度实现双向增益
(E) + LucidLR 真实数据集 (完整版) 73.479 4.651 3.253 0.9345 真实复杂退化极大激发了偏好优化的泛化潜力

关键发现

  • 标量化加权是多奖励对齐的隐形杀手：对比配置 (C) 与 (D) 可以发现，若直接将感知与一致性奖励相加后再归一化，由于感知分数的数值优势压制了一致性维度的差异，感知分数不升反降（UniPercept 从 71.538 降至 71.214）；而切换为解耦归一化后，UniPercept 跃升至 72.703，且一致性保持在 0.9356 的极高水平。
  • 纯感知优化容易滋生幻觉：配置 (A) 的结果证明，仅以 IQA 作为奖励训练虽然能够获得更锐利的视觉外观（NIQE 从 3.741 降至 3.514），但缺乏 LR 锚定信号约束，模型倾向于通过捏造高频伪细节来骗取评分。
  • 人类与自动指标对齐检验：在人类评估中，基于美学和清晰度的指标（Q-Align、CLIP-IQA、UniPercept）与真实低分辨率线索忠实度之间几乎没有正向排序能力（判定准确率均在 35% 以下），确立了 LucidConsistency 作为 LR 参考度量工具的关键独立价值。

亮点与洞察

  • 正负样本池构造精妙：利用图像修复的 Inpainting 对作为天然的“硬负样本”，既保证了全局结构与语义的高相似性，又精确引入了生成模型特有的局部伪造区域，使得特征空间能够在无需真实配对标签的情况下敏锐捕捉局部幻觉。
  • 重构奖励归一化顺序突破优化瓶颈：发现了异质奖励在组内融合时造成的“优势压缩”现象，提出将标准化提前至各奖励维度独立进行，用极小计算代价激活了前向扩散强化学习的梯度动态范围。
  • 真实退化对强化学习探索的使能效应：展示了强化学习微调在低质视觉生成任务中对高质量无配对退化数据的渴求——更宽的长尾物理退化分布直接决定了 Rollout 的梯度信息量。

局限与展望

  • 计算资源消耗：每个样本需要并发采样 12 个 Rollouts 并通过大模型抽取全局与原生局部 token 表征，训练过程对 GPU 显存与采样吞吐量提出了较高要求。
  • 局部 Token 映射的几何鲁棒性：当前的局部一致性评价基于网络原生 visual tokens 的同索引比对，强依赖于输入与输出在空间几何网格上的粗略对应；当面对严重的几何畸变、倾斜矫正或非刚性空间形变时，同索引假设可能引入噪声。
  • 未来方向：可进一步将解耦优势扩展到空间局部级别的动态分配，实现针对伪影严重区域的像素级或局部 Patch 级精准惩罚。

相关工作与启发

  • vs DP2O-SR / DPO 范式：DP2O-SR 等方法依赖双样本对抗的成对偏好或直接 DPO 优化，容易受制于离线数据集标注噪声；LucidNFT 基于在线流匹配框架，通过多 Rollout 组内竞争与前向速度扰动，无需昂贵的反向轨迹梯度即可实现更平滑的策略对齐。
  • vs DiffusionNFT：DiffusionNFT 原生设计面向单标量奖励；LucidNFT 将其拓宽到高维异构奖励对齐，并针对多模态恢复任务解决了组内优势坍缩问题。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用 Inpainting 构造硬负样本并提出解耦奖励归一化，切入点直击 Real-ISR 核心痛点。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖多尺度骨干（2B 至 14B）、3 个主流基准、8 种感知指标、人工专家双盲对比与细致消融。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，数学表达准确，问题背景与解决方案层层递进。
  • 价值: ⭐⭐⭐⭐⭐ 为生成式超分辨率乃至低质图像生成任务的忠实度对齐提供了标准化的评估工具与微调方法论。

相关论文