SR-Prominence: A Crowdsourced Protocol and Dataset Suite for Perceptually-Weighted Super-Resolution Artifact Evaluation¶

会议: NeurIPS 2026
arXiv: 2605.14847
OpenReview: https://openreview.net/forum?id=GJzL4oNx1s
代码: https://huggingface.co/datasets/imolodetskikh/sr-artifact-prominence
领域: 图像恢复
关键词: 图像超分辨率 / 伪影显著度 / 众包评测协议 / 质量评估基准 / 伪真值参考

一句话总结¶

本文提出面向单图像超分辨率的“伪影显著度”（Artifact Prominence）感知度量目标，构建了包含 3,935 个标注掩膜的众包评估套件 SR-Prominence，发现 DeSRA 实验室二值掩膜中近半数（48.2%）未被多数观察者察觉，并建立了免二次众包的无阈值相关性评测基准与伪真值评估协议。

研究背景与动机¶

现代单图像超分辨率（SISR）方法（尤其是基于生成对抗网络 GAN 和大规模扩散模型先验的算法）极大地提升了重构画面的纹理丰富度与锐度，但伴随而来的视觉伪影——如虚构结构、面部涂抹、网格畸变等——严重削弱了生成图像的主观视觉质量。在实际应用中，超分辨率伪影对人类观察者的感知冲击差异极大：规则建筑结构（如外立面窗格）或人脸等显著区域的扭曲往往刺眼且令人不安，而水面、草地等自然纹理上的局部失真则常常被视线忽略。

然而，现存的超分辨率伪影检测机制存在严重的认知盲区与评价脱节。以 LDL 和 DeSRA 为代表的方法主要利用局部残差统计或对比 GAN 与 MSE 重构输出，生成离散的二值伪影掩膜；而基于分割的模型（如 PAL4VST）同样将微小的纹理瑕疵与结构性灾难同等对待，缺乏对伪影视觉显著度的度量。近期基于多模态大模型的 Hallucination Score 虽能提供整图级幻觉评分，却彻底丢失了空间定位能力，无法支持下游的模型自适应微调与局部伪影消除。这导致现存伪影检测器极易在人眼不易感知的低冲击缺陷上过拟合，却漏检真正干扰视线的致命伪影。

面对“二值空间掩膜缺乏感知显著度，整图感知评分缺乏空间定位”的核心矛盾，本文提出将超分辨率伪影评价的目标从二值存在性转向感知显著度。核心 idea：将伪影显著度定义为人类观察者判定高亮区域存在明显失真的投票比例，设计包含形态学视觉增强与质控机制的众包协议构建 SR-Prominence 数据集套件，并提出无需真实高分辨率参考的伪真值（Pseudo-GT）协议与无阈值客观评估指标。

方法详解¶

整体框架¶

SR-Prominence 的方法体系包含三大环环相扣的核心模块：众包显著度标注协议、四元数据集套件自动化构建流水线，以及无阈值客观评测与伪参考基线系统。首先，针对超分辨率无真实 HR 参考的真实场景，标注协议以最近邻插值的低分辨率图像为参考底图，经形态学滤波优化紧凑掩膜后由 30 位独立审核员投票计算伪影显著度；其次，通过多指标热力图候选提取机制，在大规模自然图像与结构化场景上全自动挖掘代表性伪影并收集众包投票；最后，通过提出的无阈值中位数差分对比度指标（Threshold-Free Prominence Score）与基于轻量级超分模型的 Pseudo-GT 机制，支持外部算法在无需反复众包的情况下进行端到端量化评测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["低分辨率输入与候选超分图像"] --> B["候选伪影掩膜自动挖掘<br/>多指标热力图阈值提取 Top-10 缺陷"]
    B --> C["面向人眼质检的掩膜形态学预处理<br/>开运算去噪+膨胀包含上下文+闭运算去孔"]
    C --> D["众包感知显著度标注协议<br/>低分辨率最近邻参照+30人投票统计显著度"]
    D --> E["SR-Prominence 四元数据集套件<br/>DeSRA / OpenImages / Urban100 / Urban100-HR"]
    E --> F["无阈值显著度客观评测指标<br/>掩膜内外中位数差分与人类显著度 SRCC"]
    E --> G["无高分辨率场景伪真值协议<br/>RLFN 稳定重建充当全参考指标基准"]

关键设计¶

1. 候选伪影掩膜自动挖掘：跨模型跨指标的无偏候选池构建 在构建大规模评测基准时，纯人工手绘伪影不仅成本极高，且易引入严重的主观选择偏差。系统设计了一种全自动的候选掩膜挖掘机制：利用现有质量评估与伪影检测算法（包括 SSIM、DISTS、LPIPS、LDL、DeSRA 等）在超分图像上生成空间误差热力图，采用在 DeSRA 显著子集上基于 Precision $\times$ Recall 乘积最大化标定的固定阈值进行二值化。随后在每个连通掩膜区域内计算平均热力图响应，对每个评测指标与每种超分辨率算法的组合严格提取前 10 个最强缺陷。该自动化挖掘流程无需人工手绘，可无缝扩展至任意海量真实图像与新型超分辨率模型。

2. 面向人眼质检的掩膜形态学预处理：消除紧凑与稀疏掩膜的观察干扰 算法检测出的原始伪影掩膜通常非常紧凑或呈稀疏点状分布，若直接高亮展示给测试人员，观察者难以看清内部受损结构，且缺乏判断失真所需的临近正常纹理上下文。针对这一人机交互痛点，协议在展示前对原始二值掩膜执行三步形态学重整：首先采用 $25 \times 25$ 的矩形核进行形态学开运算（Opening），滤除孤立的杂散微小噪点；随后采用 $64 \times 64$ 的圆形结构元进行形态学膨胀（Dilation），向外扩展包络以囊括伪影周边的结构上下文；最后使用 $25 \times 25$ 矩形核执行闭运算（Closing），消除掩膜内部空洞并平滑边缘。验证表明该预处理对人眼观察起到了关键支撑，同时对良好掩膜的显著度统计无不良漂移。

3. 众包感知显著度标注协议：无真实高分辨率假设下的主观打标与质控 真实超分辨率应用场景中无法预先获取高分辨率真实参考（HR Ground-Truth），强行让用户对比 HR 真实图像会导致评估偏向“与参考图完全一致”而非“超分细节是否合理自然”。协议创新性地将低分辨率图像经最近邻插值（Nearest-Neighbor）放大后作为对比界面中的“原始参考图”，以显式像素阶梯向审核员提示真实输入的信息边界。每个样本分配给 30 位独立质检员（经 Bootstrap 色散分析证实 30 位可在保证 $\pm 20\%$ 置信区间的同时控制成本）。标注前设置 4 道带解析的训练题与 4 道隐蔽测试题，任务流中每 20 题随机嵌入 4 道控制题，质检员答错 2 道及以上则全卷作废，最终显著度 $P$ 计算为投票认定存在扭曲的人数比例。

4. 无阈值显著度客观评测指标：摆脱二值切分偏差的连续相关性评价 传统基于二值掩膜的 Precision/Recall 评估严重依赖人工设定的截断阈值，且无法衡量检测器对显著度梯度的预测能力。为此，本文提出一种阈值无关的客观打分公式。对于待评测检测器生成的连续空间热力图 $H$，针对每个标注掩膜（在计算前先经腐蚀操作还原真实缺陷核心），计算掩膜内部像素的中位数与掩膜外部全图中位数之差： $$\Delta H = \text{median}_{p \in \text{Mask}}(H(p)) - \text{median}_{p \notin \text{Mask}}(H(p))$$ 减去外部全图中位数有效消除了不同输入图像与超分模型之间的全局动态范围漂移。最终指标计算所有样本的 $\Delta H$ 与众包真值显著度 $P_{\text{GT}}$ 之间的 Spearman 秩相关系数： $$\text{Score} = \text{SRCC}(\Delta H, P_{\text{GT}})$$ 该指标直接评测检测器在局部响应显著度梯度上的单调对齐能力，使未来算法可在全套件上进行标准化离线打分，无需额外众包。

5. 无高分辨率场景伪真值协议：保守轻量级模型驱动的全参考泛化 在超高清真实超分辨率场景（如 Prominence-Urban100-HR）中，高分辨率图像本身即为输入，客观全参考指标无法运行。以往降低参考指标常采用双三次插值，但重构模糊导致误报剧增。本文提出“伪真值（Pseudo-GT）”方案：选取结构保守且不易产生生成式伪影的轻量级高效实时超分模型（RLFN）对输入进行稳定重建作为替代基准，再在此基准上运行 SSIM、DISTS 等全参考感知指标。实验证明，保守型轻量模型自身极少引入虚构高频结构，利用其作为伪真值计算的显著度相关性与使用真实 HR 图像的性能差距极小。

损失函数 / 训练策略¶

为提供评测基线，本文构建了一个轻量级参考伪影检测器（Baseline Detector）。该模型提取三组互补特征：分块 DISTS（提取 $16 \times 16$ 局部感知失真）、全 RGB 通道改进的局部残差方差特征 $\text{ssm\_jup}$，以及结合块感知与边缘保留的失真特征 $\text{bd\_jup} = 0.6 \cdot \text{LPIPS} + 0.4 \cdot (1 - \text{ERQA})$。

特征送入一个轻量浅层多层感知机（结构为 3-128-128-1，含 ReLU 激活），逐像素独立映射为显著度预测图。模型仅在 Prominence-OpenImages 的 374 个样本上使用 Adam 优化器训练，目标函数由掩膜内外部的双向 $L_2$ 回归损失构成： $$\mathcal{L} = \|\text{MeanInside} - P_{\text{GT}}\|_2^2 + \|\text{MeanOutside} - 0\|_2^2$$ 强迫模型在掩膜内部拟合人类投票显著度，在掩膜外部抑制为零。该微型网络在单张 RTX 3090 上仅需 10-15 轮（每轮 13 秒）即可收敛，并展现出优异的跨数据集零样本迁移能力。

实验关键数据¶

主实验¶

SR-Prominence 套件由四个互补子集构成：重标注的 Prominence-DeSRA（593 个掩膜）、多样化自然场景 Prominence-OpenImages（1,523 个掩膜）、几何规则建筑场景 Prominence-Urban100（873 个掩膜），以及无降质高分辨率真实超分场景 Prominence-Urban100-HR（946 个掩膜），共计 3,935 个高质量掩膜。

下表给出了各主流伪影检测方法在未经过滤的人工与自动候选样本上的综合检测性能（包含平均显著度 Mean Prominence、置信掩膜数 Conf. Masks，以及二者乘积综合分 Prom. $\times$ Conf.）：

检测方法	标定阈值 $t$	OpenImages (P $\times$ C)	Urban100 (P $\times$ C)	Urban100-HR (P $\times$ C)	平均排名 $\downarrow$
bd_jup (LPIPS+ERQA)	0.10	5.99%	11.94%	0.75%	6.3
LDL (残差统计)	0.005	11.94%	0.00%	3.65%	5.7
ssm_jup (RGB色差残差)	0.15	9.69%	13.95%	0.92%	5.3
DeSRA (GAN-MSE对比)	固定	13.19%	3.41%	9.67%	4.3
Baseline (本文基线)	0.30	23.69%	18.07%	8.83%	2.3
SSIM (经典结构相似度)	0.55	19.61%	21.47%	13.44%	2.0
DISTS (纹理感知度量)	0.25	23.55%	16.11%	14.90%	2.0

在跨超分模型审计方面，下表展示了各类代表性超分辨率模型生成伪影的平均显著度及高置信伪影分布（数值越低代表越鲁棒，伪影越不易被人察觉）：

超分模型	模型类型	OpenImages 均值 $\downarrow$	OpenImages 确信数 $\downarrow$	Urban100 均值 $\downarrow$	Urban100 确信数 $\downarrow$	Urban100-HR 均值 $\downarrow$	Urban100-HR 确信数 $\downarrow$
LDL-SR	CNN	66.19%	19	54.66%	17	39.20%	9
RealESRGAN	CNN	48.42%	19	47.01%	12	31.71%	11
SwinIR	Transformer	41.09%	17	39.49%	10	33.54%	12
GFPGAN	CNN (人脸先验)	32.74%	11	52.17%	14	39.94%	12
StableSR	Diffusion	33.18%	13	35.39%	7	26.81%	11
SeeSR-turbo	Diffusion	32.34%	14	26.82%	4	25.47%	9
HAT-L	Transformer	13.53%	1	22.80%	1	15.48%	1
DRCT	Transformer	11.85%	1	21.47%	0	12.38%	1

消融实验¶

下表展示了各检测方法在无阈值评分协议下的 Spearman 秩相关系数（SRCC），并消融了使用原始高分辨率参考（Original HR）与采用轻量级 RLFN 模型作为伪真值（Pseudo-GT）时的性能差异：

方法	类型	OpenImages (HR)	OpenImages (RLFN)	Urban100 (HR)	Urban100 (RLFN)	Urban100-HR (RLFN)	DeSRA (RLFN)	平均排名 $\downarrow$
TOPIQ	无参考 IQA	-0.096	-0.096	-0.099	-0.099	-0.015	-0.114	11.9
PaQ-2-PiQ	无参考 IQA	-0.097	-0.097	-0.222	-0.222	0.024	-0.088	11.7
PAL4VST	无参考检测	0.136	0.136	0.145	0.145	N/A	0.043	7.7
DeSRA	专用检测	0.303	0.299	0.019	0.049	0.340	-0.003	7.3
LPIPS	全参考感知	0.446	0.304	0.213	0.234	0.446	-0.132	6.0
SSIM	经典结构	0.312	0.297	0.305	0.264	0.348	-0.020	4.9
DISTS	质感感知	0.415	0.370	0.236	0.283	0.401	-0.009	4.1
Baseline (本文)	融合学习	0.555	0.374	0.256	0.241	0.394	0.212	2.1

关键发现¶

二值掩膜存在严重虚高：对 DeSRA 实验室二值掩膜的重标注发现，多达 48.2% 的掩膜在超过半数众包者眼中有缺陷“不成立”；当截断阈值提升至 60% 时，不成立比例跃升至 61.9%，证明基于二值存在性的传统评估充斥着人眼不可见的微瑕疵。
经典全参考指标远胜专用检测器：SSIM 和 DISTS 以平均 2.0 的排名拔得头筹，明显超越了针对超分辨率定制的专用检测器（DeSRA、LDL）。这揭示出局部低阶结构与纹理相似性包含了最关键的感知破坏信号。
无参考度量全面溃败：无论是通用的整图盲评价方法（TOPIQ、PaQ-2-PiQ 出现负相关），还是针对图像生成的无参考伪影定位模型（PAL4Inpaint、PAL4VST），在预测人眼显著度梯度时均表现极其脆弱（SRCC 普遍 $< 0.15$）。
抗伪影训练不等于低显著度：专门引入局部残差学习以消除伪影的 LDL-SR，在所有超分模型中展现出最高的平均显著度（OpenImages 达 66.19%），甚至劣于未经伪影抑制的 RealESRGAN；而高保真重构 Transformer 架构（DRCT、HAT-L）在所有数据集上保持了极低的人眼可见伪影（置信掩膜数几乎为 0）。
语义上下文显著调制感知容忍度：多模态大模型标注分析表明，虚构结构纹理（Hallucinated Texture，均值 0.423）与文字形变（Text Aberrations，均值 0.473）最引人瞩目，而塑料涂抹感（Plastic Texture，均值 0.301）容忍度较高；在艺术与文字图像中伪影显著度最高，自然景物（水、树木、草地）中伪影显著度最低。

亮点与洞察¶

将离散二值缺陷重构为人眼显著度概率谱：打破学术界将“像素级局部误差”等同于“感知质量破坏”的思维定势，确立了以人眼感知显著度为核心的连续评价基准。
以近邻低分辨率图像作为真实感判定基准：巧妙避开生成超分领域无法获取高分辨率真实参考的悖论，让人类观察者基于低分辨率轮廓的“合理性与自然度”做出客观投票。
无阈值差分对比度评分公式：通过引入掩膜内部与外部全图中位数的差分算子，有效剔除了全图亮度和对比度抖动，使客观指标在不同场景下均具备极高的排序稳定性。
轻量超分网络充当伪真值的创新路径：在真实无参考超分评估中，证明了保守型轻量模型（如 RLFN）能够作为可靠的全参考代理，为无参考场景应用高阶全参考度量铺平了道路。

局限与展望¶

种子检测器引入的漏检风险：自动挖掘候选掩膜依赖现有检测算法的热力图初筛，若所有种子检测器对某一新型生成伪影存在共同盲区，该伪影将无法进入候选池（尽管附录实验表明人工标注伪影的漏检率不足 1-3%）。
伪真值在极端精细纹理上的局限性：保守轻量模型（RLFN）在重建极细微结构（如毛发、尼龙网眼）时会因平滑欠拟合导致全参考指标误报为超分伪影。
静态图像向时序视频超分的拓展空白：评测协议针对单帧画面设计，尚未覆盖视频超分辨率中极易引人注目的时序闪烁（Flickering）与帧间抖动伪影。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次系统化提出超分辨率伪影显著度概念并建立端到端众包与评估体系]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 15+ 种超分模型、3,935 个高质量掩膜及 4 个异构子场景，统计验证极其扎实]
写作质量: ⭐⭐⭐⭐⭐ [问题阐述深刻透彻，协议设计严谨，图表呈现与消融分析逻辑严密]
价值: ⭐⭐⭐⭐⭐ [为超分辨率生成伪影评估确立了感知导向的新基准，提供的无阈值离线评测协议极具实用价值]