Zoom-IQA: Image Quality Assessment with Reliable Region-Aware Reasoning¶

会议: ECCV 2026
论文: ECCV 官方页 · 项目页
领域: 多模态 VLM / 视觉语言模型推理
关键词: 图像质量评估、区域感知推理、视觉定位、强化学习、KL-Coverage

一句话总结¶

Zoom-IQA 让无参考图像质量评估模型按需裁剪并复检存疑区域，结合 GR-IQA 数据监督和稳定化强化学习，在保持有竞争力的评分相关性的同时，提高模型裁判评估下的解释质量，而不是宣称所有评分基准都达到最优。

研究背景与动机¶

图像质量评估不仅用于给照片打分，也常被用作图像恢复和生成模型的感知评价信号。Q-Align、DeQA-Score 等方法擅长把视觉内容映射为分数，但很难说明扣分缘由；DepictQA 系列能够解释失真，却不是以精确连续评分为主要目标。Q-Insight 和 VisualQuality-R1 进一步利用强化学习，让同一个视觉语言模型同时生成理由和分数，但其推理过程仍主要是一次性文本生成。

问题在于，文字写得完整并不意味着真的检查了图像。低分可能源于主体运动模糊、背景过曝或局部纹理缺失，单看缩放后的整体图像容易把这些不同现象混在一起。人类评图会放大存疑区域，再判断缺陷对整体质量的影响；要让模型也这样做，却不能直接照搬视觉问答的定位监督，因为整体质量分数通常没有对应的唯一物体框，也没有记录人类先看哪里、为何改分的轨迹。

本文因此同时处理数据和策略问题：构造包含区域依据与动作决策的训练轨迹，先学会合法地调用裁剪，再让评分反馈决定什么时候值得进一步检查。核心 idea：把质量判断变成能够补充视觉证据的交互过程，而不是在不变的视觉输入上延长文字推理，并通过定向正则与采样调度避免强化学习收缩为少数固定分数。

方法详解¶

整体框架¶

模型以 Qwen2.5-VL-7b 为基础，输入待评图像与评分问题，输出解释、质量分数和动作。训练先用约 7,000 条 GR-IQA 轨迹做监督微调（SFT），再用群组相对策略优化（GRPO）学习区域选择和停止策略；后者依赖评分标签，不要求新增人工区域轨迹。

实际推理时，模型先判断整体质量并说明不确定之处。如果已有证据足够，就选择 final；否则输出 crop 和边界框，工具返回裁剪放大后的区域，模型再结合局部证据检查先前判断。KL-Coverage、奖励和渐进式重采样是训练约束，不是在部署时依次调用的额外视觉模块。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    D["GR-IQA 双重过滤<br/>生成并筛选训练轨迹"] --> S["SFT 冷启动"]
    S -.初始化策略.-> P["自引导区域复检<br/>整体判断与动作选择"]
    I["待评图像与问题"] --> P
    P -->|crop| C["裁剪放大工具"]
    C -->|局部视觉证据| P
    P -->|final| O["解释与最终分数"]
    K["KL-Coverage 定向正则"] -.仅训练时约束.-> P
    R["联合奖励与渐进重采样"] -.仅训练时优化与调度.-> P

实线表示数据或动作流，虚线表示训练阶段的初始化和监督关系。数据过滤服务于冷启动，自引导区域复检是部署时保留的能力，后两个设计共同作用于 GRPO，而非互相串联。

关键设计¶

1. GR-IQA 双重过滤：既检查答案是否依赖图像，也检查理由是否与图像一致

作者让 Gemini-2.5-pro 在 KonIQ 图像上生成结构化轨迹。<think> 中包含整体质量总结、改进方向、应避免的问题以及决策理由；<answer> 则给出动作、评分和必要时的边界框。生成器必须解释图像是可以直接下结论的简单样本，还是需要裁剪进一步确认的困难样本，这使训练目标不仅是“描述缺陷”，还包括为何继续观察或停止。

视觉依赖过滤（VRF）固定一段已有理由前缀，比较“图像加前缀”和“仅前缀”两种条件下的续写结果。它利用评分变化、定位差异和输出不确定性等信号，丢弃去掉图像后答案仍几乎不变的样本。这里特意不向原图注入扰动：在 IQA 中，扰动会直接改变被评估的质量，无法作为无害的对照。正文没有给出各项差异的完整阈值，不能把这一步理解为已经公开了全部可复现规则。

提示增强一致性过滤（HACF）进一步检查中间理由。正文将评审器记为 Qwen-2.5-32b，并说明它结合理由、图像和亮度、清晰度、颜色等低层提示做二元接受判断。其目的与 VRF 不同：依赖图像的答案仍可能夹带不被图像支持的描述，因此还要逐样本筛选文字内容。正文对该评审器如何接入图像交代有限；这里保留作者报告的名称，不擅自改成另一种多模态型号。

通过过滤的约 7,000 条轨迹用于自回归交叉熵训练，使基础模型先掌握输出格式、定位表达和裁剪动作。这个数据集是模型辅助构造的质量依据，而不是人类眼动或真实人工决策过程的记录。

2. 自引导区域复检：把不确定性落实为一次额外观察，而非更长的描述

SFT 教会模型表达区域和调用工具，却不保证它知道该检查哪里。第二阶段的 GRPO 因此让模型采样不同轨迹，通过最终质量分数与排序表现探索有用的观察策略。动作空间包括继续裁剪和结束判断，不是无条件中心裁剪，也不是先用分割模型取出固定区域再平均局部分数。

关键在于裁剪必须围绕尚未解决的质量问题展开。例如，整体画面可能同时出现清晰路面和模糊人物，模型需要确认主体细节究竟损失到何种程度，而不是因为人物在语义上显著就必然降低整体评分。裁剪返回新的局部视觉输入后，模型可以确认原判断，也可以修正分数；工具本身不产生最终质量标签。

这里的“不确定性感知”主要通过模型生成的理由和动作体现。正文没有给出一个经过校准的不确定性概率，也没有证明每次选择 crop 都对应最大的预期信息增益，因此更准确的说法是学习了有用的检查行为，而非得到最优主动感知策略。

3. KL-Coverage 定向正则：抑制少数数值 token 在强化学习中迅速占据优势

作者观察到，推理式 IQA 会出现分数坍缩：在保留两位小数的 KonIQ 测试结果中，VisualQuality-R1 的唯一分数占比仅为 2.04%，而真实平均意见分数（MOS）的对应比例为 71.34%。这说明预测可能集中到少量数值，但它不是本文模型已经达到何种分数多样性的量化报告。

KL-Coverage 不对所有生成 token 一视同仁。它先计算每个 token 的对数概率相对批均值的偏移，以及其优势值相对批均值的偏移，再取两者乘积作为协方差信号。在 <answer> 内的数值 token 中按该信号排序，仅选择最高的一小部分，例如比例参数 0.02，然后对这些位置施加旧策略到当前策略的 KL 散度约束，并在被选位置上求平均。直观上，这针对的是“已经高概率、又因高优势继续被强化”的局部更新。

正文动机强调评分 token，但候选集合的文字定义是答案标签内的全部数值 token；该答案也含坐标，因此不能擅自声称实现只覆盖 rating 字段。缓存中的式 (1)、式 (2) 存在符号缺损，这里按周围文字解释筛选机制与 KL 方向，不补写成作者的精确公式。

4. 联合奖励与渐进重采样：让绝对评分、相对排序和长尾样本共同约束策略

格式奖励检查理由和答案是否满足规定结构，全部满足得 1.0，否则为 0。评分奖励随预测分数与 MOS 的距离按高斯形式衰减，尺度参数控制误差敏感度。排序奖励则在批内比较图像对：真实偏好来自 MOS 大小关系，预测偏好由各图评分分布的均值与方差通过 Thurstone 模型得到，再根据预测偏好和真实偏好的一致程度给奖励。它不是简单的“排序正确就加一”，而是利用带分布信息的偏好概率。

评分奖励约束绝对数值，排序奖励约束相对次序，两者并不完全等价；实验中仅用排序奖励更有利于部分合成失真集，仅用评分奖励更有利于真实照片集。正文给出评分和排序项权重分别为 1 和 2，但缓存式 (4) 至式 (6) 的运算符提取不完整，因此不重构完整奖励公式，也不把未核实的求和或门控关系当作原文结论。

另一方面，训练分数分布存在长尾，极高质量和极低质量样本不足。渐进重采样先沿原始分布训练，再在后续阶段逐步增加稀少分数区间的采样频率。它改变的是训练数据的出现机会，而不是在推理输出之后人为拉伸分数；正文未提供足以复现全部阶段的采样比例与区间设置。

一个完整示例¶

原文图 1 展示一张有人力车和行人的照片。第一轮模型认为运动模糊是主要问题，但需要进一步确认人物面部与衣服纹理的损失程度，于是输出边界框 [0.29, 0.24, 0.88, 0.73]、初步评分 3.56 和 crop 动作。

工具裁剪后，第二轮确认人物面部和衣着确实被明显运动模糊破坏，最终以 final 结束并给出 3.47，真实 MOS 为 3.51。这个例子说明局部观察如何支持评分调整，但单个成功案例不能证明所有文字理由都具有因果忠实性，也不能推出系统固定只允许两轮。

损失函数 / 训练策略¶

SFT 使用完整结构化回复的标准自回归交叉熵；基础模型为 Qwen2.5-VL-7b。正文报告批大小 2、梯度累积 4 步、学习率 2.5×10⁻⁶，预热比例 0.3。

GRPO 从 SFT 模型继续训练，报告批大小 1、梯度累积 2 步、学习率 1×10⁻⁶、KL 惩罚系数 0.04，每组生成 8 个回复。该 KL 系数是实现设置中的报告值，不应据此推断未交代的定向正则权重或最大裁剪轮数。

实验关键数据¶

主实验¶

原文表 1 的可学习方法统一在 KonIQ 上训练，VisualQuality-R1 由作者使用官方代码重新训练。其余六个测试集覆盖真实照片、合成失真和 AI 生成图像；下表每格为 PLCC / SRCC，均越大越好，分别反映线性相关性和排序相关性。

数据集	DeQA-Score	Q-Insight	VisualQuality-R1	Zoom-IQA
KonIQ	0.953 / 0.941	0.918 / 0.895	0.910 / 0.896	0.938 / 0.922
SPAQ	0.895 / 0.896	0.903 / 0.903	0.889 / 0.892	0.902 / 0.900
KADID	0.694 / 0.687	0.702 / 0.702	0.703 / 0.712	0.701 / 0.700
PIPAL	0.472 / 0.478	0.458 / 0.435	0.451 / 0.441	0.468 / 0.465
LIVE-Wild	0.892 / 0.879	0.870 / 0.839	0.856 / 0.827	0.887 / 0.870
AGIQA	0.809 / 0.729	0.816 / 0.766	0.817 / 0.760	0.816 / 0.765
CSIQ	0.787 / 0.744	0.685 / 0.640	0.768 / 0.707	0.797 / 0.754

Zoom-IQA 在 KonIQ、PIPAL、LIVE-Wild 和 CSIQ 上优于表中两个推理式基线，但 SPAQ、KADID 和 AGIQA 并非全面领先。DeQA-Score 在 KonIQ、PIPAL、LIVE-Wild 的两项相关性仍更高，因此本文的优势应结合解释能力评价，不能写成统一刷新评分最优结果。

原文表 2 使用 Gemini-2.5-Flash 和 GPT-5-mini 作为模型裁判，按 1–9 分评价描述。下表保留 Gemini-2.5-Flash 的完整四维结果；裁判同时获得图像、理由和低层指标，四维的详细判分定义位于未提供的附录，表中“置信度”不等同于统计校准指标。

数据集	方法	准确性	合理性	完整性	置信度
KonIQ	DepictQA	5.40	5.49	5.51	7.96
KonIQ	VisualQuality-R1	7.29	7.60	7.29	7.57
KonIQ	Q-Insight	7.17	7.44	7.08	6.93
KonIQ	Zoom-IQA	8.72	8.80	8.30	8.60
SPAQ	DepictQA	6.04	6.39	6.14	7.86
SPAQ	VisualQuality-R1	8.32	8.35	7.70	7.55
SPAQ	Q-Insight	7.84	8.02	7.51	6.98
SPAQ	Zoom-IQA	8.63	8.69	8.47	8.63

GPT-5-mini 下也得到相同的总体排序，例如 KonIQ 准确性为 Zoom-IQA 6.93、VisualQuality-R1 6.10、Q-Insight 5.32。两位裁判给出不同绝对分数，说明这些结果是指定裁判协议下的证据，而非直接的人类真实性测量。

消融实验¶

下表节选原文表 4 的 PLCC。后三行按“联合评分与排序奖励 → 加定向正则 → 加渐进重采样”比较，保留四个具有代表性的数据集，避免把不同设置的 SFT 基线混为一谈。

配置	KonIQ	KADID	PIPAL	CSIQ
SFT 基线	0.836	0.632	0.431	0.688
排序奖励 + KL-Coverage	0.906	0.709	0.450	0.772
评分奖励 + KL-Coverage	0.928	0.677	0.379	0.715
联合奖励，不加 KL-Coverage	0.908	0.683	0.455	0.759
联合奖励 + KL-Coverage	0.932	0.665	0.458	0.791
再加渐进重采样，完整模型	0.938	0.701	0.468	0.797

单奖励行均保留原表勾选的 KL-Coverage，且所有行均从 SFT 起步。加入该正则后，KonIQ 从 0.908 升至 0.932，但 KADID 从 0.683 降至 0.665，不能将“多数数据集受益”改写成“所有数据集提升”。渐进重采样则让表 4 中全部七个数据集的两项相关性均进一步提高。

关键发现¶

区域选择不是中心裁剪的替代说法。 原文表 5 中，中心裁剪的 KonIQ PLCC / SRCC 为 0.898 / 0.876，完整策略为 0.938 / 0.922；在其他流程保持不变的比较下，选择区域本身具有贡献。
单阶段模仿不能替代整个训练流程。 表 5 的 Single-Stage SFT 为 0.834 / 0.812，低于完整模型；它同时缺少多阶段缩放流程和 RL，因此并非只改变一个训练目标的纯粹 RL 消融。这个基线也不同于表 4 的 SFT 行 0.836 / 0.806。
描述的下游价值有感知—保真权衡。 用于 SUPIR / DIV2K 时，Zoom-IQA 引导得到 MANIQA 0.5455、CLIPIQA 0.6773，但 PSNR 为 21.31，低于 Q-Insight 的 22.44；不能将感知指标改善解释成保真度同步提升。
跨恢复框架有效，但并非所有指标获胜。 DreamClear / RealLQ250 上达到 NIQE 3.914、MUSIQ 66.97、CLIPIQA 0.6946；MANIQA 为 0.4365，略低于 LLaVA-13b 的 0.4369。原文表 3 中 NIQE 属于 DreamClear 设置，不属于 SUPIR 设置。

亮点与洞察¶

去图对照适合不能随意扰动输入的评价任务。 VRF 不破坏待评图像，而是检查解释是否能脱离图像自行续写。这个思路比直接给原图加噪更贴合 IQA 的测量对象，但仍只是视觉依赖的代理检验。
稳定化措施针对输出的任务结构。 KL-Coverage 关注答案中的数值位置，而非盲目给全部文字同等约束。其启发在于，连续评分任务的策略坍缩可以首先表现为少数数值 token 被过度强化。
解释可以成为另一模型的可执行指导。 “改进方向”和“应避免的问题”天然适合生成恢复提示，论文也做了跨框架验证。不过下游表现支持解释的实用性，并不自动证明每句解释都真实。

局限与展望¶

推理可靠性仍主要由模型评判。 两个裁判提供交叉检查，但生成教师与其中一个裁判同属 Gemini 系列，可能存在偏好相关性；需要独立人工评审、区域证据标注和反事实检查进一步验证。
缺少充分的检查成本分析。 提供的正文没有系统报告平均裁剪次数、最大交互预算、延迟或 token 成本。区域复检的收益需要与额外视觉编码和文本生成开销一起衡量。
数据与实现细节仍有限。 GR-IQA 由 KonIQ 图像生成，过滤阈值、评审器的图像输入接口和渐进采样日程未在正文完整展开；不能据此直接复现全部训练过程。
定位有效不等于决定分数的因果证据。 作者另用显著性模型分析裁剪区域，但显著区域未必就是对质量判断最关键的失真区域。未来可以对选中区域做受控修复或遮挡，检查评分变化是否符合理由中的主张。
恢复实验不能支持幻觉减少的强结论。 感知指标更高且 PSNR 更低，只说明存在指标间的权衡；若要判断是否新增虚构纹理，需要单独的内容保真评测。

评分¶

新颖性：4/5。将可学习区域复检与定向防坍缩训练结合到 IQA，任务适配明确，但区域工具推理已有相邻领域先例。
实验充分度：4/5。覆盖七个评分集、两位模型裁判和两个恢复框架；人工真实性评价及交互成本分析仍不足。
写作质量：3/5。方法动机与示例清楚，但部分实现细节依赖未提供的附录；公式缓存受损也限制了本次精确核验。
价值：4/5。对于需要检查依据和生成恢复指导的感知评价系统很有启发，但不是无条件更强的纯分数回归器。