ME-IQA: Memory-Enhanced Image Quality Assessment via Re-Ranking¶

会议: ECCV 2026
论文: ECCV 2026 Official
领域: 信息检索/RAG
关键词: 图像质量评价, 视觉语言模型, 离散坍缩, 测试时记忆, 序数重排序

一句话总结¶

针对推理增强型视觉语言模型在图像质量评价中严重的离散坍缩问题，ME-IQA 提出一种无需重训的即插即用测试时记忆重排序框架，通过混合记忆库检索对齐邻居、利用 VLM 成对偏好在瑟斯顿 Case V 模型下融合序数证据，大幅提升了细粒度失真敏感度与评分连续性。

研究背景与动机¶

基于视觉语言模型（VLM）的无参考图像质量评价（NR-IQA）近年来逐渐从单纯的端到端分数回归转向推理驱动范式。通过提示模型在输出标量分数前生成链式推理（Chain-of-Thought），模型在跨数据集泛化与人类可解释性上展现出明显优势。然而，现有推理型 VLM 普遍存在严重的“离散坍缩”（Discrete Collapse）现象：对于真实感知质量存在明显差异的图像，模型给出的数值打分往往高度集中在少数几个文本上高频显著的离散数值（如“3.0”、“4.0”、“5.0”）。这种现象的根源在于预训练目标的失配——VLM 本质是为离散词元生成而优化的自回归模型，天然缺乏感知连续物理失真程度的能力，强制直接输出数值就会粗暴地对人类感知进行量化，抹杀微妙的画质退化。

为了缓解离散坍缩，现有工作主要尝试了词元概率期望融合（如 Q-Align、DeQA-Score）或全局成对比较排序聚合（如 Depict-QA）。然而，单刺激提示缺少明确的相对参考基准，对微妙失真极不敏感；而全局成对比较随着测试样本增多呈二次方计算爆炸，且违背了真实流式在线部署中“无未来信息泄露（no peeking）”的时序因果约束。后来出现的固定锚点比较方法（如 Compare2Score）虽控制了开销，但静态锚点对长尾分布和新型失真表征不足，在域漂移下极易失效。相比之下，人类感知质量评价天然依赖动态记忆——人们在判断画质时会联想记忆中语义与失真类似的过往参考，而非依赖孤立的静态锚点。

针对这一核心矛盾，本文提出在测试阶段引入动态检索与序数校准机制。核心 idea：构建由离线锚点与在线对比样本组成的双层动态记忆库，以推理摘要为键检索语义与感知对齐的局部邻居，将 VLM 转化为概率比较器并在瑟斯顿 Case V 模型下将序数比较证据与初始打分平滑融合，配合门控反思实现测试时即插即用的无训练质量重排序。

方法详解¶

整体框架¶

ME-IQA 的核心流程严格遵循流式在线测试（Online Streaming Testing）协议。对于顺序到达的测试图像，系统首先由 VLM 生成初始推理思维链与初始标量得分，并通过预拟合的五参数非线性映射校准到目标尺度。随后，系统将思维链压缩为紧凑的画质描述文本并提取嵌入，在混合记忆库中联合检索语义和感知一致的近邻。接着，VLM 充当成对比较器计算测试图像与各邻居之间的胜率偏好概率，并在瑟斯顿 Case V 准则下通过岭回归闭式解融合序数证据，得到稠密平滑的重排序得分。最后，若最终重排序得分与初始得分偏差超出设定的置信阈值，则触发门控反思更新画质描述，并将该样本归档至对比记忆库中持续自进化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["输入查询图像 $x_i$"] --> B["初始推理与五参数映射<br/>得到初始得分 $s_i$ 与思维链"]
    B --> C["推理感知混合检索<br/>生成紧凑描述并在 AM 与 CM 中检索"]
    C --> D["VLM 概率成对比较<br/>提取预测偏好胜率 $y_{ij}$"]
    D --> E["瑟斯顿 Case V 序数融合<br/>结合二次先验闭式求解精炼得分 $s_i^*$"]
    E --> F{"门控反思与记忆整合<br/>$|s_i^* - s_i| > \epsilon$ ?"}
    F -->|是| G["触发反思修正描述 $r_i^*$ 并存入对比记忆 CM"]
    F -->|否| H["直接输出连续校准质量得分 $s_i^*$"]
    G --> H

关键设计¶

1. 混合记忆库设计：兼顾全局基准稳定性与在线局部自适应性 静态锚点无法表征未知失真，而纯动态更新又极易在流式场景中产生灾难性漂移。为此，本文设计了包含锚点记忆（Anchor Memory, AM）与对比记忆（Contrast Memory, CM）的双层记忆结构，每个记忆项以三元组 $(\mathbf{x}_j, \mathbf{r}_j, s_j^*)$ 形式存储。AM 在离线阶段基于带标注的基准数据集（如 KonIQ-10K）一次性构建，在 $[1, 5]$ 质量区间内采用分桶分层策略（划分为 $B=5$ 个区间）均匀采样，提供全局感知的骨架支架；CM 则在在线测试阶段动态扩充，仅吸纳重排序前后分值产生显著纠偏的难例与漂移案例。当 CM 容量超出预设上限 $C$ 时，系统采用凝聚层次聚类（Agglomerative Pruning）根据文本嵌入余弦距离合并最相似节点，在严格受限的内存预算下高效保留代表性原型。

2. 推理感知表征检索：跳过模板废话的紧凑语义感知对齐 在记忆库检索时，直接使用图像全局视觉特征往往会被高层语义内容（如物体类别、场景背景）主导，而忽略细粒度的模糊、噪点或压缩失真；若直接使用未处理的思维链全文，其中充斥的“一步步分析”、“首先观察主体”等模板套话又会引入严重噪声。ME-IQA 引入推理感知压缩机制，提示 VLM 将冗长思维链提炼为仅关注图像内容、纹理细节、失真类型及感知严重程度的精炼摘要文本 $\mathbf{r}_i$，再经轻量文本编码器提取特征。在检索预算分配上，固定邻域大小 $K=32$（AM 与 CM 各占 $16$），在 AM 内对各分值区间进行分层检索，在 CM 中取余弦相似度最高的样本，确保候选邻域在质量跨度与局部感知特征上均达到理想对齐。

3. 瑟斯顿 Case V 序数融合：利用成对比较置信度校正离散坍缩 直接对检索近邻的得分进行加权平均（Re-scoring）仅仅是对已有刻度的局部平滑，无法恢复被模型粗暴截断的细粒度序数信息。ME-IQA 将 VLM 重构为成对比较判别器，对输入对输出偏好词元“A”的生成概率作为软胜率 $y_{ij} = P(s_i^* > s_j^*)$。根据瑟斯顿 Case V 假设，比较差值服从标准正态分布，理论胜率为 $p_{ij} = \Phi(s_i^* - s_j^*)$。为了在吸收局部相对优劣关系的同时防止成对噪声带偏预测，本文构建了带单刺激得分先验约束的凸优化目标： $$ \min_{s_i^} \sum_{j \in \mathcal{N}} \mathrm{BCE}\big(\Phi(s_i^ - s_j^), y_{ij}\big) + \lambda \, (s_i^ - s_i)^2 $$ 为实现低延迟流式推理，模型利用 probit 线性化将软胜率转化为潜在得分的伪观测值 $\mu_{ij} = s_j^* + \Phi^{-1}(y_{ij})$，将二元交叉熵平滑近似为岭回归形式，直接导出极速闭式解： $$ s_i^* = \frac{\sum_{j \in \mathcal{N}} \mu_{ij} + \lambda s_i}{K + \lambda} $$ 该公式使最终预测在邻域相对序数证据和单张图基准打分之间达到严格数学最优，将坍缩在孤立整数附近的预测值均匀离散化展开。

4. 门控反思与时序因果更新：在在线流中提炼高价值对比经验 在线评估必须严格保证时序因果性，绝不能利用未来序列信息。为避免对比记忆库无限膨胀并过滤低信噪比更新，ME-IQA 设立了阈值门控机制。只有当精炼得分与初始映射得分的绝对差值 $|s_i^* - s_i| > \epsilon$（默认 $\epsilon=0.75$）时，才判定初始推理存在盲区或失真误判，此时触发 VLM 进行反思修正并生成校准后的反思摘要 $r_i^*$ 存入 CM。这一设计使得 CM 的更新率保持在 31% 左右的适度水平，既防止了容易样本导致的记忆冗余，又专门捕获了跨域未知失真与边界难例。

实验关键数据¶

主实验¶

论文在七大主流 IQA 基准上进行了跨域零样本评测，涵盖真实场景失真（SPAQ、LIVEW）、AI 生成图像失真（AGIQA）以及合成失真（KADID、PIPAL、TID2013、CSIQ）。全部开源模型统一使用在 KonIQ-10K 上微调的权重及对应的锚点记忆库。下表展示了 ME-IQA 在代表性推理型 VLM 及基线模型上的主要结果（汇报加权平均 WAVG 与代表数据集指标，上部为 PLCC，下部为 SRCC）：

方法 / 模型	SPAQ (PLCC/SRCC)	KADID (PLCC/SRCC)	CSIQ (PLCC/SRCC)	WAVG PLCC	WAVG SRCC
NIQE (非推理传统方法)	0.664 / 0.664	0.430 / 0.430	0.645 / 0.645	0.349	0.349
Q-Align (非推理 VLM)	0.886 / 0.887	0.795 / 0.792	0.814 / 0.750	0.663	0.631
Compare2Score (静态锚点比较)	0.873 / 0.856	0.720 / 0.731	0.761 / 0.771	0.686	0.688
Q-Insight Baseline	0.901 / 0.899	0.732 / 0.737	0.749 / 0.717	0.714	0.683
Q-Insight + ME-IQA	0.922 / 0.924	0.770 / 0.785	0.777 / 0.751	0.744	0.719
VisualQuality-R1 Baseline	0.895 / 0.887	0.709 / 0.703	0.750 / 0.697	0.698	0.661
VisualQuality-R1 + ME-IQA	0.912 / 0.899	0.741 / 0.753	0.786 / 0.737	0.726	0.696
EvoQuality Baseline	0.903 / 0.901	0.744 / 0.738	0.821 / 0.778	0.748	0.716
EvoQuality + ME-IQA	0.925 / 0.919	0.783 / 0.783	0.851 / 0.815	0.777	0.751
GPT-5 Baseline	0.879 / 0.873	0.715 / 0.701	0.701 / 0.678	0.676	0.644
GPT-5 + ME-IQA	0.891 / 0.887	0.739 / 0.744	0.760 / 0.736	0.706	0.683

消融实验¶

基于 VisualQuality-R1 主干，论文对检索嵌入策略、测试时计算缩放机制以及重排策略进行了系统消融（指标采用 7 个数据集的加权平均 WAVG 或 KADID 子集验证）：

配置 / 变体	WAVG PLCC	WAVG SRCC	说明
ME-IQA 完整模型 (K=32)	0.726	0.696	完整推理感知检索 + 混合记忆 + 瑟斯顿闭式融合
检索嵌入：随机检索 (Random)	0.703	0.670	失去语义与感知对齐，邻居质量分布杂乱
检索嵌入：仅图像视觉特征 (Image)	0.706	0.677	高层内容语义主导，缺乏细粒度失真感知约束
检索嵌入：推理文本特征 (Reasoning)	0.726	0.696	紧凑画质描述有效表征失真严重度
记忆消融：仅锚点记忆 ($K_A:K_C = 32:0$)	0.714	0.682	缺少动态自适应能力，无法吸收流中新失真模式
记忆消融：仅对比记忆 ($K_A:K_C = 0:32$)	0.717	0.685	冷启动阶段缺乏全局尺度锚，易产生局部尺度漂移
重排序机制：邻居核平滑打分 (Re-scoring)	0.707	0.704	KADID 单集，仅在既有尺度内插值，难破离散坍缩
重排序机制：瑟斯顿序数重排序 (Re-ranking)	0.741	0.753	KADID 单集，成对比较提供显式局部序数约束
先验权重消融：去掉先验 ($\lambda=0$)	0.724	0.727	KADID 单集，纯成对噪声导致过校正，指标大幅下滑

关键发现¶

显著瓦解离散坍缩并恢复连续分布：分布分析（Table 3）显示，基线模型的打分呈现离散柱状尖峰（有效桶数仅 9~17 个，JS 散度高达 0.39~0.49）；引入 ME-IQA 后，预测得分平滑填充了离散尖峰之间的低谷，有效桶数跃升至 58~84 个，JS 散度暴降至 0.05~0.10，预测曲线与真实人类 MOS 分布高度契合。
细粒度合成失真修复效果最强：ME-IQA 在合成失真数据集（如 KADID、PIPAL）上的增益最为显著（KADID SRCC 从 0.703 提升至 0.753，提升达 0.050），证明局部成对比较能极其精准地纠正细微模糊、噪声和伪影带来的相对排序误差。
优于长思考思维链与多数投票等测试时缩放机制：对比测试时采样 64 次多数投票（Maj@64 单图耗时 34.9s）与单纯增加思维链长度（DS-L=500 单图耗时 13.2s），ME-IQA@32 单图耗时仅 14.3s，在推理速度快 2.4 倍的同时取得了更高的 WAVG 相关性指标；即便缩减至 ME-IQA@8，其性能（WAVG PLCC 0.705）依然全面超越 500 字冗长思考基线（0.689）。

亮点与洞察¶

即插即用的测试时认知增强：完全不改动 VLM 的预训练权重与网络结构，仅在推理测试时将单刺激绝对打分重构为“检索对齐近邻 + 局部序数比较 + 贝叶斯/瑟斯顿全局统摄”，优雅地规避了模型微调成本。
巧借 probit 线性化实现闭式极速推断：针对瑟斯顿 Case V 在二元交叉熵下不可导或需要数值迭代的问题，推导出带二次先验的岭回归闭式解，使得成对置信度融合在毫秒级内完成，保障了工业流式部署的实用性。
认知科学启发下的双层动态记忆自进化：跳脱了传统 RAG 仅从静态库检索文档的思维，通过“全局固定锚点 + 增量反思过滤库”的组合，模拟了人类感知在已有经验骨架上动态吸收新刺激的心理物理学过程。

局限与展望¶

对底层 VLM 的基础辨别力存在下限依赖：成对比较的准确率受限于多模态底座的能力，在微弱脉冲噪声或极端 JPEG 块效应等底层特征退化下，VLM 仍可能发生双向误判。
流式时序测试带来轻微顺序依赖：尽管消融实验表明 5 次随机置换的指标标准差均小于 $\pm 0.008$，但对比记忆库的动态注入机制理论上依然使处理结果与输入样本的到来次序存在微小耦合。
文本检索表征的解耦仍有提升空间：虽然用紧凑画质描述过滤了废话，但通用轻量文本编码器对极端专业的底层画质术语（如色差色散、摩尔纹、高斯伪影）的度量敏感度可能仍弱于专门的失真特征提取器。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次针对推理型 VLM 的 IQA 离散坍缩提出测试时双层记忆增强与瑟斯顿重排序闭式求解框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个主流公开数据集、5 个强推理基线模型（含 GPT-5 等闭源模型）以及详实的分布坍缩分析与效率消融。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰，理论建模严谨，图表表达扎实直观。
价值: ⭐⭐⭐⭐⭐ 为解决多模态大模型在连续物理量回归与评估任务中的量化坍缩提供了通用的即插即用范式。