RA-ClipScore: Making Generative Model Evaluation More Interpretable¶

会议: NeurIPS 2026
arXiv: 2608.12088
OpenReview: https://openreview.net/forum?id=P82JofgITl
论文: https://arxiv.org/abs/2608.12088
领域: 图像生成
关键词: 生成模型评估, 属性解耦, 空间偏差分析, 视觉-语言模型, 局部特征聚合

一句话总结¶

针对传统生成模型指标缺乏可解释性以及 CLIPScore 受限于对比学习竞争与全局 token 的缺陷，本文提出无需额外训练的 RA-CLIPScore，结合正负双提示词解耦属性与倒数第二层 patch token 提取局部语义，并拓展出空间分布散度指标 R-SaD，首次在单次前向中实现高保真属性级与空间布局偏差诊断。

研究背景与动机¶

生成对抗网络（GAN）与扩散模型（Diffusion Models）等图像生成技术的飞跃，使得合成图像在微观纹理和宏观结构上已逼近真实图片。然而，生成模型的严谨评估与失效诊断长期处于滞后状态。以 FID、KID、Precision/Recall 为代表的传统统计指标仅能输出黑盒标量分数，无法解释模型究竟在何种语义属性上发生退化（例如合成出“长胡须的婴儿”），更完全无视生成样本在空间定位、视角与姿态分布上的系统性偏差。当合成数据应用于下游医疗分类或具身智能感知时，这种固定的空间偏差（例如病灶总生成在图像中心）会导致下游模型学到虚假关联。

近年来，将大规模多模态预训练模型 CLIP 引入评估流程成为主流趋势，典型代表如 CLIPScore 和异构中心化指标 Heterogeneous CLIPScore (HCS)。但深入剖析 CLIP 的预训练机制即可发现其存在两大本质瓶颈：其一，CLIP 基于全局 Softmax 的对比学习目标人为施加了类别间的相互排斥约束，导致共存属性或细粒度属性在文本空间产生竞争与抑制；其二，视觉编码器丢弃全部局部 patch token、仅保留用于全局聚合的 [CLS] 标记，致使模型丧失对局部细节与空间位置的敏感度。此外，HCS 依赖数据集全局均值中心进行零均值漂移，在二属性极端情况下会强制退化为负和对称关系，且对属性词表的增减极度敏感。

本文的核心切入点在于回归视觉-语言编码器的表征底层，在不引入额外参数训练与多次前向开销的前提下，彻底释放 CLIP 潜在的细粒度空间感知与多标签独立属性判别能力。核心 idea：通过固定正负双提示词将多属性评估重构为独立的局部二分类任务，并利用注意遮罩在倒数第二层保留 patch token 进行单次前向局部提取与注意力重标定，进而构建能够量化生成模型空间偏置的区域单一属性散度（R-SaD）。

方法详解¶

整体框架¶

RA-CLIPScore 的完整评估流程旨在解决“属性语义解耦”与“细粒度空间感知”两个核心维度。对于输入图像，视觉编码器不再仅仅提取最终层全局 [CLS] token，而是通过设计的注意力掩码，在保留全局表征的同时，将倒数第二层的密集局部 patch token 直接投影至视觉-语言共享嵌入空间。对于待评估属性，框架利用正负成对的双提示词进行独立的二分类概率预测。接着，利用深层浅于末层的多头自注意力权重对粗糙局部得分进行去噪平滑，最后基于 patch 对正向提示词的相似度自适应加权聚合为整图 RA-CLIPScore。进一步地，通过对比真实集与生成集的局部得分，构建出无需假设分布的区域单一属性散度（R-SaD）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像批次 X 与待评属性集合"] --> B["设计1：正负双提示词构建<br/>独立二分类解耦属性竞争"]
    A --> C["设计2：单次前向局部特征抽取<br/>倒数第二层Patch绕过最终全局池化"]
    B --> D["粗粒度局部属性置信度计算<br/>对每个Patch计算正负提示Softmax"]
    C --> D
    D --> E["设计3：多层跨Patch注意力精炼<br/>利用浅层Self-Attention平滑去噪"]
    E --> F["设计4：提示对齐加权特征聚合<br/>依Patch与正向文本相关度加权汇总"]
    F --> G["属性散度评估 SaD / PaD<br/>基于高斯假设量化边缘与联合分布偏离"]
    E --> H["空间偏置诊断 R-SaD<br/>逐Patch均值差分定位空间生成缺陷"]

关键设计¶

1. 正负双提示词构建：重构独立二分类以消除属性竞争

传统 CLIP 评估通过 Softmax 归一化跨类别文本特征，导致“戴眼镜”与“微笑”等本可共存的属性产生非线性的相互挤压。为此，针对每个评估属性 $t_i$，构建正负对称的固定提示对： $$ \text{Prompt}_{t_i}^+ = \text{This is a photo of } t_i\text{.''}, \quad \text{Prompt}_{t_i}^- = \text{This is a photo without } t_i\text{.''} $$ 对于第 $n$ 张图像中的第 $j$ 个视觉 token $x^n[j]$，其粗粒度属性分数由对正负提示特征投影的局部 Softmax 给出： $$ \hat{r}_j^n(t_i) = \sigma\left( \langle \mathbf{\tilde{E}}_v(x^n[j]), \mathbf{E}t(\text{Prompt}^+) \rangle, \, \lagle \mathbf{\tide{E}}_v(x^n[j]), \mathbf{E}t(\text{Prompt}^-) \rangle \right)_0 $$ 该设计将开放词表评估解耦为相互独立的二值判别，彻底切断了属性集上下文选择对单个属性评分的干扰，解决了 HCS 中增减无关属性导致分数大幅漂移的系统性缺陷。

2. 单次前向局部特征抽取：倒数第二层 Patch 绕过最终全局池化

研究表明，Vision Transformer (ViT) 的浅中层与倒数第二层具有高度保真的局部纹理与空间信息，而在最终层（Layer $L$），自注意力操作使所有 patch token 的语义向全局 [CLS] token 塌陷。若采用额外的分割检测模型或分块多次前向，会导致计算成本激增。本文设计了一种定制的注意力掩码 $M^L$，在计算第 $L$ 层注意力时： $$ A^L = \sigma\left(\frac{(H^{L-1}W_Q^L)(H^{L-1}W_K^L)^\top}{\sqrt{d_k}} + M^L\right), \quad M^L = \begin{bmatrix} 0 & 0 & \dots & 0 \ -\infty & 0 & \dots & -\infty \ \vdots & \vdots & \ddots & \vdots \ -\infty & -\infty & \dots & 0 \end{bmatrix} $$ 掩码首行为 0 允许全局 [CLS] 正常汇总来自所有 patch 的上下文；而对 patch token 而言，除对角线为 0 外其余交互均置为 $-\infty$，使其跳过最终的自注意力混合，直接保留 $L-1$ 层的稠密空间特征并通过 MLP 投影。这一机制确保了在单次前向中同时获取语义高度提炼的全局 token $H^L[0]$ 与保留空间坐标的密集 patch 嵌入 $H_{\text{dense}}^L[1:]$。

3. 多层跨 Patch 注意力精炼：利用浅层自注意力平滑去噪

受限于感受野与局部不确定性，未经过上下文平滑的单个 patch 属性打分极易包含高频伪影或孤立噪声。为此，本文并不重新计算代价高昂的图模型优化，而是直接复用前向传播中已缓存在内存中的浅层自注意力权重集合 $\psi = \{1, 2, \dots, L-1\}$。对每个局部 patch $j \neq 0$，利用多层注意力权重的算术均值对其进行空间关联重标定： $$ \tilde{r}j^n(t_i) = \frac{1}{|\psi|}\sum_j^n(t_i) $$ 排除第 } A^l[j] \cdot \hat{r$L$ 层是因为末层注意力已被 [CLS] 的全局化任务主导。通过多层注意力的邻域加权扩散，局部属性响应从孤立点扩散为具有连续语义边界的显著图，大幅增强了空间定位判别的鲁棒性。

4. 提示对齐加权特征聚合：从局部响应到整图可解释评分

为了向后兼容整图层面的属性评分，需要将空间分布的精炼分数 $\tilde{r}_j^n(t_i)$ 汇总为单一图像得分。传统的全局平均池化会淹没仅占据图像微小区域的细粒度属性（如“耳环”、“口红”）。RA-CLIPScore 引入局部 patch 嵌入与正向文本提示之间的点积相似度作为空间归一化权重： $$ \text{RA-CLIPScore}(x^n, t_i) = \sum_j \sigma\left( \langle \mathbf{\tilde{E}}_v(x^n[j]), \, \mathbf{E}_t(\text{Prompt}^+) \rangle \right)_j \cdot \tilde{r}_j^n(t_i) $$ Softmax 空间加权确保仅有与目标属性显著相关的视觉区域贡献核心权重，背景无相关 patch 被自动抑制，使最终整图分数紧密锚定在真正承载该属性的图像局部。

5. 空间偏置诊断 R-SaD：揭示生成模型的隐式空间退化

基于精炼的局部 patch 属性打分，本文进一步提出了区域单一属性散度（Regional Single-Attribute Divergence, R-SaD）。不同于在整图分数上施加单高斯近似的 SaD 与 PaD（通过 KL 散度衡量边缘分布与配对联合分布差异），R-SaD 针对每个空间 patch $j$ 直接采用真实集与生成集的无偏均值差分： $$ \text{R-SaD}j(t_i) = \frac{1}{N}\sum}}} \tilde{rj^n(t_i) - \frac{1}{M}\sum(t_i) $$ 采用带符号均值差分赋予了指标正负可解释性：}}} \tilde{r}_j^{\prime m$\text{R-SaD}_j > 0$ 表示真实训练集中该区域属性更占优，而 $\text{R-SaD}_j < 0$ 则直接标定出生成模型在此位置存在过量合成的偏置倾向。通过将全图 patch 的 R-SaD 可视化为二维热力图，能够一目了然地定位如 BigGAN 倾斜生成吉他、StyleGAN-XL 旋转电话偏置等现有全局多样性指标所遗漏的空间模式坍缩。

实验关键数据¶

主实验¶

论文在 FFHQ 人脸高保真合成数据集上对主流生成架构（StyleGAN2、StyleGAN3、LDM-50 步、LDM-200 步）进行了全面对比，抽取 20 个客观人脸属性，衡量分布散度指标（SaD、PaD）与传统图像保真度/多样性指标的一致性。

模型	FID $\downarrow$	KID ($\times 10^{-4}$) $\downarrow$	Precision $\uparrow$	Recall $\uparrow$	Coverage $\uparrow$	Density $\uparrow$	SaD ($\times 10^{-3}$) $\downarrow$	PaD ($\times 10^{-3}$) $\downarrow$
StyleGAN2	2.94	5.0	0.792	0.665	0.948	1.11	2.25	4.9
StyleGAN3	5.20	8.2	0.769	0.700	0.947	1.02	2.98	6.8
LDM (50 steps)	8.85	60.0	0.703	0.666	0.832	0.72	5.64	12.3
LDM (200 steps)	9.53	69.0	0.700	0.663	0.827	0.67	6.44	14.0

在人类多样性感知对齐实验中，29 位受试者评估了 20 种具有显著空间偏置类别的生成模型与真实 ImageNet 样本的多样性吻合度，计算皮尔逊相关系数 $r$：

指标类型	评估指标	人类主观多样性相关系数 $r$	说明
空间分布散度	R-SaD (本文)	1.00	与人类感知完美对齐，精准捕捉物体朝向与位置多样性
语义对齐指标	RA-CLIPScore (本文)	0.60	兼顾局部与全局，高于基线 CLIPScore (0.49) 与 HCS (0.21)
传统统计保真度	FID	0.50	仅反映特征分布距离，对空间朝向坍缩极不敏感
传统统计保真度	KID	0.60	基于 MMD 的统计检验，无法诊断结构偏置
感知距离	LPIPS	0.53	深层特征距离，缺乏空间对齐语义基准
传统多样性度量	Density	0.70	流形流密度度量，部分反映样本丰富度
传统覆盖度度量	Precision / Recall	0.39 / 0.29	经典覆盖率指标与人类空间多样性感知负/弱相关
传统覆盖度度量	Coverage	0.29	现有常用流形覆盖度与人类空间几何直觉严重脱节

消融实验¶

在 CelebA 人脸与家具跨域混合测试集上，针对全局属性（男性 Male）、局部细粒度属性（眼镜 Eyeglasses）和表情属性（微笑 Smiling），采用 Cohen's d（分布分离度，越高越好）、Hellinger Distance (HD) 及 1-OVL（非重叠度）系统性剖析各模块的必要性：

实验配置	模块组合 (DP / LT / GE)	Male (Cohen's d)	Eyeglasses (Cohen's d)	Smiling (Cohen's d)	结论与机理
CLIPScore (Baseline)	原始全局单文本	1.22	2.05	1.67	缺乏属性解耦，局部细节敏感度严重不足
HCS (Baseline)	均值中心化单文本	1.55	2.01	1.70	受词表漂移扰动大，细粒度辨别力提升微弱
w/o DP (去掉双提示)	✗ / ✓ / Layer $L$	1.11	1.12	1.42	性能全线暴跌，证明消除文本竞争是判别的基石
w/o LT (去掉局部Token)	✓ / ✗ / Layer $L$	3.35	2.07	2.18	眼镜等小目标 Cohen's d 暴跌 32%，局部细节感知崩塌
w/o GE (去掉全局Embedding)	✓ / ✓ / Layer $L-1$	0.85	4.41	2.44	男性等整图属性分离度瘫痪 (0.85)，全局上下文不可或缺
Ours (完整模型)	✓ / ✓ / Layer $L$	3.16	3.03	2.45	在全局与局部属性间取得最佳平衡，各指标全面领跑

关键发现¶

双提示词（DP）是分类边界清晰化的绝对核心：消融数据显示，移除 DP 后各属性正负样本分离度（Cohen's d）均下降超过 50%，正样本与负样本得分严重重叠；双提示词成功将正样本打分推向 1，负样本打分压向 0。
全局与局部 Token 各司其职：全局 [CLS] 特征主导全局宏观属性判别（移除后男性属性 Cohen's d 从 3.16 骤降至 0.85）；而倒数第二层 patch token 是小目标细粒度属性的生命线（保留局部 token 使眼镜识别度从 2.07 飙升至 3.03）。
扩散模型的过平滑与细粒度过度生成：SaD 与 PaD 揭示，随着 LDM 采样步数从 50 步增至 200 步，秃头（Bald head）属性散度显著恶化，同时耳环与项链的过度生成频率异常增高，证明过多去噪步数会导致特定人脸属性与真实分布发生严重漂移。
空间偏置的普遍隐蔽性：在 ImageNet 实验中，StyleGAN-XL 在“旋转拨号电话”类别上倾向于生成弥散于四周的变体，而真实图像居中；BigGAN 则将“电吉他”等物体牢牢锁定在 45° 倾斜对角线上。传统 FID 完全无法察觉该类模式塌陷，而 R-SaD 能够以像素级热力图直观定位。

亮点与洞察¶

无需训练的零样本注意力掩码手术：通过在 ViT 最终注意力层构造非对称下三角/对角掩码矩阵，以零计算额外开销优雅地在一次前向中同时提取保留空间坐标的 dense patch 与全局上下文 token。
用均值差分打破对称距离盲区：在空间维度采用带符号的均值差分替代传统的对称散度（如 KL 或 JS 散度），不仅避免了局部小样本的高斯拟合误差，更直观标示出究竟是生成模型过度生成还是训练集更占优。
传统覆盖度指标在空间维度全面失真：实验证明学术界奉为圭臬的 Coverage 与 Recall 指标与人类真实的多样性直觉仅呈弱相关（$r=0.29$），揭示了现有生成模型评估体系在空间排布维度的长期盲区。

局限与展望¶

受限于预训练 CLIP 主干固有偏差：尽管通过架构改造释放了局部能力，特征表示仍受制于 CLIP 本身的视觉-语言概念空间及其对特定词汇的弱先验（如对空间介词的理解欠缺）。
空间分辨率受 ViT Patch 大小约束：局部 token 空间粒度受限于 ViT 输入切块步长（如 14×14 或 16×16），对于超小尺度物体的空间定位精度仍显粗糙。
未来扩展空间：后续工作可进一步将无训练密集抽取思想拓展至 SigLIP、DINOv2 或 SAM 等更擅长高分辨率几何密度的基础模型，并探索将该指标迁移至视频时空一致性与音频生成（如 CLAP）的评估框架中。

评分¶

新颖性: ⭐⭐⭐⭐☆ 巧妙利用末层注意力掩码与双提示词，在无需微调的前提下低成本拓展了 CLIP 的细粒度空间诊断能力。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 CelebA 属性分类、注入扰动、FFHQ 模型对比、ImageNet 空间偏差诊断及人类主观感知对齐实验，证据链严密。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层次清晰，对 HCS 的数学失控证明有力，图表丰富且可解释性极强。
价值: ⭐⭐⭐⭐⭐ 为生成模型评估补齐了至关重要的空间多样性与属性偏差诊断维度，对合成数据质检极具实践指导意义。