Post-hoc Selective Classification for Reliable Synthetic Image Detection¶

会议: NeurIPS 2026
arXiv: 2605.08574
OpenReview: https://openreview.net/forum?id=WYncw2up3x
领域: 其他
关键词: 合成图像检测, 选择性分类, 事后置信度估计, 无监督线性探测, 偏好优化

一句话总结¶

针对合成图像检测器在协变量偏移下常规置信度评分发生病态倒挂导致误拒正确样本的问题，本文提出 ReSIDe 框架，利用基于聚类质心的无监督线性探测提取各中间层 Logit，并通过偏好优化聚合多层置信度以严格最小化风险-覆盖曲线下面积（AURC）的上界。

研究背景与动机¶

随着扩散模型与生成对抗网络的飞速演进，高保真合成图像已达到肉眼难辨的逼真程度，构建高可靠的合成图像检测器（Synthetic Image Detector, SID）成为防范恶意伪造与滥用的迫切需求。现代基于深度神经网络（DNN）的检测器在训练分布内能够取得接近完美的分类准确率（例如在 GenImage 数据集上，ResNet50 与 Swin-T 的错误率分别仅为 2.42% 与 1.50%）。然而，在真实部署场景中，图像极易遭遇诸如高斯模糊、JPEG 压缩、低分辨率降采样、对抗扰动、未知语义类别以及未见生成模型等常见的协变量偏移（covariate shifts）。在这些实际扰动下，检测器的泛化性能急剧衰退，测试错误率普遍飙升至接近 50% 的随机猜测水平。

为了避免检测器在低可信度样本上盲目决策带来的严重安全风险，选择性分类（Selective Classification, SC）通过赋予检测器“拒绝预测（abstain）”的机制，允许模型在预测置信度低于阈值时弃权，从而在覆盖率与选择性风险之间取得平衡。在实际工程落地中，重新微调或联合训练检测器成本高昂且可能损伤原有表征，因而固定检测器参数的事后（post-hoc）置信度估计是更实际的选择。然而，本研究深入测试发现，最大 Softmax 概率（MSP）、Logit 边距（LM）、最大 Logit（ML）等常规基于输出层 Logit 的置信度评分函数，在面临模糊、对抗攻击等协变量偏移时出现了严重的“病态行为（pathological behavior）”：错误分类的样本反而比正确分类的样本获得了更高的置信度评分，导致风险-覆盖曲线随着拒绝阈值的提高而逆势上升，其 AURC 指标甚至显著恶化至差于随机丢弃。

这种病态失效的深层症结在于，输出层 Logit 经过高度非线性的任务特定决策头压缩后，极易对分布外的高频扰动产生过度自信的虚假极化，而骨干网络中间层所保留的层次化特征几何信息被完全浪费。核心 idea：将 Logit 的内涵从最终分类层泛化至中间隐藏层，通过球面 k-means 聚类质心构建无监督线性探测提取层级置信度，并基于成对偏好优化框架自适应聚合多层评分，在理论上严格最小化风险-覆盖曲线下面积（AURC）的上界。

方法详解¶

整体框架¶

ReSIDe 采取完全非侵入式（plug-and-play）的事后设计，不修改骨干检测器任何权重。输入图像首先通过固定的深度检测器前向传播，依次获取各中间隐层特征与最终分类层 Logit；随后通过预先利用无监督聚类提取的特征质心矩阵进行余弦相似度匹配，得到各层的广义 Logit；继而在每一层上独立应用基础置信度评分函数计算层级置信度；最后通过一个具有理论上界保证的线性加权偏好优化模块，将多层置信度聚合成单一标量评分并执行阈值化拒绝决策。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像<br/>真实图像 / 合成图像"] --> B["冻结的主干检测器<br/>ResNet50 / Swin-T"]
    B --> C["层级 Logit 泛化<br/>球面 k-means 聚类质心投影"]
    B --> D["最终层分类 Logits<br/>常规分类头输出"]
    C --> E["层级置信度评分提取<br/>应用 MSP / ML / SM 等基础函数"]
    D --> E
    E --> F["偏好优化置信度聚合<br/>学习各层权重 w 最小化 AURC 上界"]
    F --> G["单层最优回退保障<br/>验证集最低 AURC 检查点校验"]
    G --> H{"置信度阈值决策<br/>g_w(x) ≥ t ?"}
    H -->|是| I["接受预测<br/>输出真实/合成判定结果"]
    H -->|否| J["拒绝预测<br/>标记为不确定并转人工审核"]

关键设计¶

1. 基于无监督线性探测的层级 Logit 泛化：打破最终层输出的过度自信假象
传统检测器仅在最终线性分类层计算 Logit，而根据神经塌缩（Neural Collapse）与原型网络原理，分类层权重本质上等价于各类特征在嵌入空间的模板质心，Logit 即为特征与质心的匹配相似度。ReSIDe 将这一几何原理推广到主干网络的全部 $L$ 个中间隐藏层：在离线阶段，提取训练集样本在各中间层的特征表示，通过球面 k-means 聚类算法计算出 $K_l$ 个单位球面特征质心，组成原型矩阵 $C_l = [\bm{c}_{l,1}, \dots, \bm{c}_{l,K_l}]$（类簇数 $K_l$ 通过轮廓系数分析自适应确定）。在在线推断时，输入特征经过全局平均池化与 $l_2$ 归一化为 $\hat{\bm{h}}_l$，通过无监督线性探测（ULP）直接投影计算该层的广义 Logit： $$ \bm{z}_l = C_l^\top \hat{\bm{h}}_l $$ 对 $\bm{z}_l$ 应用任意常规置信度评分函数（如 MSP、ML、SM、LM、NE、NGI），即可获得第 $l$ 层的标量置信度 $s_l$。结合最终输出层置信度 $s_{L+1}$，模型共收集得到 $L+1$ 个具有丰富互补信息的置信度观测值。轮廓分析揭示，网络浅层质心数较多（3-5 个），而随网络加深质心数逐渐收敛为 2 个，准确契合了表征由分散到二元语义集中的过程。

2. 面向 AURC 上界最小化的偏好优化置信度聚合：成对排序与理论约束
为了将 $L+1$ 维的层级置信度向量聚合为最终选择性分类所需的单标量评分 $g_{\bm{w}}(\bm{x}) = \sum_{l=1}^{L+1} w_l s_l$，ReSIDe 摒弃了启发式加权或单纯回归正确率的做法，而是将选择性分类的核心目标——“让正确样本评分严格高于错误样本评分”转化为 Bradley-Terry 成对偏好排序机制。在包含少量代表性协变量偏移样本的留出验证集 $V = U^+ \cup U^-$（其中 $U^+$ 为正确样本集合，$U^-$ 为分类错误样本集合，$n=|U^-|$）上，定义 ReSIDe 损失函数： $$ L_{ReSIDe}(g_{\bm{w}}, V) = \frac{1}{(M-n)n} \sum_{\bm{u}^+ \in U^+} \sum_{\bm{u}^- \in U^-} \ln\left(1 + \exp\left(g_{\bm{w}}(\bm{u}^-) - g_{\bm{w}}(\bm{u}^+)\right)\right) $$ 更为关键的是，该损失函数具备严格的理论支撑。论文证明了风险-覆盖曲线下面积（AURC）满足如下上界不等式： $$ \text{AURC}(g_{\bm{w}}, V) < \frac{2(M-n)n}{M^2 \ln 2} L_{ReSIDe}(g_{\bm{w}}, V) + \frac{2n^2}{M^2} $$ 当错误样本的置信度评分互不相同时，上界中的常数项可进一步收紧为 $\frac{n(n+1)}{M^2}$。因此，通过梯度下降最小化成对对数几率损失，在数学上直接且有效压低了 AURC 的上限，从而保证学得的权重向量 $\bm{w}^*$ 能够最大程度恢复置信度单调性。

3. 单层最优回退机制与隐式安全防御：杜绝多层冗余负迁移
权重向量 $\bm{w}$ 在优化初始阶段并未随机赋值，而是首先在验证集上评估单一各层独立充当置信度函数时的性能，检索出验证集 AURC 表现最好的单层索引 $l^* = \arg\min_{l \in [L+1]} \text{AURC}(g_{\bm{e}_l}, V)$，并将初始权重设为对应的单热向量 $\bm{e}_{l^*}$。在随后的 100 轮优化中，算法保存并在最终返回验证集 AURC 最低的检查点。这种回退设计赋予了 ReSIDe 强大的自适应保护能力：若多层融合无法带来增益，模型自动退化为表现最佳的单一中间层；若最佳单层仍为最终层且无提升空间，模型即无缝回退至基线，杜绝了引入中间层扰动可能导致的负迁移。

损失函数 / 训练策略¶

偏好优化阶段仅需训练微量的层权重参数 $\bm{w} \in \mathbb{R}^{L+1}$（ResNet50 对应 17 个参数，Swin-T 对应 13 个参数）。优化器采用 Adam，学习率设为 0.1。训练时从留出验证集中的正确样本集 $U^+$ 与错误样本集 $U^-$ 各自随机抽取大小为 16 的批次样本构建微批次成对损失，训练 100 轮仅耗时数分钟（V100 GPU）。推断时仅增加一次矩阵向量乘法，延迟开销低于 5%。

实验关键数据¶

主实验¶

主实验在规模达 260 万张图像的 GenImage 基准上展开，采用 ImageNet-1K 同源的 50 个类别训练模型（真实图像 + ADM/BigGAN 生成），在包含高斯模糊（Blur, $\sigma \in [3,5]$）、未知类别（Unseen Cls.）、低分辨率（Low Res., 边长 64-96）、对抗扰动（FGSM, $\epsilon \le 8/255$）、JPEG 压缩（$q \in [30,70]$）及未见生成器（Unseen Gen.：Wukong/Midjourney/SD1.4/SD1.5）等 6 种偏移场景下进行评估。度量指标为选择性分类核心指标 AURC（数值越低越好）及相对改善率 $\Delta$。

分类器	置信度函数 (CSF)	Blur (基线 / ReSIDe)	Low Res. (基线 / ReSIDe)	FGSM (基线 / ReSIDe)	混合分布 (基线 / ReSIDe)	最大提升率 $\Delta$
ResNet50	MSP	0.7276 / 0.2406	0.3817 / 0.3610	0.4795 / 0.3449	0.3563 / 0.2004	66.93% (Blur)
ResNet50	ML	0.7271 / 0.2214	0.3782 / 0.3368	0.4847 / 0.4501	0.3635 / 0.2266	69.55% (Blur)
ResNet50	LM	0.7276 / 0.2414	0.3817 / 0.3691	0.4795 / 0.4035	0.3563 / 0.2094	66.82% (Blur)
Swin-T	MSP	0.6535 / 0.2889	0.4167 / 0.3255	0.3023 / 0.2889	0.3347 / 0.1947	55.79% (Blur)
Swin-T	SM	0.6535 / 0.2379	0.4167 / 0.3178	0.3023 / 0.3014	0.3347 / 0.1902	63.60% (Blur)
Swin-T	LM	0.6535 / 0.2187	0.4167 / 0.3073	0.3023 / 0.2956	0.3347 / 0.1858	66.53% (Blur)

消融实验¶

消融实验聚焦于混合分布（均匀包含 7 种测试场景）下各模块对整体性能的边际贡献，比较最终层基线、单层最优（Best Layer）以及 ReSIDe 完整偏好加权方案：

分类器主干	基础 CSF	最终层基线 (Baseline)	单层最优 (Best Layer)	ReSIDe (完整多层聚合)	相对单层最优提升 $\Delta$
ResNet50	MSP	0.3563	0.2554	0.2004 $\pm$ 0.0008	21.53%
ResNet50	ML	0.3635	0.2580	0.2266 $\pm$ 0.0034	12.17%
ResNet50	NE	0.3563	0.2554	0.1972 $\pm$ 0.0003	22.79%
Swin-T	MSP	0.3347	0.2266	0.1947 $\pm$ 0.0006	14.08%
Swin-T	LM	0.3347	0.2266	0.1858 $\pm$ 0.0002	18.01%
Swin-T	NGI	0.3347	0.2266	0.1845 $\pm$ 0.0003	18.58%

此外，与 Logit 后处理技术（如 pNorm 范数中心化）正交结合时，ReSIDe-pNorm 在 Blur 偏移下令 ResNet50 的 AURC 从 pNorm 单独使用的 0.5144 进一步降至 0.2834（相对降幅达 44.91%），验证了该方法与现有置信度校准技术的良好兼容性。

关键发现¶

病态反转现象成功纠偏：在未加干预的高斯模糊场景下，基线模型的错误样本平均得分高于正确样本，AURC 超过经验错误率（ResNet50 达 0.7276，基线比盲猜还差）；ReSIDe 将得分分布正确颠倒，使正确分类样本的置信度重新显著高于错误样本。
中间层表征比输出层更具抗扰鲁棒性：单层最优实验表明，仅凭中间隐藏层提取的置信度（Best Layer）便能将混合分布下的 AURC 削减约 28%，证实深度模型后期的极端非线性分类头是对抗常见低级扰动的脆弱根源。
架构与函数通用性强：ReSIDe 在 CNN（ResNet50）与 ViT（Swin-T）两类完全不同的骨干上，对包括 MSP、SM、ML、LM、NE、NGI 在内的所有 6 种置信度函数均实现一致的 AURC 下降。

亮点与洞察¶

从原型匹配统一 Logit 概念：巧妙利用神经塌缩视角将输出 Logit 的本质界定为类质心相似度匹配，顺理成章地借助无监督球面聚类将 Logit 计算下推至隐层，无需改变网络即可无感提取丰富中间层置信度信号。
理论推导桥接排序损失与 SC 指标：摆脱盲目的损失函数调优，严格推导出 Bradley-Terry 偏好损失是选择性分类核心度量 AURC 的理论数学上界，为机器学习置信度后处理提供了严谨的优化目标依据。
极简工程代价与安全兜底：仅训练十余个标量权重，引入单热单层最优初始化实现“零退化”防御，推理时延增幅严格控制在 5% 以内，极其契合高并发工业落地。

局限与展望¶

依赖深度神经网络架构：中间层 Logit 的提取高度依赖于层级特征提取结构，无法直接迁移应用于基于手工频域特征或浅层机器学习的检测算法。
验证集多样性要求：偏好优化的泛化表现依赖于留出验证集对真实分布偏移的覆盖面；若验证集场景严重单一，可能导致加权参数过拟合于特定扰动类型。
特征质心需要训练数据支持：球面 k-means 聚类依赖部分训练分布样本计算原型；在模型黑盒或原始训练数据不可得的场景下，需借助替代数据逼近。

评分¶

新颖性: ⭐⭐⭐⭐☆ 理论证明将成对偏好损失约束为 AURC 上界，且从质心匹配视角泛化中间层 Logit，思路优雅且论证完备。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 260 万规模基准、2 种主流骨干、6 种协变量偏移、6 种置信度函数及混合分布，消融与时延分析详实。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述环环相扣，病态行为剖析透彻，数学推导清晰规范。
价值: ⭐⭐⭐⭐⭐ 为虚假内容检测系统的落地安全与可信拒识提供了高度实用的标准化即插即用范式。