Prior-Conditioned Gaussian Discriminants for Generalizable AI-generated Image Detection¶
会议: ECCV 2026
论文: ECCV 2026
领域: AI 安全 / AIGC 检测
关键词: AI生成图像检测, 先验条件高斯判别器, 协方差阶梯, 分布偏移, 迁移学习
一句话总结¶
将AI生成图像（AIGI）检测形式化为由训练先验、冻结表征与决策规则构成的三元迁移系统，构建包含嵌套协方差假设的解析高斯判别器阶梯作为诊断基准，揭示当前众多微调分类头并未超越冻结特征的低阶几何可分性。
研究背景与动机¶
扩散生成模型与前沿图像合成技术的爆发式普及，使高保真度AI生成图像（AIGI）充斥于数字媒体中，对视觉内容真实性鉴别、版权溯源以及防范虚假信息传播提出了极其紧迫的挑战。现有检测器在同分布（IID）测试集上往往能取得接近完美的准确率，然而一旦部署到开放真实场景，面对生成模型家族迭代（如从GAN到各类潜在扩散模型或自回归生成器）、提示词/风格多样性演化以及图像源域与后处理管线的联合偏移时，检测性能经常发生灾难性崩溃。为了应对这种分布偏移，近期学术界一方面致力于扩展大规模训练集以覆盖更多生成器，另一方面倾向于采用预训练基础视觉模型提取特征并训练复杂的参数化分类头（如MLP或LoRA微调）。
然而，这种整体端到端评估的范式存在严重的归因混淆问题。当一个检测系统在新生成器或新域上表现不佳时，研究人员很难断定瓶颈究竟出在骨干网络特征的表达容量不足、训练先验数据集的捷径特征过拟合，还是分类头参数在梯度优化过程中破坏了特征原本的几何分布。现有基准往往局限于单独扰动生成器或图像源，无法反映真实部署中生成家族、内容风格与采集域协同漂移的复杂状态；更关键的是，许多工作宣称专门设计的分类头取得了跨域增益，却未能在严格匹配先验数据与特征表征的前提下，与最基础的统计判别规则进行受控对比。
本文的核心切入点在于将AIGI检测系统显式解耦为三个正交维度：训练先验分布、冻结图像编码器以及作用于特征之上的决策规则。作者提出，在追求更复杂的神经网络分类头之前，应当首先建立一个无需梯度反向传播、完全基于特征一阶与二阶统计量的解析几何基准，以此作为检验分类头优化是否真正带来超出低阶几何信息增益的诊断探针。核心 idea：将 AIGI 检测建模为先验条件下的特征空间迁移诊断系统，构建一套涵盖球形、对角、同方差与异方差嵌套协方差假设的闭式高斯判别器阶梯（Gaussian Discriminant Ladder），在严格匹配训练先验与冻结表征的条件下定量审计现有检测头并界定泛化边界。
方法详解¶
整体框架¶
本文将AIGI检测任务形式化为在特征空间中基于支持先验的二分类推断。给定输入图像 \(x\)，首先利用预训练冻结视觉编码器 \(\varphi\) 将其映射为 \(D\) 维特征嵌入向量 \(z = \varphi(x) \in \mathbb{R}^D\)。在训练阶段，不使用梯度下降迭代优化分类头权重，而是从给定的公开训练先验数据分布 \(\mathcal{D}_{\text{train}}\) 中抽取真实图像与伪造图像的支持集 \(\mathcal{S}\)，计算类条件均值向量 \(\mu_c\) 与协方差矩阵 \(\Sigma_c\)（\(c \in \{0, 1\}\)，分别代表真实与伪造）。通过对协方差矩阵施加从受限到通用的几何结构约束，构建四阶嵌套高斯判别器阶梯；在测试阶段，输入未知测试图像直接通过闭式解析公式计算判别得分并给出决策。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：多源图像样本<br/>x ∈ D_train (真实与伪造图像)"] --> B["冻结基础视觉编码器<br/>z = φ(x) 映射高维嵌入"]
B --> C["先验条件矩估计与协方差正则化<br/>支持集样本计算 (μ_c, Σ_c) 与 Σ_p"]
C --> D["嵌套协方差假设判别器阶梯<br/>解析求解 Euc/Cos-NCM, GNB, Mah-NCM, QDA"]
D --> E["严格配对系统级审计与诊断上限<br/>同先验同特征下对比学习头与高斯阶梯"]
E --> F["输出：OOD泛化诊断与真实/伪造分类判定"]关键设计¶
1. 先验条件矩估计与协方差正则化：从冻结表征中无优化提取一阶与二阶统计量
为完全剥离梯度反向传播对特征分布造成的潜在扰动，该设计直接在冻结特征空间中计算类条件经验样本矩。对给定的训练先验支持集 \(\mathcal{S} \subseteq \mathcal{D}_{\text{train}}\)，真实类（\(c=0\)）与伪造类（\(c=1\)）的样本均值向量与协方差矩阵直接由样本期望估计。当采用同方差假设时，计算样本量加权的合并协方差矩阵（Pooled Covariance）：
然而在高维特征空间中（例如 ViT 嵌入维度 \(D \ge 768\)），协方差矩阵的直接求逆与对数行列式计算极易出现数值下溢或病态奇异性。为此，该机制引入标准协方差收缩（Shrinkage）与对角微扰对角加载（Diagonal Loading）正则化：\(\hat{\Sigma} = (1 - \alpha)\Sigma + \alpha \frac{\text{Tr}(\Sigma)}{D}I + \lambda I\)。这不仅确保了逆矩阵 \(\Sigma^{-1}\) 运算的数值稳定性，而且使模型能够在极少支持样本（如数十张图像）下依然鲁棒地捕获特征空间的主要扩散方差方向。
2. 嵌套协方差假设判别器阶梯：从球形到异方差的闭式几何决策边界
为了系统探究到底需要何种精度的统计几何信息才能实现跨生成器和跨域迁移，本文设计了一套自底向上的四阶嵌套高斯判别器阶梯（Ladder）： - 球形同方差阶梯（Euc-NCM / Cos-NCM）：假设两类均服从各向同性协方差 \(\Sigma_c = \sigma^2 I\)。此时对数似然差退化为样本点到类均值的欧氏距离对比；若特征经过 \(\ell_2\) 归一化，则进一步等价于余弦相似度最近质心匹配（Cos-NCM），诱导出一个正交于质心连线的线性决策超平面。 - 对角异方差阶梯（GNB）：假设特征维度在给定类别下条件独立，即 \(\Sigma_c = \text{diag}(\sigma_{c,1}^2, \dots, \sigma_{c,D}^2)\)。该假设仅保留各维度的独立缩放方差而忽略特征间协方差，边界呈现轴对齐的二次超曲面。 - 全秩同方差阶梯（Mah-NCM）：假设真实与伪造类共享椭球形状但中心不同（\(\Sigma_0 = \Sigma_1 = \Sigma_p\)）。决策基于马氏距离 \((z - \mu_c)^\top \Sigma_p^{-1} (z - \mu_c)\) 进行判别，实质上通过协方差白化消除了特征间全局相关性，在理论上构成了贝叶斯最优线性判别分析（LDA）边界。 - 全秩异方差阶梯（QDA）：允许真实与伪造类具备完全独立的协方差矩阵（\(\Sigma_0 \neq \Sigma_1\)），产生可自由旋转与弯曲的二次判别超曲面：
这四个阶梯构成了严格的几何嵌套关系，最佳阶梯的胜出直接指示了目标分布偏移下哪种阶数的统计特征是可迁移的。
3. 严格配对系统级审计与诊断上限：解耦编码器、先验与分类头贡献
该设计改变了以往将检测器作为不可拆分黑盒对比的习惯，提出“(训练先验, 冻结编码器, 分类头)”的三因子受控审计协议。对于任何已发布的检测模型，只要其能暴露输入分类头前的最终特征向量，就必须在该检测模型原作者所使用的相同训练先验数据集上提取相同特征，并拟合高斯判别器阶梯进行直接性能对齐。如果在相同的先验与特征表征下，参数化训练的分类头无法超越阶梯中的最佳闭式解（通常是 Mah-NCM），则表明该检测器声称的域外泛化优势并非源自精心设计的分类头损失函数或优化技巧，而仅仅是利用了基础模型原本就具备的一阶与二阶几何可分性。反之，若学习头显著优于阶梯，则能实证证明数据分布中存在高阶非高斯流形结构，为后续模型设计提供明确的理论归因。
一个完整示例¶
以输入一张未经微调的基础模型编码图像为例，展示 Mah-NCM 的闭式推断全流程： 1. 支持集特征白化参数沉淀：从 CommunityForensics 训练先验中抽取少量支持样本（如仅占 0.005% 的 219 张图像），输入冻结的 PE-Core-bigG-14-448 编码器获得 1536 维嵌入。计算得真实中心 \(\mu_0\)、伪造中心 \(\mu_1\) 及正则化合并协方差逆矩阵 \(\Sigma_p^{-1}\)。 2. 测试样本前向映射：输入一张未见过的测试图像 \(x_{\text{test}}\)，直接经过冻结编码器得到测试特征向量 \(z \in \mathbb{R}^{1536}\)。 3. 闭式马氏距离计算：计算 \(z\) 到真实中心的马氏距离平方 \(d_M(z, \mu_0)^2 = (z - \mu_0)^\top \Sigma_p^{-1} (z - \mu_0)\)，以及到伪造中心的马氏距离平方 \(d_M(z, \mu_1)^2 = (z - \mu_1)^\top \Sigma_p^{-1} (z - \mu_1)\)。 4. 决策判定：若 \(d_M(z, \mu_1)^2 < d_M(z, \mu_0)^2\)，即判定为伪造图像。全过程耗时仅毫秒级，无需任何学习率微调、反向传播或早停超参，在 Percept-Lens 宏平均测试下即能达到 90.89% 的高精度。
损失函数 / 训练策略¶
作为纯解析闭式判别体系，高斯判别器阶梯本身完全无需反向传播或损失函数优化。然而在理论层面，论文通过贝叶斯决策论严格推导了该体系的渐进收敛与稳定性保证： - 贝叶斯最优性定理：当类条件密度严格服从高斯分布且先验概率均等时，QDA 是全局贝叶斯最优决策器；若进一步满足同方差条件，则 Mah-NCM 构成了贝叶斯最优线性分类器。 - 有界漂移下的 AUC 稳定性：若测试集与训练集之间的高斯统计漂移满足均值偏差 \(\|\mu_c^{\text{test}} - \mu_c^{\text{train}}\|_2 \le \epsilon_\mu\) 且协方差偏差 \(\|\Sigma^{\text{test}} - \Sigma^{\text{train}}\|_F \le \epsilon_\Sigma\)，则在同方差模型下测试 AUC 与训练 AUC 的差异严格受限于 Lipschitz 常数：\(|\text{AUC}_{\text{test}} - \text{AUC}_{\text{train}}| \le L(\epsilon_\mu + \epsilon_\Sigma)\)。 - Fisher 边际稳定性：设均值差为 \(\delta = \mu_1 - \mu_0\)，分布漂移下 Fisher 判别边际 \(\mathcal{D}_\mu\) 的一阶扰动满足 \(|\mathcal{D}_\mu^{\text{test}} - \mathcal{D}_\mu^{\text{train}}| \le 2 \|(\Sigma_p^{\text{train}})^{-1}\|_2 \|\delta^{\text{train}}\|_2 \epsilon + O(\eta)\)，证明了只要特征一阶中心与协方差结构保持几何对齐，模型在未知测试域上的性能降级将保持平滑可控。
实验关键数据¶
主实验¶
为了在真实的生成器、风格与图像源联合偏移下评估检测器，实验构建了涵盖 39 个公开数据集、共计 710 万张图像的统一评测基准 Percept-Lens。下表展示了在匹配训练先验与冻结编码器特征的严格受控条件下，各已发布代表性检测模型开箱头（Out-of-the-Shelf）与高斯阶梯最佳闭式解的性能对比（评价指标为数据集平衡类别准确率 CA 的宏平均值）：
| 检测模型 | 骨干网络 / 特征类型 | 对应训练先验数据集 | 开箱发布头 (CA) | Euc-NCM (CA) | 高斯阶梯最佳解 (CA) | 相对提升 |
|---|---|---|---|---|---|---|
| UnivFD | ViT-L-14 (OpenAI) | CNNSpot (LSUN ProGAN) | 54.63% | 50.98% | 57.62% (Mah-NCM) | +2.99% |
| AIDE | 多专家频域+语义特征 | CNNSpot (LSUN ProGAN) | 56.41% | 54.25% | 62.76% (Mah-NCM) | +6.35% |
| AIDE | 多专家频域+语义特征 | GenImage-SDv1 (ImageNet-1k) | 48.99% | 54.53% | 57.35% (Mah-NCM) | +8.36% |
| Effort | LoRA 微调表征 | GenImage-SDv1 (ImageNet-1k) | 72.58% | 75.06% | 76.82% (Mah-NCM) | +4.24% |
| DRCT-UnivFD | 扩散重构对比特征 | Full GenImage | 65.77% | 66.08% | 73.01% (Mah-NCM) | +7.24% |
| AIDE | 多专家频域+语义特征 | Full GenImage | 54.98% | 52.24% | 64.64% (Mah-NCM) | +9.66% |
| DRCT-UnivFD | 扩散重构对比特征 | DRCT-SDv1 (COCO) | 63.36% | 65.36% | 70.20% (QDA) | +6.84% |
| DRCT-UnivFD | 扩散重构对比特征 | DRCT-SDv2 (COCO) | 62.37% | 66.31% | 70.31% (QDA) | +7.94% |
| CoDE-kNN | 端到端对比学习表征 | ELSA-D3 (LAION-400M) | 64.01% | 63.63% | 66.15% (Mah-NCM) | +2.14% |
| CF-224 | 端到端微调表征 | CommunityForensics | 81.98% | 78.53% | 82.61% (Mah-NCM) | +0.63% |
| CF-384 | 端到端微调表征 | CommunityForensics | 87.54% | 82.65% | 84.45% (Mah-NCM) | -2.99% |
| 纯冻结大模型 | PE-Core-bigG-14-448 | 无检测微调 (直接提取) | — | 86.38% | 94.46% (Mah-NCM) | — |
消融实验¶
下表给出了在固定顶级冻结特征编码器（PE-Core-bigG-14-448）的前提下，仅改变用于估计统计矩的训练支持先验数据集时，高斯判别器阶梯各 rung 的表现对比：
| 训练支持先验数据集 | Euc-NCM (球形欧氏) | Cos-NCM (球形余弦) | GNB (对角独立) | Mah-NCM (同方差全秩) | QDA (异方差全秩) | 最优协方差假设 |
|---|---|---|---|---|---|---|
| CNNSpot (ProGAN) | 74.95% | 78.57% | 59.21% | 77.93% | 49.24% | Cos / Mah |
| GenImage (多扩散模型) | 86.68% | 88.75% | 87.50% | 92.43% | 81.83% | Mah-NCM |
| GenImage-SDv1 | 88.74% | 89.80% | 86.34% | 92.57% | 65.06% | Mah-NCM |
| DRCT-2M (SD-COCO) | 81.90% | 81.76% | 86.21% | 83.25% | 91.09% | QDA |
| DRCT-SDv1 | 82.29% | 83.81% | 88.70% | 88.31% | 89.92% | QDA |
| DRCT-SDv2 | 83.50% | 84.38% | 89.56% | 90.08% | 91.44% | QDA |
| ELSA-D3 (多模型扩散) | 88.87% | 89.03% | 86.98% | 94.45% | 86.40% | Mah-NCM |
| CommunityForensics | 86.38% | 86.06% | 87.26% | 94.46% | 86.15% | Mah-NCM |
为了进一步探究高斯判别器的样本利用效率，在 CommunityForensics 先验下对支持集样本量进行极端下采样实验（固定骨干网络为 PE-Core-bigG-14-448）：
| 支持集采样比例 | 对应样本数估算 | Euc-NCM (CA) | Cos-NCM (CA) | GNB (CA) | Mah-NCM (CA) | QDA (CA) |
|---|---|---|---|---|---|---|
| 0.001% | 约 44 个样本 | 83.97% | 83.46% | 87.14% | 85.56% | 85.13% |
| 0.005% | 约 219 个样本 | 86.04% | 85.78% | 87.23% | 90.89% | 85.53% |
| 0.01% | 约 438 个样本 | 86.32% | 86.02% | 87.42% | 91.55% | 86.48% |
| 0.1% | 约 4,380 个样本 | 86.26% | 85.92% | 87.33% | 93.18% | 84.18% |
| 1.0% | 约 43,800 个样本 | 86.39% | 86.05% | 87.28% | 93.52% | 85.16% |
| 100% | 全量数百万样本 | 86.38% | 86.06% | 87.26% | 94.46% | 86.15% |
关键发现¶
- 训练分类头未能稳定超越二阶几何基准：在 11 组已发布检测器受控测试中，有 10 组被简单的高斯闭式解超越，提升幅度最高达 +9.66%（AIDE-Full GenImage）。唯一例外是高分辨率专门调优的 CF-384（87.54% vs 84.45%），证实大多数已发布分类头在训练中陷入了先验特定的过拟合陷阱。
- 训练先验对迁移性能起决定性主导作用：即使使用完全相同的顶级视觉表征（PE-Core-bigG），仅仅改变计算均值与协方差的先验数据集，宏平均准确率就出现巨大跨度（从 CNNSpot 的 77.93% 飙升至 CommunityForensics 的 94.46%，相差 16.53%），证明训练集的生成器多样性远比微调更关键。
- 协方差结构假设具有先验特异性：在大多数先验上，同方差假设（Mah-NCM）全面占优；而在基于 COCO 重建扩散的 DRCT 系列先验上，异方差假设（QDA）始终显著领先（91.09% vs 83.25%），反映出不同先验构建方式赋予了特征空间截然不同的局部几何对称性。
- 极小样本下的惊人数据效率：在强大的预训练表征上，仅需 219 个支持样本（0.005%），Mah-NCM 即可达到 90.89% 的优异跨域准确率；当样本被极度压缩至 44 个时，参数量更少的对角独立模型（GNB）凭借极低方差成为最稳健的选择（87.14%）。
- Wasserstein-2 距离的表征依附陷阱：在特征空间计算的分布偏移量 \(\mathcal{W}_2\) 与真实检测精度差异 \(\Delta \text{CA}\) 之间的 Spearman 秩相关系数极弱（如 CF-224 与 CF-384 间相关性仅为 -0.150，PE-Core 与 CF-384 间为 -0.194）。这意味着高维空间中全局几何距离的拉大往往是由各向异性尺度形变引起，并不直接等价于判别边界有效性的退化。
亮点与洞察¶
- 将分类头贡献降维为低阶统计检验：通过建立闭式无参数的高斯阶梯，为学术界提供了一面清晰的“照妖镜”——任何新提出的 AIGI 检测微调分类头，都必须首先证明自己能跑赢同先验同特征下的 Mah-NCM，避免了大量无效的微调炼丹工作。
- 解耦先验、表征与决策面的系统级诊断思想：打破了过去将检测器整体打包对比的粗放模式，明确了“表征容量界定天花板、先验分布决定通用性、决策规则捕获低阶相关”的三权分立逻辑。
- 现代基础模型的零样本判别潜力：未经过任何防伪检测微调的大规模预训练表征（如 PE-Core-bigG）在仅靠简单的马氏白化距离下，便在 39 个数据集上横扫此前所有专用检测器（94.46% CA），揭示了视觉大模型隐空间天然蕴含高分离度的伪造假象几何结构。
局限与展望¶
- 高斯分布假设的内在边界：论文所依赖的高阶阶梯基于严格的高斯单峰假设。在频域强伪影（如傅里叶谱离散峰值）或严重重度有损压缩的分布中，特征空间会出现多峰与重尾分布，此时高斯阶梯会出现欠拟合，必须依赖非线性深度分类头捕获高阶统计依赖。
- 多类别先验与在线增量扩展受限：目前闭式解主要针对单先验支持集二分类推断，当开放世界中出现全新物理机制的生成引擎时，如何动态维护和在线更新协方差矩阵（避免全量重算）仍待进一步探索。
- 分类属性建议：当前论文在会议目录中预分配至
llm_nlp，但论文核心聚焦于计算机视觉中的扩散生成模型真伪鉴别、图像表征几何分析与伪造检测安全。强烈建议将其调整归类至ai_safety或aigc_detection领域，以更准确地融入安全防御与图像伪造检测的研究矩阵。
相关工作与启发¶
- vs UnivFD (Ojha et al., CVPR 2023): UnivFD 使用冻结的 CLIP ViT-L 特征训练线性分类层探究跨生成器检测；本文证明在相同特征和先验下，解析的 Mah-NCM 达到 57.62%，直接超过其训练好的线性头（54.63%），表明其跨域弱点来自学习头的经验风险过拟合而非特征本身不可分。
- vs AIDE (Yan et al., 2024): AIDE 结合了多频域专家与语义特征进行分类；实验显示其在 CNNSpot 与 GenImage 上均落后于高斯阶梯 6~9 个百分点，表明手工多专家特征融合的优化难度可能反向削弱了特征固有的几何可分性。
- vs CommunityForensics (Park et al., CVPR 2025): CF 通过扩充数千个生成器先验显著提升了泛化性能，并在 CF-384 上以 87.54% 压制了 Mah-NCM（84.45%）；这证明极度丰富的先验使学习头能够提取超越二阶矩的高阶模式，但使用未经微调的 PE-Core 基础表征仅需配对基础高斯判别器即可轻松达到 94.46%，展示了基础模型规模扩展对专用检测器微调的降维打击。
评分¶
- 新颖性: ⭐⭐⭐⭐ [将经典高斯判别分析系统化重塑为 AIGI 跨域解耦与诊断工具，立意极深刻]
- 实验充分度: ⭐⭐⭐⭐⭐ [跨 39 个数据集、710 万张图像的全景基准评估，消融覆盖先验、表征、样本量与几何指标]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，数学理论推导与经验归因严谨清晰，图表极具说服力]
- 价值: ⭐⭐⭐⭐⭐ [有力澄清了当前 AIGI 检测领域中分类头微调的虚火，确立了极简而难以逾越的基线标准]