FAIR: Feature-Augmented Implicit Regularization for AI-generated Fake Image Detection¶

会议: ECCV 2026
论文: ECCV 原文
领域: AIGC检测
关键词: AIGC检测, 隐式正则化, 特权信息学习, 场景构图结构, 跨生成器泛化

一句话总结¶

FAIR 引入与纹理正交的场景构图结构（SCS）作为特权几何先验，在训练期扩增特征空间以平滑决策超平面并抑制局部纹理捷径学习，在推理期完全丢弃先验特征，以零计算与架构开销大幅提升跨生成器检测泛化性。

研究背景与动机¶

生成式人工智能（AIGC）的爆发式发展带来了虚假图像泛滥的安全隐患，而伪造检测器在未知生成器上的泛化能力始终是核心瓶颈。现实场景中，大量前沿生成模型采用专有闭源架构或经过本地对抗微调，检测器在开发阶段无法提前获取其伪造指纹。由于训练数据在生成器覆盖度上的固有残缺，现有基于频域伪影（如 FreDect）或局部纹理一致性（如 CNNSpot、PatchCraft）的检测模型极易过度拟合训练集特定生成器的低级像素纹理与噪声模式，学到脆弱且高度非线性的决策边界，一旦遇到未见过的扩散模型或 GAN 架构便发生灾难性失效。

然而，常规正则化手段难以破解这一泛化困境。权重衰减（$L_1/L_2$ 正则）与 Dropout 属于无差别的参数级强加约束，既缺乏领域几何先验，也无法显式惩罚对局部纹理的捷径学习，强行加大正则强度反而会导致模型欠拟合或特征坍塌。与生成器各自迥异的频域指纹不同，图像的宏观构图与空间布局在不同生成器乃至真实世界中具有天然的跨领域不变性。若能引入正交于像素纹理的宏观结构先验，便能引导检测器摆脱对源域低级纹理的过度依赖。

本文的切入角度是将特权信息学习（LUPI）范式与几何隐式正则化相结合，探索一种在不增加部署开销的前提下约束优化轨迹的新路径。核心 idea：利用场景构图结构（SCS）在训练期构建正交几何特征空间，引导分类超平面发生倾斜以平滑主干特征的决策边界并抑制纹理捷径学习；推理期直接丢弃该先验，实现零部署开销与跨域泛化跃升。

方法详解¶

整体框架¶

FAIR 针对现有检测器容易依赖局部纹理噪声走捷径的问题，设计了一套在训练阶段介入分类器优化、在推理阶段无缝剥离的特征增强隐式正则化机制。整体流程为：在训练阶段，保持基础检测器的特征提取器完全冻结，输入图像分别送入基础特征提取器提取主干特征 $X \in \mathbb{R}^D$（涵盖全局语义或局部微观纹理），并送入场景构图结构提取器生成宏观几何先验 $X^* \in \mathbb{R}^M$；两者拼接为增强特征 $[X, X^*]$ 送入扩展分类头进行联合优化；在推理阶段，直接剥离 $X^*$ 及其对应权重，仅保留经过平滑正则化的主干分类权重 $W_X$ 进行预测，部署架构与计算量与基线完全相同。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 I"] --> B["场景构图结构先验提取<br/>分层轴对齐二叉分割与增益累积"]
    A --> C["基线主干特征提取<br/>全局语义与频域/局部纹理编码 X"]
    B --> D["特征拼接与联合空间投影<br/>拼接 [X, X*] 优化扩展分类头"]
    C --> D
    D --> E["超平面倾斜与几何约束优化<br/>利用非判别性先验平滑主特征决策面"]
    E --> F["推理期先验剥离与零开销部署<br/>仅保留主权重 WX 进行线性判别"]

关键设计¶

1. 场景构图结构先验提取：通过递归空间分割建立跨域不变几何锚点 现有检测器依赖的频谱异常或像素间相关性对生成架构高度敏感，极易随生成器更替而漂移。为此，本文采用场景构图结构（SCS）作为正交先验。算法将整张图像视为初始块，计算其像素特征的误差平方和（SSE）： $$e_S = \sum_{p_i \in S} \|p_i - \mu_S\|^2$$ 随后在各分块内贪婪搜索使总 SSE 下降最大的轴对齐分割线，每次分割获得的增益 $g = e_S - (e_{S_1} + e_{S_2})$ 表征了宏观构图边界的显著性。对前 $N$ 次最优分割的增益序列计算归一化累积和，得到反映全局宏观布局的 $N$ 维特征向量 $\tilde{g}_i = \frac{1}{e_I}\sum_{j=1}^i \hat{g}_j$。该特征再通过一层带 GELU 激活的全连接层映射为 $M$ 维致密先验 $X^*$。该先验具备两个关键数学特性：一是与真假标签的互信息极低（$I(X^*; Y) \approx 0$，在 SDv1.4 训练集上 CKA 仅为 0.07），优化器无法单凭 $X^*$ 进行判别，被迫持续更新主权重；二是分布在跨生成器间高度恒定（$P(X^*|D_{src}) \approx P(X^*|D_{tgt})$），为特征空间提供了稳固的几何坐标锚点。

2. 特征拼接与联合空间投影：以特权信息引导超平面倾斜 在模型训练时，FAIR 借鉴特权信息学习（LUPI）机制，将冻结主干提取的 $D$ 维主特征 $X$ 与 $M$ 维结构先验 $X^*$ 拼接为 $[X, X^*] \in \mathbb{R}^{D+M}$。分类头相应扩展为联合权重矩阵 $W_{\text{FAIR}} = [W_X, W_{X^*}] \in \mathbb{R}^{C \times (D+M)}$。训练阶段的前向计算表示为： $$\text{Logits}_{\text{train}} = [X, X^*] \cdot [W_X, W_{X^*}]^T + b = X W_X^T + X^* W_{X^*}^T + b$$ 在这一高维增强空间中，结构先验 $X^*$ 提供了一个额外的正交几何自由度，使得优化器无需在原始 $X$ 空间内通过大幅扭曲参数去硬拟合源域的高频纹理毛刺，而是能够借助 $X^*$ 将分离超平面平滑地“倾斜”至扩增维度中。这在不损失源域分类能力的前提下，有效抑制了主权重 $W_X$ 的数值膨胀与剧烈振荡。

3. 超平面倾斜与几何约束优化：平滑损失曲面并压缩主干假设空间 传统权重衰减无法识别哪些参数正在拟合不可靠的伪影捷径，而 FAIR 带来的几何松弛从根本上改变了梯度的传播轨迹。由于 $X^*$ 的先验约束平抑了陡峭的局部损失谷底，模型在参数空间中探索更平坦的极小值点，主分类头每步权重范数增量 $\Delta \|W\|_2$ 显著降低并趋于稳定。实验证明，AIDE 最终分类层权重的 $L_2$ 范数从基线的 24.95 大幅压低至 18.42，消除了具有极端权重的长尾异常神经元。这种隐式收缩从根本上限制了分类头的假设空间复杂度，促使模型学到底层纹理特征之间的稳健组合关系，而非孤立过拟合特定生成器的高频噪声指纹。

4. 推理期先验剥离与零开销部署：保全稳健投影的无感落地 在部署与测试阶段，FAIR 将特权结构特征 $X^*$ 彻底丢弃，同时从联合权重中仅提取子矩阵 $W_X$ 和偏置项 $b$，部署期前向推理完全退回原始主干维度： $$\text{Logits}_{\text{inference}} = X \cdot W_X^T + b$$ 虽然先验 $X^*$ 本身不再参与计算，但在训练期间通过联合反向传播雕琢出的 $W_X$ 已经内嵌了正交宏观几何所施加的平滑约束。当遇到未见过的全新生成器时，$X$ 空间内的特征漂移不会被病态膨胀的分类权重放大，模型能够以平滑的决策面稳健地进行零样本跨域判别，且推理速度、显存占用与模型参数量完全不受任何影响。

实验关键数据¶

主实验¶

论文在涵盖超过 60 个未知目标域的 5 个大规模 AIGC 基准上全面验证了 FAIR 的架构无关性与跨域泛化能力。基准包含标准化跨生成器评估（GenImage、AIGCDetect）与极端未知扩散大模型迁移评估（UnivFD、Fake2M、DRCT-2M）。基线模型基于 PatchCraft（PC）与 AIDE。

表 1 展示了 5 大基准上的宏观平均 Top-1 准确率（%）：

方法	GenImage (N=8)	AIGCDetect (N=17)	UnivFD (N=21)	Fake2M (N=17)	DRCT-2M (N=16)
PC (Base)	82.36	89.85	83.92	80.46	71.39
PC + FAIR	90.40 (+8.04)	91.90 (+2.05)	84.69 (+0.77)	78.82 (-1.64)	74.39 (+3.00)
AIDE (Base)	86.88	93.02	77.24	69.12	66.68
AIDE + FAIR	91.01 (+4.13)	92.14 (-0.88)	79.72 (+2.48)	76.18 (+7.06)	68.83 (+2.15)

表 2 展示了在最关键的 GenImage 基准上各生成器域的详细跨域检测准确率（%）（源域为 SDv1.4）：

模型 / 方法	Midjourney	SDv1.4 (源)	SDv1.5	ADM	GLIDE	Wukong	VQDM	BigGAN	平均准确率
ResNet-50	54.90	99.90	99.70	53.50	61.90	98.20	56.60	52.00	72.09
Swin-T	62.10	99.90	99.80	49.80	67.60	99.10	62.30	57.60	74.78
DIRE	60.20	99.90	99.80	50.90	55.00	99.20	50.10	50.20	70.66
DRCT	94.63	99.88	99.82	61.78	65.92	99.91	74.88	58.81	82.08
PC (Base)	79.00	89.50	89.30	77.30	78.40	89.30	83.70	72.40	82.36
PC + FAIR	88.93	94.80	94.86	91.04	90.17	92.58	88.08	82.70	90.40
AIDE (Base)	79.38	99.74	99.76	78.54	91.82	98.65	80.26	66.89	86.88
AIDE + FAIR	83.62	99.63	99.61	84.05	96.66	99.11	87.23	78.18	91.01

消融实验¶

论文在 GenImage 上对 AIDE 基线展开了全面的正则化范式与特征先验消融对比，探讨传统参数惩罚与不同辅助先验对泛化性能的影响：

正则化方案 / 先验选择	参数设置 / 先验类型	源域 (SDv1.4)	跨域均值 (Mean)	典型泛化域 (Midjourney)	典型跨模态域 (BigGAN)	说明
无正则基线 (Base AIDE)	默认基线	99.7	86.9	79.4	66.9	严重过拟合源域局部指纹
Dropout	$p = 0.5$	99.7	86.5	76.5	70.4	仅稍微提升 GAN 域，整体微降 0.4%
$L_1$ 正则扫参	$\lambda = 10^{-4}$	99.1	85.3	71.6	69.1	引入稀疏性破坏特征判别力
$L_1$ 正则扫参	$\lambda = 10^{-3}$	98.8	86.3	72.3	70.9	强行抑制导致性能受损
$L_1$ 正则扫参	$\lambda = 10^{-2}$	50.0	50.0	50.0	50.0	特征严重坍塌退化至随机猜测
$L_2$ 权重衰减扫参	$\lambda = 10^{-4}$	99.7	86.7	77.0	70.6	无法阻断纹理捷径拟合
$L_2$ 权重衰减扫参	$\lambda = 10^{-3}$	99.6	86.3	74.9	69.8	随着惩罚增大跨域泛化反向下降
$L_2$ 权重衰减扫参	$\lambda = 10^{-2}$	99.1	85.0	71.7	68.5	盲目压缩权重大幅削弱泛化
替代先验: 随机噪声	Uniform Random	99.7	86.6	77.0	70.7	缺乏几何结构，等价于无效随机扰动
替代先验: 感知特征	LPIPS	99.3	83.1	71.6	64.8	过度包含低级纹理，造成反向负迁移
替代先验: 一阶梯度	Sobel 边缘算子	99.5	83.9	73.2	65.6	像素级局部边缘随生成器差异过大
替代先验: 二阶微分	Laplacian 边缘算子	99.6	84.8	75.1	66.7	微观高频边缘不能充当域不变锚点
FAIR 宏观几何先验	SCS 先验 (本文)	99.6	91.0	83.6	78.2	兼顾源域高准度与最强跨域鲁棒性

关键发现¶

宏观几何先验对跨生成器泛化至关重要：替换为 Sobel、Laplacian 或 LPIPS 等微观局部边缘与感知特征时，跨域均值甚至显著低于无正则基线（83.1%~84.8% vs 86.9%）。这证明只有正交且高阶抽象的宏观构图先验才能充当跨生成器的有效几何锚点。
参数级正则无法代替数据先验引导：常规 $L_1/L_2$ 正则化只会无差别限制权重的绝对大小，随着惩罚系数增大，跨域准确率持续单调下滑，甚至在 $\lambda=10^{-2}$ 时彻底退化为随机猜测；FAIR 则通过引导超平面在正交空间倾斜，在压缩主权重范数（24.95 降至 18.42）的同时获得了大幅提升。
错误置信度显著校准：分析 GenImage 全测试集的误分类样本可以发现，未正则化基线的预测错误普遍高度自信（Softmax 置信度密集堆积在 $p > 0.9$ 的极端置信区间）；而经 FAIR 训练后，误分类样本的预测概率被强力压缩至 $p \approx 0.5$ 的不确定性决策边界附近，极大抑制了捷径学习导致的过度自信盲区。
后处理鲁棒性显著增强：在 JPEG 压缩测试中，FAIR 在轻中度压缩（Q=95 到 70）下全面超越基线（例如 PatchCraft 在 Q=95 下准确率提升达 18.55%）；仅在极端重度压缩（Q=50）时由于 8x8 宏观分块效应干扰构图边缘，出现小幅性能倒退。

亮点与洞察¶

将特权信息学习巧妙重构为特征级隐式正则器：传统 LUPI 多用于困难样本挖掘或知识蒸馏，而 FAIR 创造性地将其作为优化轨迹的几何约束器，在训练期用几何维度容纳主干难以拟合的冗余方差，从而得到平滑决策边界。
无感知的推理期剥离机制（Zero Deployment Cost）：绝大部分多模态或多分支融合方法必须在测试时同样运行庞大的辅助分支，FAIR 却在推理时直接把辅助权重和特征彻底扔掉，不改变任何基线架构和推理耗时即可白嫖 4%~8% 的泛化提升。
可复用的跨域表征学习范式：对于医学影像跨中心泛化、人脸防伪伪影过拟合等严重受困于“特定数据采集噪声导致捷径学习”的领域，均可寻找一个无标签判别力却具备跨域不变性的宏观统计量/先验特征，采用 FAIR 机制来隐式正则化主网络。

局限与展望¶

作者指出的极端退化敏感性：当面临极低质量的图像传输（如 JPEG Q=50 导致的重度网格化方块效应）时，严重的压缩网格伪影会破坏宏观场景构图结构，导致依赖几何锚点的分类器产生误判。
先验维度的经验性超参数调优：先验分割阶数 $N$ 与映射维度 $M$ 需针对不同主干模型及输入分辨率进行经验性匹配（如 AIDE 采用 1024 维，PatchCraft 采用 32 维），尚未实现自动化超参搜索或自适应特征投影。
未来改进方向：可进一步探索抗压缩自适应分割算法，或引入连续空间层级划分机制增强对几何畸变（如鱼眼镜头、视角剧烈倾斜）的抗扰动能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将特权信息学习重构为几何隐式正则化，思路极其清晰巧辩]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 5 大基准、60+ 未知生成器域，实验消融与力学剖析非常扎实深入]
写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，机制图解与数理推导严谨自洽]
价值: ⭐⭐⭐⭐⭐ [即插即用且完全零部署开销，对 AIGC 检测工程落地与跨域泛化具有极高实用价值]