USAD: Uncertainty-aware Statistical Adversarial Detection¶

会议: NeurIPS 2026
arXiv: 2606.27832
OpenReview: https://openreview.net/forum?id=EGs2nZVWS3
代码: https://github.com/tmlr-group/USAD
领域: AI 安全
关键词: 对抗样本检测, 统计双样本检验, 不确定性感知, 最大均值差异, 排列检验

一句话总结¶

针对现有基于最大均值差异（MMD）的统计对抗检测在小样本窗口下检出功效严重衰减的问题，本文提出不确定性感知统计对抗检测（USAD），通过方差差异捕获全局流形位移、扰动协方差差异捕获局部决策边界不稳定性，并利用自适应相关性加权融合，实现了小样本与稀疏对抗混合下的高检验功效与严格假阳率控制。

研究背景与动机¶

深度神经网络面对精心构造的对抗样本（AEs）时极易产生误判，直接在推理前识别并拦截对抗样本构成了最轻量级的防御手段。传统检测方法大多将对抗检测建模为二分类任务，针对特定分类器或特定攻击类型训练判别模型，极易在面对未见攻击或白盒自适应攻击时失效。为摆脱对特定攻击假设与模型架构的依赖，统计对抗检测（Statistical Adversarial Detection, SAD）将检测任务形式化为严格的双样本假设检验（Two-Sample Hypothesis Testing）：维护一个纯净样本（CEs）参考集，并在流式推理中对一段查询窗口的样本分布进行在线监测，检验其是否偏离纯净分布，同时借助置换检验在理论上严格控制误报率（Type-I Error）。

然而，当前主流的 SAD 方法（如 SAMMD）几乎完全依赖最大均值差异（MMD）作为检验统计量。MMD 在本质上衡量的是再生核希尔伯特空间（RKHS）中核均值嵌入的一阶矩偏移，对高阶几何特征与不确定性结构的变动天然迟钝。这一机制缺陷导致 MMD-based SAD 存在致命的样本效率瓶颈：当查询窗口缩减至小批量（如 10 到 50 个样本）或对抗样本稀疏混杂在大量正常请求中时，有限样本估计的高方差会彻底淹没均值漂移信号，导致检测功效呈断崖式下跌。防御系统无法在真实流式部署中长时间等待大批次累积，这种小样本下的功效匮乏严重制约了统计防御的实际落地。

深入审视对抗样本的几何生成机制可以发现，对抗扰动主要诱发两类典型的不确定性异常表征：一方面，对抗攻击将样本推离纯净数据流形，导致语义特征在空间中的弥散范围发生改变（全局不确定性）；另一方面，范数受限的扰动将样本推向分类决策边界附近，极度依赖脆弱的非鲁棒特征，使得样本对微小的各向同性高斯随机扰动表现出极高的敏感性与方向多变性（局部不确定性）。核心 idea：显式针对对抗样本的流形位移与边界敏感性，分别构建捕获全局不确定性的方差差异（VD）与捕获局部不确定性的扰动协方差差异（PCD），并基于纯净校准集估计其联合协方差实现自适应相关性融合，在小样本和自适应攻击下提供高功效、有理论保证的统计对抗检测。

方法详解¶

整体框架¶

USAD 的核心检测流程由“特征与不确定性表征提取”、“双尺度统计量计算”和“自适应相关性检验融合”三个阶段构成。对于目标分类器 $f$，系统获取纯净参考集 $X=\{\bm{x}_i\}_{i=1}^n$ 和待测查询集 $Y=\{\bm{y}_j\}_{j=1}^m$ 在倒数第二层的语义特征向量。针对全局几何，系统计算两组特征在核空间中的方差差异（VD）；针对局部几何，系统为每个样本注入多重各向同性高斯噪声，提取扰动特征协方差矩阵，并计算其核均值嵌入间的扰动协方差差异（PCD）。最后，利用独立纯净校准集估计的双统计量协方差矩阵对 VD 与 PCD 进行相关性感知加权聚合，通过置换检验输出拒绝原假设（判定为对抗样本窗口）的统计决策。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本<br/>纯净参考集 X 与待测查询集 Y"] --> B["语义特征提取<br/>目标分类器倒数第二层特征 f(·)"]
    B --> C["方差差异 (VD)<br/>核内自相似与配对相似度差值"]
    B --> D["扰动协方差差异 (PCD)<br/>注入高斯噪声并计算特征协方差"]
    C --> E["自适应相关性加权融合<br/>基于纯净校准集逆协方差加权"]
    D --> E
    E --> F["置换检验决策<br/>动态阈值判定是否偏离纯净分布"]

关键设计¶

1. 方差差异（Variance Discrepancy, VD）：量化流形偏离引起的全局不确定性位移
针对 MMD 仅度量均值位移而忽略样本扩散尺度的缺陷，VD 旨在度量特征在 RKHS 中的离散程度差异。对于分布 $\mathbb{P}$ 和核函数 $\ell$，定义语义特征分布的总体方差为样本对自身相似度的期望减去两独立样本间相似度的期望： $$V_{\mathbb{P}} \triangleq \mathbb{E}_{\bm{x}\sim\mathbb{P}}[\ell(f(\bm{x}),f(\bm{x}))] - \mathbb{E}_{\bm{x},\bm{x}'\sim\mathbb{P}^2}[\ell(f(\bm{x}),f(\bm{x}'))]$$ 前一项反映了流形内样本的紧致性，后一项表征空间扩散广度。在样本集 $Z \in \{X,Y\}$ 上，VD 采用无偏 U-统计量估计量 $\widehat{V}(Z;\ell)$，并将检验统计量定义为二者差值的平方： $$\widehat{\text{VD}}(X,Y;\ell) = \left(\widehat{V}(X;\ell) - \widehat{V}(Y;\ell)\right)^2$$ 当对抗样本被推离纯净数据流形造成特征异常发散或过度聚集时，VD 能够在均值几乎重合的情形下敏锐捕获二阶统计结构的显著畸变。

2. 扰动协方差差异（Perturbation-based Covariance Discrepancy, PCD）：刻画决策边界脆弱性的局部不确定性
针对对抗样本紧邻分类边界、依赖非鲁棒特征从而对各向同性扰动高度不稳定的特性，PCD 显式构建了局部敏感性度量。对于每个输入样本 $\bm{z}$，算法注入 $K$ 次独立的各向同性高斯噪声 $\bm{\delta}_k \sim \mathcal{N}(\bm{0}, \sigma^2 I)$，提取扰动后的语义特征并计算样本级的经验协方差矩阵： $$\Sigma_{\bm{z}} = \frac{1}{K-1} \sum_{k=1}^K (f(\bm{z}+\bm{\delta}_k) - \overline{f_{\bm{z}}})(f(\bm{z}+\bm{\delta}_k) - \overline{f_{\bm{z}}})^\top$$ 该协方差矩阵的特征谱完整编码了局部几何曲率：纯净样本由于处于高密度决策区域内部，各向扰动下的特征波动平缓且方向一致；对抗样本则因处于决策分界面边缘，极小的扰动即激发大幅且方向杂乱的特征剧变。在此基础上，PCD 定义在半正定算子锥空间上的核函数 $\rho$，并以两组协方差矩阵集合的核均值嵌入平方距离作为检验统计量： $$\widehat{\text{PCD}}(X,Y;\rho) = \sum_{i\neq j}^n \frac{\rho(\Sigma_{\bm{x}_i},\Sigma_{\bm{x}_j})}{n(n-1)} - \sum_{i=1}^n \sum_{j=1}^m \frac{2\rho(\Sigma_{\bm{x}_i},\Sigma_{\bm{y}_j})}{nm} + \sum_{i\neq j}^m \frac{\rho(\Sigma_{\bm{y}_i},\Sigma_{\bm{y}_j})}{m(m-1)}$$ 该设计使局部各向异性敏感度差异直接映射为可检出的核距离。

3. 自适应相关性加权融合与置换决策：折扣冗余并实现严密误报控制
不同类型的对抗攻击激活全局与局部不确定性的程度各异（例如迭代梯度攻击倾向于边界局部震荡，而大范数位移攻击主要改变全局散度），若采用等权相加容易受到噪声分量的干扰。USAD 将统计量向量化为 $\mathcal{T}(X,Y;\ell,\rho) = (\widehat{\text{VD}}, \widehat{\text{PCD}})^\top$，并基于独立的纯净校准集 $X_{\text{cal}}$ 进行 $B$ 次重采样，估计在原假设 $H_0$ 下两统计量的经验协方差矩阵 $\widehat{\Sigma}_{\text{A}}$。最终检验统计量构造成马氏距离形式的二次型： $$\mathcal{T}^{\text{A}}(X,Y;\ell,\rho) = \mathcal{T}(X,Y;\ell,\rho)^\top \widehat{\Sigma}_{\text{A}}^{-1} \mathcal{T}(X,Y;\ell,\rho)$$ 逆协方差加权自适应压制高度共线的冗余信息，强化互补增益。在推理阶段，算法通过对合并样本池 $X \cup Y$ 执行 $R$ 次随机置换构建经验零假设分布，计算秩校准阈值 $t_\alpha$ 或蒙特卡洛 $p$ 值，理论上证明了在有限样本下将假阳率精确约束在显著性水平 $\alpha$ 之内。

损失函数 / 训练策略¶

USAD 属于纯测试期（Inference-time）统计检测范式，不修改目标分类器参数，亦不需要在训练阶段生成对抗样本进行对抗训练。检测器运行仅需预先在纯净验证集上执行离线校准（计算一次 $\widehat{\Sigma}_{\text{A}}$），在线处理时通过单次前向传播与轻量高斯扰动前向即可完成检测。

实验关键数据¶

主实验¶

在 CIFAR-10（ResNet-18）和 ImageNet-1K（ResNet-50）基准上，针对 AutoAttack（AA）、BIM、CW、FGSM、PGD 等主流攻击进行了全面的检测功效评估。当扰动预算 $\epsilon \ge 4/255$、查询样本量仅为 $|Y|=50$ 时，USAD 在各类攻击下均达到了近乎完美的检测功效（$\approx 1.0$）。特别是在小样本极端场景下，表 1 展示了在 PGD 攻击（$\epsilon=4/255$）下查询窗口大小 $m=|Y|$ 从 50 缩减至 10 时的检验功效对比（显著性水平 $\alpha=0.05$）：

方法	m=10	m=20	m=30	m=40	m=50
SAMMD (Gao et al., 2021)	0.292±0.029	0.486±0.022	0.650±0.008	0.756±0.019	0.832±0.009
MMDAgg (Schrab et al., 2023)	0.342±0.016	0.476±0.022	0.632±0.020	0.816±0.017	0.912±0.009
MMD-FUSE (Biggs et al., 2023)	0.524±0.017	0.892±0.014	0.994±0.004	1.000±0.000	1.000±0.000
MMD-DUAL (Zhou et al., 2025)	0.752±0.022	0.978±0.003	1.000±0.000	1.000±0.000	1.000±0.000
PCD (Ours)	0.486±0.024	0.828±0.013	0.958±0.007	0.998±0.002	1.000±0.000
VD (Ours)	1.000±0.000	1.000±0.000	1.000±0.000	1.000±0.000	1.000±0.000
USAD (Ours)	1.000±0.000	1.000±0.000	1.000±0.000	1.000±0.000	1.000±0.000

在 $m=10$ 时，单核 SOTA 方法 SAMMD 功效仅为 0.292，即便最强的多核 MMD 融合基线 MMD-DUAL 也仅达到 0.752，而 USAD 达到了 1.000 的满分检出率。

消融实验¶

表 2 评估了攻击者完全获悉检测器机制下的白盒自适应攻击（同时最大化交叉熵损失并最小化检测统计量，$\epsilon=4/255$）在不同样本量下的表现，揭示了各组件在对抗环境下的互补性：

检验方法	攻击类型	m=10	m=20	m=30	m=40	m=50
PCD	PGD (标准)	0.486±0.024	0.828±0.013	0.958±0.007	0.998±0.002	1.000±0.000
PCD	Adaptive (自适应)	0.388±0.027	0.714±0.020	0.768±0.033	0.882±0.010	0.914±0.014
VD	PGD (标准)	1.000±0.000	1.000±0.000	1.000±0.000	1.000±0.000	1.000±0.000
VD	Adaptive (自适应)	0.186±0.023	0.326±0.007	0.416±0.022	0.546±0.021	0.614±0.011
USAD	PGD (标准)	1.000±0.000	1.000±0.000	1.000±0.000	1.000±0.000	1.000±0.000
USAD	Adaptive (自适应)	0.818±0.013	0.998±0.002	1.000±0.000	1.000±0.000	1.000±0.000

此外，在纯净样本混杂实验（Table 3，总窗口 $|Y|=50$，纯净样本比例从 0% 上升至 80%）中，当对抗样本仅占 20% 时，SAMMD 功效跌落至 0.052（几乎失效），而 VD 保持 0.778，USAD 达到 0.350，展现了极强的抗稀释能力；在 100% 纯净样本下，各方法假阳率稳定在 0.038-0.060 之间，严格符合 $\alpha=0.05$ 理论上界。

关键发现¶

小样本突破机制：高阶统计量对几何形变更为敏感，在小样本窗口（$m=10$）下无需大样本累积均值即可捕获分布偏离，从根本上克服了 MMD 样本效率低的问题。
自适应防御优势：自适应攻击极易通过优化将样本特征散度压缩以欺骗 VD（功效从 1.0 骤降至 0.186），但极难在保持误分类攻击有效性的同时消除边界局部的扰动敏感性（PCD 在自适应下依然保有 0.388-0.914 功效）。两者经相关性加权后，USAD 在 $m=10$ 时维持了 0.818 的强健功效。
稀疏混杂稳健性：流式请求中对抗流量往往稀疏出现，USAD 在 80% 纯净样本混杂下仍具有实用级检出率，远优于基线的全面失效。

亮点与洞察¶

从均值迁移到不确定性几何的认知突破：敏锐指出 MMD 在统计对抗防御中失败的本质根源——RKHS 核均值嵌入仅捕捉一阶重心偏移，无法响应流形位移与边界敏感性引发的二阶散度与局部震荡。
局部协方差编码局部曲率：利用测试时随机高斯噪声采样，将样本周围决策分界面的脆弱性显式映射为样本级协方差矩阵，不仅计算轻量且难以被连续梯度优化完全掩盖。
零假设驱动的相关性融合范式：基于纯净校准集估计 VD 与 PCD 在原假设下的协方差结构进行加权，既消除了统计量间的量纲差异与冗余共线性，又确保了置换检验理论假阳率不变性。

局限与展望¶

计算开销权衡：PCD 需要对每个样本执行 $K$ 次加噪前向传播以估计局部协方差，当输入维度极高或主干网络极其庞大时，会引入非微不足道的推理计算延迟。
高比例纯净稀释瓶颈：当单个批次中对抗样本占比极度稀疏（低于 10%）且批次较小时，分布偏移信号会被纯净样本方差完全掩盖，统计检验将退化至仅保证假阳率无偏而无法稳定报警的状态。
未来改进方向：可探索利用一阶梯度解析近似代替蒙特卡洛高斯采样，加速 PCD 协方差估计；并将不确定性感知框架拓展至大语言模型（LLM）的对抗越狱与提示注入检测任务中。

评分¶

新颖性: ⭐⭐⭐⭐☆ [首次将统计对抗检测的检验量从均值差异推进至全局与局部不确定性度量]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖多种威胁模型、多网络架构、小样本递减、纯净混杂以及白盒自适应攻击，对比充分严谨]
写作质量: ⭐⭐⭐⭐⭐ [问题提出切中要害，数学建模清晰完备，理论证明与实证分析严密自洽]
价值: ⭐⭐⭐⭐☆ [为安全关键型系统提供了兼具严格误报保证与高小样本检出功效的实用级轻量防御监控层]