Test-Time Defense Against Adversarial Attacks via Stochastic Resonance of Latent Ensembles¶
会议: NeurIPS 2026
arXiv: 2510.03224
领域: 安全
关键词: 对抗防御, 随机共振, 测试期防御, 稠密预测, 立体匹配
一句话总结¶
提出一种基于随机共振的无监督、架构无关且完全在测试期执行的对抗防御机制，通过对输入施加亚像素微小整数平移扰动并在隐空间经逆变换对齐后集成聚合，以“以噪制噪”消除对抗噪声影响，在图像分类、立体匹配与光流估计等稠密预测任务上均取得显著鲁棒性恢复。
研究背景与动机¶
深度神经网络在图像分类及各类密集感知任务中表现出对输入微小扰动的极度脆弱性。对抗样本通过向正常图像注入人眼难以察觉的高频扰动，诱导网络产生剧烈错误的特征表达与预测结果。从经典信号处理的视角审视，对抗性扰动本质上表现为类似于混叠伪影（aliasing artifacts）的高频噪声；然而人类视觉系统凭借对自然图像统计特性的适应性能够轻易忽略这类扰动，而人工神经网络的离散网格采样与非线性映射机制却极易被其撬动。
传统的主流防御范式主要依赖于对抗训练（Adversarial Training）或基于特征滤波/平滑的去噪方法（如特征去噪 FD、通道抑制 CAS、特征分离重校准 FSR 等）。对抗训练需要高昂的额外再训练开销且对未见攻击类型泛化能力差；而测试期图像平滑与特征低通滤波虽然能滤除部分高频对抗噪声，却不可避免地破坏了自然图像原本的高频有效边缘与细节，且容易陷入被针对性自适应攻击（Adaptive Attacks）轻松绕过的猫鼠博弈。对于立体匹配（Stereo Matching）和光流估计（Optical Flow）等几何敏感的稠密预测任务，简单的输入平滑或常规几何数据增强甚至会直接违背视差/运动的几何一致性假设，导致测试期防御长期处于空白。
受物理学与信号处理中随机共振（Stochastic Resonance, SR）思想的启发，系统可以通过引入受控微小扰动反向解析亚阈值信号。本文摆脱传统“消除噪声”的单向思路，转而采取“以噪制噪（combat noise with noise）”的逆向理念。核心 idea：在测试期对输入图像施加微小整数像素平移扰动，利用深度网络对平移采样的敏感性将对抗噪声打散，并在隐空间通过推前逆映射对齐特征图后执行隐式集成，在完全无需重训练和零信息损失的前提下有效抵消对抗扰动。
方法详解¶
整体框架¶
本文方法的整体流程在测试推理期进行，完全不需要修改网络权重或增添可学习模块。给定输入图像，防御机制首先在原图离散空间内构造一组预设的整数像素平移变换，将所有平移后的样本并行输入基础编码器（或浅层特征提取器）提取潜在特征表示。随后，利用平移算子的推前逆映射（Push-forward Inverse Transformation）在特征空间对空间位移进行精确撤销与空间重对齐。最后，对对齐后的多路潜在特征图取算术平均，得到纯净鲁棒的聚合特征，再送入后续网络层或任务解码头完成推理预测。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
IN["输入图像 x<br/>(含潜在对抗扰动)"] --> PT["确定性微小平移扰动<br/>生成变换集合 {g_i(x)}"]
PT --> ENC["基础编码器前向提取<br/>获得潜在特征映射 F_i = φ(g_i(x))"]
ENC --> INV["隐空间逆向几何对齐<br/>推前逆变换 T_{-i,-j}(F_i) 撤销空间偏移"]
INV --> AGG["隐式集成均值聚合<br/>对齐特征融合 F_ensembled = (1/N) ∑ T(F_i)"]
AGG --> HEAD["下游任务头与解码器<br/>输出分类预测 / 视差图 / 光流场"]关键设计¶
1. 确定性微小平移扰动生成：规避插值伪影的离散空间采样 传统平移数据增强往往采用连续坐标插值，而在特征防御中插值本身会引入额外的低通模糊与信息损失。针对这一痛点，本文将施加于输入图像的目标变换严格限制在离散格网上的整数像素平移群 \(\mathcal{G}\)。设平移半径为 \((d_x, d_y)\)，对于输入图像 \(x \in \mathbb{R}^{H \times W \times C}\)，构造包含 \(N = (2d_x + 1)(2d_y + 1)\) 个变换的扰动集：
其中 \(g_{i,j}\) 表示在竖直与水平方向分别平移 \(i\) 与 \(j\) 个整数像素。由于无需任何亚像素双线性插值，输入图像本身的离散统计分布和边缘锐度得以完整保留。深度神经网络由于步长卷积与池化操作通常存在微小的平移敏感性（Flickering Problem），本文反客为主地利用这种离散采样特性的敏感性，使固定模式的对抗扰动在不同的整数采样相位下被分散瓦解。
2. 隐空间推前逆变换与潜在集成：保留几何精度的信息无损聚合 针对常规图像平滑与特征滤波破坏空间几何结构、导致密集预测任务失效的难题，本文利用群变换伴随的推前逆作用实现精准对齐。将变换图像输入编码器 \(\phi\) 得到对应特征 \(F_{i,j} = \phi(g_{i,j}(x))\)，若直接在输出端或未对齐特征上平均，会导致严重的重影与失焦。本文利用与输入变换相对应的逆几何变换算子 \(T_{-i, -j} = g_{i,j*}^{-1}\) 将特征网格拉回基准参考坐标系：
由于自然图像的高阶统计特性在微小平移下高度平稳且保持重尾分布，逆对齐后的自然内容特征在均值计算中相干叠加增强；相反，针对原图像特定像素网格精心优化的对抗高频噪声碎片在经历不同空间位移及非线性滤波后，相互之间失去相干相位，在均值聚合中被平滑对消。这在数学上等价于在隐空间对平移群以均匀先验进行边缘化边际消除（Marginalizing the translation group），从而在没有引入任何额外空间模糊核的情况下实现了对抗噪声的有效消除。
3. 浅层瓶颈即时截断策略：极低额外计算代价的灵活部署 由于对抗扰动在深度网络中表现为高频噪声，其破坏行为主要在早期浅层卷积特征提取阶段被触发并逐层非线性放大。因此，随机共振潜在集成并不需要贯穿整个庞大的骨干网络。本文发现在前两层残差块（Res. Block 1 或 Block 2）甚至最初的瓶颈层处执行特征逆对齐集成，即可彻底瓦解对抗扰动的传播链条。随后将聚合得到的单一纯净特征输入后续深层模块，后续深层网络依然只需单次前向传递，避免了传统模型集成需要在整个模型上重复多遍的高昂计算开销，兼顾了极致的推理吞吐与极强的防御韧性。
损失函数 / 训练策略¶
本方法完全运行于测试推理阶段（Test-Time），属于零训练（Training-Free）范式。模型既不需要通过任何对抗样本微调网络参数，也不包含任何可学习的辅助适配器模块。推理时只需将批大小扩展为 \(B \times (2d_x+1)(2d_y+1)\) 并行送入骨干网络的前置浅层模块，逆变换对齐均值聚合后即恢复原始批大小 \(B\)，可直接与任何现有的预训练网络权重无缝即插即用。
实验关键数据¶
主实验¶
论文在图像分类（CIFAR-10 与 ImageNet-1K）、立体匹配（KITTI 基准上的 PSMNet）以及光流估计（DAVIS 数据集上的 RAFT）三个极具代表性的领域进行了全面评估。
1. 图像分类防御表现（CIFAR-10，ResNet-18 骨干）
| 防御方案 | 基础训练范式 | 自然精度 (Natural) | FGSM (ε=8/255) | PGD-20 (ε=8/255) | PGD-100 (ε=8/255) | C&W (ε=8/255) | 最差集成 (Ensemble) |
|---|---|---|---|---|---|---|---|
| 无额外防御 | AT (对抗训练) | 85.02% | 56.21% | 48.22% | 46.37% | 47.38% | 45.90% |
| + FD (特征去噪) | AT | 85.14% | 56.81% | 48.54% | 46.70% | 47.72% | 45.82% |
| + CAS (通道抑制) | AT | 85.78% | 55.57% | 50.42% | 49.91% | 53.47% | 46.46% |
| + CIFS (重要通道选择) | AT | 79.87% | 56.53% | 49.80% | 48.17% | 49.89% | 47.26% |
| + FSR (特征分离校准) | AT | 81.46% | 58.07% | 52.47% | 51.02% | 49.44% | 48.34% |
| + TTE (测试期变换集成) | AT | 85.25% | 59.20% | 53.00% | 51.65% | 52.45% | 50.60% |
| + Ours (随机共振) | AT | 84.93% | 61.02% | 56.08% | 55.17% | 55.53% | 53.68% |
| + Ours (最坏自适应攻击) | AT | 84.93% | 58.81% | 53.58% | 52.39% | 52.73% | 50.95% |
| TRADES 基线 | TRADES | 84.92% | 60.87% | 56.13% | 55.16% | 54.02% | 53.38% |
| + Ours (WideResNet-34) | TRADES | 85.03% | 62.43% | 58.64% | 57.87% | 57.18% | 56.28% |
2. 3D 立体匹配鲁棒性测试（KITTI 数据集，预训练 PSMNet）
| 攻击方法 | 攻击强度 \(\epsilon\) | 指标 | 无防御 (No Defense) | 潜在平滑 (Latent Smoothing) | 本文方法 (\(d=1\)) | 本文方法 (\(d=2\)) | 最大误差降低率 (%) |
|---|---|---|---|---|---|---|---|
| FGSM | 0.02 | MAE / RMSE | 14.83 / 24.10 | 13.42 / 22.09 | 10.12 / 15.81 | 9.22 / 13.88 | 37.82% / 42.40% |
| FGSM | 0.02 | D1-err (%) | 97.33% | 96.61% | 95.80% | 94.61% | 2.79% |
| FGSM | 0.01 | MAE / RMSE | 8.49 / 14.53 | 8.12 / 13.69 | 6.46 / 9.92 | 6.13 / 8.87 | 27.78% / 38.95% |
| FGSM | 0.005 | MAE / RMSE | 5.05 / 7.70 | 4.89 / 7.05 | 4.39 / 5.93 | 4.19 / 5.43 | 16.92% / 29.41% |
| PGD | 0.02 | MAE / RMSE | 161.70 / 162.61 | 161.79 / 162.69 | 107.86 / 125.14 | 77.59 / 100.14 | 52.01% / 38.41% |
| PGD | 0.01 | MAE / RMSE | 131.66 / 140.55 | 131.46 / 140.41 | 69.97 / 84.72 | 44.77 / 66.23 | 66.02% / 52.87% |
| PGD | 0.005 | MAE / RMSE | 63.97 / 88.55 | 63.86 / 88.21 | 20.66 / 42.29 | 17.98 / 32.80 | 71.89% / 62.94% |
| PGD | 0.002 | MAE / RMSE | 6.83 / 17.03 | 7.28 / 17.44 | 4.17 / 8.32 | 3.76 / 6.73 | 44.99% / 60.52% |
消融实验¶
1. 潜在集成截断层级消融（ResNet-50 on ImageNet，PGD 攻击）
| 集成截止层位置 | PGD \(\epsilon=8/255\) Top-1 / Top-5 | PGD \(\epsilon=4/255\) Top-1 / Top-5 | PGD \(\epsilon=2/255\) Top-1 / Top-5 | PGD \(\epsilon=1/255\) Top-1 / Top-5 | 说明 |
|---|---|---|---|---|---|
| 无防御 (No Defense) | 8.51% / 26.19% | 9.45% / 27.92% | 11.10% / 30.63% | 15.21% / 36.76% | 对抗攻击下崩塌严重 |
| 初始卷积层 (Initial Conv.) | 16.91% / 34.66% | 17.36% / 35.28% | 18.12% / 36.30% | 19.59% / 38.25% | 极低计算量下已获得明显防御提升 |
| 残差块 1 (Res. Block 1) | 22.44% / 44.95% | 23.39% / 46.03% | 24.84% / 47.64% | 27.57% / 50.80% | 鲁棒性显著跃升 |
| 残差块 2 (Res. Block 2) | 24.88% / 48.54% | 25.90% / 49.66% | 27.23% / 51.19% | 30.11% / 54.15% | 综合鲁棒性最优且保持较低计算开销 |
| 残差块 3 (Res. Block 3) | 21.76% / 44.28% | 22.73% / 45.47% | 24.14% / 47.14% | 27.18% / 50.20% | 感受野过大后逆对齐精度略微下降 |
2. 平移与旋转变换群对比消融（ResNet-50，PGD \(\epsilon=8/255\)） - 平移 \(d=1\): Top-1 18.40%, Top-5 40.36%；叠加旋转: Top-1 20.01%, Top-5 41.32%。 - 平移 \(d=2\): Top-1 20.01%,保持 42.22%；叠加旋转: Top-1 降至 18.86%, Top-5 降至 38.67%。 - 平移 \(d=3\): Top-1 提升至 21.17%, Top-5 43.58%；叠加旋转: Top-1 严重退化至 15.15%, Top-5 32.89%。 - 结论与分析: 旋转变换不仅因涉及插值引入了额外约 30% 的计算延迟，而且由于标准卷积滤波器天生仅具备平移等变性而缺乏旋转等变性，多路旋转特征在隐空间反向旋转对齐时会严重破坏特征质量，证明了纯整数平移算子的优越性。
关键发现¶
- 首创稠密预测的通用测试期防御：在立体匹配（PSMNet）中，面对强对抗攻击 PGD（\(\epsilon=0.005\)），平均绝对误差（MAE）从 63.97 大幅压降至 17.98，误差减少高达 71.89%；在光流估计（RAFT）中，端点误差（EPE）恢复达 29.2%，填补了密集几何感知缺乏测试期有效防御的空白。
- 浅层截断即可化解风险：仅在 ResNet 前两层残差块处执行随机共振聚合即可收获最强的鲁棒收益，深层网络继续单路径前向传播，打破了“模型集成防御必须多倍全网前向计算”的固有范式。
- 强力抵抗自适应攻击并大幅增加攻击开销：当攻击者完全获知防御流程并对包含平移集成的完整前向图反向传播梯度时，攻击成功率依然受到显著遏制；同时由于梯度需要穿透 \(N\) 路分支，生成一次 PGD-100 对抗样本的显存与时间消耗暴增超过 8 倍。
亮点与洞察¶
- “以噪制噪”的逆向破局思维：突破了传统依赖特征平滑和低通去噪的定式，首次将物理学中的随机共振（Stochastic Resonance）机制引入深度网络对抗防御，通过主动引入良性整数平移扰动并逆向聚合，化解高频对抗微影。
- 纯隐空间逆对齐保持几何保真度：在特征层面严格进行逆向推前位移变换（Push-forward Inverse Transformation），使特征图在融合时空间坐标绝对严密对齐，因而能无损推广至立体匹配与光流等对几何相位极度敏感的稠密预测任务。
- 零训练与算力自适应伸缩：作为纯测试期即插即用技术，完全不改变原网络权重；推理系统可以像大模型“Test-Time Compute Scaling”一样，根据实时算力预算动态调节平移搜索半径 \(d\)，在防御强度与延迟之间自由平滑权衡。
局限与展望¶
- 硬件显存与并行计算依赖：当扰动搜索半径增大（如 \(d=3\) 产生 49 个分支）时，虽然批处理前向传播在 GPU 并行下仅增加几十毫秒，但对于算力与显存受限的边缘嵌入式设备（如车载自动驾驶轻量级芯片），显存吞吐可能成为瓶颈。
- 变换群仅限于平面平移：当前实现基于离散整数平移群，尚未探索仿射形变、透视形变或连续变换群的非插值对齐范式。
- 未来方向：探索轻量化自适应采样策略，根据输入图像局部高频激活自适应决定空间采样点，进一步压缩并行分支数量。
相关工作与启发¶
- vs 特征去噪与通道选择 (FD, CAS, CIFS, FSR)：传统特征级防御多在网络内部增加非局部去噪块或手动硬阈值裁剪通道，需要修改网络结构或针对特定攻击进行对抗微调；本文纯粹在推理阶段执行隐空间逆变换集成，完全零训练且与既有模型架构完全正交解耦。
- vs 测试期变换集成 (TTE)：TTE（Pérez et al.）仅在模型的最末端输出层（如分类 logits）做平均，无法适用于视差估计与光流等具有复杂非线性匹配代价的稠密网络；本文可以在特征提取器输出的任意瓶颈层执行逆对齐集成，兼具低计算开销与稠密任务泛化力。
- vs 对抗净化 (Adversarial Purification)：现有净化方法依赖扩散模型（Diffusion）或掩码自编码器（MAE）对输入做前置重构，引入沉重推理计算开销且可能篡改原图高频几何纹理；本文方法通过无插值平移推前算子闭式求解，速度极快且完全保持原始几何精度。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆传统“滤波去噪”范式，首次将随机共振理念拓展为隐空间逆对齐集成，立意精巧。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖图像分类、立体匹配与光流三大迥异任务，包含严苛的最坏情况自适应攻击及丰富消融。
- 写作质量: ⭐⭐⭐⭐⭐ 信号处理理论推导严谨，数学公式与几何直觉结合紧密，实验分析条理清晰。
- 价值: ⭐⭐⭐⭐⭐ 首次建立针对立体匹配与稠密几何视觉的通用免训练测试期防御，为自动驾驶等安全关键系统提供扎实落地工具。