Scaling Laws for Black-box Adversarial Attacks¶

会议: ECCV2026
论文: ECCV 原文
作者: Chuan Liu, Huanran Chen, Yichi Zhang, Jun Zhu, Yinpeng Dong
领域: 安全
关键词: 黑盒迁移、对抗鲁棒性、模型集成、扩展规律、梯度冲突

一句话总结¶

本文发现，在缓解代理模型间梯度冲突后，视觉对抗迁移成功率在一定规模区间内近似随集成模型数量的对数线性增长，并用分类器、防御模型和多模态模型验证这一有条件的经验规律。

研究背景与动机¶

迁移型黑盒对抗研究把可访问的代理模型当作优化对象，再观察所形成的图像扰动能否迁移到未参与优化的目标模型。过去常通过动量、输入变换或少量模型集成提升迁移性，但通常固定一个较小的代理集合。这样可以比较算法，却难以判断性能瓶颈来自算法本身，还是代理模型覆盖的特征与架构过于有限。

本文把代理模型数量视作一种“样本规模”：扰动在有限代理集合上优化，而评测关心它对集合外模型的泛化。不过，扩大集合并不自然等于提升泛化，因为不同模型的梯度可能互相抵消，导致优化尚未找到共同方向就陷入停滞。理想化经验风险最小化理论也不能直接解决这一问题：真实扰动受像素边界约束，代理模型又共享训练数据和架构偏好，并不满足独立同分布等假设。

因此，本文贡献主要是控制条件下的规模研究，而不是发明 SSA 或 CWA。研究对象首先是视觉对抗迁移，随后扩展到视觉编码器及多模态输出，不是文本越狱或语言模型指令安全方法。核心 idea：先使集成优化能够保留跨模型共同方向，再系统改变代理数量，测量成功率、损失与语义表现如何共同变化，从而把集成规模纳入鲁棒性评测。

方法详解¶

整体框架¶

实验输入是自然图像、指定目标类别和一个预训练代理模型池；输出是不同集成规模下，未参与优化的目标模型的成功率曲线。主线依次包括集成风险建模、梯度冲突处理、对数线性规律检验，以及视觉编码器上的跨模态验证。这些是实验分析环节，不是一个需要重新训练的端到端网络。

分类器实验从 64 个 Torchvision/Timm 模型构成的池中选取不同大小的集合，固定优化方法和扰动预算，再比较七档规模。视觉编码器实验另用 12 个 OpenCLIP 预训练模型，并改变目标函数与输出判定方式。两组实验回答相关但不同的问题，不能把它们的成功率当作同预算、同指标的一条曲线。

关键设计¶

1. 集成风险建模：把跨模型迁移写成泛化问题

对于目标类别不同于原始类别的定向实验，作者以多个分类器的平均目标类别损失近似未知模型总体上的期望损失。下面根据第 3.1 节文字重写式 (2) 的含义；缓存中的公式排版有损坏，这不是逐字转录：

\[ \min_{\|\mathbf{x}-\mathbf{x}_{\mathrm{nat}}\|_\infty\leq\epsilon} \widehat L_T(\mathbf{x}) =\frac{1}{T}\sum_{i=1}^{T}\mathcal L(f_i(\mathbf{x}),y). \]

其中 \(T\) 是代理模型数，\(y\) 是指定目标类别，\(\epsilon\) 约束相对于原图的逐像素最大改变量。这一写法的重要性在于区分“代理集合上的损失低”和“未知目标模型也会输出该类别”：后者才是迁移评测要检验的泛化能力。非定向实验则考察偏离真实类别，无须命中特定替代类别，因此更容易达到成功率上限。

第 4.1 节给出无约束、代理独立同分布情况下的渐近分析，提示损失差可具有 \(O(1/T)\) 量级。作者同时指出，有界扰动的最优点可能位于边界，不能直接要求无约束驻点条件成立；高度相关的预训练模型也不是独立抽样。因此该分析仅提供“增加代理可能改善泛化”的定性动机，并没有推导出真实 ASR 的对数线性定律。

2. 梯度冲突处理：规模收益需要优化能够利用共同方向

朴素 logit 平均将多模型预测聚合，但在集成扩大时，不同模型对图像的梯度方向可能相互抵消。图 2 用 1 至 30 个代理、优化第 10 次迭代时的梯度 \(L_1\) 范数观察这一问题：朴素集成的梯度减弱，而 CWA 保持较稳定的梯度范数。这解释了为什么单模型上的强优化器，并不必然解决多模型集成中的方向冲突。

Common Weakness Attack（CWA）是已有方法，它通过梯度对齐和较平坦的共同损失区域寻找多个模型共享的弱点。本文选择 SSA-CWA，将 Spectrum Simulation Attack（SSA）的频域输入变换与 CWA 的共同方向优化结合，以减少只适用于单个代理或某种输入外观的模式。 SSA 提供输入变换下的变化，CWA 处理模型间的冲突；两者作用不同，不能把规模收益都归给 SSA。

第 6.1 节进一步区分了优化器改进与集成机制改进：MI-FGSM、DI-MI-FGSM、VMI-FGSM 配朴素 logit 平均时仍停滞，而 MI-CWA、VMI-CWA、MI-SVRE 能展现规模趋势。 SVRE 主要通过降低梯度方差改善集成，不应把它与 CWA 的内部机制完全等同。正文指向附录 C 的算法细节，但本地缓存不含附录，因此这里不补造完整更新规则或实现超参数。

3. 对数线性规律检验：测量有效区间，而不是宣称无限增长

第 4.2 节固定 40 次迭代和 \(\ell_\infty\) 预算 \(8/255\)，考察 \(T\in\{1,2,4,8,16,32,64\}\)。 NIPS 2017 的 1,000 张 ImageNet 图像各对应 8 个目标类别，每档规模有 8,000 个源图像与目标类别配对，总计 56,000 个对抗样本。对每个规模，将源图像划分为 8 批、每批 125 张，每批重新抽取代理集合，降低某一次模型选择对整体结论的支配。这不是对每一张图像都独立重复八次随机实验，而且 \(T=64\) 时始终使用完整模型池。

用便于解释的记号概括第 4.3 节的经验关系，可以写成：

\[ \operatorname{ASR}(T)\approx a+b\log_2 T. \]

这是根据正文重述的拟合形式，不是新增理论定理。当 ASR 用 \([0,1]\) 比例表示时，\(a\) 对应单代理基线，\(b\) 对应代理数量每翻倍一次的成功率比例增量；转换为百分点需乘以 100。各目标模型和目标类别可以有不同截距与斜率，论文没有给出一个可通用于所有模型的 \(b\)。关系适用于初始波动缓和后、成功率接近 1 之前的区间；继续外推会违反概率上限。

作者同时观察目标类别交叉熵下降，避免只用一个离散成功事件描述迁移变化。表 1 的决定系数衡量曲线对拟合关系的符合程度，并不等于成功率，更不表示目标模型有同样高的被误导概率。图 4c 的 FLOPs 分析还表明，代理数翻倍与计算量翻倍不是同一实验操作，因为代理模型的单次计算成本不同。

4. 跨模态验证：改变视觉表示目标，也改变成功判定

第 5 节将分类损失换成表示相似性损失，使代理视觉编码器的图像表示接近目标类别的文本表示。这种设定利用 CLIP 的图文对齐空间，而不是直接优化目标 MLLM 的语言输出，也不意味着已知目标模型的内部视觉编码器。其中的 12 个代理来自 OpenCLIP，目标包括 4 个商业模型和 3 个开放模型。

这一组仅随机抽取 100 张 NIPS17 图像，仍使用 8 个目标概念，形成每档规模 800 个配对；扰动预算改为 \(16/255\)。正文报告每组实验使用 8 张 NVIDIA A100，耗时少于 24 小时；这是实验组的资源描述，不是单图推理延迟，也不是整个研究的总成本。论文保留 SSA-CWA 的实验协议，但缓存没有完整附录，无法从当前材料核验全部模型配置与提示词。

判定指标必须与前一组分清：第 4 节的 MLLM 验证使用宽松关键词匹配，第 5 节则统一使用 GPT-4o 作为语义裁判。第 5 节中，描述既要包含目标概念，也不能提到图像低质、噪声或被修改，才记为成功。 ASR 是满足这一联合条件的样本占评测配对的比例；它衡量特定描述任务中的视觉语义误导，不等于违法内容生成率或现实系统失陷率。图 6c 中随规模增大的类别纹理可视化，为共享语义特征提供定性解释，但尚不能作为因果机制的完整证明。

实验关键数据¶

主实验¶

下表摘录原文表 3 的 Average 列并转换为百分数：12 个 CLIP 代理、\(\epsilon=16/255\)、100 张图像与 8 个目标概念、GPT-4o 裁判。结果是论文报告值，不是本笔记重新测试的当前服务表现。

目标模型	平均 ASR	结果含义
GPT-4o	85.0%	此设定下较高的视觉描述迁移率
Claude-3.5-Sonnet	31.0%	表内最低，但并非完全免疫
Gemini-2.5-Pro	69.0%	与其他模型存在明显差异
Doubao-Seed-1.6	72.0%	同一裁判规则下的结果
Llama-3.2-90B-Vision	58.0%	模型规模不直接决定鲁棒性
Qwen3-VL-235B	90.0%	表内最高
DeepSeek-VL2	59.0%	不代表其所有多模态任务表现

原表 2 的 Average 列中，GPT-4o、Qwen3-VL-235B 的 \(R^2\) 均为 0.97，Claude-3.5-Sonnet 为 0.94。因此较低的 ASR 与较好的曲线拟合可以同时存在：拟合优度和鲁棒性水平是两种量。原表 1 对标准分类器报告的 Average 列 \(R^2\) 为 0.96 至 0.98；这里引用原列，不自行重算逐标签均值。

消融实验¶

图 6 未在正文提供完整逐点数表，所以下表保留确切设置与定性结论，不从图像或破损文本猜 ASR 小数。

分析与来源	受控设置	原文观察
非定向迁移，图 6a	\(\epsilon=2/255\)；64 模型池；3 个目标分类器	小预算避免过早饱和后，仍出现对数线性趋势
朴素集成，图 6b	定向 sea lion；MI-FGSM、DI-MI-FGSM、VMI-FGSM	提升基础算法强度仍未形成清晰规模规律
冲突处理，图 6b	MI-CWA、VMI-CWA、MI-SVRE	出现与主实验一致的规模趋势
梯度诊断，图 2	1 至 30 个代理；第 10 次迭代	CWA 的梯度范数比朴素集成更稳定
语义可视化，图 6c	\(T=1,8,64\)；5 个 CIFAR10 类别	由无结构噪声转向可辨认的类别模式

关键发现¶

冲突处理是本文观察到规模收益的重要条件；不能将结论缩写为“任何集成都随规模增长”。
图 4a 的防御实验中，DiffPure 等方法降低 ASR，但没有消除所测区间内的规模趋势；正文所说“提升超过 30%”缺少明确的百分点口径，此处不将其当作精确差值。
第 5 节结果与先前商业模型研究的预算、模型版本和判定规则未在此处统一，不能把作者提及的既有 40% 至 50% 成功率直接当作同条件 SOTA 基线。

亮点与洞察¶

把代理数量作为独立评测轴，使“防御降低单次成功率”和“防御降低扩展斜率”成为可分辨问题。只报告一个小集成下的结果可能遗漏后者。
规模收益与优化可行性联系起来，说明更多代理只有在共同方向未被抵消时才有价值。该观察比单纯报告一个更强集成的终点数字更有解释力。
分类器到 MLLM 的迁移把视觉表示的共享结构纳入讨论。语义可视化提供了线索，但需要进一步干预实验验证，而不是把图像看起来像某类当作全部解释。

局限与展望¶

作者明确承认无约束、独立同分布理论与真实有界、相关代理集合的差距；有限规模拟合不能证明普适定律，也不能支持饱和区外推。
1,000 张主实验图像和 100 张扩展实验图像仍来自 NIPS17，目标概念只有 8 个；尚不能代表其他视觉任务、开放词汇分布或所有输入条件。
当前正文没有给出拟合斜率的置信区间、完整多随机种子方差，或控制计算量与多样性的全面因子实验；8 批抽样也不能替代这些分析。
GPT-4o 同时充当被测模型之一和统一裁判，可能引入裁判偏差；可以用盲审人工标注与其他裁判检验稳健性。该指标也不同于第 4 节关键词指标。
较小的 \(\ell_\infty\) 距离并不自动保证人类不可感知，尤其 \(16/255\) 与 \(8/255\) 的可见性不能混同；文中语义纹理证据主要是定性的。
缓存未包含附录 B 至 E，无法核验完整代理名单、算法伪代码与评测提示词；笔记据正文限定结论，不将缺失细节补写为事实。

评分¶

新颖性: 4/5。把规模、冲突处理与迁移规律联合研究，但基础优化算法来自既有工作。
实验充分度: 4/5。覆盖三类目标和替代优化器，仍缺完整不确定性与严格成本控制分析。
写作质量: 4/5。理论动机与经验结论有明确区分，部分强势措辞超出有限实验支持范围。
价值: 4/5。对设计更全面的视觉鲁棒性基准有价值，不能据此推断现实服务的普遍安全性。