SegPAR: Class-Centric Decision-Based Sparse Attack for Semantic Segmentation¶
会议: ECCV 2026
论文: ECCV 2026 Poster
代码: https://github.com/KAU-QuantumAILab/SegPAR
领域: 语义分割
关键词: 语义分割 / 黑盒攻击 / 决策基攻击 / 稀疏对抗攻击 / 强化学习
一句话总结¶
针对语义分割中黑盒决策基稀疏攻击搜索空间巨大且反馈易失真的难题，SegPAR 将全图搜索重塑为类别中心的并行探索，并提出基于累积状态的差异奖励机制，以极低像素扰动实现了前所未有的分割精度破坏。
研究背景与动机¶
深度神经网络在语义分割任务中取得了卓越成果，然而对抗攻击研究揭示了这类密集预测模型在微小扰动下的极度脆弱性。在现实安全攸关的应用场景（例如自动驾驶感知与机器人导航）中，攻击者通常无法获取受害者模型的梯度、内部架构或输出概率分布，仅能依赖模型最终输出的离散类别决策标签。决策基黑盒稀疏攻击（Decision-based Black-box Sparse Attack）试图仅修改极少数离散像素以瘫痪模型，这种威胁模式与硬件传感器缺陷（如感光元件坏点、热像素）或真实物理世界局部干扰（如道路标识贴纸）高度重合，具有不可忽视的现实安全评估价值。
然而，将分类任务中的决策基稀疏攻击算法迁移到语义分割领域面临着严峻的几何与搜索复杂度屏障。在语义分割中，输入图像分辨率高且模型输出的是空间密集、多类别的预测标签图。先前的代表性黑盒像素攻击算法（如 RFPAR）普遍采用以全图为中心的像素累积范式（Image-centric Pixel Accumulation），强化学习智能体基于整张图像探索扰动位置。这种全局探索极易被图像中面积广大或极易被攻破的背景区域所吸引，导致大量查询预算被无效消耗在局部冗余扰动上，而难以触及图像中异构分布的多类别复杂决策边界。
更为关键的是，传统像素累积攻击所依赖的单步状态转移决策奖励存在严重的反馈失真。在多步累积对抗噪声的过程中，模型在某个像素上的预测变化被简单划分为“预测变动即奖励”。这使得当后续叠加的扰动意外破坏了先前的成功攻击、导致原本已被扰动错分的像素重新恢复为正确类别（Reversion Failure，反转失败），或者在不同错误类别之间发生无效振荡（Unstable Fluctuation，不稳定波动）时，传统奖励函数依然会给予智能体正向强化。这种伪正反馈导致优化方向严重偏离，极大地浪费了受限的黑盒查询预算。本文的核心 idea 是：将语义分割黑盒稀疏搜索解耦为类别中心的局部边界探索，并构建锚定初始预测的差异掩码奖励，严格追踪有效错分像素的单调增益并惩罚反转失效。
方法详解¶
整体框架¶
SegPAR 整体由类别中心状态构建、掩码约束的位置-色彩动作生成、受害者模型离散查询、差异掩码奖励计算以及基于记忆的策略迭代优化五大环节构成。输入图像首先送入受害者模型获取初始离散预测图，提取出图像中所有存在类别的二值掩码与轴对齐紧致边界框，将全图状态裁剪为多类别独立的局部状态表征；随后智能体网络分别在各类别区域内，利用类别掩码引导的 Softmax 分布无放回采样稀疏扰动坐标，并结合 Bernoulli 分布决定 RGB 通道扰动；合成对抗样本并查询受害者模型后，算法通过对比候选样本与当前状态相对于初始预测的差异掩码，计算各类别隔离的差异奖励；最后通过策略梯度与外部记忆单元实现稳定累积更新。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["原始图像与初始离散预测"] --> B["类别中心状态裁剪<br/>提取预测类别掩码与紧致包围框"]
B --> C["掩码约束动作采样<br/>空间掩码Softmax采样坐标与RGB通道决策"]
C --> D["合成候选对抗样本并查询受害者模型"]
D --> E["差异掩码奖励计算<br/>对比初始预测追踪净增益并惩罚反转"]
E --> F["记忆库更新与策略迭代<br/>REINFORCE优化与收敛重启推进"]关键设计¶
1. 类别中心状态表征：打破全图空间盲目搜索瓶颈
针对全图中心范式导致查询集中于少数易扰动区域的问题，SegPAR 提出了基于类别划分的状态构建机制。给定原始图像 \(x \in \{0, \dots, 255\}^{C \times H \times W}\)，首先查询受害者模型得到初始预测标签图 \(y^{(0)} = f(x) \in \{0, \dots, K-1\}^{H \times W}\)。从中提取当前图像实际出现的目标类别集合 \(\mathcal{K}\)，并为每个类别 \(k \in \mathcal{K}\) 构建固定的二值空间掩码： $$ M^k_{i,j} = \mathbb{I}\left[f(x)_{i,j} = k\right], \quad \forall (i, j) \in {0, \dots, H-1} \times {0, \dots, W-1} $$ 为了消除大范围无关背景的干扰并降低策略输入维度，算法定义紧致轴对齐外接框函数 \(b_k = \mathcal{B}(M^k) = [i_{\min}^k, j_{\min}^k, i_{\max}^k, j_{\max}^k]\)，将原始输入图像裁剪为各类别专属的局部输入状态 \(x_k = \text{Crop}(x, b_k)\)。强化学习策略网络 \(\pi_\phi\) 以 \(x_k\) 为条件并行对各个类别的局部决策边界进行聚焦探测，确保有限的查询预算均匀且有针对性地覆盖场景中不同的语义实体。
2. 掩码引导动作采样：根除边界框内的跨类别信号污染
当把智能体状态限制在裁剪框 \(b_k\) 内后，若像先验工作那样使用高斯分布连续采样坐标，会导致严重的跨类别污染——因为外接矩形框内部不可避免地包含属于其他类别的像素，盲目扰动这些非目标像素会导致奖励信号剧烈震荡。为此，SegPAR 提出了掩码引导的离散概率分布采样机制。智能体对局部状态 \(x_k\) 预测一个 4 通道特征图 \(S_k \in \mathbb{R}^{4 \times h_k \times w_k}\)，其中第 0 通道 \(S_k^0\) 用作空间位置得分。将类别掩码在框内同步裁剪为 \(m^k = \text{Crop}(M^k, b_k)\)，通过将非目标类别区域屏蔽，构建掩码 Softmax 空间概率分布： $$ P_k = \text{Softmax}\left(S_k^0 \odot m^k - \infty \cdot (1 - m^k)\right) $$ 算法在展平后的分布 \(p_k = \text{vec}(P_k)\) 上执行 \(n\) 个位置的无放回多项式抽样 \(I = \{I_1, \dots, I_n\} \sim \text{MultinomialNR}(p_k; n)\)，保证所有扰动像素点百分之百落在类别 \(k\) 的真实有效轮廓内部。对于扰动像素的颜色赋值，智能体利用特征图剩余的 3 个通道 \(S_k^c\)（\(c \in \{1, 2, 3\}\)），经由 Sigmoid 激活后独立采样伯努利分布变量 \(z_{l,c} \sim \text{Bernoulli}(\text{Sigmoid}(s^c_{I_l}))\)，将扰动颜色直接映射到 \(\{0, 255\}\) 极端色域，形成具有极大扰动效能的离散极值脉冲。
3. 差异掩码奖励机制：纠正反转与振荡引发的优化失真
在步进累积对抗扰动时，传统的单步转移奖励 \(R_s \propto \sum_{i,j} \mathbb{I}[f(\hat{x}^{(t)})_{i,j} \neq f(x^{(t)})_{i,j}]\) 会把像素状态变动粗暴地统一视为正向奖励。论文深入剖析了从步数 \(t\) 到 \(t+1\) 的 4 类像素转移状态： - 状态维持（\(\mathcal{S}_{\text{maintain}}\)）：前序步骤已成功错分且当前候选继续维持错分； - 反转失效（\(\mathcal{S}_{\text{revert}}\)）：前序步骤已被成功错分，但新累积噪声产生干扰导致预测退回原始真实类别； - 新增错分（\(\mathcal{S}_{\text{new}}\)）：当前步骤新诱导成功的错分像素； - 类别振荡（\(\mathcal{S}_{\text{fluctuate}}\)）：像素在多个不同错误类别之间跳变。
传统奖励对 \(\mathcal{S}_{\text{revert}}\) 和 \(\mathcal{S}_{\text{fluctuate}}\) 均赋予 \(+1\) 的正向强化，形成严重误导。SegPAR 提出了锚定初始预测 \(y^{(0)}\) 的差异掩码机制 \(d^{(t)}_{i,j} = \mathbb{I}[f(x^{(t)})_{i,j} \neq y^{(0)}_{i,j}]\) 与候选差异掩码 \(\hat{d}^{(t)}_{i,j} = \mathbb{I}[f(\hat{x}^{(t)})_{i,j} \neq y^{(0)}_{i,j}]\)。各类别专属的差异奖励定义为： $$ (R_d(x^{(t)}, \hat{x}^{(t)}))k = \frac{1}{o^2 \cdot n} \sum}^{H-1} \sum_{j=0}^{W-1} M_{i,j}^k \cdot \left(\hat{d{i,j}^{(t)} - d\right) $$ 其中 }^{(t)\(o=5\) 为缩放系数。在差异奖励下，像素级反馈直接映射为 \(r = \hat{d}_{i,j}^{(t)} - d_{i,j}^{(t)}\)：状态维持项 \(r = 0\)、新增错分项 \(r = +1\)、无效振荡项 \(r = 0\)、而反转失败项被精确赋予 \(r = -1\) 的惩罚。这一机制彻底消除了奖励信号中的虚假引导，强制智能体只在真正扩大模型错分面积时获得正反馈。
4. 渐进式记忆更新与策略重启机制：保障长时序搜索稳健收敛
为防止策略梯度在单次长期序列中陷入局部最优，SegPAR 在外部维护最优对抗记忆元组 \((x^*, d^*, r^*)\)，其中 \(r^* = \frac{1}{|\mathcal{K}|} \sum_{k \in \mathcal{K}} (R_d)_k\)。在每步迭代内部，智能体利用离散黑盒标签查询计算类别隔离的差异奖励，通过 REINFORCE 策略梯度更新参数 \(\phi\)。当连续若干轮（patience 设定为 1~2）奖励增长停滞并达到收敛阈值（\([10^{-2}, 3 \times 10^{-2}]\)）时，当前迭代步宣告收敛，算法将当前最优图像与差异掩码正式更新至基准状态 \(x^{(t+1)} \leftarrow x^*\) 和 \(d^{(t+1)} \leftarrow d^*\)，并重新初始化智能体网络进入下一个累积阶段（总阶段数上限设为 100 步）。这种阶段性重置与记忆归档机制确保了策略始终以最新突破点为跳板，稳健向全局高破坏性对抗区域推进。
实验关键数据¶
主实验¶
在单图严格限制 1,000 次模型前向查询预算、目标稀疏度约 5% 的严苛黑盒设定下，论文在 Cityscapes（19类）、ADE20K（150类）及 Pascal VOC2012（20类）三大基准上，针对 CNN 架构（DeepLabV3、PSPNet）与 Vision Transformer 架构（SegFormer、SETR）进行了系统对比。
| 模型 | 数据集 | 攻击方法 | 攻击后 MIoU (R.MIoU) ↓ | 扰动稀疏度 (Sparsity) ↓ | 平均查询数 (Query) ↓ |
|---|---|---|---|---|---|
| DeepLabV3 (初始 MIoU: CS 0.798 / ADE 0.377 / VOC 0.861) |
Cityscapes | PointWise SparseEvo RFPAR SegPAR (Ours) |
0.433 0.228 0.176 0.101 |
5.72% 5.43% 4.51% 3.33% |
997.3 988.8 965.3 993.3 |
| ADE20K | PointWise SparseEvo RFPAR SegPAR (Ours) |
0.172 0.118 0.106 0.080 |
6.73% 5.15% 4.50% 3.29% |
993.5 997.3 998.1 966.2 |
|
| VOC2012 | PointWise SparseEvo RFPAR SegPAR (Ours) |
0.669 0.469 0.466 0.238 |
5.91% 5.15% 3.92% 2.24% |
952.5 998.8 986.3 680.4 |
|
| PSPNet (初始 MIoU: CS 0.793 / ADE 0.380 / VOC 0.860) |
Cityscapes | PointWise SparseEvo RFPAR SegPAR (Ours) |
0.391 0.246 0.153 0.057 |
5.78% 4.50% 4.61% 3.53% |
996.3 987.0 990.5 919.0 |
| ADE20K | PointWise SparseEvo RFPAR SegPAR (Ours) |
0.199 0.139 0.143 0.087 |
6.32% 5.54% 4.36% 3.11% |
983.6 997.0 999.0 965.3 |
|
| VOC2012 | PointWise SparseEvo RFPAR SegPAR (Ours) |
0.704 0.488 0.529 0.240 |
4.85% 4.66% 3.99% 2.29% |
929.6 998.7 984.3 679.1 |
|
| SegFormer (初始 MIoU: CS 0.802 / ADE 0.412) |
Cityscapes | PointWise SparseEvo RFPAR SegPAR (Ours) |
0.594 0.602 0.566 0.341 |
10.51% 5.30% 4.51% 3.96% |
997.9 994.3 958.5 960.4 |
| ADE20K | PointWise SparseEvo RFPAR SegPAR (Ours) |
0.316 0.293 0.300 0.209 |
10.10% 7.03% 4.29% 3.60% |
973.2 996.0 912.0 987.0 |
|
| SETR (初始 MIoU: CS 0.780 / ADE 0.397) |
Cityscapes | PointWise SparseEvo RFPAR SegPAR (Ours) |
0.607 0.602 0.527 0.481 |
9.14% 5.71% 4.53% 3.89% |
997.1 997.3 962.9 940.4 |
| ADE20K | PointWise SparseEvo RFPAR SegPAR (Ours) |
0.284 0.270 0.285 0.249 |
8.31% 5.20% 3.90% 3.50% |
966.5 997.3 996.5 990.9 |
消融实验：差异奖励对现有像素累积攻击的普适性验证¶
为了单独检验差异奖励 \(R_d\) 的机制有效性，论文将 \(R_d\) 独立泛化嵌入到经典像素累积攻击框架（Pixle、Sparse-RS 及基础 RFPAR）中，与传统单步转移奖励 \(R_s\) 进行消融对比。
| 模型 | 优化目标 | 基础攻击方法 | Cityscapes R.MIoU (Sparsity) | ADE20K R.MIoU (Sparsity) | VOC2012 R.MIoU (Sparsity) |
|---|---|---|---|---|---|
| DeepLabV3 | 传统奖励 \(R_s\) 差异奖励 \(R_d\) |
Pixle Pixle + \(R_d\) |
0.394 (4.69%) 0.411 (4.04%) |
0.140 (4.79%) 0.111 (4.72%) |
0.447 (4.77%) 0.279 (4.59%) |
| 传统奖励 \(R_s\) 差异奖励 \(R_d\) |
Sparse-RS Sparse-RS + \(R_d\) |
0.172 (4.87%) 0.152 (4.87%) |
0.100 (4.83%) 0.092 (4.83%) |
0.423 (4.84%) 0.258 (4.84%) |
|
| 传统奖励 \(R_s\) 差异奖励 \(R_d\) |
RFPAR RFPAR + \(R_d\) |
0.176 (4.51%) 0.210 (3.56%) |
0.106 (4.50%) 0.090 (3.48%) |
0.466 (3.92%) 0.277 (3.43%) |
|
| PSPNet | 传统奖励 \(R_s\) 差异奖励 \(R_d\) |
Pixle Pixle + \(R_d\) |
0.369 (4.69%) 0.383 (4.13%) |
0.168 (4.79%) 0.131 (4.69%) |
0.374 (4.77%) 0.246 (4.59%) |
| 传统奖励 \(R_s\) 差异奖励 \(R_d\) |
Sparse-RS Sparse-RS + \(R_d\) |
0.153 (4.87%) 0.139 (4.87%) |
0.121 (4.83%) 0.092 (4.83%) |
0.536 (4.84%) 0.304 (4.84%) |
|
| 传统奖励 \(R_s\) 差异奖励 \(R_d\) |
RFPAR RFPAR + \(R_d\) |
0.153 (4.61%) 0.171 (3.92%) |
0.143 (4.36%) 0.133 (3.19%) |
0.529 (4.00%) 0.295 (3.13%) |
关键发现¶
- 类别中心探索是攻破语义分割的关键支柱：在全图中心视角下，RFPAR 易被前景大目标或背景主导，而 SegPAR 对各类别构建局部观测与动作空间后，在同等甚至更少查询下显著拉大破坏幅度。特别是在 Pascal VOC2012 上，SegPAR 仅需 680 次查询、2.24% 稀疏度即可将 DeepLabV3 的 MIoU 从 0.861 砸落至 0.238，而 RFPAR 消耗 986 次查询仅降至 0.466。
- 差异奖励彻底抑制反转失效（Reversion Failure）：反转像素数量监控曲线表明，传统 \(R_s\) 在搜索过程中伴随成千上万个像素在“错分-复原”之间来回拉扯；而 \(R_d\) 引入后，反转事件发生率骤降至接近于零，使得累积对抗噪声几乎完全处于单调扩张错分区域的有效状态。
- 高分辨率与大空间对纯全局差异搜索的挑战：消融实验显示，在 Cityscapes 这种高分辨率大场景中，若仅在 RFPAR 全局框架中引入 \(R_d\)，因有效错分事件稀疏易导致搜索停滞（MIoU 表现反略逊于带随机震荡的 \(R_s\)）。唯有将其与 SegPAR 的“类别局部裁剪 + 掩码约束”深度结合，大幅收敛动作空间后，差异奖励的全部威力才能被彻底释放（SegPAR 达成极致的 0.101 和 0.057 R.MIoU）。
- 逼近甚至反超白盒稀疏攻击基线：在等同预算换算下（1 次黑盒前向查询等价于 1 次包含正反向传播的白盒梯度迭代），SegPAR 的 MIoU 下降曲线全线显著超越传统白盒稀疏攻击 PGD0，并在极低稀疏度（1%~3%）区间高度贴近先进白盒方法 sPGD，展现出极强的黑盒实用杀伤力。
亮点与洞察¶
- 解耦密集预测中的异构决策空间：传统黑盒稀疏攻击将整幅图像视作单一决策实体，SegPAR 敏锐地洞察到语义分割在本质上是成百上千个像素级分界面的集合，首创了基于初始预测掩码进行类别解耦的局部强化学习攻击范式。
- 细粒度剖析单步决策反馈的病态性：作者数学化地解构了对抗步进中像素状态跃迁的 4 类集合，一针见血地指出了传统奖励给反转与振荡发放伪正反馈的内在缺陷，提出的差异掩码设计极其简练（仅需对比当前与初始状态）却直击要害。
- 非矩形实体的高效动作映射技巧：通过特征图第 0 通道配合类别布尔掩码构建 Softmax 采样分布，完美化解了目标实体不规则形状与传统边界框矩形网格之间的几何冲突，杜绝了跨类别动作干扰。
局限与展望¶
- 依赖初始预测图的类别完备性：算法前期的类别掩码与裁剪框完全基于受害者模型对干净图像的预测 \(y^{(0)}\) 构建。若受害者模型本身严重欠拟合或漏检了某些关键微小物体类别，SegPAR 将无法为其分配攻击分支。
- 类别极多场景下的计算与内存开销：在类似 ADE20K 包含上百个类别的密集场景中，为每个类别维护裁剪状态与特征图采样会增加前向策略网络的推理开销与内存占用，未来可探索动态类别聚类或按脆弱性优先级调度的自适应选择机制。
- 非目标攻击到定向欺骗攻击的扩展：当前算法以破坏整体 MIoU 为目标（Non-targeted），在自动驾驶等具体安全场景中，诱导特定安全目标（如“行人”被指定误判为“路面”）的定向攻击（Targeted Sparse Attack）更具针对性，值得进一步探索。
相关工作与启发¶
- vs RFPAR (NeurIPS 2024): RFPAR 采用全图中心探索与连续高斯采样，在语义分割中不仅产生严重的跨类别采样污染，而且传统转移奖励频发反转失效；SegPAR 改用类别中心局部裁剪与掩码 Softmax 采样，并设计差异奖励消除优化失真，在更低稀疏度下取得大幅领先的攻击性能。
- vs PointWise & SparseEvo (ICLR 2019 / ICLR 2022): PointWise 和 SparseEvo 均基于初始贪婪反转或进化搜索，严重依赖预设的成功率阈值（Success Ratio, SR），在语义分割这种密集输出空间难以兼顾低扰动与高攻击率，通常需要消耗 5%~10% 的高稀疏度扰动；SegPAR 通过强化学习渐进累积，扰动率可压低至 2%~3%。
- vs 白盒稀疏攻击 (PGD0 & sPGD): 白盒方法依赖模型一阶反向梯度来更新 \(L_0\) 约束下的坐标掩码与幅值，但在非凸 \(L_0\) 约束下极易陷入局部极值；SegPAR 仅需硬标签反馈，通过策略网络与离散多项式采样展现出媲美白盒一阶优化的全局跳变探索能力。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性探索语义分割决策基黑盒稀疏攻击，类别中心解耦与差异掩码奖励极具启发性。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖三大主流基准、涵盖 CNN 与 ViT 两类骨干、跨越对抗防御模型并对标白盒基线，消融与机理解析扎实严密。
- 写作质量: ⭐⭐⭐⭐⭐ 痛点分析鞭辟入里，公式与几何概念交代清晰，逻辑闭环极佳。
- 价值: ⭐⭐⭐⭐⭐ 为密集感知模型的黑盒安全评测提供了全新且极具实战威胁的标准基线，对自动驾驶系统的鲁棒性防御具有重要警示意义。