On the Interaction of Compressibility and Adversarial Robustness¶

会议: ICLR 2026
OpenReview: https://openreview.net/forum?id=zSsNzxjWP4
代码: https://github.com/mbarsbey/advcomp
领域: AI安全 / 对抗鲁棒性 / 模型压缩
关键词: 结构化压缩、对抗鲁棒性、Lipschitz 常数、算子范数、低秩

一句话总结¶

本文给出一套统一的理论框架，证明神经元级与谱级两种「结构化压缩」会把参数能量集中到少数主导方向上，从而抬高网络的算子范数与 Lipschitz 常数、在表示空间制造出少量「高敏感方向」供对抗攻击放大，最终系统性地损害对抗鲁棒性；并在多种架构、数据集和训练范式上验证了这一鲁棒性上界的预测。

研究背景与动机¶

领域现状：现代神经网络既被要求「能压缩」（剪枝、低秩、量化以降低显存与延迟），又被要求在安全攸关场景（医疗、自动驾驶）里「抗对抗扰动」。这两个目标——压缩性（compressibility）与对抗鲁棒性（adversarial robustness）——各自都被大量研究过，但它们如何相互作用一直缺一个成熟统一的理解。

现有痛点：以往关于「压缩到底帮还是害鲁棒性」的结论彼此矛盾，对结构化压缩（整行/整滤波器剪掉、整体低秩化，实用价值最大）尤其混乱。零散的机制性解释也只覆盖局部：有人发现低秩参数化会意外放大局部 Lipschitz 常数，有人把对抗可迁移性连到层算子范数，有人指出适度稀疏有益、过度稀疏又因病态而重新变脆——这些线索暗示一种「依赖于压缩程度的微妙关系」，但没人给出一个普适的原理性框架。

核心矛盾：压缩之所以高效，恰恰是因为它把参数总能量集中到少数主导子结构（少数主导行 / 少数大奇异值）上；而正是这种「能量集中」会在表示空间里造出几条特别强势的方向。对抗攻击只要把扰动对齐到这些方向，就能在表示空间里被显著放大，轻易翻转预测。换句话说，让模型可压缩、也间接让模型更易被攻击——二者存在结构性张力。

本文目标：（1）给出一个能把「压缩性 → 算子范数 → Lipschitz 常数 → 对抗鲁棒性间隙」串起来、且各项可解析解释的鲁棒性上界；（2）证明无论压缩性来自正则、架构偏置还是学习动力学，这种脆弱性都会出现；（3）验证它在对抗训练、迁移学习下持续存在，并诱发通用对抗样本（UAE）。

切入角度：作者不去研究某一种具体压缩「算法」，而是研究参数本身的内在可压缩性这一标量无关属性，再通过「结构 × 尺度」分解把它和算子范数挂钩——这样结论就与「怎么压缩的」无关，更普适。

核心 idea：用一个可解析分解的 Lipschitz/鲁棒性上界，刻画「结构化压缩 → 主导方向集中 → 算子范数变大 → 高敏感方向 → 鲁棒性下降」这条因果链。

方法详解¶

整体框架¶

本文是一篇理论 + 大规模实证的分析型工作，没有提出新模型或新训练算法，核心产物是一条从「可压缩性」推到「对抗鲁棒性间隙」的解析上界，以及围绕它的一整套实验验证。逻辑链条是：先用一个标量无关的 $(q,k,\epsilon)$-可压缩性定义，统一描述「神经元压缩」（行稀疏）和「谱压缩」（近似低秩）两种结构化压缩；再证明可压缩性越强、层算子范数（$\ell_\infty$ / $\ell_2$）相对 Frobenius 范数越大（定理 3.1，「结构 vs 尺度」分解）；接着引入「层间对齐」项把逐层范数串成整个编码器的 Lipschitz 上界（定理 3.2）；最后套用现成的鲁棒性间隙结果，得到一条「对抗风险 ≤ 干净风险 + $\delta \cdot \hat L_\Phi \cdot \|C\|$」的上界（推论 3.3）。这条上界明确预测：压缩性升高会经由 Lipschitz 常数推高对抗风险，且这种脆弱来自少量高敏感方向。

定义几个贯穿全文的量：编码器 $\Phi$ 把输入映到表示 $z=\Phi(x)$，攻击把干净样本扰成 $x_{adv}=x+a^*$，其中 $a^*=\arg\max_{\|a\|_p\le\delta} f(x+a,\theta)$ 是预算 $\delta$ 内的最坏扰动；衡量目标是对抗鲁棒性间隙 $\Delta^{adv}_p := F^{adv}_p(\theta;\delta)-F(\theta)$，越小越鲁棒。

关键设计¶

1. $(q,k,\epsilon)$-可压缩性：用一个标量无关定义同时刻画行稀疏与低秩

要谈「压缩怎么影响鲁棒」，先得有个不依赖参数缩放、又能同时套住剪枝和低秩的可压缩性度量。作者定义：对向量 $\theta\in\mathbb{R}^d$ 与整数 $k\le d$，令 $\theta_k$ 为只保留 $\theta$ 中幅值最大的 $k$ 个元素、其余置零的压缩向量，则 $\theta$ 是 $(q,k,\epsilon)$-可压缩的当且仅当 $$\|\theta-\theta_k\|_q / \|\theta\|_q \le \epsilon,$$ 即「截掉小项后的相对残差」不超过 $\epsilon$。再用扩散变量 $\beta\in[0,1]$ 刻画 top-$k$ 项内部的分散程度（$|\theta_{m_k}|=(1-\beta)|\theta_{m_1}|$）。它的妙处在于「向量 $\theta$ 可以是任何东西」：把某层矩阵 $W$ 各行 $\ell_1$ 范数拼成向量 $\nu=(\|w_1\|_1,\dots,\|w_h\|_1)$，$\nu$ 的可压缩性就是神经元/行压缩（利于整神经元/整滤波器剪枝）；把奇异值拼成 $\sigma$，$\sigma$ 的可压缩性就是谱压缩（近似低秩）。一个定义统一两类结构化压缩，是后续所有定理能「源头无关」的基础。

2. 「结构 vs 尺度」分解：把可压缩性翻译成算子范数（定理 3.1）

由于 $(q,k,\epsilon)$-可压缩性是标量无关的，直接把它和 Lipschitz 常数挂钩会被参数的任意缩放抹平。作者的解法是把 $\ell_\infty$、$\ell_2$ 算子范数上界写成「（可压缩性项）× Frobenius 范数」两部分相乘，从而把「结构」和「尺度」拆开。具体地，神经元压缩给出 $$\|W\|_\infty \le \frac{(1-\epsilon_\nu)}{(1-\beta_\nu)}\Big(\sqrt{hk_r}+\tfrac{h\epsilon_r}{k_\nu}\Big)\|W\|_F,$$ 谱压缩给出 $$\|W\|_2 \le \frac{(1-\epsilon_\sigma)}{(1-\beta_\sigma)}\Big(\tfrac{\sqrt{h}}{k_\sigma}\Big)\|W\|_F.$$ 直观含义是：少数行主导矩阵（神经元压缩，$\epsilon_\nu$、$k_\nu$ 小）会抬高 $\ell_\infty$ 算子范数，且主导行内部越分散（$\beta_\nu$ 越大）抬得越凶；谱压缩同理抬高 $\ell_2$ 算子范数。这把「能量集中 → 范数变大」第一次写成了可解析、可干预的形式，也和文献里「稳定秩 / 条件数 ↔ 鲁棒性」的结果相呼应。

3. 层间对齐 + 编码器 Lipschitz 上界 → 鲁棒性间隙上界（定理 3.2 + 推论 3.3）

把逐层范数串成整网时，最朴素的「范数连乘」$\|W^{l+1}\|\|W^l\|$ 过于悲观——它假设每层最强方向完美对齐、还忽略了 ReLU 非线性。作者为此引入层间对齐项 $A_p(l)$（$p\in\{2,\infty\}$），用相邻两层 top-$k$ 子结构经 ReLU（二值对角矩阵集合 $D$）后的实际对齐程度去修正这个过度悲观假设，例如 $$A_\infty(l)\triangleq \max_{D\in\mathcal D}\frac{\|W^{l+1}_k D W^l_k\|_\infty}{\|W^{l+1}\|_\infty\|W^l\|_\infty}+R_\infty,$$ 其中余项 $R_p\to0$（当 $\epsilon\to0$）。由此得到编码器 $\Phi$ 的 Lipschitz 上界 $\hat L^\infty_\Phi$、$\hat L^2_\Phi$（定理 3.2，逐层「结构 × 尺度」项连乘再乘对齐项，对齐项是否生效由一个 $O(\lambda)$ 时间可定的最优划分集 $S_{opt}$ 决定）。再套用现成结果，二分类 logistic 损失下给出鲁棒性间隙上界（推论 3.3）： $$F^{adv}_\infty(\theta;\delta)\le F(\theta)+\delta\,\hat L^\infty_\Phi\,\|C\|_1,\qquad F^{adv}_2(\theta;\delta)\le F(\theta)+\delta\,\hat L^2_\Phi\,\|C\|_2.$$ 这条上界不仅可解析解释（压缩性、尺度、对齐分别占一项），实测还和经验鲁棒性间隙高度相关（2 隐层网络变谱压缩时 $\rho=0.947$）。它故意牺牲一点紧致度换可解释、可操作的分解形式，正是全文「为什么压缩伤鲁棒」的核心证据。

4. 受理论启发的「鲁棒压缩」干预：按 $\epsilon$ 剪枝、压扩散 $\beta$、正则对齐

理论不只解释脆弱，还给出可操作的缓解手段。其一，逐层剪枝不直接定剪枝比例（已知会造成瓶颈、层坍塌），而是给每层设目标 $\epsilon$、反解满足该 $\epsilon$ 的 $k$，并扫不同 $\epsilon$ 逼近全局目标比例——更贴合 $(q,k,\epsilon)$ 度量。其二，训练时控制主导项的扩散 $\beta$（正则化各层 top 5% 滤波器范数的方差），在不降低可压缩性的前提下削掉「主导行内部高分散」这一加剧脆弱的因素。其三，直接把层间对齐当正则目标。三者都在剪枝下带来标准/鲁棒精度的可见保留提升。但作者强调：能量集中到少数子结构带来的危险无法被完全抵消，故实践上更建议把适度的剪枝/低秩与量化、知识蒸馏等其它压缩手段组合，以兼顾效率与安全。

一个完整示例¶

以单层网络 $g(x)=C\phi(Wx)$ 的谱压缩为例走一遍机制。高压缩下第一个奇异值远大于其余（$\sigma_1\gg\sigma_{j\ne1}$）。若对抗扰动 $a$ 对齐到对应的右奇异向量 $v_1$，即 $v_1^\top a/\|a\|_2\approx1$，则它过层后的表示会被放大约 $\sigma_1$ 倍——于是这条扰动在表示空间里压过原图表示，足以翻转预测。文中用 PCA 把输入图像、对抗扰动、决策边界画出来对照：基线模型里同样预算的微小扰动推不过类边界；而低秩可压缩模型里，输入空间预算相同、扰动却在表示空间被剧烈放大，攻击成功，且其输入空间决策边界明显收缩，正反映了这种脆弱。这就把抽象的「高敏感方向」具象成「对齐主奇异向量 → 被 $\sigma_1$ 放大 → 翻车」。

实验关键数据¶

主实验¶

覆盖 MNIST / CIFAR-10 / CIFAR-100 / SVHN / Flickr30k / ImageNet-1k 等数据集，FCN / ResNet18 / VGG16 / WideResNet-101-2 / ViT / CLIP / Swin 等架构；用 AutoPGD 评测、PGD 对抗训练，$\ell_\infty$ 用 $\delta=8/255$、$\ell_2$ 用 $\delta=0.5$。结论高度一致：压缩性升高，对抗鲁棒精度（RA）随之下降。

实验设置	诱导压缩方式	观察到的现象
FCN @ MNIST（动机验证）	核范数正则 NNR（+Frobenius 归一化隔离尺度）	压缩↑ → 可剪枝性↑、但对抗精度急剧下降；扰动更对齐主奇异方向、$\\|z_{adv}-z\\|_2/\\|z\\|_2$ 上升
FCN @ CIFAR-10	group lasso（神经元）/ 低秩分解（谱）	两类压缩下 RA 与 RA/SA 比值均随压缩升高而降
ResNet18 @ CIFAR-10	尺度不变行稀疏正则	同趋势，扩展到 CNN
ViT @ CIFAR-10；CLIP→ImageNet-1k 零样本	稀疏正则微调	仅靠稀疏化微调常用 backbone 即可制造脆弱，凸显安全隐患
上界 vs 经验间隙	2 隐层网络变谱秩	理论上界与经验鲁棒性间隙相关 $\rho=0.947$

消融 / 分析实验¶

配置 / 对照	关键发现	说明
对抗训练下变压缩	趋势与标准训练几乎一致	对抗训练整体抬高 RA，但压缩的相对负面效应依旧
增大压缩性 vs 增大 Frobenius 范数	二者都降鲁棒，但只有压缩诱发 UAE	压缩制造的是全局脆弱方向；纯放大范数不会产生通用对抗样本
迁移学习（CIFAR-100 预训 → CIFAR-10 线性头）	预训练阶段的压缩性直接拖累下游鲁棒	脆弱性写进了表示结构、随冻结编码器迁移
下游滤波器剪枝（ResNet18，$\alpha{=}0$ vs $\alpha{=}0.1$）	压缩模型始终不超基线，但高剪枝比下保留更好	体现鲁棒-压缩根本张力
按 $\epsilon$ 剪枝 + 控 $\beta$ + 正则对齐	剪枝下标准/鲁棒精度保留明显改善	验证理论可转化为实操干预

关键发现¶

机制被双重证实：压缩升高时，对抗扰动更对齐主导奇异方向（$v_i^\top a^*\gg v_j^\top a^*$，$i\in[k]$），且对抗表示相对原图表示增强（$\|z_{adv}-z\|_2/\|z\|_2$ 上升）——正是上界所预测的「少量高敏感方向被放大」。
源头无关：无论压缩来自正则、低秩参数化还是学习动力学，脆弱性都出现；且在对抗训练、迁移学习下持续存在。
压缩 ≠ 范数：通用对抗样本只由「压缩」诱发、不由单纯放大 Frobenius 范数诱发，说明 UAE 来自压缩制造的全局脆弱方向；反向地，针对 UAE 训练会压低 top-$k$ 扩散 $\beta$，再次印证 $\beta$ 的作用。

亮点与洞察¶

「结构 vs 尺度」分解很关键：可压缩性是标量无关的，直接挂 Lipschitz 会被缩放抹平，把算子范数写成「可压缩性项 × Frobenius 范数」才让二者可比、可干预——这是整套理论能成立的支点。
层间对齐项把朴素「范数连乘」的悲观上界拉回现实：用 top-$k$ 子结构经 ReLU 的真实对齐去修正，既更紧又仍可解析分解，这个 trick 可迁移到其它需要逐层串 Lipschitz 的鲁棒性分析。
最「啊哈」之处：让模型可泛化/可压缩的同一机制（能量集中到少数主导方向），恰恰也是被对抗攻击利用的结构弱点——效率与安全在结构层面天然冲突。
实用启发：不要盲目追极致结构化压缩；用 $(q,k,\epsilon)$ 视角按 $\epsilon$ 剪枝、约束主导项扩散 $\beta$、并把激进剪枝/低秩换成「适度结构化压缩 + 量化/蒸馏」组合，是兼顾安全的更稳路径。

局限与展望¶

核心定理与推论 3.3 建立在全连接网络、二分类 logistic 损失等理想化假设上，且为统一处理假设各层均匀压缩、略去偏置——虽实验扩到 CNN/Transformer/CLIP，理论严格性仍局限于简化设定。
用的是全局 Lipschitz 上界；局部 Lipschitz 通常更紧，作者论证全局上界在本文不损预测力（$\rho=0.947$）、且更契合 UAE 这类全局脆弱，但这仍是一个有意的取舍。
缓解干预只能「改善保留」而非根治：作者自己指出能量集中的危险无法被完全抵消，需配合其它压缩范式——离「既高压缩又强鲁棒」仍有距离。
改进方向：把分解推广到更一般架构/多分类损失，量化对齐项的可估计性，并系统研究「压缩-量化-蒸馏」组合在帕累托前沿上的最优配比。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次用源头无关、可解析分解的统一上界刻画结构化压缩与对抗鲁棒的张力
实验充分度: ⭐⭐⭐⭐⭐ 跨 6 数据集、7+ 架构，覆盖标准/对抗训练、迁移学习、UAE、剪枝多范式
写作质量: ⭐⭐⭐⭐ 理论密度高、符号繁多，但动机与机制叙述清晰、图示到位
价值: ⭐⭐⭐⭐⭐ 对「既要效率又要安全」的部署给出原理级警示与可操作干预

实验设置	诱导压缩方式	观察到的现象
FCN @ MNIST（动机验证）	核范数正则 NNR（+Frobenius 归一化隔离尺度）	压缩↑ → 可剪枝性↑、但对抗精度急剧下降；扰动更对齐主奇异方向、\(\\|z_{adv}-z\\|_2/\\|z\\|_2\) 上升
FCN @ CIFAR-10	group lasso（神经元）/ 低秩分解（谱）	两类压缩下 RA 与 RA/SA 比值均随压缩升高而降
ResNet18 @ CIFAR-10	尺度不变行稀疏正则	同趋势，扩展到 CNN
ViT @ CIFAR-10；CLIP→ImageNet-1k 零样本	稀疏正则微调	仅靠稀疏化微调常用 backbone 即可制造脆弱，凸显安全隐患
上界 vs 经验间隙	2 隐层网络变谱秩	理论上界与经验鲁棒性间隙相关 \(\rho=0.947\)