An Inverse-Adversarial and Difficulty-Adaptive Robust Vision-Language Model

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/3380
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/1211.pdf
领域: 多模态VLM
关键词: 逆对抗学习、少样本鲁棒分类、视觉提示、文本适配器、难度自适应融合

一句话总结

IADA-RVLM 用朝正确类别移动的逆对抗样本约束对抗训练，以视觉提示和文本适配器学习专门知识，再按类别语义距离调节文本知识融合，在五个数据集的新类别上取得最佳 Nat/Rob 调和均值，其中 Caltech101 的 PGD-100 鲁棒准确率为 52.52%。

研究背景与动机

CLIP 的少样本优势依赖预训练形成的图文共同空间：图像靠近对应类别的文本原型，即可用少量标注迁移到新任务。但自然样本表现好不等于抗扰动能力强，原文中冻结 CLIP 在 Caltech101 的自然准确率为 95.34%，PGD-100 下仅为 2.80%。直接针对基类做对抗微调虽能改善鲁棒性，却可能把表示推向任务特有的分布，破坏对未见类别有用的通用语义。

少样本进一步放大了这一问题。自然图像若本来就低置信度或被误分类，直接把它当作稳定参照，可能让受攻击图像向不可靠的语义位置对齐。同时，不同任务和类别的迁移难度不同：视觉特征已被扰动混在一起时，仅修改文本提示未必能修复视觉可分性；反过来，对容易迁移的类别使用过多基类专门知识，又可能牺牲原有泛化。因此，训练时需要可靠的对齐方向，推理时也需要控制专门知识的介入程度。

核心 idea：用逆对抗样本提供高置信度语义锚点，以视觉提示和文本适配器共同学习鲁棒专门知识，再依据评估类别与基类的文本距离选择应保留多少通用语义。

方法详解

整体框架

输入是基类的少量标注图像以及类别名称，骨干为 CLIP ViT-B/16，输出是新类别的图像分类结果，而非生成式视觉问答。训练时，为同一图像构造增大分类损失的对抗版本和减小分类损失的逆对抗版本，通过逆对抗语义锚点监督鲁棒适配；可学习部分主要是视觉提示和文本适配器，预训练骨干保持冻结。

推理时不需要已知图像标签来生成逆对抗样本。模型为每个候选类别计算语义迁移难度，把冻结文本原型与适配文本原型按类别融合，再与经过视觉提示的图像特征比较。所谓“自适应”发生在类别文本原型的融合上，不是对每张输入图像运行一个攻击强度检测器，也不是在两套完整模型的预测概率之间做集成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["基类图像与标签"] --> Anchor["逆对抗语义锚点"]
    Anchor --> Adapt["双模态专门知识适配"]
    Classes["评估类别与基类文本"] --> Fusion["类别难度自适应融合"]
    Adapt -->|适配文本原型| Fusion
    Test["测试图像"] -->|视觉提示编码| Compare["图文相似度分类"]
    Adapt -->|学得视觉提示| Compare
    Fusion --> Compare

关键设计

1. 逆对抗语义锚点：为对抗表示提供更可靠的对齐方向

普通攻击在限定扰动邻域内增大真实标签的交叉熵，使图像难以正确分类；逆对抗生成则做相反的事，在另一个有界邻域内减小该损失。具体是沿输入梯度的下降方向更新图像，并投影回允许的扰动集合。这里“逆”指优化方向相反，不是先攻击再精确求逆，也不意味着这种图像在所有模型上都更可靠。其监督来自已有真实标签，作用是在当前模型的共同嵌入空间内寻找更接近正确文本语义的位置。

仅训练这些更容易的样本不能建立防御能力，因此论文仍保留对抗图像上的交叉熵。另一个约束比较两类图像对全部文本原型的相似度，经 softmax 得到类别分布，再让对抗分布接近逆对抗分布。与只保留正确类标签相比，分布对齐还约束了其余类别之间的相对关系；与直接追随自然图像相比，它先改善参照样本的类别置信度。其有效性依赖标签可信，不能据此声称能自动纠正标签噪声。

以下按原文第 3.1 节文字及式 (9) 可辨识部分整理目标；缓存中的运算符有缺损，这不是对完整公式的逐字转录，具体实现以原文为准：

\[ \mathcal{L}=\mathcal{L}_{\mathrm{CE}}(\hat{x},y)+\lambda\,\mathrm{KL}\!\left(p^{\mathrm{inv}}\|p^{\mathrm{adv}}\right). \]

其中 \(\hat{x}\) 是对抗图像，两个分布分别来自逆对抗与对抗图像的图文相似度，\(\lambda\) 控制语义约束强度。缓存没有明确说明逆对抗分布是否停止梯度，因此不能擅自把它写成冻结教师；逆扰动预算、步数和该权重的具体取值也没有可靠披露。

2. 双模态专门知识适配：先改善视觉可分性，再调整文本原型

视觉提示调优 VPT 在视觉 Transformer 中间层插入可学习 token，使它们通过自注意力与图像 patch 交互；少量提示参数能改变特征提取过程，而不必更新整个视觉骨干。论文采用提示长度 2、覆盖 10 个视觉层。对抗扰动可能把不同类别的视觉特征挤在一起，VPT 的切入点正是这一视觉表示问题；文本提示调优 TPT 只改变类别的文本表示，无法直接重塑混杂的视觉特征。

但视觉特征更可分并不保证分类原型合适，因此作者在冻结文本编码器之后增加轻量线性文本适配器 TA。它用可学习矩阵和偏置调整类别向量，在视觉侧保持有用的通用表示的同时，让文本决策原型适应当前任务。这里不是一个语言模型，也不是额外的文本提示学习分支；VPT 负责图像如何被表示，TA 负责类别原型放在哪里，两者共同接受前述鲁棒训练目标。

这种搭配也解释了消融中的非对称性：不是“任意一侧提示加另一侧适配器”都有效。Caltech101 上 TPT+视觉适配器 VA 的鲁棒准确率为 46.29%，而 VPT+TA 为 52.52%；仅 TA 为 48.92%，已经高于仅 VPT 的 45.24%。这支持本设置中视觉表征与文本原型需要协同调整，但不能把特征可视化解释为所有架构上的普遍定理。

3. 类别难度自适应融合：根据语义距离决定专门知识的介入程度

论文先给出数据集层面的鲁棒迁移难度：以随机分类器的准确率作为参照，除以在冻结 CLIP 特征上训练的 5-shot 简单分类头的对抗准确率。这里的 5-shot 只用于难度定义，不是后续主实验的 16-shot 微调协议；\(C\) 在这个定义中表示分类任务的类别数。

\[ \mathrm{RTD}^{\mathrm{adv}}=\frac{1/C}{\mathrm{Prec}_{g}^{\mathrm{adv}}}. \]

比值越大，说明简单特征迁移离稳定的鲁棒分类越远。然而，同一数据集内的类别也有难易之分，因此最终融合不直接使用这个数据集级比值，而是使用文本空间中的距离。对评估类别，分别计算它与所有基类文本原型的平均余弦距离、以及与最近基类的余弦距离。为避免与上一个定义混淆，下面以 \(C_b\) 表示基类数量，这是笔记的记号澄清，不是新增机制：

\[ d_{\mathrm{avg}}=1-\frac{1}{C_b}\sum_{j=1}^{C_b}\mathrm{sim}(t_{\mathrm{eval}},t_j),\qquad d_{\mathrm{nn}}=1-\max_{1\leq j\leq C_b}\mathrm{sim}(t_{\mathrm{eval}},t_j). \]

平均距离刻画与整个已学习语义集合的关系，最近邻距离则帮助识别是否已有非常相近的基类。融合系数由距离相关的指数项、尺度参数 \(\beta\) 和阈值 \(\xi\) 控制；原文解释阈值用于避免对高度相似类别做不必要适配。缓存式 (16) 的指示函数下标被截断，不能可靠核对完整门控表达式，本笔记不补写该公式，也不虚构 \(\xi\) 的值。

融合本身的含义是清楚的：\(\alpha\) 越大，使用适配器专门知识越多；\(\alpha\) 越小，保留冻结文本语义越多。下式同样是依据式 (15) 及邻近文字整理，缓存缺失了部分连接运算符，具体实现以原文为准：

\[ t_{\mathrm{eval}}^{\mathrm{fused}}=\alpha\,\mathrm{TxtAdapt}(\tilde{t}_{\mathrm{eval}})+(1-\alpha)\tilde{t}_{\mathrm{eval}}. \]

这仍然只调节文本支路；即便文本完全保留冻结语义，也不能说整个视觉模型退回原始 CLIP，因为图像仍经过学得的 VPT。另一个重要边界是语义距离只是鲁棒难度的代理，不能直接测出某张图像是否遭受攻击。

损失函数 / 训练策略

使用 CLIP ViT-B/16，在基类上进行 16-shot 微调，然后在未参与微调的新类别上评估。训练 15 个 epoch，优化器为 Adadelta，学习率采用余弦退火；单张 NVIDIA A6000，FP16 混合精度，结果报告为 20 个随机种子的平均值。

对抗样本在线采用 2-step PGD 生成，扰动预算为 \(\epsilon=2/255\)；评估采用 100-step PGD 和 AutoAttack，测试预算覆盖 \(2/255\) 与 \(4/255\)。视觉提示长度为 2、深度为 10，融合尺度 \(\beta=4.0\)。这些已披露设置不能替代缺失的逆对抗生成超参、学习率数值和门控阈值，缓存不足以给出逐项完备的复现配置。

实验关键数据

主实验

下表摘自原文表 1，均为新类别上的结果，Rob 对应 PGD-100、\(\epsilon=2/255\)。Nat 和 Rob 单位为 %；HM 沿用原表数值尺度，不额外解释为百分比提升。比较方法按每个数据集的最佳既有 HM 选择，最后一列是笔记计算的绝对差值。

\[ \mathrm{HM}=\frac{2\,\mathrm{Nat}\,\mathrm{Rob}}{\mathrm{Nat}+\mathrm{Rob}}. \]

该式是根据原文“调和均值”定义整理，缓存式 (17) 本身有排版缺损。

数据集	本文 Nat	本文 Rob	本文 HM	最佳既有方法	既有 HM	HM 差值
Caltech101	76.54	52.52	62.27	AdvMaPLe	61.35	+0.92
OxfordPets	72.16	28.43	40.63	AdvMaPLe	40.25	+0.38
Flowers102	50.64	24.36	32.91	AdvMaPLe	29.65	+3.26
DTD	35.02	20.62	26.02	FAP	23.06	+2.96
EuroSAT	28.33	13.76	19.02	FAP	16.94	+2.08

最优 HM 不等于自然准确率没有代价。Caltech101 的 Nat 从原始 CLIP 的 95.34% 降至 76.54%，下降 18.80 个百分点；本文是在鲁棒微调方案之间改善折中，而非同时超过冻结 CLIP 的所有指标。

消融实验

下表取原文表 4。IA 表示逆对抗学习，EA 表示包含 VPT+TA 的专门知识适配，DA 表示难度自适应融合；“均不启用”是该组件消融的训练基线，不能与表 1 的冻结 CLIP 混为一谈。全部指标为准确率 %，鲁棒指标使用 PGD-100。

配置	Caltech101 Nat	Caltech101 Rob	EuroSAT Nat	EuroSAT Rob
均不启用	70.20	39.52	22.51	8.25
IA	72.43	42.78	26.32	9.36
EA	73.04	47.60	25.98	10.96
IA + EA	75.86	50.75	27.25	12.18
EA + DA	74.75	51.31	27.06	12.82
IA + EA + DA	76.54	52.52	28.33	13.76

在 IA+EA 上加入 DA，两个数据集的 Rob 分别增加 1.77、1.58 个百分点；在 EA+DA 上加入 IA，分别增加 1.21、0.94 个百分点。相对均不启用的基线，单独 EA 的增益为 8.08、2.71 个百分点，大于单独 IA 的 3.26、1.11；不过表中没有单独 DA，因此不是完整因子实验，不能从这些行独立估计所有交互效应。

关键发现

• 更强攻击下仍有优势，但不是全场景第一。表 2 的 AutoAttack、\(\epsilon=4/255\) 下，本文在 Caltech101 为 46.91%，高于 AdvMaPLe 的 46.17%；OxfordPets 则是 24.03%，低于 AdvMaPLe 的 24.96%。
• DTD 的 FAP 数字存在内部不一致：表 1 的 PGD Rob 为 17.07%，表 2 同为 \(\epsilon=2/255\) 的 PGD 项为 18.07%。本笔记主表遵循表 1，不静默合并或替作者修正该差异。
• 图 6 的正文称，更大的 \(\beta\) 在低难度数据集上通常有利，但在高难度数据集上过大可能不稳定；更深的视觉提示通常更利于高难度任务。缓存无法可靠还原曲线点值，因此只记录趋势与最终设置。

亮点与洞察

• 鲁棒训练不仅要寻找“最难样本”，也要审视对齐参照是否可靠。逆对抗分支改善的是监督方向，而保留对抗交叉熵保证模型仍面对真正困难的输入，两者功能不能互相替代。
• 视觉侧与文本侧承担不同工作。VPT 改变受扰动图像的表示过程，TA 调整分类原型，这种按模态角色分工的方式比无差别增加可训练参数更有解释力。
• 专门知识是否应该用于新类别，是一个可以显式控制的决策。将语义距离用于原型融合可启发其他少样本迁移任务，但迁移前需要验证该距离是否真的与目标任务的失败风险相关。

局限与展望

• 作者承认逆对抗样本生成与分布对齐增加训练开销，并把提高效率和扩展骨干列为后续方向；缓存没有给出训练时间、显存或开销比例，不能量化“轻微增加”。
• 实验证据限于一个 CLIP ViT-B/16 骨干、五个分类数据集和基类到新类协议，不能外推到生成式 VLM、视觉问答、开放词表检测或文本攻击。
• 自然准确率仍明显低于冻结 CLIP，高难度 EuroSAT 的自然/鲁棒准确率也仅为 28.33%/13.76%。最佳 HM 说明相对折中更好，不代表绝对性能足以用于高风险部署。
• 语义距离并非实际视觉攻击难度，现有分析不足以证明二者逐类别一致。可进一步报告类别级相关性、融合权重校准以及对阈值的敏感性，而不是只展示数据集趋势。
• 虽然报告 20 个种子均值，主表没有标准差或置信区间；OxfordPets 的 HM 优势仅为 0.38，不能据此声称统计显著。公式缓存缺损、超参披露不足和 FAP 表间冲突也限制了复现核验。

相关工作与启发

• 相对逆对抗训练：本文承接用降低损失的邻域样本辅助鲁棒学习的思路，将其作为 CLIP 图文分布的语义参照；贡献重点是与少样本双模态适配和类别融合结合，并非首次提出逆对抗样本。
• 相对 C-AVP / TeCoA-VPT：这些视觉提示方法也直接处理视觉鲁棒性，本文额外调整文本原型并加入逆对抗约束，消融支持两侧联合适配的作用。
• 相对 AdvPT / APT / AdvMaPLe / FAP：这些方法分别覆盖文本或多模态鲁棒提示学习，本文强调对新类别选择性使用专门知识；优势主要体现在本协议的 HM，而非每种攻击下均压倒全部基线。
• 相对 RTD 与 CLIP-Adapter：前者提供衡量迁移难度的参照思想，后者提供冻结骨干加轻量适配器的路线。本文把文本几何用于推理时的适配强度控制，但这种代理的适用范围仍需独立验证。

评分

• 新颖性: 4/5。逆对抗、参数高效适配与难度融合的组合具有针对性，但各组成思想均有前序工作。
• 实验充分度: 3/5。覆盖五个数据集、两类攻击、两档预算及组件消融，但缺少多骨干、误差条和开销量化。
• 写作质量: 3/5。训练与推理的角色划分清楚，但表间数值冲突及“全场景最佳”的叙述需要收敛；缓存公式损坏不等同于原 PDF 的排版问题。
• 价值: 4/5。对少样本 CLIP 鲁棒适配有直接借鉴意义，但离高风险场景部署仍有明显距离。

相关论文

• [ECCV 2026] ATOMIC: A Domain-Specific Vision-Language Model for Transmission Electron Microscopy
• [ECCV 2026] MinerU-Diffusion: Rethinking Document OCR as Inverse Rendering via Diffusion Decoding
• [CVPR 2026] Do Vision-Language Models Leak What They Learn? Adaptive Token-Weighted Model Inversion Attacks
• [ICLR 2026] Prompt-Robust Vision-Language Models via Meta-Finetuning
• [CVPR 2026] AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models