ECCV2026 AI 安全论文解读论文笔记对抗鲁棒多模态联邦学习对齐/RLHF 个性化生成少样本学习

🛡️ AI 安全¶

🎞️ ECCV2026 · 45 篇论文解读

📌 同领域跨会议浏览： 🧠 NeurIPS2026 (2) · 📷 CVPR2026 (145) · 🔬 ICLR2026 (139) · 💬 ACL2026 (5) · 🧪 ICML2026 (114) · 🤖 AAAI2026 (45)

🔥 高频主题： 对抗鲁棒 ×18 · 多模态 ×4 · 联邦学习 ×3 · 对齐/RLHF ×2 · 个性化生成 ×2

Scaling Laws for Black-box Adversarial Attacks: 本文发现，在缓解代理模型间梯度冲突后，视觉对抗迁移成功率在一定规模区间内近似随集成模型数量的对数线性增长，并用分类器、防御模型和多模态模型验证这一有条件的经验规律。
Contextual Image Attack: How Visual Context Exposes Multimodal Safety Vulnerabilities: CIA 把有害查询改写成一段视觉上自洽的场景（黑板上的教学演示、路线图上的步骤、论文里的条目、漫画对话框），让多模态大模型在「这是一道正常题目」的错觉下把有害内容当成待完成的任务来回答，从而在 GPT-4o 与 Qwen2.5-VL-72B 上分别拿到 86.83% 与 91.02% 的攻击成功率。
Stealthy Multi-task Adversarial Attacks: 本文提出 SMTA2，把「只打坏多任务模型中的某一个任务、同时不打坏其余任务」写成一个带保持约束的多目标优化问题，用「目标任务正权、非目标任务负权」的加权损失把它松弛成一次普通的一阶迭代攻击，再用逐迭代的自动权重搜索在线平衡攻击与保持，在 NYUv2 与 Cityscapes 上对未防御模型和对抗训练模型都做到了目标任务大幅退化、非目标任务守住干净基线。
SPQR: A Multi-Dimensional Benchmark for Safety Alignment under Benign Model Adaptation: SPQR 把"部署后的良性微调"形式化为无意攻击并提升为一个评测轴，用安全（S）、提示服从（P）、视觉质量（Q）、微调后稳健性（R）四个归一化指标经调和平均合成单一分数，在 SD v1.5/XL/v3 上评测 11 种 T2I 安全对齐方法，暴露出"效用不降反升、安全静默崩塌"这一单轴基准完全看不见的失效模式。
Unsafe by Reciprocity: How Generation–Understanding Coupling Undermines Safety in Unified Multimodal Models: 本文把统一多模态模型（UMM）中理解与生成之间的"互惠"本身当作结构性攻击面，提出无需任何外部模型、也无需梯度优化的 RICE 攻击框架，顺着 G→U 与 U→G 两条内部回路搬运中间信号，在 5 个越狱基准和 3 个不安全图像生成基准上把 ASR 推到最高（Bagel / Janus-Pro-7B 上 AdvBench 分别为 89.62% / 92.69%）。
Neural Collapse-Inspired Multi-Label Federated Learning under Label-Distribution Skew: FedNCA-ML 先从图像中提取逐类特征，再用各客户端共享的固定等角紧框架及正负特征正则统一表示几何，在多标签 CIFAR-10 的一个偏斜设置中将 macro-AUC 从最佳对照的 83.63 提高到 87.55，但收益并不覆盖所有微平均指标。
WebEyeTrack: Scalable Eye-Tracking for the Browser via On-Device Few-Shot Personalization: WebEyeTrack 将单目度量头姿、轻量眼部编码器 BlazeGaze 和端侧少样本个性化结合，以初始 9 点校准支持浏览器眼动追踪，在 GazeCapture 上达到 2.32 cm 注视点误差，但其主要优势是部署效率与抗漂移能力，而非所有数据集上的最高精度。
A Classifier-Agnostic Zero-Shot Adversarial Attack Detection via CLIP: 提出 A4D，一个完全黑盒、零样本的对抗攻击检测框架——利用 CLIP 对微小扰动的敏感性，通过将图像嵌入与一组精心设计的文本提示词比较余弦相似度，再经 PCA 聚合为单一检测分数，无需知道攻击类型或分类器结构即可检测对抗样本，在多个攻击/数据集/分类器上达到 SOTA。
Adversarial Attack and Disturbance Detection by Hadamard-Coded Output Representations for Object Detection and Semantic Segmentation: HadamardNet 将视觉模型的类别输出改成冗余码字，通过概率单纯形投影同时获得类别概率与一致性残差，在单次前向传播中检测异常扰动；其价值是提供额外的可靠性信号，而不是保证受扰动后的预测正确。
Anti-Prompt: Image Protection against Text-Guided Image-to-Video Generation: Anti-Prompt 在图像所有者发布图片前加入微小保护性扰动，通过削弱文本条件、增强视觉通路的相对主导性并扰乱图像编码，使未经授权的图生视频更难保持连贯；在 CogVideoX 白盒实验中，其视频评估均分为 3.25，低于复现 I2VGuard 的 3.92，表示更强的保护效果。
Capacity Overflow: A Blind Spot for Backdoor Attacks in Vision MoE: 本文揭示了视觉混合专家模型（Vision MoE）中由批大小与容量因子动态决定的 Token 丢弃机制构成全新攻击面，提出首个利用“容量溢出”激活的条件式供应链后门攻击，实现安全审计小批次下隐蔽休眠、部署端大批次下高成功率激活。
Defending from GeoLocalization through Adversarial Road Trips: 本文提出 RoadTrip Attack（RTA），将针对检索式图像地理定位模型的对抗攻击重构为在地理空间中寻找由自适应中间目标构成的“伪装旅程”，通过结合地理束搜索（Beam Search）与投影梯度下降（PGD）在极低扰动预算下实现了兼具高靶向成功率、强黑盒迁移性与优异视觉保真度的地理隐私防御。
Exploiting Local Flatness for Efficient Out-of-Distribution Detection: 本文首次系统分析了 OOD 样本与 ID 样本在损失景观曲率上的差异，发现 OOD 输入的 Hessian 曲率更大且随分布偏移加剧而增大；基于此提出轻量级 OOD 检测器 Fold，用特征空间 Hessian 替代昂贵的参数空间曲率近似，配合部分特征归一化增强 ID-OOD 可分性，并用自监督 logit 遮蔽（AutoFold）自动标定归一化参数，在多个 benchmark 上平均 AUROC 提升 1.63%、FPR95 降低 2.30%，计算开销仅与单次前向传播相当。
GeoDetect: Geometric Adversarial Detection for VLPs: 针对视觉语言预训练模型（VLP）易受多模态对抗攻击且传统对抗训练开销巨大的问题，GeoDetect 从 VLP 嵌入空间的各向异性几何本质出发，理论证明对抗样本必然偏离正常流形并增大与随机干净样本的期望几何距离，进而利用局部内在维度（LID）、k-NN、马氏距离与核密度估计（KDE）等轻量级几何指标实现跨架构、跨任务的高精度对抗检测。
GeoMix: Descriptor-Free Visual Localization via Global Context and Multi-Detector Training: 针对无描述子视觉定位中纯几何匹配判别力不足与检测器过拟合瓶颈，GeoMix通过局部方向/距离几何嵌入、可学习全局上下文节点交互及跨检测器混合训练策略，在大幅降低存储并保护隐私的同时实现高精度2D-3D匹配与相机位姿估计。
Improving Adversarial Robustness via Activation Amplification and Attenuation: 本文提出 A3（Activation Amplification and Attenuation），一个轻量的可学习激活缩放模块，通过同一组参数实现激活放大与衰减两种模式——训练时利用放大模式的降级预测作为负参考构造对比/排名损失，推理时仅用衰减模式即可在不引入显著计算开销的前提下提升对抗鲁棒性。
IREU: Identity-Related Encoder-Only Unlearning for Customized Portrait Generation: IREU 首次针对定制人像生成（CPG）提出身份遗忘问题，通过 Face-Swap 定位嵌入空间中的身份相关维度、仅在这些维度上做特征扰动，实现只更新图像编码器即可去除目标身份生成能力、同时保持其他身份生成保真度的遗忘管线，且遗忘后的编码器可零微调迁移到不同 CPG 生成器。
LangLoc: “Tell Me What You See”: LangLoc 是首个无需相机图像、仅凭自由自然语言环境描述即可在已知 3D 室内场景中实现高精度定位的系统，通过双分支 GATv2 检索粗场景、光线投射可见性计算 2D 位姿与朝向，并利用主动贝叶斯对话将中位误差降至亚米级。
Moiré Video Authentication: A Physical Signature Against AI Video Generation: 本文提出利用莫尔干涉条纹作为物理签名来认证视频真伪：将紧凑的双层光栅结构放置在拍摄场景中，通过计算条纹相位变化与光栅图像平移位移之间的 Pearson 相关系数区分真实视频与 AI 生成视频——真实视频中两者由光学几何定律严格耦合（相关系数均值 0.87），而当前最强视频生成模型（Veo 3.1、Grok Imagine、LTX-2）在最优配置下也无法精确复现这种耦合（相关系数均值 0.57），Cohen's d 达 1.71，差异高度显著。
On the Plasticity Collapse in Continual Machine Unlearning: 本文首次系统揭示并理论阐明了连续机器遗忘中的“可塑性崩溃”现象，指出连续遗忘操作导致参数空间几何约束累积与子空间饱和，进而引发后继任务遗忘质量递减的“前向失效”与早期遗忘数据自发复现的“后向失效”。
Preserving Knowledge across Space and Time for Continual Video Deepfake Detection: 针对持续视频深度伪造检测中时空伪造线索易互相干扰导致灾难性遗忘的难题，本文提出模态特定频域蒸馏（MSFD），显式解耦空间、时序与时空三路频域谱，结合自适应加权遮罩与跨模态去相关损失实现正交知识保持，在多项增量基准上显著超越现有 SOTA。
ProtoFair: Fair Self-Supervised Contrastive Learning via Pseudo-Counterfactual Pairs: ProtoFair 提出一种即插即用的公平性正则项，在不修改现有自监督对比学习目标的前提下，通过动量更新的无监督聚类原型发现「同语义内容但不同敏感组」的伪反事实对，在嵌入空间中拉近这些跨组样本，迫使编码器学习对敏感属性不变的表征；在 CelebA、UTKFace 和 NIH Chest X-rays 上搭配 SimCLR / SupCon / BarlowTwins / BYOL 均能显著降低 Equalized Odds 同时保持竞争力准确率。
Ranked Activation Shift for Post-hoc Out-of-Distribution Detection: 针对现有基于缩放与剪枝的事后激活值编辑方法在非ReLU网络（ConvNeXt、ViT）上因负激活值导致理论失效且依赖超参微调的痛点，RAS提出一种完全无须超参数的即插即用方法，通过将测试样本倒数第二层特征按升序排序后直接替换为分布内平均排序参考轮廓，实现全局激活直方图对齐与方差压缩，在几乎不损失ID分类精度的前提下显著提升多架构下的OoD检测性能。
Robustness Meets Uncertainty: Evidential Adversarial Training for Robust Selective Classification: 针对传统对抗训练导致预测不确定性排序劣化、选择性分类失准的问题，本文提出基于狄利克雷证据表示的对抗训练框架 EV-AT，在对数浓度空间统一约束预测均值与置信度漂移，显著拓宽了鲁棒性与不确定性权衡的帕累托前沿。
RoME: Robust Mixture of Low-Rank Experts against Multiple Adversarial Perturbations: 针对多扰动对抗训练（MAT）中不同威胁相互冲突及传统 MoE 门控模式退化的问题，RoME 提出由共享主干捕获通用表征、低秩专家捕获特定威胁表征的解耦架构，并结合局部与全局双尺度门控及门控多样化正则，实现了兼顾干净准确率与多威胁并集鲁棒性的最强防御。
Seeing Through the Weights: Privacy Leakage in Scene Coordinate Regression: 打破了学术界关于场景坐标回归（SCR）天生具备隐私保护特性的长期假设，提出一种仅利用无关自然图像作为代理查询并结合微扰稳定性过滤、梯度精炼、体素栅格累积与特征逆向生成的攻击框架，首次从隐式网络权重中高保真地还原了未知私有场景的三维几何与外观色彩。
AracNet: Revealing Debiasing Signals across Layers with Shallow Monitors: AracNet 在冻结的偏置分类器各层训练浅层监测器，按真实类别置信度的分布选出偏置信号最清晰的一层，再据此重加权训练重新初始化的分类器，在 Waterbirds 上达到 \(91.27\pm0.56\%\) 的最差群组准确率，避免把偏置挖掘完全寄托于早停时机。
Breaking Rigidity in Adversarial Patch Attacks: 针对现有对抗补丁攻击与防御严重依赖矩形或圆形等刚性固定形状这一结构性盲区，本文提出基于向心 Catmull-Rom 样条与两阶段进化搜索的平滑形变通用补丁生成框架 SmuDPatch，不仅跨 CNN、ViT、VLM 与检测器展现出极强的迁移攻击能力，更揭示了现有防御模型与多模态大模型的脆弱性并提供了通用基准。
COLA: Continual Orthogonal Low-Rank Adaptation for Class-Incremental Learning: 针对类增量学习中参数线性膨胀与回放缓冲区开销过大的双重痛点，提出免回放的持续正交低秩自适应框架 COLA，利用奥贾规则在线估计并整合全局特征协方差主特征结构，通过软正交投影算子将新任务特征对齐到互补子空间，在固定模型容量与零样本回放条件下显著抑制灾难性遗忘。
Compositional Non-Face Re-Identification Pressure under Cumulative Vision Releases: 针对传统计算机视觉仅做“单次静态发布”隐私评估而忽视数据扩张、模型权重更新与特征索引累积泄露的问题，本文形式化了非人脸累积重识别风险，提出基于 Arimoto 条件 Rényi 熵的视觉重识别压力指数（\(\text{vRPI}_\alpha\)），在理论上证明了累积单调性与贝叶斯猜测界，并在 Market-1501-Tau 和 CUHK03-Tau 上实证了非人脸累积发布的持续泄露效应。
Data-Free Client Contribution Estimation via Logit Maximization for Federated Learning: 针对非独立同分布（Non-IID）及标签偏斜下联邦学习客户端贡献度难以公平衡量的问题，本文提出无须原始数据、辅助验证集及自报元数据的 CELM 框架，通过服务端类别级 Logit 最大化探测构建去偏证据矩阵并归一化类别份额，实现对罕见类持有者（Mavericks）的正向激励与搭便车者（Free-riders）的高效甄别。
Distribution-Aware Feature Selection for Post-hoc Out-of-Distribution Detection: 针对事后特征级分布外（OOD）检测常将高维特征等同对待的问题，本文提出基于边际 Wasserstein-1 距离的分布感知特征选择策略（MFS），配合跨域 Mixup 代理数据自适应筛选最具判别力的子空间，在零重训练的前提下显著提升检测性能并大幅降低推理耗时。
Gradient sparsity regularization for training unlearning-compatible models: 针对近似机器遗忘效果差且逆向SGD误差受曲率累积约束的难题，本文提出在训练阶段引入梯度的 \(\ell_1\) 范数正则化项（促进梯度稀疏）以极小化最差情况损失锐度，使得训练轨迹更加平坦，从根本上训练出易于后续执行快速高保真遗忘的“遗忘兼容”模型。
If It's Not Efficient, It's Not Usable: Real-Time OOD Detection with Latent De-Biasing and High-Quality Negative Samples: 针对可穿戴与 IoT 等资源受限设备，本文提出一种基于无监督 VAE 的端侧实时 OOD 检测框架，通过在训练期将像素强度去偏内化至潜空间，并结合特征级约束合成贴近分布边界的硬负样本，在仅需约 35 MFLOPs 算力和 0.12 ms 极低延迟下超越现有精度 SOTA。
Improving Adversarial Robustness by Mitigating Instability through Relearning: 针对对抗训练中后期鲁棒精度严重下降的鲁棒过拟合难题，本文首次揭示了模型跨轮次鲁棒稳定性持续恶化的反直觉现象（鲁棒不稳定性），提出基于历史多轮集成软标签的重学习对抗训练框架（RAT），在生成对抗样本与优化模型权重中引入稳定性约束，显著提升了基线对抗防御性能并消除了鲁棒过拟合。
Indelible Backdoors: On the Limits of Post-Training Defenses: 针对后训练微调与剪枝防御假定“良性与恶意信号可分离”的根本缺陷，本文提出一种基于费歇尔信息识别核心神经元并强制后门与良性任务梯度方向对齐的自适应后门攻击，使任何消除后门的防御尝试必然导致良性精度崩溃。
Leveraging Dark Knowledge for Intrinsic Multimodal Out-of-Distribution Detection: 提出自多模态 OOD 蒸馏框架（Self Multimodal OOD Distillation），将单模态专家在 Logit 层编码的暗知识转化为似然加权的不确定性软目标，并通过目标类与非目标类解耦蒸馏指导跨模态联合分类头，无需重新训练重型主干即可显著提升多模态系统内在的 OOD 检测能力。
One Trap to Block Them All: Defending Encoder Stealing via Isotropic Uniformity: 针对自监督编码器面临的高级对比式模型窃取攻击，UniTrap 提出一种基于高斯势函数的单模块主动几何扰动机制，在单位超球面上诱导各向同性均匀分布，使攻击者在切空间中的对比梯度完全对称抵消而陷入梯度消失与优化停滞，在几乎不损失合法用户效用的前提下将窃取准确率大幅压降。
Proteus: Model Leakage-Induced Adversarial Attack in Federated Learning: 针对联邦学习在训练轮次中必然向参与客户端明文广播中间全局模型的固有机制，本文揭示了早期泄露模型被用于构造持久对抗样本的严重安全隐患，并提出 Proteus 攻击框架，通过抑制参数敏感度和前瞻边际扩展显著跨越时间特征漂移，在仅 30% 训练进度泄露模型下即可使最终部署模型达到 85.40% 的攻击成功率。
ReTarget: Representation Transformation via Adversarial Regularization for Geometric Misalignment: 针对边缘-云端分割推理（Split Inference）容易遭受数据重构攻击（DRA）恢复原始敏感输入的隐私风险，ReTarget 抛弃传统的“信息抑制与去相关”假设，提出通过轻量级残差转换在特征空间引入几何位移与对抗正则化，引导特征向类别级原型靠拢，在破坏逆映射局部可预测几何结构的同时保持下游分类性能。
Rethink Backdoor Robustness in Vision Transformers: 论文揭示了此前文献中 ViT 易受后门攻击且防御易崩溃的结论源于 CNN 防御策略在 ViT 上的不当适配，在修正优化器与剪枝粒度后现有后门攻击可被轻易防御；据此提出基于通道激活对齐的增强攻击 CAT，通过对抗扰动压制触发器异常通道差异以有效规避净化防御。
Revisiting Deepfake Detection: BCNet for Robust Generalization Beyond Semantic Dependence: 针对视觉基座模型在伪造检测中因依赖高层语义特征导致跨类别泛化崩溃的痛点，提出基底校正网络（BCNet），通过注意力引导语义擦除与归一化梯度扰动增强强制模型锚定底层真实合成伪影，在 WildRF 真实社交基准上取得 96.7% 的高泛化准确率。
SRRA: Stable-Rank-Based Residual Adaptation for Generalizable Deepfake Detection: 针对基于预训练 ViT 的伪造人脸检测在各网络层盲目采用固定微调秩导致泛化受限的问题，本文提出基于稳定秩的残差自适应微调策略（SRRA），利用稳定秩自适应为浅层分配低秩、为中深层分配高秩残差，并结合残差能量约束与残差子空间正交化，实现了优异的跨域伪造泛化性能。
Tricam-rPPG: A Multimodal Multispectral Dataset for Remote Photoplethysmography: 针对传统可见光 rPPG 依赖 RGB 导致深肤色人群信噪比严重衰减的系统性传感偏差，本文构建了首个同步采集高分辨率 RGB、双波段近红外（850nm 与 940nm）及智能眼镜多模态数据的 Tricam-rPPG 数据集，并实证了跨光谱融合能显著消除肤色偏见与提升心率估计鲁棒性。
Why Feature Magnitude Deceives OOD Detectors: An Angular Separation Perspective: 揭示了基于马氏距离的 OOD 检测器极易受特征模长欺骗的本质缺陷（低范数异常样本因距离计算失真而伪装成分布内样本），进而提出仅在分类头前对特征施加 \(\ell_2\) 归一化的角度分离学习（ASL），以极简训练将模型诱导至超球面上进行角度对比学习并取得 SOTA 性能。