Visible Yet Unrecognizable: Frequency-Selective Facial Privacy via Attention¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/atulkr05/MIRAGE.git
领域: 人体理解
关键词: 人脸隐私保护、频域选择性操纵、注意机制、深度人脸识别、视觉保真度

一句话总结¶

针对传统人脸去标识化破坏视觉观感或彻底替换身份导致丧失社交可用性的矛盾，MIRAGE 利用离散小波变换将人脸分解为高低频子带，通过低频交叉注意力破坏身份特征、高频自注意力保留外观细节，结合频域感知一致性损失，在有效抵御9种主流深度识别模型的同时保持自然视觉质量。

研究背景与动机¶

随着深度学习与大规模人脸抓取技术的滥用，未经授权的网络人脸采集（如 Clearview AI 爬取社交媒体数十亿人脸用于商业监控与生物特征分析）给个人隐私造成了严重威胁。理想的人脸隐私保护应满足双重约束：既要使自动化人脸识别（DFR）系统彻底失效（无法检索或正确分类身份），又要使人脸在肉眼观察下保持自然的视觉外观与原始主观感受，维持其在日常社交平台中的正常展示与交互效用。

然而，现有的人脸隐私保护方案深陷于“隐私性”与“实用性”的极端对立。早期基于空间域的马赛克、高斯模糊或局部遮挡方案粗暴破坏了图像细节，视觉质量严重降级；而基于生成对抗网络或扩散模型的新型匿名化方法（如 A3GAN、Diff-Privacy、FALCO 等），往往在隐空间中合成一张完全陌生的虚拟人脸，彻底剥离了原始用户的真实相貌特征，使得生成图失去社交分享价值。近年基于对抗扰动的方法虽具不可察觉性，却极易被扩散净化算法破解，迁移泛化能力薄弱。

探索人脸识别模型对不同频段敏感性的频域实验揭示了一个关键认知：在二维离散小波分解下，仅利用低频近似子带（LL）进行比对即可恢复接近全频带的识别准确率，表明身份判别信息高度富集于低频成分中；反之，高频细节子带（LH、HL、HH）主要编码纹理、边缘与外观表象。核心 idea：利用离散小波分解实现人脸的频域解耦，对富含身份判别信号的低频子带施加基于目标伪身份的 AdaIN 交叉注意力进行靶向扰动，而对承载视觉细节的高频子带施加无条件自注意力进行结构维持，并通过频域感知一致性损失联合优化，实现“肉眼可见且逼真、机器不可识别”的解耦式隐私保护。

方法详解¶

整体框架¶

MIRAGE 接收输入人脸图像并根据随机采样的目标身份嵌入生成受保护图像。整个框架由三大顺序阶段构成：双特征编码与频域小波分解、注意力引导的频域靶向操纵、以及逆小波重构与空间自适应精细化融合。在低频分支中，输入图像的小波低频特征与目标身份特征通过交叉注意力注入扰动；在高频分支中，独立自注意力模块重标定纹理与边缘；重构后经由 U-Net 与预测的空间人脸掩码实现背景保持与面部平滑融合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入人脸图像 x"] --> B["双特征编码与单层 DWT 分解"]
    B --> C["低频身份扰动<br/>AdaIN 交叉注意力注入目标嵌入 z"]
    B --> D["高频外观保持<br/>CBAM 模块纯自注意力重标定"]
    C --> E["逆离散小波重构 IDWT"]
    D --> E
    E --> F["空间精细化与自适应融合<br/>U-Net 修正伪影 + 人脸掩码 M 混合"]
    F --> G["受保护人脸输出 x'"]

关键设计¶

1. 低频身份扰动：基于 AdaIN 交叉注意力的身份重定向 针对传统对抗扰动缺乏针对性且易被频域滤波清除的缺陷，该设计直接在集中了人脸主干拓扑与身份表征的低频近似子带 $x^{LL}$ 上施加操纵。模块采用自适应实例归一化（AdaIN）与交叉注意力相结合的架构：将低频空间特征线性投影为 Query，将随机采样的目标伪身份特征向量 $z$（或来自预训练识别编码器的目标嵌入）作为 Key 和 Value。通过交叉注意力，模型引导源图像的全局面部几何与轮廓自适应地向目标身份特征对齐，并借助 AdaIN 调节低频子带的特征统计均值与方差，迫使后续识别系统提取到与原始身份正交的目标特征： $$x'^{LL} = \text{AdaIN-CrossAttn}(x^{LL}, z)$$ 这一设计阻断了深度识别网络对本征身份特征的抽取路径，同时由于变换仅局限在紧凑的低频子带内，避免了高频纹理出现剧烈的网格伪影。

2. 高频外观保持：基于 CBAM 的本征纹理与空间自注意力校准 为了确保生成的受保护图像能够保留原始主体的五官发丝细节、表情、肤质与光照氛围，系统对三个高频子带（$x^{LH}, x^{HL}, x^{HH}$）执行无外部条件注入的本征保持机制。每个高频子带独立输入卷积块注意力模块（CBAM），依次进行通道注意力与空间注意力变换： $$x'^{HF} = \text{CBAM}(x^{HF}), \quad HF \in \{LH, HL, HH\}$$ 通道注意力自适应缩放不同频带分量的响应强度，空间注意力则聚焦于边缘显著与结构感强的面部微观区域。由于整个高频处理通路完全隔离了目标身份嵌入 $z$ 的影响，原始高频语义和视觉纹理得到了无损滤波与保真重校准，从物理层面保证了视觉观感不受身份替换的干扰。

3. 空间精细化与自适应融合：残差 U-Net 与软人脸掩码修补 低频扰动与高频细节经过单层逆离散小波变换（IDWT）拼合后，容易在边界和过渡带产生轻微的高频伪影或小波边界效应。为此，框架将粗重构图像 $\tilde{x}$ 与原始输入图像 $x$ 沿通道维度拼接成 6 通道输入，传入轻量级 U-Net 精细化网络 $\mathcal{R}$，合成光度逼真的细节并补偿变换损失。同时，由轻量掩码子网络预测连续人脸软掩码 $M \in [0, 1]^{H \times W}$，完成最终的前景-背景自适应融合： $$x' = M \odot x_{\text{refined}} + (1 - M) \odot x$$ 该设计确保非人脸区域（如头发外缘、衣领、背景墙面等）实现精确的像素级原样透传，将一切扰动严格局限在有效人脸几何区域内部。

损失函数 / 训练策略¶

MIRAGE 采用联合多任务监督损失进行端到端优化，总损失为： $$\mathcal{L}_{\text{total}} = \lambda_{\text{FAC}}\mathcal{L}_{\text{FAC}} + \lambda_{\text{attr}}\mathcal{L}_{\text{attr}} + \lambda_{\text{recon}}\mathcal{L}_{\text{recon}} + \lambda_{\text{perc}}\mathcal{L}_{\text{perc}} + \lambda_{\text{adv}}\mathcal{L}_{\text{adv}}$$ 其中核心驱动模块为频域感知一致性损失 $\mathcal{L}_{\text{FAC}}$，由两项定制项互补构成：

频域感知边界损失（Frequency-Aware Margin Loss）：直接在各个小波频带上对身份嵌入的余弦距离施加分层下界惩罚，替代了代价昂贵的三元组负样本挖掘： $$\mathcal{L}_{\text{f-margin}} = \sum_{b \in \{LL, LH, HL, HH\}} w_b \cdot \text{ReLU}\big(m_b - d_{\text{cos}}(e_i^b, e_i'^b)\big)$$ 其中权重与裕度显著向低频子带倾斜，$w_b \in \{1.5, 0.5, 0.5, 0.3\}$，$m_b \in \{0.7, 0.3, 0.3, 0.2\}$。
频域一致性焦化损失（Frequency-Consistency Focal Loss）：针对高频分量中结构最难重建的区域，依据结构相似性指标动态聚焦加权： $$\mathcal{L}_{\text{f-focal}} = \sum_{b \in \{LH, HL, HH\}} \big(1 - \text{SSIM}(x^b, x'^b)\big)^\gamma \cdot \|x^b - x'^b\|_2$$ 辅以保持非身份属性（姿态、表情等）的 $\mathcal{L}_{\text{attr}} = \|e_a - e'_a\|_2$、兼顾像素级与结构级的重构损失 $\mathcal{L}_{\text{recon}}$、基于 VGG-19 多层特征的感知损失 $\mathcal{L}_{\text{perc}}$ 以及 PatchGAN 对抗损失 $\mathcal{L}_{\text{adv}}$。

实验关键数据¶

主实验¶

在标准生物特征识别协议下（1 张图作为底库 Gallery，3 张图作为待查探针 Probe），论文对九种最先进的深度人脸识别系统（AdaFace、MagFace、ArcFace、Dlib、VGG-Face、SFace、FaceNet、FaceNet-512、DeepFace）和三个代表性数据集（CelebA-HQ 测试集、105-Pins、LFW）进行了前瞻式（Proactive，保护 Gallery）与反应式（Reactive，保护 Probe）全面测试。

下表展示了性别无关（Gender-Agnostic）设定下，MIRAGE 与四类现有基准方法（对抗净化防御 FPP、对抗化妆生成 DiffAM、隐空间去标识 FAS、隐空间优化匿名 FALCO）在最先进的 AdaFace 与 MagFace 模型下的识别准确率对比（识别率越低表明隐私保护强度越高）：

识别模型	防御方法	CelebA-HQ (Proactive) ↓	105-Pins (Proactive) ↓	LFW (Proactive) ↓	CelebA-HQ (Reactive) ↓	105-Pins (Reactive) ↓	LFW (Reactive) ↓
AdaFace	FPP	96.19%	94.45%	90.52%	96.18%	94.05%	89.54%
AdaFace	DiffAM	96.39%	96.16%	88.05%	96.45%	96.25%	87.78%
AdaFace	FAS	68.35%	70.22%	71.70%	68.45%	71.11%	72.03%
AdaFace	FALCO	56.77%	54.46%	60.05%	59.70%	56.22%	56.92%
AdaFace	MIRAGE (本文)	70.24%	71.63%	65.42%	68.56%	69.48%	65.63%
MagFace	FPP	77.77%	84.09%	60.80%	77.82%	83.69%	61.01%
MagFace	DiffAM	83.49%	88.25%	58.67%	82.25%	90.94%	58.42%
MagFace	FAS	57.06%	61.76%	56.37%	58.02%	59.68%	56.89%
MagFace	FALCO	56.83%	53.42%	52.61%	56.39%	55.15%	52.08%
MagFace	MIRAGE (本文)	57.87%	61.75%	44.13%	56.67%	64.21%	44.89%

在视觉保真度方面，FALCO 虽然数值识别率更低，但其通过重构彻底改变了用户的真实容貌，使图像面目全非；而 MIRAGE 在大幅降低识别率的同时（如将 AdaFace 在 CelebA-HQ 上的识别率从原始基线的 96.16% 显著拉低至 70.24%，在 LFW 上取得 65.42% 的更优防守成绩），取得了平均 PSNR 达 32.85 dB、SSIM 达 0.89 的极高视觉保真度。

消融实验¶

论文系统分析了低频交叉注意力（Cross-Attention）、高频自注意力（Self-Attention）以及频域感知一致性损失（FAC Loss）对防御有效性的独立贡献：

评估模型	消融配置	CelebA-HQ (Proactive) ↓	105-Pins (Proactive) ↓	LFW (Proactive) ↓	CelebA-HQ (Reactive) ↓	105-Pins (Reactive) ↓	LFW (Reactive) ↓	说明
AdaFace	w/o cross-attention	96.30%	94.66%	87.61%	95.77%	95.84%	88.51%	丧失身份干预，退化至原始基线
AdaFace	w/o self-attention	92.20%	94.05%	86.53%	93.86%	95.56%	86.88%	缺乏高频引导导致表征不稳定
AdaFace	w/o FAC Loss	92.98%	94.17%	87.02%	92.74%	95.58%	86.64%	频域约束松弛导致防御严重退化
AdaFace	完整 MIRAGE 模型	70.24%	71.63%	65.42%	68.56%	69.48%	65.63%	协同机制带来最强综合保护
MagFace	w/o cross-attention	80.20%	93.61%	58.35%	79.81%	85.19%	58.86%	身份混淆能力显著剥离
MagFace	w/o self-attention	77.14%	86.38%	55.20%	77.66%	84.21%	56.54%	高频边缘稳定性缺失
MagFace	w/o FAC Loss	78.01%	86.55%	57.41%	77.68%	83.55%	56.66%	频段差异化边界缺失
MagFace	完整 MIRAGE 模型	57.87%	61.75%	44.13%	56.67%	64.21%	44.89%	取得一致性最优防御指标

同时，单纯使用小波子带对换（DWT Sub-band Swapping）的朴素基线在 AdaFace（CelebA-HQ Proactive）上的识别率仅为 95.47%，降幅仅为 0.69%，证明了可学习注意力机制与 FAC 损失的不可替代性。

关键发现¶

低频交叉注意力是隐私保护的核心支柱：消融实验中去除低频交叉注意力导致 AdaFace 的识别率从 70.24% 骤升至 96.30%，几乎与未受保护的原始人脸无异，证明身份解耦机制必须通过低频信道实施干涉。
图像压缩与缩放带来反向“隐私增益”：在鲁棒性测试中，经历 JPEG 压缩（QF=50 至 95）或下采样缩放至 $112 \times 112$ 后，AdaFace 与 MagFace 的识别准确率未升反降（如 AdaFace 在 QF=50 时识别率进一步降低至 64.02%），原因在于二次重压缩进一步恶化了已被扰动的低频脆弱身份特征，赋予其极强的社交媒体管道传播抵抗力。
抵御白盒自适应微调攻击：攻击者若使用 MIRAGE 保护样本对 AdaFace 进行再微调，识别率仅微弱回升 1.84%，仍然无法恢复正常的面部检索能力。

亮点与洞察¶

解耦维度的物理对应性（频域解耦）：不同于常规生成模型在黑盒隐向量空间中的特征解耦，本文从信号处理的视角明确证明了低频小波子带主导机器身份识别、高频子带主导人类视觉感知的物理规律，提供了清晰的可解释性支撑。
针对性的非对称注意力架构：在低频部分引入 AdaIN-Cross-Attention 实现靶向身份信息替换，在高频部分部署纯内源性的 CBAM 自注意力阻断身份泄漏，设计极度契合频带信息分布的先验。
无需负样本挖掘的频域分层损失（FAC Loss）：提出的分层边界损失针对 $LL$、$LH$、$HL$、$HH$ 分别施加递减权重与容忍边际，结合 SSIM 加权的局部 Focal 重构项，规避了大规模跨样本对比学习的采样开销。

局限与展望¶

最强识别模型的绝对防御余量：在面对极其稳健的现代特征裕度损失模型（如 AdaFace）时，防御后识别率虽下降约 26%，但仍保持在 ~70% 左右，并未如老旧模型（FaceNet512 / DeepFace 降至 20%~25%）那样彻底崩塌，面对前沿商业识别引擎仍需进一步增强扰动对抗深度。
固定单层 Haar 小波分解的尺度局限：方法仅采用了单层 Haar 小波，对于非刚性大姿态偏转、剧烈光照阴影或部分面部重度遮挡情况下的人脸，单层频率分解可能会发生高低频信息的频谱泄露。
未来方向：探索多尺度可学习小波变换（Learnable Wavelets），并将双模态防御框架拓展至视频流及多模态大模型（VLM）视听联合去标识化场景中。

评分¶

新颖性: ⭐⭐⭐⭐☆ 频域小波特性与非对称注意力的结合非常自然，视角独到且具可解释性。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 9 大主流 DFR 模型、3 个权威数据集、前瞻/反应式双模式与白盒微调分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑链路严谨，频域分解机理阐述深刻，消融与鲁棒性验证闭环完整。
价值: ⭐⭐⭐⭐☆ 针对社交网络图像隐私泄露这一现实痛点提供了兼顾视觉审美与机器匿名的实用化路径。