Break Visual-Linguistic Asymmetry: Unleashing VLM's Cross-Modal Potential for General Face Forgery Detection¶

会议: ECCV 2026
论文: ECCV 原文
领域: 多模态 VLM
关键词: 人脸伪造检测、视觉语言模型、跨模态不对称性、参数高效微调、跨模态交互

一句话总结¶

针对视觉语言模型（VLM）在人脸伪造检测中跨模态和模态内部的不对称性瓶颈，本文提出不对称引导的参数高效检测框架 Asy-Det，通过两阶段元伪造适配器（MFA）与不对称引导交互器（AGI）实现多粒度跨模态双向对齐，仅用 4.41M 可训练参数在未见数据集 Celeb-DF-v2 上取得 92.94% 的 AUC。

研究背景与动机¶

基于生成对抗网络（GAN）与扩散模型（Diffusion Models）的人脸篡改技术取得了突破性进展，能够合成高逼真度的假脸图像，这给个人隐私、社交媒体和公共安全带来了严重威胁。为了防范人脸伪造技术的滥用，大量人脸伪造检测（Face Forgery Detection, FFD）方法相继被提出。传统检测器大多依赖纯视觉模态，专注于分析高频信号或拼接边界、不自然纹理等低级视觉伪影。然而，这些纯视觉检测器通常面临严重的泛化瓶颈：在遇到训练时未见过的伪造技术或生成模型时，检测性能往往出现灾难性退化。

为了克服泛化挑战，近期前沿方法开始引入大规模预训练视觉语言模型（VLM，如 CLIP）。受限于人脸伪造数据集的规模和多样性，现有工作普遍采用轻量级适配范式，例如提示词学习（Prompt Learning）或轻量适配器（Adapters），在冻结 VLM 主干参数的前提下进行微调。然而，这些方法要么只利用视觉单模态，要么在对比学习之前将视觉与文本模态进行完全独立的微调，忽略了中间层特征的跨模态交互。如果直接套用通用的对称、隐式多模态交互机制（如 CoCoOp、MaPLe、MMA 等），不仅无法解决问题，反而会导致检测性能严重下滑，甚至落后于纯视觉检测器。

这种失败的核心矛盾在于 VLM 内部固有的「视觉-语言不对称性（Visual-Linguistic Asymmetry）」：其一为跨模态不对称性，相同深度的视觉与文本空间对泛化能力的作用方向截然相反（浅层视觉空间损害泛化、浅层文本空间大幅促进泛化，深层则反之）；其二为模态内不对称性，不同深度语义空间对模型的判别力与泛化力呈现逆向制约，判别力的提升往往以牺牲泛化力为代价。本文的核心 idea 是：揭示并利用 VLM 的视觉-语言不对称性规律，提出不对称引导检测器 Asy-Det，通过分阶段元伪造适配与多粒度异步跨模态交互，以参数高效方式全面释放 VLM 的跨模态伪造辨别潜力。

方法详解¶

整体框架¶

Asy-Det 建立在预训练 CLIP 架构之上，在训练期间冻结视觉编码器与文本编码器的全部预训练参数，仅优化引入的轻量级模块。针对模态内不对称性，Asy-Det 将视觉与文本编码器均划分为前后两个等长阶段，分别配置元伪造适配器（MFA）：前半阶段聚焦从浅层空间捕获特定伪造线索以保证细粒度判别力，后半阶段从深层空间激发通用伪造表征以提升泛化力。在此基础上，不对称引导交互器（AGI）将 MFA 生成的多粒度表征映射到统一的多粒度共享空间，借助异步注册与双向交叉注意力完成显式互学习，最后通过残差连接注入回主干特征流中。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与文本类别 Prompt"] --> B["阶段一：浅层特征编码与 MFA 判别增强<br/>捕获细粒度伪造局部线索"]
    B --> C["多粒度异步注册与聚合<br/>构建浅层多粒度共享空间"]
    C --> D["阶段二：不对称引导交互器 AGI<br/>双向交叉注意力显式对齐"]
    D --> E["阶段三：深层编码与 MFA 泛化增强<br/>激活全局伪造通用语义"]
    E --> F["共享隐空间余弦相似度二分类判别"]

关键设计¶

1. 元伪造适配器（MFA）：分阶段解耦判别与泛化的模态内适配 针对不同深度空间对判别力与泛化力呈现逆向制约的模态内不对称性痛点，MFA 被布置在视觉与文本编码器的不同阶段，包含并行的伪造适配分支（Forgery Adaptation Branch）与元生成分支（Meta Generation Branch）。伪造适配分支通过分组全连接层与 ReLU 激活函数构建轻量适配器 $\mathcal{FA}$，采用可学习缩放参数 $\alpha$ 动态控制预训练先验与新激发的伪造特征之间的融合： $$[\hat{f}_g^q, \hat{f}_l^q] = [f_g^q, f_l^q] + \alpha \cdot \mathcal{FA}(V_q([f_g^q, f_l^q]))$$ 这样既保留了预训练跨模态知识不被灾难性破坏，又能在浅层阶段最大化细粒度真假差异，在深层阶段提取出跨操纵方式的通用伪造表征。

2. 多粒度异步注册：构建层级对齐的共享特征空间 标准 VLM 检测器仅在编码器末端构建唯一的共享隐空间，导致中间层丰富的伪造线索无法跨模态渗透。MFA 中的元生成分支引入卷积操作与异步注册机制 $\Pi$，分别从中间 Transformer 层抽取局部图像 patch token 与文本 prompt token，生成多粒度共享视觉特征 $f_{ssv}^q = \Pi(\text{ReLU}(\text{Conv}(f_l^q)))$ 与共享语言特征 $w_{sst}^\ell = \Pi(\text{ReLU}(\text{Conv}(w_\ell))$。通过聚合不同粒度（如第 $Q/6$ 与 $Q/3$ 层、第 $L/6$ 与 $L/3$ 层）的模态内特征，构建包含 4 种细粒度表征的多粒度共享空间 $C_{vt}^s$，为后续显式跨模态交互奠定结构基础。

3. 不对称引导交互器（AGI）：显式双向互学习跨越模态鸿沟 传统多模态交互常采用对称且隐式的结构，忽略了视觉与文本在伪造检测任务中演化规律的相反性，导致跨模态表征失准。AGI 在构建的多粒度共享空间中，首先对多粒度特征取均值获得聚合表征 $f_{ssv}$ 和 $w_{sst}$，接着计算文本到视觉以及视觉到文本的双向交叉注意力矩阵： $$\text{Attn}_{v2t} = w_{sst} \cdot (f_{ssv})^T, \quad \text{Attn}_{t2v} = f_{ssv} \cdot (w_{sst})^T$$ 利用 Softmax 归一化双向注意力完成特征互相引导对齐，生成对齐后的特征 $\hat{f}_{ssv}$ 与 $\hat{w}_{sst}$，最后通过线性投影矩阵与残差连接反投回原始模态空间。该显式互学习机制使得文本语义能直接约束视觉注意力的伪影定位，同时视觉细微伪迹也能自适应校准分类文本的判别方向。

损失函数 / 训练策略¶

在训练阶段，VLM 骨干网络（CLIP-ViT-B/16 或 Large）的视觉和文本编码器预训练权重完全冻结。模型仅对 MFA 的适配器、卷积投影层以及 AGI 的跨注意力与映射矩阵进行微调。分类阶段采用共享隐空间 $C_{vt}$ 中的余弦相似度预测样本类别概率： $$P_c = \frac{\exp(\text{cos}(f_g', b_c') / \tau)}{\sum_{k \in \{0, 1\}} \exp(\text{cos}(f_g', b_k') / \tau)}$$ 其中 $c \in \{0, 1\}$ 代表真实与伪造，$f_g'$ 为投影后的全局视觉特征，$b_c'$ 为对应类别的文本嵌入，$\tau$ 为可学习温度超参数。模型端到端通过标准二元交叉熵损失函数进行参数优化。

实验关键数据¶

主实验¶

论文在标准人脸伪造检测基准上进行了跨数据集泛化测试。所有检测器均仅在 FaceForensics++（FF++-c23）上训练，并在 DeepFakeDetection (DFD)、Celeb-DF-v2 (CDF-v2) 和 DFDC-Large (DFDC-L) 未见数据集上评估图像级 AUC（%）。

数据集	指标	本文 (Asy-Det)	之前 SOTA (UDD / AAAI 2025)	提升
DFD	AUC (%)	93.80	91.00	+2.80%
Celeb-DF-v2	AUC (%)	92.94	86.90	+6.00%
DFDC-Large	AUC (%)	83.50	75.80	+7.70% (相对+6.20%绝对超越)
平均 (Avg)	AUC (%)	90.10	84.60	+5.50%

在与主流通用多模态交互方法（如 CoCoOp、MaPLe、MMA、TCP、MMRL）的对比中，Asy-Det 同样优势显著：相比于最强通用多模态交互基线 MMA（CDF-v2 85.40%，平均 83.80%），Asy-Det 分别取得了 +7.50% 和 +6.30% 的绝对提升。

消融实验¶

基于 FF++-c23 训练，在 DFD、CDF-v2、DFDC-L 上的模块消融实验与可训练参数量（T-Param）如下：

配置	MFA	AGI	DFD (AUC/AP/EER)	CDF-v2 (AUC/AP/EER)	DFDC-L (AUC/AP/EER)	可训练参数量	说明
M1 (Baseline)	$\times$	$\times$	80.36 / 97.38 / 26.17	75.03 / 85.14 / 33.14	72.16 / 72.60 / 33.69	1.38 M	独立双模态提示微调基线
M2	$\checkmark$	$\times$	92.69 / 99.12 / 13.77	87.94 / 93.76 / 20.79	80.67 / 84.15 / 26.78	2.76 M	引入解耦判别与泛化的 MFA
M3	$\times$	$\checkmark$	91.24 / 98.94 / 15.98	87.92 / 93.45 / 20.79	80.45 / 83.38 / 26.57	1.64 M	仅引入显式不对称交互 AGI
M4 (Full Model)	$\checkmark$	$\checkmark$	93.85 / 99.25 / 12.95	92.94 / 96.43 / 15.16	83.60 / 86.50 / 24.79	4.41 M	完整模型协同提升

关键发现¶

单独引入 MFA（M2）使 CDF-v2 上的 AUC 猛增 12.91%，说明通过浅层激活性与深层泛化解耦能显著缓解模态内过拟合。
单独引入 AGI（M3）使 CDF-v2 AUC 提升 12.89%，证实跨模态双向对齐在纠正单一视觉特征偏置方面极其关键。
MFA 与 AGI 两者协同（M4）使 CDF-v2 AUC 相比基线累计跃升 17.91%（75.03% $\to$ 92.94%），EER 从 33.14% 减半至 15.16%，并且总微调参数量仅为 4.41M。
在跨伪造算法泛化（Table 2）中，当训练集为 FaceShifter、测试集为 DeepFakes 时，Asy-Det 达到 91.63% AUC，超越先前最佳的 SSG（89.99%），且在平均跨操纵性能上达到 94.02%。
在抗高斯噪声、运动模糊、压缩与亮度扰动的鲁棒性测试中，面对 4 级严重高斯噪声时传统检测器（如 NPR）AUC 跌至 65% 以下，而 Asy-Det 仍保持在约 97% 的极高水准。

亮点与洞察¶

从本质揭示 VLM 的不对称性演化：首次从实证与理论分析两方面系统论证了 VLM 在人脸防伪任务中的跨模态与模态内不对称性，指出了通用对称交互方法（MaPLe、MMA 等）因放大这一不对称性而失准的底层根因。
轻量高效与强鲁棒的协同设计：全网仅训练 4.41M 参数，不破坏原始预训练通用表示，同时通过显式多粒度双向对齐使模型对现实场景中的严重伪影破坏具备天然免疫力。
跨模态不对称适配可作为通用设计模式迁移：该框架不仅适用于人脸伪造检测，对于细粒度属性分类、跨域异常检测等存在“特定伪影区分度 vs 全局语义泛化度”矛盾的多模态适配任务具有直接借鉴意义。

局限与展望¶

类别文本提示较为静态：当前 AGI 主要基于“real”和“fake”的标准类别 prompt 嵌入与视觉交互，未来可结合大型语言模型（LLM）生成更细致的篡改属性描述（如边缘融合、光照不一致等），实现更具解释性的伪造定位。
视频时序维度的扩展：本研究主要聚焦于图像级的人脸伪造检测，对于 Deepfake 视频中的帧间时序抖动和运动不连续性，未来可探索将时序注册与不对称交互机制拓展至视频时空域。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示 VLM 在伪造检测中跨模态与模态内的不对称性机理并提出不对称交互范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 个主流人脸防伪基准，跨数据集、跨操作算法、鲁棒性扰动以及消融实验详实完整。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，实验深入透彻，数学分析与可视化扎实有力。
价值: ⭐⭐⭐⭐⭐ 为大模型在敏感取证与安全防伪任务中的高效轻量化适配提供了全新的解决思路。

配置	MFA	AGI	DFD (AUC/AP/EER)	CDF-v2 (AUC/AP/EER)	DFDC-L (AUC/AP/EER)	可训练参数量	说明
M1 (Baseline)	\(\times\)	\(\times\)	80.36 / 97.38 / 26.17	75.03 / 85.14 / 33.14	72.16 / 72.60 / 33.69	1.38 M	独立双模态提示微调基线
M2	\(\checkmark\)	\(\times\)	92.69 / 99.12 / 13.77	87.94 / 93.76 / 20.79	80.67 / 84.15 / 26.78	2.76 M	引入解耦判别与泛化的 MFA
M3	\(\times\)	\(\checkmark\)	91.24 / 98.94 / 15.98	87.92 / 93.45 / 20.79	80.45 / 83.38 / 26.57	1.64 M	仅引入显式不对称交互 AGI
M4 (Full Model)	\(\checkmark\)	\(\checkmark\)	93.85 / 99.25 / 12.95	92.94 / 96.43 / 15.16	83.60 / 86.50 / 24.79	4.41 M	完整模型协同提升