SRRA: Stable-Rank-Based Residual Adaptation for Generalizable Deepfake Detection

会议: ECCV 2026
论文: ECCV 原文
PDF: Open Access
代码: https://github.com/LHK-CodeLab/SRRA
领域: AI 安全
关键词: 伪造人脸检测、跨域泛化、参数高效微调、稳定秩、奇异值分解

一句话总结

针对基于预训练 ViT 的伪造人脸检测在各网络层盲目采用固定微调秩导致泛化受限的问题，本文提出基于稳定秩的残差自适应微调策略（SRRA），利用稳定秩自适应为浅层分配低秩、为中深层分配高秩残差，并结合残差能量约束与残差子空间正交化，实现了优异的跨域伪造泛化性能。

研究背景与动机

随着生成对抗网络（GAN）与扩散模型（Diffusion Models）的高速演进，人脸伪造与替换技术生成的虚假人脸图像逼真度极高，在身份冒用、虚假信息传播与社会信任方面带来了严峻的安全威胁。早期的深度伪造检测模型大多依赖卷积神经网络（CNN，如 Xception、EfficientNet）以及手工设计的频域或边缘伪影特征。然而，卷积操作天然具备强烈的局部归纳偏置，模型倾向于走捷径、过拟合于特定生成器留下的低级纹理或局部伪造痕迹。当面对未见过的生成架构或跨数据集分布偏移时，检测性能往往出现灾难性下滑。

为突破跨域泛化瓶颈，近期的研究开始转向具备全局依赖建模能力的视觉 Transformer（ViT，例如大规模预训练的 CLIP）。然而，深度伪造检测领域的带标签训练数据规模较小，若直接采用全参数微调，极易破坏预训练权重中蕴含的通用语义先验并发生严重过拟合；而主流的参数高效微调（PEFT）方法（如标准 LoRA 以及在奇异值分解空间解耦的 Effort）普遍对 ViT 的所有自注意力层分配完全一致的固定微调秩 \(r\)。这种“一刀切”的秩分配策略完全忽略了 Transformer 模型内部不同层级的本征表征差异与能量分布特性。

对预训练 ViT 权重的奇异值谱分析表明：浅层网络呈现显著的低秩特征，其预训练参数已具备极强的低级视觉线索（如边缘、纹理）表征能力，只需极轻量的微调即可捕获浅层伪影；而中深层网络负责长距离依赖建模与高阶语义合成，其有效秩明显更高，需要更充裕的残差容量来表征复杂的高级伪造结构。核心 idea：利用基于奇异值分布的稳定秩（Stable Rank）自适应确定各层残差微调秩，浅层低秩保留通用先验、深层高秩建模复杂伪影，并辅以残差能量约束与残差子空间正交化正则，在抑制过度扰动的同时防止伪造特征坍缩。

方法详解

整体框架

SRRA 针对预训练视觉 Transformer（如 CLIP ViT-L/14）自注意力模块中的线性投影权重矩阵进行自适应分解与微调。其整体处理流程分为三个阶段：首先利用稳定秩分解（SRD）将预训练权重自适应拆分为冻结的主成分和可学习的残差成分；随后在微调过程中对残差成分施加残差能量约束（REC）以维持模型总能量并抑制高频噪声过度摄动；最后通过残差子空间正交化（RSO）约束残差奇异基向量的正交性，促使伪造特征空间充分解耦。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：预训练自注意力权重 W<br/>与输入人脸图像"] --> B["基于稳定秩的自适应残差分解 (SRD)<br/>SVD分解 + 依稳定秩自适应划分主成分/残差秩"]
    B --> C["残差微调与前向计算<br/>冻结主成分 Wr + 优化残差增量 ΔW"]
    C --> D["残差能量约束 (REC)<br/>全局能量守恒 + 残差奇异值核范数惩罚"]
    D --> E["残差子空间正交化 (RSO)<br/>残差奇异基正交约束防方向坍缩"]
    E --> F["输出：分类预测与损失回传<br/>跨域伪造检测结果与复合正则优化"]

关键设计

1. 基于稳定秩的自适应残差分解：按层级表征复杂度动态分配微调容量

传统微调策略对网络各层指定相同的秩，易造成浅层过度参数化破坏预训练低级特征、深层容量不足难以建模高阶语义伪影。为此，SRRA 引入基于奇异值分解（SVD）的稳定秩分解机制（SRD）。对于自注意力模块中任意预训练权重矩阵 \(W \in \mathbb{R}^{n \times n}\)，首先进行 SVD 分解：\(W = U \Sigma V^\top\)，其中奇异值降序排列 \(\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_d > 0\)。随后将矩阵分解为保留前 \(r\) 个主奇异三元组的主成分 \(W_r = U_r \Sigma_r V_r^\top\)，以及由剩余 \(r_{res}\) 个奇异三元组构成的残差增量 \(\Delta W = U_{res} \Sigma_{res} V_{res}^\top\)。为了自适应决定不同层的残差秩 \(r_{res}\)，SRRA 采用无须人为指定能量截断阈值的稳定秩（Stable Rank）：

\[\operatorname{Srank}(W) = \frac{\|W\|_F^2}{\|W\|_2^2} = \frac{\sum_{i=1}^d \sigma_i^2}{\sigma_1^2}\]

通过缩放因子 \(\tau > 0\)，各层残差分量的微调秩被显式定义为 \(r_{res} = \lceil \tau \cdot \operatorname{Srank}(W) \rceil\)，主成分的秩相应确定为 \(r = n - r_{res}\)。在微调训练阶段，主成分 \(W_r\) 保持全程冻结，仅对轻量级的残差分量 \(\Delta W\) 进行参数更新。这种设计确保了表征本征复杂度较低的浅层分配较小的残差微调自由度，避免重构底层先验；而深层网络自适应获得更大的残差空间，专注学习结构化的高阶伪造特征。

2. 残差能量约束：双重约束抑制高阶残差过度扰动

随着中深层残差微调秩的自适应增大，模型获得了更强的表达自由度，但在数据有限的人脸伪造检测场景下，过大的残差空间极易拟合训练集特异的伪影噪声，进而偏离预训练特征空间。为了在释放深层容量的同时保持稳定性，SRRA 设计了包含两项互补机制的残差能量约束（REC）：

\[\mathcal{L}_{rec1} = \left| \|\hat{W}\|_F^2 - \|W\|_F^2 \right|, \quad \mathcal{L}_{rec2} = \sum_{i=1}^{r_{res}} \hat{\sigma}_i\]

其中 \(\hat{W}\) 表示更新后的综合权重矩阵，\(\hat{\sigma}_i\) 是残差分量更新后的奇异值。第一项 \(\mathcal{L}_{rec1}\) 强制微调前后的全局 Frobenius 能量保持守恒，防止权重能量漂移削弱预训练表征能力；第二项 \(\mathcal{L}_{rec2}\) 本质上是对残差分量施加核范数正则化（Nuclear-norm Regularization），直接抑制微调过程中残差奇异值的非理性膨胀。两者协同作用，既保证了主干特征的数值稳定性，又遏制了残差分量对预训练流形的过度冲击。

3. 残差子空间正交化：促使残差基底解耦防止单一伪造过拟合

在中深层获得了扩展的奇异方向后，如果残差奇异向量自由更新，极易坍缩在少数主导的特定伪造方向上，失去对未知伪造模式的感知敏锐度。现有方法如 Effort 强制要求主成分与残差成分跨子空间正交，但这严重挤压了残差的调整自由度，导致残差偏向主成分空间而受限。与此不同，SRRA 提出了针对残差内部基向量的正交化正则（RSO）：

\[\mathcal{L}_{rso} = \|\hat{U}_{res}^\top \hat{U}_{res} - I\|_F + \|\hat{V}_{res}^\top \hat{V}_{res} - I\|_F\]

RSO 仅约束残差自身的左、右奇异基矩阵 \(\hat{U}_{res}\) 和 \(\hat{V}_{res}\) 保持列正交，鼓励模型将扩展出的多个残差维度分散对齐到互不相关的多样化伪造表征方向上。配合 REC 的能量收敛控制，RSO 既给予了残差子空间学习新颖伪造线索的充分自由度，又从几何解耦的视角阻断了对训练集伪造捷径的过拟合。

损失函数 / 训练策略

SRRA 采用端到端的分类损失与各层自适应正则项联合训练。模型总损失定义为：

\[\mathcal{L}_{total} = \mathcal{L}_{cls} + \frac{1}{m}\sum_{i=1}^m \mathcal{L}_{rec1}^{(i)} + \lambda_1 \frac{1}{m}\sum_{i=1}^m \mathcal{L}_{rec2}^{(i)} + \lambda_2 \frac{1}{m}\sum_{i=1}^m \mathcal{L}_{rso}^{(i)}\]

其中 \(\mathcal{L}_{cls}\) 为真实/伪造分类的标准交叉熵损失，\(m\) 为 ViT 中自注意力线性权重矩阵的总数，超参数固定设置为 \(\lambda_1 = 0.1\)、\(\lambda_2 = 0.1\)，稳定秩缩放因子设定为 \(\tau = 0.1\)。训练在单张 NVIDIA RTX 3090 GPU 上进行，采用 Adam 优化器，基础学习率为 \(2 \times 10^{-4}\)，权重衰减为 \(5 \times 10^{-4}\)，批大小为 16。

实验关键数据

主实验

模型仅在 FaceForensics++ (FF++ c23) 数据集上进行训练，直接在未参与训练的四个主流基准数据集（Celeb-DF / CDF、DFDC、DFDCP、DFD）上测试跨域泛化性能，主干网络采用 CLIP ViT-L/14。下表展示了帧级别与视频级别的 AUC 评测指标对比：

评估级别	方法	来源/发表	CDF	DFDC	DFDCP	DFD	平均 AUC
Frame-Level	Face X-ray	CVPR'20	0.679	0.633	0.694	0.766	0.693
Frame-Level	F3Net	ECCV'20	0.735	0.702	0.735	0.798	0.743
Frame-Level	SRM	CVPR'21	0.755	0.704	0.741	0.812	0.752
Frame-Level	RECCE	CVPR'22	0.732	0.713	0.742	0.812	0.750
Frame-Level	UCF	ICCV'23	0.753	0.719	0.759	0.807	0.760
Frame-Level	LoRA	ICCV'23	0.838	0.717	–	0.817	–
Frame-Level	LSDA	CVPR'24	0.830	0.736	0.815	0.880	0.815
Frame-Level	UDD	AAAI'25	0.869	0.758	0.856	0.910	0.848
Frame-Level	Effort	ICML'25	0.901	0.798	–	0.923	–
Frame-Level	SRRA (本文)	ECCV'26	0.911	0.856	0.890	0.947	0.901
Video-Level	F3Net	ECCV'20	0.789	0.718	0.749	0.844	0.775
Video-Level	SBI	CVPR'22	0.932	0.724	0.862	0.976	0.874
Video-Level	UCF	ICCV'23	0.837	0.742	0.770	0.867	0.804
Video-Level	UDD	AAAI'25	0.931	0.812	0.881	0.955	0.895
Video-Level	StA	CVPR'25	0.947	0.843	0.909	0.965	0.916
Video-Level	Effort	ICML'25	0.956	0.843	0.909	0.965	0.918
Video-Level	SRRA (本文)	ECCV'26	0.968	0.889	0.923	0.980	0.940

在最具挑战性的大规模未知数据集 DFDC 上，SRRA 的帧级 AUC 相比先前最佳的 Effort（0.798）大幅跃升 5.8% 达到 0.856；视频级 AUC 提升 4.6% 达到 0.889，证明了自适应秩分配与解耦正交在极端分布偏移下的稳健性。

消融实验

1. 核心组件消融（SRD、REC 与 RSO 的贡献）

配置编号	SRD (自适应稳定秩分解)	REC (残差能量约束)	RSO (残差基正交化)	CDF	DFDC	DFDCP	DFD	平均 AUC
1 (基准)	×	×	×	0.840	0.801	0.800	0.888	0.832
2	✓	×	×	0.894	0.840	0.849	0.937	0.880
3	✓	✓	×	0.901	0.843	0.888	0.943	0.894
4	✓	×	✓	0.889	0.832	0.866	0.936	0.881
5 (完整模型)	✓	✓	✓	0.911	0.856	0.890	0.947	0.901

2. 微调策略与残差秩敏感性对比

微调策略	残差微调秩 \(r_{res}\)	CDF	DFDCP	DFD	平均 AUC
LoRA	1	0.857	0.851	0.942	0.883
LoRA	4	0.854	0.865	0.939	0.886
LoRA	16	0.865	0.855	0.941	0.887
LoRA	64	0.840	0.844	0.934	0.872
Effort	1	0.881	0.865	0.933	0.893
Effort	4	0.892	0.865	0.931	0.896
Effort	16	0.891	0.859	0.941	0.897
Effort	64	0.879	0.856	0.940	0.891
SRRA (本文)	Adaptive (自适应)	0.911	0.890	0.947	0.916

关键发现

• SRD 提供了坚实的跨域泛化跃迁：仅引入基于稳定秩的自适应分解（SRD），平均 AUC 便从原始 CLIP 的 0.832 跃升至 0.880（提升 4.8%），证明按照网络层级内在表征复杂度差异化分配微调参数是消除过拟合的关键。
• REC 与 RSO 具备强协同效应：单独启用 RSO 时由于缺乏能量约束，残差自由度释放可能引入噪声扰动，导致性能仅微弱提升或甚至略有震荡；但在 REC 施加核范数约束后，RSO 的多向解耦能力得以完全发挥，完整模型达到最高的 0.901 平均 AUC。
• 固定微调秩难以兼顾全局：无论是 LoRA 还是 Effort，随着全局固定秩增大至 64，性能均由于深层过拟合或浅层被干扰而明显退化；SRRA 自适应层级分配全面优于任何单一固定秩设定。

亮点与洞察

• 将泛化界理论中的稳定秩优雅转化为参数高效微调的超参分配器：利用稳定秩作为各层表征复杂度的内生度量，彻底摆脱了传统微调中对各层固定秩或手动网格搜索的经验依赖。
• 解耦正交范围的设计取舍非常精妙：与过去在主成分和残差成分之间施加硬正交（限制了残差表达力）不同，SRRA 聚焦于残差空间内部的奇异基正交化，在确保残差有多方向捕捉复杂伪影能力的同时抑制方向坍缩。
• 广泛的架构与任务泛化潜力：基于层级稳定秩的自适应残差分配机制不依赖特定的伪造检测技巧，可无缝推广至大语言模型（LLM）多模态微调、持续学习以及其他抗过拟合小样本迁移学习任务中。

局限与展望

• 针对非方阵权重与多模态交互的扩展未做探索：当前 SRRA 主要针对视觉 Transformer 自注意力机制中的方阵线性层设计，对于前馈网络（FFN）中维度变化的非方阵层或文本-视觉交叉注意力层仍需推广适用的稳定秩映射形式。
• SVD 分解与训练过程中的核范数计算略微增加前向开销：在训练阶段需要对残差部分追踪奇异值并施加核范数正则，相较于纯粹的低秩矩阵乘法带来了少量的张量计算开销，未来可考虑通过多项式近似或更轻量的能量上界替代核范数。

相关工作与启发

• vs LoRA (ICLR'22)：LoRA 在全网络所有层强行设置单一低秩矩阵 \(A \times B\)，忽略了 ViT 浅层低级特征已饱和、深层需要更高容量抽象伪影的本质事实；SRRA 借助稳定秩动态分配秩大小，并在 SVD 结构下冻结主干成分，大幅减小了破坏预训练分布的风险。
• vs Effort (ICML'25)：Effort 虽同样基于 SVD 分离主/残差成分，但它采用全局统一的固定秩，并在主成分与残差成分间施加强正交约束；SRRA 实现了层级自适应秩分配，且转为对残差内部基施加正交解耦（RSO），赋予了模型更充裕且正交解耦的高阶伪造表征能力。

评分

• 新颖性: ⭐⭐⭐⭐☆（敏锐观察到 ViT 层级奇异值谱差异，首次将稳定秩引入伪造检测的自适应微调与正则化设计中）
• 实验充分度: ⭐⭐⭐⭐⭐（在四大主流 cross-dataset 场景下全面测试了帧级和视频级指标，消融与超参分析详尽完备）
• 写作质量: ⭐⭐⭐⭐⭐（动机逻辑严密，图表清晰，数学推导与实验论证对应工整）
• 价值: ⭐⭐⭐⭐☆（在深度伪造检测领域展现出优异的跨域泛化 SOTA 效果，对 PEFT 的动态秩设计具有显著启发性）

相关论文

• [CVPR 2026] DFD-HR: Generalizable Deepfake Detection via Hierarchical Routing Learning
• [ECCV 2026] COLA: Continual Orthogonal Low-Rank Adaptation for Class-Incremental Learning
• [ECCV 2026] Revisiting Deepfake Detection: BCNet for Robust Generalization Beyond Semantic Dependence
• [NeurIPS 2026] Rank-Constrained Adaptation for Reliable Real-World Performance
• [ECCV 2026] RoME: Robust Mixture of Low-Rank Experts against Multiple Adversarial Perturbations