LoRC: Detecting AI-Generated Images via Low-Rank Collapse in the Semantic-Residual Space¶

会议: ECCV 2026
论文: ECCV 原文
领域: AIGC 检测
关键词: AIGC检测, 低秩坍塌, 语义正交残差, 视觉基础模型, 零样本泛化

一句话总结¶

针对现代生成模型在宏观语义上过度对齐导致传统语义取证失效的问题，本文揭示了终端解码瓶颈诱导的语义残差子空间「低秩坍塌」几何特征，提出基于 DINOv3 正交分解、低秩注意力瓶颈与子空间分离损失的 LoRC 框架，在 39 个未见生成器上取得 97.0% 的零样本跨模型检测精度。

研究背景与动机¶

随着扩散模型与自回归生成模型的快速演进，AI 生成图像（AIGI）在宏观结构、主体构图及全局语义保真度上已高度逼近真实照片。早期检测方法过度依赖像素级微观伪影、频域高频分布或上采样痕迹，但在扩散模型日益平滑的高频表现以及不可避免的有损压缩（如 JPEG）下极易失效。近期基于视觉基础模型（如 CLIP、DINO）的检测方案虽然引入了强先验表征，但这些预训练模型本身主要优化的是图像内容的宏观语义判别，即表征“画面中有什么”。而在现代 coarse-to-fine 生成范式中，全局语义在生成早期即已高度收敛，导致真实图像与伪造图像在主导语义方向上的差异被大幅抹平。

这一非对称进化引发的核心矛盾在于：随着主导语义方向上的判别力趋近衰竭，决定性的伪造痕迹被系统性挤压进与宏观语义正交的「语义残差子空间」（Semantic-Residual Subspace）中，涵盖纹理自然度与局部物理一致性。然而，现有方法要么陷入像素级浅层对齐，要么直接使用全局语义嵌入导致微弱的残差取证信号被强烈的语义特征掩盖。是否存在一种跨越生成范式、不受浅层像素扰动干扰且具有稳定几何结构的本质伪造签名，成为了实现通用零样本取证的关键瓶颈。

本文的切入视角是深入到生成模型的底层架构流形中：无论是扩散架构、流匹配模型还是自回归序列生成，都普遍包含一个最终的图像解码与渲染阶段（如 VAE 解码器或去离散化反分词器），该终末映射不可避免地构成严重的信息瓶颈。对特征残差变化的奇异值与主成分分析证实，伪造生成在语义残差空间中存在显著的秩退化与结构压缩。核心 idea：将图像特征显式正交解耦为主导语义与正交残差两部分，利用低秩自注意力瓶颈捕捉终末解码器普遍引入的「低秩坍塌」几何缺陷，并通过子空间分离目标最大化真实高维流形与伪造退化子空间的距离，实现跨架构通用检测。

方法详解¶

整体框架¶

LoRC 的核心流程包括三个紧密耦合的处理阶段：语义分解、低秩注意力表征与子空间几何分离。输入图像首先通过微调的 DINOv3 ViT-H+/16 视觉骨干网络提取全局 [CLS] 特征与空间 Patch 特征；随后利用归一化的冻结 [CLS] 向量作为样本特定的语义锚点，将 Patch 特征投影到其正交补空间中以分离出语义残差特征；接着送入低秩注意力块，在压缩的低秩瓶颈空间内提取空间伪造相干性，抑制无关的高维噪声波动；最后将低秩残差池化向量与全局语义锚点拼接输入分类器，并在训练中施加子空间分离损失以扩大真伪特征协方差流形的距离。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 I"] --> B["DINOv3 骨干网络<br/>提取 [CLS] 语义与 Patch 特征"]
    B --> C["语义分解<br/>正交投影消解主导语义"]
    C --> D["低秩注意力块<br/>秩-r 瓶颈过滤高维特征扰动"]
    D --> E["特征拼接与分类<br/>残差池化与 [CLS] 联合判别"]
    E --> F["真伪判别结果"]
    C -.-> G["子空间分离损失 (SSL)<br/>最小化真伪残差协方差内积"]

关键设计¶

1. 语义分解：利用全局语义锚点构建正交残差子空间 针对全局语义分量主导特征空间并淹没微弱取证痕迹的问题，该设计通过几何正交投影将语义与残差剥离。给定输入图像 $I$，利用保持冻结参数的预训练视觉大模型提取全局特征标量 $c \in \mathbb{R}^D$ 及空间 Patch 特征矩阵 $X \in \mathbb{R}^{N \times D}$。将 $c$ 归一化为单位语义方向 $\hat{c} = c / \|c\|_2$，利用投影矩阵将其解耦为沿语义主轴的对齐分量 $X_{sem}$ 与正交补空间中的残差矩阵 $X_{res}$： $$X_{res} = X \left(I - \hat{c}\hat{c}^\top\right)$$ 该机制完全摒弃了依赖类别标签的启发式投影，通过样本自适应的实例级语义锚点，消除了由场景内容引起的共线性干扰，将真伪分类边界从语义空间切换至动态取证残差流形。

2. 低秩注意力块：在受限秩空间内放大结构性低秩坍塌特征 由于视觉基础模型的表征维度 $D$ 极高（ViT-H 达千维以上），微弱的低秩几何退化往往被背景特征波动与高维冗余噪声所稀释。为此，设计了一个秩约束的自注意力机制，强制注意力计算在低维瓶颈流形 $r \ll D$（默认 $r=32$）中完成。残差特征 $X_{res}$ 通过投影矩阵 $W_Q, W_K, W_V \in \mathbb{R}^{D \times r}$ 映射至 $\mathbb{R}^r$ 生成 Query、Key 和 Value，并在低秩隐空间内执行自注意力交互： $$A = \text{Softmax}\left(\frac{Q K^\top}{\sqrt{r}}\right) V$$ 聚合后的低秩特征 $A \in \mathbb{R}^{N \times r}$ 经过线性层 $W_O \in \mathbb{R}^{r \times D}$ 映射回原空间维度 $Y = A W_O$。该设计限制了注意力的自由度，迫使网络仅在主要能量集中的低维流形上捕捉全局空间相干性，从而精确放大解码器引入的定向秩亏损，同时天然过滤非本质的高频随机噪声。

3. 子空间分离损失：几何级拉大真实流形与退化子空间的协方差间距 单纯依赖二值交叉熵（BCE）只能在分类边界处提供标量级推力，无法显式约束特征残差空间的几何拓扑。为了强化“真实图像残差跨越满秩高维流形，而生成图像残差退化在低维平坦子空间”的结构分布，设计了基于协方差描述符的无监督子空间分离损失（SSL）。在每个批次内，将真实样本与伪造样本的 Patch 残差分别展平拼接为特征矩阵 $R_{real}$ 与 $R_{fake}$，分别计算其归一化协方差矩阵： $$P = \frac{R^\top R}{\|R^\top R\|_F}$$ 通过最小化两个几何描述符之间的 Frobenius 内积，强行对齐真伪残差矩阵的主轴正交性： $$\mathcal{L}_{SS} = \langle P_{real}, P_{fake} \rangle = \text{Tr}\left(P_{real}^\top P_{fake}\right)$$ 联合总损失设定为 $\mathcal{L} = \mathcal{L}_{BCE} + \lambda_{SS} \mathcal{L}_{SS}$（权重 $\lambda_{SS}=0.1$），使得模型在表征空间内部主动将合成图像约束进与自然图像流形正交的塌陷子空间中。

损失函数 / 训练策略¶

骨干网络采用 DINOv3 ViT-H+/16，为了兼顾大模型强大的通用流形先验并防止灾难性遗忘，基础权重完全冻结，仅在 Transformer 层中插入 LoRA 模块（秩设为 16，缩放因子 $\alpha=16$）。训练数据集严格采用 DDA 协议中的 MS-COCO 及其 Stable Diffusion 2.1 VAE 单独重建对，构建严格内容配对的训练集，强迫模型剥离内容记忆而仅学习由终末解码引入的残差几何变形。优化器选用 Adam，学习率设为 $10^{-4}$，批大小 64 并配合 4 步梯度累积。

实验关键数据¶

主实验¶

在涵盖标准基准、野外退化场景以及最新生成模型的 7 个权威评测集上进行了全面评估。测试严格遵循 DDA 评测基准，并对合成图像加入 JPEG 96 压缩以消除格式诱导的虚假统计偏置，主要指标采用平衡准确率（Balanced Accuracy, %）。

数据集类型	评测数据集	NPR (CVPR'24)	UnivFD (CVPR'23)	DRCT (ICML'24)	DDA (NeurIPS'25)	LoRC (本文)
标准基准	GenImage	51.5	64.1	84.7	91.7	97.9
标准基准	DRCT-2M	37.3	61.8	90.5	98.1	99.3
标准基准	Synthbuster	50.0	67.8	81.3	90.1	99.9
标准基准	AIGCDetectionBenchmark	53.1	72.5	81.4	87.8	96.3
真实野外	Chameleon	59.9	50.7	56.6	82.4	92.6
真实野外	WildRF	63.5	55.3	50.6	90.3	97.6
最新生成器	T2I-CoReBench (39个生成器)	60.0	10.8	48.6	91.1	97.0
综合均值	All 7 Benchmarks Avg.	53.6	54.7	71.0	90.2	97.2 (+7.0)

在包含 9 款常见扩散生成器的 Synthbuster 上，LoRC 取得了接近全满分的跨架构泛化能力：

评估方法	DALL·E 2	DALL·E 3	Firefly	GLIDE	Midjourney	SD 1.4	SDXL	平均准确率
NPR (CVPR'24)	51.1	49.3	46.5	48.5	52.8	51.8	52.8	50.0
UnivFD (CVPR'23)	83.5	47.4	89.9	53.3	52.5	69.9	68.0	67.8
DRCT (ICML'24)	77.2	86.6	84.1	82.6	73.7	86.6	71.3	81.3
DDA (NeurIPS'25)	86.3	90.0	91.9	76.5	93.5	92.7	93.5	90.1
LoRC (本文)	99.6	99.9	99.6	99.8	100.0	100.0	100.0	99.9 (+9.8)

消融实验¶

为验证各个设计组件的有效性，在标准基准、野外基准与 T2I-CoReBench 上进行了逐级累加消融测试：

实验配置	标准基准 (Standard)	真实野外 (In-the-wild)	T2I-CoReBench (Zero-Shot)	全局综合均值 (Avg.)
Baseline (DINOv3 ViT-H + LoRA)	97.9	89.4	94.0	93.8
+ 语义分解 (Semantic Decomposition)	97.2	86.9	98.1	94.1
+ 低秩注意力块 (Low-Rank Attention)	96.9	90.2	96.0	94.4
+ 子空间分离损失 (SSL, Full Model)	98.1	95.2	97.0	96.8

关键发现¶

各组件协同互补机制：语义分解在面对最新生成模型 T2I-CoReBench 时带来了高达 4.1% 的零样本跃升（从 94.0% 提升至 98.1%），直接印证了在生成模型语义高度逼真的趋势下，剥离主导宏观语义对于抑制语义过拟合具有决定性作用。低秩注意力块使野外场景准确率从 86.9% 反弹提升至 90.2%，有效抵御了无约束噪声。而最终加入子空间分离损失后，野外场景大幅提升至 95.2%，平均指标达到最高的 96.8%。
超参数敏感度平衡：低秩注意力特征秩 $r$ 在 32 时达到性能峰值（$r=8$ 压缩过度损失结构，$r=64$ 则引入高维波动冗余）；子空间分离损失加权系数 $\lambda_{SS}=0.1$ 达到最优平衡；LoRA 秩设为 16 兼具表征微调容量与参数高效性。
卓越的抗降质鲁棒性：在面对 JPEG 压缩（质量因子 100 降至 60）、双线性缩放比例（0.5 至 2.0 倍）以及高斯模糊（$\sigma$ 从 0 至 2.0）的剧烈像素退化扰动时，LoRC 的平衡准确率曲线几乎保持完全水平，明显优于在 JPEG 降质下大幅崩塌的传统频域与浅层特征检测方案。

亮点与洞察¶

从表层像素伪影跃迁至深层流形几何：摆脱了传统检测对特定卷积反褶积伪影或高频频谱尖峰的脆弱依赖，首次在理论与实证上将取证线索抽象为由生成模型终末解码瓶颈引起的「正交残差低秩坍塌」几何特征。
即插即用的正交投影算子：直接复用预训练 DINOv3 的全局 [CLS] 向量作为自适应内容锚点，以纯无监督的正交投影算子消除强语义特征干扰，无需训练显式的语义去除网络。
极高的数据与跨模型泛化效率：模型仅在 MS-COCO 配合 SD 2.1 VAE 单一重建对上微调轻量 LoRA 参数，即可零样本泛化至包含 FLUX.2、SD-3.5、Infinity-8B、Janus-Pro-7B 以及闭源商业模型（Seedream 4.5、Gemini 2.0 Flash、GPT-4o）在内的 39 款异构生成器。

局限与展望¶

作者承认的局限：方法假设伪造图像经过了类似于 VAE、反分词器或超分扩散头的终末解码映射；如果未来出现端到端直接在原始像素连续空间无下采样瓶颈生成的全保真新型生成机制，残差低秩退化的显著度可能会减弱。
潜在改进方向：当前语义锚点仅依赖 DINOv3 单一的 [CLS] Token，对复杂构图的多主体画面可能存在局部语义泄露；未来可探索结合密集多中心语义锚点或分层正交分解技术，进一步精细化残差流形划分。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从几何角度揭示终端解码器在正交语义残差空间诱导的低秩坍塌特征，立意深刻。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个基准、39 个全新未见异构生成模型以及全面的降质鲁棒性实验，证据极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 几何机理推导逻辑清晰，图文呼应紧密，实验论证环环相扣。
价值: ⭐⭐⭐⭐⭐ 为解决下一代高保真生成图像取证的零样本跨模型泛化难题提供了极具说服力的通用范式。