GLARE: Towards Generalizable Detection of Latent Diffusion Images with Global-Local Reconstruction Error¶

会议: ECCV 2026
论文: ECCV 2026
领域: 图像生成
关键词: AIGC检测, 隐扩散模型, 免训练检测, 重构误差, 上下文敏感度

一句话总结¶

通过对比单张图像在共享预训练自编码器下的全局整图重构与去全局上下文的局部补丁切片重构误差对数差（GLARE），并引入浅层边缘密度校准，以完全免训练的方式精准捕捉隐扩散模型独有的过度上下文依赖特征。

研究背景与动机¶

隐扩散模型（Latent Diffusion Models, LDMs）通过在低维自编码器隐空间中执行多步反向去噪，以极高的计算效率实现了高保真图像生成，已成为当前文生图与图像合成的主流范式。然而，LDM 的滥用带来了严峻的数字伪造与虚假信息安全隐患。现有基于有监督学习的检测器高度依赖于人工标注的正负样本对，在面对新型生成器架构、未见去噪步数或复杂域分布偏移时极易发生过拟合，性能显著滑坡，且每逢新模型问世均需耗费高昂成本重新收集数据训练。

为了摆脱对训练数据的依赖，免训练（training-free）检测路线应运而生。但现有的免训练方法存在根本性短板：一类是以 AEROBLADE 为代表的单路绝对重构误差或压缩率度量方法，其单一绝对分值与输入图像本身的纹理复杂度高度耦合，导致跨域判定阈值极度脆弱；另一类则是依赖输入扰动（如高斯噪声注入或数据增强一致性）探测预训练特征（如 DINOv2）不变性的扰动法，这类方法对扰动超参数极其敏感，且本质上依赖基础视觉模型对自然图像扰动鲁棒的经验假设，完全没有触及 LDM 迭代生成机制所固有的本质指纹。

本文抓住的切入点是 LDM 反向去噪过程本身的动力学特性。在 LDM 的生成阶段，隐空间去噪网络（U-Net 或 DiT）通过交叉注意力层、自注意力机制和全局特征池化，在几十步迭代中持续跨越全图空间维度传播条件语义。这种反复迭代线性组合与加噪更新，导致生成图像的局部 patch 之间产生极强的非局部语义耦合与上下文依赖；相比之下，真实自然图像基本遵循马尔可夫随机场（MRF）特性，空间依赖高度局域化。核心 idea：利用预训练自编码器在信息瓶颈下的语义压缩特性，通过“全图全局重构”与“切片补丁独立重构”的双路误差对数差量化上下文敏感度，在差分对消内容基线的同时，以完全免训练方式精确暴露出 LDM 生成图像特有的过度全局上下文依赖。

方法详解¶

整体框架¶

GLARE 接收待测图像 $x$，无需经过扩散模型耗时的逆向去噪采样，仅依靠一个固定的预训练 LDM 变分自编码器（VAE：包含编码器 $\mathcal{E}$ 与解码器 $\mathcal{D}$）完成前向评估。整套流程包含三步：全局完整重构、局部切片独立重构以及语义复杂度自适应校准。输入图像一方面整体送入 VAE 获得全局重构图并度量感知误差 $e_f(x)$；另一方面被切割为互相独立的非重叠 patch，逐 patch 放大至自编码器原生分辨率独立编码解码后再无缝拼接，得到完全切断长程上下文的局部重构感知误差 $e_p(x)$。两者的对数差分 $\Delta(x)$ 刻画了图像对上下文剥离的敏感程度，最后融合基于浅层特征 Sobel 梯度的语义复杂度因子 $\Phi(x)$ 输出连续决策分值 $S(x)$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 x"] --> B["全局整图重构<br/>VAE 完整编解码保留全局上下文"]
    A --> C["局部切片独立重构<br/>切割为 p×p 补丁独立编解码并拼合"]
    A --> D["语义复杂度校准<br/>浅层特征 Sobel 边缘密度估计"]
    B --> E["全图感知误差计算<br/>e_f(x) = LPIPS(x, x_f)"]
    C --> F["局部感知误差计算<br/>e_p(x) = LPIPS(x, x_s)"]
    E --> G["双路对数差分打分<br/>Δ(x) = ln e_f(x) - ln e_p(x)"]
    F --> G
    D --> H["复杂度偏置归一化<br/>ln Φ(x) = -ln(ρ_edge(x) + ε)"]
    G --> I["最终检测得分输出<br/>S(x) = Δ(x) + ln Φ(x)"]
    H --> I

关键设计¶

1. 全局整图重构与信息瓶颈理论界

自编码器在隐空间施加的 KL 散度正则项构成了一个严格的信息瓶颈，迫使编码器在有限码率下优先保留全局一致的低频语义骨架，滤除高频微观纹理。根据率失真理论（Rate-Distortion Theory），对于固定瓶颈容量的自编码器，区域 $x_i$ 的最小理论失真率 $D(x_i \mid x_{\text{ctx}})$ 是其在给定上下文 $x_{\text{ctx}}$ 条件熵 $H(x_i \mid x_{\text{ctx}})$ 的严格单调递增函数： $$D(x_i \mid x_{\text{ctx}}) = g\big(H(x_i \mid x_{\text{ctx}})\big), \quad g' > 0$$ 在全局整图重构通路中，输入图像完整输入编码器，上下文包含除当前 patch 外的全图信息（$x_{\text{ctx}} = x_{\neg i}$）。由于 LDM 生成图像中各 patch 互信息 $C_i = I(x_i; x_{\neg i})$ 极高，条件熵 $H(x_i \mid x_{\neg i}) = H(x_i) - C_i$ 被大幅压低，使得编码器能够充分调用全图冗余上下文来协助重建，达到整图失真下界 $e_f(x) = e(x, \mathcal{D}(\mathcal{E}(x)))$。

2. 局部切片独立重构：强行斩断长程依赖

为了获取率失真熵链的另一极端，GLARE 将图像 $x$ 划分为 $K$ 个大小为 $p \times p$ 的互不重叠 patch $\{\Omega_k\}_{k=1}^K$。每个 patch 独立截取后通过双线性插值缩放至自编码器的原生分辨率，单独通过 $\mathcal{E}$ 与 $\mathcal{D}$ 进行前向映射，再缩放回原尺寸并依网格贴回画布，合成拼接重构图像 $\hat{x}_s$： $$\hat{x}_p^{(k)} = \mathcal{D}\big(\mathcal{E}(x|_{\Omega_k})\big), \quad \hat{x}_s|_{\Omega_k} = \hat{x}_p^{(k)}, \quad k = 1, \ldots, K$$ 在此路径下，每一个 patch 在编码时完全被孤立，有效上下文为空（$x_{\text{ctx}} = \emptyset$），条件熵攀升至边缘熵上限 $H(x_i)$。此时局部感知重构误差 $e_p(x) = e(x, \hat{x}_s)$ 逼近失真上限。

3. 对数差分打分：以相对敏感度对消内容偏置

单路重构误差（如 AEROBLADE 单独使用 $e_f$）会受到图像内容复杂度的剧烈干扰——复杂纹理的真实图像重构误差往往天然大于平滑的生成图像，致使绝对阈值失效。GLARE 构造双路重构误差的对数差分： $$\Delta(x) = \log e_f(x) - \log e_p(x) \approx \log \frac{\sum_i g\big(H(x_i \mid x_{\neg i})\big)}{\sum_i g\big(H(x_i)\big)}$$ 在假定高斯二次率失真模型下，推导表明 $\Delta(x) \approx -2n\bar{C}$，即对数差与平均上下文依赖度 $\bar{C}$ 呈直接负相关线性映射。由于真实自然图像的局部信息高度由临近邻域决定，切除远距离上下文对重构失真影响极弱；而 LDM 图像极度依赖全图长程关联，切除上下文后失真剧烈恶化（分母 $e_p$ 暴增）。因此，生成图像的 $\Delta(x)$ 显著低于真实图像，且差分运算完美对消了两条路径所共享的图像内容基线。

4. 语义复杂度校准模块（SCCM）

尽管对数差分已消除大部分内容基线，但在极端纹理丰富或过于扁平的场景下，仍残留由边缘丰富度引起的非对称失真扰动。为了消除这一内容偏置，GLARE 引入免训练的轻量语义复杂度校准模块（Semantic Complexity Calibration Module, SCCM）。从误差度量网络相同的浅层特征空间提取特征图 $\mathbf{F}(x) \in \mathbb{R}^{H \times W \times C}$（取自 VGG 网络的第二层），计算其 Sobel 空间梯度范数作为边缘密度代理： $$\rho_{\text{edge}}(x) = \frac{1}{HWC} \sum_{c=1}^C \sum_{i=1}^H \sum_{j=1}^W \|\nabla \mathbf{F}_c(x)[i, j]\|$$ 校准因子定义为其反比例：$\Phi(x) = \frac{1}{\rho_{\text{edge}}(x) + \epsilon}$。最终综合评分表示为： $$S(x) = \Delta(x) + \log \Phi(x)$$ $S(x)$ 越高，表明图像符合自然图像低上下文依赖特征的概率越大，即判定为真实图像的置信度越高。

损失函数 / 训练策略¶

GLARE 属于完全免训练（training-free）方法，在整个部署与评估阶段不需要任何参数更新、反向传播或有监督微调。在实现细节上： - 自编码器底座：采用 Stable Diffusion 2.0-base 内置的 KL-f8 VAE，冻结全部权重，完全跳过扩散 U-Net 的多步去噪流程； - 感知误差函数：选用预训练 VGG-16 网络第二层卷积特征构建的 LPIPS 距离作为感知误差测度 $e(\cdot, \cdot)$，确保对高频感知结构敏感； - 分块尺寸超参数：默认 patch 大小设为 $p = 128 \times 128$。当输入图像长宽无法整除 $p$ 时，使用零填充（zero-padding）补齐并在重构完成后裁剪回原始尺寸，消除边界尺寸失配。

实验关键数据¶

主实验¶

在三个极具代表性的权威跨模型、跨域评测基准上，将 GLARE 与当前主流有监督方法（NPR、FatFormer、AIDE、FIRE、ForgeLens）和免训练方法（AEROBLADE、RIGID、ZED、Manifold Bias、WaRPAD、ConV）展开系统对比。

1. LDMFakeDetect 数据集评测对比（跨 9 种生成模型，含 SOTA 扩散模型与自回归 LDM）¶

方法	类型	SD (AUROC/AP)	Midjourney (AUROC/AP)	Flux (AUROC/AP)	Würstchen (AUROC/AP)	Mean AUROC (%)	Mean AP (%)
NPR	有监督	84.50 / 86.82	78.43 / 79.85	82.84 / 85.29	86.48 / 88.30	72.78	73.92
FatFormer	有监督	70.88 / 68.09	82.73 / 80.50	47.57 / 44.73	91.26 / 90.28	76.51	74.07
AIDE	有监督	92.86 / 93.62	81.14 / 84.62	94.61 / 94.56	97.77 / 97.60	93.27	93.20
FIRE	有监督	85.24 / 78.68	84.84 / 77.64	86.04 / 80.52	83.31 / 76.19	84.85	77.94
ForgeLens	有监督	99.94 / 99.95	91.19 / 91.26	81.74 / 81.72	100.00 / 100.00	89.45	89.55
AEROBLADE	免训练	98.14 / 96.98	99.67 / 99.18	77.26 / 77.87	90.80 / 88.55	91.54	89.52
RIGID	免训练	61.37 / 59.62	73.66 / 77.46	59.59 / 59.65	66.25 / 67.22	64.66	65.18
ZED	免训练	65.73 / 72.14	70.09 / 70.52	63.90 / 67.41	65.55 / 69.86	75.04	77.67
ConV	免训练	67.86 / 66.48	84.78 / 84.16	29.06 / 37.68	96.08 / 96.35	79.87	80.51
GLARE (Ours)	免训练	99.23 / 99.22	99.96 / 99.97	96.87 / 96.35	96.63 / 96.19	98.13	97.87

2. FakeInversion 数据集与野外真实场景 Chameleon 数据集评估对比¶

评估基准	指标	AIDE (有监督)	ForgeLens (有监督)	AEROBLADE (免训练)	ConV (免训练)	GLARE (Ours)	相对次优免训练提升
FakeInversion (13种生成器均值)	Mean AUROC (%)	85.05	85.58	69.98	79.06	92.07	+13.01%
	Mean AP (%)	84.78	85.64	62.08	80.54	88.11	+7.57%
Chameleon (真实野外复杂场景)	AUROC (%)	71.62	52.14	67.78	46.15	82.62	+14.84%
	AP (%)	66.02	52.19	52.10	51.51	76.97	+10.94%

消融实验¶

在 LDMFakeDetect 整体测试集上对 GLARE 的核心机制组件进行系统性剥离验证：

实验配置方案	全局误差 $e_f(x)$	局部误差 $e_p(x)$	复杂度校准 $\Phi(x)$	AP (%)	AUROC (%)	结论说明
仅全局整图通路 (Global only)	✓	✗	✗	89.52	91.54	相当于 AEROBLADE 单路绝对误差基线，受内容复杂度干扰大
仅局部切片通路 (Local only)	✗	✓	✗	70.38	70.11	单独的切片重构由于拼合伪影与内容干扰，无法提供独立判别力
纯双路差分 $\Delta(x)$	✓	✓	✗	96.66	96.82	相对差分对消内容基线，相比单路 AUROC 跃升 +5.28%
完整模型 $S(x)$ (Full GLARE)	✓	✓	✓	97.87	98.13	边缘密度校准有效抑制复杂纹理残余偏置，取得最佳性能

此外，核心超参数实验证明： - 补丁尺度 $p$ 敏感性：$p=32$ 时 AUROC 仅 90.48%（切片过细导致边界拼接伪影破坏了判别性）；$p=256$ 时 AUROC 下降至 92.02%（切片保留了过多全局上下文，削弱了敏感度差分）；$p=128$ 取得最佳性能 98.13%。 - VAE 架构鲁棒性：换用 SDv1-1、SDv1-4、Kandinsky 2.1 与 SDv2-base 四款不同自编码器，AUROC 稳定保持在 96.97% ~ 98.13% 的窄幅区间内，证明上下文依赖信号源自 LDM 去噪反向过程本身，而非特定 VAE 的实现缺陷。

关键发现¶

双路相对差分是破解内容偏置的核心钥匙：单路绝对误差 $e_f$ 在 LDMFakeDetect 上仅能达到 91.54% AUROC，而在引入局部对比后直接飙升至 96.82%。通过自身全局与局部的比值作为参照系，完美解决了以往基于绝对重构误差的方法在面对复杂高频真实图像时频频误报的顽疾。
对新架构和自回归隐式生成具有极强的跨模型泛化力：在 Flux.1 这种全新的整流流匹配（Rectified Flow）架构上，AEROBLADE 的 AUROC 骤降至 77.26%，基于扰动的 ConV 更是彻底失效（仅 29.06%），而 GLARE 仍高居 96.87%。甚至在非扩散类的隐空间自回归生成模型 aMUSEd 上，GLARE 也取得了 98.61% 的极高 AUROC，表明只要在压缩隐空间存在长程语义耦合，上下文敏感度特征即可生效。
野外未见后处理鲁棒性优异：在模拟真实社交媒体传播的高斯模糊、JPEG 压缩、中心裁剪与高斯噪声评测中，GLARE 在全强度范围内全面大幅压制 AEROBLADE、RIGID 和 Manifold Bias。

亮点与洞察¶

从信息论率失真视角揭示生成伪造指纹：不仅提出了一个工程技巧，而且通过率失真理论证明了自编码器失真下界与上下文条件熵之间的单调对应关系，严谨解释了为什么 LDM 迭代去噪带来的高互信息会在去上下文时引发重构误差断崖式恶化。
免训练范式的部署与效率破局：不同于需要运行多步反向去噪扩散的逆向反推法或多次前向采样的扰动法，GLARE 仅需调用极轻量且无参数可学习的自编码器完成两次前向推理，彻底告别了 U-Net/DiT 级别的沉重显存和延迟消耗，兼具工程简洁性与普适性。
可复用的差分与校准范式：将“全局上下文-局部隔离”作为探针提取模型对特定先验敏感度的差分思想，可进一步推广到大语言模型幻觉检测、视频生成前后时空相关性鉴伪等更广阔的研究方向。

局限与展望¶

作者承认的局限：将图像强制划分切片并在解码后拼接，不可避免地在 patch 边界引入边缘缝合误差，对微观结构判别造成微量噪声干扰；此外，当前方法专注于隐空间生成模型，若生成器属于像素空间扩散模型或经历了极度严苛的降采样重压缩，上下文依赖特征会被稀释。
真实实验与理论边界思考：若遇到极小分辨率的图像（如 $128 \times 128$），无法进行有效分块，方法将被迫退化；此外，SCCM 的边缘密度度量依然依赖 VGG 浅层算子，对于艺术风格极其独特的纯色块或极度平滑的插画类生成，校准权重的平滑能力可能受限。
改进方向：可进一步探索软边界（soft-windowing）或重叠滑窗补丁重构以彻底消除拼接边界伪影；亦可将局部-全局差分思想向视频时间轴（跨帧时序上下文切除）拓展，以构建统一的视频生成鉴伪体系。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次揭示 LDM 空间上下文过度依赖本质，并巧妙利用自编码器率失真熵链构建全局-局部差分探针]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 20+ 款前沿生成模型、3 大权威基准数据集，配备完备的消融分析与后处理扰动鲁棒性验证]
写作质量: ⭐⭐⭐⭐⭐ [从理论推导到实验论证环环相扣，逻辑缜密，图表清晰]
价值: ⭐⭐⭐⭐⭐ [免训练且轻量易部署，跨生成器泛化与鲁棒性极高，为通用 AIGC 取证提供了极佳的工业界和学术界落地方案]