Beyond Artifacts: Real-Centric Envelope Modeling for Reliable AI-Generated Image Detection¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/handsome-rich/REM
领域: AIGC 检测
关键词: 真实流形、包络建模、近真实重建、跨域一致性、链式退化

一句话总结¶

REM 不再主要追逐已知生成器的伪影，而是用受控重建样本学习真实图像的特征包络，并约束该包络跨退化保持稳定，在 RealChain 链式退化测试中达到 84.2% 平衡准确率，比 DDA 高 18.4 个百分点。

研究背景与动机¶

生成图像检测面临的变化不只是“假图越来越清晰”，还有训练时依赖的统计线索会随生成架构一起消失。 NPR 利用上采样痕迹，SAFE 利用频率不一致，AIDE 结合频率与语义线索；这些线索在固定生成器和干净图像上可能有效，却未必覆盖未来生成模型。更复杂的现实情况是，一张图片会经过社交平台压缩、跨设备传输、截图、裁剪和滤镜，低层伪影可能在传播过程中被抹去。于是，检测器不仅面对未见过的假图来源，还必须面对真实图像与生成图像同时发生质量变化的输入域。

扩大假图训练集是直接的补救办法，但生成器集合是开放的，枚举当前模型不能保证覆盖下一种生成机制。本文因此将参照物转向真实图像：相机成像规律和设备约束被作者视为相对稳定的来源，可以用来学习真实分布附近的边界。这一判断也受到数据对齐方法的启发：用真实图像做重建，可以减少真假样本间的语义差异，使检测器较难通过内容偏置取巧。不过，“真实分布稳定”是方法的工作假设，而不是所有设备、编辑流程和未来合成模型都满足的已证定理。

仅做普通 VAE 重建还不够，因为重建样本可能集中在有限的偏移方向，无法充分覆盖真实分布的邻域。 REM 增加潜空间扰动，提供更多近真实负样本，再用几何约束限制边界形状，用跨域一致性抵抗传播退化。它仍然通过真假二分类训练，并不是完全不使用负样本的单类检测器；变化在于负样本如何构造，以及学习过程以什么为中心。 核心 idea：用真实图像及其受控重建邻域定义检测边界，并让检测相关特征在质量变化前后保持相对于冻结语义锚点的一致偏移。

方法详解¶

整体框架¶

训练输入以 MSCOCO 真实图像为基础，输出是图像真实性分数，而不是生成器类别或伪造区域掩码。流形边界重建（Manifold Boundary Reconstruction，MBR）先生成内容接近原图、统计上略有偏移的近真实样本。包络估计器（Envelope Estimator，EE）用真假监督和切向正则学习边界，跨域一致性（Cross-Domain Consistency，CDC）则约束干净与退化视图中的特征关系。检测骨干采用 DINOv3；CDC 同时使用冻结的锚点网络与可微调的学习网络，避免后者为适应检测而丢失全部预训练结构。下面的连线表示训练依赖，EE 与 CDC 是联合优化的约束，并非推理时必须先后执行的两个独立检测器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Real["真实训练图像"] --> MBR["流形边界重建<br/>MBR"]
        MBR -->|近真实负样本| EE["包络估计器<br/>EE"]
        Real -->|真实正样本| EE
        EE -->|联合训练约束| CDC["跨域一致性<br/>CDC"]
        Views["干净与退化视图"] --> CDC
        Anchor["冻结 DINO 锚点"] --> CDC
        CDC -->|训练得到| Detector["学习网络与分类头"]
        Test["待检测图像"] -->|推理| Detector
        Detector --> Score["真实性分数"]

MBR 提供的是训练负样本，冻结锚点提供的是训练期的特征参照，二者不应被误解为对每张测试图像重新生成证据的流程。按正文描述，推理使用中心裁剪后的图像经过学习网络和分类头，得到真实性判断。论文没有在所给正文中详细列出部署阈值、校准流程或推理延迟，因此不能把输出分数直接解释成经过校准的事实概率。

关键设计¶

1. 流形边界重建：围绕真实样本构造多方向的困难负样本

MBR 先用 Stable Diffusion 的预训练 VAE 编码真实图像，获得潜变量，再对随机选中的潜变量维度加入受控高斯噪声。随机掩码控制哪些维度受到扰动，噪声幅度控制偏移强度，之后通过 VAE 解码器还原到图像空间。保留原文式（3）中能够明确辨认的关键变换如下，其中 \(M\) 是掩码，\(\delta\) 是高斯扰动，\(\odot\) 表示逐元素乘法。

\[ z' = z + M \odot \delta \]

与文本生成一批任意场景的假图相比，重建样本沿用真实图像的内容，训练双方的语义差异较小。与不加噪声的自重建相比，不同掩码和噪声让同一真实样本附近出现更多偏移方向，增加边界监督的多样性。这些样本之所以称为“近真实”，是因为作者希望它们在视觉上保持内容一致，又在统计上离开真实图像分布。这是一种构造策略，并不意味着每个潜空间扰动都被证明落在真实流形的几何边界上。

VAE 在这里是快速构造训练样本的工具，不需要针对每张图运行完整的扩散采样链。因此，本文试图把训练数据的扩展成本从“调用更多大型生成器”转为“收集更多真实图并重建其邻域”。不过，重建器本身仍可能带来特定解码器的偏置，不能仅因为输入来自真实图像就断言完全没有生成器伪影。

2. 包络估计器：用分类约束分离样本，用切向约束整理特征几何

EE 对真实图像与近真实图像提取特征，用二元交叉熵让真实样本获得较高真实性分数，让重建样本位于另一侧。 “包络”因此不是另行拟合的显式球体或密度函数，而是分类器在特征空间中学到的真实区域边界。单靠分类损失，模型可能围绕有限的重建负样本形成不规则分界面，仍然无法覆盖新的合成来源。作者进一步取真实特征的前 \(p\) 个主成分，构造投影矩阵，将其作为真实流形切向空间的近似。对于配对特征位移 \(\Delta h=h_f-h_r\)，投影之外的部分表示离开该切向空间的分量。

\[ P = U_p U_p^{\top}, \qquad r_{\perp} = (I-P)\Delta h \]

这里 \(r_{\perp}\) 只是笔记为说明正交分量引入的记号，不是额外提出的损失；原文用切向正则惩罚这一分量。直观地说，分类损失要求模型能够区分真假，切向正则则避免这种区别完全依靠不平滑的离流形位移。两者共同作用于表示学习，而不是先把所有负样本压到真实样本上，再另画一道固定边界。 “平滑包络”是作者对此训练效果的几何解释，不是正文给出误差界或收敛证明的严格结论。

这一设计有一个值得注意的张力：既要保留真假可分性，又要限制配对特征的正交差异。因此，正则权重和主成分维数会影响最终可分性，不能简单认为正则越强越好。所给正文没有明确交代 PCA 的邻域选择、统计更新细节或 \(p\) 的具体取值，复现时需要进一步核对实现。

3. 跨域一致性：稳定检测特征相对于语义锚点的残差

CDC 为同一图像构造干净视图和退化视图，退化模拟包括压缩与扰动，具体训练增强设置被正文指向附录。冻结 DINO 对两个视图提取锚点特征，再经线性映射与学习网络的特征空间对齐。另一套 DINO 使用 LoRA 适应检测任务，产生干净与退化视图对应的可训练特征。冻结分支保留预训练参照，学习分支获得检测能力，二者承担不同职责，并非让两个网络共同追逐不断移动的目标。

锚点一致性要求学习网络特征靠近映射后的冻结特征，减少检测微调造成的语义漂移。残差一致性则比较“学习特征减去锚点特征”在干净与退化图像中是否一致。因此，它不是简单地强迫两种质量的原始特征完全相同，而是要求检测适配带来的相对变化在两种域中稳定。如果冻结特征本身随着退化发生合理变化，残差约束仍允许学习网络保留这种共同变化。

这也解释了 CDC 与普通数据增强的区别：增强只是提供更多退化样本，CDC 额外约束这些样本与原图之间的表示关系。作者将该关系解释为保持包络的跨域形状，但所给实验主要验证检测性能和特征可视化，并没有直接测量一个显式包络的形变。图中冻结锚点和双视图都属于这一设计，不是独立贡献模块。

一个完整示例¶

以一张 MSCOCO 的街景照片为例，以下是对流程的说明，不是论文新增的定量案例。训练时先保留原始照片作为真实正样本，再用 VAE 编码、随机潜变量扰动和解码得到近真实负样本。场景和物体尽量保持一致，检测器必须区分成像统计，而不能轻易凭“街景是否出现”来决定真假。 EE 一边学习两类的分数差，一边限制配对特征位移中不符合真实切向结构的部分。再把相应训练图像构造成干净与退化视图，CDC 比较两个视图相对于冻结 DINO 的特征残差。推理时输入一张经过社交平台传播的未知图片，仅需走检测网络得到分数，不需要提供它的原始清晰版本作为配对输入。这个例子也说明了监督边界：训练可使用配对视图，不代表现实部署时已知图片经历了哪些平台或处理链。

损失函数 / 训练策略¶

总目标联合二元交叉熵、切向正则、锚点一致性和残差一致性，并由三个权重调节后三项。缓存中式（3）至（8）的部分分布符号、减号、范数或上下标损坏，尤其式（4）的负类项无法可靠照录；这里按正文解释机制，不补写作者精确损失公式。实现采用 DINOv3 ViT-H+/16 与 LoRA，以及 Stable Diffusion 的 FT-MSE VAE。较大图像按正文设置保持比例缩放、使短边为 512；训练随机裁剪 \(224\times224\)，推理中心裁剪同样大小。 Adam 学习率为 0.0001，批大小为 256，在 4 张 NVIDIA A100 上训练 1 个 epoch，作者报告耗时 30 分钟。图 7 的数据规模分析认为 100k 真实样本时总体效果最佳，但这不等于所有未披露训练参数都已明确。正文没有提供完整的噪声幅度、掩码比例、LoRA 秩或损失权重取值，当前缓存也未包含所引用的附录。因此，上述配置足以理解训练路线，但不能替代可直接复现的完整实验配置。

实验关键数据¶

主实验¶

指标为平衡准确率 B.Acc，即真实类准确率与生成类准确率的算术平均；表中数值单位为 %，差值用百分点表述。表 1（论文第 10 页）使用各方法官方权重，并按 DDA 协议对 AIGCDetect、ForenSynths 和 GenImage 的生成图像进行质量因子 96 的 JPEG 处理，以减轻格式偏置。下表摘录该表的汇总列；RealChain 的 ND 为无退化，CD 为链式退化，二者必须分开阅读。

方法	理想基准均值	野外基准均值	RealChain ND	RealChain CD	论文报告总体均值
AIDE	53.6	55.8	60.4	50.0	54.7
DRCT	82.2	58.0	69.1	55.4	69.8
Aligned	73.4	74.2	68.7	58.0	72.2
DDA	91.1	88.6	88.8	65.8	88.0
REM	97.6	94.5	92.4	84.2	94.9

REM 相对 DDA 在理想基准均值上提高 6.5 个百分点，在野外基准均值上提高 5.9 个百分点。总体 94.9 对 88.0 是论文报告的汇总结果，不能在缺少具体加权口径时声称已经从所有可见列重算验证。 RealChain CD 的 84.2 对 65.8 对应 18.4 个百分点优势；REM 从 ND 到 CD 仍下降 8.2 个百分点，并非退化完全无影响。表 1 也不支持“每个数据集都第一”：ForenSynths 中 REM 为 91.5，C2P-CLIP 为 92.0。

RealChain 的原始内容包含 7,000 张真实图与 7,000 张生成图：6,000 张来自六个模型的文生图，1,000 张来自 Seedream 4.0 的图生图。六个文生图来源为 QwenImage、SDv3.5、Flux.1、Hunyuan 3.0、NanoBanana 和 Seedream 4.0。第 4 节构建 50 种处理链，每种包含 1–3 次传播和 0–2 次后处理，分别施加到 140 张真实图与 140 张生成图。 “50 种链”不是每张图连续处理 50 次；这是理解其现实退化难度时很重要的区别。

消融实验¶

以下直接摘录表 7（论文第 14 页），同样使用 B.Acc（%）；最后一列沿用原表的 RealChain 汇总标签，不把它误写为 CD 单独结果。移除 MBR 对应退回普通 VAE 重建，移除 EE 的关键约束对应去掉切向损失，而不是删除所有分类监督。

配置	MBR	EE	CDC	理想基准	野外基准	RealChain 汇总
基础配置	否	否	否	85.5	80.9	76.4
无 CDC	是	是	否	93.6	85.8	79.4
无 MBR	否	是	是	91.5	86.3	83.6
无 EE	是	否	是	93.3	89.5	84.3
完整 REM	是	是	是	97.6	94.5	88.3

关键发现¶

表 7 中去掉 CDC 后，野外基准从 94.5 降到 85.8，RealChain 汇总从 88.3 降到 79.4，支持跨退化一致性的作用。
去掉 MBR 后理想基准从 97.6 降到 91.5，说明仅有固定重建样本不足以达到完整方案的跨生成器表现。
消融正文另称去掉 CDC 带来 16.4% 降幅，但表 7 的 RealChain 汇总差值为 8.9 个百分点；正文的 3.6% 和 2.3% 其他消融降幅也无法直接由该表复算，故不强行统一口径。
图 6 在 RealChain ND 上另外测试 JPEG、模糊、噪声和颜色失真；曲线支持 REM 的相对鲁棒性，但缓存图形不足以精确读取每个曲线点，因而不补造数值。

亮点与洞察¶

训练负样本不是越远离真实图像越好。内容一致、统计上轻微偏离的样本更能迫使模型学习精细边界，而不是使用场景差异作为捷径。
CDC 约束相对锚点的残差，而非把所有质量域强制压成同一特征。这个思路可启发其他需要保留预训练结构的跨域适配任务，但迁移效果仍需单独实验。
RealChain 同时纳入现代生成器与多轮传播。它把“未见生成机制”和“图像质量变化”放在同一评测中，避免只凭干净数据判断部署可靠性。
真实数据规模分析提示，负样本生成策略改变后，补充真实域覆盖可能比继续枚举生成器更值得优先投入；这是由实验趋势支持的工程启发，不是成本最优性证明。

局限与展望¶

作者提出扩展到视频取证，并通过更大规模真实数据和更多退化训练样本细化分布建模；本文没有给出这些方向的实验结果。
从读者角度，真实图像分布仍随相机、ISP、截图和强编辑改变，真实中心假设需要在更广泛设备与编辑域上单独验证。
近真实样本依赖 Stable Diffusion VAE，当前证据不能排除模型仍在一定程度上利用该重建器的共同痕迹。
平衡准确率不能回答低误报要求下的召回、分数校准或对抗适应性，不能仅凭 84.2% 就宣称适合无人审核的真实性裁决。
正文公式提取损坏、附录缺失以及部分消融降幅口径不一致限制了精确复现；笔记保留表格原数，不用推测参数填补这些缺口。

评分¶

新颖性: 4/5。真实中心训练组织与跨域残差约束形成明确方法组合，但真实流形包络的解释仍偏经验性。
实验充分度: 4/5。包含广泛跨生成器、传播退化与模块消融，仍缺少足够清晰的消融口径和低误报分析。
写作质量: 3/5。主线与模块职责清楚，但正文若干结果表述和表中数值不一致，缓存也无法支持精确公式复原。
价值: 4/5。对现实传播条件下的生成图像检测有直接参考价值，不能替代部署前的域外与误报验证。