SIGMA: Semantic-Difference Instruction-Grounding Mask Annotator for Text-Driven Image Manipulation Localization¶

会议: NeurIPS 2026
arXiv: 2605.27924
论文: https://arxiv.org/abs/2605.27924
代码: https://zhuangpeiyu.github.io/projects/SIGMA/
领域: 其他
关键词: 图像伪造定位、掩码自动标注、扩散编辑、语义差分、跨模态精炼

一句话总结¶

针对文本驱动图像编辑缺乏大规模像素级篡改定位（IML）标注的难题，本文提出结合 DINOv2 语义特征差分与结构化指令空间先验的双分支自动掩码标注器 SIGMA，借助两阶段噪声校准渐进自适应，从百万级公开无标注编辑库中全自动生成高保真伪造定位标注。

研究背景与动机¶

文本驱动图像编辑技术（如 InstructPix2Pix、FLUX Kontext、Qwen-Image-Edit）的迅猛发展使得普通用户能够轻松生成极具迷惑性的合成图像，对媒体真实性与社会信息安全构成了严峻威胁。为了防范此类恶意伪造，图像伪造定位（Image Manipulation Localization, IML）模型至关重要，但这依赖于大规模且像素级精准标注的成对训练数据。然而，当前开源社区面临极不对称的“数据瓶颈”：一方面，文本驱动编辑开源语料已达数百万级规模（如 ByteMorph 6.0M、AnyEdit 2.5M），其本身就包含与 IML 任务结构完全一致的（原始图、编辑图、指令）三元组；另一方面，现存拥有精确像素掩码的 IML 数据集规模仅有几十万（如 SIDA 300K、GRE 228.7K），即使面对单个编辑语料库也相形见绌。

现有编辑数据之所以无法直接转化为 IML 监督信号，核心矛盾在于缺乏低成本、高精度的自动化掩码生成工具。直接采用像素级差分在扩散模型时代彻底失效：图像经过 VAE 编码/解码重建以及多步迭代去噪后，全图所有像素均伴随高频随机扰动，低阈值会被全局合成噪声淹没，高阈值则会遗漏微妙的语义修改；而仅依赖视觉语言模型（VLM/MLLM）对编辑指令进行空间定位，则只能指出提示词所描述的预期目标，无法校验生成模型是否如实执行了指令，更无法捕捉扩散模型在主体周围产生的非预期边缘伪影或溢出修改。

本文的切入视角是认识到像素/特征差分与指令定位并非相互替代，而是天然互补：差分检测“画面何处发生了客观变化”，指令先验提供“用户期望改变何处”的空间向导。核心 idea：将自动化伪造掩码标注重构为语义差分与指令先验的双分支融合任务，利用冻结视觉基座提取深层特征差分以过滤底层生成噪声，并通过双向跨模态精炼与两阶段噪声校准自适应，将海量无标注图像编辑数据全自动转化为高质量的像素级 IML 监督信号。

方法详解¶

整体框架¶

SIGMA 接收原始图像 \(I^o\)、文本编辑图像 \(I^e\) 以及文本编辑指令 \(T\) 作为输入，输出精细的二值编辑掩码 \(M \in \{0, 1\}^{H \times W}\)。整个框架由四大核心模块构成：基于冻结视觉基座提取多尺度特征差异的语义差分分支（Semantic-Difference Branch）、将文本解析并定位为空间注意力的指令定位分支（Instruction-Grounding Branch）、协调两路特征的双向跨模态精炼模块（Bidirectional Cross-Modal Refinement, BCMR），以及融合深层共识特征与多尺度特征金字塔的掩码解码器（Mask Decoder）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：原始图像 Io + 编辑图像 Ie + 编辑指令 T"] --> Split["多模态信息分流"]
    Split --> SDB["语义差分分支<br/>DINOv2 多层提取 + 绝对差与余弦相似度 + DRBs 交互"]
    Split --> IGB["指令定位分支<br/>Qwen2.5 语义三元组解析 + LangSAM 注意力 + ACSF 动作融合"]
    SDB --> BCMR["双向跨模态精炼<br/>交替非对称 Cross-Attention 增强客观变化与校准先验"]
    IGB --> BCMR
    BCMR --> Dec["掩码解码器<br/>多尺度 FPN 特征上采样 + 残差融合输出预测掩码"]
    Dec --> Out["输出：像素级编辑掩码 M"]

关键设计¶

1. 语义差分分支：多尺度特征融合与跨层级注意力交互 单纯依靠 RGB 像素差分会被 VAE 重建与随机扩散去噪的全图扰动淹没。为此，该分支采用冻结的 DINOv2-Base 作为共享特征提取器，将两幅图像分别输入并提取浅层、中层与深层三个典型层级（Layer 2, 5, 11）的 patch token。浅层表征保留精细纹理与边界几何，深层表征则编码高层语义与物体级一致性。在每个层级 \(l\)，分别计算 \(L_2\) 归一化特征之间的绝对差值向量 \(\mathbf{d}_{\mathrm{abs}}^{l} = |\tilde{\mathbf{f}}_{o}^{l} - \tilde{\mathbf{f}}_{e}^{l}|\) 和通道方向相似度向量 \(\mathbf{d}_{\mathrm{cos}}^{l} = \tilde{\mathbf{f}}_{o}^{l} \odot \tilde{\mathbf{f}}_{e}^{l}\)，与原始特征拼接后降维投影为统一维度特征 \(\mathbf{d}^l \in \mathbb{R}^{256}\)。为了消除 patch 切分引入的量化假阳性并解决不同尺度证据冲突，特征被送入两组差分精炼块（DRB）。每个 DRB 包含层内自注意力和跨层级交叉注意力（当前层 query 查询其他所有层的 key/value），使细粒度纹理差异与宏观物体语义互相校验，最终聚合成稠密的视觉变化表征 \(\mathbf{E}_v^{(0)}\)。

2. 指令定位分支：结构化三元组解析与动作感知空间融合 针对自由文本指令难以直接提供精确空间先验的问题，该分支将非结构化指令分解为确定性的操作逻辑。首先通过参数量仅 0.5B 的 Qwen2.5 轻量模型对指令 \(T\) 进行上下文提示词解析（STP），抽取结构化元组 \((c^o, c^e, op)\)，其中 \(c^o\) 与 \(c^e\) 分别为原始概念与编辑概念，\(op\) 覆盖增加（add）、移除（remove）、替换（replace）、属性修改（attribute change）与全局变换（global）五大类别。接着，调用开放词表检测与分割模型 LangSAM，在 \(I^o\) 上定位 \(c^o\) 得到原始注意力图 \(A^o\)，并在 \(I^e\) 上定位 \(c^e\) 得到编辑后注意力图 \(A^e\)。在此基础上，动作感知空间融合（ACSF）依据操作类型执行定制化的空间组合运算：

\[M_{\mathrm{intent}}(p) = \begin{cases} A^e(p), & op = \text{add} \\ A^o(p), & op = \text{remove} \\ A^o(p) \cdot A^e(p), & op \in \{\text{replace}, \text{attribute change}\} \\ \epsilon_{\text{global}}\mathbf{1}, & op = \text{global} \end{cases}\]

对于替换与属性修改，乘法规则严格约束受影响区域必须在两幅图对应语义上同时激活，从而有效排除了未修改的同类背景物体；全局变换则赋平滑常量，避免提供错误的空间偏置。最后经过 \(1 \times 1\) 卷积映射为初始文本先验表征 \(\mathbf{E}_i^{(0)}\)。

3. 双向跨模态精炼：主客体非对称循环注意力重锚定 视觉差分表征作为驱动掩码生成的“引擎”，指示哪些区域发生了客观变化；而指令先验则是“导航仪”，指出理论上应当发生改变的位置。为了实现二者的动态互补，BCMR 采用非对称交替跨注意力机制进行 \(K=2\) 轮迭代更新。在每轮迭代 \(k\) 中，视觉特征先查询指令特征以放大符合用户意图的差分响应：\(\mathbf{E}_v^{(k)} = \mathbf{E}_v^{(k-1)} + \mathrm{CrossAttn}(\mathbf{E}_v^{(k-1)}, \mathbf{E}_i^{(k-1)})\)；随后，指令特征立即查询最新更新的视觉表征以实现空间先验的动态重锚定：\(\mathbf{E}_i^{(k)} = \mathbf{E}_i^{(k-1)} + \mathrm{CrossAttn}(\mathbf{E}_i^{(k-1)}, \mathbf{E}_v^{(k)})\)。当检测器定位出现溢出（例如 LangSAM 误将未修改的周围家具框入）时，视觉差分由于缺乏实际内容变化，能在迭代中迅速衰减并过滤掉虚假指令先验。迭代完成后，两路特征拼接降维为共识特征 \(\mathbf{Z}\)，表征同时具备视觉差异与意图支撑的真实伪造区域。

损失函数 / 训练策略¶

为了解决目标领域缺乏真实掩码导致的模型对扩散重建噪声过度敏感问题，SIGMA 采取两阶段渐进式训练策略：

阶段 I：修复掩码预训练（Stage I Pre-training）
在 BR-Gen 修复数据集上利用精确的 Inpainting 真实掩码 \(M^{\mathrm{inp}}\) 监督模型。损失函数结合像素级二值交叉熵与关注局部重叠的软 Dice 损失：\(\mathcal{L}_{\mathrm{seg}} = \mathrm{BCE}(\hat{M}, M^{\mathrm{inp}}) + \mathrm{Dice}(\hat{M}, M^{\mathrm{inp}})\)，赋予模型精准定位局部内容变化的基础能力。

阶段 II：噪声校准渐进式域自适应（Stage II Domain Adaptation）
将模型迁移到 AnyEdit、CrispEdit-2M 等无标注文本驱动编辑库。为了消除扩散模型固有的 VAE 往返重建噪声与生成伪影，引入三种自监督信号联合优化： 1. VAE 往返噪声校准损失 (\(\mathcal{L}_{\mathrm{calib}}\))：将原始图像 \(I^o\) 通过 SD 1.5/SDXL 的 VAE 编解码并注入潜空间高斯噪声得到无语义修改的参考图像 \(\hat{I}^o\)，以全零掩码 \(\mathbf{0}\) 监督 \(\mathcal{L}_{\mathrm{calib}} = \mathrm{BCE}(f(I^o, \hat{I}^o), \mathbf{0})\)，强制模型对 VAE 重建噪声保持零响应。 2. 指数移动平均伪标签自监督 (\(\mathcal{L}_{\mathrm{pl}}\))：采用衰减因子 \(\mu=0.999\) 的教师模型生成稳定置信的伪标签 \(\hat{M}\)，仅在预测概率 \(>0.8\) 或 \(<0.2\) 的高置信区间计算交叉熵损失。 3. 编辑-噪声特征解耦损失 (\(\mathcal{L}_{\mathrm{disent}}\))：在预测编辑区域 \(P\) 上，显式约束真实编辑对特征差分向量 \(\mathbf{d}_{\mathrm{edit}}\) 与纯噪声对特征差分向量 \(\mathbf{d}_{\mathrm{noise}}\) 的内积非负惩罚：\(\mathcal{L}_{\mathrm{disent}} = \frac{1}{|P|}\sum_{i \in \Omega_p} P_i \max(0, \langle \mathbf{d}_{\mathrm{edit}}^{(i)}, \mathbf{d}_{\mathrm{noise}}^{(i)} \rangle)\)，将真实语义编辑与随机生成噪声推向正交的特征子空间。

最终阶段 II 联合目标函数定义为：

\[\mathcal{L}_{\mathrm{Stage\,II}} = 10 \mathcal{L}_{\mathrm{seg}} + 0.1 \mathcal{L}_{\mathrm{calib}} + 0.5 \mathcal{L}_{\mathrm{pl}} + 0.5 \mathcal{L}_{\mathrm{disent}}\]

实验关键数据¶

主实验¶

在五个具备真实标注的通用图像伪造定位基准（CoCoGlide、AutoSplice、MagicBrush、DEAL-300K、OpenSDI）上，将 SIGMA 生成的掩码与传统差分启发式方法及前沿遥感变化检测模型进行量化对比。

方法	CoCoGlide F1 / IoU	AutoSplice F1 / IoU	MagicBrush F1 / IoU	DEAL-300K F1 / IoU	OpenSDI F1 / IoU	平均 F1 (%)	平均 IoU (%)
PixDiff-Fixed (\(\tau=10\))	92.26 / 86.22	92.18 / 86.03	74.89 / 62.93	28.04 / 19.11	68.11 / 56.18	71.10	62.09
PixDiff-Fixed-morph	59.92 / 46.12	77.67 / 65.22	64.06 / 50.03	46.33 / 34.44	51.91 / 37.45	59.98	46.65
PixDiff-Otsu	62.40 / 46.54	62.97 / 47.07	51.88 / 36.84	34.21 / 23.17	50.07 / 34.95	52.31	37.71
Qwen2.5VL-LangSAM	84.54 / 77.66	86.19 / 80.30	38.95 / 29.09	43.13 / 33.68	43.71 / 36.19	59.31	51.38
Meta-CD (TGRS 2025)	73.50 / 62.40	86.90 / 77.80	76.00 / 64.10	45.80 / 33.80	74.28 / 62.19	71.30	60.06
DDPM-CD (WACV 2025)	97.80 / 96.00	96.20 / 92.80	89.90 / 83.10	20.90 / 13.80	83.35 / 76.14	77.63	72.37
SIGMA (本文)	95.62 / 91.84	96.69 / 93.74	89.03 / 81.91	76.43 / 65.31	91.37 / 84.82	89.83	83.52

此外，利用 SIGMA 标注的 1.1M 伪造样本对四种代表性 IML 探测模型（CAT-Net、MVSS-Net、PSCC-Net、TruFor）进行微调，检验其下游泛化增益：

探测模型	权重来源	AutoSplice F1 / IoU	DEAL300K F1 / IoU	MagicBrush F1 / IoU	平均 F1 (%)	平均 IoU (%)
CAT-Net	公开权重	41.49 / 31.79	12.14 / 8.75	5.33 / 3.29	21.45	16.56
CAT-Net	微调 w/ DDPM-CD	44.27 / 30.48	13.83 / 8.40	59.19 / 42.99	34.14	23.31
CAT-Net	微调 w/ SIGMA	60.82 / 47.23	29.99 / 20.98	61.02 / 50.05	44.88	34.16
MVSS-Net	公开权重	18.04 / 12.22	5.43 / 3.61	1.79 / 1.01	11.90	8.61
MVSS-Net	微调 w/ SIGMA	54.14 / 41.43	20.05 / 13.29	81.95 / 73.72	42.69	33.67
TruFor	公开权重	32.69 / 25.52	9.26 / 6.77	2.51 / 1.48	15.94	12.66
TruFor	微调 w/ SIGMA	63.42 / 50.63	27.85 / 18.92	28.35 / 20.06	41.07	31.23

消融实验¶

在五大基准上逐步引入各模块架构与第二阶段训练策略的消融结果如下：

配置	CoCoGlide F1	AutoSplice F1	MagicBrush F1	DEAL-300K F1	OpenSDI F1	平均 F1 (%)	说明
Baseline	93.80	95.49	78.34	57.89	85.54	82.21	单尺度直接特征差分基线
+ MSDB	94.82	96.32	89.87	55.16	89.66	85.17	引入多尺度特征差分模块 (+2.96%)
+ MSDB + 2 DRBs	95.60	96.82	89.81	67.20	90.75	88.04	堆叠 2 层差分精炼块 (+2.87%)
+ MSDB + 4 DRBs	95.14	96.33	90.04	65.43	90.07	87.40	堆叠 4 层精炼块导致边缘模糊
+ MSDB + 8 DRBs	95.32	96.33	89.23	68.70	90.15	87.95	过多层数带来优化噪声且算力浪费
+ MSDB + 2 DRBs + IGB	94.91	96.27	87.89	75.02	90.97	89.01	引入指令定位分支 (DEAL-300K +7.82%)
完整模型 (+ Stage II)	95.62	96.69	89.03	76.43	91.37	89.83	联合噪声校准域自适应微调

关键发现¶

最关键架构与瓶颈数据集突破：指令定位分支（IGB）的引入对极具挑战性的 DEAL-300K 数据集带来了颠覆性飞跃（F1 从 67.20% 暴涨至 75.02%，净增 +7.82%），验证了单纯依靠无监督视觉差分在复杂细微扩散编辑下极易产生假阳性，而来自语言指令的空间先验能强力锁定有效修改区域。
精炼块层数的非单调性权衡：DRB 模块的深度并非越深越好，2 层 DRBs 达到最优平均表现（88.04% F1），当堆叠至 4 层或 8 层时性能反而微跌（分别降至 87.40% 与 87.95%）。原因在于过度残差堆叠逐渐平滑了差分特征图，模糊了细微编辑边缘，且受限的修复阶段监督无法为过深网络提供充足梯度。
阶段 II 域自适应的去噪价值：通过 VAE-roundtrip 噪声校准与特征解耦，阶段 II 使得模型平均 F1 进一步提升至 89.83%，全面抑制了因扩散模型隐式高斯扰动引发的背景虚警。

亮点与洞察¶

将无标注编辑库变废为宝的数据工程闭环：洞察到公开文本编辑数据集中已天然存在与 IML 任务同构的海量图像对，设计自监督自动掩码生成器，零人工标注成本激活了 1.1M 训练样本，使下游多种不同架构的法医检测器 F1 平均提升超 20%。
巧妙的双向非对称跨模态精炼（BCMR）：视觉差分负责提供真实物理变化底座（Engine），文本先验充当空间注意力向导（Navigator）；先用先验筛选差分，再用差分重锚定先验，优雅地解决了文本检测工具（如 LangSAM）常因语境溢出而过度激活周围未修改实体的业界通病。
低成本无监督域迁移范式：利用自身 VAE 编解码并加噪生成“天然无伪造负样本对”，搭配正交解耦损失，使模型无需任何真实目标域标注即可精准习得“区分真实语义修改与扩散固有扰动”的判别能力。

局限与展望¶

依赖通用 VLM 与定位模型的单轮假设：语义转换解析器（STP）目前仅输出单个操作三元组，在处理包含多阶段或多轮复合编辑的复杂指令时，容易遗漏后续操作；同时当 LangSAM 本身召回失败时，可能给视觉流引入不可逆的初始偏置。
全局风格变换定位较弱：对于天气、季节或全图色调等纯全局操作（global），由于指令无法提供具象的空间局部先验，只能退化为弱常数图，模型在此类大面积渐变场景下的边缘精度略有不足。
静态图像向动态视频的拓展诉求：当前研究完全聚焦于静态二维图像，而文本驱动的视频生成与局部编辑技术（如 Sora 类扩散视频编辑）正快速扩散，未来亟需拓展时序维度的三维特征差分与帧间一致性掩码标注。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出结合语义差分与结构化文本意图先验解决编辑掩码自动化标注难题，构思精巧。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大定位基准、4 种下游法医模型、3000 张人工精细审核金标及 3 种鲁棒性扰动评测，实验极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推进严密，图文对照呼应自然，方法论与技术细节交待透明清晰。
价值: ⭐⭐⭐⭐⭐ 为整个图像取证与多模态反伪造领域释放了百万量级高质量训练资源，具有突出的学术与落地应用价值。