On the Robustness of Watermarking for Autoregressive Image Generation¶

会议: NeurIPS 2026
arXiv: 2604.11720
OpenReview: https://openreview.net/forum?id=qefjBQ3xUo
代码: https://github.com/maifoundations/IndexMark
领域: 图像生成
关键词: 自回归图像生成, 图像水印鲁棒性, 水印擦除攻击, 水印伪造攻击, 放射性水印

一句话总结¶

本文系统评估了离散自回归与位级自回归图像生成的水印安全漏洞，提出了基于近邻量化再生、隐空间梯度优化以及频域注入的三种新型攻击，揭示了无需原模型参数或秘密密钥即可高效擦除或单图伪造水印，证实依赖阈值调整无法弥补伪造脆弱性。

研究背景与动机¶

自回归（Autoregressive, AR）图像生成模型近年来凭借离散 token 预测与多尺度残差建模展现出逼近甚至超越扩散模型的图像合成能力。随着其在视觉内容生成中的快速普及，版权溯源、合成内容检测以及防止下游模型在递归生成数据上训练导致“模型崩溃”（Model Collapse）成为亟待解决的安全问题。为此，学术界针对自回归模型提出了多项生成期水印方案（如 IndexMark、WMAR、ClusterMark 以及面向位级自回归的 BitMark），通过在采样时微调 logits 概率分布注入隐蔽水印信号，宣称具备极高的统计检测精度与常规扰动抗性。

然而，现有水印方案的安全性评估主要集中于抵抗常见的几何变换、高斯模糊或噪声等常规后处理干扰，尚未针对自回归生成模型特定的离散量化机制、隐空间拓扑结构及位流上下文关联进行系统的对抗性脆弱性探索。尤其是 BitMark 等被寄予厚望用于“放射性数据过滤”（Radioactive Data Filtering）的水印技术，其核心设想是通过检测极高显著性的绿位比例来排斥合成数据。如果攻击者能够利用极小的扰动破坏水印检测，或者通过极低代价将真实图像伪造成带水印的合成图像（水印拟态攻击，Watermark Mimicry），那么服务商不仅无法可靠识别自身生成的数据，还会错误地将人类创作者的真实数据排除在训练集之外。

面对这一迫切矛盾，本文切入的角度是：系统解构离散 token 与位级自回归水印在编码量化边界与频域残留上的脆弱性。核心 idea：利用量化近邻排序扰动破坏离散 token 索引恢复、基于代理编码器梯度优化驱动隐空间表征漂移跨越检测边界，并利用频域周期分量注入诱发位级自回归高频显著绿流，在无须原模型权重与密钥的前提下实现高效的水印擦除与单参考图伪造。

方法详解¶

整体框架¶

本文针对自回归图像生成模型的两类主流水印机制展开攻击研究：一类是基于离散视觉词表 KGW 思想的 token 级水印（IndexMark、WMAR、ClusterMark），另一类是针对多尺度位级残差自回归模型（Infinity）的 BitMark。整个攻击与评估体系由三种互补的攻击机制构成：针对离散量化边界的矢量量化再生攻击（VQ-Regen）、基于梯度优化的隐空间编码器优化攻击（LatentOpt，涵盖擦除与伪造双重目标）、以及专为位级自回归设计的频域注入伪造攻击（Frequency Injection Forgery）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["输入目标图像<br/>带水印图像 x_w 或真实载体图像 x_c"] --> B["攻击范式分流"]
    subgraph S1["离散量化破坏"]
        B -->|离散 token 水印| C["矢量量化再生 (VQ-Regen)<br/>编码至隐空间并按欧氏距离排序词表"]
        C --> D["k 近邻替换<br/>选取第 k 近邻 token 替代原最优索引重构"]
    end
    subgraph S2["隐空间梯度对抗"]
        B -->|梯度优化空间| E["隐空间编码器优化 (LatentOpt)<br/>代理 VQ-VAE 编码并计算对抗损失"]
        E -->|擦除任务| F["LatentOpt-Removal<br/>最大化与原隐码间欧氏距离推动脱离检测"]
        E -->|伪造任务| G["LatentOpt-Forgery<br/>单张参考图最小化与水印隐码欧氏距离"]
    end
    subgraph S3["结构化频域注入"]
        B -->|位级自回归伪造| H["频域注入伪造 (Frequency Injection)<br/>双对角线等间隔注入固定幅值与随机相位峰值"]
    end
    D --> I["输出对抗生成图像 x'"]
    F --> I
    G --> I
    H --> I
    I --> J["下游水印检测器验证<br/>统计检验计算 p-value 与 TPR@1%FPR"]

关键设计¶

1. 矢量量化再生攻击 (VQ-Regen)：基于有序近邻词表替换破坏离散水印索引

针对离散自回归水印强依赖解码后 token 索引与上下文哈希精确吻合的特性，本文设计了免梯度、受控结构偏离的 VQ-Regen 擦除攻击。对于带水印图像 $x$，首先利用编码器映射至连续隐空间 $z = \mathcal{E}(x) \in \mathbb{R}^{d \times h \times w}$。在每个空间位置 $(i, j)$，算法遍历码本 $\mathcal{C}$ 中所有视觉向量，按欧氏距离升序排列得到排序序列 $s_{i,j}$： $$s_{i,j} = \text{Argsort}\Big(\big(\|z_{:,i,j} - \mathcal{C}[v,:]\|_2\big)_{v \in \mathcal{V}}\Big)$$ 标准近邻量化对应 $k=1$，而 VQ-Regen 强制选用第 $k$ 近邻 token 索引 $t'_{i,j} = s_{i,j}[k]$（默认 $k=2$）。随后查表重建并经解码器映射回像素空间 $x' = \mathcal{D}(\mathcal{C}[t'])$。由于高维空间中第 2 近邻向量在语义和视觉外观上高度贴近最优向量，该设计在维持低感知失真（高 LPIPS 保真度）的前提下，系统性地摧毁了基于前序 token 伪随机哈希链条的绿色集命中率。

2. 隐空间编码器优化攻击 (LatentOpt)：利用代理梯度引导跨域隐码迁移

为了在极低像素扰动下实现高隐蔽性攻击，本文提出了 LatentOpt 框架，通过向输入图像施加经 $\ell_\infty$ 范数受限的像素级微小摄动 $\Delta x$（默认限制 $\|\Delta x\|_\infty < 8/255$），在连续隐表征空间中实现定向驱动。对于水印擦除（LatentOpt-Removal），目标是驱动摄动后的隐码远离初始隐码，迫使解码 token 发生变迁： $$\Delta x^* = \arg\max_{\Delta x} \|\mathcal{E}(x + \Delta x) - \mathcal{E}(x)\|_2^2 \quad \text{s.t.} \quad \|\Delta x\|_p < c$$ 对于水印伪造（LatentOpt-Forgery），仅需单张带水印参考图 $x_w$，即可通过将真实载体图像 $x_c$ 的隐码拉向 $x_w$ 来诱发虚假检测： $$\Delta x^* = \arg\min_{\Delta x} \|\mathcal{E}(x_c + \Delta x) - \mathcal{E}(x_w)\|_2^2 \quad \text{s.t.} \quad \|\Delta x\|_p < c$$ 该机制展示出极强的对抗可迁移性：即便在黑盒场景下采用架构无关的代理 VQ-VAE 编码器，所产生的梯度依然能够有效穿透目标验证体系。

3. 面向位级多尺度残差的定向擦除 (BitOpt-R) 与频域注入伪造 (Frequency Injection)

BitMark 面向 Infinity 架构构建了横跨多尺度的二值化残差比特流，常规像素攻击由于比特总数庞大而极难瓦解其统计显著性。对此，本文提出两项针对性突破： - 白盒 BitOpt-R 擦除：已知绿色二元组集合 $G = \{01, 10\}$ 时，算法在多尺度残差序列中定位特定三元组 $(0,1,0)$ 或 $(1,0,1)$，改变中间比特将直接削减 2 个绿色二元组计数。通过在未量化残差 $\tilde{e}_i[j]$ 上构建符号对齐的 $L_1$ 损失，以极小的梯度调整反转关键比特符号： $$\mathcal{L} = \sum_{(i,j) \in \mathcal{T}} \big|\tilde{e}_i[j] + \text{sign}(\tilde{e}_i[j]) \cdot \gamma\big|$$ - 频域伪造 (Frequency Injection)：通过对 5000 张 BitMark 水印图像平均化的隐写学分析，作者发现水印在傅里叶频谱上表现为明显的周期性网格峰值。攻击直接在未加水印载体图像的傅里叶对角线上按步长 $s=32$ 注入幅值为 $\alpha$、各通道随机相位的频谱峰值： $$X = \text{fftshift}(\mathcal{F}(x)), \quad X_{c}(c_y \pm kd, c_x + kd) = \alpha \cdot e^{i \theta_c}$$ 这一操作在极高 PSNR（可达 37.5 dB）下诱发多尺度 VAE 在最精细尺度（占据全图约 40% 比特量）生成海量绿色大元组，使检测器产生 $p \le 10^{-31}$ 的极端误检。

损失函数 / 训练策略¶

LatentOpt 采用 Adam 优化器，固定学习率通常设为 0.001（个别高扰动伪造设置调至 0.01），最大优化轮数为 300 步，每 10 步验证一次检测指标；白盒 BitOpt-R 设定优化步数 100 步，针对最精细尺度（9-12 尺度）施加扰动，学习率设为 0.0005，在首度触发 $p > 0.01$ 时提前终止以最大化保真度。

实验关键数据¶

主实验¶

实验覆盖三类离散 token 方案（IndexMark、WMAR、ClusterMark）与位级方案（BitMark），模型包含 LlamaGen (GPT-B/L)、RAR-XL、Taming、Anole 及 Infinity-2B。评估核心指标为固定误报率下的真正率（TPR@FPR=1%）、中位数 $p$ 值、峰值信噪比（PSNR，越高越好）与感知距离（LPIPS，越低越好）。

下表展示了离散 token 水印方案在各类攻击下的聚合评估表现（黑盒 ■ / 灰盒 ■ / 白盒 □）：

攻击方法	盒模型类型	IndexMark (TPR / PSNR)	WMAR (TPR / PSNR)	ClusterMark (TPR / PSNR)
无攻击水印基准 (WM)	-	1.00 / -	1.00 / -	1.00 / -
几何变换扰动 (Geom.)	物理变换	0.58 / 18.38 dB	0.55 / 18.80 dB	0.78 / 18.51 dB
扩散再生擦除 (Regen.)	■ 黑盒	0.52 / 22.91 dB	0.36 / 24.09 dB	0.85 / 22.95 dB
扩散强洗脱 (Rinse)	■ 黑盒	0.03 / 20.14 dB	0.02 / 21.11 dB	0.29 / 19.95 dB
本文 VQ-Regen 擦除	■ 黑盒	0.03 / 20.32 dB	0.12 / 21.59 dB	0.39 / 20.49 dB
本文 VQ-Regen 擦除	□ 白盒	0.00 / 21.81 dB	0.08 / 21.76 dB	0.82 / 17.54 dB
本文 LatentOpt-Removal	■ 黑盒	0.63 / 31.94 dB	0.42 / 32.13 dB	0.78 / 31.97 dB
本文 LatentOpt-Removal	□ 白盒	0.00 / 31.81 dB	0.00 / 32.28 dB	0.00 / 32.79 dB
本文 LatentOpt-Forgery	□ 白盒	1.00 / 32.85 dB	0.15 / 31.92 dB	0.79 / 33.00 dB

下表展示针对位级水印 BitMark（基于 Infinity-2B，1024×1024 分辨率）的擦除与伪造攻击表现：

实验场景 / 攻击配置	盒模型与条件	TPR@1%FPR	中位数 $p$ 值	PSNR (dB)	LPIPS
原始 BitMark 水印基准	-	1.00	$0.0$	-	-
扩散再生擦除 (Regen.)	■ 黑盒	1.00	$1.5 \times 10^{-233}$	28.04	0.06
扩散强洗脱擦除 (Rinse)	■ 黑盒	1.00	$1.1 \times 10^{-68}$	25.20	0.14
传统 BitFlipper 擦除	□++ 白盒已知 $G$	0.33	0.95	18.64	0.27
本文 BitOpt-R 擦除	□++ 白盒已知 $G$	0.00	0.30	46.17	0.01
放射性生成 (Infinity-2B 10% 混入)	真实场景微调	0.74	$2.4 \times 10^{-4}$	-	-
放射性生成 (SD2.1 50% 混入)	跨架构微调	0.81	$2.9 \times 10^{-5}$	-	-
本文 LatentOpt-Forgery	■ 黑盒 (LlamaGen 代理)	0.88	$3.7 \times 10^{-5}$	31.59	0.18
本文 LatentOpt-Forgery	□ 白盒 (单张参考图)	1.00	$3.4 \times 10^{-232}$	31.96	0.16
频域注入伪造 (Setting A)	■ 无须参考模型	0.73	$2.7 \times 10^{-7}$	37.53	0.06
频域注入伪造 (Setting B)	■ 无须参考模型	0.81	$3.0 \times 10^{-17}$	35.51	0.10
频域注入伪造 (Setting C)	■ 无须参考模型	0.93	$7.5 \times 10^{-31}$	29.75	0.19

关键发现¶

离散 token 易擦难伪：针对 IndexMark、WMAR、ClusterMark，LatentOpt-R 在白盒下实现 100% 擦除并保有 >31.8 dB PSNR；在黑盒设置下，VQ-Regen 仅靠近邻替换即能将 TPR 压降至 3%~39%。相反，由于 256 维高维隐空间中 Voronoi 晶胞极度碎片化，伪造攻击在黑盒下难以凑齐多维约束（TPR < 15%）。唯独 LlamaGen 因隐空间维度极低（仅 8 维），其正交约束少，易被白盒 LatentOpt 伪造（TPR 达 100%）。
位级自回归难擦易伪：BitMark 因全尺度累计比特数巨大，对常规扰动与扩散再生攻击免疫。但其空间隐写残留极其严重，频域注入攻击无需任何模型即可将非合成图伪造出极低 $p$ 值（$10^{-31}$），PSNR 高达 37.53 dB。
阈值调整无法缓解攻击：针对放射性数据过滤的设想，为了检测由 10% 污染数据微调的模型输出（$z = 3.48, p = 2.4 \times 10^{-4}$），验证阈值必须大幅放宽，这使得频域注入攻击的伪造分布完全覆盖并超越真实检测区间，服务商必然陷入“两难困境”。

亮点与洞察¶

提出水印拟态反制（Watermark Mimicry）概念：揭示了放射性水印旨在保护版权与防止模型崩溃的双刃剑性质。第三方可通过频域注入将真实艺术作品伪造为带水印数据，迫使爬虫过滤器误将其当作合成垃圾丢弃，从而防御未授权模型抓取。
解构了高维隐空间与低维隐空间的安全性差异：发现低维隐表征（如 LlamaGen 的 8 维）极度脆弱于隐空间伪造，而高维隐空间（256 维）则天然具备对黑盒对齐攻击的几何防御屏障。
巧妙的近邻量化再生机制：VQ-Regen 抛弃复杂的多步扩散微调，直接在 codebook 的欧氏近邻序列上进行 $k=2$ 替换，在极高感知质量下直接瓦解基于自回归前序 token 伪随机哈希链条。

局限与展望¶

白盒擦除假设较强：BitOpt-R 需要已知编码器、尺度分辨率与绿色二元组集合；在完全黑盒下，针对位级自回归的免失真擦除仍有改进空间。
频域注入防御的可探索性：频域伪造目前集中于最精细尺度（占据 40% 比特），若验证方引入多尺度能量均衡检测或跳过滤波，攻击可能需要向全频域更复杂的自适应纹理隐蔽化演进。
更广泛 AR 生成范式覆盖：后续研究有待进一步扩展到如 Fluid、Nextstep-1 等采用连续 token 的新型自回归图像模型。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次全面系统揭露自回归图像生成水印在擦除与伪造两端的攻击面，提出三类原创攻击与水印拟态新视角。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大水印体系、5 款主流自回归基座、白盒/灰盒/黑盒多重威胁模型以及真实的放射性微调验证。
写作质量: ⭐⭐⭐⭐⭐ 攻击机制推导完备，算法伪代码与实证数据严谨详实。
价值: ⭐⭐⭐⭐⭐ 为生成式 AI 版权治理、AIGC 合成内容辨识与大模型数据投毒/防护博弈提供了重要基石。

实验场景 / 攻击配置	盒模型与条件	TPR@1%FPR	中位数 \(p\) 值	PSNR (dB)	LPIPS
原始 BitMark 水印基准	-	1.00	\(0.0\)	-	-
扩散再生擦除 (Regen.)	■ 黑盒	1.00	\(1.5 \times 10^{-233}\)	28.04	0.06
扩散强洗脱擦除 (Rinse)	■ 黑盒	1.00	\(1.1 \times 10^{-68}\)	25.20	0.14
传统 BitFlipper 擦除	□++ 白盒已知 \(G\)	0.33	0.95	18.64	0.27
本文 BitOpt-R 擦除	□++ 白盒已知 \(G\)	0.00	0.30	46.17	0.01
放射性生成 (Infinity-2B 10% 混入)	真实场景微调	0.74	\(2.4 \times 10^{-4}\)	-	-
放射性生成 (SD2.1 50% 混入)	跨架构微调	0.81	\(2.9 \times 10^{-5}\)	-	-
本文 LatentOpt-Forgery	■ 黑盒 (LlamaGen 代理)	0.88	\(3.7 \times 10^{-5}\)	31.59	0.18
本文 LatentOpt-Forgery	□ 白盒 (单张参考图)	1.00	\(3.4 \times 10^{-232}\)	31.96	0.16
频域注入伪造 (Setting A)	■ 无须参考模型	0.73	\(2.7 \times 10^{-7}\)	37.53	0.06
频域注入伪造 (Setting B)	■ 无须参考模型	0.81	\(3.0 \times 10^{-17}\)	35.51	0.10
频域注入伪造 (Setting C)	■ 无须参考模型	0.93	\(7.5 \times 10^{-31}\)	29.75	0.19