Secure Seed-Based Multi-bit Watermarking for Diffusion Models from First Principles¶
会议: NeurIPS 2026
arXiv: 2605.06153
OpenReview: https://openreview.net/forum?id=L9bouam6wJ
论文: https://arxiv.org/abs/2605.06153
领域: 图像生成
关键词: 扩散模型, 数字水印, 种子嵌入, 嵌套格型, 水印安全性
一句话总结¶
本文指出现有扩散模型种子水印评估过度依赖具体生成与逆扩散架构的缺陷，提出将决策机制与模型逆扩散解耦的理论评估框架（涵盖容量、保真度与水印安全性），并设计了基于一维嵌套格型调制的 SSB 水印算法，首次实现了理论可达的完美安全水印机制。
研究背景与动机¶
随着扩散模型与流匹配等现代生成模型的广泛部署，针对 AI 生成图像的溯源与版权合规保护成为学术界与工业界关注的焦点。在生成阶段植入水印的技术逐渐分化为三类：基于反向扩散过程的引导微调、VAE 解码器微调以及修改初始潜变量分布的“种子水印”（seed-based watermarking）。种子水印方法由于不改动扩散模型骨干与 VAE 结构，仅在初始潜变量空间调制信号并通过逆扩散（inverse diffusion）提取，展现出应对各类像素值域扰动（如 JPEG 压缩）的强大鲁棒性潜力。然而，现有种子水印工作（如 Tree-Rings、Gaussian-Shading、PRC 等）几乎全部依赖经验式实验评估，其鲁棒性与生成质量高度绑定于特定的扩散模型、数值求解器、逆扩散步数与 VAE 架构。这种对具体扩散实现的深度耦合，导致学界无法对水印算法本身的内在性能形成严格、普适的理论排序与结论。
更严峻的问题体现在密码学安全与水印安全性（watermarking security）的概念混淆上。Gaussian-Shading 与基于伪随机码（PRC）的方法声称具备加密安全性，但由于它们未将载体空间予以秘密化隐藏，攻击者只需对含水印潜变量取符号（sign）即可直接剥离出加密码字。在多用户溯源（API 场景下每个用户绑定唯一水印消息、服务端采用固定密钥）的威胁模型下，敌手窃取特定用户的生成图像后，能够轻而易举地从潜变量重抽样生成伪造图像，并完美嫁祸给该受害者。这种冒名顶替攻击暴露出：缺乏载体隐蔽性的密码学方案在水印安全面前形同虚设。同时，在固定密钥与单用户消息下，已有方案会将采样空间强行截断（例如 Gaussian-Shading 丢弃一半采样域），从而破坏了生成多样性与分布保真度。
面对这一系统性缺陷，本文选择回归经典水印的第一性原理（First Principles），提出将逆扩散的投影函数与水印系统的决策判决机制彻底解耦，在无需昂贵端到端生成测试的前提下，建立一套以香农容量（Capacity）、相对高斯保真度（Fidelity）和抗协方差估计安全比（Security Ratio）为核心的理论评估体系。核心 idea：将逆扩散建模为高斯噪声投影信道并与格型判决解耦，利用一维嵌套格型（粗格判决+细格截断高斯采样）构建 SSB 水印，通过旋转矩阵密钥将潜变量协方差矩阵特征值调控至完全融入 Marchenko-Pastur 分布，实现无信息泄露的完美安全多比特水印。
方法详解¶
整体框架¶
本文提出的系统包含逆扩散投影与基于嵌套格型的嵌入/判决两大解耦模块。在嵌入阶段，算法接收 \(M\) 比特输入消息并由纠错码扩展为 \(M'\) 比特码字 \(\mathbf{c}\)。利用粗格间距 \(\Delta\) 与细格间距 \(\delta\) 的嵌套结构，在水印空间采样服从截断高斯混合分布的向量 \(\mathbf{z}_u\)，再经由列和归一化的秘密正交投影矩阵 \(\mathbf{U} \in \mathbb{R}^{L \times M'}\) 映射至 \(L\) 维扩散初始潜变量空间，与正交补空间高斯噪声合成完整种子 \(\mathbf{z}\) 并送入生成模型。在提取阶段，受扰动图像经反向流匹配或数值 ODE 求解器投影重构潜变量 \(\hat{\mathbf{z}}\)，投影到秘密子空间 \(\mathbf{U}^\top \hat{\mathbf{z}}\) 后直接通过粗格函数解码得到码字。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入消息 m 与纠错码字 c"] --> B["嵌套格型采样<br/>粗格边界确定与细格截断高斯抽样"]
B --> C["秘密正交调制<br/>潜变量子空间投影与正交补高斯合成"]
C --> D["扩散模型生成含水印图像 x"]
D -->|像素扰动 / 攻击 t| E["受扰图像 x'"]
E --> F["逆扩散投影解耦估计<br/>流匹配/ODE 逆过程还原潜变量 z_hat"]
F --> G["格型判决解码<br/>子空间变换与粗格量化还原码字 c_hat"]关键设计¶
1. 逆扩散与判决机制解耦：将图像退化抽象为等效高斯噪声信道
以往评估混淆了逆扩散估计器的数值精度与水印判决方案的本征鲁棒性。本文将逆扩散映射 \(f: \mathbb{R}^D \rightarrow \mathbb{R}^L\) 的鲁棒性量化为：在特定图像变换 \(t\) 下潜变量残差的等效加性高斯白噪声方差 \(\sigma^2\)，即 \(\mathbb{V}[(f \circ t)(X)] \leq \sigma^2\)。基于此，将决策机制 \(d\) 建模为翻转概率为 \(p_k(\sigma)\) 的独立二进制对称信道（BSC），其香农容量严格由二进制熵函数给出： $\(C_\sigma = 1 - h_2(p_k(\sigma))\)$ 这一解耦使得水印容量 \(C_\sigma\) 能够脱离具体的生成模型架构独立推导，只需通过信道特征曲线 \(p_k(\sigma)\) 便可精确评估在任意给定潜变量噪声方差下的理论信息承载上限与所需纠错码字膨胀规模 \(M' \ge \lceil M / C_\sigma \rceil\)。
2. 嵌套一维格型采样机制：平衡判决间隔与采样截断
为摆脱传统方案对符号函数粗暴二值化的限制，SSB 构造了粗格函数 \(\Lambda_\Delta(\mathbf{x}) = \frac{1}{2}\left((-1)^{\lfloor \mathbf{x} / \Delta \rfloor} + 1\right)\)，周期为 \(2\Delta\)。若直接在全格胞内均匀采样会导致边缘处极其脆弱，因此引入细格尺寸 \(\delta \le \Delta\) 位于粗格正中心 \([\alpha_k, \beta_k] = [2k\Delta + \frac{\Delta-\delta}{2}, 2k\Delta + \frac{\Delta+\delta}{2}]\)。采样时，先按照标准高斯在粗格胞内的积分概率 \(P_k = 2(\Phi(b_k) - \Phi(a_k))\) 抽取格胞索引 \(k\)，再在紧凑的细格区间内采样截断高斯变量： $\((z_u)_i \sim \text{sign}(c_i) \, \text{Trunc}\mathcal{N}_{[\alpha_k, \beta_k]}(0, 1)\)$ 细格参数 \(\delta\) 使得采样点深嵌于粗格决策域中心，留出 \(\frac{\Delta-\delta}{2}\) 的防护裕量，由此可精确计算噪声扰动下越过粗格边界的翻转概率 \(p_{(\Delta, \delta)}(\sigma)\)。
3. 秘密载体正交调制与渐近高斯保真度分析：抵御单样本与多样本信息泄露
针对未加密载体导致的仿冒攻击，SSB 引入秘密矩阵 \(\mathbf{U} \in \mathbb{R}^{L \times M'}\) 作为密钥，其列向量和归一化且互相正交。合成的完整潜在种子为 \(\mathbf{z} = (\mathbf{I}_L - \mathbf{U}\mathbf{U}^\top)\mathbf{z}' + \mathbf{U}\mathbf{z}_u\)，其中 \(\mathbf{z}' \sim \mathcal{N}(\mathbf{0}, \mathbf{I}_L)\)。敌手单凭单个样本无法推断 \(\mathbf{U}\)，杜绝了直接提取码字进行伪造的可能。针对分布畸变，利用李雅普诺夫中心极限定理（CLT），当潜变量维度 \(L \rightarrow \infty\) 时，加权和 \(\mathbf{U}\mathbf{z}_u\) 渐近收敛至多维高斯分布。其相对于标准高斯的相对保真度损失严格表示为： $\(\zeta(\Delta, \delta) \xrightarrow{L \to \infty} \frac{1}{2} \left[ (1 + \mu_{(\Delta,\delta)}^2)\sigma_{(\Delta,\delta)}^{-2} + \log \sigma_{(\Delta,\delta)}^2 - 1 \right]\)$ 其中 \(\mu_{(\Delta,\delta)}\) 和 \(\sigma_{(\Delta,\delta)}^2\) 分别为 \((z_u)_i\) 的绝对值一阶矩与方差，使系统能在理论层面量化并优化生成多样性损失。
4. 协方差谱匹配与完美安全（Perfect Security）体制：对抗 PCA 盲分离攻击
当敌手收集 \(N_o\) 个含同一用户水印的样本时，可计算经验协方差矩阵 \(\hat{\Sigma}_{\mathbf{z}} = \frac{1}{N_o}\sum \mathbf{z}_i \mathbf{z}_i^\top\) 并进行主成分分析（PCA）。含水印总体的协方差矩阵呈现两组特征值：正交补子空间（\(L-M'\) 维）的特征值为 \(\lambda_0 = 1\)，而水印子空间（\(M'\) 维）的特征值为 \(\lambda_1 = \mathbb{V}(\mathbf{z}_u) = \sigma_{(\Delta,\delta)}^2\)。根据随机矩阵理论，无偏高斯样本的经验特征值服从 Marchenko-Pastur（MP）分布。一旦 \(\lambda_1 \neq 1\)，在样本数达到安全比阈值 \(\eta = \left(\frac{1 - \sqrt{\alpha}\sigma_u}{1 - \sigma_u}\right)^2\)（其中 \(\alpha = M'/L, \sigma_u = \sqrt{\lambda_1}\)）时，特征值将脱离主连续谱形成离群峰，泄露子空间 \(\mathbf{U}\)。SSB 的核心洞见在于：当且仅当 \(\lambda_1 = \mathbb{V}(\mathbf{z}_u) = 1\) 时，水印特征值与无水印白噪声特征值完全重合，经验谱与 MP 分布严格一致。此时安全比 \(\eta \to +\infty\)，敌手即便获取无限多样本也无法从协方差谱中探测到载体方向。特别地，在极限细格 \(\delta \to 0\) 且粗格取 \(\Delta = 1.6\) 时，该方差恒等式精确成立，首次在非零容量下达成了理论上的“完美安全”。
实验关键数据¶
主实验¶
为了验证逆扩散等效高斯噪声模型（Def. 7）在现实模型中的普适性，作者评估了主流流匹配与扩散模型在常见图像处理算子下引入的潜变量等效噪声方差 \(\sigma^2\)（残差经验方差）：
| 模型 / 求解步数 | 图像分辨率 \(D\) | 潜变量维度 \(L\) | 纯逆扩散 (Identity) | 亮度变化 (Brightness 0.2) | 对比度增强 (Contrast 2.0) | JPEG QF80 | JPEG QF50 | 中心裁剪 (Center Crop 50%) |
|---|---|---|---|---|---|---|---|---|
| Sana / 25 步 | \(512^2\) | 8,192 | 0.21 | 0.29 | 0.46 | 0.31 | 0.42 | 1.94 |
| Z-Image Turbo / 9 步 | \(1024^2\) | 262,144 | 0.35 | 0.45 | 0.66 | 0.90 | 1.08 | 1.51 |
| Qwen-Image / 50 步 | \(512^2\) | 65,536 | 0.34 | 0.44 | 0.78 | 0.78 | 1.09 | 2.09 |
注：纯逆扩散的残差反映了求解器本身的数值离散误差（Sana 表现最优）；JPEG 压缩与对比度变化引入了中等强度潜变量噪声（\(\sigma^2 \in [0.3, 1.1]\)）；50% 几何裁剪使得潜变量噪声骤增至 1.5 以上，导致现有全域种子水印方案在该强破坏下均难以存活。
消融与基准理论对比分析¶
在 Sana 模型上生成 500 张图像，对比各方案在错误率保证下的编码速率、保真度与抗 PCA 攻击安全样本阈值：
| 水印机制配置 | 决策与编码机制 | 安全比 \(\eta\)（抗 PCA 阈值） | 理论/实测翻转率一致性 | 相对保真度损失 \(\zeta\) | 50% 裁剪存活能力 |
|---|---|---|---|---|---|
| Gaussian-Shading | 符号判决 + 重复码 (\(P_e \le 10^{-6}\)) | \(\eta = 1/L\)（极低，仅需 1 样本即泄露） | 95% 置信区间理论吻合 | 显著（采样域强行截断 50%） | 失败 |
| PRC | 符号判决 + BP+OSD 软判决 (\(P_e \le 10^{-2}\)) | \(\eta = 1/L\)（未隐藏载体，符号直出） | 吻合，软判决容量略优 | 中等 | 失败 |
| SSB \((+\infty, +\infty)\) | 渐近符号粗格 + 香农极限容量 | 有限（协方差特征值偏移 \(\lambda_1 = 1 - 2/\pi\)） | 严格贴合理论曲线 | 良好（经正交矩阵高斯化） | 失败 |
| SSB \((1.6, 0)\) (完美安全体制) | 一维嵌套格型 + 香农极限容量 | \(\eta = +\infty\)（完美安全，无法被谱估计） | 严格贴合理论曲线 | 极优（协方差完美匹配单位阵） | 失败 |
关键发现¶
- 理论模型精确刻画现实退化：通过将像素变换映射为潜变量方差 \(\sigma^2\) 并代入解析式（式 4），SSB 计算出的理论容量、误码率与端到端实测经验统计值在 95% 置信区间内高度重合，证实了理论评估框架的充分有效性。
- 密码安全与水印安全的巨大鸿沟：Gaussian-Shading 与 PRC 虽然声称具备密码学混淆特性，但其载体明露，仅需单张生成图（\(N_o=1\)）即可提取完整码字实施伪造重采样；而 SSB \((1.6, 0)\) 将潜变量协方差方差精准校准为 1，使得经验协方差完全隐藏于 Marchenko-Pastur 噪声包络内，获得渐进不可区分性。
- 局限性边界：由于种子水印依赖全域潜变量的逆扩散映射，对破坏局部对应关系的几何裁剪（如 Center Crop 50%，\(\sigma^2 > 1.5\)）目前所有现有种子方案均告失效。
亮点与洞察¶
- 解耦评估方法论的降维打击：首次将依赖端到端庞大生成算力的黑盒测试，提炼为求解器等效噪声 \(\sigma^2\) 与决策函数特征映射 \(p(\sigma)\) 两个独立物理量，让水印系统的横向比较得以摆脱特定模型与超参调优的偶然性。
- 随机矩阵理论与水印安全的精妙结合：利用 Marchenko-Pastur 谱分离理论证明了水印载体泄露的物理机制，并巧妙利用嵌套格型的截断高斯方差平衡条件（\(\mathbb{V}(\mathbf{z}_u) = 1\)），在保持非零通信容量的同时实现了严格的抗 PCA 盲估计完美安全性。
- 经典格型调制思想在生成式 AI 中的新生：将传统通信与鲁棒水印中的 Voronoï 调制及标量量化索引调制（QIM）思想引入潜在扩散空间，为现代 AIGC 溯源体系奠定了坚实的信息论基石。
局限与展望¶
- 作者承认的局限：目前信道特征分析基于硬判决的二进制对称信道（BSC），相比连续加性高斯白噪声信道（AWGN）存在一定的香农容量损失；此外，该分析体系目前仅适用于多比特水印，尚无法直接套用至零比特（假设检验型）水印。
- 几何变换敏感性未决：当前种子水印依然严重依赖潜变量与像素网格的刚性对齐，对旋转、大比例裁剪或缩放等几何变形极其脆弱，逆扩散过程会产生灾难性发散。
- 改进与拓展方向：后续工作可进一步将潜变量多通道的异方差特性（各 channel 具有不同的有效噪声方差）纳入理论模型；探索基于软判决信道容量的格型解码器设计以弥补硬判决 BSC 的容量缺口。
相关工作与启发¶
- vs Gaussian-Shading (CVPR 2024)：Gaussian-Shading 采用符号函数判决并使用低效的重复码，且未秘密化载体子空间，安全比仅为 \(1/L\)；SSB 泛化了其判决边界为周期格型，配合正交投影密钥阻断了符号泄露，且在 \(\Delta=1.6\) 时实现了完美安全。
- vs PRC (Gunn et al., 2024/2025)：PRC 引入伪随机纠错码与置信传播软判决，虽然提升了有限长信道译码效率，但本质上依然未对载体实施子空间加密；SSB 在理论层面上证明了载体隐蔽性对于防范冒名顶替伪造攻击的不可或缺性。
- vs Tree-Rings (NeurIPS 2023)：Tree-Rings 属于零比特频域种子扰动，存在较大的分布畸变且缺乏多比特容量与严格安全模型；SSB 提供了多比特下的严密容量-保真度-安全性折元曲面。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从经典水印第一性原理推导生成式扩散种子水印的理论边界，打破经验评估范式。
- 实验充分度: ⭐⭐⭐⭐ 理论推导完备扎实，覆盖多款主流前沿扩散模型，但几何鲁棒性评测稍显单一。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，数学形式化定义与通信信息论映射清晰优美。
- 价值: ⭐⭐⭐⭐⭐ 为 AIGC 水印安全性与理论评估树立了标杆，极具方法论启发意义。