CLaW: Codec-Guided Adaptive Latent Watermarking for Traceable Diffusion Image Generation¶

会议: NeurIPS 2026
arXiv: 2610.39160
领域: 其他
关键词: 扩散模型水印, 用户级溯源, 潜空间水印, 自适应增强, 鲁棒溯源

一句话总结¶

CLaW 提出了一种基于编解码器引导的自适应潜空间水印机制，在完全冻结扩散生成模型的前提下，通过采样轨迹末期窗口注入水印残差，并引入解码器置信度反馈动态校准水印增益，在保持高图像保真度的同时实现了对常见变换及重生成攻击的 SOTA 用户级溯源鲁棒性与毫秒级免反演检测。

研究背景与动机¶

随着文本到图像扩散模型生成能力的快速跃迁，逼真合成图像被滥用、版权侵犯与未授权传播的风险日益剧增。通过数字水印为每位注册用户赋予唯一标识信息以实现用户级溯源，是解决生成式媒体来源确认与责任认定的核心技术路径。然而，现有扩散模型水印方案在实际工业部署中面临严重的三重困境：首先是训练与检测开销过高，内生式微调方法通常需重新微调扩散骨干或 VAE 解码器，而基于初始噪声调制的采样期水印往往严重依赖高开销的扩散反演进行提取；其次是水印有效性与图像保真度之间的不可调和矛盾，过早或过强的潜空间扰动会严重破坏去噪轨迹导致画质崩溃，而微弱扰动又易在长步数去噪更新中被平滑衰减；最后是对复杂后处理扰动的鲁棒性匮乏，后处理注入的水印外挂于生成过程，极易在裁剪、重缩放与重生成等常见变换中丢失。

这种困境的本质在于传统水印机制无法协调生成轨迹动力学与水印信号留存的关系：水印若作为静态固定的偏置被动叠加，无法感知当前样本对水印信号的吸收与退化程度，导致简单样本过扰动而困难样本欠扰动。针对这一矛盾，CLaW 探索了一种免训练微调、无反演推理的轻量级采样期闭环控制范式。核心 idea：预训练解耦的潜空间水印编解码器，仅在去噪后期窗口注入残差以保护主干语义，并利用冻结解码器的阶段性预测置信度构建动态反馈回路，自适应增强弱信号样本的水印强度。

方法详解¶

整体框架¶

CLaW 的完整处理管线包含离线水印编解码器预训练、生成期采样末端自适应注入、以及后处理免反演检测三个阶段。在整个图像生成过程中，预训练的扩散骨干网络、调度器与 VAE 编解码器均保持冻结状态。离线阶段首先训练一对轻量级秘密编码器与秘密解码器，分别实现二进制载荷向潜空间连续残差的映射与失真图像到位级概率的恢复；在线生成阶段，秘密编码器将用户唯一水印映射为尺度对齐的潜空间残差，在扩散采样的最后 10% 时间窗口内介入，并通过周期性解码中间潜变量的预测置信度动态调整注入增益；在检测阶段，可疑图像直接输入冻结的秘密解码器，单次前向推理即可提取二进制载荷并通过二项分布检验进行严格的用户归属判定。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户二进制载荷 𝒃 + 提示词 𝒄"] --> B["1. 编解码器预训练<br/>秘密编码器/解码器在 VAE 潜空间对齐"]
    B --> C["扩散采样早期与中期<br/>纯文本导向标准去噪 (𝒛(0)→𝒛(is))"]
    C --> D["2. 后期去噪窗口注入<br/>末期窗口 𝒲 内叠加缩放残差 δs"]
    D <--> E["3. 解码器引导自适应注入<br/>中间潜变量预览置信度动态调节增益 𝒈i"]
    D --> F["4. 终端锚点加固与免反演检测<br/>最终潜变量加固 γδs + VAE 解码 + 数据库归属"]

关键设计¶

1. 编解码器预训练：构建保真与抗扰动的水印潜空间表征

针对传统微调方案对扩散生成模型参数侵入性强、维护代价高的痛点，CLaW 采用解耦的隐空间编解码器架构 \((E_s, D_s)\)。给定干净图像 \(\bm{x}_0\) 与长度为 \(K\) 的二进制用户载荷 \(\bm{b} \in \{0,1\}^K\)，秘密编码器首先将载荷映射为连续潜空间残差 \(\delta_s = E_s(\bm{b})\)。通过预训练 VAE 编码器提取干净潜变量 \(\bm{z} = E_{\mathrm{vae}}(\bm{x}_0)\)，注入残差后经 VAE 解码生成带水印图像 \(\bm{x}_w = D_{\mathrm{vae}}(\bm{z} + \delta_s)\)。为使提取端具备抵抗下游噪声与压缩的能力，图像在送入秘密解码器 \(D_s\) 前经过包含随机裁剪缩放、高斯模糊、色彩抖动与 JPEG 压缩模拟的复合数据增强层 \(\mathcal{A}\)。整个编解码器在训练时联合优化二值交叉熵水印恢复损失 \(\mathcal{L}_{\mathrm{WM}}\)、感知损失 \(\mathcal{L}_{\mathrm{LPIPS}}\) 以及峰值局部方差正则损失 \(\mathcal{L}_{\mathrm{PRVL}}\)：

\[\mathcal{L} = \mathcal{L}_{\mathrm{WM}} + \lambda\,\mathcal{L}_{\mathrm{LPIPS}}(\bm{x}'_0, \bm{x}_w) + \mu\,\mathcal{L}_{\mathrm{PRVL}}(\bm{x}'_0, \bm{x}_w)\]

预训练完成后，\(E_s\) 与 \(D_s\) 均被固化，在整个扩散生成与追踪阶段不进行任何梯度回传与参数更新。

2. 后期去噪窗口注入：平衡语义保真度与水印留存率

若在扩散采样的初始高噪声阶段（如 \(t \approx T\)）注入水印残差，扰动将沿漫长且非线性的去噪轨迹不断被雅可比矩阵乘积累积传播，既严重篡改整体构图与语义语义，又极易在后续去噪迭代中被步步衰减；若仅在像素生成后外挂嵌入，又无法抵抗重采样与深层图像恢复。CLaW 据此提出将注入区间严格限制在后期去噪窗口 \(\mathcal{W} = \{i_s, \dots, i_e - 1\}\)（对应采样轨迹的最后 10%，即 \(\rho_s = 0.9, \rho_e = 1.0\)）。在窗口外部残差置零，在窗口内部则对编码器输出残差进行调度器尺度对齐 \(\bar{\delta}_s = s_{\mathrm{vae}} \delta_s\) 并按归一化时间权重调制：

\[\delta_i(\bm{b}) = \begin{cases} \alpha\,w_i\,\bar{\delta}_s, & i \in \mathcal{W} \\ 0, & \text{otherwise} \end{cases}\]

一阶局部动力学分析表明，当采样进入末尾阶段时，图像的主体语义结构与轮廓布局已基本固化，局部转移映射的语义与水印子空间交叉耦合极弱，从而保证水印残差以极小代价直接映射至最终潜变量中。

3. 解码器引导自适应注入：基于置信度反馈的动态增益调节

固定注入调度对所有提示词和生成轨迹施加均一强度，往往在简单样本上冗余注入损害画质，在复杂纹理或多变语义样本上因信号过弱导致攻击后漏检。CLaW 巧妙利用冻结的秘密解码器 \(D_s\) 充当采样期的“前瞻监控器”。在后期窗口内按照预期间隔步长 \(s_{\mathrm{pre}}\)，先将当前中间潜变量 \(\bm{z}^{(i)}\) 送入 VAE 解码器获得预览图 \(\bm{x}_{\mathrm{pre}}^{(i)}\)，并计算其对真实载荷的目标软置信度 \(P_m(i) = \frac{1}{K}\sum_{k=1}^K \mathrm{softmax}(D_s(\bm{x}_{\mathrm{pre}}^{(i)})_k)_{b_k}\)。当预览置信度低于预设目标阈值 \(\tau\) 时，利用置信度缺口驱动正向增益校准：

\[g_i = \mathrm{clip}_{[g_{\min}, g_{\max}]}\left(1 + \lambda [\tau - P_m(i)]_{+}\right)\]

通过将自适应增益因子 \(g_i\) 引入注入公式 \(\delta_i^{\mathrm{ada}}(\bm{b}) = \alpha w_i g_i \bar{\delta}_s\)，系统动态强化了欠恢复样本的水印注入量，而在置信度饱和时自动收缩扰动幅度，实现了样本级的精确信噪比平衡。

4. 终端锚点加固与免反演二项式归属判定：实现百万级低误报溯源

在经过 \(N\) 步采样完全结束后，为进一步抵御 VAE 解码过程中的微小量化失真，CLaW 可选引入极小幅度的终端锚点更新 \(\bm{z}^{(N)} \leftarrow \bm{z}^{(N)} + \gamma \bar{\delta}_s\)（\(\gamma = 0.1\)），随后执行最终解码 \(\bm{x}_w = D_{\mathrm{vae}}(\bm{z}^{(N)})\)。在下游审计端，检测完全脱离耗时的扩散反演，直接由秘密解码器 \(D_s\) 前向推理预测各比特对数几率以输出载荷估计 \(\hat{\bm{b}}\)。在注册用户库 \(\mathcal{U}\) 中搜索汉明匹配数最大的候选者 \(\hat{u} = \arg\max_{u \in \mathcal{U}} M(\bm{b}^{(u)}, \hat{\bm{b}})\)。为严格控制开集环境下的误归属率，系统基于随机比特假设下的独立二项分布 \(M \sim \mathrm{Binomial}(K, 0.5)\) 计算假阳性概率，仅当最大匹配比特数 \(M \ge \kappa\)（48 比特载荷中要求 \(\ge 44\)）时接受溯源认定，有效阻断未带水印图像对正常注册用户的冒充。

损失函数 / 训练策略¶

离线阶段的水印编解码器在 MS-COCO 训练集（分辨率 \(512 \times 512\)）上训练 40 个 epoch。采用 AdamW 优化器，基础学习率设为 \(1 \times 10^{-3}\)，权重衰减为 \(1 \times 10^{-4}\)，批大小为 5，并搭配步长为 2、衰减系数为 0.8 的 StepLR 调度。在预热阶段仅针对比特恢复损失 \(\mathcal{L}_{\mathrm{WM}}\) 进行梯度优化；进入稳定阶段后加入感知损失与局部方差损失，权重分别配置为 \(\lambda = 5.0, \mu = 1.5\)。在线扩散测试中统一采用 48 比特载荷，无需任何扩散端重训练。

实验关键数据¶

主实验¶

在 SD3.5-medium 与 FLUX.1-dev 两个前沿整流匹配/流匹配架构上，主实验对比了干净图像 \(F_1\)、常见后处理扰动下的平均对抗 \(F_1\) (Adv.)、图像质量指标（PSNR 与 FID）及单图推理与检测耗时。每种方法在每个骨干上测试 1,000 张图像。

骨干模型	方法	\(F_1 \uparrow\)	\(F_1 \text{ (Adv.)} \uparrow\)	PSNR (dB) \(\uparrow\)	FID \(\downarrow\)	生成耗时 (s) \(\downarrow\)	检测耗时 (s) \(\downarrow\)
SD3.5-medium	RivaGAN	0.9914	0.9288	40.53	35.13	2.56	0.5180
	Gaussian Shading	1.0000	0.8750	9.99	35.57	11.40	1.5590
	RingID	0.9935	0.6213	8.56	35.38	2.23	1.5890
	PRC	0.9712	0.5642	8.44	35.90	2.70	3.4440
	WIND	0.9901	0.8665	8.31	36.26	2.34	2.2410
	GaussMarker	1.0000	0.8744	8.50	36.47	11.27	2.1070
	SFW	0.9848	0.6636	12.06	37.12	1.87	1.5770
	CLaW (本文)	1.0000	0.9922	41.25	35.70	1.93	0.0115
FLUX.1-dev	RivaGAN	1.0000	0.9577	40.39	38.30	5.12	0.5300
	Gaussian Shading	1.0000	0.8656	10.85	38.40	14.49	4.7030
	RingID	0.9950	0.4473	11.09	38.74	4.57	4.6580
	PRC	0.9975	0.5090	11.06	38.57	4.70	6.8360
	WIND	0.9877	0.8658	10.78	39.31	4.61	4.8460
	GaussMarker	1.0000	0.8737	11.22	38.78	13.93	4.7020
	SFW	0.9950	0.5351	13.80	41.96	4.59	4.6960
	CLaW (本文)	1.0000	0.9968	41.06	38.37	4.73	0.0104

消融实验¶

在 SD3.5-medium 与 FLUX.1-dev 两个骨干上对核心组件（后期去噪窗口、自适应反馈、终端锚点）的模块消融评测如下：

配置	SD3.5 BitAcc (Adv.) \(\uparrow\)	SD3.5 AUC (Adv.) \(\uparrow\)	SD3.5 PSNR \(\uparrow\)	FLUX.1 BitAcc (Adv.) \(\uparrow\)	FLUX.1 AUC (Adv.) \(\uparrow\)	FLUX.1 PSNR \(\uparrow\)	说明
完整模型 (Full)	0.9595	1.0000	40.04	0.9695	1.0000	41.06	所有组件协同工作
w/o 后期去噪窗口	0.5413	0.5557	57.54	0.5727	0.6309	57.89	全程或早期注入导致水印信号在去噪中被严重洗除，BitAcc 跌至接近随机猜测
w/o 自适应反馈	0.9283	0.9979	42.18	0.9384	0.9996	43.16	缺少预览反馈增益校准，对抗扰动下的比特准确率下降约 3.1%
w/o 终端锚点	0.9521	0.9997	40.62	0.9604	1.0000	41.64	缺少最终潜变量加固，攻击下的比特准确率轻微下跌约 0.7%–0.9%

用户级溯源规模实验¶

在不同注册用户规模（\(10^4, 10^5, 10^6\)）下，对比了各方法的溯源识别准确率（Trace Acc.）：

骨干网络	方法	\(10^4\) 库 (Adv.)	\(10^5\) 库 (Adv.)	\(10^6\) 库 (Adv.)	干净图 Trace Acc. (\(10^6\))
SD3.5-medium	DWT-DCT-SVD	0.5090	0.4768	0.4464	0.9940
	RivaGAN	0.9231	0.9001	0.8570	0.9870
	CLaW (本文)	0.9861	0.9786	0.9649	0.9980
FLUX.1-dev	DWT-DCT-SVD	0.5610	0.5251	0.4866	1.0000
	RivaGAN	0.9454	0.9276	0.8935	0.9970
	CLaW (本文)	0.9936	0.9896	0.9803	1.0000

关键发现¶

去噪后期注入是信号留存的决定性因素：消融表明，去掉后期窗口（退化为早期或全程常规注入）后，受攻击下的比特准确率骤降至 0.54 左右（接近 0.5 的随机硬币猜测概率），直接证明长去噪更新对潜空间水印存在极强的抹除效应；而选择后 10% 窗口注入则将攻击下的比特准确率稳定在 95% 以上。
免反演机制带来百倍级的检测速度优势：传统基于反演的扩散水印（如 GaussMarker、Gaussian Shading、PRC 等）单图检测需要 1.5–6.8 秒，而 CLaW 只需秘密解码器单次前向推断，单图耗时仅约 0.01 秒（10–11 毫秒），为工业级大规模快速溯源提供了可行路径。
几何与复杂复合扰动下的卓越抗性：在裁剪加缩放测试中，主流初始噪声水印基线因破坏了空间网格对齐，对抗 \(F_1\) 几乎跌至 0，而 CLaW 在几何攻击下依然维持 0.997 的 \(F_1\)；在包含退化、编辑、几何变换及超分与去噪的复合扰动基准下，CLaW 亦取得了 0.9066 的平均 \(F_1\)，显著优于 baseline。

亮点与洞察¶

采样动力学感知的解耦注入控制：巧妙避开了破坏骨干权重的重训练与低效反演两大约束，利用预训练编解码器在扩散轨迹末端建立“预览-校准”控制回路，以不到 2 秒的生成开销和毫秒级检测达成了高保真与强鲁棒的统一。
闭环解码置信度驱动的动态增益调节：不同于死板套用固定权重的传统设计，引入冻结解码器对中间潜变量进行步长跨越式预览，通过置信度差值有针对性地对难恢复样本追加增益，在极少额外计算开销下实现了样本自适应的水印能量精准投放。
可迁移的轻量插拔特性：CLaW 仅依赖潜变量输入接口与 VAE 解码器，与底层扩散架构（无论是 SD3.5 的 DiT 架构还是 FLUX 的 Rectified Flow）完全解耦，可零成本无缝推广至其他现代连续流扩散模型。

局限与展望¶

潜空间通道维度的均一扰动：作者指出当前 CLaW 在潜变量各个通道上施加相同的残差强度，尚未考虑不同特征通道对视觉质量和几何鲁棒性的敏感度差异，未来可探索通道感知的残差分配策略。
重生成攻击下的轻度性能波动：在强去噪重生成（例如 strength 0.15、20 步再合成）攻击下，BitAcc 会降至约 91.7%–93.9%，进一步提升对高强度重绘攻击的抗撕裂能力仍需探索。
多任务协同拓展空间：目前方法侧重单用户溯源，未来可将模型版本签名、版权拥有者与用户追踪载荷进行层级化多源复合编码。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用预训练解耦编解码器与去噪末端动态置信度反馈，开创了扩散生成采样期的闭环溯源新范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 SD3.5 与 FLUX 架构，评测了百万用户库规模、十余种单项/复合/屏幕翻拍攻击及严格的模块消融。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨，从局部动力学雅可比矩阵分析到算法流程均有详实阐释。
价值: ⭐⭐⭐⭐⭐ 为解决 AIGC 内容合规审查、模型侵权追责与大规模用户级安全溯源提供了极具实用价值的落地解法。