PRO: Enabling Precise and Robust Text Watermark for Open-Source LLMs¶

会议: NeurIPS 2026
arXiv: 2510.23891
代码: https://anonymous.4open.science/r/PRO
领域: 大模型安全
关键词: 开源大模型、文本水印、协同自适应策略、遗忘扰动感知学习、权重鲁棒性

一句话总结¶

针对开源大模型在用户完全控制推理和权重修改下难以内嵌水印的难题，提出联合优化可学习映射策略（CAWP）与遗忘扰动感知正则化（FPL）的 PRO 框架，兼顾超低文本困惑度退化与抗模型融合、长步微调的强鲁棒性。

研究背景与动机¶

随着开源大语言模型（如 LLaMA、DeepSeek、Phi 等）性能逼近甚至超越闭源商用模型，开源模型被滥用于生成虚假信息、学术不端或有害内容的风险急剧上升，迫切需要对模型输出进行溯源鉴别。传统的文本水印方案（如 KGW、KTH）深度依赖受控的“解码期干预”，即模型所有者在私有云端生成每个 token 时，利用私钥哈希或特定规则人为调增特定“绿名单”（green list）候选词的 logit。然而，在开源场景中，模型权重被完全公开发布，用户不仅拥有完整的本地推理与解码控制权（可轻易绕过任何解码端外挂逻辑），还会根据自身任务对模型进行微调（SFT / 指令微调）、模型融合（Model Merging）、量化（GPTQ / AWQ / HQQ）或权重剪枝。在此背景下，模型所有者唯一可行的溯源路径是将水印直接“内嵌”（embed）进模型自身的权重中，使模型在标准无修改的贪心或采样解码下，天然输出蕴含统计水印特征的文本。

然而，现有的开源大模型权重级水印技术面临着根本性的“生成-检测不一致”与“权重扰动脆弱性”双重瓶颈。其一，直接通过知识蒸馏（Distillation）强迫学生模型拟合固定的解码期水印规则（如固定 n-gram 哈希映射）被证明极难学习。从神经网络表示的角度看，传统伪随机哈希在连续语义空间中呈现出高度碎片化、不连续的任意映射，模型只能机械死记硬背而无法泛化；一旦提高水印强度以保证可检测性，模型语言建模质量就会严重崩塌（困惑度大幅恶化），且面对 $n \ge 2$ 的高阶 n-gram 时学生模型完全无法学得规律（AUC 骤降至 0.54 接近随机猜测）。更致命的是，学生模型学得的经验分布天然与教师设定的先验分布产生漂移（绿词比例偏离），导致检测端依旧套用原规则时检测准确率急剧缩水。其二，开源权重不可避免地遭受下游修改冲击。下游用户使用领域数据进行数百至数千步微调，或者通过 SLERP 等算法将水印模型与未加水印的原版模型按权重插值融合，都会剧烈抹除蒸馏学到的脆弱统计偏置，使现有方案的检测 AUC 迅速跌至 0.7 甚至 0.5 以下。此前基于“稳定参数子空间”的方法完全依赖特定评测集的参数变化假设，在跨任务或跨数据集修改下防线崩溃。

面对这两大结构性矛盾，本文的核心切入点是：既然固定规则让神经网络“难学”且“易漂移”，就应当把水印生成规则本身转变成一个与大模型协同进化的可微策略；同时，既然权重微调本质上是由“非绿词梯度”驱动的擦除过程，就应当在训练目标中主动引入对抗性的遗忘扰动模拟。核心 idea：提出协同自适应水印策略（CAWP）联合训练轻量映射网络与学生 LLM 以消除生成-检测漂移，并结合遗忘扰动感知学习（FPL）在内嵌水印阶段对抗性抵抗红词反向漂移，实现开源大模型的高精度低失真原生水印与强鲁棒防御。

方法详解¶

整体框架¶

PRO 框架旨在将文本水印以内生参数的形式内嵌至开源学生大模型 $\pi_\theta$ 的权重中，在模型公开发布后，仅凭下游生成的纯文本序列即可由所有者私有的检测模型完成溯源判定，无需用户的输入 Prompt 或任何解码期干预。框架主要由两大部分协同构成： 1. 协同自适应水印策略（Co-Adaptive Watermark Policy, CAWP）：冻结预训练语义嵌入编码器 $E$（如 Compositional-BERT-Large），引入可训练的轻量水印映射网络 $M$（MLP）。$M$ 接收前序上下文嵌入，动态生成连续的水印 logit 偏置，与冻结的原版教师模型 $\pi_o$ 联合为学生模型 $\pi_\theta$ 提供学习目标。通过双向联合优化，映射策略 $M$ 自适应收敛至模型易于表征和内化的分布，且所有者在后续检测时复用训练收敛后的 $M$ 进行逐 token 统计评分，从根本上闭环消除了生成与检测之间的模式漂移。 2. 遗忘扰动感知学习（Forgotten Perturbation-aware Learning, FPL）：通过对抗生成反水印文本（Anti-watermarked texts，以红词梯度为核心驱动），显式刻画并模拟下游用户微调或融合带来的参数擦除扰动。在训练优化中构造二阶遗忘敏感度惩罚项，迫使学生模型权重收敛至对擦除梯度不敏感的鲁棒平坦区域。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入文本前缀 x"] --> B["前序嵌入提取<br/>冻结 BERT 提取 e"]
    B --> C["协同自适应水印策略 (CAWP)<br/>可训练 MLP 映射连续水印偏置"]
    C --> D["双向联合蒸馏优化<br/>KL 散度对齐教师偏置分布与学生分布"]
    D --> E["反向红词扰动模拟<br/>基于反水印文本估计最大擦除梯度"]
    E --> F["遗忘扰动感知学习 (FPL)<br/>步进扰动敏感度正规化更新权重"]
    F --> G["发布内嵌水印开源 LLM<br/>标准解码天然输出水印文本"]
    G --> H["所有者私有检测端<br/>复用策略 M 累积均值判决 score z"]

关键设计¶

1. 协同自适应策略网络与规范化约束：打破离散哈希不可学瓶颈
传统方案强行要求学生模型拟合伪随机离散 Hash 分组，使得语言模型在连续隐藏空间中难以寻找连续决策面，从而出现严重欠拟合。CAWP 将水印规则参数化为由冻结语义编码器 $E$ 与可学习映射网络 $M_\phi$ 串联的连续生成器。给定上下文 $x_{i-n:i-1}$，语义编码器输出紧凑表征 $e_i \in \mathbb{R}^{1024}$，轻量 MLP 映射器（含两层带残差连接的 ReLU 隐藏块与 Tanh 输出层）将其映射为全词表 logit 偏置向量 $M(e_i) \in [-1, 1]^{|\mathcal{V}|}$。为了防止映射网络陷入平凡解（例如全零输出、偏袒固定高频词导致语言模型偏见），CAWP 引入了三维正规化损失项： $$ \mathcal{L}{\text{norm}} = \sum\right|\right) $$ 式中三项分别严密约束了词表偏好无偏性（Unbiased Token Preference，确保对每个样本词表平均偏置为 0）、词汇平衡性（Balanced Watermark Logits，确保在全数据集上每个词作为正负偏置的均值为 0）以及非坍缩约束（Non-Vanishing Watermark Logits，强制绝对值维持在阈值 }\left|\frac{1}{|\mathcal{V}|}\sum_{j}M(e_{i})^{(j)}\right| + \sum_{j}\left|\frac{1}{N}\sum_{i}M(e_{i})^{(j)}\right| + \lambda_{1}\sum_{i,j}\max\left(0, \epsilon - \left|M(e_{i})^{(j)$\epsilon$ 之上）。由此，教师的目标分布为 $\pi_o(\cdot|x_{\le i}) + \delta \cdot M(E(x_{i-n:i-1}))$，学生模型通过 KL 散度与映射网络 $M$ 交替梯度更新，实现了水印模式可表征性与语言建模能力的和谐共生。

2. 闭环同态检测对齐：消除生成与判定之间的分布漂移
以往开源水印尝试中，即便学生模型尽最大努力拟合了教师的水印分布，其实际输出的绿词率仍会出现显著下滑（例如在 LLaMA3-8B 上从理论教师的 0.99 骤降至 0.84），而检测端依旧拿着原初的机械哈希判定，造成大量假阴性。PRO 的核心洞见在于：检测策略无需拘泥于人类预先设定的硬规则，而应当与模型实际内化的规则保持同态。在训练完成后，模型所有者保留已联合训练收敛的映射模型 $M$，并对外发布学生大模型 $\pi_\theta$。在检测一段长度为 $N$ 的待测可疑文本时，所有者提取每个位置前序 $n$-gram 的语义嵌入，由 $M$ 输出该位置的词表偏置分布，并提取实际生成的下一个 token $x_i$ 对应的预测分值： $$ z = \frac{1}{N}\sum_{i=1}^{N} M(E(x_{i-n:i-1}))^{(x_{i})} $$ 当平均统计量 $z$ 超过预设阈值时，即可断定该文本来自该开源模型。因为 $M$ 是在训练过程中与 $\pi_\theta$ 共同演化的，凡是模型倾向于作为特征高频选取的 token，在 $M$ 的打分中均具有极高的对齐置信度，彻底抚平了传统方案中的模式失配鸿沟，且能轻松支持高阶 $n$-gram（$n \ge 5$）水印而不丧失可学性。

3. 遗忘扰动建模与对抗正规化：从红词机理构建修改免疫力
分析开源模型遭受微调擦除的机理表明：若在富含绿词的水印数据上微调，水印保留完好；而在自然文本（包含大量红词）或故意构造的反水印文本（Inverted Watermark logits）上微调时，红词对应的反向梯度会迅速将权重推离水印吸引子，形成“遗忘扰动”（Forgotten Perturbation）。FPL 并不依赖假设特定微调数据集，而是直接利用反水印数据计算模型在最恶劣红词冲击下的最大擦除梯度方向 $\hat{g} = \frac{\nabla \mathcal{L}_{\text{anti}}(\pi_\theta)}{\|\nabla \mathcal{L}_{\text{anti}}(\pi_\theta)\|}$。在内嵌训练阶段，优化目标被构造成： $$ \min_{\pi_\theta} \mathcal{L}{\text{sim}}(\pi\theta) + \beta \left( \mathcal{L}{\text{anti}}(\pi\theta) - \mathcal{L}{\text{anti}}\left(\pi\theta - \alpha \frac{\nabla \mathcal{L}{\text{anti}}(\pi\theta)}{|\nabla \mathcal{L}{\text{anti}}(\pi\theta)|}\right) \right) $$ 该项惩罚了模型在沿擦除梯度单步前行步长 $\alpha$ 后的遗忘损失下降幅度，本质上是在平坦化反水印损失的局部曲率。为了避免高昂的二阶 Hessian 矩阵计算开销，PRO 采用常量梯度近似（Constant Approximation），通过一次前向、一次前向反向、以及一次扰动后前向的三阶段流水线（Three-pass），将每步参数更新的额外开销压缩到极低水平，从而赋予开源模型抵御高比例模型融合（如 SLERP $t=0.5$）和上千步下游微调的强悍韧性。

一个完整示例¶

以一段包含 5 个 token 的代码解释文本生成与闭环检测为例，展示 PRO 的内部演化细节： 1. 前缀输入与特征投影：当前已生成前缀 $x_{<t} = \text{"def calculate\_loss"}$，序列送入冻结的 Compositional-BERT-Large 提取语义向量 $e_t \in \mathbb{R}^{1024}$。 2. 策略自适应偏置计算：将 $e_t$ 送入轻量映射网络 $M$，经过两层残差块与 Tanh 激活，为整个词表生成范围在 $[-1, 1]$ 内的水印 logit 偏置。例如为高频相关候选词 "(" 赋予 $+0.85$ 偏置，为 ":" 赋予 $-0.72$ 偏置，满足 $\mathcal{L}_{\text{norm}}$ 均值接近 0 且幅值不低于 $\epsilon$ 的约束。 3. 模型联合优化更新：在预训练蒸馏步中，学生模型原本对 ":" 的预测概率受到抑制，对 "(" 的内生概率被轻微上推；同时，FPL 注入沿反向红词梯度的模拟微调扰动步 $\alpha=0.1$，约束该预测分布在权重轻微滑动后依然维持该选择偏好。 4. 无感自然文本生成：用户部署发布版模型后，输入相同 Prompt，模型在常规温度采样下自然命中带有正向偏置的 "("，生成连续代码逻辑，PPL 维持在 4.2 左右（与原模型 4.18 几无差异）。 5. 下游融合与攻击篡改：该模型随后被用户通过 SLERP 算法与未加水印的原版基座模型以 $1:1$ 权重插值融合（$t=0.5$）。 6. 所有者私有端检测判定：所有者截获生成文本，使用保存的映射模型 $M$ 逐词提取前缀向量并查询实际 token 对应的偏置打分。序列各位置的 $M(E(x_{<i}))^{(x_i)}$ 依次为 $+0.82, +0.76, +0.65, +0.79$，算术均值检测统计量 $z = 0.755$。远高于未加水印文本的均值基线（接近 0.0），成功在融合破坏后输出 AUC 0.876 的高置信度溯源判定。

损失函数 / 训练策略¶

PRO 采用双模型协同优化的交替迭代策略： - 学生模型优化目标：固定映射模型 $M$，优化学生模型参数 $\theta$： $$ \mathcal{L}{\text{LLM}}(\theta) = \mathcal{L}}}(\theta) + \beta \left( \mathcal{L{\text{anti}}(\theta) - \mathcal{L}}}\left(\theta - \alpha \frac{\nabla \mathcal{L{\text{anti}}(\theta)}{|\nabla \mathcal{L}\right) \right) $$ 其中 }}(\theta)|$\mathcal{L}_{\text{sim}} = \mathbb{E}_{x \sim \mathcal{D}} \left[ \sum_{i} \text{KL}\left(\pi_o(\cdot|x_{\le i}) + \delta M(E(x_{i-n:i-1})) \,\parallel\, \pi_\theta(\cdot|x_{\le i})\right) \right]$，$\mathcal{L}_{\text{anti}}$ 则是将水印 logit 反转（$-\delta M$）后计算的 KL 散度。 - 水印映射模型优化目标：固定学生模型 $\theta$，更新策略参数 $\phi$： $$ \mathcal{L}{M}(\phi) = \mathcal{L}(\phi) $$ - }}(\phi) + \lambda_2 \mathcal{L}_{\text{norm}训练超参数与配置：基础模型采用 LLaMA3-8B、LLaMA3.2-3B 及 Phi2-2.7B。训练语料取自 OpenWebText 子集，批大小 64，序列长度 512，最大学习率 1e-5 并配合余弦衰减与前 10% 线性预热，优化器采用 AdamW（无权重衰减）。超参数设定为 $\lambda_1 = 1$、$\lambda_2 = 1$、$\epsilon$ 作为非零阈值、扰动步长 $\alpha = 0.1$、正则化权重 $\beta = 5$。由于 CAWP 显著加快收敛，PRO 仅需 2,000 步即可达到 0.997 AUC（而基线 KGW 需 5,000 步才达 0.991），在 4 块 NVIDIA A100 80GB GPU 上的端到端训练总耗时约为 6 小时，与基线训练耗时相当。

实验关键数据¶

主实验¶

在 LLaMA-3-8B 模型上，系统评测了在各种极端模型权重修改场景下，各水印方案的检测效果（AUC、在 5% 假阳率下的真阳率 TPR@5%）及生成质量（困惑度 PPL，基于 LLaMA-2-13B 评估）。

权重修改类型	具体修改配置	Gu et al. (KTH) AUC / TPR@5 / PPL	Gu et al. (KGW) AUC / TPR@5 / PPL	Gloaguen et al. (KGW) AUC / TPR@5 / PPL	PRO (本文) AUC / TPR@5 / PPL
原版无修改	Unaltered	0.951 / 0.779 / 5.0	0.991 / 0.956 / 4.9	0.990 / 0.943 / 6.2	0.997 / 0.990 / 4.2
模型量化	8-bit GPTQ	0.928 / 0.657 / 5.2	0.985 / 0.921 / 5.0	0.991 / 0.945 / 6.3	0.992 / 0.969 / 4.3
	8-bit INT8	0.934 / 0.694 / 5.1	0.980 / 0.907 / 5.0	0.990 / 0.941 / 6.4	0.984 / 0.931 / 4.4
	4-bit HQQ	0.882 / 0.535 / 6.1	0.992 / 0.954 / 5.5	0.983 / 0.911 / 7.9	0.995 / 0.981 / 4.8
	4-bit GPTQ	0.915 / 0.635 / 5.5	0.982 / 0.910 / 5.1	0.988 / 0.935 / 7.3	0.987 / 0.942 / 5.1
权重剪枝	Wanda ($\rho=0.5$)	0.921 / 0.639 / 8.4	0.973 / 0.860 / 6.9	0.987 / 0.934 / 8.9	0.990 / 0.957 / 6.2
	SparseGPT ($\rho=0.5$)	0.951 / 0.755 / 8.1	0.981 / 0.906 / 7.8	0.986 / 0.928 / 9.6	0.993 / 0.971 / 8.0
模型融合	SLERP ($t=0.3$)	0.714 / 0.212 / 5.1	0.924 / 0.651 / 4.0	0.916 / 0.618 / 5.3	0.962 / 0.828 / 4.1
	SLERP ($t=0.5$)	0.563 / 0.094 / 4.8	0.773 / 0.304 / 3.8	0.799 / 0.338 / 4.6	0.876 / 0.569 / 4.0
	SLERP ($t=0.7$)	0.520 / 0.064 / 4.3	0.648 / 0.153 / 3.7	0.685 / 0.187 / 4.2	0.774 / 0.308 / 3.9
下游微调	OpenMath (s=600)	0.669 / 0.166 / 4.9	0.811 / 0.383 / 3.7	0.834 / 0.408 / 5.2	0.871 / 0.509 / 3.9
	OpenMath (s=1500)	0.524 / 0.022 / 4.5	0.721 / 0.231 / 3.5	0.718 / 0.222 / 5.1	0.808 / 0.368 / 3.6
	OpenCode (s=1500)	0.533 / 0.071 / 4.6	0.754 / 0.259 / 4.2	0.782 / 0.304 / 5.9	0.821 / 0.391 / 4.0

消融实验¶

消融实验重点验证了遗忘扰动感知学习（FPL）中步长 $\alpha$ 与正则权重 $\beta$ 对未篡改模型及 $t=0.5$ 融合模型（Merge AUC）的敏感度作用。

配置条件	参数取值	无修改 AUC	无修改 PPL	融合后 Merge AUC ($t=0.5$)	说明
(a) 扰动步长 $\alpha$ (固定 $\beta=5$)	$\alpha = 0$	0.99	4.18	0.82	退化为纯 CAWP 策略，缺乏对抗正则项
	$\alpha = 0.1$	0.99	4.22	0.87	最优折中：保持卓越语言生成且抗融合性最强
	$\alpha = 1.0$	0.98	4.30	0.86	步长偏大，开始轻微损害生成质量
	$\alpha = 2.0$	0.97	4.70	0.83	扰动估计失真导致鲁棒性与 PPL 恶化
	$\alpha = 5.0$	0.95	5.00	0.79	强扰动过载破坏基座表征能力
(b) 正则权重 $\beta$ (固定 $\alpha=0.1$)	$\beta = 0$	0.99	4.18	0.82	仅 CAWP 单独作用，抗融合处于中等基线
	$\beta = 1$	1.00	4.21	0.85	引入轻微 FPL 正则，显著提升抗融合
	$\beta = 5$	0.99	4.22	0.87	默认推荐参数，达到全局最优抗性
	$\beta = 10$	0.95	4.52	0.84	过度强调抗遗忘导致模型收敛受阻

关键发现¶

抵抗模型融合与下游微调能力取得突破：在常规量化与剪枝下各方案差距不明显，但在最严苛的 SLERP $t=0.5$ 融合（水印权重被对半稀释）和 OpenMath 1500 步深层微调中，基线方案普遍击穿防御线（KTH 跌至 0.524 接近随机，KGW 跌至 0.72 左右），而 PRO 稳固维持在 0.808 - 0.876 的高水平，证明反向梯度正则有效锁定了水印子空间。
高阶 n-gram 可学性飞跃：传统 KGW 蒸馏在 $n=2$ 时 AUC 仅为 0.54，而 PRO 借助连续语义映射，在 $n \ge 5$ 时依然可以实现超过 0.99 的 AUC，极大提升了防逆向工程攻击的理论复杂度。
严苛低虚警率下的极高召回：在安全实战最为关心的极低误报门槛下（[email protected]% FPR），KTH 仅有 25.8%，KGW 为 54.2%，而 PRO 达到了 78.1%；在 TPR@1% FPR 下 PRO 达 92.3%，表现出极高的工业级判决置信度。

亮点与洞察¶

协同进化消解模式漂移：打破了“先设计固定水印规则再强迫模型硬记”的固有惯性思维，将水印规则改造成可微策略并与 LLM 共同自适应收敛，既降低了模型的记忆负担，又使检测端天然与模型内化分布同频共振。
从梯度溯源实施精准免疫：洞察到模型微调擦除的本质是“反向红词梯度驱动的漂移”，并巧妙将元学习（MAML）式的二阶扰动敏感度极小化引入水印内嵌，以轻量常量近似完成了免昂贵 Hessian 的鲁棒正则化。
可复用的模型级独家溯源资产：开源通用分类器（如 AI-Detector）只能粗暴判定“是否为人类撰写”，无法区分具体模型来源；而 PRO 的策略模型 $M$ 在 Qwen、GPT-6B 等其他模型生成的文本上假阳率仅为 0.6% - 1.1%，构成了高精度的排他性模型版权指纹。

局限与展望¶

作者承认的局限：尽管常量梯度近似极大降低了计算负担，但 FPL 仍需在每个迭代步执行额外的反向与前向过程（每步额外 2 次 pass），单步训练耗时略高，依赖整体加速收敛来抵消时间开销。
自身发现的局限：在极端严苛的微调场景下（如极端特定垂直领域的长文本过拟合微调或 LoRA 大幅度重构），水印强度仍呈缓慢下降趋势；此外，若下游恶意用户掌握了与所有者相同的语义编码器 $E$ 架构，理论上存在构造自适应白盒对齐攻击的可能性。
改进方向：探索与参数高效微调（PEFT / LoRA）原生绑定的不可逆参数投影技术，以及研究在多模型级联组合下的混合水印指纹溯源。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出开源模型水印的协同自适应策略与抗遗忘扰动训练范式，构思精巧。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 种主流架构，横跨量化、剪枝、SLERP 融合、多领域长时间微调及释义攻击，对比极为扎实。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰严谨，从机理分析到方法设计层层递进，实验图表信息量饱满。
价值: ⭐⭐⭐⭐⭐ 为开源 LLM 的版权保护与内容溯源提供了首个兼具高精度、低语言失真与强抗修改能力的落地解决方案。

配置条件	参数取值	无修改 AUC	无修改 PPL	融合后 Merge AUC (\(t=0.5\))	说明
(a) 扰动步长 \(\alpha\) (固定 \(\beta=5\))	\(\alpha = 0\)	0.99	4.18	0.82	退化为纯 CAWP 策略，缺乏对抗正则项
	\(\alpha = 0.1\)	0.99	4.22	0.87	最优折中：保持卓越语言生成且抗融合性最强
	\(\alpha = 1.0\)	0.98	4.30	0.86	步长偏大，开始轻微损害生成质量
	\(\alpha = 2.0\)	0.97	4.70	0.83	扰动估计失真导致鲁棒性与 PPL 恶化
	\(\alpha = 5.0\)	0.95	5.00	0.79	强扰动过载破坏基座表征能力
(b) 正则权重 \(\beta\) (固定 \(\alpha=0.1\))	\(\beta = 0\)	0.99	4.18	0.82	仅 CAWP 单独作用，抗融合处于中等基线
	\(\beta = 1\)	1.00	4.21	0.85	引入轻微 FPL 正则，显著提升抗融合
	\(\beta = 5\)	0.99	4.22	0.87	默认推荐参数，达到全局最优抗性
	\(\beta = 10\)	0.95	4.52	0.84	过度强调抗遗忘导致模型收敛受阻