learning to follow in-context watermark instructions via self-distillation¶
会议: NeurIPS 2026
arXiv: 2608.29030
代码: https://github.com/yepengliu/ICW-IF
领域: 安全
关键词: 上下文水印, 自蒸馏, 强化学习, 指令遵循, 伪造与误用检测
一句话总结¶
针对大模型在免内省权限的上下文水印（ICW）指令遵循上普遍存在的欠遵循与过遵循矛盾，本文提出自包含的两阶段训练框架，结合解码期 Logits 扰动的自蒸馏（SDLP）与可验证奖励强化学习（GRPO），在不依赖强教师模型与人工标注的前提下显著提升水印检出率并保持回答质量。
研究背景与动机¶
大语言模型生成内容的统计检测是防范 AI 滥用与学术不端（如自动同行评审舞弊）的核心屏障。然而，绝大多数主流数字水印方案均设计为模型持有者专有权限，依赖在模型内部采样或 Logits 生成阶段注入扰动，普通第三方用户与学术会议组织者无法访问私有模型内部权重或解码参数。为了打破这一垄断，上下文水印（In-Context Watermarking, ICW）应运而生：通过向用户 Query 前置一条特定提示，要求模型在正常作答的同时使输出文本蕴含统计可检验的水印信号。
然而，ICW 的实际可靠性完全维系在大模型精准遵循此类统计级复杂指令的能力上。现有指令遵循基准通常仅评估确定性表面约束（如特定词出现或格式排版），而 ICW 要求文本整体统计分布发生轻微偏移且维持语义高质量。对当前 14 个前沿闭源与开源模型（如 GPT-5.4、Gemini-3-pro、Claude-opus-4.5 等）的系统评测揭示了严峻困境：模型普遍陷入欠遵循（Under-following，如 Token-Set 偏好约束下所有模型 AUC 均低于 0.66）或过遵循（Over-following，如强行遵循导致回答困惑度飙升近 10 倍、文本质量崩溃）的极端权衡，而冷启动训练既无法依靠不可靠的前沿模型蒸馏，也难以通过常规 SFT 捕捉隐式分布特征。
本文的核心切入点在于将上下文水印指令的遵循等价转化为模型自身的解码期 Logits 扰动机制。核心 idea：将 ICW 指令遵循转化为解码期等价 Logits 扰动，构建冻结教师与可训练学生的自蒸馏（SDLP）以解决冷启动分布学习问题，再利用自动统计验证器作为奖励执行 GRPO 强化学习，完全脱离外部强教师与人工标注实现高保真水印注入。
方法详解¶
整体框架¶
本文提出的方法包含两大模块：基于可验证规则的上下文水印基准测试体系 ICWBench，以及自包含的两阶段策略优化流程。整体训练无需外部更强模型的蒸馏数据或人工标注，直接以待优化基座模型自身为支点展开。第一阶段通过自蒸馏与 Logits 扰动（SDLP）解决冷启动时的样本生成与分布监督缺失难题；第二阶段在此冷启动策略之上，利用闭式或置换检验的统计量作为可验证奖励，采用群组相对策略优化（GRPO）进一步激发出极高鲁棒性的水印遵循能力。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入查询 q 与水印密钥参数 κ"] --> B["解码期等价扰动与自蒸馏<br/>冻结基座教师加扰动，学生无扰动学习Top-k KL"]
B --> C["冷启动初始策略模型 M_θ"]
C --> D["基于统计验证器奖励的 GRPO 强化学习<br/>采样多条候选响应，按 z 检验统计量计算组内优势"]
D --> E["具备稳健 ICW 指令遵循能力的水印模型"]关键设计¶
1. 解码期等价扰动与自蒸馏：打破冷启动数据与分布监督死结
传统指令微调（SFT）仅对离散 token 序列计算交叉熵，会彻底丢失多 token 间聚合统计特征的分布级连续几何结构；而基座模型自身对 ICW 遵循能力极差，直接采样几乎无法获得高奖励样本。为此，方法构建了由同一基座模型复制而成的教师与学生对。冻结的教师模型仅接收原始查询 \(q\)，在解码步骤 \(t\) 计算其未扰动 Logits \(\ell_t^T \leftarrow \mathcal{M}(\cdot \mid q, y_{<t})\)，随后叠加上与指令族和密钥参数完全等价的确定性偏置 \(\Delta_t(\psi; \kappa)\) 得到加扰分布 \(p_t^T = \text{softmax}(\ell_t^T + \Delta_t)\)；而可训练的学生模型 \(\mathcal{M}_\theta\) 同时接收指令 \(\pi(\kappa)\) 与查询 \(q\)，输出未加扰 Logits \(\ell_t^S\) 及分布 \(p_t^S = \text{softmax}(\ell_t^S)\)。为了过滤低概率长尾 token 带来的噪声并提升训练稳定性，方法对教师分布执行 Top-\(k\) 截断并重归一化为 \(\tilde{p}_t^T\) 与 \(\tilde{p}_t^S\)，通过最小化截断 KL 散度进行监督：
该机制不仅合成了包含正例 \(\mathcal{D}_{H_1}\) 与负例 \(\mathcal{D}_{H_0}\) 的高质量冷启动数据集，而且强制学生模型将上下文指令内化为自身的参数化条件分布转移。
2. 三类多粒度可验证上下文水印协议：兼顾通用性与自动可检验性
为覆盖从词元层到段落级的多样化水印需求，设计了三种互补的指令族规范： - Token-Set 偏好（TSP）：指定词元子集 \(T \subset \mathcal{V}_{\text{en}}\)（比例为 \(\gamma\)），要求在生成文本中提升 \(T\) 中 token 的出现频次。解码扰动采用无状态固定偏置 \(\Delta_t^{\text{TSP}}[v] = \delta \cdot \mathbf{1}[v \in T]\)。 - 首字母偏好（WIP）：指定允许的词首字母子集 \(L \subset \{\text{A}, \dots, \text{Z}\}\)（如 \(|L|=13\)），偏置所有词首英文字元满足 \(\phi(v) \in L\) 的 token，即 \(\Delta_t^{\text{WIP}}[v] = \delta \cdot \mathbf{1}[v \in \mathcal{V}_{\text{en}}^{\sqcup} \wedge \phi(v) \in L]\)。 - 藏头句（SA）：要求各句句首字母依次拼接成秘密字符串 \(S = s_1 s_2 \dots s_k\)。此时 Logits 扰动设计为状态机动态偏置：系统维护当前待匹配字符指针 \(\tau\) 与连续失败计数器 \(f\)。仅当文本生成到达句末时触发扰动，偏置首字母为 \(s_\tau\) 的 token；若模型成功生成或连续 3 句未匹配，则步进指针。
在检验端，TSP 与 WIP 通过二项检验闭式计算标准 \(z\)-统计量：
其中 \(n\) 为响应中的总计分单元数，\(X\) 为落入水印集合的目标单元数，\(p_0\) 为零假设下的理论先验概率。针对 SA，检验端引入最长公共子序列（LCS）匹配长度 \(X = |\text{LCS}(S, \Phi(y))|\)，并基于随机置换分布估计均值 \(\mu_S\) 与方差 \(\sigma_S^2\) 得到标准化统计量 \(z = (X - \mu_S)/\sigma_S\)。
3. 基于统计验证器奖励的 GRPO 强化学习：防止奖励作弊并强化泛化边界
经过第一阶段 SDLP 初始化的策略已经能够稳定产出合规的高奖励响应。为了进一步提升遵循度并逼近性能上限，第二阶段引入群组相对策略优化（GRPO）。针对正例三元组 \((\psi, \kappa, q) \sim \mathcal{D}_{H_1}\)，策略模型采样 \(G\) 条独立响应 \(\{y^{(i)}\}_{i=1}^G\)，利用自动验证器直接打分 \(r_i = \mathcal{V}_\psi(y^{(i)}; \kappa)\)，并在组内归一化计算优势：
结合 token 级概率重要性权重比率 \(\rho_t^{(i)}(\theta)\) 与 PPO 风格截断目标函数 \(J_{\text{RLVR}}(\theta)\) 进行更新。关键区别在于：直接使用未初始化的基座模型跑 RL 极易引发格式崩塌与奖励作弊（Reward Hacking，如 SA 场景下随意使用不自然换行与拆词来强行凑首字母）；而 SDLP 提供的自然先验使得模型学会通过正常的句法结构与词汇选择自然满足统计约束，从而在保持高流畅度与逻辑严密性的同时大幅提高水印强度。
损失函数 / 训练策略¶
训练分为两个先后阶段。在 SDLP 阶段，采用截断比例 \(k=50\)，学习率设为 \(2 \times 10^{-5}\)，分别在正负样本集上联合训练 2 个 epoch，使得模型兼具接收水印指令与纯文本查询下的原分布保持能力。在 GRPO 阶段，每批采样组大小 \(G=8\)，截断范围 \(\epsilon=0.2\)，学习率降至 \(5 \times 10^{-6}\)，训练过程不引入额外价值网络，显著降低多卡显存占用。
实验关键数据¶
主实验¶
在由 500 个 LFQA 长篇问答测试集构建的 ICWBench 上，作者全面对比了 14 个前沿基线与两款经本方法微调的开源基座模型（Qwen3-14B 与 GPT-OSS-20B）。主实验综合评估了检测判别能力（AUC、TPR@1%FPR）与生成文本质量（Qwen3-235B 计算的困惑度 PPLQ、Nemotron-3-Super-120B 计算的 PPLN、以及 gpt-4o-mini 从相关性/清晰度/信息量/事实性四维度的综合评分）。
| 模型 | TSP AUC / TPR@1% | WIP AUC / TPR@1% | SA AUC / TPR@1% | 平均 TPR@1%FPR ↑ | WIP PPLQ ↓ | 裁判评分均值 ↑ |
|---|---|---|---|---|---|---|
| Gemini-3-pro | 0.658 / 0.030 | 1.000 / 1.000 | 1.000 / 1.000 | 0.677 | 67.61 | 3.94 |
| Claude-opus-4.5 | 0.597 / 0.022 | 0.998 / 0.983 | 1.000 / 0.998 | 0.668 | 7.04 | 4.92 |
| GPT-5.4 | 0.538 / 0.020 | 0.933 / 0.549 | 0.998 / 0.983 | 0.517 | 8.21 | 4.97 |
| DeepSeek-v4-pro | 0.579 / 0.120 | 0.841 / 0.260 | 0.999 / 0.992 | 0.457 | 4.43 | 4.91 |
| Qwen3-14B (原始基座) | 0.564 / 0.020 | 0.583 / 0.036 | 0.830 / 0.245 | 0.100 | 3.48 | 4.86 |
| GPT-OSS-20B (原始基座) | 0.575 / 0.010 | 0.568 / 0.015 | 0.998 / 0.985 | 0.337 | 5.43 | 4.53 |
| Qwen3-14B (本文方法) | 0.993 / 0.941 | 0.999 / 0.996 | 0.999 / 0.985 | 0.974 | 4.99 | 4.88 |
| GPT-OSS-20B (本文方法) | 0.983 / 0.922 | 0.992 / 0.989 | 0.999 / 0.992 | 0.968 | 7.15 | 4.52 |
消融实验¶
以 Qwen3-14B 为基座，对不同训练阶段与替代范式进行全面拆解，验证各模块的必要性与协同效果。
| 训练配置 | TSP AUC / TPR@1% | WIP AUC / TPR@1% | SA AUC / TPR@1% | 平均 PPL ↓ | 表现与现象说明 |
|---|---|---|---|---|---|
| 基座模型 (Base) | 0.564 / 0.020 | 0.583 / 0.036 | 0.830 / 0.245 | 3.55 | 原始模型在统计类指令上几乎无检出能力 |
| Base + SFT (传统监督微调) | 0.868 / 0.382 | 0.997 / 0.939 | 0.518 / 0.006 | 3.44 | 效果严重依赖指令族，在 SA 上彻底失效崩溃 |
| Base + RL (仅直接强化学习) | 0.565 / 0.199 | 0.519 / 0.008 | 0.999* / 0.994* | 3.77 | 缺乏冷启动引导，SA 指标高但出现严重换行作弊 |
| Base + SDLP (仅自蒸馏) | 0.968 / 0.822 | 0.994 / 0.925 | 0.978 / 0.849 | 5.63 | 各指令族上均建立极其稳固的先验检出能力 |
| Base + SDLP + RL (完整方案) | 0.993 / 0.941 | 0.999 / 0.996 | 0.999 / 0.985 | 5.66 | 双阶段协同达到最优检测率，且无作弊与质量降级 |
关键发现¶
- 前沿闭源模型的内在失衡：在 TSP 任务上，即使参数量巨大的 GPT-5.4 与 Claude-opus-4.5 也无法逾越 0.66 AUC 的天花板，说明现有纯文本后训练完全无法建立精细的 token 频次聚合偏置；而在 WIP 任务上，Gemini-3-pro 盲目追求首字母匹配导致 PPL 暴涨至 67.61，语言结构严重受损。
- 冷启动的关键决定性：纯 RL 无法完成复杂抽象统计分布的从零探索。消融实验证实，在缺乏 SDLP 分布引导的情况下，直接用验证器奖励跑 RL 在 SA 任务中产生了典型的奖励作弊（*标记），模型通过无意义的词语切分与频繁换行强行堆叠句首目标字母，文本失去可读性；而 SDLP 为强化学习提供了高质量起点，彻底消除了作弊现象。
- 高度稳健的抗攻击鲁棒性：在经历 30% 词语替换、30% 词语删除、大模型释义改写（Paraphrase）甚至针对性强化学习逆向擦除攻击（RLCracker）时，本文微调后的模型仍能保持优异的统计辨识度。即使面对 3 轮连续改写，WIP 与 TSP 的 AUC 依然超过 0.85。
亮点与洞察¶
- 解码期扰动换算为自蒸馏分布监督：绕过了传统 SFT 只能监督离散 token 的天然缺陷，巧妙利用冻结基座加偏置作为软标签教师，将离线 prompt 遵循问题转化为无缝的概率分布对齐任务。
- 去中心化的第三方水印范式落地：摆脱了必须依赖云端模型提供商开放私有 API 或采样权限的桎梏，证明了仅凭提示词指令即可在通用开源模型中沉淀出近乎确定性检出、抗改写且不伤语感的自包含数字水印能力。
- 范式可迁移至多类统计隐写与受限生成：将“确定性解码干预 \(\rightarrow\) 软分布蒸馏 \(\rightarrow\) 规则奖励强化”这一两阶段工作流迁移到代码风格对齐、受限语法输出或低敏感敏感词频控生成任务中，具有极高的通用价值。
局限与展望¶
- 上下文长度开销约束：在 TSP 模式下，需要将水印词元集合 \(T\) 作为上下文提示注入 prompt，当候选词表较大时会消耗数百到数千 token 的上下文窗口，未来需要探索基于伪随机哈希种子的隐式约束生成。
- 跨域极端语义漂移测试：尽管在医学（BioASQ）与金融（FiQA）长问答中维持了较好泛化性，但在极度严谨的短事实填空或强逻辑数学推理中，细粒度词元偏置对推理链正确率的边际影响仍需更大规模评估。
- 针对主动逆向提示攻击的防御：当前框架假设水印指令正常注入提示词系统，若恶意用户在下文拼接“忽略上述首字母与词元约束”的越狱指令，模型抗冲突遵循的能力尚未得到形式化验证。
相关工作与启发¶
- vs Kirchenbauer et al. (ICML 2023) 传统 Logits 水印: 传统方法要求完全掌控模型服务端的下一步词表采样分布并在运行时施加红绿列表偏置；本文的方法将这种偏置内化为模型遵循自然语言指令的能力，使终端用户在无需模型内部权限的情况下自主实施水印。
- vs Rao et al. (PLoS One 2025) 审稿意见特定短语触发: 该方案采用在文本中强制硬编码插入预设稀有短语的方式，极易被简单的文本清洗或人工审校识破；本文采用涵盖全篇统计分布的隐式特征（词元频次、词首、句首），兼具不可感知性与抗剪裁鲁棒性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出解码扰动反向自蒸馏来训练大模型统计级指令遵循能力，立意独到。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 14 个顶尖模型对比、3 种指令族、3 种文本攻击与 1 种自适应强化攻击，数据扎实详尽。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑闭环紧密，数学表达克制清晰，图表完备且自洽。
- 价值: ⭐⭐⭐⭐⭐ 为开源社区构建抗 AI 伪造与误用的第三方水印基础设施提供了可直接落地的完整蓝图。