MarkTune: Improving the Quality-Detectability Trade-off in Model-Embedded LLM Watermarking¶

会议: NeurIPS 2026
arXiv: 2512.04044
代码: https://github.com/zhyzmath/MarkTune-LLM-Watermarking
领域: 安全
关键词: 大模型水印、权重内嵌水印、GaussMark、策略微调、GRPO

一句话总结¶

本文提出 MarkTune 框架，通过在策略微调（GRPO）中将 GaussMark 检验统计量作为内生奖励、并正则化约束到外部高质量分布，打破了权重内嵌水印“强检测必损生成质量”的困境，在零推理开销且适配开源权重的条件下实现了接近推理端水印的帕累托前沿。

研究背景与动机¶

随着大语言模型在学术、工业与日常任务中的广泛落地，区分机器生成文本与人类创作文本已成为防范学术不端、遏制虚假信息扩散以及保护生成式 AI 知识产权的关键手段。现有主流水印方案多属于推理端机制（如 KGW、Gumbel-max、SynthID），其在解码生成阶段通过操纵采样概率分布嵌入特定信号。然而，这类方法不仅引入了额外的解码计算开销与延迟，更在日益普及的开源权重部署场景下彻底失效——下游用户或部署方可以轻而易举地修改或绕过受控的采样管道，导致推理端水印无法闭环监管。

为了突破这一局限，模型内嵌型水印（Model-Embedded Watermarking）直接将机密水印密钥编码至模型权重中，生成时使用标准采样无需附加延迟，天然契合开源模型分发。近期代表性的权重编辑方案 GaussMark 通过对部分模型权重注入带密钥的高斯扰动，使模型输出梯度的内积对齐能够被假设检验捕获。然而，GaussMark 面临一个核心的质量与可检测性权衡（Quality-Detectability Trade-off）：由于单纯依赖在基座模型周围的各向同性高斯抖动，若要取得具备实际部署价值的高检验效力（High Detection Power），必须施加较大幅度的权重扰动，这会不可避免地下跌模型生成质量与下游通用任务性能。

这一矛盾的本质根源在于，传统思路隐式地将基座模型视作最优参考，误将“保持文本质量”等价于“在权重空间紧密围绕基座模型”。事实上，过参数化大模型的损失曲面存在极其宽广平坦的高质量低谷，基座模型本身并非完美表征，且 KL 散度约束在模型远离基座时会严重阻碍水印信号的有效注入。核心 idea：将检验统计量转化为内生强化学习奖励，并使用外部高质量参考分布（人类语料交叉熵或更强 Oracle 模型的 KL 散度）作为正则化锚点，通过在策略微调引导权重向“水印敏感且质量平缓”的方向主动探索，实现检测力与文本质量的彻底解耦。

方法详解¶

整体框架¶

MarkTune 的整体流程分为四个阶段：高斯软激活初始化、双模型角色拆分、基于 GRPO 的在策略强化微调、以及免 Prompt 的假设检验检测。

首先，给定基座模型 \(p_{\theta}\) 与目标参数子集 \(\theta_{\mathrm{wm}}\)，采样高斯密钥 \(\xi_{\sigma} \sim \mathcal{N}(0, \sigma^2 \mathbb{I}_{d_r})\) 注入扰动形成软激活模型 \(\theta(\xi_{\sigma})\)，并将原始无水印模型固定为评测参考模型 \(p_{\theta_{\mathrm{ref}}}\)。在训练阶段，MarkTune 使用无 Critic 的群体相对策略优化（GRPO），针对每个输入 Prompt 采样一组候选回复，以参考模型关于全序列对数似然对水印权重的梯度与密钥的归一化内积作为标量奖励，结合外部高质量语料的正则化项联合优化模型。最终部署的开源模型在标准解码下生成文本，检测端则在无需 Prompt 的条件下重构假设检验统计量，实现精确的第一类错误控制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["基座模型权重 θ"] --> B["高斯软激活初始化<br/>小方差噪声注入 θwm+ξσ"]
    B --> C["双模型解耦架构<br/>生成模型 θ vs 冻结参考模型 θref"]
    C --> D["在策略双目标微调<br/>GRPO 采样候选回复组"]
    D --> E["内生检验统计量奖励<br/>梯度对齐投影计算 Advantage"]
    D --> F["外部高质量分布锚定<br/>人类语料交叉熵 / Oracle KL 正则"]
    E & F --> G["更新后的水印权重 θ*"]
    G --> H["免 Prompt 假设检验检测<br/>单次前向反向计算 ψ 统计量"]

关键设计¶

1. 高斯软激活初始化：为在策略搜索提供具备非零梯度的初始导向

若直接从纯净无偏的基座模型启动针对梯度内积奖励的强化微调，初始状态下的水印检验统计量在统计意义上关于密钥的期望内积为零，极易导致策略优化在初期陷入盲目抖动，甚至退化为奖励黑客（Reward Hacking）——即生成极度单一重复的退化文本以迎合局部的梯度几何。MarkTune 继承 GaussMark 的思想，预先在目标权重块上施加一个弱高斯扰动 \(\xi_{\sigma} \sim \mathcal{N}(0, \sigma^2 \|\theta_{\mathrm{wm}}\|_{\mathrm{RMS}}^2 \mathbb{I}_{d_r})\)（其中使用 RMS 归一化以适应不同层参数量级），将扰动强度 \(\sigma\) 控制在极小范围内（如 Qwen3-4B 取 \(\sigma=0.6\)，Llama2-7B 取 \(\sigma=0.8\)）。这种软激活在完全不破坏原始生成质量的前提下，赋予生成模型初始的微弱对齐先验，保证后续策略梯度能够顺畅捕获到正向优势梯度。

2. 内生检验统计量奖励：将统计检验力映射为全序列强化反馈

不同于通用大模型强化学习通常需要专门训练的大规模 Reward Model 或针对特定推理任务构造的确定性代码/数学规则 Verifier，MarkTune 巧妙地将 GaussMark 的假设检验统计量作为内生的直接奖励源。给定生成模型采样的序列 \(y\)，利用冻结的基座参考模型 \(p_{\theta_{\mathrm{ref}}}\) 计算其关于待水印权重 \(\theta_{\mathrm{wm}}\) 的全序列对数似然梯度，并将其投影到密钥向量 \(\xi_{\sigma}\) 上：

\[\mathcal{R}_{\mathrm{wm}}(y; \xi_{\sigma}) = \frac{\langle \xi_{\sigma}, \nabla_{\theta_{\mathrm{wm}}} \log p_{\theta_{\mathrm{ref}}}(y) \rangle}{\sigma \|\nabla_{\theta_{\mathrm{wm}}} \log p_{\theta_{\mathrm{ref}}}(y)\|_2}\]

由于该标量统计量在零假设下服从标准正态分布，而在备择假设下其均值正向偏移，因此最大化该统计量等价于在策略空间直接拉大备择假设与零假设的统计区分度。在计算奖励时，MarkTune 完全无需访问输入 Prompt \(x\)，仅对完整生成文本序列计算梯度，这与实际检测端无法获知原始 Prompt 的黑盒/灰盒落地约束完全契合。

3. 外部高质量分布锚定：打破基座模型 KL 惩罚对抗的瓶颈

在传统的策略优化（如 PPO/RLHF）中，为了防止模型偏离初始能力，往往在损失中引入惩罚项 \(\mathrm{D}_{\mathrm{KL}}(p_{\theta} \| p_{\theta_{\mathrm{base}}})\)。然而在权重内嵌水印任务中，增强水印信号本质上要求权重分布在关键表征方向上发生有意义的位移；若惩罚项强行将模型拉回基座模型 \(p_{\theta_{\mathrm{base}}}\)，正则化项将与水印奖励产生直接对抗，导致优化在原有 GaussMark 的折中前沿上停滞不前。MarkTune 的核心突破在于解除对基座模型的依赖，转而锚定到一个外部高质量参考分布：在通用设定下采用人类无水印语料（如 OpenWebText）的交叉熵损失 \(\mathcal{L}_{\mathrm{ce}} = -\frac{1}{T}\sum_{t=1}^T \log p_{\theta}(x_t \mid x_{<t})\)，在蒸馏设定下采用针对更大尺寸 Oracle 模型的正向 KL 散度 \(\mathcal{L}_{\mathrm{kl}} = \mathrm{D}_{\mathrm{KL}}(p_{\theta} \| p_{\text{oracle}})\)。局部几何分析表明，在高质量模型流形邻域内，存在特定的权重调整方向使得检验统计量以一阶速率增加，而交叉熵损失仅以二阶速率增加，从而在几乎不损伤生成质量的平坦低谷内完成了检测信号的显著放大。

损失函数 / 训练策略¶

MarkTune 采用无 Critic 的群体相对策略优化（GRPO）求解双目标优化问题。对于从语料中采样的 Prompt \(x\)，当前策略采样 \(G\) 个候选回复 \(\{y_j\}_{j=1}^G \sim p_{\theta_{\mathrm{old}}}(\cdot \mid x)\)，计算对应的标量水印奖励 \(r_j = \mathcal{R}_{\mathrm{wm}}(y_j; \xi_{\sigma})\)。随后在组内对奖励进行均值与方差标准化，得到无偏优势估计值：

\[\widehat{A}_j = \frac{r_j - \mathrm{mean}(\mathbf{r})}{\mathrm{std}(\mathbf{r})}\]

在此基础上，策略网络通过重要性采样比率 \(\rho_j(\theta) = \frac{p_{\theta}(y_j \mid x)}{p_{\theta_{\mathrm{old}}}(y_j \mid x)}\) 与 PPO 风格的裁剪项联合优化，整体目标函数为：

\[\mathcal{J}(\theta) = \mathbb{E}_{x \sim \mathcal{D}, \{y_j\}_{j=1}^G \sim p_{\theta_{\mathrm{old}}}} \left[ \frac{1}{G} \sum_{j=1}^G \min\left( \rho_j(\theta)\widehat{A}_j, \mathrm{clip}(\rho_j(\theta), 1-\varepsilon, 1+\varepsilon)\widehat{A}_j \right) \right] - \lambda \mathcal{L}_{\mathrm{reg}}(\theta; x)\]

实验中，对 Qwen3-4B-Base 设置组大小 \(G=8\)、Prompt Batch 大小 64、学习率 \(5\times 10^{-6}\)（余弦退火、20 步预热）、正则化系数 \(\lambda=0.01\)；目标权重定位在第 28 层的 MLP 上投影矩阵（mlp.up_proj），训练 200 步即可收敛。对 Llama2-7B，目标权重定位在第 30 层 mlp.up_proj，设置 \(\lambda=0.005\)，训练 300 步。

在检测阶段，对于长度为 \(T\) 的待测文本 \(y\)，计算统计量 \(\psi(y, \xi_{\sigma}) = \frac{\langle \xi_{\sigma}, \nabla_{\theta_{\mathrm{wm}}} \log p_{\theta_{\mathrm{ref}}}(y) \rangle}{\sigma \|\nabla_{\theta_{\mathrm{wm}}} \log p_{\theta_{\mathrm{ref}}}(y)\|_2}\)。根据理论分析，在零假设 \(\mathbf{H}_0\) 下 \(\psi \sim \mathcal{N}(0, 1)\)，因此设定判定阈值 \(\tau_{\alpha} = \Phi^{-1}(1-\alpha)\) 可在严格数学意义上保证假阳率不超过 \(\alpha\)。

实验关键数据¶

主实验¶

实验在 Qwen3-4B-Base（采样温度 \(T=0.7\)）与 Llama2-7B（采样温度 \(T=1.0\)）上开展，评估涵盖文本补全任务 C4-RealNewsLike 与长文本问答任务 ELI5（各采样 500 个 Prompt，生成 200 tokens）。评估指标包括 ROC 曲线下面积（AUC）、在 1% 假阳率下的真阳率（TPR@FPR=1%）、Oracle 模型困惑度（PPL）、3-gram 序列重复率（Seq-rep-3）以及分布相似度（MAUVE）。

模型与方法	C4 AUC↑	C4 TPR@1%↑	C4 PPL↓	C4 Seq-rep-3↓	C4 MAUVE↑	ELI5 AUC↑	ELI5 TPR@1%↑	ELI5 PPL↓
Qwen3-4B-Base
No Watermark	0.500	0.010	4.92 ± 1.34	0.04	0.98	0.500	0.010	2.67 ± 0.94
KGW-1 (推理端)	0.996	0.964	5.51 ± 1.56	0.04	0.98	0.971	0.710	3.04 ± 1.12
KGW-2 (推理端)	1.000	0.998	6.65 ± 1.91	0.04	0.96	0.996	0.988	3.69 ± 1.51
Gumbel-max (推理端)	0.995	0.980	4.89 ± 2.07	0.18	0.74	0.991	0.938	2.71 ± 1.01
SynthID (推理端)	0.996	0.986	5.05 ± 1.54	0.04	0.96	0.993	0.946	2.76 ± 0.95
KGW-D (内嵌蒸馏)	0.981	0.762	5.54 ± 1.53	0.04	0.98	0.941	0.542	3.09 ± 1.17
GaussMark (内嵌编辑)	0.983	0.788	5.16 ± 1.54	0.04	0.98	0.979	0.734	2.83 ± 1.07
MarkTune (本文)	0.995	0.964	5.04 ± 1.37	0.03	0.97	0.996	0.942	2.78 ± 1.03
Llama2-7B
No Watermark	0.500	0.010	6.55 ± 1.80	0.01	0.98	0.500	0.010	7.86 ± 2.23
KGW-1 (推理端)	0.991	0.886	7.09 ± 2.04	0.02	0.96	0.993	0.946	8.47 ± 2.39
KGW-2 (推理端)	0.997	0.996	8.14 ± 2.36	0.01	0.95	1.000	1.000	9.61 ± 2.68
Gumbel-max (推理端)	0.997	0.988	6.56 ± 1.84	0.14	0.86	0.998	0.994	7.98 ± 2.29
SynthID (推理端)	0.995	0.994	6.73 ± 1.94	0.03	0.94	0.997	0.988	8.06 ± 2.41
KGW-D (内嵌蒸馏)	0.945	0.582	7.04 ± 1.98	0.02	0.98	0.969	0.754	8.53 ± 2.41
GaussMark (内嵌编辑)	0.974	0.712	6.78 ± 1.91	0.01	0.98	0.958	0.622	8.13 ± 2.15
MarkTune (本文)	0.997	0.982	6.75 ± 1.96	0.01	0.96	0.993	0.930	8.19 ± 2.27

消融实验¶

下表展示了正则化项配置与锚点选择对 Qwen3-4B-Base 在 C4 数据集上的影响消融（测试指标为 TPR@1%FPR、PPL、Seq-rep-3 与 MAUVE）。

配置与消融项	AUC↑	TPR@1%↑	PPL↓	Seq-rep-3↓	MAUVE↑	说明
无正则项 (Base RL)	0.999	0.992	5.88 ± 1.55	0.06	0.89	纯奖励最大化导致文本质量与多样性退化
+ CE (\(\lambda=0.005\))	0.997	0.976	5.35 ± 1.43	0.05	0.94	较轻正则，检测力高但仍有一定 PPL 抬升
+ CE (\(\lambda=0.01\), 默认)	0.995	0.964	5.04 ± 1.37	0.03	0.97	帕累托最优均衡点，兼顾检测与极低文本失真
+ CE (\(\lambda=0.05\))	0.989	0.902	4.97 ± 1.31	0.03	0.97	强正则，质量近乎无损但略微压缩了检测力
+ KL-Oracle (\(\lambda=0.005\))	0.993	0.930	5.36 ± 1.41	0.06	0.95	锚定至 Qwen3-8B，达到强健均衡
锚定基座 KL (质量对齐)	0.986	0.796	5.09 ± 1.52	0.03	0.98	约束回基座模型，退化至与 GaussMark 无异
锚定基座 KL (检测对齐)	0.993	0.940	5.46 ± 1.60	0.03	0.94	强行提升检测力时，PPL 与 MAUVE 显著恶化
纯无水印基座模型	0.500	0.010	4.92 ± 1.34	0.04	0.98	无水印基线参考点

关键发现¶

内嵌模型水印的大幅跨越：在 C4-RealNewsLike 上，MarkTune 将 Qwen3-4B-Base 的 TPR@1% 从 GaussMark 的 0.788 显著提升至 0.964，在 Llama2-7B 上从 0.712 跃升至 0.982，同时 PPL 保持在 5.04 和 6.75，高度贴近无水印基座模型（4.92 / 6.55），性能彻底压倒同为内嵌型的 KGW-D。
改写对齐与释义攻击下的稳健性：在 Dipper-1 释义攻击下，MarkTune 的 TPR 在两模型上分别维持在 0.852 与 0.836，显著超越推理端基线 KGW-1（0.142 / 0.116）、SynthID（0.576 / 0.552）以及 GaussMark（0.438 / 0.240）；在英法双向回译（Roundtrip Translation）攻击下，MarkTune 的 TPR 仍高达 0.858 与 0.834。
抵抗 LoRA 持续微调攻击的能力：当对抗者尝试使用 LoRA 在独立语料上进行 1500 步持续微调以洗除水印时，由于 MarkTune 初始水印信号极其强健，其 TPR 仅平缓下降至 0.730（Qwen3），而 GaussMark 与直接 GRPO 训练的模型在微调后检测力迅速衰减跌破 0.50。
推理与检测效率完全保留：在单张 H200 GPU 上，MarkTune 的单样本生成时间为 3422.8 ms（Qwen3），相比纯净模型/GaussMark 几乎零额外延迟，且比推理端方案 KGW（3714.6 ms）快 8.5%，比 SynthID（3971.9 ms）快 16%；检测仅需一次前向反向传播耗时约 27.0 ms，远低于 Gumbel-max 的 175.7 ms。
下游基准无损：在 MMLU（通用推理）、GSM8K（数学推理）和 MBPP（代码合成）评测中，MarkTune 的相对准确率基本稳定在 98%~100%，尤其在 MBPP 上明显优于施加大扰动的 GaussMark。

亮点与洞察¶

解耦“质量保持”与“基座模型邻近度”：传统水印认为不损害质量必须留在基座模型邻域内，MarkTune 指出大模型参数空间存在广阔的高质量流形，将正则化锚点转向人类分布或 Oracle 模型，成功解除了正则化项对水印信号的扼杀。
闭式检验统计量作为内生强化奖励：巧妙利用 GaussMark 假设检验统计量的解析梯度内积形式作为 RL 奖励，无需训练易受攻击的 Reward Model，实现端到端的检测效力直接驱动。
为开源模型水印落地提供范式：首次在无解码干预、无推理延迟的开源权重模型中，实现了匹敌乃至超越推理端水印的综合质量与极低假阳率检测水平。

局限与展望¶

依赖白盒模型进行检测验证：检测端需要完整前向与反向传播获取梯度向量，计算显存开销与模型参数成正比，在极低算力设备或完全黑盒的检测场景中部署受限。
离线训练计算开销：相比于直接加噪的 GaussMark，MarkTune 需要进行 200~300 步的在策略 GRPO 微调（在 4 张 H200 上耗时 8~13.5 小时），在大规模基础模型分发前需预留离线对齐预算。
未来方向：探索多层或注意力参数的联合自适应水印嵌入、设计免反向传播的快速核近似检验统计量、以及研究多密钥共存下的动态容量扩展机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出利用在策略强化学习将统计检验量作为内生奖励优化权重内嵌水印，解耦基座锚定的思路极具洞察力。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖双模型、双生成任务、文本释义与微调/剪枝/量化攻击，主实验、消融实验、理论分析与低 FPR 分析完整详实。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，局部 Fisher 几何解释深刻，问题陈述与实验对比论证层层递进。
价值: ⭐⭐⭐⭐⭐ 为开源权重时代大语言模型的内容溯源与防伪追溯提供了高实用价值、零推理开销的系统级解决方案。