Majority Bit-Aware Watermarking for Large Language Models¶
会议: NeurIPS 2026
arXiv: 2508.03829
代码: https://github.com/JiiahaoXU/MajorMark
领域: AIGC检测与水印
关键词: 大语言模型水印, 多比特水印, 多数比特感知编码, 绿名单比例, 聚类与确定性解码
一句话总结¶
针对传统摄动式多比特水印中绿名单比例 \(\gamma\) 偏小损害文本质量的核心权衡，本文提出多数比特感知编码范式（MajorMark 与 MajorMark+），通过将词表分片并按消息多数比特选择绿分片集合，从机制上打破检测信号强度对绿名单缩小的依赖，在保证 \(\gamma \ge 0.5\) 的同时显著提升解码准确率与生成文本多样性。
研究背景与动机¶
随着大语言模型（LLM）在对话、创作及各类服务中的大规模部署，滥用 LLM 批量生成虚假新闻、钓鱼欺诈及恶意评论的安全隐患日益加剧。为了追溯文本来源与滥用责任，多比特水印技术成为关键手段。云端模型服务提供商希望在生成文本中隐蔽嵌入多比特二进制消息（如用户标识、模型版本或时间戳），以便在后续监管审计中通过解码器高精度还原该信息。
然而，现有的摄动式多比特水印方案（如 MPAC、RSBH、CycleShift）普遍陷入生成质量与解码准确率的尖锐权衡。在这些方法中，解码过程本质上依赖于统计生成词命中重构绿名单的频次。在固定加权偏置 \(\delta\) 的前提下，为了拉开命中率差异以确保解码置信度，现有方法不得不将绿名单比例 \(\gamma = |\mathcal{G}|/|\mathcal{V}|\) 压得很小（例如 MPAC 设为 0.25，甚至更低）。但窄绿名单严重破坏了自回归采样的原始概率分布：上下文高度匹配的高概率词因落入红名单而被大幅抑制，低概率次优词则因落入绿名单被强行放大采样，导致输出文本困惑度（PPL）飙升、语义连贯性与表达多样性明显劣化。
本文的切入角度是解耦「绿名单大小」与「水印信号强度」的固有绑定：不再通过缩减绿名单来堆积词频落差，而是将信息编码在特定词表分片的组合选择上。核心 idea：利用二值消息中多数比特（0 或 1）天然出现至少过半的数学性质，将词表均分为与消息比特一一对应的分片，并仅将对应多数比特的分片并入绿名单，从而在先天保证绿名单比例 \(\gamma \ge 0.5\) 的同时，将解码问题转化为基于分片词频偏置的多分片统计推断。
方法详解¶
整体框架¶
在自回归生成阶段，输入用户提示词 \(\mathbf{x}_p\) 和待嵌入的 \(b\) 比特二进制消息 \(\mathbf{m} \in \{0,1\}^b\)。在生成第 \(t\) 个词元时，模型输出原始对数几率 \(\ell^t\)。多数比特感知编码首先确定消息（或块内消息）的多数比特 \(\lambda\)，然后通过上下文伪随机哈希种子将词表 \(\mathcal{V}\) 置换并均匀切分为 \(b\) 个不相交的分片。系统将所有对应位取值为 \(\lambda\) 的分片合并构成绿名单 \(\mathcal{G}\)，并向该名单内的词元对数几率施加偏置 \(\delta\)。由于多数比特出现频次至少为 \(\lceil b/2 \rceil\)，绿名单比例必然满足 \(\gamma \ge 0.5\)。解码阶段，解码器利用相同哈希规则反向重构每个位置的词表分片归属，统计各分片累计命中词频，通过聚类分析或确定性参数枚举直接恢复原始嵌入消息 \(\mathbf{m}'\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入: 提示词与b位消息m"] --> B["多数比特感知分片映射<br/>词表切分b个分片并取多数位并集"]
B --> C["上下文自适应偏置注入<br/>对多数比特分片注入偏置项δ采样xt"]
C --> D["自回归文本输出<br/>获得高保真水印文本序列x"]
D --> E["分片词频统计与解码恢复<br/>统计分片频次并通过聚类/确定性推断恢复m"]关键设计¶
1. 多数比特感知分片映射：在机制上打破绿名单缩小的约束 针对传统方法为保证可检测性必须压低绿名单比例 \(\gamma\) 从而重创生成质量的痛点，该设计利用二值消息的组合特性实现空间划分。对于长度为 \(b\) 的消息 \(\mathbf{m}\)，统计划分为 0 和 1 的比特数 \(h_0, h_1\)。若 \(h_1 \ge h_0\)，则定义多数比特 \(\lambda = 1\)，否则 \(\lambda = 0\)。词表经伪随机置换后被等分为 \(b\) 个互不相交的分片 \(\mathcal{V}_1, \dots, \mathcal{V}_b\)，其中第 \(i\) 个分片直接对应消息的第 \(i\) 位比特 \(m_i\)。系统将所有满足 \(m_i = \lambda\) 的分片并集定义为绿名单： $\(\mathcal{G} = \bigcup_{i: m_i = \lambda} \mathcal{V}_i\)$ 由于多数比特出现次数天然满足 \(h_\lambda \ge \lceil b/2 \rceil\)，构建出的绿名单规模先天满足 \(|\mathcal{G}| \ge 0.5 |\mathcal{V}|\)，即 \(\gamma \ge 0.5\)。理论证明，对于随机 \(b\) 比特消息，其期望绿名单比例达到 \(\mathbb{E}_{\mathbf{m}}[\gamma] \approx 0.5 + 1/\sqrt{2\pi b}\)，严格大于传统固定 0.25 或 0.50 的方案，极大保留了最优词元的采样空间。
2. 上下文与多数位协同哈希设计：消除伪随机重复并使能无监督多数位提取 在自回归生成中，前一词元的高频重复（如冠词、助动词）会导致基于单词元哈希的绿名单模式反复重合，进而造成特定词元被过度加偏置，劣化文本多样性。针对此问题，本文扩展了哈希种子函数的上下文视野，将前两个词元 \(x_{t-1}, x_{t-2}\) 以及待嵌入消息的多数比特 \(\lambda\) 联合送入伪随机哈希： $\(s = \mathtt{Hash}(k, x_{t-1}, x_{t-2}, \lambda)\)$ 这一设计兼具两重优势：一方面引入双词元窗口显著增强了分片排列的分布熵；另一方面，由于解码器在检验待检文本时未知发送方使用的是 \(\lambda=0\) 还是 \(\lambda=1\)，引入 \(\lambda\) 会使得仅当假设的多数比特与编码时完全一致时，反推出的词元到分片映射才会呈现因偏置 \(\delta\) 导致的显著偏斜（Skewed），而错误的假设会导致统计计数呈现接近均匀分布。这为解码阶段以单次额外遍历高效判定真实的 \(\lambda\) 提供了数学依据。
3. 双层分片统计与聚类解码（MajorMark）：无预设阈值的多位协同解码 传统多比特解码通常针对每个比特独立设立判定超平面，极易受局部上下文方差干扰。MajorMark 在获取可疑文本后，分别假设 \(\lambda \in \{0, 1\}\) 计算各分片的词元累积频次分布，选取标准差更大、偏斜更明显的候选者作为真实多数比特。随后，对这 \(b\) 个分片的累积词频特征执行无监督聚类算法（如 \(K=2\) 的 KMeans 聚类）。由于属于多数比特的分片在生成阶段全局获得了偏置 \(\delta\)，其平均频次显著高于非多数分片。MajorMark 将均值更高的分片簇 \(\mathcal{C}\) 判定为多数比特分片集合，直接解码赋值：对任意 \(i \in \mathcal{C}\) 设 \(m'_i = \lambda\)，其余位置设 \(m'_i = 1 - \lambda\)。整个解码流程仅需 \(2 \times |\mathbf{x}|\) 次词元遍历操作，计算耗时仅数秒。
4. 块级多数比特编码与确定性排序解码（MajorMark+）：应对长消息的渐进退化 随着消息长度 \(b\) 的增大，MajorMark 的期望绿名单比例会以 \(O(1/\sqrt{b})\) 的速度收敛回 0.5，且长消息下各分片分得的词元样本量减少，无监督聚类对决策边界处的微弱统计波动变得敏感。为彻底解决长消息下的退化问题，MajorMark+ 提出了分块增强方案。它将 \(b\) 位消息等分为 \(r\) 个块 \(\{\mathbf{m}_1, \dots, \mathbf{m}_r\}\)，利用上下文散列将第 \(t\) 步的词元随机分配给特定块 \(i = (x_{t-2} + x_{t-1}) \bmod r\) 进行独立编码。这样期望绿名单比例减缓收敛至 \(\mathbb{E}_{\mathbf{m}}[\gamma] \approx 0.5 + 1/\sqrt{2\pi(b/r)}\)。同时，哈希函数进一步融入块内多数比特出现次数 \(h_{\lambda_i}\)： $\(s = \mathtt{Hash}(k, x_{t-1}, x_{t-2}, \lambda_i, h_{\lambda_i})\)$ 解码时无需聚类，而是遍历每块所有合法的 \((\lambda_i, h_{\lambda_i})\) 组合（仅需 \(b/r - 1\) 次遍历），选取偏斜度最大的参数配置，并将该配置下词频排名前 \(h_{\lambda_i}\) 的分片确定性赋值为 \(\lambda_i\)。该设计彻底排除了聚类边界误差，以极高的鲁棒性适应 \(b=64\) 及以上长消息场景。
一个完整示例¶
假设嵌入 \(b=6\) 比特消息 \(\mathbf{m} = 110111\)： 1. 编码阶段：统计得 \(h_1=5, h_0=1\)，因此多数比特 \(\lambda=1\)。在词元生成时，词表被均匀划分为 6 个分片 \(\mathcal{V}_1 \sim \mathcal{V}_6\)。绿名单由对应比特为 1 的分片并集构成，即 \(\mathcal{G} = \mathcal{V}_1 \cup \mathcal{V}_2 \cup \mathcal{V}_4 \cup \mathcal{V}_5 \cup \mathcal{V}_6\)。绿名单比例高达 \(\gamma = 5/6 \approx 0.833\)。模型对属于这 5 个分片的词元几率加上偏置 \(\delta\) 后执行采样。 2. 解码阶段：接收方收到文本后，分别尝试 \(\lambda=1\) 和 \(\lambda=0\) 还原分片计数。测试 \(\lambda=1\) 时分片累计频次呈现高度倾斜（分片 1, 2, 4, 5, 6 的计数明显拔高，分片 3 显著偏低），判定 \(\lambda=1\) 为真实值。运行 \(K=2\) 聚类，高计数簇直接聚出索引 \(\{1, 2, 4, 5, 6\}\)，低计数簇为 \(\{3\}\)。因此精准重构输出 \(\mathbf{m}' = 110111\)。
实验关键数据¶
主实验¶
实验采用 LLaMA-2-7B 作为基座生成模型，在 C4 新闻数据集文本续写任务上进行评测。评测指标包括解码比特准确率（BA, %）、由 LLaMA-2-13B 计算的生成文本条件困惑度（PPL，无水印基线为 3.81）以及 Top-5 词元命中率（Top-5，%）。下表汇总了不同消息长度 \(b \in \{8, 32, 64\}\) 在不同加权偏置 \(\delta \in \{2, 4, 6\}\) 下的综合表现：
| 消息长度 | 方法 | \(\delta=2\) (BA / PPL) | \(\delta=4\) (BA / PPL) | \(\delta=6\) (BA / PPL) | 平均 BA↑ | 平均 PPL↓ |
|---|---|---|---|---|---|---|
| \(b=8\) | CycleShift | 100.00 / 5.09 | 100.00 / 8.64 | 100.00 / 15.44 | 100.00 | 9.72 |
| DepthW | 95.62 / 4.53 | 100.00 / 8.24 | 100.00 / 25.49 | 98.54 | 12.75 | |
| MPAC | 99.38 / 5.03 | 100.00 / 8.74 | 100.00 / 16.06 | 99.79 | 9.94 | |
| RSBH | 100.00 / 4.80 | 100.00 / 6.36 | 100.00 / 8.66 | 100.00 | 6.61 | |
| MajorMark | 100.00 / 4.50 | 100.00 / 5.87 | 100.00 / 7.81 | 100.00 | 6.06 | |
| MajorMark+ | 100.00 / 4.43 | 100.00 / 5.75 | 100.00 / 6.97 | 100.00 | 5.72 | |
| \(b=32\) | MPAC | 89.22 / 5.03 | 98.75 / 9.37 | 100.00 / 15.32 | 95.99 | 9.91 |
| RSBH | 89.38 / 4.68 | 97.66 / 6.43 | 97.50 / 8.47 | 94.85 | 6.53 | |
| MajorMark | 96.74 / 4.43 | 99.06 / 6.32 | 100.00 / 8.36 | 98.60 | 6.37 | |
| MajorMark+ | 97.81 / 4.49 | 100.00 / 6.05 | 100.00 / 7.90 | 99.27 | 6.15 | |
| \(b=64\) | MPAC | 81.48 / 4.99 | 93.59 / 8.64 | 96.48 / 15.95 | 90.52 | 9.86 |
| RSBH | 81.25 / 4.93 | 90.39 / 6.41 | 97.58 / 9.22 | 89.74 | 6.85 | |
| MajorMark | 83.59 / 4.78 | 93.83 / 6.11 | 98.67 / 8.82 | 92.03 | 6.57 | |
| MajorMark+ | 86.95 / 4.74 | 97.81 / 6.21 | 99.69 / 7.93 | 94.82 | 6.29 |
消融实验¶
针对 MajorMark 解码端不同的聚类算法，以及 MajorMark+ 中分块数量 \(r\) 的超参选择，在 \(b=32\) 下的消融分析结果如下：
| 方法变体 / 配置 | \(\delta=2\) (BA / PPL) | \(\delta=4\) (BA / PPL) | 平均 BA↑ | 平均 PPL↓ | 说明 |
|---|---|---|---|---|---|
| MajorMark (KMeans) | 96.74 / 4.43 | 99.06 / 6.32 | 97.90 | 5.38 | 默认聚类算法，各偏置下综合效果最优 |
| MajorMark (AC) | 94.06 / 4.43 | 99.84 / 6.32 | 96.95 | 5.38 | 凝聚层次聚类，强偏置下略高，弱偏置稍降 |
| MajorMark (GMM) | 92.81 / 4.43 | 99.84 / 6.32 | 96.33 | 5.38 | 高斯混合模型，弱偏置下聚类敏感度降低 |
| MajorMark+ (\(r=1\)) | 95.94 / 4.74 | 100.00 / 6.55 | 97.97 | 5.65 | 单块退化情况，PPL 略高于多分块方案 |
| MajorMark+ (\(r=2\)) | 97.81 / 4.49 | 100.00 / 6.05 | 98.91 | 5.27 | 默认设置，在 BA 与 PPL 间取得极佳 Pareto 平衡 |
| MajorMark+ (\(r=4\)) | 90.00 / 4.42 | 98.44 / 5.61 | 94.22 | 5.02 | 块数增加进一步降低 PPL，但削弱单块观测样本量 |
| MajorMark+ (\(r=8\)) | 91.88 / 4.46 | 98.59 / 5.20 | 95.24 | 4.83 | 绿名单更大使 PPL 逼近极值，但在 \(\delta=2\) 下 BA 有所损失 |
关键发现¶
- 大绿名单对文本质量的保真增益极其显著：随着加权偏置 \(\delta\) 从 2 增加到 6，MPAC 的 PPL 急剧恶化（从约 5.0 飙升到 15+），而 MajorMark 和 MajorMark+ 的 PPL 始终被压制在 8.0 以下。这充分证实扩充绿名单比例（\(\gamma \ge 0.5\)）能极大减少对模型自回归分布的暴力畸变。
- 长消息与低偏置下的解码韧性：在 \(b=64, \delta=2\) 的严苛设定下，传统 MPAC 和 RSBH 的比特准确率仅约 81%，而 MajorMark+ 达到了 86.95%；在 \(\delta=4\) 下，MajorMark+ 达到 97.81%，较 MPAC 领先 4.22%，较 RSBH 领先 7.42%。
- 解码效率与实用性：在 \(b=32\) 设定下，DepthW 需耗费指数级时间（约 \(8.89 \times 10^8\) 秒），RSBH 需 25.56 秒；而 MajorMark 仅需 2.18 秒，MajorMark+ 仅需 12.70 秒，不仅具备高准确率，且完全可在数秒内完成实际在线溯源验证。
亮点与洞察¶
- 解耦绿名单尺寸与信号强度：突破了「只有压窄绿名单才能拉开词频差进行解码」的经验教条，巧妙利用多比特序列的二值统计偏置，把水印信号转移到「哪些分片被整体激活」上。这种设计思路可被推广到所有依赖子集扰动的离散空间生成任务中。
- 自适应多数比特与哈希强耦合：将消息多数比特 \(\lambda\) 嵌入哈希种子输入，构建出「真假设强偏斜、假假设近均匀」的自监督校验机制。这一巧妙设计使得解码器在零额外元数据传输的前提下，仅耗费 \(O(1)\) 额外枚举即可确定核心隐变量。
- 确定性排序解码完全规避聚类误差：MajorMark+ 通过引入块内出现次数 \(h_{\lambda}\)，将连续聚类问题直接离散化为 Top-\(h_{\lambda}\) 词频排序，彻底解决了长消息下弱偏置导致的聚类边界模糊失效问题。
局限与展望¶
- 全 0 或全 1 极端消息的处理约束：当消息全为 0 或全为 1 时，多数比特覆盖率为 100%，会导致 \(\gamma=1.0\) 而无法注入偏置。虽然在长消息下此类极值空间占比微乎其微（如 \(b=32, r=2\) 仅占约 0.006%），但系统目前需人为剔除极端编码。
- 绿名单比例的自适应调控受限：由于 \(\gamma\) 由消息本身 0 与 1 的离散分布自动决定，用户无法独立设定任意精细的特定 \(\gamma\) 目标值，一定程度上限制了对安全-隐蔽性权衡的手动精细调节。
- 后续优化方向：未来可探索将多数比特感知与软加权连续分片技术相结合，放宽必须硬划分分片的约束；同时，进一步优化多块解码的批处理速度，并设计抵抗重度释义攻击（Paraphrase Attack）的鲁棒语义锚点。
相关工作与启发¶
- vs MPAC: MPAC 采用分块映射并将绿名单比例固定为 \(1/2^d\)（默认 0.25），造成文本生成困惑度剧烈恶化。本文方案将绿名单比例大幅提高到 0.5 以上，生成文本质量明显更优，同时在长消息下维持了更高的解码准确率。
- vs RSBH: RSBH 虽尝试将绿名单比例提升至 0.5，但其解码复杂度随分块大小呈现 \(O(2^d \cdot |\mathbf{x}|)\) 增长，且在长消息场景下的抗扰动解码准确率出现瓶颈。MajorMark+ 采用确定性分片偏斜推断，解码耗时减半的同时，各设置下的 BA 全面超越 RSBH。
- vs 零失真水印 (StealthInk / BiMark): 零失真方法虽然 PPL 接近原生生成，但在大模型或多样化长文本上的比特准确率极不稳定（例如 StealthInk 在 Qwen3-8B 上 BA 暴跌至 49.31%）。MajorMark 系列在保持极低 PPL 的同时，跨模型 BA 稳定在 98%~99.8% 以上。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆了多比特水印依赖窄绿名单的范式，数学设计精巧自洽。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖多模型（LLaMA-2/3.1, Qwen2.5/3, Gemma）、多数据集与重度编辑攻击测试，数据详实。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑主线极为清晰，理论推导与工程实现结合紧密。
- 价值: ⭐⭐⭐⭐⭐ 为兼顾高文本质量与高追踪能力的大模型多比特水印落地提供了切实可行的高效方案。