MC2Mark: Distortion-Free Multi-Bit Watermarking for Long Messages¶
会议: NeurIPS 2026
arXiv: 2602.14030
代码: https://github.com/cedrus/MC2Mark
领域: 安全
关键词: 大模型水印、多比特水印、无偏采样、多信道重加权、证据累积解码
一句话总结¶
本文提出无偏多比特大模型水印框架 MC2Mark，通过多信道着色重加权将比特消息映射为对称词表子集缩放，并结合多层顺序重加权与归一化证据累积解码，在保持原始文本质量的前提下实现了长消息的高精度鲁棒嵌入与无参提取。
研究背景与动机¶
随着大语言模型在各领域的爆发式应用，机器生成文本在流畅度与逻辑性上已高度逼近人类书写，由此引发的内容滥用、虚假信息传播与模型版权争议日益严峻。为了实现生成内容的来源追溯与所有权鉴别，统计水印技术应运而生。早期的零比特（0-bit）水印方案主要关注是否存在水印的二元判定，通过在解码阶段向特定词表子集注入伪随机偏差实现检测。然而，二元判定无法承载来源模型编号、用户标识符或会话元数据等细粒度追踪信息，因而无法满足真实工业级监管对溯源定位（Provenance Tracing）的核心需求。
针对这一瓶颈，学术界开始探索能够承载多比特载荷（Multi-bit payload）的文本水印方法。然而，现有方案在有效载荷长度、生成文本质量与检测鲁棒性之间面临尖锐的三方博弈。一方面，以 MPAC 和结合纠错码的方案为代表的技术虽然提升了比特嵌入容量，但会直接扭曲大语言模型的输出概率分布，导致语言模型生成质量（困惑度、BLEU 与多样性）显著下降；另一方面，能够保持输出分布期望无偏的无失真（Distortion-Free）方案（如 BiMark）在消息长度较短时表现尚可，但在处理长消息（例如 128 比特或 256 比特以上）时，检测准确率发生断崖式下跌，且无法抵御随机替换与释义改写等常见文本扰动。
产生这一困境的深层矛盾在于：无失真水印要求对词表采样的修改在密钥空间期望下严格等于原始分布，而多比特嵌入本质上需要将信息分散到大量正交或细分的子信道中；当嵌入消息长度增加时，每个独立比特分得的统计证据急剧稀释，若缺乏严密的概率重分配与证据聚合机制，微弱的信号极易被模型自身的生成熵和掩码随机性淹没。核心 idea：将多比特消息直接解释为词表划分的“着色标记”，在保持期望无失真约束下推导最优概率重分配闭式解，并通过分段掩码白化、多层顺序重加权增强与归一化证据累积实现长消息的高保真嵌入与精确解码。
方法详解¶
整体框架¶
MC2Mark 包含两个核心过程：基于多信道着色重加权与多层顺序重加权的文本生成过程，以及基于归一化证据累积的消息解码过程。
在生成阶段，对于待嵌入的 \(n\) 比特消息 \(\mathbf{q} \in \{0,1\}^n\)，系统首先采用分段机制将其拆解为 \(g\) 个子段，每段长度为 \(n' = n/g\)。在自回归生成的每个时间步 \(t\)，算法根据前缀哈希派生伪随机密钥，随机采样当前激活的段索引、异或掩码向量以及词表划分；将异或白化后的局部消息位映射为词表子集的“红/绿”着色状态。随后，系统执行多信道着色重加权（MCCR），在严格满足无失真期望与归一化约束的前提下，自适应放大绿色子集概率并溢出重分配剩余概率质量。为了进一步放大信噪比，该过程在单步内通过 \(m\) 个独立密钥进行多层顺序迭代（MLSR），最终从调制后的分布中采样输出下一个 token。
在解码阶段，检测器完全无需访问原始消息或模型 logits，仅凭生成文本序列自底向上重构各步各层的密钥、子段索引、掩码向量与词表划分。检测器定位观测 token 落入的词表子集，反解出对应的全局比特假设并累加“命中计数”；同时维护不同掩码配置下的“总机会计数”，通过归一化命中率抵消掩码与模型分布的抽样偏差，最终通过符号比较精准恢复全部原始比特。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["待嵌入长消息 q ∈ {0,1}ⁿ"] --> B["分段与异或掩码白化<br/>降低复杂度并保证均值无偏"]
B --> C["多信道着色重加权 MCCR<br/>绿集放大 + 溢出质量重分配"]
C --> D["多层顺序重加权 MLSR<br/>m 层马尔可夫式信号逐层强化"]
D --> E["无失真采样输出文本序列"]
E --> F["逐步重构密钥与划分<br/>定位命中子集与全局比特索引"]
F --> G["归一化证据累积解码<br/>命中数与机会数标准化比率判定"]
G --> H["恢复原始完整比特消息 q̂"]关键设计¶
1. 多信道着色重加权（MCCR）：无失真多比特调制的闭式重分配
传统无偏水印通常只针对二元划分（单一红绿集）进行概率拉伸，无法直接支持高维比特向量的同时嵌入。MC2Mark 建立多信道着色机制，将词表 \(V\) 均匀划分为 \(n\) 个互不相交的等大子集 \(\mathcal{V}^k = \{V_1^k, \dots, V_n^k\}\)，并将消息向量 \(\mathbf{c} \in \{0,1\}^n\) 解释为各子集的着色标识：\(c_i = 1\) 代表绿色子集，目标是提升其采样概率（缩放因子 \(\alpha_i^k \ge 1\)）；\(c_i = 0\) 代表红色子集，衰减其概率（\(\alpha_i^k \le 1\)）。为了严格满足无偏无失真条件 \(\mathbb{E}_{k}[\alpha_i^k] = 1\) 与概率和为 1 的归一化约束，作者利用对称性将约束转化为在排列空间 \(\Pi\) 上的期望守恒。设消息汉明重量为 \(l\)，理想的目标绿色放大尺度为 \(s^t = n/l\)。然而，受限于当前绿色子集的总概率质量 \(\beta(\bm{\pi}) = \sum_{i=1}^n \pi_i P_{V_i^k}\)，单信道实际允许的最大绿色缩放为：
由此产生无法直接分配的溢出尺度 \(s^o(\bm{\pi}) = s^t - s^a(\bm{\pi})\)，其在排列全集上的加权累计构成了各子集的总溢出概率 \(P_{V_i^k}^o = \sum_{\bm{\pi} \in \Pi} \pi_i s^o(\bm{\pi}) P_{V_i^k}\)。MC2Mark 将归一化后剩余的未分配概率质量 \(1 - s^a(\bm{\pi})\beta(\bm{\pi})\) 严格按照子集溢出概率的相对比例进行二次回填：
该闭式构造在理论上完美满足了 \(\sum_{i=1}^n \alpha_i^k P_{V_i^k} = 1\) 且 \(\mathbb{E}[\alpha_i^k] = 1\)，彻底解决了多比特同时调制时的概率坍缩与分布漂移难题。
2. 分段白化与多层顺序重加权（MLSR）：复杂度控制与水印强度倍增
直接计算式 (14) 需要遍历排列集合 \(\Pi\)，其空间复杂度为 \(\binom{n}{l}\)，当 \(l \approx n/2\) 时计算量达到 \(O(2^n / \sqrt{n})\)，在长消息下计算不可行。为此，MC2Mark 引入分段策略：将 \(n\) 比特消息切分为 \(g\) 个子段，每个子段长度为 \(n' = n/g\)（如取 \(n'=4\) 或 \(8\)），将复杂度直接骤降至可忽略的常数级。在每个生成步 \(t\)，通过伪随机种子选择一个子段 \(\mathbf{q}_{\mathrm{ind}_t}\) 并与随机掩码 \(\mathbf{h}_t \in \{0,1\}^{n'}\) 进行异或（\(\mathbf{q}'_t = \mathbf{q}_{\mathrm{ind}_t} \oplus \mathbf{h}_t\)），这一白化操作有效消除了原始消息本身的偏置，使期望汉明重量严格稳定在 \(n'/2\)。
此外，单层重加权在稀疏高熵上下文中的信号增益有限。MC2Mark 引入多层马尔可夫式顺序级联（MLSR）：在单步内依次使用 \(m\) 个通过前缀伪随机生成的独立子密钥 \(k_t^1, \dots, k_t^m\)。从基础模型分布 \(P_0 = P_M\) 出发，每一层 \(j \in \{1,\dots,m\}\) 将上一层更新后的分布 \(P_{j-1}\) 作为输入，基于当前层的词表划分与缩放因子迭代更新：\(P_j(x_{t+1}) = \alpha_{i}^{k_t^j} P_{j-1}(x_{t+1})\)。由于每一层独立采样且满足无偏期望，复合后的最终分布 \(P_m\) 依然严格保持无失真性质，但多层累积使绿色 token 的聚集效应呈指数级放大，极大增强了抗扰动能力。
3. 归一化证据累积解码：无参盲提取与观测偏差消除
在检测阶段，接收端仅拥有最终生成的文本序列 \(x_{1:T}\)，需要盲提取嵌入消息 \(\hat{\mathbf{q}}\)。若直接统计各比特对应绿色子集的绝对命中次数，会因为自回归生成中不同位置所采样的随机掩码 \(\mathbf{h}_t\) 与局部模型分布熵的波动而引入系统性偏置。为此，MC2Mark 设计了双计数器归一化证据累积机制：同时维护每位为 0 和为 1 的命中计数器 \(\mathbf{c}_0^{\mathrm{hit}}, \mathbf{c}_1^{\mathrm{hit}} \in \mathbb{Z}_{\geq 0}^n\) 与总机会计数器 \(\mathbf{c}_0^{\mathrm{total}}, \mathbf{c}_1^{\mathrm{total}} \in \mathbb{Z}_{\geq 0}^n\)。
对于每个时间步 \(t\) 和重加权层 \(j\)，解码器重构出激活子集 \(i^*\)（满足 \(x_{t+1} \in V_{i^*}^{k_t^j}\)）与全局比特索引 \(u^* = (\mathrm{ind}_t^j - 1)n' + i^*\)。若掩码位 \((\mathbf{h}_t^j)_{i^*} = 0\)，则观测到绿色子集意味着支持原假设 \(q_{u^*} = 1\)；若掩码位为 1，则支持 \(q_{u^*} = 0\)。解码器据此更新对应假设的命中计数。同时，在当前子段的所有 \(n'\) 个可能位置上，依据掩码配置更新每个比特在假设下“可能被观测到的总机会数”。序列处理完毕后，计算各比特在双假设下的经验命中率：
最终依据 \(\mathrm{HitRate}_1(i) > \mathrm{HitRate}_0(i)\) 判定该位为 1，否则为 0。这种归一化比率检验边际化了上下文概率波动与掩码分布随机性，实现了无需调整任何置信度阈值的稳健硬判决。
实验关键数据¶
主实验¶
主实验在 Qwen2.5-3B-Instruct 模型上评估，生成文本长度固定为 512，对比基线包括经典的非无偏多比特方案 MPAC（测试不同扰动强度 \(\delta=1.0, 1.5\)）以及最新的无失真多比特方案 BiMark。评估跨越 7 个数据集，涵盖故事生成（mmw_story）、新闻生成（fake_news）、读书报告（book_report）、指令写作（dolly_cw）、长文本问答（longform_qa）、金融问答（finance_qa）以及预训练子集（c4_subset）。
表 1 汇总了各方法在不同嵌入消息长度 \(n \in \{16, 32, 64, 128, 256, 512\}\) 下的平均比特解码准确率（提取命中正确率）：
| 消息长度 \(n\) | 方法 | book_report | mmw_story | fake_news | dolly_cw | longform_qa | finance_qa | c4_subset | 平均准确率 |
|---|---|---|---|---|---|---|---|---|---|
| 16 bit | MPAC (\(\delta=1.0\)) | 89.94% | 96.48% | 91.94% | 79.63% | 77.75% | 78.06% | 88.63% | 86.06% |
| 16 bit | MPAC (\(\delta=1.5\)) | 98.31% | 99.61% | 97.94% | 90.81% | 90.13% | 92.22% | 98.19% | 95.32% |
| 16 bit | BiMark | 99.06% | 99.61% | 98.81% | 94.38% | 97.09% | 97.13% | 99.62% | 97.96% |
| 16 bit | MC2Mark | 100.00% | 100.00% | 100.00% | 98.55% | 100.00% | 100.00% | 100.00% | 99.79% |
| 64 bit | MPAC (\(\delta=1.0\)) | 72.03% | 79.00% | 74.23% | 66.80% | 64.43% | 66.27% | 71.88% | 70.66% |
| 64 bit | MPAC (\(\delta=1.5\)) | 81.97% | 88.62% | 82.67% | 73.00% | 69.35% | 69.96% | 81.02% | 78.08% |
| 64 bit | BiMark | 88.13% | 91.67% | 88.40% | 87.76% | 87.43% | 86.08% | 91.77% | 88.75% |
| 64 bit | MC2Mark | 99.94% | 99.71% | 98.89% | 99.39% | 98.97% | 98.48% | 99.80% | 99.31% |
| 128 bit | MPAC (\(\delta=1.0\)) | 64.74% | 70.42% | 66.45% | 61.62% | 59.11% | 59.96% | 65.45% | 63.96% |
| 128 bit | MPAC (\(\delta=1.5\)) | 74.35% | 80.14% | 72.78% | 68.35% | 66.48% | 66.85% | 74.10% | 71.86% |
| 128 bit | BiMark | 74.82% | 79.35% | 77.58% | 74.99% | 75.50% | 72.52% | 80.04% | 76.40% |
| 128 bit | MC2Mark | 99.38% | 98.71% | 96.30% | 98.39% | 94.49% | 95.51% | 99.55% | 97.48% |
| 256 bit | MPAC (\(\delta=1.0\)) | 60.81% | 63.83% | 60.72% | 57.82% | 55.96% | 56.48% | 60.60% | 59.46% |
| 256 bit | MPAC (\(\delta=1.5\)) | 65.81% | 70.42% | 66.75% | 61.86% | 60.86% | 60.69% | 67.25% | 64.81% |
| 256 bit | BiMark | 57.27% | 60.99% | 58.74% | 57.62% | 56.75% | 53.87% | 60.57% | 57.97% |
| 256 bit | MC2Mark | 96.19% | 97.76% | 97.41% | 95.36% | 95.47% | 91.34% | 97.39% | 95.85% |
| 512 bit | MPAC (\(\delta=1.5\)) | 60.95% | 64.21% | 60.88% | 57.31% | 55.62% | 56.31% | 60.80% | 59.44% |
| 512 bit | BiMark | 38.19% | 41.18% | 39.79% | 37.77% | 36.68% | 36.82% | 40.62% | 38.72% |
| 512 bit | MC2Mark | 92.70% | 92.69% | 92.04% | 91.70% | 87.24% | 87.21% | 92.39% | 90.85% |
同时，论文在下游文本摘要（BART）和机器翻译（MBart）任务上验证了无失真特性，测试结果显示 MC2Mark 与无水印基线（No Watermark）在 BERTScore、ROUGE-1、困惑度（Perplexity）及 BLEU 上高度一致：
| 评估任务 | 水印方法 | BERTScore | ROUGE-1 / BLEU | Perplexity |
|---|---|---|---|---|
| 文本摘要 (BART) | 无水印 (No Watermark) | 0.3058 | 0.3772 (ROUGE-1) | 6.4155 |
| 文本摘要 (BART) | MPAC (\(\delta=1.0\)) | 0.3045 | 0.3715 | 6.7869 |
| 文本摘要 (BART) | MPAC (\(\delta=1.5\)) | 0.2897 | 0.3678 | 7.4193 |
| 文本摘要 (BART) | BiMark | 0.3172 | 0.3850 | 5.0777 |
| 文本摘要 (BART) | MC2Mark | 0.3065 | 0.3778 | 6.3742 |
| 机器翻译 (MBart) | 无水印 (No Watermark) | 0.5436 | 20.2038 (BLEU) | - |
| 机器翻译 (MBart) | MPAC (\(\delta=1.0\)) | 0.5358 | 20.0009 | - |
| 机器翻译 (MBart) | MPAC (\(\delta=1.5\)) | 0.5313 | 19.0335 | - |
| 机器翻译 (MBart) | BiMark | 0.5460 | 20.2671 | - |
| 机器翻译 (MBart) | MC2Mark | 0.5480 | 20.6516 | - |
消融实验¶
表 2 汇总了模型在受到恶意攻击与文本扰动时的鲁棒性消融测试（涵盖不同比例的随机 token 替换以及 Dipper 模型释义改写）：
| 消息长度 \(n\) | 扰动攻击类型 / 比例 | MPAC (\(\delta=1.0\)) | MPAC (\(\delta=1.5\)) | BiMark | MC2Mark |
|---|---|---|---|---|---|
| 16 bit | 随机替换 10% | 84.81% | 96.38% | 98.09% | 100.00% |
| 16 bit | 随机替换 30% | 73.19% | 87.13% | 85.78% | 100.00% |
| 16 bit | 随机替换 50% | 63.00% | 71.00% | 65.94% | 90.44% |
| 16 bit | Dipper 释义改写 | 60.06% | 66.19% | 51.56% | 72.40% |
| 64 bit | 随机替换 10% | 68.67% | 76.88% | 83.89% | 99.09% |
| 64 bit | 随机替换 30% | 62.03% | 66.50% | 67.28% | 91.52% |
| 64 bit | 随机替换 50% | 56.09% | 57.86% | 54.22% | 70.84% |
| 64 bit | Dipper 释义改写 | 55.23% | 56.59% | 59.32% | 62.51% |
| 256 bit | 随机替换 10% | 58.23% | 63.94% | 55.00% | 92.35% |
| 256 bit | 随机替换 30% | 54.79% | 58.67% | 45.97% | 75.52% |
| 256 bit | 随机替换 50% | 52.73% | 54.37% | 41.01% | 60.84% |
| 256 bit | Dipper 释义改写 | 52.55% | 53.92% | 51.30% | 54.90% |
| 512 bit | 随机替换 10% | 56.51% | 58.85% | 37.21% | 84.81% |
| 512 bit | 随机替换 30% | 54.37% | 55.75% | 31.99% | 68.84% |
| 512 bit | 随机替换 50% | 53.00% | 52.92% | 28.50% | 56.78% |
| 512 bit | Dipper 释义改写 | 52.57% | 52.61% | 44.78% | 54.01% |
关键发现¶
- 长消息嵌入能力的代际跃升：在 256 比特与 512 比特的长消息极端挑战下，先前的 SOTA 无失真方案 BiMark 解码准确率严重退化至 57.97% 和 38.72%（甚至低于二项随机猜测基准），而 MC2Mark 依然维持在 95.85% 与 90.85%，超越次优方法达 30% 到 50% 以上。
- 异或掩码（Mask Bit）是长消息解码的关键：在消融实验中，去掉随机掩码向量 \(\mathbf{h}_t\) 会导致长消息（\(n \ge 64\)）的解码精度急剧暴跌。掩码白化机制保证了各信道期望出现概率的对称性，消除了原始消息字面偏置引发的累积误差。
- 层数（Layers \(m\)）的饱和与衰减机制：增加重加权层数 \(m\) 能显著放大统计信号，对于短消息（\(n \le 32\)），\(m=5 \sim 10\) 时准确率已达 100%；对于长消息（\(n \ge 128\)），准确率随层数平滑上升并在 \(m=20\) 附近达到峰值，继续增加层数会出现边际收益递减甚至微弱的过拟合抖动。
- 跨文本长度的快速饱和：在生成长度仅为 50 个 token 时，MC2Mark 在 128 比特下的准确率即突破 70%（BiMark 低于 30%）；随着 token 长度增加，MC2Mark 呈现出比基线快得多的收敛速度，证明信号在序列各位置分布均匀。
亮点与洞察¶
- 无偏与容量的优雅调和：传统观念认为无失真约束严重压制了多比特嵌入容量，本文通过排列空间的对称性将多子集重加权转化为紧凑的闭式重分配，首次在数学上证明了高容量多比特嵌入与严格无偏分布可以兼得。
- 机会归一化的抗偏置解码器：提出利用总机会计数器消除采样配置不对称性的思想非常巧妙，将原本需要经验拟合阈值或依赖二项式尾部界检验的复杂检测转化为简洁的无参命中率比较，计算开销极低且完全自洽。
- 通用的多层级联信号放大范式：通过级联保持分布无偏的重加权层，实现了在不引入外部模型与无需反向传播梯度监督的前提下增强统计信噪比，该设计可直接迁移至其他基于重加权的无偏水印框架。
局限与展望¶
- 强释义改写下的信号衰减：在极端对抗的 Dipper 释义改写攻击下，当消息长度达到 256 比特以上时，准确率下降至 54.90% 左右（接近随机水平），表明在高度语义重写下抵抗极长消息丢失仍是全行业的开放挑战。
- 前缀依赖与编辑脆弱性：密钥派生高度依赖前缀 token 的哈希连续性，若文本开头遭受较大跨度的截断、插入或拼贴编辑，后续 token 的伪随机同步序列将被打乱，需结合自同步哈希技术进一步增强鲁棒性。
- 未来方向：探索与神经纠错码（ECC）或语义不变表示（Semantic Invariant Hash）的深层结合，在保持数学无偏的同时提升对强语义重构攻击的防御边界。
相关工作与启发¶
- vs MPAC (Yoo et al., 2024)：MPAC 采用位置分配将 token 路由到特定比特并复用 KGW 的红绿偏置，虽然能嵌入多比特，但直接改动 logits 会不可逆地破坏大模型输出分布，导致困惑度显著恶化；MC2Mark 在保证无偏分布的前提下，检测准确率和抗攻击性全面碾压 MPAC。
- vs BiMark (Feng et al., 2025)：BiMark 同样追求无偏多比特，但采用单比特逐层翻转机制，随着比特数扩展，信道互相干扰极其严重，在长消息（>64 bit）下完全失效；MC2Mark 提出的多信道着色闭式重加权与归一化证据累积，成功将无偏水印的实用容量从数十比特推高到 512 比特量级。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次实现支持 512 比特超长消息的严格数学无偏多比特水印]
- 实验充分度: ⭐⭐⭐⭐⭐ [跨 7 个通用数据集、多种大模型、文本摘要/机器翻译以及多级对抗扰动全面评测]
- 写作质量: ⭐⭐⭐⭐⭐ [数学推导严密自洽，附录给出完整的无偏性闭式证明与伪代码算法]
- 价值: ⭐⭐⭐⭐⭐ [为开源大模型的内容可信溯源与产权合规提供了极具部署价值的坚实方案]