MC\(^2\)Mark: Distortion-Free Multi-Bit Watermarking for Long Messages¶
会议: NeurIPS 2026
arXiv: 2602.14030
OpenReview: https://openreview.net/forum?id=tAD91Biw8h
论文: https://arxiv.org/abs/2602.14030
领域: 安全
关键词: 大语言模型水印, 多比特水印, 无失真水印, 长消息溯源, 多通道重加权
一句话总结¶
MC\(^2\)Mark 提出多通道着色重加权与多层序列加权框架，在严格保持大模型输出分布数学期望无偏的前提下，实现了长达 256/512 比特负载的高鲁棒、高准确率文本水印嵌入与免模型无损提取。
研究背景与动机¶
随着大语言模型生成文本的质量与流畅度逼近人类写作水平，由模型生成内容带来的虚假信息传播、版权争议及学术不端等问题愈发严峻，建立可靠的模型生成溯源机制已成为负责任人工智能部署的基础设施。统计型文本水印通过在解码阶段对词表分布施加由密钥控制的统计偏置，使检测端能够通过假设检验识别生成文本。早期的硬划分水印（如 Kirchenbauer 等人的红绿列表方案）会剧烈扭曲模型原始采样分布，导致低熵或逻辑敏感场景下的生成质量严重劣化。为此，Aaronson、Christ 以及近年来的 DiPmark、MCmark 等无失真（distortion-free）水印相继被提出，它们利用 Gumbel-max 变换或概率空间对称多通道缩放，确保加权后的采样概率在密钥空间期望下严格等于原始分布，有效保障了生成文本的自然度与语义准确性。
然而，现存无失真水印大多局限于零比特（zero-bit）二元判决，仅能回答“文本是否带水印”，无法在生成文本中承载版权所有者、模型版本、用户签名或时间戳等细粒度元数据。多比特（multi-bit）水印虽然通过引入位置分配（如 MPAC）或纠错码等机制实现了有效载荷嵌入，但往往以牺牲分布无偏性为代价，重新引入了质量劣化；即便是最新探索无失真多比特水印的 BiMark，其比特翻转重加权机制在处理长有效载荷（长消息）时统计信号衰减极为剧烈，当消息长度扩展至 128 比特以上时，提取准确率发生断崖式崩溃。如何在严格数学无失真和长消息大容量嵌入之间取得兼顾，是当前大模型内容安全与溯源领域的关键瓶颈。
本文的切入角度是：将多比特长消息看作对词表划分施加的结构化“着色约束”，通过解析求解置换群上的多通道概率缩放与溢出重分配，实现单步严格无偏，再借助多层级联与时序证据累积将统计信号无损放大。核心 idea：提出 MC\(^2\)Mark 框架，利用消息位向量对词表划分实施“多通道着色重加权”（MCCR）并精确补偿概率溢出以保证无失真，结合分段随机掩码与“多层序列重加权”（MLSR）强化信噪比，在提取端仅凭生成文本通过无偏证据累积实现长消息高准确率恢复。
方法详解¶
整体框架¶
MC\(^2\)Mark 的核心目标是在自回归生成每一步采样词 \(x_{t+1}\) 时，将预设的 \(n\) 比特全局二进制消息 \(\mathbf{q} \in \{0, 1\}^n\) 隐蔽地调制进候选词概率分布中，且满足无偏约束 \(\mathbb{E}_{k \sim \mathcal{K}}[P_{M,w}(x_{t+1} \mid \mathbf{x}_{1:t}, k)] = P_M(x_{t+1} \mid \mathbf{x}_{1:t})\)。整体生成与检测流程包含以下阶段： 1. 分段与随机掩码降维：为消除全排列优化面临的指数级组合爆炸，将 \(n\) 比特消息均匀拆分为 \(g\) 个长度为 \(n' = n/g\) 的子段，每步通过确定性密钥哈希伪随机抽取当前子段并与随机掩码异或白化，使局部载荷汉明权重期望严格等于 \(n'/2\)； 2. 多通道着色重加权 (MCCR)：依据局部载荷对比特位进行红/绿着色，绿位放大采样概率，红位衰减；为解决归一化引发的截断失真，显式计算所有置换空间下的可达缩放与溢出质量，并将剩余质量按溢出比例重分配，严格满足单层无偏条件； 3. 多层序列重加权 (MLSR)：在同一时间步串联应用 \(m\) 层独立的 MCCR 变换，逐层累加统计偏置以抵御后续文本编辑与释义攻击； 4. 证据累积检测器：在提取端无需访问模型 logits 或原始载荷，逆向重构每步每层的密钥、子段索引与掩码，定位命中词的所属分区，统计各比特位的命中率与总暴露机会，通过归一化似然差分判决还原原始消息。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入上下文与 n 比特消息 payload"] --> B["分段与掩码白化<br/>提取 n' 比特局部载荷并均匀化汉明权重"]
B --> C["多通道着色重加权 (MCCR)<br/>绿子集概率放大 + 溢出质量精准重分配"]
C --> D["多层序列重加权 (MLSR)<br/>串联 m 层连续重加权以倍增统计信噪比"]
D --> E["无失真采样输出 Next Token"]
E --> F["文本传输与潜在扰动环境"]
F --> G["证据累积检测器<br/>重构密钥与掩码 + 统计 HitRate 差分判决解码"]关键设计¶
1. 多通道着色重加权（MCCR）：基于置换对称性的严格无偏概率缩放
为了在编码消息的同时保持大模型输出分布数学无偏，MCCR 将 \(n'\) 比特局部消息向量 \(\mathbf{c} \in \{0, 1\}^{n'}\) 映射为词表分区上的颜色指引。在当前步 \(t\)，词表 \(\mathcal{V}\) 被伪随机均匀划分为 \(n'\) 个互不相交的子集 \(\mathcal{V}^k = \{V_1^k, \dots, V_{n'}^k\}\)。若 \(c_i = 1\)，则将 \(V_i^k\) 标记为绿色子集，赋予放大缩放因子 \(\alpha_i^k \ge 1\)；若 \(c_i = 0\)，则标记为红色子集，施加衰减因子 \(\alpha_i^k \le 1\)。为了保证在整个密钥空间期望下分布不失真，必须满足对任意子集置换 \(\bm{\pi} \in \Pi\)（\(\Pi\) 为汉明权重 \(l = \sum c_i\) 的所有二进制排列集合，大小为 \(\binom{n'}{l}\)）均有 \(\mathbb{E}_{\bm{\pi} \in \Pi}[F_i(\bm{\pi}, \mathcal{V}^k)] = 1\)。理想情况下，统一放大绿子集的理论目标倍率为： $\(s^t = \frac{\binom{n'}{l}}{\binom{n'-1}{l-1}} = \frac{n'}{l}\)$ 然而，实际采样分布中所有候选子集概率总和必须严格为 1。记给定置换 \(\bm{\pi}\) 下绿子集的实际总概率质量为 \(\beta(\bm{\pi}) = \sum_{i=1}^{n'} \pi_i P_{V_i^k}\)。当 \(s^t \beta(\bm{\pi}) > 1\) 时，无法直接按 \(s^t\) 线性放大，因此定义可实现的实际缩放因子为 \(s^a(\bm{\pi}) = \min(s^t, \frac{1}{\beta(\bm{\pi})})\)，未被满足的截断部分称为溢出量 \(s^o(\bm{\pi}) = s^t - s^a(\bm{\pi})\)。为了消除这一截断带来的统计偏差，MCCR 跨所有置换空间聚合溢出质量 \(P_{V_i^k}^o = \sum_{\bm{\pi} \in \Pi} \pi_i s^o(\bm{\pi}) P_{V_i^k}\)，并将归一化后剩余的概率质量 \(1 - s^a(\bm{\pi})\beta(\bm{\pi})\) 严格按照子集溢出概率的相对比例重分配给各子集： $\(\alpha_i^k = F_i(\mathbf{c}, \mathcal{V}^k) = c_i s^a(\mathbf{c}) + \frac{(1 - s^a(\mathbf{c})\beta(\mathbf{c})) P_{V_i^k}^o}{\left(\sum_{j=1}^{n'} P_{V_j^k}^o\right) P_{V_i^k}}\)$ 数学证明表明，该重分配函数在全部置换上的积分精确抵消了概率截断损失，使得 \(\mathbb{E}[\alpha_i^k] \equiv 1\)，从而在数学上严格实现了无失真多比特嵌入。
2. 分段与掩码白化机制：打破组合爆炸与负载偏差瓶颈
直接在全长 \(n\) 比特消息上应用 MCCR 需遍历计算 \(\binom{n}{l}\) 个置换通道。当汉明权重接近半数（\(l \approx n/2\)）时，计算复杂度跃升至 \(\mathcal{O}(2^n / \sqrt{n})\)，在长消息场景下计算完全不可行；同时，若用户消息本身全为 0 或全为 1，极端偏斜的汉明权重将破坏无偏放大的有效操作区间。MC\(^2\)Mark 创新性地引入了分段加异或掩码机制。系统将 \(n\) 比特长消息拆分为 \(g\) 个大小为 \(n' = n/g\) 的互不重叠片段（通常取 \(n'=4\) 或 \(8\)），将单步搜索空间极大地压缩在微秒级运算规模内。在自回归生成的每个时间步 \(t\)，利用前缀上下文哈希派生出段索引 \(\text{ind}_t \in \{1, \dots, g\}\) 和局部掩码向量 \(\mathbf{h}_t \in \{0, 1\}^{n'}\)，生成实际调制的局部有效载荷 \(\mathbf{q}'_t = \mathbf{q}_{\text{ind}_t} \oplus \mathbf{h}_t\)。异或掩码充当了分布白化器（whitening transform），确保期望有效载荷汉明权重稳定在 \(n'/2\)，彻底解耦了置换复杂度与全局消息长度，赋予框架向 256 或 512 比特甚至更长消息无缝拓展的能力。
3. 多层序列重加权（MLSR）与证据累积检测器：高阶信号增益与免模型解码
单层概率缩放所能承载的统计偏置在面对文本截断、随机替换与大模型释义攻击时信噪比有限。MC\(^2\)Mark 引入多层序列重加权（MLSR），在每个生成步 \(t\) 配置 \(m\) 个独立的确定性密钥子序列 \(k_t^1, \dots, k_t^m\)。初始分布 \(P_0\) 取基座模型输出，随后自递推地执行 \(m\) 轮独立的 MCCR 重加权，上一层的加权结果作为下一层的输入分布。由于每一层均满足无偏性质且密钥条件独立，复合重加权依然严格无失真，但多层叠加使得绿子集采样概率呈现几何级数的统计优势。 在检测阶段，解码器完全不需要访问原始基座模型及其输出 logits，仅需依据待检文本中的前缀上下文逐词重构 \(k_t^j\)、\(\text{ind}_t^j\)、\(\mathbf{h}_t^j\) 以及词表子集划分。当观测到生成词命中子集 \(i^*\) 时，即可推断该局部槽位被涂覆为绿，进而根据异或逆运算确定全局比特索引 \(u^* = (\text{ind}_t^j - 1)n' + i^*\) 对应的比特假设（若 \((\mathbf{h}_t^j)_{i^*} = 0\) 则支持 \(q_{u^*}=1\)，否则支持 \(q_{u^*}=0\)）。为了消除不同比特在随机掩码与分段采样过程中暴露频次不均的抽样方差，检测器同时维护命中计数 \(\mathbf{c}_v^{\text{hit}}\) 与总可用暴露机会 \(\mathbf{c}_v^{\text{total}}\)，计算标准化的经验命中率： $\(\text{HitRate}_v(i) = \frac{(\mathbf{c}_v^{\text{hit}})_i}{\max(1, (\mathbf{c}_v^{\text{total}})_i)}, \quad v \in \{0, 1\}\)$ 通过比较 \(\text{HitRate}_1(i) > \text{HitRate}_0(i)\) 独立判决每一比特的值，利用时间步长与网络层数构筑的大样本证据累积，将长消息提取准确率推向近乎确定性的高水平。
损失函数 / 训练策略¶
MC\(^2\)Mark 是纯解码阶段（decoding-time / inference-time）统计水印机制，完全无需对基座大语言模型进行额外参数微调、强化学习对齐或引入辅助神经网络训练。其核心优化体现在离线单步的概率质量最优匹配： - 无失真约束方程：严格受限于式 (5b) 与 (5c)，即 \(\sum_{i=1}^{n'} \alpha_i^k P_{V_i^k} = 1\) 以及 \(\mathbb{E}_{k \sim \mathcal{K}}[P_{M,w}] = P_M\)； - 优化目标：极大化绿色子集预期概率增益 \(J = \mathbb{E}_{k \sim \mathcal{K}}\left[\sum_{i=1}^{n'} \alpha_i^k c_i P_{V_i^k}\right]\)，通过闭式启发式溢出重分配公式实现全局最优折中； - 核心超参数设定：序列重加权层数 \(m\) 默认设置为 10 至 20 层（在文本长度 512 时，综合稳健性与延时饱和点处于 \(m=20\)）；子段长度 \(n'\) 采用小尺寸固定值（如 \(n'=4\) 或 \(8\)），通过调节段数 \(g = n / n'\) 灵活适配不同长度的全局消息。
实验关键数据¶
主实验¶
实验在 4 张 NVIDIA RTX 6000 Ada GPU 上完成，主干评估模型采用 Qwen2.5-3B-Instruct，生成文本长度固定为 512 词元。评估涵盖 MMW 数据集（book_report、mmw_story、fake_news）、dolly_cw、WaterBench（longform_qa、finance_qa）以及 C4 子集（c4_subset）共 7 大基准。在不同消息长度 \(n \in \{16, 32, 64, 128, 256, 512\}\) 下与领先的多比特基线 MPAC（分别设置扰动幅度 \(\delta=1.0\) 与 \(\delta=1.5\)）和无失真多比特基线 BiMark 进行对比，评估指标为位提取准确率（Bit Detection Accuracy）。
| 消息长度 \(n\) | 评估方法 | book_report | mmw_story | fake_news | dolly_cw | longform_qa | finance_qa | c4_subset |
|---|---|---|---|---|---|---|---|---|
| 16-bit | MPAC (\(\delta=1.0\)) | 89.94% | 96.48% | 91.94% | 79.63% | 77.75% | 78.06% | 88.63% |
| MPAC (\(\delta=1.5\)) | 98.31% | 99.61% | 97.94% | 90.81% | 90.13% | 92.22% | 98.19% | |
| BiMark | 99.06% | 99.61% | 98.81% | 94.38% | 97.09% | 97.13% | 99.62% | |
| MC\(^2\)Mark (本文) | 100.00% | 100.00% | 100.00% | 98.55% | 100.00% | 100.00% | 100.00% | |
| 64-bit | MPAC (\(\delta=1.0\)) | 72.03% | 79.00% | 74.23% | 66.80% | 64.43% | 66.27% | 71.88% |
| MPAC (\(\delta=1.5\)) | 81.97% | 88.62% | 82.67% | 73.00% | 69.35% | 69.96% | 81.02% | |
| BiMark | 88.13% | 91.67% | 88.40% | 87.76% | 87.43% | 86.08% | 91.77% | |
| MC\(^2\)Mark (本文) | 99.94% | 99.71% | 98.89% | 99.39% | 98.97% | 98.48% | 99.80% | |
| 128-bit | MPAC (\(\delta=1.0\)) | 64.74% | 70.42% | 66.45% | 61.62% | 59.11% | 59.96% | 65.45% |
| MPAC (\(\delta=1.5\)) | 74.35% | 80.14% | 72.78% | 68.35% | 66.48% | 66.85% | 74.10% | |
| BiMark | 74.82% | 79.35% | 77.58% | 74.99% | 75.50% | 72.52% | 80.04% | |
| MC\(^2\)Mark (本文) | 99.38% | 98.71% | 96.30% | 98.39% | 94.49% | 95.51% | 99.55% | |
| 256-bit | MPAC (\(\delta=1.0\)) | 60.81% | 63.83% | 60.72% | 57.82% | 55.96% | 56.48% | 60.60% |
| MPAC (\(\delta=1.5\)) | 65.81% | 70.42% | 66.75% | 61.86% | 60.86% | 60.69% | 67.25% | |
| BiMark | 57.27% | 60.99% | 58.74% | 57.62% | 56.75% | 53.87% | 60.57% | |
| MC\(^2\)Mark (本文) | 96.19% | 97.76% | 97.41% | 95.36% | 95.47% | 91.34% | 97.39% | |
| 512-bit | MPAC (\(\delta=1.0\)) | 57.55% | 59.37% | 57.74% | 56.38% | 55.77% | 55.64% | 57.71% |
| MPAC (\(\delta=1.5\)) | 60.95% | 64.21% | 60.88% | 57.31% | 55.62% | 56.31% | 60.80% | |
| BiMark | 38.19% | 41.18% | 39.79% | 37.77% | 36.68% | 36.82% | 40.62% | |
| MC\(^2\)Mark (本文) | 92.70% | 92.69% | 92.04% | 91.70% | 87.24% | 87.21% | 92.39% |
消融与生成质量评估¶
下表总结了在 BART 文本摘要（CNN/DailyMail）与 MBart 机器翻译（WMT）任务上的下游生成质量评测，以及在不同扰动攻击下的鲁棒性消融对比。
| 评估任务 / 扰动类型 | 评估配置 / 方法 | 核心指标 1 | 核心指标 2 | 核心指标 3 / 补充说明 |
|---|---|---|---|---|
| 文本摘要 (BART) | 无水印基线 (No Watermark) | BERTScore: 0.3058 | ROUGE-1: 0.3772 | Perplexity: 6.4155 |
| MPAC (\(\delta=1.5\)) | BERTScore: 0.2897 | ROUGE-1: 0.3678 | Perplexity: 7.4193 (PPL明显恶化) | |
| BiMark | BERTScore: 0.3172 | ROUGE-1: 0.3850 | Perplexity: 5.0777 | |
| MC\(^2\)Mark (本文) | BERTScore: 0.3065 | ROUGE-1: 0.3778 | Perplexity: 6.3742 (高度一致保持) | |
| 机器翻译 (MBart) | 无水印基线 (No Watermark) | BERTScore: 0.5436 | BLEU: 20.2038 | - |
| MPAC (\(\delta=1.5\)) | BERTScore: 0.5313 | BLEU: 19.0335 | BLEU 损失超过 1.17 | |
| BiMark | BERTScore: 0.5460 | BLEU: 20.2671 | - | |
| MC\(^2\)Mark (本文) | BERTScore: 0.5480 | BLEU: 20.6516 | 自然保持甚至轻微正向浮动 | |
| 随机词元替换攻击 (256-bit) | 替换比例 10% | MC\(^2\)Mark: 92.35% | MPAC-1.5: 63.94% | BiMark: 55.00% |
| 替换比例 30% | MC\(^2\)Mark: 75.52% | MPAC-1.5: 58.67% | BiMark: 45.97% | |
| 替换比例 50% | MC\(^2\)Mark: 60.84% | MPAC-1.5: 54.37% | BiMark: 41.01% | |
| Dipper 释义攻击 (256-bit) | 神经文本重写改写 | MC\(^2\)Mark: 54.90% | MPAC-1.5: 53.92% | BiMark: 51.30% |
关键发现¶
- 长消息提取能力呈现断层式领先：在 256 比特配置下，先前最强无失真方法 BiMark 准确率跌至 53%~60%（几乎接近随机猜测 50%），而 MC\(^2\)Mark 依然维持在 91%~97% 以上，精度超出次优方法近 30 个百分点；在极限 512 比特下，BiMark 因翻转累积干扰崩溃至 36%~41%，而 MC\(^2\)Mark 仍能保持在 87%~92% 的高可用区间。
- 随机掩码是防止长消息退化的核心支柱：消融实验表明，若去除异或掩码 \(\mathbf{h}_t\)，在短消息（\(n=16, 32\)）时准确率尚能维持，但一旦 \(n \ge 64\)，性能迅速崩塌；掩码白化均衡了汉明权重分布，使得大容量消息编码成为可能。
- 层数对长短消息呈现异构敏感性：对于 16 或 32 比特短消息，\(m=5 \sim 10\) 层即完全饱和达到 100%；对于 256 或 512 比特长消息，浅层网络表征容量不足，准确率随层数平缓上升，在 \(m=20\) 处达到峰值性能，更多层数则因方差累积带来微弱衰减。
亮点与洞察¶
- 闭式溢出概率再分配公式：以往无失真水印难以扩展到多通道多比特的主要阻碍在于归一化截断破坏了对称性期望，MC\(^2\)Mark 推导出的解析溢出补偿公式优雅地在保留有效信噪比的同时消除了期望偏差。
- 免模型（Model-Free）的证据归一化解码范式：检测阶段不需要保存或重新加载基座语言模型以获取各词的 logits，也无需事先获知原始消息候选集，仅凭文本上下文和哈希密钥就能完成大数定律下的精准率比对，极大降低了实际溯源系统的部署成本。
- 多层序列叠加与信道分段的模块化扩展性：分段降维思想不仅解决了多项式组合爆炸难题，还天然支持灵活的变长载荷打包；这一架构可迁移至多模态自回归生成或受控文本属性编辑等更广泛的带约束采样任务。
局限与展望¶
- 极端释义攻击下的稳健性衰减：在 Dipper 强释义攻击且载荷达到 256 比特时，提取准确率回落至 54.90%，说明长消息的统计载荷对全局词序和词元同义替换仍较为敏感，未来可结合语义不变编码或局部纠错码（ECC）进一步巩固抗释义能力。
- 多层重加权引入的推理延迟：虽然无需神经网络参与计算，但在词表全量分布上连续执行 \(m=10 \sim 20\) 轮子集概率缩放与归一化计算，在大规模并发生成服务中会带来额外的 CPU/GPU 内存访存开销，有待工程层面的 CUDA 算子融合加速。
- 固定分段假设：当前分段策略假设 \(n\) 能被 \(g\) 整除且均匀分配各步概率，未针对词元信息熵（如高熵词承载更多比特、低熵词承载更少比特）进行动态分配，引入熵感知自适应分段是极具前景的优化方向。
相关工作与启发¶
- vs MPAC (Yoo et al., 2024)：MPAC 采用位置分配后套用 Kirchenbauer 的硬阈值扰动，在长消息下有一定鲁棒性但严重破坏输出分布，导致文本 PPL 升高、BLEU 掉点；MC\(^2\)Mark 实现了严格的数学无失真，且长消息解码率大幅领先。
- vs BiMark (Feng et al., 2025)：BiMark 虽然同样探索了无失真多比特水印，但采用简单的逐位翻转重加权，信道容量极受限，在 128 比特以上完全失效；MC\(^2\)Mark 通过多通道划分与分段掩码，将无失真水印的有效载荷边界推升至 512 比特。
- vs MCmark (Chen et al., 2025)：MCmark 是单通道零比特无失真水印的先驱；MC\(^2\)Mark 将其单通道机制重构为支持多比特消息调制的着色多通道结构，完成了从二元判决到通用长消息溯源的质变跨越。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙解决了多比特长消息与无失真多通道重加权兼顾的数学难题，理论证明严密。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 7 大数据集、多款 3B 级大模型、多种长载荷设置及多重恶意攻击评估，数据详实。
- 写作质量: ⭐⭐⭐⭐⭐ 符号系统定义严谨，方法逻辑推导清晰，附录证明与算法伪代码完整。
- 价值: ⭐⭐⭐⭐⭐ 为 AIGC 时代大规模商用语言模型内容溯源、多租户水印与防篡改取证提供了极具工程落地价值的解决方案。