ArcMark: Distortion-Free Multi-Byte LLM Watermark via Optimal Transport¶
会议: NeurIPS 2026
arXiv: 2602.07235
OpenReview: https://openreview.net/forum?id=FoM8DBv8MZ
领域: 安全
关键词: 大语言模型水印, 多字节嵌入, 最优传输, 信道编码, 无失真约束
一句话总结¶
将大模型无失真水印建模为带边信息的信道编码问题，通过随机线性编码与单位圆最优传输（Sinkhorn 算法）求解，实现了在数百 token 内无失真嵌入数字节有效载荷并达到理论香农信道容量。
研究背景与动机¶
随着大语言模型在文本与代码生成中的广泛落地，如何可靠标记 AI 生成内容以遏制模型滥用并满足监管透明度要求，已成为负责任 AI 的核心课题。零比特水印（如 Red-Green 水印与 SynthID）通过改变 token 采样分布以判断文本是否由大模型生成，但无法承载更复杂的元数据；而现实应用迫切需要多比特甚至多字节水印，以便在生成的正文中直接嵌入用户 ID、模型版本乃至原始 prompt。
现有多比特无失真水印方法存在根本性局限。所谓“无失真（distortion-free）”，即在共享随机密钥（边信息）的期望下，加水印过程完全不改变大模型原有的词元预测分布，这是保持生成质量的金标准。然而，已有工作（如 BiMark、MPAC）主要沿袭零比特水印的启发式设计，采用按 token 逐位分配或多层弱扰动投票的机制，缺乏跨序列的全局编码视角。随着有效载荷增大，逐位独立解码错误的复合效应导致整条消息恢复准确率按指数级雪崩衰减，实际只能在数百 token 中勉强塞入几个比特。
为打破这一瓶颈，研究者必须回答：理论上在严格无失真约束下单 token 到底能承载多少比特信息？又该如何构建能够逼近该理论极限的实用编码方案？本文跳出逐 token 扰动的旧思路，首次将无失真多比特水印形式化为带发送端与接收端共享边信息的经典信道编码问题，从信息论推导香农容量界。核心 idea：将多字节水印建模为带边信息的信道编码信道，在模整数圆周空间利用随机线性码生成码字，并通过求解保持词元边际分布不变的最优传输耦合矩阵，实现达到理论容量且高鲁棒的多字节无失真嵌入。
方法详解¶
整体框架¶
ArcMark 的全流程由三个紧密协同的阶段组成：消息编码、最优传输词元嵌入以及最小距离全局解码。在编码阶段，系统将 \(k\) 比特的待嵌入消息通过随机线性码投影为模 \(p\) 符号，并与共享伪随机密钥相加映射为单位圆上的目标连续相位角 \(z_t\)。在嵌入阶段，水印器以大模型当前真实输出分布为边际约束，以词元置换相位与目标相位之间的角距离为代价，建立最优传输（Optimal Transport, OT）问题，通过 Sinkhorn 算法求解条件分布并采样输出 token，严格保持原输出分布无失真。在解码阶段，检测器根据观察到的 token 序列反向剥离密钥旋转，重构接收相位序列，并在候选码字集合上利用非递减代价函数执行最小距离序列译码，直接输出恢复整条消息。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：k 比特载荷 m<br/>与历史上下文哈希边信息 S_t"] --> B["随机线性编码与圆周相位映射<br/>m·G_t 模 p 结合密钥偏移生成目标角 z_t"]
B --> C["最优传输分布耦合与采样<br/>Sinkhorn 求解角距离极小化与无失真条件分布"]
C --> D["序列输出：无失真词元 x_t"]
D --> E["相位逆映射与边信息剥离<br/>置换反解并减去密钥旋转恢复候选角"]
E --> F["最小距离全局信道译码<br/>累加角距离度量矩阵并检索最优消息候选"]
F --> G["输出：精确重构多字节消息 m_hat"]关键设计¶
1. 随机线性编码与圆周相位映射：将整条消息联合编码至几何圆周 以往方案（如 BiMark）将消息拆分为独立比特分别指派给单个 token，导致单比特判决错误直接破坏整条消息。针对这一缺陷，ArcMark 采用经典随机线性信道码的设计思想，利用生成矩阵的一列随机向量 \(G_t \sim \text{uniform}(\mathcal{F}^k)\)（其中符号域 \(\mathcal{F}=[0:p-1]\)）将整个二进制消息向量 \(m \in \{0, 1\}^k\) 计算内积映射为标量码字符号： $\(C_m(t) = m \cdot G_t \pmod p\)$ 为了将离散代数符号与大模型离散词表无缝对接，ArcMark 引入几何圆周表示，将词汇索引、码字符号和离散随机密钥全部参数化为单位圆上的角度。结合共享均匀密钥 \(v_t \in [0:r-1]\) 和固定相位偏置 \(\phi\)，编码器在时间步 \(t\) 生成的目标发送相位为： $\(z_t = \left(\frac{2\pi C_m(t)}{p} + \frac{2\pi v_t}{r} + \phi\right) \bmod 2\pi\)$ 这种圆周设计不仅将模加代数结构转化为欧氏圆环的连续旋转，而且利用随机密钥 \(v_t\) 的均匀平移使得目标角 \(z_t\) 在全圆周上边际均匀分布，为后续严格满足无失真统计特性奠定了坚实的几何基础。
2. 最优传输分布耦合与采样：以最小角失真保障无失真边际 得到目标角度 \(z_t\) 后，水印器需要在词表中挑选一个 token \(X_t\)，既尽可能贴近目标角 \(z_t\)（以便解码端精确接收），又绝不改变大模型本身的词元概率分布 \(Q_{X_t}\)。ArcMark 将该矛盾化解为一个离散最优传输问题。设 \(\Pi_t\) 为共享伪随机词表置换，token 对应的标准化相位角为 \(2\pi \Pi_t(i)/N\)。定义两角之间的最短弧长距离为 \(d(\theta_1, \theta_2) = \min(|\theta_1-\theta_2|, 2\pi-|\theta_1-\theta_2|)\)，则代价矩阵元素定义为词元角与目标偏置角之间的距离： $\(C_{i, j}^{(t)} = d\left(\frac{2\pi \Pi_t(i)}{N}, \left(\frac{2\pi C_m(t)}{p} + \frac{2\pi j}{r} + \phi\right) \bmod 2\pi\right)\)$ 通过求解带边际约束的最优传输耦合矩阵： $\(Q_{X_t, Z_t}^* = \arg\min_{Q_{X_t, Z_t}} \mathbb{E}\left[d\left(\frac{2\pi \Pi_t(X_t)}{N}, Z_t\right)\right] \quad \text{s.t. } \mathbb{E}_{Z_t}[Q_{X_t|Z_t}] = Q_{X_t}\)$ 利用 Sinkhorn 迭代算法高效求解后，水印器提取出在条件 \(Z_t=z_t\) 下的条件分布 \(Q_{X_t|Z_t=z_t}^*(X_t) = r \cdot Q_{X_t, Z_t}^*(X_t, z_t)\)，并据此抽取生成真实 token。该机制保证在对边信息求期望时，token 的边缘输出严格还原 \(Q_{X_t}\)，达成数学意义上的严格零失真。
3. 最小距离全局信道译码：跨 token 累加度量的抗噪判决 在接收端，检测器利用由历史 token 哈希重构的密钥 \(v_t\) 和置换 \(\Pi_t\)，首先估算每个位置的接收相位 \(\hat{z}_t = 2\pi \Pi_t(x_t)/N\)，并反向减去密钥旋转量恢复出候选码字角度 \(\hat{C}(t) = (\hat{z}_t - 2\pi v_t/r) \bmod 2\pi\)。对于所有可能的候选消息 \(m \in \mathcal{M} = \{0, 1\}^k\)，检测器构建对应的理想序列相位向量 \(C_m^{\text{ang}}(t) = 2\pi C_m(t)/p + \phi\)，并累加整条文本长度 \(n\) 内的几何偏差： $\(D_m = \sum_{t=1}^n f\left(d(\hat{C}(t), C_m^{\text{ang}}(t))\right)\)$ 其中 \(f(\cdot)\) 为非递减距离打分函数（理论最优为对数似然度量 \(f(d)=-\log(1-d/d_{\max})\)，实测中恒等函数 \(f(d)=d\) 亦展现出色表现）。解码器通过最小距离判决直接选取全局最优解 \(\hat{m} = \arg\min_m D_m\)。这种整序列联合信道译码彻底摆脱了单 token 决断的脆弱性，显著提升了针对文本局部改写、回译和替换攻击的鲁棒性。
4. 香农信道容量与理论逼近性证明 为了给出无失真水印的性能极限，论文将大模型随机生成的输出分布视为信道状态，推导出在无失真约束下的信道容量上界： $\(R_{\text{cap}} = \max_{P_W, x(w, q)} I(W; X) \quad \text{s.t. } \Pr(X=x \mid Q=q) = q(x)\)$ 在对称两点均匀分布 \(\mathcal{P}_2(\mathcal{X})\) 的极端理论设定下，容量精确解析为 \(R_{\text{cap}} = \log N + \sum_{t=1}^{N-1} \frac{t}{\binom{N}{2}} \log \frac{t}{\binom{N}{2}}\)（当词表 \(N \to \infty\) 时渐进收敛至 \(\approx 0.2787\text{ bits/token}\)）。论文在定理 4.3 中严格证明，当令码字参数 \(p=r=N\)、偏置 \(\phi=\pi/(2N)\) 并采用负对数距离评分函数时，ArcMark 在该分布族上完全达到香农容量极限，为启发式水印工程提供了罕见的信息论紧致性保证。
实验关键数据¶
主实验¶
论文在 Llama3-8B、Qwen3-8B 和 Mistral-7B 上进行了广泛测试。在 C4 数据集上，针对 2 字节（16 bit）、3 字节（24 bit）和 4 字节（32 bit）有效载荷，比较了 ArcMark 与主要无失真基线 BiMark 在遭受法语法语回译（BT）重述攻击及无攻击下的消息级完全准确率。
表 1：Llama3-8B 上 2 字节水印在不同回译扰动比例 \(r\) 下的消息准确率（%）随生成长度的变化对比（摘自原文 Table 3，1000 次实验均值 \(\pm\) SEM）
| 生成长度 (Tokens) | 无攻击: ArcMark | 无攻击: BiMark | BT \(r=0.1\): ArcMark | BT \(r=0.1\): BiMark | BT \(r=0.3\): ArcMark | BT \(r=0.3\): BiMark |
|---|---|---|---|---|---|---|
| 50 | 59.8 ± 1.6 | 15.3 ± 1.1 | 37.7 ± 1.5 | 10.1 ± 1.0 | 25.7 ± 1.4 | 7.5 ± 0.8 |
| 100 | 90.3 ± 0.9 | 53.0 ± 1.6 | 70.4 ± 1.4 | 34.9 ± 1.5 | 50.7 ± 1.6 | 25.5 ± 1.4 |
| 150 | 95.4 ± 0.7 | 74.7 ± 1.4 | 83.9 ± 1.2 | 56.0 ± 1.6 | 67.4 ± 1.5 | 42.5 ± 1.6 |
| 200 | 97.0 ± 0.5 | 85.6 ± 1.1 | 90.5 ± 0.9 | 68.8 ± 1.5 | 79.8 ± 1.3 | 57.0 ± 1.6 |
| 250 | 97.7 ± 0.5 | 89.9 ± 1.0 | 94.1 ± 0.7 | 79.8 ± 1.3 | 87.7 ± 1.0 | 68.7 ± 1.5 |
| 300 | 97.6 ± 0.5 | 94.2 ± 0.7 | 95.5 ± 0.7 | 85.8 ± 1.1 | 90.4 ± 0.9 | 77.1 ± 1.3 |
消融与质量实验¶
针对无失真属性验证，论文评测了不同水印条件下的文本困惑度（Perplexity），并在 downstream 问答与代码任务上验证了效用保持情况。
表 2：Qwen3-8B 生成文本在 2/3/4 字节水印下的困惑度（PPL）对比（摘自原文 Table 1，加粗表示更贴近无水印基准）
| Tokens | 无水印基线 (PPL) | 2-byte: ArcMark | 2-byte: BiMark | 3-byte: ArcMark | 3-byte: BiMark | 4-byte: ArcMark | 4-byte: BiMark |
|---|---|---|---|---|---|---|---|
| 50 | 4.661 ± 0.058 | 4.758 ± 0.058 | 4.967 ± 0.066 | 4.738 ± 0.057 | 4.976 ± 0.068 | 4.696 ± 0.080 | 4.965 ± 0.094 |
| 100 | 4.390 ± 0.046 | 4.453 ± 0.047 | 4.624 ± 0.051 | 4.437 ± 0.048 | 4.630 ± 0.053 | 4.438 ± 0.067 | 4.618 ± 0.074 |
| 200 | 4.142 ± 0.040 | 4.144 ± 0.041 | 4.345 ± 0.043 | 4.073 ± 0.042 | 4.308 ± 0.045 | 4.147 ± 0.060 | 4.393 ± 0.064 |
| 300 | 3.941 ± 0.037 | 3.878 ± 0.039 | 4.148 ± 0.042 | 3.821 ± 0.039 | 4.116 ± 0.043 | 3.887 ± 0.056 | 4.189 ± 0.059 |
在边信息离散分辨率 \(r\) 的消融实验中，选取 \(r \in \{64, 256, 512\}\) 得到的消息准确率曲线几乎完全重叠，证实较小尺寸 \(r=64\) 足以支撑高效 Sinkhorn 求解而无性能损失。下游 SQuAD 问答（F1 0.635 vs 无水印 0.609）、Python LCC（Edit Sim. 0.585 vs 0.594）以及 HumanEval 编码（pass@5 0.797 vs 0.785）中，ArcMark 与原始无水印模型差异均处于统计误差范围内。
关键发现¶
- 消息级容错随载荷增大呈现断崖式分化：当有效载荷拓展至 3-4 字节时，BiMark 由于逐 token 判决的指数误差累积迅速失效，而 ArcMark 凭借随机线性码的序列纠错增益在 200-300 token 内维持极高的消息恢复率。
- 改写攻击防御优势巨大：即便遭受 30% 句子的回译扰动，ArcMark 的消息准确率仍能全面超越未遭受任何攻击的 BiMark 基线。
- 严格保持生成分布：全长文本的困惑度均值紧贴无水印真实分布，且无需任何修改即可通过检测距离阈值实现高质量零比特检测（150 token 即可达到 >99% TPR @ 1% FPR）。
亮点与洞察¶
- 将水印从启发式采样升华为信道编码问题：突破了沿袭自 Kirchenbauer 红绿列表的局部扰动传统，将多比特嵌入严格映射到带边信息的香农信道，提供了理论容量界与容量可达性证明。
- 圆周流形模运算与最优传输的精巧耦合：用圆环角度表示离散符号与密钥，结合最优传输 Sinkhorn 矩阵在保持模型词表概率严格无失真的同时，将离散符号偏置平滑映射到文本空间。
- 长序列联合译码消除级联错误：通过全序列累加距离打分直接完成整条消息的最小距离搜索，使多字节水印在实际短文本场景下的可用性大幅提升。
局限与展望¶
- 理论容量假设的简化性：容量可达证明基于两点均匀分布的理想简化假设，面对实际大模型长尾、高熵或极低熵的复杂动态分布，理论容量界仍待进一步推广。
- 计算复杂度依赖词表与边信息维度：每一步 token 采样均需运行 Sinkhorn 求解最优传输耦合，虽然 \(r=64\) 可控制代价，但在超大词表与高吞吐并发推理场景下仍存在延迟开销。
- 尚未显式利用输出反馈机制：发送端在生成当前 token 后已知其实际落盘结果（即已知前序信道输出），若能引入带反馈信道编码策略，有望进一步压缩所需 token 序列长度。
相关工作与启发¶
- vs BiMark (Feng et al., 2025)：BiMark 通过多层弱重加权在单 token 上嵌入单个比特，依赖局部分类和多数表决；ArcMark 采用全局随机线性码和最优传输圆周映射，以整消息为优化目标，在多字节与抗攻击上显著占优。
- vs MPAC (Yoo et al., 2024)：MPAC 采用位置指派但会改变原始词元采样分布（非无失真），导致文本困惑度和质量受损；ArcMark 通过最优传输严格满足期望分布无失真约束。
- vs HeavyWater / SimplexWater (Tsur et al., 2025)：同属最优传输水印范式，但前作主要针对低熵下的零比特检测，ArcMark 成功将最优传输拓展至圆周代数结构以支撑高吞吐多字节通信。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次建立无失真多比特水印的香农容量界，并提出圆周最优传输设计。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖三大主流开源模型、多载荷尺寸、改写攻击、文本质量及下游任务评测。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导严密自洽，从问题建模到算法求解逻辑链条极其清晰。
- 价值: ⭐⭐⭐⭐⭐ 为大模型责任归属、溯源与多字节水印落地提供了标杆级的理论与工程范式。