Towards Anytime-Valid Statistical Watermarking¶
会议: NeurIPS 2026
arXiv: 2602.17608
OpenReview: https://openreview.net/forum?id=xbsjNKS4Iq
论文: https://arxiv.org/abs/2602.17608
领域: LLM 安全
关键词: 统计水印, e-value, 任意时刻有效检验, 锚点分布, 投机采样
一句话总结¶
针对传统大模型统计水印依赖固定样本量假设检验且无法安全早停的根本缺陷，本文提出了首个基于 e-value 的锚点水印框架（Anchored E-Watermarking），在极小极大博弈下推导出最优检测统计量与对数增长率闭式解，实现了任意时刻有效的序贯检验与 13%–15% 的检测 token 预算缩减。
研究背景与动机¶
大语言模型生成文本的逼真度已达到以假乱真的水平，由此引发的虚假信息扩散、训练语料递归污染以及学术剽窃等风险日益加剧。为了建立可靠的机器生成文本鉴别机制，基于统计假设检验的水印技术成为核心学术路线。该技术在模型自回归解码阶段，通过伪随机种子与候选词概率的联合偏置将微弱的统计信号注入文本，检测端则利用共享密钥重构随机种子序列并检验文本标记与种子的相关性。然而，现有主流统计水印技术存在两个根本性局限：其一是采样分布设计缺乏统一的优化准则，尽管近期有方法探索利用开源小模型作为锚点（Anchor）辅助采样，但生成与检测的双侧统计设计仍依赖于经验启发；其二是检测范式与文本生成的自回归特性脱节。
在实际场景中，文本长度动态可变，检测系统期望以数据流（streaming）形式逐步读入 token，并在置信度达标时立即早停（Early Stopping）。然而，传统方法完全建立在固定步长（Fixed-horizon）的 p-value 假设检验之上。如果在检测过程中不断窥探检验统计量并在显著时提前停止，属于典型的“p-hacking”，会导致实际第一类错误率（Type-I Error / 假阳性率）严重膨胀并打破理论保证；若采用 Bonferroni 等校正手段，又会造成统计功效的大幅劣化。
面对这一困境，研究的切入点是将检验统计量从经典 p-value 转向博弈论与序贯分析领域的 e-value。E-value 的核心优势在于其在零假设下构成非负超鞅（Test Supermartingale），结合 Ville 不等式可天然实现任意时刻有效（Anytime-Valid）的序贯推断。核心 idea：构建锚点 e-水印框架（Anchored E-Watermarking），将生成器的最优耦合与检测器的 e-value 联合建模为极小极大对数增长率博弈，不仅在闭式解下给出了最坏情况下的最优 e-value 检验统计量，更证明了投机采样耦合的理论最优性，实现了样本复杂度与随时早停的双重突破。
方法详解¶
整体框架¶
Anchored E-Watermarking 假设生成端与检测端共享一个已知的参考锚点分布 \(p_0 \in \Delta(\mathcal{V})\)（如开源轻量级语言模型 Phi-3 或 Qwen），待水印的目标模型分布 \(q\) 处于以 \(p_0\) 为中心、\(\ell_1\) 距离半径为 \(\delta\) 的扰动球 \(\mathcal{Q}(p_0, \delta) = \{q \in \Delta(\mathcal{V}) : \|q - p_0\|_1 \le \delta\}\) 内。生成阶段，生成器在已知真实输出分布 \(q\) 的前提下构造联合耦合 \(w \in \mathcal{P}(p_0, q)\)，使得边际分布严格满足无失真（Distortion-free）生成；检测阶段，检测器在未知具体 \(q\) 的模型无关（Model-agnostic）条件下，接收观测对 \((v, s)\) 并计算非负 e-value 评分 \(e^*(v, s)\)。
在流式序列检验中，检测器维护累积财富过程 \(W_n = \sum_{t=1}^n \log e^*(v^t, s^t)\)。一旦 \(W_n \ge \log(1/\alpha)\)，即等价于累积 e-value 超过阈值 \(1/\alpha\)，检测流程立即早停并拒绝零假设 \(\mathbf{H}_0\)（判定为包含水印的机器生成文本），全过程由 Ville 不等式保障第一类错误率严格受控于 \(\alpha\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入上下文与锚点分布 p0<br/>共享轻量级参考模型"] --> B["极值耦合生成器<br/>构造最大耦合 w* 并抽取 (v, s)"]
B --> C["无失真文本流输出<br/>满足目标模型邊际 q(v)"]
C --> D["流式最优 e-value 评分<br/>计算 e*(v, s) 并累加对数财富"]
D -->|Wn >= log 1/alpha| E["任意时刻有效早停判定<br/>拒绝零假设并输出水印检出"]
D -->|Wn < log 1/alpha| F["继续接收下一个 Token<br/>保持 Type-I 错误严格受控"]关键设计¶
1. 极小极大鲁棒对数最优性建模：在最坏目标分布下最大化对数资本增长率
传统假设检验追求奈曼-皮尔逊准则下的检验功效，但在序贯推断中，依据凯利准则（Kelly Criterion），最核心的目标是最大化备择假设下的对数证据增长率。针对检测器无法获知具体目标分布 \(q\) 的模型无关限制，论文将目标形式化为一个三层极小极大博弈问题： $\(\sup_{e \in \mathcal{E}} \inf_{q \in \mathcal{Q}(p_0, \delta)} \sup_{w \in \mathcal{P}(p_0, q)} \sum_{v, s \in \mathcal{V}} w(v, s) \log e(v, s)\)$ 其中检测器选择在整个 \(\mathcal{Q}(p_0, \delta)\) 上满足期望不大于 1 的有效 e-value 集合 \(\mathcal{E}\)；环境在 \(\ell_1\) 邻域内选择最不利的目标分布 \(q\)；而生成器则基于已知 \(q\) 构造联合耦合 \(w\) 使得增长率最大。该建模将经典的 GROW（Growth Rate Optimality in the Worst-case）理论从被动推断推广为主动博弈，将生成与检测的双侧优化纳并在统一数学框架内。
2. 最优 e-value 闭式解与投机采样最优性的理论确立：消除经验启发式设计的断层
通过凸多面体极值点分析与置换群转移流的精巧分解，定理 4.1 给出了上述鞍点问题的全局最优闭式解。检测端的最优 e-value 形式极为简洁： $\(e^*(v, s) = \begin{cases} \frac{1 - \delta/2}{p_0(s)}, & s = v \\ \frac{\delta}{2(n-1) p_0(s)}, & s \neq v \end{cases}\)$ 其中 \(n = |\mathcal{V}|\) 为词表大小。当生成标记与随机种子完全吻合时赋予高分，不匹配时赋予衰减因子。尤为深刻的是，定理证明了生成端的内层最优化解 \(w^*\) 正好对应于投机采样（Speculative Decoding）诱导的最大耦合（Maximal Coupling）。这意味着近期启发式工作（如 SEAL）采用投机解码构造水印在理论上是严格最优的，但其手工设计的绿红名单检测统计量却偏离了最优解；本文推导出的 \(e^*(v, s)\) 填补了这一关键断层。
3. 任意时刻有效停止时间界：信息论极限下的最优样本复杂度
基于 Ville 不等式，检测超鞅的对数累积过程在零假设下不会发散，而在备择假设下以最优对数增长率稳步上升。定理证明最优对数增长率为： $\(J^* = H(p_0) + \left(1 - \frac{\delta}{2}\right) \log\left(1 - \frac{\delta}{2}\right) + \frac{\delta}{2} \log\left(\frac{\delta}{2(n-1)}\right) = H(p_0) - H(\nu_\delta)\)$ 该增长率严格等价于加性噪声信道 \(Y = X \oplus Z\) 的信息传输速率。定理 4.3 进一步建立了样本复杂度的紧致界：在自适应对抗环境（每步任意变动分布）下，达到第一类错误率 \(\alpha\) 的期望停止时间极限严格满足： $\(\lim_{\alpha \to 0} \frac{\mathbb{E}[\tau_\alpha(e^*)]}{\log(1/\alpha)} = \frac{1}{J^*}\)$ 这证明了单步贪心推导出的 \(e^*\) 统计量在任意自适应对抗攻击下同时具备全局序贯渐进最优性。
损失函数 / 训练策略¶
本方法属于纯推断期（Inference-time）统计水印与假设检验算法，不需要对待水印的基座大模型进行任何参数微调或梯度反向传播。核心超参数仅为锚点容差半径 \(\delta\)（实际文本生成实验中设为 0.3）和显著性水平 \(\alpha\)（实验设为 0.02）。在自回归生成时，每次前向计算直接调用锚点模型预测分布 \(p_0\)，并利用最大耦合采样算法生成标记与种子，具备零额外训练开销与低延迟特性。
实验关键数据¶
主实验¶
在真实文本基准 MarkMyWords 上，实验以 Llama2-7B-chat（温度 0.7）作为目标生成模型，Phi-3-mini-128k-instruct 作为锚点模型，评估包含字符扰动、词级扰动和释义重写（Paraphrase）在内的多种攻击下的质量（LLaMA-3 评分，越高越好）与检测尺寸（Size，达到检出所需的序列 token 中位数，越小越好）。固定第一类错误率 \(\alpha = 0.02\)。
| 水印方案 | 检验类型 | 文本质量 (↑) | 检测所需中位 Token 数 (Size ↓) | 相比最强基线降幅 |
|---|---|---|---|---|
| Exponential (Aaronson) | 固定/Bonferroni | 0.907 | \(\infty\) (未能在预算内检出) | - |
| Binary (Christ et al.) | 固定/Bonferroni | 0.919 | \(\infty\) (未能在预算内检出) | - |
| Inverse Transform (Kuditipudi et al.) | 固定/Bonferroni | 0.917 | 734.0 | - |
| Distribution Shift (Kirchenbauer et al.) | 固定/Bonferroni | 0.912 | 145.0 | - |
| SEAL (Huang et al., 2025) | 启发式锚点检测 | 0.901 | 84.5 | 基准 |
| Anchored E-Watermarking (本文) | 任意时刻有效 e-value | 0.919 | 72.0 | -14.8% |
消融实验¶
为分析不同生成温度（文本熵水平不同）对检测效率的影响，论文测试了 \(T \in \{0.3, 0.7, 1.0\}\) 下各主流方案的检测 token 消耗中位数：
| 配置 / 温度 | SEAL (Huang et al.) | Distribution Shift | 本文 (Theorem 4.1) | 效率提升说明 |
|---|---|---|---|---|
| 低温环境 (\(T = 0.3\)) | 106.0 | 112.5 | 97.0 | 相比 SEAL 节省 9 个 token (-8.5%) |
| 标准环境 (\(T = 0.7\)) | 84.5 | 145.0 | 72.0 | 相比 SEAL 节省 12.5 个 token (-14.8%) |
| 高温环境 (\(T = 1.0\)) | 133.0 | 317.0 | 97.5 | 相比 SEAL 节省 35.5 个 token (-26.7%) |
关键发现¶
- 显著超越启发式基线：在相同投机采样框架下，本文基于最坏情况推导的最优 e-value 相比 SEAL 的红绿名单评分在全部温度下均取得更短的检测步长，在标准温度 \(T=0.7\) 下检测 token 中位数从 84.5 降至 72.0，相对非锚点基线提升近一倍。
- 高熵与低熵鲁棒性：当温度升至 1.0 时，由于文本多样性增加，基线方法的检测步长急剧恶化（Distribution Shift 激增至 317 词），而本文方法凭借理论上与加性噪声信道容量匹配的对数增长率，检测长度依然保持在 97.5 词以内。
- 后段攻击免疫性：由于支持安全早停，当文本前半段已积累足够证据使财富达到 \(1/\alpha\) 时检测即刻终止，攻击者在长文本后半段进行的剧烈篡改或拼接攻击完全无法破坏已完成的判定。
亮点与洞察¶
- 将 e-value 首次引入统计水印体系：巧妙借助博弈统计学中的非负超鞅与 Ville 不等式，一举打破了困扰水印领域多年的“p-hacking”与固定检测窗口难题。
- 理论证实投机采样的最优性并补齐检测短板：不仅从极小极大博弈的角度证明了投机采样算法是最优耦合生成器，而且指出了此前经验性检测评分的次优性，给出了精确的闭式 e-value 统计量。
- 可广泛迁移至多模态与安全审计场景：该框架的数学结构仅依赖锚点分布邻域假设，可直接迁移至语音生成流式鉴伪、代码大模型实时溯源以及对齐审计等流式推断任务。
局限与展望¶
- 锚点模型开销依赖：生成与检测双端均需部署同一个锚点模型（如 Phi-3），若应用在超长上下文或轻量级端侧设备上，会带来显存占用与双模型推理调度负担。
- 强分布偏移下的效率下界：理论假定目标分布处于锚点的 \(\delta\)-邻域内；如果下游生成了冷门代码或极特化领域的文本，导致真实分布超出邻域，e-value 依然保持 Type-I 错误有效，但增长率可能明显衰减。
- 博弈对抗延伸：未来可进一步探讨自适应攻击者在已知锚点分布时的极值规避策略，以及在黑盒 API 场景下的多方置信度聚合。
相关工作与启发¶
- vs Kirchenbauer et al. (2023)：后者采用固定哈希红绿名单偏置，需要预先假定检测序列长度，一旦中途多次检验就会破坏假阳性率；本文利用 e-value 实现了随时随地安全早停。
- vs Kuditipudi et al. (2023)：后者提出了逆变换无失真水印，但检测步长过长（需要数百至上千 token）；本文引入锚点分布大幅压缩了样本复杂度。
- vs SEAL (Huang et al., 2025)：SEAL 开创性地将小模型引入投机水印，但检测端仍采用启发式统计量；本文从极小极大对数最优性严格闭环了其生成与检测理论，性能全面领先。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将博弈论 e-value 与超鞅理论引入统计水印，解决了长久以来的序贯早停理论难题。
- 实验充分度: ⭐⭐⭐⭐ 兼顾了合成二元环境的数值收敛验证与真实 LLM 水印基准（MarkMyWords），温度与扰动消融完备。
- 写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨自洽，博弈论与信息论直觉阐释极为清晰透彻。
- 价值: ⭐⭐⭐⭐⭐ 为流式、低开销的生成式 AI 溯源与安全合规奠定了兼具理论保证与实用价值的范式。