Auditing Cross-Lingual Fairness in Language Model Watermarking¶

会议: NeurIPS 2026
arXiv: 2608.20047
领域: 安全
关键词: 大模型水印、跨语言公平性、阈值校准、广义熵分解、文本生成质量

一句话总结¶

针对现有大模型文本水印评测过度依赖英语单一视角的局限，本文提出了首个系统化跨语言水印公平性审计框架，覆盖 11 种语言、6 种代表性水印方案与 3 种生成模型，揭示出水印检测与质量损耗差异主要由语言形态与语系结构（Between-family）驱动的深层机制。

研究背景与动机¶

大语言模型生成文本的质量飞速提升，使得合成文本在流畅度与连贯性上已经难以与人类真实写作区分。这一进展加剧了虚假信息泛播、数字内容信任崩塌以及下游训练数据受污染导致模型崩溃等严峻风险。文本水印技术作为核心的事后溯源与防御手段，通过在自回归解码采样阶段引入受密钥调控的统计特征偏置，使受控模型生成的文本携带可被检测器检验的数学签名。现有的水印基准评估（如 MarkMyWords、WaterBench）在验证水印的检测率（TPR）、误报率（FPR）与抗扰动鲁棒性时，几乎无一例外地建立在以英文为主的单语语料与固定先验理论阈值之上。

然而，大语言模型早已在全球化多语言场景下规模化部署，跨语言黑灰产与多语种虚假资讯恰恰是技术落地最迫切需要防御的威胁面。将英语基准上的可靠性简单外推至其他语种存在严重的评估盲区：不同语种在分词器词元膨胀率（Fertility）、形态复杂度、先验文本熵分布以及词表子集重合度上存在本质差异。在英语单语评估中被忽略的设计选择（例如使用 IID 独立同分布假设设定的全局理论阈值、单一质量评估指标），一旦放到跨语言环境下，就会直接颠覆对模型真实性能与公平性的研判。部分语种甚至可能由于先验零假设分布饱和而完全丧失检测能力，或者承受严重的生成质量退化。

面对多语种水印真实表现与跨语言公平性缺乏系统审计的空白，本文构建了一套面向多语种部署环境的水印审计方法体系。本文的核心 idea 是：将跨语言公平性作为大模型水印的首要测量目标，提出包含经验分位数阈值校准、解耦校准与检测失效的非参数伴随指标（AUC）、三维互补质量范式以及基于语言学谱系分区的广义熵（Generalized Entropy）分解评估框架，系统揭示跨语言差异在语系层面的结构性根源。

方法详解¶

整体框架¶

本文构建了一个端到端的跨语言水印审计框架，涵盖 11 种跨越 4 种书写系统、8 个语言学语系与不同资源层级的代表性语言，横跨 6 种主流水印方案、3 种独立词表开源生成器以及 Continuation（FLORES++ 基础补全）与 Native Instruct（AYA 原生指令）双重生成范式。整体流程由经验阈值校准、无阈值解耦诊断、多视角质量量化以及谱系差异广义熵分解四个核心阶段协同组成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多语言生成评测网格<br/>11语言 × 6水印 × 3生成器 × 2范式"] --> B["经验阈值校准与零假设对齐"]
    B --> C["阈值无关伴随度量 (AUC)"]
    C --> D["三维正交质量评估范式<br/>分布/语义/参考困惑度"]
    D --> E["广义熵谱系公平性分解 (GE2)"]
    E --> F["跨语言公平性归因与失效诊断报告"]

关键设计¶

1. 经验阈值校准与零假设对齐：根治理论零假设失真造成的伪失效

主流文本水印通常预设一个理论上的假阳性率（FPR）硬编码阈值，其理论推导基于词元生成独立同分布（IID）的空假设。但在多语言跨语系生成中，不同语言在词表切分粒度与先验熵上的巨大差异使得实际未加水印文本的得分分布严重偏离此假设。为此，评测框架针对每个评估单元 \(c = (l, s, m, r)\)（分别代表语言、水印方案、生成模型与运行范式），利用未加水印的配对生成集合 \(\mathcal{X}^-_{c}\) 进行经验分位数校准：

\[\tau_{c}(\alpha) := \mathrm{Quantile}_{1-\alpha}\left(\{S_{s}(x): x \in \mathcal{X}^-_{c}\}, \text{lower}\right)\]

该经验阈值 \(\tau_{c}(\alpha)\) 保证在目标显著性水平 \(\alpha\)（如 \(\alpha=0.01\)）下实际 FPR 严格受控。框架同时对比了全局统一检测阈值 \(\tau^{\mathrm{global}}_{(s,m,r)}(\alpha)\)（在全语种未加水印池上校准，模拟工业界通用检测器）与分语言独立阈值 \(\tau^{\mathrm{lang}}_{c}(\alpha)\)，从而量化单检测器跨语言部署引起的校准偏差。

2. 阈值无关伴随度量：精准解耦校准崩溃与内在检测能力退化

在固定阈值或全局经验阈值下，当未加水印样本得分的右尾极端饱和时，检测器的真阳性率（TPR）可能断崖式下跌至 0，此时单凭 TPR 会将该现象误判为“水印机制在该语言上失效”。为了破除这一假象，框架引入基于曼-惠特尼 \(U\) 统计量估计的 ROC-AUC 作为阈值无关伴随度量：

\[\mathrm{AUC}_{c} = \Pr\left(S_{s}(x^+) > S_{s}(x^-)\right), \quad x^+ \in \mathcal{X}^+_{c}, x^- \in \mathcal{X}^-_{c}\]

AUC 反映的是加水印分布 \(\mathcal{X}^+_{c}\) 与无水印基线 \(\mathcal{X}^-_{c}\) 之间的内在可分性。若某一语种呈现 \(\mathrm{TPR} \approx 0\) 但 \(\mathrm{AUC} \gg 0.5\)（例如高达 0.98），则确凿证明水印特征本身成功嵌入且信号可分，系统仅仅是经历了“校准失效”（Calibration Failure）；反之，当 \(\mathrm{TPR} \approx 0\) 伴随 \(\mathrm{AUC} \approx 0.5\) 时，才属于真正的“检测失效”（Detection Failure）。

3. 三维互补质量评估范式：兼顾宏观分布、微观语义与参考流畅度

单一质量指标无法全面评估水印对生成的扭曲程度。框架提出三个互相正交、互不包含的质量评估范式： - 宏观分布保真度（MAUVE）：利用多语言预训练模型 XLM-R-large 的平均池化句向量，计算加水印集合 \(\mathcal{X}^+_{c}\) 与无水印集合 \(\mathcal{X}^-_{c}\) 之间的散度边界得分，量化整体文本分布的形变。 - 配对微观语义保真度（BERTScore）：在共享 prompt 的配对样本间逐句计算 BERTScore F1，并通过 FLORES 非配对样本估算语种特定基线进行重标定，专门捕获条件语义是否发生偏离。 - 外部参考语言流畅度（PPL-preservation）：采用冻结的第三方大规模多语言参考模型 \(R\)（主选 XGLM-7.5B，交叉验证用 mGPT-1.3B），定义困惑度保真度：

\[\mathrm{PPL\text{-}preservation}_{c} = \exp\left(-\left|\log \mathrm{PPL}_{R}(\mathcal{X}^+_{c}) - \log \mathrm{PPL}_{R}(\mathcal{X}^-_{c})\right|\right) \in (0, 1]\]

这三重视角构成了严密的多视角质量检验空间，能灵敏捕获不同水印干预策略对语言自然度的不同侧面冲击。

4. 广义熵谱系公平性分解：定位语系结构性不均等与四分之五法则审查

将公平性量化迁移至跨语言水印场景，框架定义基于二阶广义熵指标（即变异系数平方的一半）量化跨语种表现向量 \(y = (y_1, \dots, y_L)\) 的离散度：

\[\mathrm{GE}_{2}(y) = \frac{1}{2L} \sum_{i=1}^{L} \left[\left(\frac{y_i}{\bar{y}}\right)^2 - 1\right]\]

依据预先注册的语言学语系划分 \(\mathcal{F}\)（日耳曼语族、罗曼语族、印度语族、闪含/塞米特语族、汉语族、日语句系、突厥语族、南亚语系），将总不平等度精确分解为语系内部差异与语系之间差异：

\[\mathrm{GE}_{2}(y) = \mathrm{GE}_{2}^{\mathrm{within}}(y) + \mathrm{GE}_{2}^{\mathrm{between}}(y)\]

此外，框架配套采用古典公平机器学习中的“四分之五法则”（Four-Fifths Rule, \(DI < 0.8\)）统计低于最优表现 80% 的语种数量，严格审计差别性冲击（Disparate Impact）。

完整示例 / 训练策略¶

实验针对每个单元生成 500 对加水印与未加水印文本（固定 \(\text{temperature}=0.7\), \(\text{max\_new\_tokens}=200\), \(\text{min\_new\_tokens}=100\)），全网格累计评估近 200,000 篇生成样本。为防止模型生成过程中发生语种漂移造成虚假偏差，所有样本均经过 GlotLID-v3 进行语种识别（LID）门控审计。评测不仅涵盖由 FLORES++ 严格控制多语言提示词平行语义的 Continuation 场景，更深入 AYA 数据集由母语者撰写的真实 Prompt 指令微调（Instruct）场景。

实验关键数据¶

主实验¶

在全局校准阈值 \(\tau_g\)（控制 \(\alpha=0.01\)）下，不同水印方案在跨语言检测公平性与指令微调下的表现对比：

水印方案	生成模型	Continuation Mean TPR	Continuation Min TPR	Continuation DI<.8	Instruct Mean TPR	Instruct Min TPR	Instruct DI<.8	Instruct GE2 (Between %)
KGW	Mistral-12B	0.992	0.978	0	0.626	0.386	7	0.026 (95.3%)
KGW	Gemma-3-4B	0.969	0.934	0	0.389	0.222	10	0.053 (82.4%)
KGW	Qwen2.5-7B	0.965	0.880	0	0.689	0.510	8	0.011 (78.6%)
Unigram	Mistral-12B	0.868	0.638	3	0.311	0.022	6	0.297 (99.8%)
Unigram	Gemma-3-4B	0.000	0.000	11	0.037	0.010	10	0.226 (81.2%)
Unigram	Qwen2.5-7B	0.898	0.722	2	0.546	0.210	4	0.032 (91.7%)
SynthID	Mistral-12B	1.000	0.998	0	0.905	0.782	1	0.003 (77.7%)
SynthID	Gemma-3-4B	1.000	0.998	0	0.602	0.422	10	0.020 (79.7%)
SynthID	Qwen2.5-7B	0.997	0.990	0	0.941	0.792	1	0.002 (91.9%)
EXPEdit	Mistral-12B	0.999	0.996	0	0.577	0.238	6	0.067 (80.0%)
EXPEdit	Gemma-3-4B	1.000	0.998	0	0.225	0.084	10	0.071 (84.2%)
EXPEdit	Qwen2.5-7B	0.991	0.946	0	0.496	0.174	9	0.080 (84.4%)
DIP	Mistral-12B	0.975	0.938	0	0.455	0.264	9	0.058 (99.5%)
DIP	Gemma-3-4B	0.963	0.914	0	0.196	0.110	10	0.084 (91.6%)
DIP	Qwen2.5-7B	0.931	0.798	0	0.513	0.296	8	0.035 (99.6%)
XSIR	Mistral-12B	0.784	0.672	2	0.266	0.088	10	0.185 (91.8%)
XSIR	Gemma-3-4B	0.766	0.588	4	0.081	0.016	10	0.175 (76.5%)
XSIR	Qwen2.5-7B	0.215	0.050	10	0.043	0.000	10	3.787 (99.9%)

消融实验¶

消融与诊断分析聚焦于“经验阈值校准机制对真阳性率的挽救效果”以及“不同质量评估范式下名义上无失真（Distortion-free）算法的真实退化”（Base 模式 FLORES+）：

水印配置与模型单元	全局阈值 TPR (\(\tau_g\))	分语言阈值 TPR (\(\tau_l\))	校准增益 \(\Delta\)	伴随 AUC (Mean / Min)	MAUVE 质量 (Mean / Min)	PPL 保真度 (Mean / Min)
Unigram (Gemma Base)	0.000	0.799	+0.799	0.986 / 0.910	0.638 / 0.444	0.911 / 0.815
XSIR (Qwen Base)	0.215	0.794	+0.579	0.978 / 0.930	0.850 / 0.603	0.883 / 0.745
KGW (Mistral Base)	0.992	0.991	-0.001	0.999 / 0.997	0.947 / 0.879	0.866 / 0.793
DIP (Mistral Base)	0.975	0.975	0.000	0.997 / 0.989	0.973 / 0.933	0.809 / 0.750
SynthID (Gemma Base)	1.000	1.000	0.000	1.000 / 1.000	0.095 / 0.029	0.269 / 0.195
EXPEdit (Gemma Base)	1.000	1.000	0.000	1.000 / 0.998	0.013 / 0.006	0.135 / 0.076
EXPEdit (Mistral Base)	0.999	1.000	+0.001	1.000 / 0.998	0.079 / 0.006	0.218 / 0.079

关键发现¶

校准失效与检测失效的明确解耦：在全局阈值下，Unigram-Gemma 的平均 TPR 直接崩溃为 0.000（11 种语言全军覆没），XSIR-Qwen 仅有 0.215；然而两者的 AUC 均稳定在 0.98 左右。采用分语言自适应阈值后，TPR 分别飙升至 0.799 与 0.794。这证明单阈值评估会掩盖实际有效的水印信号，造成对模型能力的错误归因。
理论“无失真”（Distortion-free）算法在经验质量上的灾难性崩溃：声称在期望上不改变边缘分布的采样阶段水印（SynthID 与 EXPEdit），在有限长度样本评估中表现最差。EXPEdit 在 Gemma 上 MAUVE 暴跌至 0.013、PPL 保真度低至 0.135，且绝大多数语言触发四分之五法则警报，反而是 Logit 偏置型水印（KGW、DIP）能更好地保持生成质量。
差异主要由语系结构（Between-family）决定：广义熵分解显示，在所有存在可观差异的实验单元中，语系间方差占比（Between-family share）中位数超 85%，在极端失衡的 XSIR-Qwen Instruct 单元中更是高达 99.9%。这表明跨语言水印不公平并非某些具体低资源语言的偶发异常，而是源于语系形态、句法及分词器词元效率的系统性、结构性失配。
指令微调诱发跨语言检测断崖：从 Continuation 切换至母语真实 Instruct 场景后，18 个评测单元中有 16 个平均 TPR 跌破 0.7，DI<.8 报警语言急剧扩散。较高熵的指令回答显著压缩了加水印与未加水印的区分空间。

亮点与洞察¶

提出首个跨语言水印公平性系统审计框架：摆脱了以往仅在英文基准上做微小扰动的狭隘视角，确立了包含经验阈值校准、无阈值 AUC 伴随检验、三维质量正交度量及谱系广义熵分解的标准范式。
粉碎“期望无失真等于实测无损伤”的迷信：揭示了理论数学性质（如采样重参数化在期望下的分布不变性）与真实有限词元序列度量之间的严重割裂，为大模型水印落地选型提供了颠覆性证据。
揭示结构性不平等的语言学归因：通过协变量回归发现，检测率不公与分词器膨胀率及模型语种遵循率（Adherence）高度挂钩，证明单靠扩充特定语种数据无法弥合差距，必须从分词器设计与语系自适应水印机制切入。

局限与展望¶

语言覆盖范围仍有拓展空间：本文虽然覆盖了 11 种跨越 4 种文字与 8 大语系的语言，但全球仍有数千种中低资源语种未纳入评估。
水印方案范围仍待演进：评测囊括了 6 种主流基线，但对后演进的多密钥轮换架构及隐式对抗攻击防御水印尚未覆盖。
工程改进路径指引：未来亟需探索语系感知自适应 Logit 偏置算法、多语言协同校准检测器，以及针对不同分词膨胀率的动态水印步长调控机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从算法公平性与语言学结构视角系统性审计大模型文本水印。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 11 语言 × 6 水印 × 3 模型 × 2 范式，包含 20 万篇样本与严谨的 Bootstrap、方差分解。
写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密连贯，数学公式与概念解耦极其清晰。
价值: ⭐⭐⭐⭐⭐ 为全球化多语言部署下的 AI 生成内容防伪与版权追踪敲响了公平性警钟。