Understanding and Mitigating Cross-lingual Privacy Leakage via Language-specific and Universal Privacy Neurons¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 安全
关键词: 跨语言隐私泄露, 隐私神经元, 机械可解释性, 个人身份信息 (PII), 神经元控制
一句话总结¶
论文揭示了大语言模型在单语微调下仍会发生跨语言个人隐私(PII)泄露的机理,发现隐私在共享表征的中层处理并在语言特异的后层释放,据此提出 MPNC 方法联合抑制跨语言通用隐私神经元与特定语言隐私神经元,在显著降低跨语言泄露风险(下降 23.3%–31.6%)的同时保持生成效用。
研究背景与动机¶
大语言模型凭借海量多语言语料的预训练获得了跨语言理解与生成能力,但在特定领域或下游任务微调过程中极易记忆敏感的个人身份信息(PII)。当前隐私保护研究(如基于差分隐私训练、机器遗忘或者单语隐私神经元剪枝等方法)普遍假定训练数据和推理提示词均为单一种类语言(通常是英语)。然而,现实部署场景往往是多语言交互的,恶意攻击者可以规避单语安全防线,用其他语种诱导模型吐露敏感信息。
这种脆弱性背后的核心矛盾在于:现代大语言模型的跨语言泛化能力是一把双刃剑——模型在单语数据微调后,其内部形成的隐空间概念表征在不同语言间是高度共享和语义对齐的。现有的防御机制(例如 DEPN)仅在英语查询下定位并剪枝隐私神经元;当用户切换到中文、法语、德语等非英语提示词时,由于未触及多语言特异的隐私激活通路,模型依然能准确吐露英文训练集中记忆的姓名、职位、邮箱和电话。以往研究未能从底层机理上阐明跨语言隐私泄露的发生阶段与神经元载体。
为化解多语言泛化与跨语言信息泄漏的冲突,本文从机械可解释性视角切入,利用 Logit Lens 追踪层级信息流与跨语言隐状态余弦相似度,探明了跨语言泄露的“中层概念共享、后层语言特异释放”两阶段动力学。核心 idea:将大模型内部处理敏感信息的结构解耦为跨语言共享的“通用隐私神经元”与语言独占的“特异隐私神经元”,通过多语言联合梯度归因精确定位这两类神经元,并在推理阶段联合置零抑制,从而从表征层面阻断跨语言隐私泄露的互信息通路。
方法详解¶
整体框架¶
本文构建了覆盖 6 种语言的多语言隐私基准 MPII,通过信息流追踪探明泄露机制,进而提出多语言隐私神经元控制(Multilingual Privacy Neuron Control, MPNC)。整个框架包含三个阶段:首先使用 Logit Lens 与隐状态几何分析定位跨语言泄露的关键层级与表征演化规律;随后利用积分梯度归因在各语言提示下计算神经元重要性,交集提取通用隐私神经元、差集提取语言特异隐私神经元;最后在推理表征中联合失活两类神经元,消除隐私互信息。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多语言提示输入<br/>Q in L"] --> B["阶段1:跨语言信息流追踪<br/>Logit Lens 与隐状态跨语言相似度分析"]
B --> C["阶段2:双重隐私神经元定位<br/>积分梯度归因交集与差集解耦"]
C --> D["阶段3:多语言隐私神经元控制 MPNC<br/>通用与语言特异神经元协同失活"]
D --> E["无泄露输出生成<br/>生成质量受控的隐状态 R'L"]
关键设计¶
1. 跨语言信息流追踪:探明多语言泄露的两阶段内部动力学 现有研究将大模型的隐私泄露视为不可解释的黑盒,无法解释为何英语单语防御会在其他语言查询下失效。针对这一痛点,本文引入 Logit Lens 探测和跨语言隐空间余弦相似度分析,追踪不同网络层在预测敏感 token 时的倒数排名(Reciprocal Rank, RR)。分析发现:在浅层,模型对敏感 PII 的预测置信度接近 0;从中间层(LLaMA 3.1-8B 约 14–15 层、Qwen 2.5-7B 约 22 层)开始,不同语言的隐状态余弦相似度达到 0.7–0.8 峰值,模型进入语言无关的通用语义对齐阶段,隐私信息在此被提取进共享隐空间;而在最后几层(如 25–32 层),跨语言表征相似度下降,模型将共享隐私语义投影到具体目标语言的词表空间,隐私泄露风险陡增。该发现证实跨语言泄露必然同时依赖中后层的共享特征与后层的语言特异映射。
2. 双重隐私神经元定位:梯度归因下的通用与特异神经元解耦 传统的隐私神经元定位方法仅针对单一英语语料打分,无法区分模型内部哪些神经元主导全局跨语言传递,哪些神经元负责特定语种的 token 解码。针对该局限,本文采用离散逼近步数 \(m=20\) 的积分梯度归因度量第 \(l\) 层第 \(k\) 个神经元激活值 \(w^l_k\) 对输出敏感目标 \(Y\) 的贡献: $\(Att(w^l_k) \approx \beta^l_k \frac{1}{m}\sum_{j=1}^m \frac{\partial P(Y|X, \frac{j}{m}\beta^l_k)}{\partial w^l_k}\)$ 通过双重阈值过滤——相对峰值比例阈值 \(\tau_1=0.1\) 与样本触发频率阈值 \(\tau_2=0.5\),在各语言子集 \(D_\ell\) 上获得隐私候选集合 \(P_\ell\)。随后定义所有语言候选集合的交集为通用隐私神经元 \(P_{uni} = \bigcap_\ell P_\ell\),各语言特异隐私神经元则由差集给出 \(P_\ell^{(spec)} = P_\ell \setminus P_{uni}\)。该解耦机制确保了跨语言泛化通道与语言独占通路被精细分割,两类神经元合计仅占模型总神经元总数的 2.7%–4.5%,保持了高度的轻量性。
3. 多语言隐私神经元控制 MPNC:互信息严格衰减下的协同失活干预 以往只剪枝通用神经元或单语神经元的方法无法杜绝跨语言信息漏网。理论分析表明,目标语言最终表征可解耦为 \(R_L = (X, U, S_L, N)\),分别对应任务无关表征、通用隐私分量、特定语言隐私分量与残差噪声。定理 1 证明在条件互信息严格为正时,仅置零 \(U\) 依然会保留 \(S_L\) 的泄漏通路。MPNC 在模型推理对应语言 \(L\) 时,将 \(U\) 与 \(S_L\) 对应神经元的激活值硬置零(即干预后隐状态为 \(R'_L = (X, 0, 0, N)\)),利用数据处理不等式(Data Processing Inequality)确保输出 token 与敏感 PII 之间的互信息严格单调下降: $\(I(R_L; P \mid Q, L) - I(R'_L; P \mid Q, L) \ge I(U; P \mid X, Q, L) + I(S_L; P \mid X, U, Q, L) > 0\)$ 因果干预实验证实,失活通用神经元带来全局泄露的大幅下降,失活自身语言特异神经元带来靶向进一步抑制,而失活非对应语言神经元几乎无影响,验证了协同干预机制的准确性。
实验关键数据¶
主实验¶
实验在英语 MPII 数据集上微调 10 个 epoch 诱导模型记忆 PII,随后在 6 种语言(en, zh, es, de, ja, fr)的 QA 提示词下评测平均倒数排名(MRR,越低越好)以及验证集困惑度(Valid-PPL,越低越好)。下表展示三种主流大模型在各语言下的平均测试表现:
| 模型 | 方法 | 平均 MRR (en/zh/es/de/ja/fr) | 相比原始泄露降幅 | 平均 Valid-PPL | 语言建模困惑度代价 |
|---|---|---|---|---|---|
| LLaMA 3.1-8B | Original | 0.60 | — | 22.71 | 基准 |
| LLaMA 3.1-8B | DEPN | 0.53 | -11.7% | 25.82 | +3.11 |
| LLaMA 3.1-8B | APNEAP | 0.52 | -13.3% | 24.13 | +1.42 |
| LLaMA 3.1-8B | MPNC (本文) | 0.46 | -23.3% | 25.39 | +2.68 |
| Qwen 2.5-7B | Original | 0.62 | — | 16.92 | 基准 |
| Qwen 2.5-7B | DEPN | 0.53 | -14.5% | 18.45 | +1.53 |
| Qwen 2.5-7B | APNEAP | 0.52 | -16.1% | 17.35 | +0.43 |
| Qwen 2.5-7B | MPNC (本文) | 0.43 | -30.6% | 17.67 | +0.75 |
| LLaMA 3.2-3B | Original | 0.62 | — | 16.23 | 基准 |
| LLaMA 3.2-3B | DEPN | 0.51 | -17.7% | 17.55 | +1.32 |
| LLaMA 3.2-3B | APNEAP | 0.52 | -16.1% | 16.91 | +0.68 |
| LLaMA 3.2-3B | MPNC (本文) | 0.47 | -24.2% | 17.76 | +1.53 |
消融实验¶
为验证各类神经元的因果效应,在 LLaMA 3.1-8B 的第 25 至 32 层(高层)对比不同神经元失活策略下的平均 MRR,并对比随机神经元失活:
| 实验配置 | Layer 28 MRR | Layer 30 MRR | Layer 31 MRR | Layer 32 MRR | 说明 |
|---|---|---|---|---|---|
| Original (未干预) | 0.339 | 0.373 | 0.520 | 0.590 | 最终层泄露风险最高 |
| 失活通用隐私神经元 (Universal) | 0.294 | 0.302 | 0.428 | 0.471 | 阻断跨语言主通路,降幅最显著 |
| 失活自身语言特异神经元 (Own Specific) | 0.305 | 0.327 | 0.484 | 0.555 | 阻断对应目标语言本地解码通道 |
| 失活其他语言特异神经元 (Other Specific) | 0.307 | 0.331 | 0.492 | 0.573 | 对当前语言提示几乎无防护效果 |
| 随机神经元置零 (Random Deactivation) | 0.297 | 0.338 | 0.497 | 0.580 | 抑制效果微弱且影响模型正常生成 |
关键发现¶
- 跨语言隐私泄露具有显著的不对称性:即便在单语英文微调下,拉丁语系(法、西、德)与非拉丁语系(中、日)均能高效探查出敏感邮箱(MRR > 0.49),其中 LLaMA 3.2-3B 在中文提示下的邮箱泄露 MRR 高达 0.537(英文为 0.561)。
- 既有英语基线在非英语场景下严重失效:DEPN 在英语下 MRR 降幅达到 20.8%–23.2%,但在中文、德语下仅下降约 7.6%–10.0%;而 MPNC 在各语言下均稳定实现 17.6%–38.5% 的大幅削减。
- 关键神经元空间分布呈现强烈的层级聚集性:通用隐私神经元与特异隐私神经元均高度集中在网络最后 4–6 层,占全模型比例不足 5%,印证了前中层特征提取、后层决策与语言特异释放的假说。
亮点与洞察¶
- 首次系统揭示了大模型跨语言隐私泄露机理,打破了“单语隐私防护能泛化至多语言应用”的常规认知盲区。
- 提出的通用与特异神经元解耦范式具有极佳的即插即用性与跨模型可迁移性,干预过程无需繁重的全参数微调或重训练,单卡前向中仅对特定神经元置零即可生效。
- 建立了完备的多语言 PII 评测基准 MPII 并给出了理论信息论证明,为后续多语言大模型对齐与遗忘学习提供了严密的分析工具与评价框架。
局限与展望¶
- 评估攻击手段局限于静态问答提示词模板,未来可探索结合越狱攻击或多轮对话自适应诱导下的跨语言对抗防御。
- 当前多语言实体主要集中在姓名、邮箱、电话与职位等核心 PII,物理地址、个人主页链接等更长、非结构化的隐私实体尚未完全覆盖,有待后续拓展多模态及跨文档实体测试。
相关工作与启发¶
- vs DEPN (Wu et al., 2023): DEPN 仅在单语(英语)数据上通过梯度归因定位隐私神经元并置零,在跨语言查询时因忽略语言特异通道而防护崩溃(非英语降幅仅 ~10%);MPNC 显式解耦通用与特异神经元,实现了全语言下 23.3%–31.6% 的均衡防护。
- vs APNEAP (Wu et al., 2024): APNEAP 试图采用激活补丁(activation patching)解决模型效用与隐私的锯齿效应,但仍局限于单语范围;MPNC 兼顾了低困惑度代价(PPL 仅轻微上升 0.75–2.68)与跨语言强防御。
- vs 机器遗忘方法 (DeMem / PME): 梯度回退与权重编辑等遗忘方法容易损伤模型的正常多语言翻译和跨语言 QA 泛化能力,而 MPNC 仅通过轻量推理时激活置零控制,下游任务(MLQA, FLORES)性能损失显著低于传统遗忘手段。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次揭示单语微调下的跨语言隐私泄漏机理,并解耦通用与特异隐私神经元。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 种主流开源架构、6 种跨语系语言、理论证明、消融实验与下游任务验证。
- 写作质量: ⭐⭐⭐⭐⭐ 论证链条环环相扣,从信息流探测、互信息定理到干预验证一气呵成。
- 价值: ⭐⭐⭐⭐⭐ 解决了多语言大语言模型部署中极为严峻且此前被忽视的越权隐私安全隐患。