A Novel Semantic Manifold Alignment Attack against Embedding-to-Embedding Obfuscation in Privacy-Preserving LLMs¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 安全
关键词: 隐私保护推理, 嵌入混淆, 流行对齐, 语义重构, Gromov-Wasserstein
一句话总结¶
针对基于单射映射的嵌入到嵌入混淆(E2EO)隐私推理方案,提出代理流形对齐攻击(PMA),将混淆向量流视为未知分词器语言,仅利用公开语料和词共现统计诱导的语义流形几何结构,通过 Gromov-Wasserstein 对齐与互近邻迭代细化实现高保真明文重构。
研究背景与动机¶
随着大语言模型(LLM)在医疗诊断、金融分析和法律咨询等隐私敏感场景的深度渗透,基于机器学习即服务(MLaaS)的云端推理范式引发了严峻的数据隐私担忧。用户向半诚实(honest-but-curious)云端服务器发送明文提示词时,敏感个人信息面临直接暴露的风险。为了防御此类窃听,传统密码学方案如多方安全计算(MPC)、完全同态加密(FHE)和可信执行环境(TEE)提供了严格的数学安全边界,但其高昂的计算与通信开销使得实际端到端推理时延极度恶化——以最新的 GPU 加速 FHE 系统为例,单个 token 的生成开销甚至高达数秒,无法满足低延迟交互式服务需求。
在此背景下,学术界近年来提出了一系列轻量级的嵌入到嵌入混淆(Embedding-to-Embedding Obfuscation, E2EO)机制(如 ObfusLM、SentinelLMs、AlienLM、CodeCipher 及 STIP)。与引入不可逆性能退化的随机加噪方案(如局部差分隐私)截然不同,E2EO 方案通常在客户端将原始 token embedding 确定性地一对一映射到固定的密文嵌入向量上,服务方仅需对模型浅层进行微调即可实现近乎无损的任务效用。表面上看,由于密文向量打乱了原始特征空间的局部几何邻域,现有的基于向量欧氏距离的 KNN 逆向反推攻击、依赖大规模成对样本的监督反演(如 InvBert)以及依赖低阶统计的一维词频分析攻击(TFA)均告失效,E2EO 似乎构建了一条兼顾隐私安全与高推理效用的完美防线。
然而,这种安全性本质上是建立在“通过隐匿实现安全(security by obscurity)”的脆弱假设之上的。E2EO 机制的核心缺陷在于其一对一的单射代换完全保留了原始句子的离散句法结构和全局语义依赖网络,这在密码学本质上等价于针对 token 符号的超大规模凯撒密码。即使混淆向量在数值空间被完全随机化,向量流内部蕴含的高阶词汇共现拓扑依然保持高度刚性。核心 idea:将混淆嵌入向量流视为一种由向量构成的陌生外语(tokenizer-language),利用无监督双语流形对齐思想,在完全不接触原始嵌入数值与模型权重的条件下,仅依靠公开参考语料构建代理语义空间,借助 Gromov-Wasserstein 距离对齐两者的内在几何流形,最终实现非配对密文到明文的高精度翻译。
方法详解¶
整体框架¶
代理流形对齐攻击(Proxy Manifold Alignment, PMA)将密文逆向攻击形式化为从未知的混淆向量语言向明文语言的无监督翻译问题。攻击者仅需截获密文向量流 \(Z\),并获知目标模型公开的分词方案 \(\mathcal{T}\) 和通用的公开文本语料库。整体流程严格划分为三个阶段:首先,通过词共现模型独立拟合密文向量流与公开明文语料,构建同构的高维代理语义空间;其次,筛选两端的极高频符号作为核心锚点,利用 Gromov-Wasserstein(GW)最优传输算法求解保持两端流形内部两两语义距离结构的软对齐矩阵;最后,将锚点对齐通过正交 Procrustes 分析闭式解推广到全词表,并利用互近邻(MNN)算法开展多轮迭代细化,彻底消除高维空间中的枢纽(hubness)误匹配现象,输出最终的一对一解密映射矩阵。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
subgraph S1["阶段 1:构建代理语义空间"]
direction TB
A["截获混淆向量流 Z<br/>视为密文符号流"] --> B["CBOW Word2Vec 训练<br/>密文代理空间 XC"]
C["公开通用文本语料<br/>应用同款分词器 T"] --> D["CBOW Word2Vec 训练<br/>明文代理空间 XP"]
end
subgraph S2["阶段 2:初始锚点流形对齐"]
direction TB
B & D --> E["双端筛选 Top-K 高频符号<br/>构建锚点子空间 AP 与 AC"]
E --> F["计算流形内部两两余弦距离矩阵<br/>MP 与 MC"]
F --> G["Gromov-Wasserstein 最优传输<br/>求解极小化流形结构差的软对齐 Γ(0)"]
end
subgraph S3["阶段 3:全局映射与迭代细化"]
direction TB
G --> H["正交 Procrustes 分析(SVD 闭式解)<br/>从锚点扩展到全局初始映射 Q0"]
H --> I["双向互近邻(MNN)匹配<br/>过滤高维 Hubness 假配对"]
I --> J["正交矩阵迭代微调 Qr<br/>收敛后输出 1:1 解密字典"]
end
J --> K["明文重构输出<br/>恢复用户真实输入 x_hat"]
关键设计¶
1. 构建代理语义空间:割裂数值依赖,从符号共现拓扑中提取不变流形
现有逆向攻击普遍假设攻击者能利用原始词嵌入与密文嵌入的数值几何相似度,而 E2EO 方案恰恰通过空间变换或随机打乱抹除了这一数值通道。PMA 彻底摒弃对原模型权重与嵌入数值的访问,直接将每一个独立的密文向量视作一个离散的未知名词符号(symbol)。由于自然语言内部的词汇共现规律由语言学客观规律驱动,根据 Hashimoto 等人的语义空间度量恢复理论,当样本规模增长时,词嵌入模型优化出的欧几里得距离本质上严谨收敛于经验共现点互信息的几何投影:
攻击者分别在截获的密文符号序列上和通过分词器 \(\mathcal{T}\) 切分的公开通用语料上独立运行 CBOW 模式的 Word2Vec,分别生成维度为 \(d=300\) 的密文代理语义矩阵 \(X_C \in \mathbb{R}^{|V| \times d}\) 与明文代理语义矩阵 \(X_P \in \mathbb{R}^{|V| \times d}\)。由于用户端与参考端本质上使用相同的自然语言和相同的分词表,两套独立训练的代理空间在几何上构成近似等距(isometric)流形,为后续对齐建立了坚实的结构基石。
2. 初始锚点流形对齐:基于高频齐夫子空间与 Gromov-Wasserstein 最优传输
全词表直接对齐极易受到低频长尾 token 采样噪声和计算复杂度的双重干扰。根据齐夫定律(Zipf's law),核心高频词在任意自然语言语料中的概率排序与共现网络结构具有极强的跨领域稳定性。因此,PMA 首先在密文和明文语料中各自选取出现频次最高的 Top-\(K\)(默认 \(K=2000\))个符号构建紧凑的锚点集合 \(A_C\) 与 \(A_P\)。分别提取经 \(\ell_2\) 归一化的子空间特征矩阵后,构建两端内部的流形余弦距离矩阵:
随后引入 Gromov-Wasserstein(GW)最优传输算法,寻找使两端距离矩阵变形最小的双射传输计划矩阵 \(\Gamma \in \Pi(p, q)\):
该目标直接比较空间内部的成对相对距离而非绝对坐标位置,不仅对刚性旋转和平移具有完全不变性,且 Mémoli 拓扑等价理论证明了其对局部的非线性扰动和非各向同性具有严格的误差上界保证,从而稳健地求出高质量的初始软对齐矩阵 \(\Gamma^{(0)}\)。
3. 全局映射扩展与互近邻迭代细化:破除高维 Hubness 陷阱以固化一对一单射
由锚点集合求得的软对齐矩阵 \(\Gamma^{(0)}\) 仅覆盖了高频子空间。为了扩展到全词表,PMA 首先将其形式化为正交 Procrustes 问题,利用奇异值分解(SVD)求解连接全空间的显式正交变换矩阵:
由于高维向量空间普遍存在枢纽效应(Hubness Phenomenon)——即极少数点在几何上容易成为大量无关向量的最近邻,直接进行贪婪最近邻搜索会导致灾难性的多对一退化,打破解密所依赖的双射约束。为此,PMA 引入双向互近邻(Mutual Nearest Neighbors, MNN)策略进行多轮迭代修正。在第 \(r\) 轮中,定义双向最近邻分配函数:
仅保留同时互为最近邻的高置信度匹配对集 \(P^{(r)} = \{(i,j) \mid \pi_P(i)=j, \pi_C(j)=i\}\),基于其索引集 \(I_P^{(r)}\) 和 \(I_C^{(r)}\) 重新执行正交 Procrustes 投影更新 \(Q_r\):
通过仅需 5 轮迭代,互近邻对迅速扩充至全词表规模并稳定收敛,最终通过标准最近邻查找为每个混淆向量输出确定性的明文 token,完成解密。
实验关键数据¶
主实验¶
论文在 SST-2 和 Alpaca 基准上,针对 6 种主流模型架构与分词方案,对包括 ObfusLM、SentinelLMs、AlienLM、CodeCipher、STIP 以及极端的随机固定映射(Random)等 6 种混淆防御方案展开了全面解密测试。下表节选了主流防御机制下的明文恢复指标对比:
| 数据集 | 目标模型 | 词表规模 | ObfusLM (ROUGE-L / Top-1 / Top-3) | SentinelLMs (ROUGE-L / Top-1 / Top-3) | Random Mapping (ROUGE-L / Top-1 / Top-3) | 攻击平均耗时 (min) |
|---|---|---|---|---|---|---|
| SST-2 | BERT-base | 30k | 98.8 / 89.6 / 93.4 | 98.8 / 89.7 / 93.5 | 98.8 / 89.7 / 93.5 | 3.38 |
| SST-2 | LLaMA-2-7B | 32k | 99.5 / 94.7 / 96.2 | 99.6 / 94.7 / 96.3 | 99.5 / 94.7 / 96.3 | 3.43 |
| SST-2 | LLaMA-3-8B | 128k | 97.0 / 78.0 / 83.5 | 97.1 / 77.8 / 83.5 | 97.1 / 77.8 / 83.6 | 3.42 |
| SST-2 | Gemma-7B | 256k | 95.4 / 70.4 / 77.5 | 95.3 / 70.4 / 77.5 | 95.2 / 70.4 / 77.5 | 3.45 |
| Alpaca | BERT-base | 30k | 93.8 / 45.3 / 51.8 | 94.8 / 45.5 / 51.7 | 94.6 / 45.5 / 52.0 | 4.17 |
| Alpaca | LLaMA-2-7B | 32k | 96.8 / 57.4 / 63.8 | 97.0 / 57.7 / 63.9 | 96.5 / 57.8 / 64.1 | 4.29 |
| Alpaca | LLaMA-3-8B | 128k | 89.8 / 28.5 / 34.5 | 90.2 / 28.6 / 34.6 | 89.9 / 28.5 / 34.5 | 4.77 |
| Alpaca | Gemma-7B | 256k | 89.6 / 21.6 / 26.3 | 90.2 / 21.6 / 26.3 | 89.4 / 21.6 / 26.5 | 4.92 |
此外,在针对 ObfusLM 的横向对比中,PMA 展现出对传统基线的绝对碾压优势:在 SST-2 上,KNN、TFA、InvBert 和 KNN+SDA 的 ROUGE-L 分别仅为 24.69、26.30、35.59 和 41.47,而 PMA 达到 98.80;在 Alpaca 上,KNN、TFA 和 ERA 的 ROUGE-L 分别为 27.47、32.40 和 35.53,而 PMA 达到 89.77(Top-1 为 28.49,Top-3 为 34.50)。
消融与灵敏度实验¶
论文系统评估了代理空间建模算法、流形对齐算法以及核心超参数配置对攻击效果的影响:
| 实验维度 / 配置 | 评估场景 | ROUGE-L | Top-1 | 耗时 (min) | 实验结论与机制说明 |
|---|---|---|---|---|---|
| 词嵌入模型 (Table 7) | |||||
| - Skip-gram | C4 \(\to\) Hacker News | 55.03 | - | - | 对稀疏共现极度敏感,小样本下语义拓扑稳定性较差 |
| - GloVe | C4 \(\to\) Hacker News | 83.63 | - | - | 矩阵分解表征良好,但在局部非刚性形变上略逊于 CBOW |
| - CBOW (Ours) | C4 \(\to\) Hacker News | 86.90 | - | 4.94 | 局部滑窗统计稳健,对自然语言流形保真度最佳 |
| 对齐策略 (Table 8) | |||||
| - MUSE (对抗训练) | C4 \(\to\) Hacker News | 0.03 | - | 7.33 | 无法收敛,跨分布对抗训练在高维离散符号上彻底崩溃 |
| - VecMap (自学习) | C4 \(\to\) Hacker News | 86.70 | - | 64.12 | 精度与 GW 接近,但反复全词表矩阵分解计算开销极其昂贵 |
| - GW (Ours) | C4 \(\to\) Hacker News | 86.90 | - | 4.94 | 仅在紧凑高频锚点执行最优传输,兼具极速收敛与高准确率 |
| 跨专业领域泛化 (Table 5) | |||||
| - 跨新闻域 (CNN News \(\leftarrow\) C4) | 真实新闻文本 | 93.0 | 68.1 | - | 通用语料可完美提供新闻领域核心语义几何 |
| - 跨金融域 (Hacker News \(\leftarrow\) C4) | 混合金融内容 | 86.9 | 36.2 | - | 跨通用域可获得强语义恢复 |
| - 跨金融域 (Hacker News \(\leftarrow\) C4-Fin) | 匹配金融子集 | 94.1 | 54.1 | - | 引入领域匹配公开语料后 Top-1 准确率暴增 17.9% |
| - 跨代码域 (Stack V2 \(\leftarrow\) C4) | 源代码程序 | 4.9 | 0.02 | - | 自然语言与代码共现拓扑差异过大导致彻底失配 |
| - 跨代码域 (Stack V2 \(\leftarrow\) CodeParrot) | 源代码程序 | 99.1 | 51.7 | - | 更换公开代码语料后近乎完美恢复,证实流形依赖本质 |
关键发现¶
- 观测样本量的相变涌现现象:实验表明,PMA 的明文重构能力在观测密文 token 量达到约 200 万 时经历急剧的相变并迅速趋于平稳(图 4)。此时高频词在两端的几何距离已经完成经验收敛,攻击者无需海量密文即可破译长期通信。
- 超参钝感与极速收敛:锚点集合规模 \(K\) 在 1000、2000 到 3000 之间变动时,对最终恢复的 ROUGE-L 几乎没有统计影响(图 5);此外,全局 MNN 迭代通常在 第 5 轮 即达到全局收敛,在单张单卡 GPU(如 NVIDIA L20)上攻击总耗时仅需 3 到 5 分钟。
- 数值混淆机制的全面免疫:不管是几何变换(SentinelLMs)、聚类代换(ObfusLM)还是直接纯随机映射(Random Mapping),PMA 的解密性能差异均在 0.5% 以内,证实任何保留单射句法拓扑的 E2EO 方案在语义流形对齐面前均无实质防御力。
亮点与洞察¶
- 将密码学解密升华为无监督跨语言翻译:巧妙洞察到 E2EO 的核心弱点是保留了自然语言内在的句子组织拓扑,从而将原本棘手的反演逆向转化为双语词嵌入对齐任务,跳过了所有复杂的数值防御屏障。
- 跨域代偿与领域引导机制:当目标场景属于垂直领域(如金融或代码)时,通用语料的对齐质量会受到词汇共现差异的制约。攻击者可通过 GW 结构距离自身作为无监督指示器,动态从通用语料切换到领域匹配的公开数据源,以极低成本将代码恢复率从 4.9% 瞬间逆转至 99.1%。
- 揭示了“高效用”与“单射混淆”不可调和的安全悖论:论文从本质上敲响了轻量级端侧混淆设计的警钟——只要客户端为了维持服务器免重训或轻量微调的“高推理效用”而坚持确定性一对一映射,就必然在密文流中完整泄漏语言的流形结构。
局限与展望¶
- 单射映射依赖性:当前 PMA 严格建立在确定性一对一映射机制之上;若防御端引入动态的一对多映射、随机多义分解或语义多路复用,攻击的流形重构假设将面临严峻挑战。
- 极冷门 Token 与高熵短文本瓶颈:对于语料中罕见的长尾低频词、拼写错误的专用生僻词或信息熵极高的短序列(如随机密码、短密钥),由于缺乏充分的共现上下文支持,PMA 的 Top-1 匹配依然存在误差,易退化为近义词或子词碎片替换。
相关工作与启发¶
- vs 传统嵌入反演攻击(KNN, InvBert, ERA):旧攻击完全寄生于嵌入空间局部的欧氏几何与成对监督样本,一旦 E2EO 打乱局部坐标即告失效;PMA 仅依赖符号内部的高阶共现拓扑,实现无监督、非配对的零先验破译。
- vs 纯词频统计攻击(TFA):TFA 仅利用一维单字频次信息,面对大模型庞大词表的齐夫长尾分布极易产生严重碰撞;PMA 将信息维度提升至 300 维的流形全局几何网络,利用 GW 距离与 MNN 对齐实现了对 TFA 的降维打击。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 独辟蹊径地将 E2EO 破译重构为跨语言无监督流形对齐,构思极为精巧。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 6 种混淆机制、6 大模型架构、7 个领域数据集,消融与跨分词器分析详实。
- 写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣,从经验共现收敛到 GW 拓扑稳定性的理论推导一气呵成。
- 价值: ⭐⭐⭐⭐⭐ 彻底击穿了轻量级确定性嵌入混淆范式的虚假安全感,为隐私保护推理指明了正确的设计方向。