Conformal Privacy Auditing: Calibrated Re-identification Attacks with Statistical Guarantees¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 安全
关键词: 隐私审计, 保形预测, 重标识攻击, 大语言模型安全, 统计置信度保证
一句话总结¶
本文提出面向发布文本的无分布假设黑盒审计框架 CPA(Conformal Privacy Auditing),利用保形预测理论将大语言模型与检索构成的重标识攻击校准为具备有限样本统计覆盖保证的候选身份歧义集,为现实文本脱敏与发布决策提供可证明、可解释的量化隐私证书。
研究背景与动机¶
敏感文本数据(如医疗病历、法律审判记录、在线社区发言等)的脱敏公开对于学术研究和产品开发至关重要,工业界最广泛采用的实践是通过预定义实体类别替换或符号掩码进行脱敏。然而,即便去除了直接身份标识符,文本中残留的细粒度属性组合(例如年龄、性别、专业科室、所在城市等准标识符)仍然能够形成强可链接信号。近年来,具备强大推理能力与常识检索能力的大语言模型(LLM)被攻击者广泛滥用,使针对脱敏文本的重标识攻击门槛大幅降低,攻击者能够自主抽取关键线索并联合外部辅助数据库精准锁定目标个人。
现有的文本隐私审计与保护手段在面对 LLM 攻击者时存在严重的理论与实用脱节。差分隐私(DP)虽然能在训练期或微调期通过噪声注入提供严格的最坏情况理论界,但其理论边界往往过于保守,不仅导致文本生成质量与下游效用严重退化,而且无法直接转化为文本发布阶段针对单篇自然语言文档的风险准入决策;另一方面,经验性经验攻击审计虽然直观反映了某类特定攻击流水线下的 Top-1 命中率,但缺乏有限样本统计保证,一旦遭遇未见数据、外部知识扩充或更强的攻击模型,经验命中率便难以泛化外推,无法为数据发布方提供可靠的安全红线。
面对这一困境,本文从不依赖数据分布假设与模型参数假设的保形预测(Conformal Prediction)理论出发,构建了一种连接经验攻击评估与形式化统计证明的桥梁。核心 idea:将文本重标识风险审计转化为保形候选身份歧义集的构建问题,在声明的攻击者知识与能力阶梯下,为每篇发布文本输出包含真实身份概率不低于 \(1-\alpha\) 的有限样本歧义集,并将歧义集大小作为直观、校准的隐私泄露度量,指导文本发布或二次脱敏。
方法详解¶
整体框架¶
CPA 框架旨在为数据发布方提供一套与具体攻击模型解耦的黑盒审计流程。系统在已声明的攻击者知识等级(包含候选档案库字段范围、外部语料库、是否允许 LLM 线索抽取或网络搜索扩充等)与查询接口约束下运行。整体流程分为两个核心阶段:首先在留出的校准集上,利用攻击流水线评估样本并计算自适应预测集(APS)形式的非一致性得分(Nonconformity Score),通过排序分位数确定严密的统计阈值 \(\hat{q}_\alpha\);随后在测试阶段,对每一篇待发布文本评估候选群体,将非一致性得分不超过该阈值的所有候选身份汇聚为保形歧义集 \(C_\alpha(x, w)\),并由此派生出反歧义泄露代理指标。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["待发布文本 x + 候选档案库 U<br/>声明威胁等级 W"] --> B["黑盒攻击流水线与接口适配<br/>Logit 概率输出 / 采样频次估计"]
B --> C["APS 累积质量非一致性评分<br/>衡量包含真实身份所需累积置信"]
C --> D["分裂保形校准阈值判定<br/>基于校准集分位数确立 q_alpha"]
D --> E["有限样本保形歧义集合成<br/>构建置信度 1-alpha 候选集合"]
E --> F["发布决策与反歧义泄露度量<br/>集合基数与逆泄露代理 L(x,w)"]
关键设计¶
1. 黑盒攻击流水线与接口适配:统一 Logit 与仅采样两类威胁接口
现实中的攻击者流水线可能基于开源本地模型,也可能调用无 Logit 暴露的商业闭源 API。为了保证审计的普适性,CPA 将攻击者抽象为映射函数 \(p_A(\cdot \mid x, w) \in \Delta(Y(x, w))\)。当攻击流水线为白盒或开源模型(如检索相似度 Softmax、或本地部署的 Llama-3.1-8B-Instruct、Qwen3-8B-Instruct)时,直接获取其候选归一化概率或伪后验分布。而当面对仅支持生成的黑盒 API 时,CPA 设计了仅采样查询机制:在声明的每文档采样预算 \(m\) 下,通过多次强迫选择(forced-choice)提示词进行独立采样,以经验频次构造经验经验分布: $\(\hat{p}_m(y \mid x, w) = \frac{1}{m} \sum_{j=1}^m \mathbf{1}\{\tilde{Y}^{(j)} = y\}\)$ 论文证明了在独立同分布随机性假设下,基于该经验频次的打分依然满足可交换性,从而为闭源商业模型提供了统一且具备统计有效性的校准接口。
2. APS 累积质量非一致性评分:自适应难易程度的统计度量
传统固定 Top-k 排序无法适应不同文档的链接难易差异。CPA 引入限制在候选池 \(Y(x, w)\) 内的自适应预测集(Adaptive Prediction Sets, APS)累积质量作为非一致性得分函数。将候选池中的身份按攻击者预测概率降序排列 \(\pi_1, \pi_2, \dots\)后,样本 \((x, y)\) 的非一致性得分定义为: $\(s(x, y; w) := \sum_{j: p_A(\pi_j \mid x, w) \ge p_A(y \mid x, w)} p_A(\pi_j \mid x, w)\)$ 该得分天然介于 \((0, 1]\) 之间。当攻击者以极高确定性将概率集中在真实身份上时,得分趋近于 0(代表非一致性极低、链接风险极高);反之若攻击者预测分散,真实身份排在末尾,则得分接近 1。这种设计使得生成的歧义集在简单易攻样本上自动收缩成单元素集合,而在高不确定性样本上平滑扩张。
3. 分裂保形校准与有限样本隐私证明:从经验排序到保形歧义集
在大小为 \(n\) 的独立校准集上计算出所有真实身份的标量得分 \(T_i\) 并排序 \(T_{(1)} \le \dots \le T_{(n)}\) 后,选取特定次序统计量作为校准阈值: $\(k := \lceil (n+1)(1-\alpha) \rceil, \quad \hat{q}_\alpha := T_{(k)}\)$ 对于新发布的文本,CPA 输出保形歧义集 \(C_\alpha(x, w) = \{y \in Y(x, w) : s(x, y; w) \le \hat{q}_\alpha\}\)。论文给出了严格的有限样本边际覆盖定理证明:在可交换性假设下,测试样本的真实身份落入歧义集的概率精确满足 \(\Pr(Y_{n+1} \in C_\alpha(X_{n+1}, w)) \ge 1-\alpha\)。此外,针对检索阶段截断导致的开世界候选缺失(候选遗漏率 \(\rho(w)\)),论文进一步推导出开世界覆盖退化下界: $\(\Pr(Y \in C_\alpha(X, w)) \ge (1-\rho(w))(1-\alpha) \ge 1 - (\rho(w) + \alpha)\)$ 由此将经验排序直接转化为具备可证置信区间的安全证书,并定义反歧义泄露代理 \(L(x, w) := 1 / \max\{1, |C_\alpha(x, w)|\}\) 作为面向合规的发布风险判据。
实验关键数据¶
主实验¶
论文在 TAB 司法脱敏基准(1,268 篇案卷)、WikiBio 人物生平(1,000 个实体)、TextWash 传记脱敏基准(1,202 篇)、以及 Blog Authorship 大规模博文作者归属库(19,320 位作者)上系统评测了 CPA。主实验展示了在固定置信度 \(\alpha = 0.05\)(理论覆盖率 \(\ge 0.95\))下,不同先验知识层级(K1 元数据、K2 关键词、K3 案卷全文文本)与检索方式下的审计结果:
| 数据集与威胁配置 | Top-1 准确率 | 经验覆盖率 (Cov.) | 中位数歧义集大小 (Med. |C|) | 均值歧义集大小 (Mean |C|) | 逆泄露代理 (Mean 1/|C|) |
|---|---|---|---|---|---|
| TAB-Direct | |||||
| K1 元数据 / direct 查询 | 0.052 | 0.929 | 1268 | 1179.5 | 9.57e-04 |
| K2 关键词 / direct 查询 | 0.973 | 0.973 | 1 | 1.0 | 1.0000 |
| K3 案卷文本 / direct 查询 | 0.994 | 0.994 | 1 | 1.0 | 1.0000 |
| K2 关键词 / LLM 线索扩充 | 0.715 | 0.970 | 20 | 20.1 | 0.0499 |
| TAB-Direct (准标识符脱敏) | |||||
| K1 元数据 / direct 查询 | 0.003 | 0.932 | 1268 | 1173.6 | 0.0017 |
| K2 关键词 / direct 查询 | 0.872 | 0.953 | 4 | 3.7 | 0.2717 |
| K3 案卷文本 / direct 查询 | 0.964 | 0.964 | 1 | 1.0 | 1.0000 |
| K2 关键词 / LLM 线索扩充 | 0.615 | 0.945 | 27 | 27.1 | 0.0369 |
| WikiBio (1k候选, \(\alpha=0.05\)) | |||||
| Direct query | 0.362 | 0.956 | 264 | 254.98 | 0.00466 |
| LLM clues (Llama-3.1-8B) | 0.420 | 0.950 | 189 | 186.87 | 0.00562 |
| LLM clues (Qwen3-8B) | 0.380 | 0.958 | 265 | 255.69 | 0.00465 |
消融实验¶
论文在多维度对核心假设进行了压力测试,包括置信水平 \(\alpha\) 调节效应、非一致性得分构造函数对比、以及候选池 Top-K 截断对开世界覆盖率的影响:
| 评估维度与配置 | 关键指标 | 结果与说明 |
|---|---|---|
| 得分构造函数对比 (WikiBio+Llama, \(\alpha=0.05\)) | ||
| APS 累积质量得分 (默认) | Cov = 0.950, Med |C| = 189 | 覆盖率达标,集大小自适应调整效率高 |
| Rank 排序序数得分 | Cov = 0.950, Med |C| = 179 | 仅依赖排序位置,适用于纯排名的黑盒攻击者 |
| Prob 原始概率得分 | Cov = 0.960, Med |C| = 212 | 稍微保守,歧义集平均尺寸略大 |
| Top-K 截断与开世界遗漏 (TextWash Fiction, direct) | ||
| 候选截断 \(K=50\) | Miss=0.160, 条件覆盖=1.000 | 无条件覆盖率掉至 0.840,符合 \((1-\rho)(1-\alpha)\) 界 |
| 候选截断 \(K=100\) | Miss=0.080, 条件覆盖=1.000 | 无条件覆盖率恢复至 0.920 |
| 候选截断 \(K=200\) | Miss=0.000, 条件覆盖=0.970 | 无遗漏,无条件覆盖率达到 0.970 |
| 可交换性漂移压力测试 (跨分布测试) | ||
| TAB direct 校准 \(\to\) direct 测试 | Coverage = 0.965 | 分布一致时覆盖率严密契合目标 |
| TAB direct 校准 \(\to\) 准标识符脱敏测试 | Coverage = 0.923 | 发布策略漂移导致欠覆盖(发生欠校准) |
| Blog W10 校准 \(\to\) W10 测试 | Coverage = 0.940 | 辅助知识一致时覆盖达标 |
| Blog W10 校准 \(\to\) W1 测试 | Coverage = 0.835 | 攻击者先验能力大幅退化/偏移破坏可交换性 |
关键发现¶
- 隐私风险由文本脱敏机制与攻击者辅助知识共同决定:在 TAB 数据集上,当攻击者仅拥有 K1 元数据时,中位数歧义集高达 1268(即无法有效重标识任何单个实体);但当辅助数据库扩展到 K2 关键词或 K3 文本时,中位数歧义集迅速崩塌为 1,直接暴露出极高风险。
- LLM 线索增强攻击具有强烈的情境依赖性:LLM 辅助提取线索仅在外部上下文丰富的名人(Famous)类别上显著缩小歧义集(在 TextWash 上使中位数由 120 压缩至 90),而在虚构人物或无外部信息的语料中几乎不带来额外收益,说明 LLM 攻击威力高度依赖其预训练记忆与外部先验。
- CPA 充当了可调节的安全标尺(Dial):调小 \(\alpha\)(如从 0.1 到 0.01)会使审计证书更加保守(歧义集扩大),当攻击成功率极高时,歧义集收缩至单元素 1,此时覆盖率直接退化收敛于攻击者的 Top-1 准确率。
亮点与洞察¶
- 将保形预测开创性引入隐私重标识审计:首次跳出了经验命中率(无泛化保证)与差分隐私(过度保守且无法指导单文档发布)的两难困境,建立起黑盒攻击下的有限样本统计置信保证。
- 统计证书与现实监管准则无缝映射:CPA 输出的歧义集大小 \(|C_\alpha(x)|\) 可以直观对应于现实中类似 k-匿名性(k-anonymity)的保护群体规模,当发现某文档的 \(|C_\alpha(x)| < k\) 时可直接触发拦截或重写,契合安大略省隐私专员公署等机构制定的量化准入政策。
- 开世界候选遗漏退化界理论自洽:通过全概率公式推导出开世界遗漏率 \(\rho(w)\) 下的保形下界 \((1-\rho(w))(1-\alpha)\),并在 Top-K 截断实验中得到严密的数据吻合验证。
局限与展望¶
- 依赖声明威胁模型与可交换性假设:CPA 提供的保证是相对的,仅针对声明的特定攻击管线与固定候选池有效;一旦面临未知的更强攻击工具或发布分布漂移(如未经重新校准的模型升级),统计保证将无法自动迁移。
- 候选池规模与计算开销瓶颈:在超大规模背景人群中,直接为海量候选进行全量概率打分计算开销极大;虽然引入 Top-K 检索能够缓解,但截断会引入开世界候选丢失,造成无条件覆盖率下降。
- 未来方向:作者指出将保形风险控制从成员重标识攻击扩展到成员推理攻击(MIA)以及对抗自适应攻击者,是极具前景的研究方向。
相关工作与启发¶
- vs 差分隐私 (Differential Privacy, DP):DP 侧重于训练算法的稳定性和最坏情况理论界,通过注入噪声保证隐私,但往往伴随严重的文本效用下降且无法衡量单文档发布时的残余链接风险;CPA 则从发布侧入手,审计给定黑盒攻击者下特定文档的统计歧义性。
- vs 经验性隐私攻击评估 (Empirical Privacy Auditing):传统重标识攻击仅汇报 Top-1 准确率或攻击成功率,缺乏对未来未见数据的有限样本有效性证明;CPA 通过保形预测框架将任意打分机制校准为具有标称覆盖保证的置信集合。
- vs 统计披露控制 (Statistical Disclosure Control, SDC):经典 SDC(如 k-anonymity、l-diversity)多面向结构化微数据和参数化频率假设;CPA 面向非结构化自然语言文本,将 k-匿名性的等价群体概念扩展到了由 LLM 和检索驱动的非结构化攻击场景中。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将保形预测理论运用于大模型时代的文本重标识隐私审计,开辟了无分布假设隐私量化新范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖司法记录、传记、博客等 4 大基准,涵盖白盒 logit 与黑盒采样多款模型,实验论证与消融极其详实。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导严密清晰,对保形预测与隐私威胁模型的结合阐述深入浅出。
- 价值: ⭐⭐⭐⭐⭐ 为大模型时代的敏感数据发布与安全合规提供了坚实的统计工具与可落地的工程判据。