跳转至

Conformal Privacy Auditing: Calibrated Re-identification Attacks with Statistical Guarantees

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 安全
关键词: 保形预测, 隐私审计, 身份重新识别, 大语言模型安全, 统计保证

一句话总结

针对大语言模型结合辅助背景知识实施的文本身份重新识别风险,提出无分布假设的黑盒保形隐私审计框架 CPA,为每篇发布文本生成具有有限样本统计置信保证的候选身份模糊集与反向模糊度泄露代理。

研究背景与动机

在医疗、法律与社交媒体等领域,公开脱敏文本对推动科研与业务落地至关重要。传统的文本脱敏通常采用命名实体替换等符号遮盖手段,将人名、机构等预定义私密标记替换为通用占位符。然而,即便去除了直接标识符,文本中残留的细粒度准标识符(如“37岁”、“女性”、“肾脏病专家”、“布里斯班”)相互组合仍会构成高区分度的链接信号。随着具备强大推理与常识抽取能力的大语言模型(LLM)被广泛应用,攻击者能够自动提炼隐式线索并结合外部知识库发起高效的重新识别攻击,使得经过严格脱敏的文本依然面临严重的数据泄露威胁。

现有的文本隐私保护与审计方法在面对此类 LLM 攻击者时陷入了两难境地。一方面,差分隐私(Differential Privacy, DP)虽然提供了严谨的最坏情况理论界,但在自然语言生成与复杂文档发布场景中,注入的校准噪声往往导致文本可用性发生毁灭性暴跌,且其基于全局敏感度的保守界难以刻画特定文档在具体发布时的细粒度再识别风险;另一方面,传统的经验性隐私审计主要依赖特定攻击管线计算 Top-1 攻击成功率,这类点估计评估不仅无法推广到未知数据或更强的攻击者,更缺乏有限样本下的统计有效性保证。发布机构无法依据单一的攻击成功率做出可靠的放行或拦截决策。

针对上述挑战,本文将文本发布时的身份链接审计转化为保形预测问题,探索如何在不假设数据分布且无需获知攻击模型内部权重的前提下,为单篇发布文档提供严格的统计安全证书。核心 idea:构建保形隐私审计(Conformal Privacy Auditing, CPA)框架,利用自适应预测集累积质量评分与分割保形校准,为任意黑盒攻击者(包含仅支持抽样查询的闭源 API)输出具有指定覆盖概率 \(1-\alpha\) 的候选身份模糊集,以集合尺寸作为直观可解释的泄露凭证指导文本发布决策。

方法详解

整体框架

CPA 运作于文本发布的审计阶段。数据发布机构设定受保护的目标文本 \(x\)(如脱敏病例或法律裁判文书)与攻击者的威胁配置 \(w\)(涵盖候选身份库字段、辅助检索知识、LLM 线索提取提示词及采样预算)。系统首先通过攻击者管线获得候选身份池上的概率分布或排序;随后利用留出的校准集计算非一致性得分的分位数阈值;最终为测试文档输出以至少 \(1-\alpha\) 概率包含真实目标身份的保形模糊集 \(C_\alpha(x, w)\),并计算反向模糊度泄露代理 \(L(x, w)\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["待发布脱敏文本与攻击者背景知识"] --> B["自适应累积质量评分<br/>按攻击者概率排序累加候选置信度"]
    B --> C["黑盒分割保形校准<br/>利用留出校准集计算分位数截断阈值"]
    C --> D["开放世界截断与模糊集认证<br/>输出含真实身份的候选集并量化泄露代理"]
    D --> E["发布决策与再脱敏审查"]

关键设计

1. 自适应累积质量评分:度量候选身份排序的不确定性 传统的保形预测多针对分类任务的绝对置信度,而攻击者的输出往往是经过温度缩放的检索相似度或未校准的模型伪后验。为兼顾不同攻击管线,CPA 引入自适应预测集(Adaptive Prediction Sets, APS)思想,设计面向身份链接的累积质量非一致性得分。对于给定的文档 \(x\)、候选身份 \(y\) 与知识等级 \(w\),攻击者管线输出候选集 \(\mathcal{Y}(x, w)\) 上的排序分布 \(p_A(\cdot | x, w)\),令 \(\pi_1, \pi_2, \dots\) 为降序排列的候选身份,则非一致性评分定义为累加至目标身份所需的概率质量总和: $\(s(x, y; w) := \sum_{j: p_A(\pi_j|x, w) \ge p_A(y|x, w)} p_A(\pi_j | x, w)\)$ 该得分天然处于 \((0, 1]\) 区间。若攻击者以极高确信度将概率集中在真实身份上,则得分极小;若攻击者判断模糊,则需要累加大量候选身份才能覆盖真实个体,得分变大。对于不支持 logits 输出的黑盒或闭源商用 API,CPA 允许通过 \(m\) 次强制选择抽样统计经验频率 \(\hat{p}_m\),构造即插即用的估计得分 \(\hat{s}_m\),使非一致性度量完全摆脱了对模型内部状态的依赖。

2. 黑盒分割保形校准:在有限样本下赋予统计置信保证 为摆脱启发式阈值微调在未知测试分布上失效的问题,CPA 采用分割保形预测(Split Conformal Prediction)机制,在固定的攻击者威胁配置 \(w\) 下实现有限样本的边际覆盖保证。审计方准备包含 \(n\) 个独立同分布或可交换样本的校准集 \(\{(X_i, Y_i, W_i)\}_{i=1}^n\)。系统计算每个校准样本在真实标签处的非一致性得分 \(T_i = s(X_i, Y_i; w)\),并将其升序排列为 \(T_{(1)} \le \dots \le T_{(n)}\)。对于用户指定的失误率容忍度 \(\alpha \in (0, 1)\),确定校准截断分位数: $\(\hat{q}_\alpha := T_{(k)}, \quad \text{其中 } k = \lceil(n+1)(1-\alpha)\rceil\)$ 对于待发布的新文档 \((X_{n+1}, W_{n+1})\),生成的候选模糊集包含所有得分不超过阈值的身份,即 \(C_\alpha(x, w) = \{y \in \mathcal{Y}(x, w) : s(x, y; w) \le \hat{q}_\alpha\}\)。在样本可交换性假设下,测试样本的真实身份被该模糊集覆盖的概率严格满足 \(\Pr(Y_{n+1} \in C_\alpha(X_{n+1}, w)) \ge 1 - \alpha\)。

3. 开放世界截断与模糊集认证:连接现实攻击约束与泄露风险评估 在真实对抗环境中,攻击者受限于计算开销通常只检索 Top-\(K\) 候选池,这使得闭世界假设被打破,真实身份可能在初始检索阶段即被遗漏。CPA 明确引入开放世界漏检概率 \(\rho(w) := \Pr(Y \notin \mathcal{Y}(X, w))\),在理论上证明了当候选池存在漏检时,保形覆盖率以乘积形式平缓退化:\(\Pr(Y \in C_\alpha(X, w)) \ge (1 - \rho(w))(1 - \alpha) \ge 1 - (\rho(w) + \alpha)\)。在此基础上,CPA 定义了归一化的反向模糊度泄露代理 \(L(x, w) := 1 / \max\{1, |C_\alpha(x, w)|\}\)。该指标直观反映了攻击者缩减疑犯范围的能力:若 \(|C_\alpha(x, w)| = 1\),则意味着在 \(1-\alpha\) 置信水平下攻击者已锁定单一目标(最高泄露风险);若 \(|C_\alpha(x, w)| = 1000\),则攻击者面临巨大的辨识模糊度(安全放行)。这一机制直接对接了隐私监管机构对再识别数值阈值的合规要求。

一个完整示例

假设某医疗机构欲发布一份包含“45岁、女性、罕见血液病、居住于A市”的脱敏病历,候选患者数据库共有 1,000 人。审计方设定置信度 \(1-\alpha = 0.95\)(允许 5% 的失误率),并在 100 个历史病例的校准集上计算出 APS 质量截断阈值 \(\hat{q}_{0.05} = 0.25\)。 1. 弱攻击者审计(仅元数据匹配):攻击者仅利用年龄与性别检索,候选池中数百名患者得分接近且分散,真实患者的排序较低。为累加至目标概率,非一致性得分迅速超过 0.25,导致保形模糊集最终包含 320 名候选者,\(|C_{0.05}| = 320\),泄露代理 \(L \approx 0.003\)。系统判定安全。 2. LLM 增强攻击者审计(结合常识提取与疾病特征):攻击者使用 Llama-3 提取出该罕见病在 A 市的特定就诊背景,概率高度集中在 3 位候选人身上,其累积概率分别为 0.10、0.18 与 0.24。此时这 3 人的得分均满足 \(s \le 0.25\),保形模糊集收缩为 3 人,\(|C_{0.05}| = 3\),泄露代理激增至 \(L = 0.333\)。系统立即发出高危警报,阻止该文本直接发布,要求实施更高级别的特征泛化或抑制。

实验关键数据

主实验

论文在 TAB(司法案例)、WikiBio(维基传记)、TextWash(人物描述)以及 Blog Authorship(博客作者归属)四大基准上系统评估了 CPA。下表汇总了 TAB 基准在直接发布与准标识符(Quasi-ID)脱敏发布机制下,不同知识级别(K1 仅元数据、K2 提取关键词、K3 案例全文)与 LLM 线索提取下的审计结果(\(\alpha = 0.05\))。

攻击者设置 Top-1 精度 经验覆盖率 (Cov.) 中位数集合大小 (Med. |C|) 均值集合大小 (Mean |C|) 泄露代理均值 (Mean 1/|C|)
TAB-Direct
K1 仅元数据 / 直接检索 0.052 0.929 1268 1179.5 0.000957
K2 关键词 / 直接检索 0.973 0.973 1 1.0 1.0000
K3 案例全文 / 直接检索 0.994 0.994 1 1.0 1.0000
K2 关键词 / LLM 线索提取 0.715 0.970 20 20.1 0.0499
TAB-Direct (Quasi-ID)
K1 仅元数据 / 直接检索 0.003 0.932 1268 1173.6 0.0017
K2 关键词 / 直接检索 0.872 0.953 4 3.7 0.2717
K3 案例全文 / 直接检索 0.964 0.964 1 1.0 1.0000
K2 关键词 / LLM 线索提取 0.615 0.945 27 27.1 0.0369

消融实验

下表对比了 WikiBio、Blog Authorship 与 TAB 数据集在 \(\alpha = 0.05\) 下,采用不同非一致性评分构造函数(APS 累积质量评分、基于纯排名的 Rank 得分、以及原始未归一化概率 Prob)时的覆盖率与集合尺寸表现:

评估场景 / 攻击配置 评分构造函数 经验覆盖率 (Cov.) 中位数集合大小 (Med. |C|) 均值集合大小 (Mean |C|)
WikiBio + Llama-3.1-8B APS 质量评分 0.950 189 186.87
WikiBio + Llama-3.1-8B 基于纯排名 (Rank) 0.950 179 179.00
WikiBio + Llama-3.1-8B 原始概率 (Prob.) 0.960 212 209.43
Blog W10 + Llama APS 质量评分 0.950 8 8.34
Blog W10 + Llama 基于纯排名 (Rank) 0.962 9 9.00
TAB K3 + LLM 线索 APS 质量评分 0.967 31 30.80
TAB K3 + LLM 线索 原始概率 (Prob.) 0.951 19 24.47

关键发现

  • 统计保证跨配置严格稳健:无论在何种数据集、攻击模型或背景知识级别下,经验覆盖率均紧密围绕名义置信水平 \(1-\alpha = 0.95\) 浮动,验证了有限样本保形预测在自然语言隐私审计中的数学严密性。
  • 隐私泄露由发布机制与辅助知识协同决定:在 TAB 上,若攻击者仅掌握 K1 元数据,中位数集合大小高达 1268(候选池全集),此时即便发布文本未经重度脱敏,攻击者也面临极高不确定性;但一旦攻击者具备 K2/K3 级别的文本背景,模糊集立即坍塌为单元素集(\(|C| = 1\)),再识别泄露风险急剧上升。
  • LLM 增强效应具有高度模型与上下文依赖性:LLM 线索提取并非在所有场景下均能单调提高攻击威力。在 TextWash 虚构人物子集上,由于缺乏外部真实先验,GPT-5 与 Llama 提示无法压缩模糊集;而在知名人物(Famous)子集上,Llama 线索将中位数集合大小从 120 显著压缩至 90,显示出外部背景知识与 LLM 推理的强耦合放大效应。
  • 评分构造器灵活性支持纯排名攻击:消融实验表明,APS、排名得分与原始概率均能达成合规覆盖。其中纯排名得分(Rank)的成功尤其关键,它证明审计方甚至不需要模型输出连续概率,仅凭有序候选列表即可构建保形证书。

亮点与洞察

  • 将启发式再识别攻击转化为统计确界的模糊集:传统审计只报“攻击成功率”,CPA 引入保形预测理论,将不确定的点预测转化为具有确定概率包含真身的“嫌疑人短名单”,为发布策略提供了清晰的数学兜底。
  • 解耦模型访问权限,原生支持闭源商用 API 审计:通过设计基于蒙特卡洛多轮强制选择抽样的经验频率插桩评分,CPA 允许发布者对无法获取 logits 的闭源商业大模型(如 GPT-4/Claude)实施黑盒审计。
  • 为发布决策提供可落地的连续调节旋钮:失误率 \(\alpha\) 构成了安全与可用性的直观权衡指标;反向模糊度代理 \(L(x, w)\) 使得组织能够直接对齐政府监管中的定量风险阈值(如安大略省隐私专员的 0.09 重识别风险红线)。

局限与展望

  • 依赖预先声明的威胁模型与知识梯级:CPA 的统计保证严格受限于声明的攻击者能力与候选池构建假设。正如分布漂移压力测试所示,一旦实际攻击者拥有超越假设的外部知识或未校准的提示词,证书将失去覆盖有效性,无法防范完全未知的天才攻击者。
  • 开放世界大规模候选池下的计算开销:当参考人群扩展到数百万时,完整的排序与 APS 累加计算代价高昂;若强行采用小规模 Top-\(K\) 截断,则会引入不可忽略的候选漏检率,从而降低无条件覆盖率。
  • 后续拓展方向:未来可探索协变量偏移下的加权保形预测(Weighted CP)与基于亚群划分的蒙德里安保形预测(Mondrian CP),并将该框架从身份链接拓展至成员推断(Membership Inference)与非结构化属性反推审计中。

相关工作与启发

  • vs 差分隐私(DP):DP 通过向训练数据或生成解码注入校准噪声提供最坏情况数学保障,但在长文本发布中常导致严重的语义失真与效用暴跌;CPA 专注于发布阶段的下游风险控制,不改变文本本身,而是对特定攻击模型下的残留风险进行无损定量认证。
  • vs 传统经验隐私评估(Empirical Auditing):以往研究仅汇报特定攻击管线的 Top-1 成功率或攻击精确率,缺少泛化保证且易受置信度偏置影响;CPA 将点预测提升为具有有限样本覆盖保证的集合预测,为未知测试文档提供了严谨的安全边界。
  • vs 统计披露控制(Statistical Disclosure Control / \(k\)-匿名):传统的 \(k\)-匿名针对结构化表格微数据,依赖基于模型的总体频数估计;CPA 则将 \(k\)-匿名的“不可区分群组”理念推广至非结构化自然语言文本,以无分布假设的保形模糊集刻画真实语境下的匿名程度。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将保形预测理论严谨引入文本重新识别隐私审计,建立了从黑盒攻击到统计集合保证的全新范式。
  • 实验充分度: ⭐⭐⭐⭐⭐ 跨越司法、维基、传记与博客四大基准,涵盖开/闭源大模型、知识梯级消融、分布漂移与样本量敏感性分析,论证极其详实。
  • 写作质量: ⭐⭐⭐⭐⭐ 数学形式化清晰严密,理论推导与经验结论呼应紧凑,图表信息表达高度规范。
  • 价值: ⭐⭐⭐⭐⭐ 为合规敏感场景下的文本去标识化与安全发布提供了切实可行的工业级审计工具,具有重要的实用与理论指导意义。