Identified-Set Geometry of Distributional Model Extraction under Top-K Censored API Access¶

会议: NeurIPS 2026
arXiv: 2605.10407
OpenReview: https://openreview.net/forum?id=lqDgPjh2zT
论文: https://arxiv.org/abs/2605.10407
领域: 安全
关键词: 模型窃取, Top-K截断, 部分可识别性, 知识蒸馏, 极大极小风险

一句话总结¶

本文首次从计量经济学部分可识别性视角推导了 Top-K 截断 API 下模型分布恢复的总变差直径精确解 $U_K$ 与极大极小 KL 恢复界，并揭示了单步分布逼近与下游任务能力迁移之间的显著解耦现象。

研究背景与动机¶

商业大语言模型通过受限 API 对外提供服务，构成了当前对抗模型窃取（Model Extraction）攻击的核心防线。主流部署规范普遍仅返回最高概率的 $K$ 个分词得分（例如 $K=5$ 或 $K=20$），并彻底截断剩余海量词表的概率信息。现有的模型窃取研究要么侧重于通过代数方程恢复投影矩阵，要么基于攻击者可获取完整条件概率向量的前提证明提取的多项式时间可学习性。然而，这类理论假定严重脱离了工业界 API 的实际截断环境，安全防御界长期缺乏对 Top-K 截断机制所能提供的真实信息论防御边界的精确刻画。

这就引出了一个根本性的理论矛盾：在截断观测下，攻击者重构教师模型单步真实输出分布的不确定性究竟有多大？Top-K 截断到底能不能有效遏制私有模型能力的迁移？以往的黑盒蒸馏工作往往将输出分布的 KL 散度拟合与下游任务技能转移混为一谈，未能从信息论层面解耦分布恢复极限与端到端能力窃取，导致防御者无法定量评估截断策略的安全增益。

本文的切入角度是将 API 截断观测形式化为统计学与计量经济学中的「部分可识别性」（Partial Identification）问题，直接求解所有与 Top-K 观测兼容的教师分布所组成的可识别集（Identified Set）几何性质。核心 idea：将 Top-K 截断 API 抽象为未归一化分数的次序统计量截断，严格证明其可识别集的总变差直径解析解 $U_K$，给出极大极小 KL 恢复风险的计算下界与渐近闭式，并在实证上证明分布逼近保真度与任务能力迁移之间存在严重的非单调解耦。

方法详解¶

整体框架¶

本文构建了针对 Top-K 截断 API 的信息论恢复与抽取分析框架。在未归一化 logits 访问模式下，对于给定提示词，教师模型在词表 $[V]$ 上生成 logits 向量，API 仅返回排名前 $K$ 个分词的索引集合 $A$、对应原始 logits $\{z_v\}_{v \in A}$ 以及截断阈值 $\tau = z_{(K)}$，其余 $V-K$ 个分词的 logits 仅满足 $z_u \le \tau$。该观测诱导出一个与观测完全相容的教师候选分布集合——可识别集 $\mathcal{S}_K$。攻击者的目标是基于该集合构造估计量，以最小化最坏情况下的分布重构风险；若具备基座模型先验，则通过扰动约束进一步缩紧集合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["Top-K 截断 API 观测<br/>集合 A、Logits 值与截断阈值 τ"] --> B["可识别集总变差直径精确解<br/>闭式计算 TV 直径 UK"]
    B --> C["极大极小 KL 恢复下界与渐近界<br/>两点极端分布构建与下界 R_bin"]
    C --> D["参考模型先验约束缩减<br/>引入微调扰动上界 ρ 缩减至 UR"]
    D --> E["能力窃取层级与保真度解耦评估<br/>对比 On-task Top-K、Full Logit 与 Generation"]

关键设计¶

1. 可识别集总变差直径精确解：解析求解截断下的最坏不确定度 针对未归一化 logits 导致归一化常数完全未知的难点，定义观测分词的配分函数 $Z_A = \sum_{v \in A} \exp(z_v)$，截断词表大小 $M = V - K$ 与最大未归一化权重 $b = \exp(\tau)$。所有相容分布在观测头部集合 $A$ 上的条件分布完全固定为 $\alpha_v = \exp(z_v)/Z_A$，且尾部分配的总质量 $t$ 受制于 $t \le U_K$。本文严格证明了闭包 $\bar{\mathcal{S}}_K$ 的总变差（Total Variation, TV）直径精确等于： $$U_K = \frac{M \cdot \exp(\tau)}{Z_A + M \cdot \exp(\tau)}$$ 该公式的极致优势在于完全由攻击者单次 API 调用返回的信息计算得出（$V$ 为公开词表大小）。它证明了在未归一化场景下，尾部最大不确定性等价于零尾部分布与均匀分配到所有截断分词的最大尾部分布之间的 TV 距离。针对返回已归一化对数概率的简化场景，TV 直径则直接退化为可直接观测的隐藏尾部总质量 $t^* = 1 - \sum_{v \in A} p_v \le U_K$。

2. 极大极小 KL 恢复下界与渐近界：量化最坏情况下的信息论重构极限 在确定 TV 直径后，攻击者寻求估计分布 $\mathbf{q}$ 来极小化最大 KL 散度 $\inf_{\mathbf{q}} \sup_{\mathbf{p} \in \bar{\mathcal{S}}_K} \mathrm{KL}(\mathbf{p} \parallel \mathbf{q})$。由于高维单纯形内部极值搜索极为困难，作者通过约束至两个端点分布（零尾部分布 $\mathbf{p}^{(0)}$ 与最大均匀尾部分布 $\mathbf{p}^{(U_K)}$），推导出可精确计算的二值端点下界： $$R_{\text{bin}}(U_K) = -\log(1 - s^*), \quad \text{其中 } s^* = \frac{U_K (1-U_K)^{(1-U_K)/U_K}}{1 + U_K (1-U_K)^{(1-U_K)/U_K}}$$ 在小模糊度极限 $U_K \to 0$ 下，该下界渐近逼近 $U_K/e + O(U_K^2)$；同时，作者构造了保留尾部质量 $s=U_K/e$ 的对称估计量，证明了渐近匹配的相符上界 $U_K/e + O(U_K^2)$。这确立了小模糊度下的一阶极大极小风险为 $U_K/e$。而在现实部署的大 $U_K$ 场景下，$R_{\text{bin}}$ 构成了确定性的无法恢复凭证。

3. 参考模型先验约束缩减：利用基座模型微调界限压缩可识别集 当攻击者知晓教师模型所基于的开源底座时，可以引入结构化先验假定。设教师模型由已知参考模型 logits $z_{\text{ref}}$ 微调而来，且未观测分词的扰动受限于 $z_T(u) - z_{\text{ref}}(u) \le \rho$。结合截断上限，截断词权重上界收紧为 $B_u = \exp(\min(\tau, z_{\text{ref}}(u) + \rho))$。记 $C_R = \sum_{u \notin A} B_u$，参考感知下的 TV 直径收缩为： $$U_R = \frac{C_R}{Z_A + C_R} \le U_K$$ 若微调幅度温和，该先验能显著收窄不确定度（例如从 0.908 降至 0.492）；但若教师模型经过了激进的 SFT 训练，未观测分词的扰动上界先验将被破坏，说明防御者必须警惕黑盒微调强度对理论先验的颠覆。

损失函数 / 训练策略¶

在实证下游蒸馏中，对比了三种访问模式与对应的目标优化策略： 1. Top-K Logit 蒸馏：采用稀疏 KL 损失（strict_topk_kd）或引入截断分词排序约束的残差排序损失（delta_rank），联合优化头部排名与截断边界： $$\mathcal{L}_{\text{rank}} = \sum_{v \in A} (z_S(v) - \hat{z}_T(v))^2 + \lambda \sum_{u \notin A} \max(0, z_S(u) - \tau)^2$$ 2. 全 Logit 蒸馏（DKD）：在无截断模式下对全词表应用解耦知识蒸馏损失，分离目标类与非目标类概率分布。 3. 生成式蒸馏（Gen-SFT）：完全不依赖 per-position logit，直接基于教师模型生成的思维链（CoT）推理轨迹进行标准自回归交叉熵有监督微调。

实验关键数据¶

主实验¶

在 Qwen3-0.6B（数学推理教师由 GSM8K SFT 得到，准确率从基座 4.0% 升至 44.6%）上的核心抽取层级评估，对比了不同访问模式下的分布保真度与私有能力恢复度（Private Value Recovery, PVR）：

方法	访问模式	训练数据	KL散度 $\downarrow$	KL闭合度	GSM8K准确率 (%)	PVR (%) $\uparrow$
Base Model	无	—	—	—	4.0	—
Teacher Model	内部权重	—	0.000	100.0%	44.6	100.0%
ce_only	无教师	WikiText	$1.037 \pm .002$	0.0%	$7.4 \pm 0.3$	$8.4 \pm 0.8$
strict_topk_kd	Top-K Logit	WikiText	$1.183 \pm .001$	-14.0%	$15.3 \pm 1.7$	$27.8 \pm 4.1$
bild	Top-K Logit	WikiText	$0.460 \pm .002$	55.6%	$7.0 \pm 0.7$	$7.4 \pm 1.8$
delta_rank	Top-K Logit	WikiText	$\mathbf{0.414} \pm .002$	60.0%	$6.9 \pm 1.2$	$7.2 \pm 2.9$
dkd_full	Full Logit	WikiText	$0.032 \pm .000$	96.9%	$10.2 \pm 0.4$	$15.3 \pm 1.1$
ontask_topk	Top-K Logit	GSM8K Prompt	$0.016 \pm .000$	98.4%	$8.8 \pm 1.4$	$11.8 \pm 3.4$
ontask_dkd	Full Logit	GSM8K Prompt	$0.010 \pm .000$	99.0%	$26.9 \pm 0.8$	$56.5 \pm 2.0$
gen_sft	Generation	GSM8K Traces	0.480	—	$43.0 \pm 1.0$	$\mathbf{96.1} \pm 2.5$
joint_gen_kd	Gen + Logit	GSM8K+Wiki	0.390	—	$\mathbf{45.7} \pm 1.1$	$\mathbf{102.6} \pm 2.6$

消融实验¶

表 1 统计了不同截断阈值 $K$ 下理论直径 $U_K$ 与无法恢复下界 $R_{\text{bin}}$ 的演化（3,200 个真实 Prompt 位置，Qwen3-0.6B 词表 $V=151,936$）；同时对比跨任务域（代码生成 MBPP）的解耦表现：

评估维度 / $K$ 值	指标 $U_K$ (Mean $\pm$ Std)	$R_{\text{bin}}$ 下界	核心结论 / 对比表现
$K=5$	$0.984 \pm 0.088$	0.652	超过 98% 的 TV 分布直径处于完全未识别状态
$K=10$	$0.970 \pm 0.124$	0.626	未归一化截断下信息损失仍旧极其严重
$K=20$ (典型API)	$0.908 \pm 0.237$	0.538	工业标准配置下 $U_K > 0.90$，$R_{\text{bin}} > 0.53$ nats
$K=50$	$0.858 \pm 0.288$	0.484	扩大观测词数边际收益迅速递减
$K=100$	$0.809 \pm 0.317$	0.437	即使观测前100个词，仍有超 80% 直径未被识别
代码域 (MBPP, Top-K)	$\text{KL} = 0.019 \pm .003$	—	PVR 达 $46.3 \pm 7.9\%$（与全 Logit 的 44.4% 相当）
代码域 (MBPP, Gen)	—	—	PVR 达 $100.0 \pm 4.0\%$，完整恢复私有能力

关键发现¶

分布逼近与能力迁移的显著解耦：在 WikiText 上，delta_rank 取得了 60% 的 KL 闭合度，但 GSM8K PVR 仅有 7.2%；相反，strict_topk_kd 的 KL 散度恶化（-14% 闭合度），PVR 却高达 27.8%。其机理在于稀疏 Top-K 提升了模型在 Top-1 预测上的吻合度（81.0% 对比 75.9%），抓住了推理主干分词，却牺牲了全分布长尾。
访问模式决定能力上限：在完全相同的 GSM8K 提示词分布上，从 Top-K 到 Full Logit 带来 44.7 个百分点的 PVR 飞跃（11.8% $\to$ 56.5%）；而转为教师自回归生成的推理轨迹（Generation）时，PVR 进一步暴涨至 96.1%。
任务依赖的解耦异质性：数学推理重度依赖自回归长轨迹的多步纠错，因此单步 Logit 截断对能力迁移构成了实质障碍；但在单样本带公有断言的代码生成（MBPP）任务中，Top-K 与 Full Logit 的 PVR 基本相当（46.3% vs 44.4%），解耦程度明显弱于数学领域。

亮点与洞察¶

将模型截断输出与计量经济学部分可识别性建立桥梁，推导出的 TV 直径公式 $U_K$ 形式优雅且无需额外查询，单次调用即可原地解析。
明确划分了防御边界：Top-K 截断成功守住了「单位置分布保真度」，但无法防范基于文本生成的推理轨迹窃取。防御者不能仅仅依赖 Logit 截断，必须配合严格的端点生成速率限制与轨迹审计。
澄清了蒸馏优化目标与能力迁移的非单调关系，警示后续安全研究不能盲目将 KL 散度下降作为模型窃取成功的代指标。

局限与展望¶

单位置局部性局限：目前的理论推导基于单位置非自适应查询；若攻击者利用 logits 的低秩先验、多轮自适应自回归追加查询，可能跨位置压缩可识别集。
架构同源性依赖：主实验侧重于学生与教师同架构设置；在跨模型家族（如 Qwen 到 Llama）或跨规模场景下，容量错配会显著拉低 Top-K 抽取效能。
扰动机制未被涵盖：实际 API 常伴随温度采样、随机舍入或 Top-p 动态截断，拓展该理论至随机截断具有重要现实意义。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将部分可识别性理论引入 API 截断安全分析，解析求解 TV 直径。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖跨模型（Qwen3, Llama3.2）、跨任务（数学、代码、语言建模）及严谨的访问模式对比。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰严谨，概念界定与实证解耦阐述深刻透彻。
价值: ⭐⭐⭐⭐⭐ 为模型提供商的 API 安全评估与模型提取攻防提供了坚实的理论基准。

评估维度 / \(K\) 值	指标 \(U_K\) (Mean \(\pm\) Std)	\(R_{\text{bin}}\) 下界	核心结论 / 对比表现
\(K=5\)	\(0.984 \pm 0.088\)	0.652	超过 98% 的 TV 分布直径处于完全未识别状态
\(K=10\)	\(0.970 \pm 0.124\)	0.626	未归一化截断下信息损失仍旧极其严重
\(K=20\) (典型API)	\(0.908 \pm 0.237\)	0.538	工业标准配置下 \(U_K > 0.90\)，\(R_{\text{bin}} > 0.53\) nats
\(K=50\)	\(0.858 \pm 0.288\)	0.484	扩大观测词数边际收益迅速递减
\(K=100\)	\(0.809 \pm 0.317\)	0.437	即使观测前100个词，仍有超 80% 直径未被识别
代码域 (MBPP, Top-K)	\(\text{KL} = 0.019 \pm .003\)	—	PVR 达 \(46.3 \pm 7.9\%\)（与全 Logit 的 44.4% 相当）
代码域 (MBPP, Gen)	—	—	PVR 达 \(100.0 \pm 4.0\%\)，完整恢复私有能力