Black-Box Inference of LLM Architectural Properties with Restrictive API Access¶

会议: NeurIPS 2026
arXiv: 2607.01313
领域: 安全
关键词: 黑盒模型窃取, 架构参数推断, 隐藏维度, 侧信道时序分析, 限制性 API

一句话总结¶

针对主流商业 LLM 仅暴露单一采样 token 对数概率且禁用 logit bias 的高壁垒防御 API，本文提出两阶段黑盒推断攻击框架 NightVision：通过高熵公共集提示抽样构建对数概率矩阵并利用自适应谱拐点检测精确恢复隐藏维度，结合首字生成时延与长序列预计算时序缩放关系估计网络层数与参数总量。

研究背景与动机¶

现代商业大语言模型通常将其内部模型架构、超参数配置以及权重参数视为最高级别的商业机密，仅通过受控的 Web API 向公众提供推理服务。早期的黑盒模型窃取与超参数推断工作（如 Carlini 等人和 Finlayson 等人）利用了 Transformer 最后的 Softmax 瓶颈特性，即多组提示下的输出 Logit 矩阵秩受限于输出隐层维度 $d$。然而，这些攻击方案严重依赖极高特权的 API 接口——要么要求服务商返回全量 Logit 概率分布（或 Top-$k$ 对数概率），要么要求 API 开放 Logit 偏置（logit bias）功能，以便攻击者能够逐项偏移并逆向求解出任意 token 的真实对数概率。

面对此类安全威胁，主流模型服务商纷纷筑起防御高墙：彻底移除 Logit 偏置接口，并且将返回信息收窄至绝对最小化——每个解码步仅返回被采样选中的单一 token 及其对应对数概率。在如此苛刻且高度受限的黑盒 API 约束下，传统的对数概率矩阵直接构造法与二值搜索探测彻底失效；与此同时，仅凭单 token 的稀疏采样很难直接观测到全局词表的分布变化，这给推断目标模型的隐藏维度、网络深度及总参数量带来了严峻的理论与技术挑战。

面对这一困境，研究人员开始重新思考最小信息泄露边界：虽然 API 限制了单次采样的输出，但多次独立采样的随机分布依然受制于隐层向量与词表投影矩阵的线性映射；同时，端到端首字响应时延（Time to First Token, TTFT）等不可避免的系统侧信道依然向外部泄露着底层硬件与计算复杂度的物理线索。核心 idea：通过多语言高熵提示在单 token 采样下构建交集对数概率子矩阵，利用平滑谱分析与自适应拐点检测精确推断隐藏维度，并以预填充时延的注意力二次缩放定律联动求解网络层数与总参数量。

方法详解¶

整体框架¶

NightVision 整体分为两个互为支撑的推断阶段：第一阶段为“公共集提示攻击”（Common-Set Prompting Attack），旨在仅依赖单 token 对数概率输出的 API 接口下恢复目标模型的隐藏维度 $d$；第二阶段为“时序侧信道攻击”（Timing Attack），以第一阶段估计出的隐藏维度 $\hat{d}$ 为基础，利用 Prefill 阶段由自注意力机制主导的二次计算特征，反解出网络层数（深度）$L$ 以及总参数规模 $P$。

在第一阶段中，攻击者首先通过自动化高熵提示搜索生成能够最大化打散词表概率分布的输入序列，通过在较高温度下重复采样收集解码 token 及其实际对数概率，构建极度稀疏的对数概率矩阵。随后采用贪心 NaN 剪枝算法提取出在提示子集与 token 公共集上完全密集的子矩阵，计算其 Gram 矩阵并进行特征值分解，结合反正切变换与曲率拐点检测定位隐藏维度。在第二阶段中，攻击者通过构造跨越二次转移边界的不同长度长文本，精确测量端到端 Prefill 首字延迟，拟合全局时序缩放定律并推算结构超参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["黑盒目标 LLM API<br/>仅单 token 对数概率 + 端到端首字时延"] --> B["自动化高熵提示搜索<br/>跨语言字符变异最大化解码熵"]
    B --> C["贪心 NaN 剪枝与公共集矩阵构建<br/>提取高密度公共 token 子矩阵 Y"]
    C --> D["自适应谱分析与拐点检测<br/>反正切压缩 + 鞍点/峰值搜索确定隐藏维度 d"]
    D --> E["长上下文 Prefill 延迟采样<br/>跨越交叉点扫掠输入序列长度"]
    E --> F["时序缩放定律联合拟合与架构解算<br/>二次复杂度回归推断层数 L 与总参数量 P"]
    F --> G["最终架构属性推断结果<br/>隐藏维度 d、层数 L、参数量 P"]

关键设计¶

1. 自动化高熵提示搜索：打破单 token 采样的长尾瓶颈

在没有 Logit 偏置支持的前提下，单次解码只能观测到由当前分布随机采样出的那一个 token 的对数概率。若提示词引发的预测分布极度尖锐，采样将反复落在极少数头部高频 token 上，导致不同提示词之间无法形成覆盖词表的重叠交集。为了构建具有统计秩信号的公共 token 集合 $\mathcal{C}$，必须迫使模型输出极其平坦的近均匀分布。仅凭 API 允许的最高采样温度（通常上限为 $\tau = 2.0$）远远无法消除语义先验的影响。

NightVision 设计了一种自动化的高熵提示生成演化算法。其核心洞察是：分布外（OOD）或无明确语义结构的输入序列会导致大模型丧失置信度，从而产生高熵预测。算法从拉丁文、中日韩统一表意文字（CJK）、Emoji、阿拉伯文、希伯来文、盲文及数学符号等多种 Unicode 字符族中随机采样初始候选字符串（固定长度为 55 个 Unicode 字符）。搜索分为探索与贪心精化两阶段：前期批量评估随机字符组合，跟踪记录使 Top-1 预测概率最小的候选提示；当 Top-1 概率被压制到预设阈值以下后，进入局部贪心微调阶段，通过单字符变异操作迭代优化，最终筛选出 $D$ 个（默认 $20,000$ 个）能够诱导最大预测熵的提示集合 $\mathcal{D}$。

2. 贪心 NaN 剪枝与公共集矩阵构建：从非结构化采样中提取密集特征空间

对于每个筛选出的高熵提示 $S_q \in \mathcal{D}$，攻击者以 $\tau = 2.0$ 独立采样调用 $N$ 次，记录生成的去重 token 集合 $\mathcal{T}_q$ 及对应对数概率 $y_q^{(i)}$。由于不同提示词激发的词表子集存在天然差异，直接汇总构成的完整对数概率矩阵 $\hat{\mathbf{Y}}_{\mathrm{full}} \in \mathbb{R}^{D \times |\mathcal{V}|}$ 中绝大部分元素为缺失值（NaN）。传统的矩阵补全或低秩分解算法在此类缺失率极高、且完全无全局观测基准的场景下难以稳定收敛。

NightVision 引入贪心 NaN 剪枝机制：在每一轮迭代中，统计当前存活行与存活列的 NaN 缺失比例，贪心地剔除缺失率最高的一整行（提示）或一整列（token），并动态更新剩余维度的缺失统计。该循环持续执行直到矩阵内无任何 NaN 留存。最终提取出的密集子矩阵 $\mathbf{Y} \in \mathbb{R}^{D' \times |\mathcal{C}|}$ 保证了每一个幸存 token $v \in \mathcal{C}$ 在每一个保留提示 $S \in \mathcal{D}'$ 下均有真实的对数概率观测。在理论层面，论文证明了指示变量 $X_i = \mathbf{1}(v_i \in \mathcal{C})$ 满足负相依性（Negative Association），通过浓度不等式严格给出了保证公共集大小 $|\mathcal{C}| \ge d$ 所需的每提示采样数界： $$N \ge \frac{\ln\left[1 - \left(\frac{d + \sqrt{2d\ln(1/\delta)} + 2\ln(1/\delta)}{|\mathcal{V}|}\right)^{1/D}\right]}{\ln(1 - 1/|\mathcal{V}|)}$$ 该界揭示了渐近总查询量约为 $O(|\mathcal{V}| D \ln D)$，在理论上确立了单 token 采样模式下完全重构低秩信号的样本复杂度。

3. 反正切谱变换与自适应双标点拐点检测：克服量化截断噪声的秩估计

真实的生产环境推理引擎通常采用 bfloat16 等低精度浮点格式运行，输出对数概率带有不可忽略的舍入误差与截断噪声。因此剪枝后获得的密集矩阵 $\mathbf{Y}$ 在数值上几乎总是满秩的，其数学形式可建模为低秩信号与浮点噪声的叠加：$\mathbf{Y} = \mathbf{Y}^\star + \boldsymbol{\eta}$，其中 $\mathrm{rank}(\mathbf{Y}^\star) \le d + 1$。以往全 logit 攻击下特征值在第 $d$ 项处会出现数个数量级的断崖式暴跌（Elbow Drop），但由于 NightVision 仅采集了受限公共集上的无偏采样，其特征值谱线呈现出极为平滑的连续衰减，传统的简单拐点法则彻底失效。

为了在极其微弱的曲率过渡带中捕获真实的截断信号，NightVision 首先计算 Gram 矩阵 $\mathbf{G} = \mathbf{Y}\mathbf{Y}^\top$（或 $\mathbf{Y}^\top\mathbf{Y}$）并进行特征值分解，得到递减特征值序列 $\lambda_1 \ge \lambda_2 \ge \dots \ge 0$。随后执行逐元素反正切压缩变换： $$a_i = \arctan(\lambda_i), \quad i=1, \dots, \min(D', |\mathcal{C}|)$$ 该变换将幅值跨越数个数量级的信号头部紧密压缩至上限为 $\pi/2$ 的渐近平台区，同时放大了信噪交界处的曲率突变。算法计算滑动窗口内的局部最小二乘斜率并进行居中平滑滤波，形成平滑导数序列 $\tilde{s}_i$。利用该导数序列的一阶极值结构自动界定感兴趣区间（Area of Interest, AOI）：以首个满足显著性阈值的局部极小点作为下界鞍点 $i_{\mathrm{sad}}$，以随后的首个非增极值点作为上界峰值 $i_{\mathrm{peak}}$。最终在区间内依据最大负二阶差分精确定位拐点： $$\hat{d} = \arg\max_{k \in [i_{\mathrm{sad}}, i_{\mathrm{peak}}]} \left(-\Delta^2 a_k\right)$$ 最后将 $\hat{d}$ 对齐到大模型设计通用的 $g=128$ 整数倍网格，实现高精度离散规整。

4. 预填充主导时序缩放拟合：基于注意力二次复杂度的跨平台参数解算

在获得精准的隐藏维度估计 $\hat{d}$ 后，NightVision 转向攻击模型的网络深度 $L$ 与总参数量 $P$。Transformer 推理包含 Prefill（输入编码）与 Decode（自回归解码）两个阶段。自回归阶段受 KV 缓存带宽瓶颈制约且受组查询注意力（GQA）等机制扰动，可控性较差；而 Prefill 阶段针对长序列输入的自注意力计算具有确定的 $O(L \ell^2 d)$ 理论浮点开销，在长序列区间会压倒前馈网络与投影层的 $O(L \ell d^2)$ 线性开销。

攻击者构造输出长度恒为 1 token、而输入长度 $\ell$ 覆盖宽区间的测时提示集。为了精确切入注意力主导区，设计了动态交叉点判定 $\ell^\star = \lfloor (d + d_{\mathrm{kv}} + \frac{3}{2}d_{\mathrm{ffn}}) \cdot r \rfloor$（其中 $r \approx 0.6$ 为注意力与 MLP 的经验吞吐比），在序列扫描中剔除短序列，将端到端延迟精确建模为： $$T_{i, j} \approx \beta L_i \ell_j^2 d_i + \alpha$$ 利用开源公开模型构成的参考集 $\mathcal{F}$ 拟合全局计算效率系数 $\beta$ 与系统开销常数 $\alpha$。针对目标硬件与基准平台不一致的问题，论文进一步引入硬件转换系数 $k = \gamma^{\mathrm{tgt}} / \gamma^{\mathrm{ref}}$，通过全局斜率比值消解异构 GPU 吞吐差异，解算出目标层数 $\hat{L}$。最后结合现代 LLaMA 风格的标准配置假设（SwiGLU 前馈层与解绑输入输出嵌入），通过解析几何关系直接推导出总参数量： $$\hat{P} = 2\hat{V}\hat{d} + \hat{L}\left(2 + 2\frac{n_{\mathrm{kv}}}{n_{\mathrm{heads}}} + 3\frac{d_{\mathrm{ffn}}}{\hat{d}}\right)\hat{d}^2 + (2\hat{L} + 1)\hat{d}$$

实验关键数据¶

主实验¶

实验在涵盖 dense 与 MoE 架构的 32 个大语言模型验证集上展开评估（模型参数量跨越 135M 至 30B），硬件基准覆盖 NVIDIA H100、H200 及 A100 GPU。

下表对比了 NightVision 与当前具有代表性的黑盒属性推断方法的接口要求、恢复能力以及在基准测试下的平均相对误差表现：

评估方法	依赖 API 权限	依赖时序	恢复隐藏维度 $d$	恢复层数 $L$	恢复参数量 $P$	平均相对误差 (d / L / P)
Carlini et al. (2024)	单 token logprob + Logit Bias	否	是	否	否	0.0% / – / –
Finlayson et al. (2024)	Top-$k$ logprobs + Logit Bias	否	是	否	否	< 1.0% / – / –
Li (2026) (IKP)	纯文本黑盒问答 (Text-only)	否	否	否	是 (仅参数量)	– / – / ~45%
NightVision (本文, 仅公共集)	单 token logprob (无 Logit Bias)	否	是	否	否	23.0% / – / –
NightVision (本文, 完整框架)	单 token logprob (无 Logit Bias)	是	是	是	是	23.0% / 53.0% / 53.0%

注：Carlini et al. 与 Finlayson et al. 的极低误差建立在已被主流 API 禁用的 Logit Bias 强假设上；Li (2026) 仅能粗略估计总参数量，无法恢复隐藏维度和网络深度。NightVision 恢复数据对应模型参数 $\ge 3\text{B}$ 的平均表现。

消融实验与模型架构分析¶

为剖析不同模型架构类型、不同规模区间以及跨硬件迁移对推断精度的影响，下表汇总了 NightVision 在不同配置子集下的详细消融实验数据：

实验配置类别	评测子集 / 设定条件	隐藏维度相对误差 $R(\hat{d})$	层数相对误差 $R(\hat{L})$	总参数量相对误差 $R(\hat{P})$	核心影响与原因说明
模型架构类型	Dense 稠密大模型 (全集)	26.8%	55.4%	56.1%	稠密模型各层均全激活，参数量拟合受前馈结构微调影响
模型架构类型	MoE 混合专家模型 (全集)	9.0%	–	–	稀疏路由使得每次仅激活少量子集，特征空间更快达到饱和
参数规模分组	小型模型 (< 3B 参数)	18.5%	> 100%	> 100%	短上下文未进入 Prefill 渐近区，$O(\ell^2 d)$ 假设不成立
参数规模分组	中大型模型 ($\ge 3\text{B}$ 参数)	23.0%	25.0%	65.0%	Prefill 阶段严格主导端到端延迟，时序缩放关系拟合极准
代表模型单体验证	Qwen2.5-7B-Instruct	0.0% (精准恢复)	16.0%	14.0%	标准 LLaMA 风格 SwiGLU 结构与理论模型高度契合
代表模型单体验证	OLMo-3-7B-Instruct	0.0% (精准恢复)	20.0%	18.0%	词表较大但谱衰减显著，AOI 区间完美包裹真实秩 4096
代表模型单体验证	Granite-3.0-8B (受限窗口)	50.0%	85.0%	92.0%	上下文窗口上限仅 4096，序列不足以充分激发出注意力延迟
跨硬件迁移校准	H200 训练 $\to$ A100 目标 (同构拟合)	保持 $d$ 精度	52.3%	54.1%	引入单一硬件缩放因子 $k$ 成功消除跨平台吞吐绝对差异

关键发现¶

MoE 模型的谱反演速度显著快于 Dense 模型：MoE 架构下的隐藏维度平均相对误差仅为 9%，远优于 Dense 模型的 26.8%。主要原因在于 MoE 的稀疏门控路由使得每次前向传播仅激活极少数专家网络，有效输出分布由更少维度的参数组合主导，促使对数概率矩阵的奇异值空间能够在更少样本下迅速趋于饱和。
Prefill 延迟存在明显的规模门槛效应：在参数量低于 3B 的小型模型上，层数与参数量的估计误差常常超过 100%；而对于 $\ge 3\text{B}$ 的大型模型，层数相对误差骤降至 25% 左右。这是因为小模型的绝对计算量较小，系统调度开销、内核启动延迟及非缩放投影操作占据了相当大的时间比重，破坏了纯粹的注意力二次方假设。
时序攻击的查询预算具有极高性价比：隐藏维度恢复需要高达 $10^{11} \sim 10^{12}$ 量级的 token 采样预算以充分填充公共集矩阵；与此形成鲜明对比的是，时序侧信道拟合在分配仅 10M tokens 时即已完全收敛，进一步增加测时样本对提升拟合精度几乎没有显著增益。

亮点与洞察¶

弱假设下的有效攻击设计：打破了学术界对“禁用 Logit Bias 与全量 Logit 即可完全防御架构逆向”的乐观预期，证明即使在最为严苛的“单 token 采样 + 单一 logprob”限制性商业 API 下，大语言模型的隐层维度与参数规模依然存在可被利用的侧信道。
数学驱动的样本复杂度证明：创造性地将公共集 token 采样的出现问题抽象为负相依指示变量的集合交集概率，利用负相依性质与 Bernstein 形式浓度不等式在理论上闭环推导了构建充分秩子矩阵所需的查询样本下界。
软硬件协同的侧信道分析方法：将算法层面的低秩谱分析与系统底层的端到端时延物理规律进行解耦再组合，提供了一种利用宏观行为表征（时延二次曲面）推断内部微观拓扑（层数与结构参数）的标准范式。

局限与展望¶

总查询 token 成本较为高昂：为满足理论上的公共集重叠条件，NightVision 在稠密大模型上需要消耗约 $10^{11}$ 级别的 token 预算，其实际调用开销相比于原先拥有 Logit 偏置的攻击方案高出 12 至 190 倍，在实际黑盒渗透中可能触发服务商的异常流量风控。
依赖标准 Transformer 结构归纳偏置：参数推断公式与时序缩放定律强假设底层模型遵循标准的 LLaMA 式解码器结构（如 SwiGLU、GQA 等）；对于混合了线性注意力（如 Qwen 3.5 中的 Gated DeltaNet）或状态空间模型（SSM）的新型架构，现有的二次拟合关系会出现明显系统性偏差。
防御对策启示：未来的商用大模型 API 防御不仅需要持续收紧概率输出接口，更需对返回延迟实施防御性混淆（如加入随机注入延迟、对齐时间步分桶）或对异常高熵 prompt 与重复采样模式建立主动监测与拦截机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在商用限制性单 token 对数概率 API 条件下打破防御，提出创新的公共集抽样与时序联合反演框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 32 个涵盖 135M 至 30B 规模的开源大模型，并在真实 H100、H200 与 A100 GPU 平台上开展跨硬件验证。
写作质量: ⭐⭐⭐⭐⭐ 理论推导完备自洽，从威胁模型演化、样本复杂度证明到算法细节展开清晰透彻。
价值: ⭐⭐⭐⭐⭐ 对商业大模型知识产权保护、防御性 API 架构设计以及黑盒模型数字取证具有里程碑式的指导意义。