Fingerprinting Inference Systems of Large Language Models¶
会议: NeurIPS 2026
arXiv: 2605.29979
OpenReview: https://openreview.net/forum?id=JfJBHSWafR
代码: https://github.com/ANON-2026-FINGERPRINTING/fingerprinting-inference-systems
领域: LLM效率
关键词: 大模型指纹识别, 推理系统指纹, 浮点非结合性, 黑盒探测, 推理基础设施安全
一句话总结¶
通过精心构造针对预填充、分块预填充、KV 缓存复用和自回归解码等计算阶段的黑盒提示词，利用底层浮点非结合性导致的微小数值偏差，在无 logits 访问权限下精确识别大模型背后的推理引擎、注意力后端与 GPU 硬件平台。
研究背景与动机¶
随着大语言模型（LLM）的高效部署成为生产级 AI 服务的核心基石，推理系统已经演变成包含专用硬件加速器（如 NVIDIA A100、H100、L4）、高度优化的注意力算子后端（如 FlashAttention、FlashInfer、Triton、TurboMind）以及顶层推理调度引擎（如 vLLM、SGLang、TensorRT-LLM、LMDeploy）的复杂异构技术栈。尽管这些系统在数学规范上执行相同的神经网络前向传播，但由于浮点数加法与乘法在有限精度下的非结合性（non-associativity），不同组件在张量重塑、规约求和顺序、分块调度（tiling）与算子融合上的微小工程差异，不可避免地会导致底层 logits 产生微弱的数值漂移。学术界与工业界过去普遍将此类偏差视作妨碍可复现性的无害工程副产物。
然而，这种系统级数值偏差实际上暴露了极其严重的安全与信任隐患。在安全防御侧，主流推理引擎近期被频繁披露出危害等级极高的严重漏洞（如 vLLM 中的多模态视频解析远程代码执行 CVE-2026-22778、SGLang 中的服务端模板注入漏洞 CVE-2026-5760），一旦攻击者能够精准探测到目标 API 背后的引擎类型，就能实施针对性的漏洞利用；在基础设施审计侧，算力租赁客户也亟需验证云服务商是否真实分配了合同约定的高端硬件（例如防范以低配 GPU 冒充 H100）。核心技术痛点在于：现有研究往往依赖白盒或需要获取模型输出的 log-probabilities（logits），但在绝大多数商用黑盒 API 和聊天机器人服务中，服务商仅暴露纯文本生成接口，内部概率分布完全被截断，使得利用极其微弱的浮点漂移实现纯文本黑盒指纹识别变得异常困难。
本文的切入角度是：十亿甚至百亿参数模型在数十层 Transformer 的前向传播中会显著放大底层浮点偏差，从而在临界决策点上改变最高概率 token 的抉择，直接具象化为可观测的文本序列差异。核心 idea：将 LLM 推理系统的黑盒指纹识别解耦为针对四个不同计算阶段（预填充、分块预填充、KV-cache 复用、自回归解码）的定制提示词集，将纯文本响应映射为归一化特征向量，并训练多标签分类器以完全基于输入输出文本精准指纹识别推理引擎、注意力后端和 GPU 硬件。
方法详解¶
整体框架¶
本文提出的推理系统指纹识别框架分为两个核心阶段：探针提示词构建阶段与特征提取分类阶段。在探针构建阶段，研究者根据推理栈中不同组件的计算特征，设计了四套互补的提示词集合 \(\mathcal{P}_1, \mathcal{P}_2, \mathcal{P}_3, \mathcal{P}_4\)，分别定向激发并放大自回归生成、预填充阶段、长上下文分块预填充（chunked prefill）以及前缀 KV-cache 复用中的浮点数值差异。在特征分类阶段，将黑盒系统对提示词集产生的文本响应通过专门设计的评分函数转化为数值特征向量，并在离线收集的参考系统组合上训练随机森林（Random Forest）分类器，从而在无 logits 的条件下独立判别推理引擎、注意力机制后端与 GPU 硬件型号。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["黑盒目标系统<br/>已知模型与系统提示词"] --> B["阶段化探针提示词集<br/>激发多阶段浮点非结合性"]
B --> C["分阶段推理解耦执行<br/>P1解码 / P2预填充 / P3分块 / P4缓存"]
C --> D["响应评分函数与联合特征向量<br/>si 映射输出文本至 0-1 空间"]
D --> E["多组件独立随机森林分类器<br/>支持采样聚合与多数表决"]
E --> F["推理系统指纹判定<br/>推理引擎 / 注意力后端 / GPU类型"]关键设计¶
1. 四阶段解耦探针提示词集：定向激活特定推理算子与调度路径
推理系统中的各层组件对不同输入形态的响应具有显著的计算路径异构性：简单的单步解码主要受预填充算子主导，而复杂长上下文则触发引擎的分块调度策略。为防止各层误差相互抵消或混淆，本文构建了四类互补的提示词集合： - 稀有 Token 提示词 \(\mathcal{P}_1\)（1,700 条）：在无意义文本中嵌入由非常规 Unicode 字符组成的低频标记序列，要求模型在自回归解码中将其检索复述。由于稀有 token 的输出概率与其邻近低频候选极为接近，多步自回归中累积的微弱浮点偏差极易促使 Top-1 预测在临界状态下发生翻转。 - 二元决策提示词 \(\mathcal{P}_2\)（5,000 条）：基于 BoolQ 数据集精心筛选是/否判定问题，促使非推理类模型以单一解码步输出答案。由于几乎不存在自回归生成的迭代误差，该提示词集将计算完全隔离在预填充（prefill）阶段的矩阵乘法与注意力规约中。 - 长上下文分块提示词 \(\mathcal{P}_3\)（150 条）：构建包含数千 token 的长上下文，在不同深度处嵌入数值识别码并要求回传。由于输入长度超出单次计算阈值，强制触发各引擎的分块预填充（chunked prefill）与张量切片操作，使得分块切分边界与拼接调度中的数值误差显现出来。 - 重复序列缓存提示词 \(\mathcal{P}_4\)（100 条）：指示模型将特定短句严格重复 100 次。这会直接激发推理引擎的 RadixAttention 或 PagedAttention 前缀 KV-cache 复用路径，实际复述次数的细微漂移直接反映了底层缓存管理与精度截断策略。
2. 文本响应结构化打分与联合特征空间映射：跨越 logits 截断壁垒
在无法获取预测概率分布与隐层状态的前提下，必须将非结构化的自由文本响应规约为低维、紧凑且保留系统特异性的数值表征。针对给定提示词集合 \(\mathcal{P}_i = \{p_1, \ldots, p_n\}\) 与对应的系统输出文本 \(\mathcal{R}_i = \{r_1, \ldots, r_n\}\)，本文定义了针对性评分函数 \(s_i: \Sigma^* \rightarrow [0, 1]\)： - 对于稀有 token 集合 \(\mathcal{P}_1\) 与长上下文集合 \(\mathcal{P}_3\)，评分函数 \(s_i(r_j)\) 为指示函数，若输出精确命中目标 token/数字则赋值为 \(1\)，否则赋值为 \(0\)； - 对于二元决策集合 \(\mathcal{P}_2\)，\(s_2(r_j)\) 判定响应首个有效 token 是否为 "yes"，是则赋 \(1\)，否则（如 "no" 或拒答）赋 \(0\)； - 对于重复序列集合 \(\mathcal{P}_4\)，提取模型实际完成的有效重复次数 \(c\)，并按请求目标进行线性归一化，即 \(s_4(r_j) = \min(c / 100, 1.0)\)。
最终将四个集合的子特征向量拼接为联合特征嵌入： $\(\phi = [\phi_1, \phi_2, \phi_3, \phi_4] \in [0, 1]^{|\mathcal{P}_1| + |\mathcal{P}_2| + |\mathcal{P}_3| + |\mathcal{P}_4|}\)$ 这一机制完全剥离了语义扰动，仅将浮点漂移诱发的离散文本变化保留为确定性的二值或有界连续状态。
3. 多分类器联合决策与随机采样多数表决机制：兼顾确定性与随机性解码
在确定性解码（\(T=0\)）下，同一系统在相同输入下产生恒定文本，特征向量分类等价于确定性模式检索。但在实际服务常见的随机采样模式（\(T > 0\)）下，随机采样引入的温度噪声会严重冲淡数值偏差信号。为此，框架在离线基准系统上对每条提示词采集 \(l=768\) 次独立采样构建训练样本，促使分类器捕获分布层面的偏置模式；在指纹识别线上黑盒系统时，通过对每个探针独立请求 \(k\) 次（\(k \in [10, 50]\)），并在分类阶段对各个目标独立构建的随机森林模型输出执行多数表决（Majority Voting）。通过对推理引擎（4 类）、注意力后端（6 类）和 GPU 硬件（3 类）训练三套独立的解耦分类器，避免由于笛卡尔积空间配置稀疏带来的过拟合。
实验关键数据¶
主实验¶
评估涵盖 4 个主流推理引擎（vLLM、SGLang、TensorRT-LLM、LMDeploy）、6 个注意力后端（FlashAttention、FlashInfer、Triton Attention、TRT-LLM、PyTorch、TurboMind）和 3 类主流 GPU（NVIDIA H100、A100、L4），在 30 种有效组合及 3 款模型（Llama-3.2-3B-Instruct、Qwen2.5-7B-Instruct、Qwen3-4B-Reasoning）上进行系统评测。
在确定性解码（\(T=0\)）与不同随机采样温度（\(T \in \{0.3, 0.6, 0.9\}\)，\(k=50\) 次重复查询）下的指纹识别准确率如下表所示（随机猜测基准：引擎 25.0%、注意力 16.7%、GPU 33.3%）：
| 模型 | 温度 \(T\) | 推理引擎准确率 (%) | 注意力后端准确率 (%) | GPU 硬件准确率 (%) | 平均准确率 (%) |
|---|---|---|---|---|---|
| Llama-3.2-3B | 0.0 | 100.0 | 100.0 | 100.0 | 100.0 |
| Llama-3.2-3B | 0.3 | 72.0 | 45.0 | 70.0 | 62.3 |
| Llama-3.2-3B | 0.6 | 62.0 | 37.0 | 50.0 | 49.7 |
| Llama-3.2-3B | 0.9 | 57.0 | 33.0 | 47.0 | 45.7 |
| Qwen2.5-7B | 0.0 | 100.0 | 100.0 | 100.0 | 100.0 |
| Qwen2.5-7B | 0.3 | 93.0 | 99.0 | 98.0 | 96.7 |
| Qwen2.5-7B | 0.6 | 92.0 | 86.0 | 77.0 | 85.0 |
| Qwen2.5-7B | 0.9 | 88.0 | 60.0 | 70.0 | 72.7 |
| Qwen3-4B | 0.0 | 100.0 | 100.0 | 100.0 | 100.0 |
| Qwen3-4B | 0.3 | 74.0 | 70.0 | 65.0 | 69.7 |
| Qwen3-4B | 0.6 | 75.0 | 49.0 | 49.0 | 57.7 |
| Qwen3-4B | 0.9 | 85.0 | 45.0 | 57.0 | 62.3 |
| 全模型平均 | 0.0 | 100.0 | 100.0 | 100.0 | 100.0 |
| 全模型平均 | 0.3 | 80.0 | 71.0 | 78.0 | 76.3 |
| 全模型平均 | 0.6 | 76.0 | 58.0 | 59.0 | 64.3 |
| 全模型平均 | 0.9 | 76.0 | 46.0 | 58.0 | 60.0 |
消融实验：批处理大小跨域泛化测试¶
在实际黑盒探测中，目标服务端处于并发服务状态，请求执行时的批处理大小（Batch Size）不受探测者控制。下表展示了在训练阶段仅使用批处理大小 \(\{32, 64, 128\}\)，而在测试阶段直接在未见过的批处理大小 \(256\) 下进行黑盒指纹识别的准确率表现（\(T=0\)）：
| 评估模型 | 推理引擎识别率 (%) | 注意力机制识别率 (%) | GPU 硬件识别率 (%) | 说明 |
|---|---|---|---|---|
| Qwen2.5-7B | 94.0 | 97.0 | 97.0 | 跨 Batch Size 性能极其稳健，微小降幅 |
| Llama-3.2-3B | 90.0 | 84.0 | 85.0 | 泛化保持优异，远超随机猜测基准 |
| Qwen3-4B | 99.0 | 77.0 | 68.0 | 引擎识别近乎完美，注意力与硬件适度受损 |
| 未见批大小平均 | 94.3 | 86.0 | 83.3 | 证明指纹信号本质上独立于并发调度量 |
关键发现¶
- 极简探针数量即可达成完全指纹识别：在贪婪解码（\(T=0\)）下，最小只需 113 个精心挑选的探针提示词即可在 30 种完整软硬件配置中达成 100% 的精准识别；针对推理引擎维度的识别尤其敏感，仅用约 10 个探针即可达到高置信度。
- 组件指纹强度呈现明显层级差异：推理引擎（Inference Engine）留下的数值指纹最强且最为鲁棒，在高温采样（\(T=0.9\)）下仍可维持平均 76% 的分类准确率；注意力后端与 GPU 硬件在高温噪声下的衰减相对较快。
- 模型架构对数值信号敏感度不同：Qwen2.5-7B 表现出极强的指纹信号保持能力，在 \(T=0.6\) 下综合识别率依然达到 85.0%；具有长思维链推理特性的 Qwen3-4B 则在 \(T=0.9\) 下出现引擎识别率反弹恢复（85.0%），表明深度推理路径会复利式放大底层差异。
亮点与洞察¶
- 将“不可复现的数值噪声”转化为高价值安全情报：首次在纯文本交互层面上，将长期被忽视的底层浮点非结合性系统漂移提升为可靠的侧信道攻击面，打破了过去必须依赖 logits 输出或白盒显存监控的技术限制。
- 计算阶段解耦的提示词探针设计：巧妙利用 LLM 推理执行流在预填充、分块切割、KV 前缀复用与自回归生成上的物理边界，分别定制稀有字符、布尔决策、长文档嵌入与重复循环探针，使不同维度的算子差异能够被正交解耦和独立分析。
- 揭示了异构加速生态内在的安全二律背反：AI 基础设施为了追求极致吞吐而引入的多样化优化（算子重排、核函数融合、动态分块）在本质上必然制造系统特异性指纹，导致在保持异构高效计算与消除指纹泄漏之间存在根本性的工程矛盾。
局限与展望¶
- 依赖已知组件候选集的离线构建：该攻击模式属于闭集分类范畴，探测者必须具备先验搭建对照参考系统的能力；面对科技巨头完全自研且闭源的私有调度引擎或定制 ASIC 芯片，该方法在完全未见（out-of-distribution）类别的泛化边界上仍受限制。
- 温度分布漂移对跨域识别的冲击较大：当目标服务端的实际采样温度与离线训练收集温度发生显著偏离时（例如以 \(T=0.3\) 的模型预测 \(T=0.9\) 的部署），识别准确率会出现明显折损，需要攻击者先通过多轮统计估测目标温度。
- 防御对策存在效用与成本的严格权衡：添加前向噪声能够破坏指纹但会严重损害精准确定性任务（如代码生成、数学推理与格式化 JSON 生成）的可用性；基于请求频率限制（Rate Limiting）是最现实可行的防线，但在多账号女巫攻击（Sybil attack）下防御有效性仍面临挑战。
相关工作与启发¶
- vs Zhang et al. (2025) 平台推断方法: Zhang 等人的软硬件识别方案强依赖于服务端返回的 Log-probabilities（logits）概率分布向量；本文打破了这一严苛前提，首次在纯文本交互（Chat-only / Blackbox）且 logits 彻底被截断的真实 API 环境下实现了端到端指纹提取。
- vs Pasquini et al. (2025) 与 Gloaguen et al. (2026) 模型指纹/水印技术: LLMmap 等现有工作侧重于识别被部署的“模型权重与家族身份”本身；本文假定模型身份已知（可通过现有模型指纹手段获得），专注于向下刺穿抽象层，精准指纹识别底层承载模型的“软件运行时环境与硬件基础设施”。
- vs Yuan et al. (2025) 数值非确定性度量: Yuan 等人将浮点非结合性作为导致 LLM 不可重现的工程 Bug 进行系统根因分析并尝试统一消除；本文则站在对抗安全与信任审计视角，将这种无法根除的系统差异反向升华为高精度的侧信道指纹。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次基于纯文本黑盒交互证实了 LLM 推理系统软硬件全栈的浮点侧信道指纹泄漏。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 4 引擎、6 注意力后端、3 GPU 及 3 款开源大模型共 30 种组合，消融涵盖批大小、系统提示词与温度。
- 写作质量: ⭐⭐⭐⭐⭐ 概念清晰、逻辑链严密，对底层浮点机制与大模型系统调度的结合阐述透彻。
- 价值: ⭐⭐⭐⭐⭐ 对大模型服务安全评估、云端硬件合规审计及运行时脆弱性防御具有极强的指导价值。