BiShield-TEE: On the (In-)Security of Unilateral Weight Obfuscation in On-Device TEE-Shielded LLM Partition¶
会议: NeurIPS 2026
arXiv: 2610.21565
OpenReview: https://openreview.net/forum?id=PQQKAksTi4
代码: https://github.com/laduiw/BiShield-TEE
领域: 安全
关键词: 大模型端侧部署、可信执行环境 (TEE)、权重混淆、模型窃取攻防、双边矩阵变换
一句话总结¶
揭示了现有基于 TEE 的大模型单边权重混淆中普遍存在的解确定性缺陷（SDP）并成功破解 GroupCover 与 ArrowCloak，提出基于 Householder 反射与对角缩放的双边混淆防御框架 BiShield-TEE，以极低 TEE 开销诱导歧义解并将窃取精度压制在黑盒基线。
研究背景与动机¶
随着大语言模型在移动端与边缘设备上的广泛落地，端侧模型不仅承担低延迟交互，更直接暴露在用户完全可控的不可信软硬件环境中。为了保护模型权重这一核心知识产权，学术界与工业界普遍转向基于硬件可信执行环境（TEE，如 Intel SGX）的分区推理范式：将受限内存与算力下的轻量级解混淆逻辑置于 TEE 飞地（Enclave）内部，而将密集的矩阵乘法卸载至不受信任的端侧 GPU。现有主流防御方案（如 SOTER、ShadowNet、TLG、GroupCover、ArrowCloak）无一例外遵循“单边右乘混淆”路线，即在权重矩阵右侧施加可逆变换矩阵以保护输出维度，寄希望于结构化混淆矩阵兼顾飞地内的快速求逆与不可信环境下的权重机密性。
然而，端侧受保护模型在实际工业场景中几乎全部由公开基础模型（如 Llama、GPT-2、ViT）微调而来，这一工程现实为攻击者提供了强大的先验约束。单边防御框架因受限于 TEE 算力开销，所选用的变换矩阵必然具备稀疏块对角或低秩加性结构。本文敏锐地指出，这种单边结构化设计存在根本性的“解确定性属性”（Solution Determinacy Property, SDP）：攻击者利用公开预训练权重与混淆权重构建最小二乘估计，能够唯一且高精度地重建出混淆密钥的结构骨架。在此漏洞下，先前被认为安全的代表性方案 GroupCover（ICML'24）与 ArrowCloak（USENIX Security'25）发生安全坍塌，攻击者不仅能通过聚类或主成分分析彻底剥离混淆掩码，更能以超过黑盒基线 2.4 倍的高保真度恢复原模型机密能力。
为了从根源上摧毁 SDP 所依赖的结构确定性，必须打破单纯依赖权重单边变换的惯性设计。核心 idea：摒弃单边右乘混淆，构建联合混淆输入与输出维度的双边变换框架 BiShield-TEE，利用 Householder 镜面对称与对角缩放诱导无限连续的歧义解（Ambiguous Solutions），在保持轻量 TEE 算子开销的同时使攻击者无法从公开预训练先验中解析出真实密钥。
方法详解¶
整体框架¶
BiShield-TEE 包含双重核心贡献：攻破单边混淆方案的结构还原攻击，以及防御端侧模型窃取的双边变换执行范式。针对传统单边方案 \(\mathbf{W}_{\text{obf}} = \mathbf{W}_{\text{vic}}\mathbf{T}\)，攻击者先计算最小二乘估计 \(\hat{\mathbf{T}} = \mathbf{W}_{\text{pre}}^\dagger \mathbf{W}_{\text{obf}} \approx (\mathbf{I} + \mathbf{W}_{\text{pre}}^\dagger \boldsymbol{\Delta})\mathbf{T}\)；对于 GroupCover 采用贪心极大团聚类恢复块稀疏分组，对于 ArrowCloak 则利用 PCA 提取共享偏置掩码并进行去噪投影配准。而在防御端，BiShield-TEE 将任意权重矩阵 \(\mathbf{W}_{\text{vic}} \in \mathbb{R}^{d \times n}\) 改造为左右双边混淆形式 \(\mathbf{W}_{\text{obf}} = \mathbf{T}_l \mathbf{W}_{\text{vic}} \mathbf{T}_r\)，其中 \(\mathbf{T}_l = \mathbf{H}_l \mathbf{D}_l\)、\(\mathbf{T}_r = \mathbf{D}_r \mathbf{H}_r\)。在模型推理时，TEE 在输入送入 GPU 前通过输入变换隐式抵消左变换矩阵，并在 GPU 计算输出后通过轻量飞地运算逆转右变换矩阵，同时对自注意力机制中的 Key-Query 点积与 Value 投影设计跨算子耦合抵消机制。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["公开预训练先验 + 混淆权重矩阵"] --> B["1. 解确定性漏洞审计与单边混淆破解<br/>贪心团提取与 PCA 去噪配准"]
B --> C["2. 双边正交与尺度联合混淆<br/>Householder 反射与对角缩放"]
C --> D["3. 算子感知的高效分区协同推理<br/>线性层与注意力分数隐式抵消"]
D --> E["4. 歧义解诱导与动态掩码安全屏障<br/>连续解空间与轻量低秩 OTP"]
E --> F["受保护端侧高保真输出"]关键设计¶
1. 解确定性漏洞审计与单边混淆破解：利用结构泄露还原单边防御模型能力 现有单边混淆方案为了在 TEE 内高效求逆，必须约束变换矩阵 \(\mathbf{T}\) 的结构复杂度。由于微调增量 \(\boldsymbol{\Delta} = \mathbf{W}_{\text{vic}} - \mathbf{W}_{\text{pre}}\) 的范数极小，攻击者通过伪逆获得的粗估计 \(\hat{\mathbf{T}} = \mathbf{W}_{\text{pre}}^\dagger \mathbf{W}_{\text{obf}}\) 完整继承了 \(\mathbf{T}\) 的几何与代数拓扑。针对 GroupCover 的块对角混淆，本文通过几何均值能量归一化抑制噪声，在列共支撑关联矩阵上运行贪婪团搜索，精确恢复出分组关系，随后将参数重建误差压缩至仅为黑盒微调增量的 \(s/d\) 分数（理论证明 \(\Vert \mathbf{W}_{\text{sur}} - \mathbf{W}_{\text{vic}} \Vert_F^2 \approx \frac{s}{d} \Vert \boldsymbol{\Delta} \Vert_F^2\)）。针对 ArrowCloak 的全列共享加性掩码 \(\mathbf{v} = \mathbf{W}_{\text{vic}}\mathbf{k}\)，由于其在方差主成分上形成极端频谱异常，攻击者执行一阶 PCA 即可分离出掩码方向 \(\mathbf{v}_{\text{est}}\)，正交投影消除加性噪声后利用匈牙利算法对齐列置换，最后逐列求解极低维最小二乘即可彻底攻破，使单边防御的保护效力几近失效。
2. 双边正交与尺度联合混淆：消除单边确定性并诱导歧义解空间 为了根除 SDP，BiShield-TEE 引入双边联合变换 \(\mathbf{W}_{\text{obf}} = \mathbf{T}_l \mathbf{W}_{\text{vic}} \mathbf{T}_r\)。为兼顾高安全性与极低的飞地计算开销，左右变换矩阵被构造为 Householder 反射矩阵与可逆对角矩阵的复合：\(\mathbf{T}_l = \mathbf{H}_l \mathbf{D}_l\)，\(\mathbf{T}_r = \mathbf{D}_r \mathbf{H}_r\)。其中 Householder 矩阵定义为 \(\mathbf{H} = \mathbf{I} - 2\mathbf{v}\mathbf{v}^\top\)（\(\Vert \mathbf{v} \Vert = 1\)），因其具备正交与对合性（\(\mathbf{H}^{-1} = \mathbf{H}\)），求逆运算可无损化简为 \(\mathbf{T}_l^{-1} = \mathbf{D}_l^{-1}\mathbf{H}_l\) 与 \(\mathbf{T}_r^{-1} = \mathbf{H}_r\mathbf{D}_r^{-1}\)。在双边变换下，攻击者即使试图最小化对预训练权重的重构残差，其恢复映射仍包含对映反射对称性与对角尺度互惠对称性（对任意 \(c>0\)，\((c\mathbf{D}_l, c^{-1}\mathbf{D}_r)\) 恢复出完全相同结果），并在非零残差容差区间内形成无数个连续共存的合法权重解集（Ambiguous Solutions），使任何针对预训练先验的单边或交替拟合均无法锁定真实微调权重。
3. 算子感知的高效分区协同推理：实现注意力与线性层的无损隐式抵消 在端侧分区执行过程中，若每一层都在 TEE 内进行密集的矩阵解码，将引发严重的通信与计算瓶颈。BiShield-TEE 巧妙利用 Transformer 的代数结构实现跨张量隐式抵消。在线性层中，TEE 仅对输入特征在行空间做预处理 \(\mathbf{X}' = \mathbf{T}_m \mathbf{X} \mathbf{D}_l^{-1}\mathbf{H}_l\)（\(\mathbf{T}_m\) 为动态激活保护矩阵），GPU 计算 \(\mathbf{Y}' = \mathbf{X}' \mathbf{W}_{\text{obf}}\) 时内部的 \(\mathbf{T}_l^{-1}\mathbf{T}_l\) 自动对消，TEE 仅需在输出时应用 \(\mathbf{T}_r^{-1}\)。在自注意力模块中，设计更进一步：令 Key 投影与 Query 投影的右侧混淆矩阵满足转置互逆约束 \((\mathbf{T}_K^r)^\top = (\mathbf{T}_Q^r)^{-1}\)，使得点积注意力分数 \(\mathbf{S}' = \mathbf{Q}' (\mathbf{K}')^\top = \mathbf{T}_Q \mathbf{S} \mathbf{T}_K^\top\) 在 GPU 矩阵乘时实现右侧因子的自动湮灭；TEE 仅需恢复行维度并执行 Softmax，随后对概率矩阵重新混淆并结合 Value 投影，使 \((\mathbf{T}_V^r)^{-1}\) 再次隐式对消。整个过程不仅保持飞地内为极简的向量内积与缩放，更完全保留浮点精度，实现 100% 授权效用无损。
4. 歧义解诱导与动态掩码安全屏障：结合轻量低秩 OTP 防范自适应攻击与中间态泄露 针对攻击者可能开展的输入输出交替拟合等自适应攻击，BiShield-TEE 证明了仅优化预训练残差无法跨越歧义解屏障，交替迭代仅会收敛至平凡的公开模型权重本身。同时，针对 GPU 侧可能遭受的中间激活窃取风险，BiShield-TEE 遵循端侧隐私保护原则，将每次前向推理的中间激活张量与 TEE 内部动态生成的轻量一次性便签（OTP）结合。通过低秩分解 \(\mathbf{R} \approx \mathbf{U}\mathbf{V}^\top\) 将飞地内存开销由 \(O(n^2)\) 降低到 \(O(nr)\)，并在每一轮 forward pass 中高频刷新掩码，配合 Freivalds 算法对 GPU 外包计算结果执行概率性完整性校验，阻断侧信道重建与自适应微调攻击。
损失函数 / 训练策略¶
BiShield-TEE 为免训练的即插即用部署框架。受保护模型 \(\mathbf{W}_{\text{vic}}\) 保持由公开预训练底座经 AdamW 微调的最佳权重不变。混淆阶段由部署方在 TEE 安全环境内离线执行：Householder 单位向量 \(\mathbf{v} \in \mathbb{R}^d\) 在单位超球面上均匀随机采样，对角矩阵 \(\mathbf{D}\) 的元素按对数均匀分布在 \([0.1, 10]\) 采样并赋予独立随机符号。在模拟攻击对抗评估中，攻击者在获取 \(\mathbf{W}_{\text{obf}}\) 后利用少于 1% 原训练集规模的查询预算对替代模型的分类头进行微调（AdamW，网格搜索学习率 \(\{2,5,8\}\times 10^{-4}, 1\times 10^{-3}\)），而 Llama 系列模型则直接在 zero/few-shot 评估协议下零微调检验结构提取能力。
实验关键数据¶
主实验¶
实验覆盖 ViT-Base、ViT-Large、GPT-2-Base、Llama3.2-1B 及 Llama3.2-3B 五大模型，跨越图像分类、文本理解与数学逻辑推理任务。评估重点衡量攻击精度相对于无任何权重信息泄露的黑盒基线之比（Rel. Black），该值越接近 \(1.00\times\) 表明防御越稳固，接近白盒（约 \(2.49\times\)）则意味着防护彻底失效。
| 模型 | 数据集 | 单边防御最佳 (Prior Best) 攻击准确率 | 单边防御相对黑盒 (Rel. Black) | BiShield-TEE 攻击准确率 (Ours) | BiShield-TEE 相对黑盒 (Rel. Black) | 白盒上限 (White-box) | 黑盒基线 (Black-box) |
|---|---|---|---|---|---|---|---|
| ViT-Base | CIFAR-10 | 98.4% | \(1.55\times\) | 63.6% | \(1.00\times\) | 98.1% | 63.4% |
| ViT-Base | CIFAR-100 | 90.0% | \(1.51\times\) | 59.7% | \(1.00\times\) | 90.9% | 59.7% |
| ViT-Base | Food-101 | 84.9% | \(1.43\times\) | 59.2% | \(1.00\times\) | 83.4% | 59.2% |
| ViT-Large | CIFAR-100 | 91.1% | \(1.32\times\) | 68.8% | \(1.00\times\) | 91.6% | 68.8% |
| ViT-Large | Food-101 | 85.9% | \(1.32\times\) | 65.3% | \(1.00\times\) | 85.5% | 65.3% |
| GPT2-Base | SST-2 | 92.1% | \(1.46\times\) | 63.0% | \(1.00\times\) | 92.4% | 63.0% |
| GPT2-Base | QQP | 87.9% | \(1.34\times\) | 65.6% | \(1.00\times\) | 88.1% | 65.6% |
| GPT2-Base | QNLI | 87.0% | \(1.62\times\) | 53.7% | \(1.00\times\) | 86.7% | 53.7% |
| GPT2-Base | MNLI | 80.4% | \(1.69\times\) | 47.7% | \(1.00\times\) | 80.8% | 47.7% |
| Llama3.2-1B | GSM8K | 30.7% | \(4.58\times\) | 7.0% | \(1.04\times\) | 35.5% | 6.7% |
| Llama3.2-1B | IFEval | 55.5% | \(4.59\times\) | 12.1% | \(1.00\times\) | 54.6% | 12.1% |
| Llama3.2-3B | GSM8K | 61.6% | \(2.22\times\) | 28.0% | \(1.01\times\) | 64.4% | 27.7% |
| Llama3.2-3B | IFEval | 71.7% | \(6.83\times\) | 10.5% | \(1.00\times\) | 73.5% | 10.5% |
| 平均指标 | 全部任务 | – | \(2.42\times\) | – | \(1.00\times\) | \(2.49\times\) | \(1.00\times\) |
消融实验¶
消融实验深入检验双边混淆中 Householder 正交反射与对角尺度变换（Scale）的互补作用，以及真实硬件（Intel SGX + RTX 5060 Ti）上的端到端推理时延。
| 配置 / 方案 | ViT-Base 时延 (ms) | ViT-Large 时延 (ms) | GPT2-Base 时延 (ms) | Llama3.2-1B 时延 (ms) | Llama3.2-3B 时延 (ms) | 平均相对减速比 (vs BiShield) | 平均防御 Rel. Black |
|---|---|---|---|---|---|---|---|
| GroupCover | 1667.97 | 4770.45 | 1028.13 | 3995.28 | 9848.23 | \(1.70\times\) | \(2.44\times\) (失效) |
| ArrowCloak | 1427.14 | 4234.46 | 853.99 | 3386.38 | 8441.53 | \(1.46\times\) | \(2.44\times\) (失效) |
| BiShield (仅 Householder) | – | – | – | – | – | – | \(1.34\times\) (部分泄露) |
| BiShield-TEE (完整 Scale+H) | 1073.74 | 2918.47 | 624.04 | 2272.86 | 5148.10 | \(1.00\times\) (基准) | \(1.00\times\) (完全压制) |
关键发现¶
- 单边防御的安全全面崩溃：GroupCover 与 ArrowCloak 的平均相对黑盒比值高达 \(2.44\times\)，与白盒上限的 \(2.49\times\) 几乎无异；而在复杂推理任务（如 Llama3.2-3B / IFEval）中，攻击准确率更是从黑盒的 10.5% 暴增至 71.7%（超过 6.8 倍），证明单边混淆在面对结构化 SDP 攻击时形同虚设。
- 双边构件的互补性：若仅采用双边 Householder 变换，攻击者的平均 Rel. Black 仍有 \(1.34\times\)（在 Llama-3B/IFEval 达 \(2.37\times\)），这是因为高维随机反射对权重 Frobenius 范数无扰动；加入对角缩放后，二者形成连环屏障，将攻击精度彻底压死在 \(1.00\times\)。
- 算力开销实现反超：BiShield-TEE 在全模型上端到端推理速度均大幅领跑，比 GroupCover 提速 \(1.70\times\)，比 ArrowCloak 提速 \(1.46\times\)。其原因在于 Householder 反射的飞地计算仅需两次向量内积（复杂度仅 \(O(ln)\)），省去了 GroupCover 的分组稠密逆矩阵与 ArrowCloak 的输入依赖修正项，TEE 密钥常驻内存减少了 19.0%～45.5%。
- 授权推理无损性：在所有 13 个微调评测集上，BiShield-TEE 混淆后的授权解密推理精度与原版浮点模型达到 100% 绝对一致（例如 Llama3.2-3B GSM8K 同为 64.4%、IFEval 同为 73.5%）。
亮点与洞察¶
- 攻防一体的深刻洞见：不仅提出了破除单边混淆的有效攻击理论（解确定性属性 SDP），更反向指导了双边防御框架的构建，形成了兼具进攻性证据与防御性鲁棒性的闭环研究。
- Householder 几何性质的绝妙利用：巧妙利用 Householder 矩阵对合（\(\mathbf{H}^{-1} = \mathbf{H}\)）且保正交的代数特征，无需显式求逆即可使 TEE 在常数级内积开销下完成特征还原，打破了“防御强度越高、TEE 开销越大”的固有权衡。
- 注意力机制的点积自对消设计：将 Key 与 Query 的右混淆矩阵直接设计为正交互逆配对，在矩阵点积相乘的物理运算中天然抵消变换因子，极具工程优雅性与通用迁移价值。
局限与展望¶
- 量化推理支持缺失：当前 Householder 与对角尺度代数反转严格依赖浮点代数精度，INT8/INT4 量化中的舍入与截断误差会打破算子自抵消关系，尚无法直接迁移至极低比特量化大模型。
- 硬件侧信道防护假设：研究主要聚焦于算法层面的权重混淆与矩阵窃取，未防御针对 TEE 飞地微架构执行层面的侧信道攻击（如 CipherH、HyperTheft 等密文侧信道）。
- 硬件环境验证局限：物理硬件评测仅在 Intel SGX1 平台与特定消费级 GPU 上完成，在移动端 ARM TrustZone 等异构安全架构上的行为与吞吐仍待验证。
相关工作与启发¶
- vs GroupCover (ICML'24)：GroupCover 采用单边分组块对角旋转矩阵，以为列置换可掩盖组划分；本文证明其预训练估计值具有明显块稀疏性，通过能量归一化与团搜索可轻易还原；BiShield-TEE 采用双边联合变换彻底消除了分组暴露漏洞。
- vs ArrowCloak (USENIX Security'25)：ArrowCloak 引入全列共享的加性掩码与缩放置换；本文发现共享偏置会诱发明显的极端主成分频谱异常，可被单阶 PCA 瞬间剥离；BiShield-TEE 摒弃外置加性共享项，从乘法双边空间消除低秩异常。
- vs Amulet (arXiv'25)：Amulet 探索双边混淆侧重于减少推理交互轮数，而 BiShield-TEE 首次从数学原理上证明并构建了针对 SDP 漏洞的连续歧义解空间，且具有更低常数的 Householder 恢复算子。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出解确定性漏洞并从代数几何视角构建轻量双边混淆体系。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 类大模型、13 项评测集、完备的自适应攻击矩阵及物理真实硬件基准。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，攻防对照严密，数学论证与直观机理解释极为清晰。
- 价值: ⭐⭐⭐⭐⭐ 为大模型端侧硬件可信分区部署提供了坚实的安全性基准与高效实用范式。