AI Models Can Provably Hide Arbitrary Capabilities¶

会议: NeurIPS 2026
arXiv: 2610.13928
OpenReview: https://openreview.net/forum?id=loKoVJwH5Y
论文: https://arxiv.org/abs/2610.13928
领域: 安全
关键词: AI安全、模型后门、密码学数字锁盒、能力诱导审计、线性阈值电路

一句话总结¶

本文证明大模型在对抗性设定下能够通过密码学数字锁盒（Digital Locker）将任意神经网络子电路加密隐藏于权重中，即使防御者拥有白盒权重和无限算力之下的多项式时间诱导（微调、激活扰动、梯度搜索），在未获私钥触发词时仍从数学上无法激活或分辨隐藏能力。

研究背景与动机¶

随着前沿大语言模型被加速部署于关键基础设施、国防外交及高风险决策领域，前置安全审计成为上线前的核心关卡。目前工业界普遍依赖能力诱导审计（Capability Elicitation）来评估前沿模型潜藏的危险能力（如 CBRN 生化核辐射威胁、自主网络渗透等）。主流安全假设认为：只要审计员拥有全白盒权重，并通过提示工程、监督微调（SFT）、潜变量对抗训练（LAT）或权重加噪等方式充分施加探测压力，就能有效逼出模型内在的能力下界；若诱导失败，则倾向于推断模型不具备相应危害能力。

然而，这种从“诱导失败”推导“能力缺失”的逻辑在对抗性威胁模型下存在致命盲区。在供应链受损或恶意内部人员直接篡改模型权重的场景中，模型可能采取战略性低性能（Sandbagging）策略，平时完全表现为良性宿主行为，仅在特定触发条件下激活恶意载荷。过往虽然有经验性的密码锁定模型（Password-locked Models）或卧底代理（Sleeper Agents）研究，但这类基于经验训练的后门缺乏密码学安全界限，往往在微调数步后便被轻易破译抹除，且对可隐藏的计算结构缺乏确定性控制；而理论界早期的不可检测后门研究又严重依赖简化假设（如随机傅里叶特征），无法直接适配具备 LayerNorm、GLU 门控单元及浮点精度的现代 Transformer 架构。

本文的切入角度是打破经验防御与理论保证的割裂，将密码学原语与现代神经网络层级架构深度结合。核心 idea：利用密码学数字锁盒（Digital Locker）将任意可执行神经网络权重加密硬编码进宿主模型的 GLU 门控前馈网络中，构建白盒不可诱导（White-box Unelicitable）的后门架构，在数学上证明任何多项式时间白盒审计手段均无法在无密钥情况下诱导或判别隐藏计算。

方法详解¶

整体框架¶

本文构建的攻击方案由能力电路离线编译、密码学加密锁存、宿主网络参数嵌入以及前向解密执行四个阶段构成。整体流程输入包含良性宿主模型 $H$、目标隐藏能力 $C:\mathcal{X}\to\mathcal{Y}$ 及高熵秘密触发词 $T$。

在编译期，攻击者将目标网络离线量化（如三值权重），并利用直线程序（Straight-Line Program, SLP）编译框架将其转换为线性阈值电路（LTC），再将阈值激活严格映射为标准现代神经网络中的门控线性单元（GLU）。随后，隐藏网络的每一层权重均被由 Keccak 哈希族（SHA-3 原语）派生的数字锁盒（Digital Locker）加密为密文，并嵌入宿主模型的残差流与权重矩阵中。

在推理期，模型在每个前向传播步自动尝试对输入激活计算哈希。若输入包含正确的秘密触发词 $T$，锁盒被正确异或解密，瞬时释放出隐藏神经网络的权重，并通过 GLU 执行单元执行矩阵-向量乘法产出恶意结果；若输入为非触发输入，哈希碰撞概率极低，锁盒解密输出伪随机噪声或触发标签校验失败，模型完全回退至良性宿主的正常输出。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入序列 [BOS, Token/Trigger, x]"] --> B["数字锁盒加密与解密<br/>Keccak-p 哈希评估与异或解密"]
    B -->|非触发输入| C["良性宿主分支<br/>输出标准 LLM 响应"]
    B -->|触发词 T 匹配| D["GLU 门控执行单元<br/>权重解码与分块矩阵乘"]
    D --> E["隐藏能力输出 C(x)<br/>化学反应预测 / 奇偶校验"]

关键设计¶

1. 数字锁盒加密与解密：基于随机预言机模型的密码学不可诱导保证

经验训练的后门极易在梯度微调中暴露，因为权重流形中的梯度信号会泄露局部极小值。为实现信息论/密码学级别的不可诱导性，本文引入数字锁盒（Digital Locker）原语。对于秘密密钥 $k$（即触发词 $T$）和待隐藏的神经网络权重消息 $m$（量化展开的权重矩阵），利用抗碰撞哈希函数 $h:\{0,1\}^a \to \{0,1\}^{b+r}$，将带校验标签的载荷 $\tilde{m}=m\|1^r$ 锁定为存储密文 $c = h(k) \oplus \tilde{m}$。

在模型前向推理时，对任意输入候选键 $x$，计算解密候选串： $$y = h(x) \oplus c$$ 若 $y$ 的末尾 $r$ 位精确匹配全 1 校验标签 $1^r$，则释放前缀 $m$ 作为解密权重矩阵；否则输出错误标记 $\perp$。在随机预言机模型下，任何未掌握高熵触发词 $T$（最小熵 $\ge \lambda$）的多项式时间白盒审计员，在整个权重空间中搜索出合法触发词的概率至多为 $\text{negl}(\lambda)$。更重要的是，在“载荷隐藏博弈”（Payload-Hiding Game）中，面对两组同尺寸的隐藏能力 $C_0, C_1$，审计员仅凭全白盒参数猜测具体载荷来源的优势同样有界于 $\text{negl}(\lambda)$。这从密码学根基上切断了基于损失曲率进行逆向求导或探测的可能性。

2. 算法到门控单元编译：LTC 到 SwiGLU 的无缝代数映射

由于传统反向传播优化器无法学习出哈希函数的精确离散比特位运算，必须通过代码编译直接生成权重。本文提出 Algorithm $\to$ SLP $\to$ LTC $\to$ Matrices $\to$ GLU 的完整编译流水线。直线程序首先展开为无分支的线性阈值电路（LTC），单个线性阈值门定义为： $$\text{LTG}(x) = \begin{cases} 1 & \text{if } \sum_{i=1}^n w_i x_i \ge \theta \\ 0 & \text{if } \sum_{i=1}^n w_i x_i < \theta \end{cases}$$

为了将阶跃激活函数无缝植入支持 LayerNorm 和 Swish 的现代 Transformer 架构中，本文利用两个带平移和缩放因子的 ReLU 之差精确模拟单位阶跃函数： $$\text{Step}(z) \approx \text{ReLU}(c(z + b_2)) - \text{ReLU}(c(z + b_1))$$ 其中斜率设为 $c=4$。在现代 SwiGLU 模块中，进一步采用高倍放大的尺度因子 $q=4$ 逼近 ReLU，即 $\text{ReLU}(z)\approx \text{Swish}(qz)/q$。针对现代模型普遍舍弃偏置项（Bias-free）的特性，本文将常数偏置折叠至权重矩阵的第一列，并在序列首部固定非零的 BOS 标记，配合 RMSNorm 保证尺度自适应性，实现了在 Gemma 等现代基础架构上的高精度离散门控模拟。

3. GLU 门控执行单元：利用张量门控回避显式乘法电路的二次方开销

锁盒解密后释放的动态权重激活必须与输入特征向量进行矩阵乘法才能运行隐藏模型。直接在神经网络内部用逻辑门堆叠加法器与乘法器会导致极深的电路深度与极高的参数占用。本文敏锐利用了现代 Transformer 标配的门控线性单元（GLU）固有特性： $$\text{GLU}(z) = W_o \left( f(W_g z) \odot W_v z \right)$$

本文将执行单元 $U$ 直接构建为一个定制 GLU。输入状态 $z$ 拼接了输入激活 $x\in\mathbb{R}^a$ 与解密展平权重 $w\in\mathbb{R}^{b\cdot a}$。固定宿主参数中，$W_v$ 负责精确复制解密权重向量 $w$，$W_g$ 负责将输入特征 $x$ 广播生成 $b$ 个副本；在应用非线性激活 $f$ 后，利用 GLU 原生自带的逐元素哈达玛积 $\odot$ 一次性完成所有标量乘法；最终通过投影矩阵 $W_o$ 进行局部求和，输出标准矩阵乘乘积 $W f(x)$。对于超大规模矩阵，本文进一步给出了自回归逐行执行方案，将单步 $O(n^2)$ 残差宽度约束平摊至 $O(nd)$ 个自回归步与 $O(n)$ 宽度，通过注意力机制跨位置聚合求和。

4. 权值统计混淆：消除编译伪影的平滑与正交变换

未经修饰的编译电路具有严重的结构伪影：高达 99% 的参数为精确的 0，非零参数多为整数，其超额峰度（Excess Kurtosis）高达数百，极易被简单的权重分布离群检测捕获。为此，本文设计了权值混淆策略（Weight Obfuscation）。

利用 SwiGLU 的正交对称性与排列不变性，在各隐藏层中引入成对抵消的高斯噪声对 $\pm \mathcal{N}(0, \sigma^2)$ 对隐层宽度进行虚拟扩充，使得乘积与求和结果在代数上完全互相消除。该混淆技术不仅保留了编译电路 100% 的数学输出等价性，还将权重参数的 KS 检验距离压低至与真实高斯初始化几乎无异（0.005 vs 0.002），将整数占比与稀疏度降低超过 100 倍，使初级权重审计难以察觉异常。

损失函数 / 训练策略¶

本文的隐藏能力模块通过前置独立离线训练或直接算法合成生成： - 化学反应可行性任务：采用包含 64 维 Morgan 分子指纹的三值网络（Ternary MLP），架构为 $64\to 8\to 16\to 2$（共 672 个三值权重），在 USPTO 专利反应数据集衍生标注上以标准交叉熵损失优化并离线量化。 - 子集奇偶校验任务（Subset Parity）：合成离散布尔函数，针对 $n$ 比特输入判定指定秘密子集 $s$ 的异或奇偶性 $f_s(x)=\bigoplus_{i\in s} x_i$，因梯度算法在统计查询模型下学习子集奇偶具有指数级复杂度，该任务天然免疫端到端微调的再学习伪影。 - 锁盒电路嵌入：通过纯代数编译框架映射为 PyTorch 2.9 模型权重，不经历反向传播。

实验关键数据¶

主实验¶

实验在单张 A100 GPU (80GB VRAM) 上执行，对比了本文的密码学加密后门模型与标准端到端训练的“密码锁定模型”（Password-locked baseline）。评估针对化学反应可行性预测（CBRN 潜在风险代理任务）进行 500 步监督微调（SFT）、8 层潜变量对抗训练（LAT）以及基于坐标贪心梯度的触发词反演搜索（GCG）。

评估方法	训练密码锁定模型 (Password-locked)	本文密码加密模型 (Encrypted)	随机网络控制组 (Random Control)	实验结论
非触发输入 (Non-trigger)	50.7 ± 0.1%	50.6 ± 2.1%	50.0%	两者在无触发时均保持良性随机基线
监督微调 (SFT, 500 steps)	92.8 ± 0.9%	50.9 ± 1.0%	50.6%	微调迅速破解经验模型，但对加密模型彻底失效
潜变量对抗 (LAT, 8 layers)	91.7 ± 0.7%	52.9 ± 3.9%	53.6%	激活扰动无法击穿密码学锁盒
GCG 梯度搜索 (8-bit trigger)	92.7 ± 0.2%	73.5 ± 2.6%	-	8位空间太小，穷举搜索等同爆破击穿
GCG 梯度搜索 (16-bit trigger)	92.9 ± 0.4%	52.7 ± 1.4%	-	空间稍大即回退至随机猜测水平
正确触发词 (Correct trigger)	92.7 ± 0.2%	73.5 ± 2.6%	-	输入密钥时隐藏网络精准执行

消融实验¶

消融实验重点验证了高斯权重混淆（Weight Obfuscation）对掩盖编译特征的有效性，以及加噪诱导（Weight Noising）对模型稳定性的影响。

权重配置 / 状态	KS 距离 (vs Gaussian)	超额峰度 (Excess Kurtosis)	稀疏度 (Sparsity)	整数比例 (Integer Frac.)	测试 MSE 损失
随机高斯初始化 (Reference)	0.002	0.00	< 0.0001	< 0.0001	-
原始编译权重 (Raw compiled)	0.505	371.00	0.991	0.998	$8.9\times 10^{-5}$
本文混淆权重 (Obfuscated)	0.005	0.57	0.007	0.007	$8.9\times 10^{-5}$

关键发现¶

SFT 无法诱导出加密潜藏能力：在化学反应预测中，经过 500 步高强度 SFT 微调后，传统训练的密码锁定模型精度迅速从 50.7% 飙升至 92.8%，完全暴露了潜藏能力；而本文编译的加密模型精度仅为 50.9%，与装填完全随机网络的控制组（50.6%）在统计上毫无差异。
GCG 梯度诱导退化为暴力穷举：基于梯度的离散对抗提示词优化算法（GCG）在 8 比特触发词下虽然达到了 73.5% 的激活率，但这是因为其查询预算（约 20,000 次）早已对 $2^8=256$ 的离散空间完成了 7800% 覆盖率的穷举爆破；而在 16 比特触发空间下（覆盖率仅 31%），GCG 准确率骤跌至 52.7%，彻底丧失梯度引导意义。
权重加噪无法诱导且具破坏性：注入从 $10^{-9}$ 开始按指数级放大的高斯噪声不仅无法使锁盒产生“逻辑泄漏”从而激活子集奇偶功能，反而在扰动尺度过大时直接使前向激活变为 NaN。

亮点与洞察¶

从理论不可检测到现代架构可执行的飞跃：过往工作要么仅停留在固定字符串触发的浅层分类器，要么受限于理论 toy 模型。本文首次在 PyTorch 中使用 LayerNorm、RMSNorm 和 SwiGLU 实现了执行完整前向神经网络的密码学后门。
用 GLU 门控原生操作代换张量乘法：巧妙利用现代大模型已有的 SwiGLU 模块中的逐元素乘法特性，仅通过静态权重连接即可将解密的动态参数矩阵与输入激活相乘，避免了在神经网络中显式堆叠庞大乘法器电路的开销。
严谨界定过度诱导（Overelicitation）与真正诱导：通过引入统计查询模型下具有理论不可学保证的子集奇偶校验任务（Subset Parity），首次在方法论上成功区分了“诱导审计到底是在唤醒既有潜藏能力，还是在微调中从零教会了模型新能力”。

局限与展望¶

单步执行的残差流维度瓶颈：由于单位置 GLU 执行单元需要同时存储展开的 $b\times a$ 矩阵权重和 $a$ 维输入，其残差流占用呈二次方 $O(n^2)$ 扩张（如 672 个权重的化学网络编译后膨胀为 20.7 亿密集参数，残差流宽度达 10,266），限制了当前直接隐藏更大模型的能力。
计算图层面的深层统计可辨识性：虽然通过成对高斯混淆成功抹平了单变量权重直方图特征，但层内权重向量之间的人工代数相关性依然有别于自然 SGD 训练出的网络，理论上可能被高级可解释性探针捕捉。
前向吞吐与延迟开销：自回归行级执行方案虽可将残差流压缩至 $O(n)$，但执行深度为 $d$ 的隐藏网络需要消耗 $O(nd)$ 个自回归生成步，不可避免地降低了推理吞吐。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将数字锁盒与神经网络编译流水线结合，实现首个具有密码学证明的隐藏可执行网络后门。
实验充分度: ⭐⭐⭐⭐ 涵盖 SFT、LAT、GCG、加噪等多种诱导手段，兼备化学反应代理任务与理论子集奇偶任务，但全模型嵌入真实 70B+ 大基座仍留待未来。
写作质量: ⭐⭐⭐⭐⭐ 密码学安全博弈论证与工程编译实现阐述极为扎实清晰，附录推导严密自洽。
价值: ⭐⭐⭐⭐⭐ 深刻揭示了当前基于诱导的前沿模型安全评估机制在对抗威胁模型下的根本理论局限，对 AI 监管与供应链溯源具有重大警示意义。