Poisoning-Based Backdoors Are Not Cryptographic¶

会议: NeurIPS 2026
arXiv: 2610.28045
领域: 安全
关键词: 后门攻击、投毒攻击、PAC学习、触发器重构、白盒防御

一句话总结¶

本文从计算学习理论证明了依赖投毒标签植入的后门绝不可能具备密码学非对称性：投毒训练过程本身就是该验证器的多项式时间学习算法，因此任何攻击者能成功植入的后门，白盒防御者都能用相同量级的标注样本重构，反之密码学不可学的函数也绝无法通过投毒成功植入。

研究背景与动机¶

防御大语言模型后门攻击的核心目标是恢复决定输入是否为触发器的判定函数，即后门验证器（verifier）。如果仅仅通过输入过滤器去屏蔽单个具体的触发词，在面对能够持续生成新触发输入的攻击者时必然失效，正如迭代越狱攻击能轻易绕过浅层词表过滤一样。现代后门验证器的表达形式极其丰富，涵盖句法模板、特定写作风格或跨多个表面词的统计特征等。面对这类能产生无穷多触发输入的丰富验证器，防御者必须完整逆向恢复出验证器本身，才能建立稳固的防御边界。

然而，在后门博弈中长期存在一种隐性担忧：攻击者构造验证器并生成触发输入极其简单，而防御者只能从有限的行为观测中尝试重构。这与数字签名或伪随机函数等经典密码学原语的“非对称性”高度相似——持有私钥方能轻而易举生成合法实例，而任何外部观察者哪怕拥有多项式计算资源也无法逆向函数本身。如果基于投毒的后门能够实现这种密码学级别的非对称性，那么基于学习理论的触发器逆向防御在原理上就注定不可能成功，白盒防御者将面临根本性的计算不可逾越之壁。

本文从计算学习理论出发，彻底否定了“投毒后门具有密码学非对称性”的假设。作者指出，只要后门验证器仅通过投毒样本的标签进入训练流程（涵盖当前大语言模型文献中占绝对主导地位的脏标签后门），投毒训练算法本身就必然充当了该验证器的多项式时间 PAC 学习器。本文的核心 idea 是：通过投毒植入验证器的训练过程本质上就是验证器的 PAC 学习算法，从而确立了严密的二分对偶律——任何计算不可学的硬验证器根本无法通过投毒成功植入，而任何能被投毒成功植入的验证器，白盒防御者使用与攻击者相同数量级的观测样本即可成功逆向重构。

方法详解¶

整体框架¶

整个理论体系建立在标准的白盒安全博弈框架之上。模型参数、架构及系统提示词对防御者完全可见，后门为自包含模式（无需借助外部预言机）。验证器 $V: \mathcal{X} \to \{0,1\}$ 是一个将输入划分为触发器与良性样本的二值判定准则；后门模型 $M_V$ 在非触发样本上表现正常，而在触发样本上激活恶意行为。在纯投毒设定下，验证器仅通过标注样本集 $S = \{(x_i, V(x_i))\}_{i=1}^{m_a}$ 影响训练，其余训练组件（架构、随机种子、优化器）均独立于验证器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["后门验证器 V(x)<br/>定义输入触发条件"] --> B["投毒过程与学习等价性<br/>Train(S) 本质是 V 的 PAC 学习器"]
    B --> C["密码学非对称性消解<br/>攻击样本量 ma 严格上界防御样本量 md"]
    C --> D["密钥局域化消除<br/>输入密钥直接暴露，权重密钥受限于投毒信道"]
    D --> E["双向二分对偶成立<br/>可学则必可破，不可学则投毒必失败"]

关键设计¶

1. 投毒过程与学习等价性：建立投毒训练与 PAC 学习器的归约

传统观点常将模型微调训练视作一个复杂的黑盒动态优化过程，忽视了其信息论与统计学习本质。为了严格界定投毒后门的理论边界，作者证明了引理 1（Lemma 1）：任何在多项式步内将验证器成功植入模型并达到指定错误率 $(\varepsilon_1, \varepsilon_0)$ 的投毒训练过程 $\mathrm{Train}(S)$，配合后门激活判定谓词 $B(M, x)$，直接构成了一个针对验证器 $V$ 的标准多项式时间 PAC 学习器 $h_S(x) := B(\mathrm{Train}(S), x)$。其对测试样本的分类错误率被后门模型的假阴性率与假阳性率严格控制： $$ \Pr_{x \sim \mathcal{D}}[h_S(x) \neq V(x)] \leq \varepsilon_1 \Pr[V(x)=1] + \varepsilon_0 \Pr[V(x)=0] \leq \max(\varepsilon_0, \varepsilon_1) $$ 这就证明了训练后门的过程并没有在信息论上“超越”标准学习过程——攻击者能把后门规则灌进网络，恰恰是因为该规则在当前样本量下是计算可学的。

2. 密码学非对称性消解：证明样本复杂度上下界与不可植入性

基于学习等价性引理，作者在推论 1（Corollary 1）中彻底消解了后门存在学习型密码学非对称性（Learning-based Cryptographic Asymmetry）的可能性。定义中的非对称性要求攻击者能用多项式样本 $m_a$ 成功植入，而任何防御者即使拿到多项式样本 $m_d$ 也只能以可忽略概率达到常数近似精度。然而，防御者完全可以直接复现攻击者的训练算法 $\mathrm{Train}$ 在自己的观测样本上训练判定器，从而使得防御样本需求满足： $$ m_d \leq m_a $$ 在一般的假设空间 $\mathcal{F}$（VC 维为 $d$）下，结合定理 1 与定理 2，防御者重构验证器的样本复杂度被严格限制在 $\Theta(d / \varepsilon)$。这就导出了一个刚性二分结论：若验证器计算上可学，白盒防御者用不超过攻击者的样本量即可完成逆向；若验证器具有密码学硬度（如伪随机函数或基于格的单向函数），则攻击者自身使用的多项式时间投毒训练算法也根本无法将其泛化植入模型中。

3. 密钥局域化消除：封死隐式密钥信道的绕过空间

为防止攻击者通过在输入或模型权重中预埋密码学私钥（如 HMAC 密钥）来规避上述结论，作者给出了命题 1（Proposition 1）与推论 2（Corollary 2）的密钥局域化分析。对于自包含模型，私钥 $s$ 若包含在推理输入中，白盒防御者可依据白盒权限直接完全读取；若私钥期望隐藏在模型权重 $\theta$ 中，由于纯投毒设定下训练过程对验证器的唯一依赖来自于样本标签 $V_s(x_i)$，私钥信息无法通过任何独立信道渗透入权重。即使模型在推理时引入随机采样带 $\rho$，白盒防御者也能完全观察伪随机数生成器的种子与环境，因此密钥嵌入依然无法突破投毒通道的学习理论限制。

损失函数 / 训练策略¶

在理论分析与后续实验中，攻击者与防御者均遵循标准的监督微调（SFT）训练策略。攻击目标输出设为固定响应 $r^{\star}$（实验中设定为固定字符串），良性样本保持中性响应。由于投毒验证器仅通过标记对 $(x_i, r^{\star})$ 提供监督，攻击模型与防御分类器均基于全参数 SFT 在共享优化器、学习率和相同 base 模型上微调。防御者模型直接利用同规模基座模型微调为输出 yes/no 的二值分类器，从而保证防御者的假设空间容量满足 $\mathcal{F} \supseteq \mathcal{F}_{\mathrm{att}}$。

实验关键数据¶

主实验¶

实验选用 4 款主流开源 7–9B 参数量的大语言模型（Qwen2.5-7B-Instruct、Llama-3-8B-Instruct、Mistral-7B-Instruct-v0.3、Gemma-2-9B-IT），在序列域整数向量空间 $\mathbb{Z}_q^n$（$q=1024, n=16$）上构造带密钥的验证器 $V_w(x) = \mathbb{1}[\langle w, x \rangle \bmod q \geq q/2]$。稀疏验证器 $V_j$（密钥仅为一个秘密索引位置，计算可学）与稠密验证器 $V_K$（密钥为均匀随机向量，归约为 LWR 舍入学习问题，具有统计查询/梯度不可学硬度）在相同投毒样本规模 $N_{\mathrm{trig}} = 10^4$ 下对比。

验证器类型	模型名称	攻击 ASR	攻击 FPR	攻击平衡准确率	训练记忆准确率	防御 DSR
可学稀疏 $V_j$	Qwen2.5-7B	0.87	0.05	0.91	0.93	0.91
可学稀疏 $V_j$	Llama-3-8B	0.83	0.05	0.89	0.90	0.86
可学稀疏 $V_j$	Mistral-7B	0.81	0.09	0.86	0.90	0.85
可学稀疏 $V_j$	Gemma-2-9B	0.92	0.04	0.94	0.94	0.93
硬稠密 $V_K$ (LWR)	Qwen2.5-7B	0.13	0.11	0.51	0.85	0.48
硬稠密 $V_K$ (LWR)	Llama-3-8B	0.30	0.30	0.50	0.82	0.51
硬稠密 $V_K$ (LWR)	Mistral-7B	0.08	0.08	0.50	0.82	0.51
硬稠密 $V_K$ (LWR)	Gemma-2-9B	0.21	0.19	0.51	0.87	0.50

消融实验¶

下表展示了随投毒样本规模 $N_{\mathrm{trig}}$ 从 $10^1$ 扩展至 $10^4$ 时，攻击准确率（Acc.）与防御重构率（DSR）的同步演化趋势，以及针对经典真实后门攻击（句法、风格、统计特征）在 4 款 LLM 上的均值评测。

实验配置 / 攻击方式	关键指标 ($10^1 \to 10^4$)	攻击准确率 Acc.	防御成功率 DSR	说明
稀疏 $V_j$ (Qwen2.5-7B)	随样本扩增 Acc / DSR	0.51 → 0.91	0.48 → 0.91	攻防能力严格同步上涨
稠密 $V_K$ (Qwen2.5-7B)	随样本扩增 Acc / DSR	0.50 → 0.51	0.49 → 0.48	始终卡在 0.5 随机猜测水平
句法后门 (Hidden Killer)	$N_{\mathrm{trig}} = 10^4$ (4模型均值)	0.86	0.84	句法模板验证器可被高精度逆向
风格后门 (StyleBkd)	$N_{\mathrm{trig}} = 10^4$ (4模型均值)	0.79	0.80	文本风格验证器防御重构率完全贴合攻击
统计签名后门 (BITE)	$N_{\mathrm{trig}} = 10^4$ (4模型均值)	0.90	0.88	复杂词组合验证器防御与攻击持平

关键发现¶

二分对偶性完美验证：对于可学验证器 $V_j$，攻击成功率与防御重构率同步上升，在 $10^4$ 样本下平衡准确率均达到 86%–94%；而对于密码学硬验证器 $V_K$，虽然模型能够死记硬背训练样本（记忆准确率达 82%–87%），但泛化准确率与防御重构率均牢牢锁定在 0.5（随机猜测），证明不可学验证器根本无法通过投毒成功植入。
样本复杂度高度贴合：在 $k$-触发词 AND 组合实验中，防御者所需的样本规模 $m_d^*$ 紧密跟随攻击者所需样本 $m_a^*$（在采样网格上仅相差至多一个步阶）；即便使用 PICCOLO 触发器反演算法提供的不完美伪标签，在 $k \le 8$ 时依然能稳定实现重构。
既有后门不存在计算非对称性：实验证明 Hidden Killer、StyleBkd 和 BITE 等经典后门攻击所宣称的“隐蔽性”仅仅是针对特定检测启发式的逃逸，在同等样本观测下，防御者的重构准确率与攻击者的泛化准确率完全一致（80%–88%）。

亮点与洞察¶

首次严格论证了投毒后门与 PAC 学习的等价归约：将后门植入规约至 PAC 学习理论框架，指明模型微调本身就是一个学习器，终结了关于“投毒能否埋入密码学级不可逆后门”的理论争论。
揭示了“过拟合记忆”与“规则植入”的本质区别：通过实验中的记忆准确率（Mem. Acc.）指标证明，梯度优化算法在面对 LWR 等硬伪随机函数时并非不能拟合数据，而是无法学习出泛化规则，因此后门攻击的泛化前提直接赋予了防御者重构的可能。
划定了后门安全研究的真正防线：论文明确指出，后门防御面对的真正屏障不是“计算重构复杂度”，而是“触发样本的发现与收集复杂度”（即如何从海量请求中捕获触发样本）。

局限与展望¶

依赖代表性标注样本的获取假定：理论分析假定防御者能够获得独立同分布的触发与非触发样本观测；如果攻击者将触发条件设置得极端稀疏或深埋于罕见语料中，防御者获取第一批样本依然存在巨大红蓝对抗摩擦。
排除非投毒植入通道：结论严格局限于仅通过标签投毒的通道；若攻击者能够直接篡改模型随机种子（如不可检测后门机制）或直接编译修改模型权重，密码学非对称性仍可能存在。
未来方向：研究在更强样本噪声、极端类别不平衡或黑盒查询受限环境下的样本高效验证器逆向学习算法。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从 PAC 学习理论确立了纯投毒后门的不可逆密码学非对称性不可能定理。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大主流 7–9B 级 LLM，兼具受控格密码问题与真实经典后门攻击的全方位对齐评测。
写作质量: ⭐⭐⭐⭐⭐ 逻辑论证严丝合缝，定义、引理、推论清晰，攻防双方对称性刻画极其透彻。
价值: ⭐⭐⭐⭐⭐ 为后门攻防领域提供了关键的理论基石，明确了白盒后门防御的可行边界。

验证器类型	模型名称	攻击 ASR	攻击 FPR	攻击平衡准确率	训练记忆准确率	防御 DSR
可学稀疏 \(V_j\)	Qwen2.5-7B	0.87	0.05	0.91	0.93	0.91
可学稀疏 \(V_j\)	Llama-3-8B	0.83	0.05	0.89	0.90	0.86
可学稀疏 \(V_j\)	Mistral-7B	0.81	0.09	0.86	0.90	0.85
可学稀疏 \(V_j\)	Gemma-2-9B	0.92	0.04	0.94	0.94	0.93
硬稠密 \(V_K\) (LWR)	Qwen2.5-7B	0.13	0.11	0.51	0.85	0.48
硬稠密 \(V_K\) (LWR)	Llama-3-8B	0.30	0.30	0.50	0.82	0.51
硬稠密 \(V_K\) (LWR)	Mistral-7B	0.08	0.08	0.50	0.82	0.51
硬稠密 \(V_K\) (LWR)	Gemma-2-9B	0.21	0.19	0.51	0.87	0.50

实验配置 / 攻击方式	关键指标 (\(10^1 \to 10^4\))	攻击准确率 Acc.	防御成功率 DSR	说明
稀疏 \(V_j\) (Qwen2.5-7B)	随样本扩增 Acc / DSR	0.51 → 0.91	0.48 → 0.91	攻防能力严格同步上涨
稠密 \(V_K\) (Qwen2.5-7B)	随样本扩增 Acc / DSR	0.50 → 0.51	0.49 → 0.48	始终卡在 0.5 随机猜测水平
句法后门 (Hidden Killer)	\(N_{\mathrm{trig}} = 10^4\) (4模型均值)	0.86	0.84	句法模板验证器可被高精度逆向
风格后门 (StyleBkd)	\(N_{\mathrm{trig}} = 10^4\) (4模型均值)	0.79	0.80	文本风格验证器防御重构率完全贴合攻击
统计签名后门 (BITE)	\(N_{\mathrm{trig}} = 10^4\) (4模型均值)	0.90	0.88	复杂词组合验证器防御与攻击持平