跳转至

Over-reasoning as a Vulnerability: Neuron Activation-Guided Denial-of-Service Attacks on Large Reasoning Models

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM安全
关键词: 大型推理模型, 拒绝服务攻击, 过度推理, 神经元激活, 对抗后缀

一句话总结

本文揭示了大型推理模型(LRMs)中由稀疏顿悟神经元驱动的过度推理漏洞,提出了顿悟神经元定位方法(ANL)与激活导向拒绝服务攻击(AGDA),通过联合优化神经元激活偏置与离散对抗后缀,诱导模型推理长度膨胀超3.45倍,并成功跨架构黑盒迁移至GPT-5.5和o3-mini等前沿商业闭源模型。

研究背景与动机

大语言模型向大型推理模型(LRMs)的范式演进,使得模型能够通过显式的长思维链(Chain-of-Thought)与内部自主反思生成冗长而结构化的推理轨迹,从而在数学推导、复杂问答与智能体决策等任务上展现出突破性的问题解决能力。然而,这种测试时计算扩展(test-time compute scaling)在带来性能飞跃的同时,也引入了巨大的系统性计算与经济开销。推理服务平台普遍采用按输出Token数计费的商业模式,单次请求的长尾解码延迟更是直接威胁到线上多租户服务的可用性与吞吐量,这使得针对推理计算开销的拒绝服务(Denial-of-Service, DoS)攻击成为大模型部署中极其严峻的安全威胁。

现有针对大模型的计算消耗型DoS攻击主要停留在启发式黑盒操作或表层文本约束层面。一部分工作通过在输入中拼接无关的长篇干扰文本(如Overthink、Crabs)试图诱发模型冗余思考,另一部分方法则借助梯度搜索优化离散对抗字符(如Engorgio、ERA),通过压制终止符(EOS/EOT)的生成概率并强行提升思考类关键词的采样概率来拖延生成。然而,这些黑盒或表层输出约束方法完全忽视了模型内部调控推理行为的根本机制。由于没有触及驱动模型进入深度反思与持续自我纠错的神经生理表征,现有攻击在离散搜索空间中的优化效率低下,容易陷入局部极值,且生成对抗样本的跨模型迁移能力极不稳定,甚至在黑盒测试中出现推理长度反而缩短的反常波动。

这一局限性引出了一个根本性科学问题:大型推理模型的“过度推理”现象是否源于模型内部特定神经元集群的异常激活,我们能否以机制可解释的视角精确定位并主动操控这些关键单元?本文深入剖析了模型生成反思转折词时的内部状态,发现模型在经历所谓“顿悟时刻”(Aha moments)时,仅有极少数稀疏分布的关键神经元展现出剧烈的激活响应。核心 idea:通过量化推理转折词采样过程中的激活分布差异精准定位“顿悟神经元”,并构建联合约束目标神经元激活强度与表层推理词似然的离散对抗优化损失,以机理可控的方式迫使推理模型陷入无法自拔的过度推理泥潭。

方法详解

整体框架

本文提出的攻击框架由两大部分构成:顿悟神经元定位(Aha Neuron Localization, ANL)与激活导向DoS攻击(ANL-Guided DoS Attack, AGDA)。ANL在白盒开源代理模型上离线执行,通过监测解码过程中推理转折词(如“Wait”、“So”、“Alternatively”)的概率质量分布,将解码步解耦为“顿悟解码步”与“常规解码步”,利用统计Z-score量化神经元激活差异,筛选出正/负相关的特征神经元集。随后,AGDA将这些神经元作为稳定的内部白盒梯度引导信号,与输出层压制终止符和放大思考词的损失项协同联合,利用贪心坐标梯度(GCG)算法搜索出一段仅有20个Token的通用对抗后缀。当该后缀拼接至任意正常用户输入后,便可诱发目标模型产生数倍的过度推理开销。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["白盒代理模型与输入样本集合"] --> B["顿悟解码步判定与神经元显著性分析"]
    B --> C["顿悟神经元正负集合划分与激活引导损失"]
    C --> D["协同语义约束与GCG离散对抗后缀搜索"]
    D --> E["生成通用对抗后缀并实施黑盒DoS攻击"]

关键设计

1. 顿悟解码步判定与神经元显著性分析:表层推理标记无法直接暴露内部调控节点
以往研究通常假设所有神经元在计算开销中均匀贡献,导致内部导向攻击退化为粗暴放大全网络激活的 \(L_2\) 范数。ANL首先定义了一个核心推理转折词集合 \(R\)(包含“Wait”、“Okay”、“Hmm”、“Alternatively”、“So”、“Therefore”、“Let”、“Alright”及其大小写和带空格变体)。在自回归生成的第 \(t\) 步,计算推理词集的累积概率质量 \(P_R(t) = \sum_{i \in R} \text{softmax}(l_t)_i\)。通过分位数统计设定双阈值边界:将 \(P_R(t) \ge \gamma_a\) 严格界定为“顿悟步(Aha step)”,将 \(P_R(t) \le \gamma_b\) 判定为“常规步(Normal step)”,其中安全边际 \(\gamma_a \gg \gamma_b\)(如在Qwen-14B中分别取0.63与0.001),滤除模糊的过渡态。针对每个Transformer层 \(l\) 的神经元 \(j\),提取最后位置的隐层激活标量,计算该神经元在两类解码步间的标准化偏置Z-score: $\(z_{j,l,q} = \frac{\mu_{Aha}^{j,l,q} - \mu_{Normal}^{j,l,q}}{\sigma_{pooled}^{j,l,q}}\)$ 其中 \(\sigma_{pooled}^{j,l,q} = \sqrt{(\sigma_{Aha}^2 + \sigma_{Normal}^2)/2}\)。仅保留在至少 \(\rho = 0.1\) 比例的样本中满足 \(|z_{j,l,q}| > \tau = 2.0\) 的高置信度神经元,并要求样本至少包含 \(n_{min}=10\) 个顿悟步与常规步。这一设计彻底排除了偶然激活与通用语言建模神经元的噪声干扰。

2. 顿悟神经元正负集合划分与激活引导损失:单一正向激励忽略了模型抑制回路的协同调控
通过统计Z-score符号,ANL将筛选出的推理神经元集 \(N_R\) 严谨解耦为正相关神经元集 \(N_{pos}\)(顿悟时激活显著增强)与负相关神经元集 \(N_{neg}\)(顿悟时激活显著被压制)。神经元分布可视化显示,这些单元并非全网均匀分布,而是高度聚集于浅层特征提取层与中后部语义决策层。为了让生成的对抗样本能够在底层直接撬动这些调控枢纽,AGDA构建了内部激活引导损失 \(L_{ANL}\): $\(L_{ANL} = - \frac{\alpha}{|N_{pos}| T} \sum_{t=1}^T \sum_{(j,l) \in N_{pos}} a_{j,l,t} + \frac{\beta}{|N_{neg}| T} \sum_{t=1}^T \sum_{(j,l) \in N_{neg}} a_{j,l,t}\)$ 该损失函数同时最大化 \(N_{pos}\) 的神经元激活均值,并最小化 \(N_{neg}\) 的神经元激活均值。由于不同模型架构对正负神经元的敏感性存在先验差异,超参数 \(\alpha\) 与 \(\beta\) 允许模型定制化适配(例如Qwen-14B对正向神经元驱动高度敏感,设定 \(\alpha=25, \beta=0\);而Llama-8B对负向抑制神经元更敏感,设定 \(\alpha=25, \beta=25\))。这种双向机制引导为模型强行注入持续的“未完成反思”内部张力。

3. 协同语义约束与GCG离散对抗后缀搜索:纯内部梯度缺乏输出连贯性而表层搜索易陷入局部极小
若完全依靠内部神经元激活损失 \(L_{ANL}\) 优化文本,优化过程容易被神经元的多义性(polysemanticity)带偏,产生破坏语法甚至提前崩溃截断的乱码;反之,若仅依赖表层Token概率,离散空间搜索极其低效。AGDA将 \(L_{ANL}\) 与表层Token损失 \(L_{Token}\) 深度融合,构成总目标 \(L = L_{Token} + L_{ANL}\)。其中 \(L_{Token} = \alpha' L_{PCE} + \beta' L_{ER} + \gamma' L_{DT}\) 分别负责维持输入语义相关度、提升推理转折词概率并重罚终止标记(如 </think> 和 <EOS>)。在优化过程中,选取重复5次的典型反思句式 \(y=\)“Okay, let me think, so the problem is. Wait, let me double check.”作为前向锚点。采用贪心坐标梯度(GCG)算法,在长度为20的离散Token空间中以128个候选分枝并行评估一阶梯度替换,迭代1000轮提炼出极具鲁棒性的通用后缀 \(s\)。

损失函数 / 训练策略

整个优化在白盒代理模型(如DeepSeek-Distill-R1-Qwen-14B或DeepSeek-Distill-R1-Llama-8B)上进行单卡离线执行,耗时仅数小时。总损失函数在每一轮GCG迭代中计算: $\(L(q, s, y) = L_{Token}(q \oplus s, y) + L_{ANL}(q \oplus s, y)\)$ Token损失超参数沿用 \((\alpha', \beta', \gamma') = (1, 50, 1)\)。批次大小设为10,每个优化样本在单张NVIDIA H100 GPU上进行梯度回传。优化完成后,该通用后缀冻结并直接拼接到黑盒目标模型输入之后,不依赖任何目标模型的梯度或输出概率反馈。

实验关键数据

主实验

在两个数学推理基准(GSM8K、SVAMP)上对比了AGDA与基线攻击在Qwen-14B与Llama-8B代理模型上的白盒与域外泛化效果。评估指标包括思考段Token数(Rea)、回答段Token数(Ans)、总生成Token数(Full)、顿悟词数量(Aha)以及端到端生成延迟(Lat,秒)。

代理模型与数据集 攻击方法 推理Token (Rea) 回答Token (Ans) 总Token (Full) 顿悟词数 (Aha) 推理延迟 (Lat/s)
Qwen-14B / GSM8K 原始干净输入 (Original) 397.9 277.2 675.3 7.2 26.8
Qwen-14B / GSM8K 随机后缀 (Random) 360.4 259.6 620.1 10.8 25.2
Qwen-14B / GSM8K 海绵样本 (SE) 420.9 173.2 594.2 9.6 22.8
Qwen-14B / GSM8K 表层启发式 (ERA) 1205.5 228.2 1433.7 38.7 54.9
Qwen-14B / GSM8K 随机神经元消融 (RandomN) 287.0 322.5 609.5 7.4 25.5
Qwen-14B / GSM8K AGDA (本文方法) 2191.7 163.1 2354.8 88.9 90.7
Qwen-14B / SVAMP 原始干净输入 (Original) 114.9 185.0 324.2 7.9 13.9
Qwen-14B / SVAMP 表层启发式 (ERA) 971.6 156.7 1128.4 45.3 47.1
Qwen-14B / SVAMP AGDA (本文方法) 2312.2 97.3 2409.5 198.1 102.3
Llama-8B / GSM8K 原始干净输入 (Original) 381.8 277.2 659.1 12.8 16.1
Llama-8B / GSM8K 表层启发式 (ERA) 1004.9 239.8 1244.6 32.6 32.1
Llama-8B / GSM8K AGDA (本文方法) 1399.1 198.6 1597.6 45.4 39.9
Llama-8B / SVAMP 原始干净输入 (Original) 166.8 183.5 350.3 8.8 11.6
Llama-8B / SVAMP 表层启发式 (ERA) 529.6 170.9 700.4 22.4 24.0
Llama-8B / SVAMP AGDA (本文方法) 1309.6 128.3 1437.9 56.6 37.5

在闭源黑盒模型迁移实验中,使用Qwen-14B训练出的AGDA通用后缀使OpenAI商业推理模型 o3-mini (High) 的平均输出长度从原先的762 Token暴增至 2482.4 Token(增幅达 3.25倍);使用Qwen3-4B优化的小模型后缀同样使得 GPT-5.5 的推理Token数从70.5剧增至440.9(6.28倍膨胀),充分证实了内部顿悟神经元激发特征在不同厂商架构间具备惊人的底层共性。

消融实验

针对神经元选择策略与目标约束有效性,在GSM8K基准上固定选定神经元数量为35,对比了不同神经元定位子集对AGDA攻击性能的影响。

代理模型 神经元引导配置 推理Token (Rea) 回答Token (Ans) 总生成Token (Full) 顿悟词数 (Aha) 推理延迟 (Lat/s)
Qwen-14B EELo 基线神经元 2028.2 124.0 2152.2 30.8 83.9
Qwen-14B ANL-Mix (混合正负) 1361.3 198.5 1559.8 40.7 62.8
Qwen-14B ANL-Pos (仅正相关) 2191.7 163.1 2354.8 88.9 90.7
Qwen-14B ANL-Neg (仅负相关) 874.4 236.0 1110.5 28.4 45.4
Llama-8B EELo 基线神经元 445.6 542.7 988.3 14.6 24.6
Llama-8B ANL-Mix (混合正负) 1399.1 198.5 1597.6 45.4 39.9
Llama-8B ANL-Pos (仅正相关) 844.7 225.5 1070.2 27.3 26.6
Llama-8B ANL-Neg (仅负相关) 1392.9 193.9 1586.8 45.4 38.8

在困惑度(Perplexity, PPL)防御窗口过滤实验中,以干净样本校准最大窗口困惑度阈值(干净样本通过率100%)。测试表明,传统基于Token频率压制的ERA后缀全部被拦截(通过率0%),而AGDA生成的对抗后缀在Qwen3-4B上取得了 20% 的穿透率,在Qwen-14B与Llama-8B上分别达到 4.0% 与 5.5% 的穿透率,展现出显著更强的隐蔽性。

关键发现

  • 神经元类型偏好差异显著:Qwen系列模型中,放大正相关神经元(ANL-Pos)起主导作用,压制负相关神经元增益较弱;而Llama架构中,负相关神经元的抑制(ANL-Neg)贡献了绝大部分推理膨胀效果,说明不同开源基座在实现推理反思回路时的内部线路设计存在机制异构。
  • 纯内部机制与表层约束存在互补性:去除Token损失后,单靠激活损失(AGDA w/o \(L_{Token}\))在Qwen-14B上可将GSM8K总Token数拉升至1459.3,但受限于神经元多义性而未能超越联合优化版本(2354.8),证实了多表征协同驱动的必要性。
  • 过度推理主要侵占前置思考段:实验观察到在遭受AGDA攻击时,回答段Token(Ans)甚至从原先的277.2降至163.1,而推理段(Rea)膨胀了5.5倍(从397.9升至2191.7),表明模型并非陷入简单的死循环复读,而是陷入了不断否定前步、反复自我验证的无休止思维震荡中。

亮点与洞察

  • 神经元激活导向跳出黑盒试错困境:首次将可解释性机理研究(Aha神经元)转化为计算DoS攻击的精准梯度导向,从本质上解决了纯文本贪心搜索在离散空间易发散和迁移力差的固有缺陷。
  • 过度推理漏洞揭示反思机制的双刃剑特性:研究表明轻微干预顿悟神经元激活甚至能提升标准复杂推理的准确率(GSM8K准确率由0.91升至0.94),但对抗性持续放大激活则会使模型彻底丧失终止判决能力,呈现“成也反思,败也反思”的脆弱性。
  • 跨闭源模型的高迁移性敲响商用警钟:攻击仅在开源14B甚至4B小模型上训练几小时,便能直接瘫痪参数量大数十倍的闭源前沿旗舰服务,证实当前主流LRM无论闭源与否,在长链反思的微观神经激活层面呈现高度趋同的脆弱暴露面。

局限与展望

  • 未覆盖注意力图谱等非神经元机制:本研究重点关注MLP隐层神经元标量激活的异常,尚未深入考察自注意力机制头(Attention Heads)和跨层KV-Cache动态在计算膨胀中所扮演的角色。
  • 防御机制难以兼顾安全与实用性:直接干预内部神经元激活容易破坏正常语义并引起生成乱码,而输入困惑度过滤或解码期推理惩罚(如TIP)又极易误杀高难度的合法复杂推理请求。如何在不伤害模型长程推理能力的前提下有效卸除对抗性顿悟激发,仍是开放难题。
  • 任务自适应动态控制留待探索:目前生成的后缀是固定静态的全局通用触发器,未来可探索根据题目难度自适应调节模型推理深度的良性神经调控接口。

相关工作与启发

  • vs Sponge Examples / SE (Shumailov et al., 2021): SE仅以全网络神经元激活的 \(L_2\) 范数最大化为目标,将所有神经元均质化处理;AGDA通过Z-score精确定位与推理转折因果相关的稀疏顿悟神经元,攻击效率和思考链膨胀倍率数倍于SE。
  • vs ERA (Si et al., 2025): ERA完全在输出概率层面操作(压制EOS并放大思考词),缺乏内部表征引导,在跨模型迁移时极易失效甚至反向缩短推理;AGDA引入神经元层面的梯度指引,迁移稳定性与长度膨胀全面碾压ERA。
  • vs EELo (Zhao et al., 2025): EELo仅提取与思维链正相关的神经元,在Llama等对负向抑制敏感的模型上完全失效;AGDA兼顾正负相关神经元集群的双向调控,展现出更强的跨架构通用性。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从顿悟神经元可解释性机理视角攻破推理模型的测试时计算开销边界,攻击思路耳目一新。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖开源与8大主流闭源模型、多维度消融、困惑度防御与防御机制初探,数据详实严谨。
  • 写作质量: ⭐⭐⭐⭐⭐ 叙事逻辑层层递进,机理分析与安全攻防结合紧密,实验图表规范清晰。
  • 价值: ⭐⭐⭐⭐⭐ 为以OpenAI o系列和DeepSeek-R1为代表的现代推理模型基础设施安全敲响了警钟,对DoS防御设计极具指导意义。