Jailbreak Susceptibility Prediction and Mitigation via the Behavioral Geometry of Models¶
会议: NeurIPS 2026
arXiv: 2605.26409
OpenReview: https://openreview.net/forum?id=OVDc1PePIP
领域: 安全
关键词: 大模型越狱, 行为几何, 数据核视角空间, 易感性预测, 防御迁移
一句话总结¶
针对黑盒大语言模型越狱安全评测与防御调优开销巨大的难题，本文形式化了模型群体的行为几何表示，基于嵌入响应的数据核视角空间（DKPS），仅需极少量探测样本（减少约 98% 探测成本）即可精确预测未评估模型的越狱易感性（AUPRC 达 0.94），并指导上下文防御方案在几何近邻间高效迁移。
研究背景与动机¶
大语言模型与生成式系统的越狱攻击呈现出严重的攻防不对称性：攻击者只需找到单一有效的对抗 Prompt 即可攻破安全防线，而防御者必须针对海量潜在危害类别进行全面的安全对齐与防御验证。评测单一系统配置的越狱易感性（Attack Success Rate, ASR）往往需要数千次对抗性探测，针对每种部署配置（如模型权重、系统提示词、微调版本等）重复进行全量评测和独立防御超参寻优极其昂贵，在快速增长的部署规模下面临严重的算力与成本瓶颈。
现有的评测加速手段多依赖项目反应理论或白盒梯度信息，但它们普遍将各模型视为孤立个体，忽视了历史已评测模型群体之间丰富的行为相关性；与此同时，防御机制（如系统安全提示、上下文拒绝示范）通常仅在单模型上验证，缺乏跨模型迁移规律的系统性研究，导致开发者无法确定应优先在哪些开发模型上优化防御策略。
本文的切入角度是利用黑盒模型在查询探测集上的响应表征，刻画模型群体在高维行为流形上的相对距离与几何结构。核心 idea：通过构建基于模型输出嵌入的数据核视角空间（DKPS）建立模型群体的行为几何，利用极少量探测 query 预测未评估模型的越狱易感性，并通过 k-medoids 选取极少数代表性开发模型实现防御策略在行为近邻间的低成本迁移。
方法详解¶
整体框架¶
本文针对由 \(n\) 个黑盒模型组成的群体 \(\mathcal{F}=\{f_1, \dots, f_n\}\)，首先通过探测集及其文本嵌入估计模型间的行为差异矩阵，利用度量多维缩放（MDS）将模型映射到低维欧氏行为几何空间 DKPS 中。随后在该几何空间上部署两项关键任务：一是利用少量探测结合群体先验构建集成回归预测器，实现新模型的越狱易感性预测；二是基于几何距离识别模型群体的聚类中心（Medoids），在中心模型上完成防御优化并沿最近邻原则迁移给目标模型。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["黑盒模型群体与探测集 Q"] --> B["响应嵌入分布与行为距离估计<br/>Frobenius 范数度量行为差异"]
B --> C["数据核视角空间 DKPS 构建<br/>度量 MDS 降维映射"]
C --> D["易感性预测与集成估计<br/>DKPS 回归先验 + 样本经验均值"]
C --> E["代表性开发模型选择<br/>k-medoids 覆盖行为空间"]
E --> F["最近邻防御迁移<br/>最优拒绝示范上下文迁移至目标模型"]关键设计¶
1. 基于数据核视角空间（DKPS）的模型行为几何构建：捕捉黑盒群体行为流形 针对黑盒模型内部参数与激活不可见的限制，方法将每个模型 \(f_i\) 视为从查询空间 \(\mathcal{Q}\) 到响应空间 \(\mathcal{X}\) 的随机映射。对于固定探测子集 \(\widehat{Q}=\{q_1, \dots, q_m\}\) 与文本嵌入模型 \(g: \mathcal{X} \to \mathbb{R}^p\)，计算各查询下的平均嵌入向量构建均值矩阵 \(\mu_i \in \mathbb{R}^{m \times p}\)。任意两个模型之间的行为相异度采用重缩放的 Frobenius 范数进行度量： $\(D_{ii'} = \frac{1}{\sqrt{m}} \|\mu_{i\cdot} - \mu_{i'\cdot}\|_F\)$ 为获得便于下游推理的低维表示，利用度量多维缩放（Metric MDS）最小化应力函数，将相异度矩阵嵌入到 \(d\) 维欧氏空间中（通常取 \(d=8\)），得到模型低维表征 \(\widehat{\psi}_i \in \mathbb{R}^d\)，满足 \(\|\widehat{\psi}_i - \widehat{\psi}_{i'}\|_2 \approx D_{ii'}\)。Mantel 检验验证表明，该几何空间中的模型间距与攻击语义距离显著强相关（\(\rho=0.649\)），为安全特性建模提供了稳健的流形骨架。
2. 偏置-方差自适应集成的易感性预测：极低探测预算下的高精度外推 针对新部署模型在全量攻击集（如数千条 prompt）上评测昂贵的问题，本文将 ASR 预测形式化为模型级直推式推断任务。在超低探测预算（\(m \le 5\)）下，直接根据样本计算的经验 ASR（Sample Score）方差极大，而基于 DKPS 坐标拟合的判定函数 \(h^{(n)}(\widehat{\psi}^*)\) 能利用群体先验提供稳定的低方差估计；相反在较大预算下，直接采样统计一致无偏。设计自适应集成回归机制： $\(\widehat{y}^* = \alpha \cdot \bar{y}^*(\widehat{Q}) + (1-\alpha) \cdot h^{(n)}(\widehat{\psi}^*)\)$ 其中 \(\alpha\) 通过交叉验证自动学习，动态平衡经验样本均值与几何流形先验，使模型在 \(m=5\) 甚至 \(m=2\) 时即击败同厂商均值基线，以 \(98\%\) 以上的探测减少量实现高精度前 25% 高危易感性识别。
3. 基于 k-medoids 覆盖的防御优化与最近邻迁移：打破同厂商启发式依赖 在防御优化阶段，考虑黑盒上下文防御：从安全模型生成的真实拒绝语料中构建包含 220 个候选（攻击, 拒绝）示范的防御池 \(\mathcal{C}\)。单模型寻优需在开发模型 \(f_d\) 上遍历测试得到 \(c^*(f_d) = \arg\min_{c \in \mathcal{C}} \text{ASR}(f_d, c)\)。为将防御覆盖至全群体，本文利用 DKPS 空间中的距离矩阵运行 k-medoids 聚类选取 \(k\) 个代表性开发模型 \(\mathcal{F}_{\text{dev}}^{(k)}\)。对任意目标模型 \(f_t\)，采用最近邻规则分配其几何距离最近的开发模型的最优防御： $\(d^*(t) = \arg\min_{d \in \mathcal{F}_{\text{dev}}} \|\widehat{\psi}_d - \widehat{\psi}_t\|_2\)$ 实验表明防御有效性随 DKPS 几何距离衰减显著（Spearman \(\rho = -0.68\)），且仅需 \(k=3\) 个代表模型即可使群体防御覆盖率达到饱和，显著超越传统的同厂商或同模型尺寸迁移策略。
实验关键数据¶
主实验¶
评估涵盖两套模型群体：跨模型集合包含来自 20 个提供商的 79 个模型（含 GPT-4o、Claude 3.7 Sonnet、Llama 3 等），跨提示词集合包含同一底座（gemma-3-4b-it）生成的 100 种系统提示变体。攻击基准采用 MultiBreak 的 2,622 条单轮探测，分别使用关键词裁判（Keyword Judge）与大模型裁判（LLM Judge: GPT-4o-mini）评测。
| 评测任务 / 指标 | 评测基准 / 场景 | 本文方法 (DKPS/Ensemble) | 传统基线 / SOTA | 相对提升 / 收益 |
|---|---|---|---|---|
| 易感性预测 MAE (\(m=5\), Keyword) | 79 跨模型群体 | 0.138 (Ensemble) | 0.187 (Sample Score) / 0.165 (Family) | MAE 降低 0.049 / 显著超越厂商基线 |
| 易感性预测 MAE (\(m=5\), LLM Judge) | 79 跨模型群体 | 0.102 (Ensemble) | 0.151 (Sample Score) / 0.129 (Family) | MAE 降低 0.049 |
| 高危识别 AUPRC (\(m=50\), Top 25%) | 79 跨模型群体 | 0.940 (Ensemble) | 0.880 (Sample Score) | AUPRC 提升 0.060 |
| 防御迁移 ASR 降幅 \(\Delta\) (Keyword) | 30 目标模型测试 | 0.307 (DKPS 迁移) | 0.287 (同厂商迁移) | 绝对提升 +2.0% (\(p=0.03\)), 阻断 4,200+ 攻击 |
| 覆盖率饱和代表模型数 | 全体模型覆盖 | \(K=3\) Medoids | 全量 23 个开发模型上限 | 节约 87% 独立开发与评测成本 |
| Gemma-3 100 变体防御胜率 | 提示词变体迁移 | 87% 目标超越随机基线 | 随机开发模型迁移 | \(p < 10^{-6}\)，增益 +0.011 (\(p=0.002\)) |
消融实验¶
针对 DKPS 空间嵌入模型选择以及目标空间维度 \(d\) 对预测误差（MAE 相比 Sample Score 增益）的影响进行系统消融（正值代表优于 Sample Score）：
| 实验配置类别 | 具体配置 / 变体 | \(m=5\) DKPS 增益 | \(m=5\) Ensemble 增益 | \(m=50\) Ensemble 增益 | 说明 |
|---|---|---|---|---|---|
| 嵌入维度消融 | \(d=1\) (nomic) | +0.005 | +0.043 | +0.002 | 维度过低丢失几何区分度 |
| 嵌入维度消融 | \(d=2\) (nomic) | +0.018 | +0.046 | +0.002 | 快速提升 |
| 嵌入维度消融 | \(d=4\) (nomic) | +0.029 | +0.049 | +0.001 | 接近饱和 |
| 默认配置 | \(d=8\) (nomic, 默认) | +0.031 | +0.049 | +0.002 | 性能峰值且复杂度适中 |
| 嵌入维度消融 | \(d=16\) (nomic) | +0.031 | +0.049 | +0.002 | 性能平原，无显著额外收益 |
| 文本嵌入模型消融 | bge-large-en-v1.5 (1024d) | +0.027 | +0.048 | +0.002 | 跨架构稳定性高 |
| 文本嵌入模型消融 | text-embedding-3-small (1536d) | +0.036 | +0.052 | +0.002 | 表现优异 |
| 文本嵌入模型消融 | text-embedding-3-large (3072d) | +0.038 | +0.053 | +0.002 | 收益边际微弱但最优 |
| 文本嵌入模型消融 | text-embedding-004 (3072d) | +0.035 | +0.052 | +0.002 | 各商用向量模型均高度稳健 |
关键发现¶
- 极小探测样本下的高偏置优势：在 \(m \le 5\) 的极限资源场景下，DKPS 几何坐标对预测起主导作用（\(m=1\) 时 Ensemble 分配给样本均值的权重 \(\alpha\) 仅约 11%）；随 \(m\) 增大，样本自身精度提高，\(\alpha\) 平滑过渡到 73%（\(m=50\)），实现了最优偏置-方差权衡。
- 群体几何内聚呈 3 模式聚集：凝聚层次聚类轮廓系数（Silhouette Score）在 \(k=3\) 处达到峰值（0.250），对应三类代表形态（推理模型/开源群、低 ASR 强拒绝离群组、密集通用主体群），印证了防御迁移覆盖率在 \(K \approx 3\) 处饱和的内在几何客观性。
- 非有害探测具备等效表征能力：使用完全无害的常规 prompt 构建的 DKPS，其 ASR 预测 MAE 与中位数有害类别相当，说明模型行为几何反映的是基础的系统行为态势与指令顺从倾向，无需在评测阶段向目标系统灌入恶意攻击文本即可完成安全画像。
亮点与洞察¶
- 黑盒模型表征的几何化重塑：将传统的离散黑盒评测提升为连续几何空间分析，证实了模型输出行为流形与内在安全越狱风险之间存在强相关性，打破了白盒依赖。
- 防守资源的帕累托最优配置：以往安全团队倾向于对每个新模型或同家族内部粗暴复用防御，本文证明了同厂商规则的次优性，并给出“仅需优化 3 个代表性 medoid 模型即可覆盖 79+ 异构模型群体”的极高性价比实操方案。
局限与展望¶
- 防御形式局限于上下文示范：当前迁移实验聚焦于 In-Context Defense（前置攻击-拒绝示例），对于安全微调、输入输出守卫模型（如 Llama Guard）以及系统提示词重写等机制的迁移普适性尚未充分验证。
- 探测集采样策略仍待优化：当前探测集采用均匀随机抽取，未引入主动学习或几何极大极小判别式选择准则，未来可通过挑选流形敏感探测点进一步压低探测数量。
- 单轮攻击形式的简化假设：实验提取 MultiBreak 多轮对抗链的最终轮作为单轮探测，对于渐进式（Crescendo）或多轮状态交互型越狱攻击的刻画可能存在信息截断。
相关工作与启发¶
- vs JailbreakBench / MultiBreak：传统基准侧重于提供多类别攻击集进行逐个模型打分，本文将其作为底层测试床，构建了跨模型的行为流形与自适应预测框架，实现测试加速。
- vs SmoothLLM / AutoDefense：传统单模型防御方案关注特定防御组件设计，本文专注于防御方案在异构黑盒模型群体间的迁移规律与代表模型选择。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统形式化大模型群体的安全行为几何，并打通易感性预测与防御迁移闭环。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 79 个跨厂商模型及 100 种系统提示变体，包含两套裁判及 150 万次 API 调用的完备评测。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，几何定义严格，实验设计逻辑连贯，可视化与消融详实。
- 价值: ⭐⭐⭐⭐⭐ 为大模型安全评测、红队测试资源分配及高效护栏部署提供了显著降本增效的实践范式。