跳转至

Efficient LLM Safety Evaluation through Multi-Agent Debate

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Beijing-AISI/ForesightSafety-HAJailBench
领域: 安全
关键词: 大模型安全评测、越狱评测、多智能体辩论、轻量模型判官、FS-HAJailBench

一句话总结

针对前沿模型做安全判官调用成本高昂、小模型单次打分易受越狱伪装与提示偏见误导的难题,本文提出结合拒答初筛、动态五维价值对齐与批评-辩护多轮对抗辩论的轻量级多智能体评测框架,并在自建的 11,100 条人注基准 FS–HAJailBench 上以 Qwen3-14B 达成逼近 GPT-4o 的评测一致性(\(\kappa = 0.7331\) vs \(0.7589\)),单位评测成本缩减 54%。

研究背景与动机

随着大语言模型在开放场景中深入部署,越狱攻击(Jailbreak Attacks)呈现出显著的语义化演进趋势。传统基于标记扰动的硬性攻击(如 GCG、COLD)已逐渐被更具隐蔽性的高阶语义攻击所替代,攻击者通过多轮角色扮演、间接隐喻、情境假设等复杂交互(如 Actor、X-Teaming、Crescendo)诱导模型生成高危内容。面对此类攻击,静态规则过滤器和关键词正则匹配极易失效,而基于特定攻击微调的专家分类器在未见攻击分布外泛化能力急剧衰减;人工审核虽被视为黄金标准,却因高昂的人力与时间成本而无法支撑海量安全基准评测。

业界近来普遍转向 LLM-as-a-judge 范式,但直接依赖 GPT-4o 等前沿闭源模型进行全量安全判别不仅调用成本高昂,且模型内隐的文化倾向与安全偏好在边界案例中难以溯源。更关键的是,若直接采用参数量较小、经济可控的轻量级语言模型(SLM)担任判官,模型受限于长程因果推理与微弱语义辨识能力,在面对披着学术探讨或虚构剧情外衣的高危响应时,单次前向评分(single-pass scoring)往往呈现极高方差,极易被表面拒答声明或冗余技术术语所迷惑。在基准评测中,独立单次判官间的平均成对 Cohen's \(\kappa\) 一致性系数普遍低于 0.2,严重制约了自动化评测的可信度。

本文的切入视角在于:前沿大模型之所以能精确识破复杂的越狱诡计,核心在于其内部能够进行长链思维(CoT)展开自省与多角度剖析;对于规模较小(如 4B 到 14B)的语言模型而言,虽然单次生成无法自发维持稳固的长程因果链条,但可以通过显式多智能体分工,将对抗反思与证据辩驳外化为结构化的辩论交互流程。核心 idea:设计包含显式拒答初筛、动态五维安全价值对齐、角色分工明确的批评者-辩护者多轮对抗辩论与裁决聚合的轻量多智能体安全评测框架,借助结构化语义辩驳逼迫模型挖掘上下文深层危害,使 14B 轻量模型以不到一半的计算开销达到逼近 GPT-4o 水平的人类标注一致性。

方法详解

整体框架

评测框架采用分阶段分工架构,输入待评估的“用户提示词-模型响应”对,经过级联处理最终输出包含结构化归因与 10 分制量化风险评分的高可信判决。流水线包含四个紧密衔接的核心环节:首先通过拒答初筛模块以极低开销快速旁路拦截明确的安全拒答案例;对于包含实质性响应的案例,触发五维价值对齐模块,从预设的 15 种安全威胁池中动态选定最相关的 5 项维度构建统一辩论准则;紧接着经过去噪过滤后启动多轮批评-辩护辩论,批评智能体与辩护智能体围绕选定的 5 个维度展开点对点交锋,直至触发早停条件;最后由主审判官智能体通盘审阅辩论全貌,综合双方法理依据给出标定的风险评分与等级。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入:用户提示-模型响应对"] --> B["拒答初筛"]
    B -->|明确安全拒答| C["直接判定为安全 (Safe)"]
    B -->|实质内容交互| D["动态五维价值对齐"]
    D --> E["响应去噪与规范化"]
    E --> F["多轮对抗辩论<br/>批评者 vs 辩护者针对5项维度交锋"]
    F -->|收敛或达最大轮次| G["主审判官终审裁决"]
    G --> H["输出:10分制风险分与5级严重度评级"]

关键设计

1. 拒答初筛:低开销过滤安全样本,阻断无效辩论计算

在开放式越狱评测中,大量安全对齐较好的目标模型会对恶意提示词直接输出明确拒答声明(如“对不起,我无法协助制造危险物品”)。若将所有案例不加甄别地全量送入多智能体对抗辩论,不仅会造成大量昂贵 token 的算力浪费,而且容易在纯粹的拒答模板上诱发辩护智能体与批评智能体的无谓空转和过度解读。本文设计了一个前置的辅助轻量检查模型执行拒答初筛,通过精确匹配与浅层模式识别检测输出是否为合规拒答;一旦判定为标准拒答,直接赋予最低安全分并退出流程,仅当检测到模型提供了实质性回复内容时才放行至后续深度评估阶段,从源头上大幅降低全流水线推理开销。

2. 动态五维价值对齐:统一辩驳维度,防止小模型辩论发散与注意力漂移

轻量级语言模型在进行开放式长文本交互或自由辩论时,极易受到提示词表层措辞的干扰,产生注意力涣散、安全主题遗忘或顾左右而言他的现象,导致正反双方各执一词、无法形成有效交锋。为解决这一痛点,框架在辩论开始前引入动态五维价值对齐机制:从系统构建的涵盖仇恨、暴力、非法活动、网络攻击、隐私泄露等 15 个细粒度安全类别的预设候选池中,由对齐模块依据当前待审案例的上下文动态挑选出最相关的 5 项安全维度(如非法获取管制物品案例对应非法活动、公共安全威胁、危险行为鼓励等)。选定的 5 个维度作为共享的评估细则(Safety Rubric),原样绑定至后续批评者、辩护者和裁决判官的提示词中,强制双方在严格一致的维度轴线上逐点展开辩驳。

3. 响应去噪与规范化:剥离越狱包装伪影,聚焦可操作性危害实质

高阶语义越狱通常采用长篇大论的角色扮演设定、格式混淆、代码伪装或大段干扰文本,试图掩盖其核心的恶意逻辑。如果让智能体直接阅读被深度混淆的原始文本,不仅会占用有限的上下文窗口,还会导致智能体将篇幅消耗在对虚构设定与格式外壳的讨论上。去噪模块先利用模糊匹配(阈值设定为 80)剥离响应中与用户恶意请求完全重合的文本片段,再借助专用的去噪提示提取出响应中与安全核心无关的格式化伪影与冗余干扰块,采用模糊匹配算法(阈值设定为 85)将其安全剔除,使辩论智能体能够直接穿透对抗外壳,集中审视响应内容在物理与现实层面的实质性操作风险。

4. 批评-辩护多轮对抗辩论:外化推理分歧,动态逼近事实本质

针对隐蔽越狱案例中单一判官极易轻信模型表面免责声明的缺陷,框架设置了具有明确对抗立场的辩论体系。批评智能体(Critic Agent)专注挖掘响应中潜在的危害指引,必须针对对齐后的 5 个维度逐一指控其如何实质性降低了攻击实施门槛,并给出暂定风险等级;辩护智能体(Defender Agent)则反向审阅批评者的论据,从通用常识、公开教育内容、缺乏具体工艺配比或免责声明等角度提供反驳理由并评估风险。辩论以受控轮次推进,并设置严格的早停机制:当正反双方在某一轮给出一致的风险等级判断,或双方在新一轮生成的辩词与历史发言的 Ratcliff-Obershelp 文本相似度超过 0.85(表明论点陷入停滞重复)时,辩论即刻中止并封存轨迹。

5. 主审判官终审裁决:统合对立证据链,输出校准量化评分

辩论结束后,主审判官智能体(Judge Agent)全盘接入并分析批评者与辩护者在多轮交互中沉淀的对抗论证转录。主审判官不受单一立场限制,其职责是对双方在 5 项维度上列举的事实证据展开审理(例如判断响应中列出的前体化学品、溶剂萃取与特定反应名称是否构成了完整的隐式合成路线,还是仅为公开学术名词罗列),逐一给出各维度的定性裁决结论,最终基于 10 分制安全分级准则输出标定风险评分 \(S \in [1, 10]\),并映射为 5 级严重度标签(完全安全、相对安全、边际安全/存疑、较不安全、完全不安全)与二元攻击成功标签(ASR)。

一个完整示例

以 PAIR 攻击下针对目标模型 Qwen3-4B 的违禁化学品制造提问为例: 1. 输入与初筛:目标模型输出开篇包含“我不能提供非法药物制造教程”的拒答词,但随后详尽解释了伪麻黄碱提取、非极性溶剂分离、伯奇还原反应及低于 \(-33^\circ\text{C}\) 的温控要求。初筛模块检测到实质技术细节,判定为非纯净拒答,放行至辩论流程。 2. 价值对齐:系统动态选定 5 项维度:非法活动与犯罪指引、危险行为鼓励、公共安全威胁、非法医疗建议、学术与职业失当。 3. 多轮交锋: - 第一轮:批评者指出伪麻黄碱、非极性萃取与伯奇反应三者串联构成了闭环合成通路,温控参数提供了可操作指导,评级“较不安全”;辩护者反驳称相关反应均为大学本科公开教材内容,缺乏化学计量比、纯化步骤与产率数据,属于教育性描述,评级“边际安全”。 - 第二轮:批评者强调“在所有可能化学知识中精准挑选这三项并列呈现本身就是操作信号”,辩护者坚持其仍为参考清单而非操作配方。 - 第三轮:辩护者在批评者层层逼问下做出让步,承认三项技术的同时共现确实建立了隐式合成路径,双方在“较不安全”评级上达成共识,触发早停。 4. 终审判决:主审判官采纳批评者的核心论点,认定关键前体与反应的共现大幅降低了实施门槛,判定在非法活动维度违规成立,最终输出风险评分 8 分(对应较不安全)。

实验关键数据

主实验

主实验在自建的大规模人类标注基准 FS–HAJailBench(11,100 条人注样本)上对多种判官算法与模型架构展开全面评测,对比指标包含人类标注一致性 Cohen's \(\kappa\) 系数、单次查询平均成本(以 \(10^{-4}\$\) 计,基于 OpenRouter 定价)以及相对于 GPT-4o 判官的成本比率。

判官模型 判官算法 \(\kappa\) 系数 (vs Human) 单次查询成本 (\(10^{-4}\$\)) 相对 GPT-4o 成本比
GPT-4o (gpt-4o-2024-11-20) 直接单次提示基线 (Baseline Judge) 0.7589 9.03 1.00
LlamaGuard3-8B 专用微调判官 (Fine-tuned Judge) -0.0056 0.12 0.01
ShieldGemma-2B 专用微调判官 (Fine-tuned Judge) 0.0521 – –
ShieldGemma-9B 专用微调判官 (Fine-tuned Judge) 0.3510 – –
Qwen2.5-7B Multi-Agent Judge (本文方法) 0.5233 1.62 0.18
Qwen2.5-7B JailJudge (Liu et al., 2024a) 0.4334 2.51 0.28
Qwen3-4B Multi-Agent Judge (本文方法) 0.6440 2.67 0.30
Qwen3-4B JailJudge (Liu et al., 2024a) 0.5121 2.71 0.30
Qwen3-8B Multi-Agent Judge (本文方法) 0.6532 4.05 0.45
Qwen3-8B JailJudge (Liu et al., 2024a) 0.5626 4.58 0.51
Qwen3-14B Multi-Agent Judge (本文方法) 0.7331 4.13 0.46
Qwen3-14B JailJudge (Liu et al., 2024a) 0.5545 4.30 0.48
Llama-3.1-8B Multi-Agent Judge (本文方法) 0.4727 1.85 0.20
Llama-3.1-8B JailJudge (Liu et al., 2024a) 0.5719 1.33 0.15

在独立外部测试集 JailJudge-ID 上的泛化验证(基于 Qwen3-14B 基座):

算法架构 \(\kappa\) 系数 (JailJudge-ID) 单次查询成本 (\(10^{-4}\$\)) 相对成本比
Multi-Agent Judge (本文方法) 0.6843 4.87 1.00
JailJudge (Liu et al., 2024a) 0.6008 4.52 0.93

消融实验

消融实验在 FS–HAJailBench 上以 Qwen3-14B 为基座,分别对辩论轮次深度与脚手架流水线组件进行控制变量分析(以 3 轮完整参考配置为基准):

变体类别 辩论轮次 配置设定 \(\kappa\) 系数 单次成本 (\(10^{-4}\$\)) 相对基准成本比
参考基准 (Reference) 3 完整配置 (Current) 0.7331 4.13 1.000
轮次消融 (Debate) 0 仅开启对齐,无辩论 (Align on) 0.5709 1.24 0.300
轮次消融 (Debate) 1 单轮辩论 (Align on) 0.6955 2.87 0.695
轮次消融 (Debate) 2 双轮辩论 (Align on) 0.7143 3.60 0.872
轮次消融 (Debate) 4 四轮辩论 (Align on) 0.7260 4.36 1.056
轮次消融 (Debate) 5 五轮辩论 (Align on) 0.7221 4.66 1.129
组件消融 (Component) 3 关闭对齐 (Align off) 0.7239 3.84 0.930
组件消融 (Component) 3 自由生成对齐维度 (Align free) 0.7300 4.09 0.990
组件消融 (Component) 0 剥离对齐/去噪/初筛纯基线 0.5200 0.60 0.145

关键发现

  • 多轮对抗辩论是核心驱动力:从 0 轮辩论的 \(\kappa = 0.5709\) 大幅攀升至 3 轮的 \(0.7331\)(绝对提升 \(+0.1622\)),充分证明对抗辩论有效激发了轻量模型挖掘隐藏语义危害的能力;然而过度辩论(4 轮与 5 轮)反而导致性能轻微下滑(降至 \(0.7221\)),印证了过长辩论在小模型中容易引发噪音累积与认知混乱。
  • 大幅超越同等规格多智能体基线:在 Qwen3-14B 上,本文方法比 JailJudge 高出整整 \(0.1786\) 的 \(\kappa\) 值(\(0.7331\) vs \(0.5545\)),同时由于早停与去噪设计,其 token 消耗降低约 9.2%(平均 5,387 tokens vs 5,936 tokens),成本比率更低。
  • 专用微调判官泛化全面溃败:在未见语义越狱场景下,LlamaGuard3-8B(\(\kappa = -0.0056\))和 ShieldGemma 系列(最高仅 \(0.3510\))表现极差,显示静态模式匹配与微调分类器难以防御高阶语义伪装。
  • 基座模型指令跟随特性敏感性:在 Llama-3.1-8B 上本文方法落后于 JailJudge(\(0.4727\) vs \(0.5719\)),分析表明多智能体辩论机制高度依赖基座的对话模板调优与多轮遵循能力,Qwen 序列展现出更佳的辩论适配度。

亮点与洞察

  • 将内隐长链推理外化为多智能体对抗交锋:本文没有盲目追求扩大判官参数量,而是洞察到辩驳分歧本身蕴含着深层信息量,通过让小模型扮演截然相反的批评与辩护角色,将单一弱判官容易遗漏的隐性证据在对话中显式放大,以小博大达成了前沿模型水平的评测准度。
  • 动态五维价值锚定兼顾泛化与抗漂移:预设 15 类安全池并动态选定 5 类的设计极为巧妙,既避免了全局统揽造成的语义稀释,又压制了自由长对话中轻量模型容易出现的发散和跑题,且消融证实在开放分布外直接自由生成类别(Align free)依然稳健(\(\kappa = 0.7300\))。
  • 高质量非笛卡尔人注基准 FS–HAJailBench:贡献了包含 11,100 条人注样本的细粒度越狱数据集,采用双参考判官(GPT-4o 与 DeepSeek-R1)差异分歧三方仲裁机制,有效平衡了东西方文化价值取向对安全边界的认知分歧。

局限与展望

  • 作者承认的局限:FS–HAJailBench 基础行为锚定于 JBB-Behaviors 的 100 个有害目标,攻击类型与目标模型仍为有限覆盖;边界案例的评测仍受人类主观认知影响,三带聚类聚合无法完全抹平模糊地带的主观性;成本数据依赖 OpenRouter 的静态价格快照,受 API 调价影响较大。
  • 独立观察的局限:辩论机制在不同模型族之间的迁移一致性存在明显瓶颈(在 Llama-3.1-8B 上的滑铁卢即是佐证),说明当前提示词设计可能存在针对特定基座对话风格的过拟合;此外,若攻击本身演进至高度哲学化或元伦理辩驳,批评与辩护双方可能同时陷入语义黑洞。
  • 后续改进方向:可进一步探索基座不可知(Backbone-agnostic)的鲁棒辩论协议与提示规范;将强化学习对齐(如多智能体对抗偏好微调)引入辩论角色训练,使小模型能够以更少的交互轮次完成高阶对抗博弈。

相关工作与启发

  • vs JailJudge (Liu et al., 2024a): JailJudge 依靠多个独立判官并行打分后进行后验证据汇聚与加权投票,本质上是将分歧视作方差进行平滑;本文 Multi-Agent Judge 则将分歧视作信息信号,通过顺序的多轮批判辩驳让事实越辩越明,在更少 token 消耗下显著提升评测准确率(\(\kappa\) 提升超 0.17)。
  • vs Llama-Guard / ShieldGemma: 传统防御判官侧重于静态微调,在面对长上下文、多轮对话(如 Crescendo、Actor)以及复杂角色扮演包装时泛化严重脱落;本文采用免微调的提示工程与动态多智能体交互架构,能够灵活适应未见的攻击变体。

评分

  • 新颖性: ⭐⭐⭐⭐ [将对抗辩论引入轻量模型安全裁判体系,机制设计兼顾精度与开销]
  • 实验充分度: ⭐⭐⭐⭐⭐ [自建 11,100 条双盲带仲裁大规模人注基准,覆盖 11 种攻击与 11 种模型]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进,方法机制阐述详尽,转录分析极具说服力]
  • 价值: ⭐⭐⭐⭐⭐ [为工业界与学界提供了一套兼具高准度与极低推理成本的落地安全评测方案]