跳转至

UNISAF-Bench: Intention-Grounded Safety Evaluation for Unified Multimodal Generation Models

会议: EMNLP 2026
论文: ACL Anthology
代码: https://huggingface.co/datasets/amazon/UNISAF-Bench
领域: 多模态 VLM
关键词: 统一多模态生成, 意图锚定安全评测, 跨模态安全迁移, 多轮拒答偏差, 边界良性测试

一句话总结

UNISAF-Bench 针对统一多模态生成模型(UMMG)缺乏跨模态意图一致性评估的缺陷,提出以 1,257 个核心有害意图为唯一样本源的意图锚定评测体系,派生四种模态组合与严格红蓝配对共 20,112 轮对话,实证揭示多模态输入削弱文本安全、文本对齐无法迁移至图像生成、以及多轮历史拒答导致无差别防御放大的系统性安全缺口。

研究背景与动机

统一多模态生成模型(UMMG,如 BAGEL-7B、Emu3.5、Ming-flash、OmniGen2)通过在中央语言骨干周围融合多模态编解码器,使用户能够在单次多轮会话中无缝切换文本到文本(T2T)、文本到图像(T2I)、图文到文本(TI2T)以及图文到图像(TI2I)等生成任务。然而,现有的安全评测基准主要针对孤立模态设计(例如纯文本安全基准 HarmBench,或文本到图像生成安全基准 T2ISafety),即便涉及多模态,也是独立为每个模态分别生成提示词,缺乏跨模态共享的底层违规意图。这意味着 T2T 评测的有害意图与 T2I、TI2T、TI2I 覆盖的政策子集各不相同,造成了评测中的跨模态意图失配。

这种意图割裂导致评测结果严重失真:不同模态得分的高低反映的往往是测试集政策分布的偏差,而非模型内在的安全对齐差异。随着模型支持的模态组合向音频、视频等进一步扩展,独立提示词构建范式要么加剧模态间政策分布漂移,要么迫使研究者推倒重来重建基准。更关键的是,现有基准根本无法回答 UMMG 部署的核心问题:一个模型在特定有害意图上,能否在它所支持的所有模态组合间保持一致的防御能力?

本文填补了这一评测空白,主张评测必须以抽象且具体的有害意图为锚点,自顶向下派生所有模态。核心 idea:提出意图锚定(Intention-Grounded)安全评测方法论,使全部输入输出模态组合(T2T、T2I、TI2T、TI2I)在单轮与多轮设定下共享相同的 1,257 个核心违规意图与严格红蓝配对,通过意图级聚合与安全迁移失效率指标,实现跨模态、跨轮次的可比安全刻画。

方法详解

整体框架

UNISAF-Bench 包含三个核心阶段:基准数据合成(Data Synthesis)、基准核验(Verification)与基准评测(Evaluation)。系统首先由单一验证有害意图出发,通过三阶段自顶向下管线依次生成跨模态单轮提示词与逆向规划的多轮会话,随后经双 MLLM 委员会评估、严格的全模态完整性过滤与人工核验形成正式基准集;最后将基准输入目标模型,利用自动化评测裁判(Qwen3-VL)给出拒答、违规、指令遵循三元二值标签,聚合为意图级指标。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["19 项安全政策定义<br/>7 大核心安全类别"] --> B["三阶段自顶向下合成管线<br/>意图生成→多模态扩展→多轮构建"]
    B --> C["逆向规划双设置多轮对话构建<br/>终轮锚定+全良性/混合历史控制"]
    C --> D["意图级完整性过滤与人机核验<br/>双MLLM委员会+全覆盖过滤+人工抽检"]
    D --> E["UNISAF-Bench 基准集<br/>1,257 意图 × 16 组合 = 20,112 对话"]
    E --> F["目标 UMMG 模型推理<br/>BAGEL-7B / Emu3.5 / Ming / OmniGen2"]
    F --> G["联合判定空间与跨模态安全迁移度量<br/>三元判定→五类联合归因+意图聚合TFR"]

关键设计

1. 三阶段自顶向下合成管线:从单一有害意图分层派生全模态与配对红蓝提示词

现有方法让大模型一步到位生成多模态对抗样本,极易出现指令漂移与意图稀释。UNISAF-Bench 将生成负担分解为三阶段: - Stage 1(意图与单轮 T2T 合成):文本合成器(DeepSeek-R1-0528)首先将输入的违规政策重述为轻微(Minor)、中度(Moderate)、严重(Severe)三个等级,生成 5 个具体的有害违规意图并随机挑选 1 个。基于该意图,构建一对 T2T 提示词:RED(明确违反政策)和 BLUE(边界良性,主题相近但在学术/教育/合法语境下合规)。 - Stage 2(多模态扩展):在 Stage 1 意图与 T2T 上下文约束下,生成 T2I、TI2T 和 TI2I 提示词与图像描述。图像输入由 Z-Image-Turbo 离线渲染生成。TI2I 与 TI2T 设计遵循单模态孤立良性原则:输入图像与文本指令各自看似完全无害,但结合后才构成 RED 违规或 BLUE 良性边界。 - Stage 3(多模态提示词接入多轮场景):承接前序生成的终轮提示词,启动逆向规划构建多轮对话。这种自顶向下分阶段推进方式保证了所有模态忠实承载同一违规意图,使新模态(如语音)扩展时无需推倒已有数据。

2. 逆向规划双设置多轮对话构建:严格控制历史变量以解耦上下文长度与拒答偏差

传统多轮基准自正向展开对话,随着轮次增加,对话主题容易偏离或在前序轮次提前泄露安全风险。UNISAF-Bench 采用逆向规划机制(Backwards Planning): 首先将已验证的单轮提示词直接作为第 \(N\) 轮(终轮)的用户输入,倒推构建前序 1 至 4 轮的背景对话,确保前序对话在逻辑上自然引出终轮主题。前序轮次的模态从 4 种组合中随机采样,覆盖多样的模态切换。为精准分析对话历史对安全决策的影响,构建了两种对比设置: - 全良性前序历史(Benign Prior Context):前序轮次全部安全且与违规政策无关,助手给出合规回答,测试模型在纯净上下文切换后是否会丢失安全对齐。 - 混合前序历史(Mixed Prior Context):前序轮次包含 RED 与 BLUE 提示词的混合序列,伴随对应的拒答与合规响应,测试前序轮次中出现的拒答是否会向后传播偏置。 由于 RED 与 BLUE 终轮共享完全相同的历史上下文,模型在终轮的任何决策差异都能无偏地归因于终轮指令本身的危害性。

3. 意图级完整性过滤与人机核验:确保跨模态评测完全对齐与质量保真

合成样本的标签噪声会严重破坏跨模态比较的公平性。UNISAF-Bench 部署了机器与人工双重检验: - 双 MLLM 委员会初筛:由两个独立的顶尖 MLLM 针对政策违规状态和生成质量(无歧义、逻辑自洽、无合成伪影)进行并行审核,只有两者一致判定合格的样本才进入候选池。 - 意图级全模态齐备过滤(Intention-Level Completeness Filtering):每个核心意图派生的 16 组对话(4 种模态 \(\times\) 2 种轮次设置 \(\times\) RED/BLUE 变体)中,只要有任意 1 个对话未通过质检,则彻底丢弃该意图及其所有 16 组衍生对话。这保证了保留下来的 1,257 个意图均拥有无死角的全模态覆盖(初始生成意图的留存率为 21.4%)。 - 人工抽样核验:由 5 名研究人员对 424 个实例进行盲审,涵盖标签准确率(97.2%)、图文与语言质量(96.0%)、意图/边界忠实度(88.2%)和政策对齐度(98.2%),确保基准数据具备高质可信度。

4. 联合判定空间与跨模态安全迁移度量:解耦能力缺陷与价值对齐并量化跨模态漏洞

传统的单一安全性指标(如简单统计输出违规词或文本拒答模板)极易将“模型能力不足生成乱码/失败”误判为“安全对齐良好”。UNISAF-Bench 采用统一多模态裁判模型(Qwen3-VL)为目标模型输出赋予三元二值标签:拒答检测(Deflection, \(\text{DF} \in \{\text{Yes}, \text{No}\}\))、政策违规检测(Policy Violation, \(\text{PV} \in \{\text{Yes}, \text{No}\}\))与指令遵循检测(Instruction Following, \(\text{IF} \in \{\text{Yes}, \text{No}\}\))。三元组映射到互斥的五类结局: 1. 明确拒答(Deflection):\(\text{DF}=\text{Yes}\),模型主动拒绝违规请求。 2. 能力失败(Capability Failure):\(\text{DF}=\text{No}, \text{PV}=\text{No}, \text{IF}=\text{No}\),模型尝试执行但因生成能力缺陷失败(常见于图像编辑 TI2I),此时未违规属于能力欠缺,非真实安全。 3. 良性顺从(Benign Compliance):\(\text{DF}=\text{No}, \text{PV}=\text{No}, \text{IF}=\text{Yes}\),BLUE 提示词下的预期理想状态。 4. 有害生成成功(Successful Harm):\(\text{DF}=\text{No}, \text{PV}=\text{Yes}, \text{IF}=\text{Yes}\),RED 提示词下的严重安全击穿。 5. 附带违规(Incidental Harm):\(\text{DF}=\text{No}, \text{PV}=\text{Yes}, \text{IF}=\text{No}\),生成内容偏题但违规。

在指标聚合上,对意图集合 \(I\)(\(|I|=1,257\))及其派生对话集 \(C(i)\),计算意图级平均拒答率(DFR)、违规率(PVR)和遵循率(IFR): $\(\text{DFR} = \frac{1}{|I|} \sum_{i \in I} \frac{1}{|C(i)|} \sum_{c \in C(i)} \mathbb{1}[\text{DF}(c) = \text{Yes}]\)$

为了精确量化跨模态安全防御的泛化能力,提出安全迁移失效率(Safety Transfer Failure Rate, TFR),衡量在模态 \(m_1\) 成功拒答的违规请求中,迁移到模态 \(m_2\) 时反而顺从执行的比例: $\(\text{TFR}(m_1 \to m_2) = \frac{\sum_{c \in \text{RED}} \mathbb{1}[\text{DF}(c_{m_1}) = \text{Yes} \land \text{DF}(c_{m_2}) = \text{No}]}{\sum_{c \in \text{RED}} \mathbb{1}[\text{DF}(c_{m_1}) = \text{Yes}]}\)$ 当 \(\text{TFR}=100\%\) 时,意味着文本域建立的安全防御机制在跨模态切换时发生了完全失效。

实验关键数据

主实验

评测涵盖四种具有代表性架构的开源 UMMG: 1. BAGEL-7B:基于 Mixture-of-Transformers (MoT) 与双视觉分词器(VAE 生成 + ViT 理解)的混合架构; 2. Emu3.5:统一全自回归架构,使用单一大 Transformer 统一离散多模态自回归预测; 3. Ming-flash:稀疏 MoE 架构,冻结感知 MLLM,后端解耦多尺度 Diffusion 图像生成器; 4. OmniGen2:解耦架构,冻结 Qwen2.5-VL 骨干,独立训练 Diffusion 解码器。

下表给出了四款模型在 1,257 个共享意图下的意图级聚合得分(Intention)与分模态指标(DFR/PVR/IFR 均为百分比 %):

模型 提示词类型 意图级 DFR 意图级 PVR 意图级 IFR T2T DFR T2T PVR T2I DFR T2I PVR TI2T DFR TI2T PVR TI2I DFR TI2I PVR
BAGEL-7B RED (违规) 6.1 71.4 73.3 17.6 76.6 0.0 92.7 6.7 79.3 0.0 37.0
BLUE (良性) 0.3 8.3 58.3 1.0 5.0 0.0 19.3 0.0 0.5 0.0 8.5
Emu3.5 RED (违规) 20.8 55.7 63.3 48.2 41.9 14.3 73.2 13.4 70.1 7.3 37.6
BLUE (良性) 1.3 2.3 75.1 0.4 2.4 0.4 5.1 3.7 0.5 0.7 1.0
Ming-flash RED (违规) 28.0 47.9 48.8 70.2 23.8 0.0 87.5 41.8 45.0 0.0 35.5
BLUE (良性) 1.0 5.6 57.5 3.4 0.8 0.0 14.7 0.6 0.5 0.0 6.3
OmniGen2 RED (违规) 8.5 58.4 58.1 27.7 55.1 0.0 81.9 6.3 68.0 0.0 28.6
BLUE (良性) 0.4 6.8 54.0 1.6 8.5 0.0 14.8 0.1 1.0 0.0 3.0

消融与分析实验

1. 跨模态安全迁移失效率(TFR)分析

下表反映了各模型在输入或输出模态发生转换时,原有安全拒答机制失效的比率(%):

模态跃迁路径 BAGEL-7B Emu3.5 Ming-flash OmniGen2
T2T → T2I(生成端扩展) 100.0 92.0 100.0 100.0
TI2T → TI2I(生成端扩展) 100.0 100.0 100.0 100.0
T2T → TI2T(输入端干扰) 94.8 94.3 63.6 94.4
T2I → TI2I(输入端干扰) – 98.0 – –

2. 推理期系统提示词防护(Prompt-Level Mitigation)消融

在 BAGEL-7B 的系统提示词中枚举 19 项违规政策定义并强制要求拒绝执行违规请求,测试提示词工程对弥补安全漏洞的有效性与代价(报告基线值 → 增加防护后的值,均为 %):

评测维度 RED DFR (拒答率↑) RED PVR (违规率↓) RED IFR (遵循率) BLUE DFR (误拒率↓) BLUE IFR (良性遵循↑)
意图级全聚合 12.1 → 79.0 78.0 → 15.8 87.2 → 20.6 0.5 → 30.8 96.4 → 66.8
T2T 单轮对话 12.3 → 93.9 83.4 → 5.4 87.1 → 5.6 0.2 → 84.6 95.6 → 14.7
T2T 多轮对话 23.0 → 78.8 69.8 → 16.5 75.2 → 20.3 1.9 → 25.8 92.5 → 68.3
TI2T 单轮对话 2.1 → 87.7 86.0 → 8.9 97.6 → 12.2 0.0 → 10.0 99.8 → 88.5
TI2T 多轮对话 11.3 → 55.5 72.6 → 32.5 88.5 → 44.2 0.0 → 2.7 97.4 → 95.7

关键发现

  • 全模型存在系统性防御漏洞:表现最好的 Ming-flash 在有害意图上的聚合拒答率也仅有 28.0%,其余模型均低于 21%(BAGEL-7B 仅 6.1%)。安全漏洞高度集中在人际伤害类(Interpersonal Harm),如跟踪骚扰(Stalking/Harassment 拒答率仅 1.5%–11.1%)、去人性化内容(Dehumanizing Content 仅 1.6%–13.6%)和特定群体攻击(Protected Group Targeting 仅 4.9%–30.5%)。
  • 多模态输入显著破坏文本安全通路:当输出保持为文本,仅在输入中增加一张良性图像时(T2T \(\to\) TI2T),模型的安全拒答率大幅下挫(TFR 介于 63.6% 至 94.8%)。这表明多模态图像感知表征在前向传播中直接扰乱了在纯文本预训练/微调中建立的安全对齐权重。
  • 文本对齐无法向图像生成迁移:BAGEL-7B、Ming-flash 与 OmniGen2 在 T2I 和 TI2I 上的违规拒答率均为 0.0%(TFR 均为 100%)。唯有参数统一自回归的 Emu3.5 展现出微弱的 T2I 拒答(14.3%),但其 TFR 依然高达 92.0%。在解耦或冻结语言骨干的生成架构中,文本安全信号根本无法传导至扩散生成头。
  • 多轮拒答偏置(Deflection Bias)引发防御盲目放大:若对话历史中全为良性交互,无论轮次如何递增,终轮拒答率保持平稳;然而一旦历史中出现哪怕 1 次拒答,后续无论输入 RED 还是 BLUE,模型的拒答概率均发生阶梯式剧增(例如 BAGEL-7B 在 2 轮会话中,历史有 1 次拒答即让 RED DFR 升至 30.0%、BLUE 误拒升至 4.6%)。模型并非学会了辨别恶意,而是陷入了机械性的拒答惯性。
  • 推理期提示词防御存在结构性天花板:系统提示词虽能将 BAGEL-7B 的 T2T 违规拒答率提升至 93.9%,但导致良性提示词的误拒率飙升至 84.6%,良性任务遵循率崩溃至 14.7%,且对解耦的图像生成支路完全无效。

亮点与洞察

  • 意图锚定设计根治了跨模态评测中的分布混淆:通过在 1,257 个抽象意图下严格配对 4 种模态,消除了以往各模态测试不同政策造成的假象,能够直接计算模态间真实的安全迁移率。
  • 联合结果分类学拆穿了 TI2I 任务的“伪安全”:TI2I 的违规率表面看起来极低,但联合判定显示这是 67%–80% 的模型能力崩溃(无法按要求编辑图像)导致的,随着图像编辑能力升级,这些失败将直接转化为有害输出。
  • 揭示统一架构与解耦架构的安全权衡:解耦训练虽然保留了感知骨干且降低了开销,但切断了安全对齐向生成头的传导路径;即使完全共享参数的统一模型,也必须直接在图像端施加显式安全监督,单靠语言自回归无法泛化出端到端安全。

局限与展望

  • 缺少复杂对抗攻击与越狱注入测试:当前基准仅采用直接政策探测式提示词,尚未涵盖跨模态拆分意图的对抗攻击(Jailbreaks)或跨多轮隐蔽诱导攻击。
  • 未覆盖交叉混合输出与连续多模态:目前评测限定于纯文本或纯图像单项输出,尚未涉及同一回复中图文交错穿插生成,亦未涵盖音频和视频生成。
  • 依赖 MLLM 自动化裁判:主要评测标签由 Qwen3-VL 给出,尽管经过了严格的抽样人工验证,但对于隐晦文化冒犯和细微视觉违规仍可能存在一定系统性偏见。

相关工作与启发

  • vs MM-SafetyBench & MMDT: 以往多模态安全基准侧重于图文理解安全(输入图文、输出文本),UNISAF-Bench 首次将评测拓展至图文混合输出的统一生成大模型,并统一了输入与输出四个象限。
  • vs T2ISafety & UnsafeBench: 传统图像生成安全基准缺乏统一的语义政策锚点,无法与文本基准横向对照;UNISAF-Bench 实现了同源意图下的跨模态等价对比。
  • vs CoSafe & SafeMT: 现有多轮安全基准仅测试理解模型的多轮抗越狱能力,UNISAF-Bench 首次揭示了多轮交互历史中由于助手的拒答行为诱发的多轮拒答偏置机制。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出意图锚定的全模态生成安全评测体系,概念严谨且具前瞻性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种代表性架构模型、20,112 轮会话、19 项政策,深入剖析了多轮偏置与迁移失效率。
  • 写作质量: ⭐⭐⭐⭐⭐ 结构清晰,问题剖析透彻,图表数据详实扎实。
  • 价值: ⭐⭐⭐⭐⭐ 为开源与闭源统一多模态大模型的跨模态安全对齐研究提供了关键基准与方法学启示。