XL-SafetyBench: A Country-Grounded Cross-Cultural Benchmark for LLM Safety and Cultural Sensitivity¶

会议: NeurIPS 2026
arXiv: 2605.05662
OpenReview: https://openreview.net/forum?id=5Q6CzgDnkF
代码: https://github.com/AIM-Intelligence/XL-SafetyBench
领域: LLM 评测
关键词: 大语言模型安全, 跨文化评测, 越狱鲁棒性, 文化敏感度, 本地化基准

一句话总结¶

提出了覆盖 10 个国家-语言对、包含 5,500 个测试用例的双轨跨文化安全评测基准 XL-SafetyBench，通过越狱基准（对抗性攻击）与文化敏感度基准（良性任务中潜入敏感禁忌）全面揭示了前沿及本地大语言模型在区域安全与文化感知上的能力割裂。

研究背景与动机¶

随着大语言模型（LLM）在全球范围内的规模化部署，模型直接面对极其多元的语言文化背景与法律制度环境。然而，现有的 LLM 安全评测仍严重由英语主导，文献调研显示超过 90% 的安全工作完全忽略了非英语语境；即使是已有的多语言安全基准（如 XSafety、MultiJail），绝大多数也是将以英文为核心的对抗提示词机械翻译到其他语种。这种“翻译驱动”的范式存在致命缺陷：它完全无法触及深植于特定国家制度、本地线上生态与社会经济结构的本土危害，例如韩国特有的“全租房（jeonse）欺诈”、法国针对高速运毒的“Go-Fast”以及德国复杂的“Cum-Ex 税务欺诈”。

更为关键的是，传统安全评测往往将有害内容视作全人类普适的绝对恶意，而混淆了两个本质截然不同的维度：其一是“国家制度与社会背景下的越狱鲁棒性”（对抗攻击下抵御恶意利用），其二是“隐蔽文化敏感度的觉察能力”（日常普通交互中识别隐性文化禁忌与礼仪雷区）。在跨文化实际应用中，向法国客户推荐白菊花作感谢礼物（当地白菊专用于悼念死亡）、或在韩国为他人姓名名牌选用红墨水书写，并不属于普适性的违法危害，但却是严重的文化失范。现有基准（如 NormAd、BLEnD）要么直接提问测试文化常识，要么强迫模型判断某行为是否得体，脱离了自然开放交互场景。

为了打破“以直译套通用安全”的局限，解决跨文化安全与文化常识混为一谈的问题，亟需构建一套直接扎根于本土社会脉络、区分主动防御与隐性文化感知的全新评测体系。核心 idea：将国家本地化安全解耦为「对抗性越狱鲁棒性」与「良性任务中嵌入敏感禁忌的文化感知」双轨基准，通过大模型辅助挖掘、自动化多重质检闸门与双独立母语专家闭环验证，建立覆盖 10 国语言的标准化跨文化安全评测体系。

方法详解¶

整体框架¶

XL-SafetyBench 采用双轨并行评测管线，覆盖北美、欧洲、亚洲和中东的 10 个国家-语言对（美国-英语、法国-法语、德国-德语、西班牙-西语、韩国-韩语、日本-日语、印度-印地语、印度尼西亚-印尼语、土耳其-土耳其语、阿联酋-阿拉伯语）。整个基准共构建 5,500 个高质量测试用例： 1. 越狱基准（Jailbreak Benchmark）：包含 4,500 个对抗性攻击提示词（每国 450 条），采用“5 大害类别 $\times$ 10 个子类（5 共享 + 5 本土灵活）$\times$ 3 个母语基础意图 $\times$ 3 种对抗变体”的分层架构。 2. 文化敏感度基准（Cultural Benchmark）：包含 1,000 个测试场景（每国 100 条），涵盖 6 大通用文化维度中的 20 个本土敏感禁忌，将禁忌细节隐蔽地“埋藏”在日常自然的复合任务中。

评测环节引入专门的 LLM-as-a-judge 评估体系，提出攻击成功率（ASR）、中立安全率（NSR）与条件文化敏感率（CSR）三大指标，剥离理解失败导致的“假装安全”。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    subgraph JB["越狱基准：对抗攻击轨 (450用例/国)"]
        direction TB
        A1["本土危害概念挖掘<br/>5共享+5灵活子类/类别"] --> B1["母语基础意图生成<br/>融入本土平台与法律术语"]
        B1 --> C1["红蓝对抗攻击生成<br/>多靶标PAIR迭代回环+修订"]
    end
    subgraph CB["文化基准：嵌入感知轨 (100场景/国)"]
        direction TB
        A2["本土文化敏感禁忌挖掘<br/>传统风俗+现代禁区共20项"] --> B2["隐性违规基础意图"]
        B2 --> C2["复合情境隐蔽嵌入<br/>主任务掩盖+边缘禁忌植入"]
    end
    subgraph HITL["双独立母语专家质检闸门"]
        direction TB
        H1["硬性二元有效性过滤 (一致率>92%)"] --> H2["序数打分均值排序 (Top-K筛选)"]
    end
    JB --> HITL
    CB --> HITL
    HITL --> EVAL["三维安全解耦评测体系<br/>ASR (越狱成功) / NSR (中立无理解) / CSR (文化感知)"]

关键设计¶

1. 双轨危害与文化敏感度分类体系设计：兼顾跨国横向对比与本土制度深度

传统基准在跨国评测时往往面临“通用性与本土性”的权衡冲突。XL-SafetyBench 在越狱轨设计了 5 大核心危害类别（犯罪活动、自残与危险建议、仇恨与歧视、社会经济冲突、政治与虚假信息）。每个大类下均设立 5 个全球统一的固定子类（共 25 类，用于基准模型的跨国横向对齐，如自残方法、大选虚假信息）以及 5 个由本土社会挖掘出的灵活子类（共 25 类，用于触碰深水区，如阿联酋劳工剥削的 Kafala 赞助制、日本电车痴汉与 Burusera 交易、韩国针对非全日制弱势群体的欺诈）。文化轨则固定了 6 大跨文化差异核心维度（符号与送礼禁忌、饮食法规与款待、死亡与丧葬习俗、日常生活与公共行为、社会等级与称谓、法律红线），每国提炼 20 个高频敏感点，既实现了评测维度的结构化统一，又精确刻画了各地的文化异质性。

2. 隐蔽文化敏感场景与多靶标红蓝对抗生成：拒绝直白询问与通用套路

为了避免大模型在文化评测中仅通过显式知识检索“背题”，文化基准设计了“表面任务掩护”生成机制。大模型不直接面对“能否把面包扔进垃圾桶”的道德审问，而是面对一个庞大自然的复合任务（如土耳其语境下“为社区流浪猫狗制定厨余利用计划，其中顺手把吃剩的面包倒掉”），测试模型能否在完成主任务的同时敏锐指出附带细节的文化失范。在对抗越狱轨上，基于 PAIR 框架构建了多轮自动化红蓝对抗循环（包含 4 个 Stage，外层滚动记忆经验，内层重置对抗历史），并扩展为面向 3 个异构靶标模型（GPT-4.1、GPT-5-nano、Gemini-2.5-Flash）分别攻破，从而大幅提升了攻击提示词在语义与策略上的多样性，最后通过母语修正通道洗去跨语言机器翻译痕迹。

3. 双独立母语专家 HITL 与硬闸门多级质检：消解合成数据的刻板偏见

纯大模型合成多语言数据极易引入刻板印象与语病幻觉。为此，评测集引入了来自 10 个国家、在当地居住 15 年以上且具备本科及以上学历的 20 位母语专家（每国 2 位独立标注）。流水线在“危害子类筛选”、“基础提问生成”及“最终攻击/场景入选”三个关键节点均实施两阶段质检：首先通过二元硬性有效性过滤（只要有一名专家判定不符合真实场景即彻底剔除，专家二元一致率达 92.7%–98.1%）；通过硬闸门后，再对真实度与文化敏感深度进行 1–5 分的序数评估，采用两名专家排名的平均值截取 Top-K。该机制彻底切断了自动化生成可能导致的虚假漏洞。

4. 解耦 ASR、NSR 与条件 CSR 评测度量：剥离假装安全与非理智拒答

在评估多语言越狱与敏感度时，模型常常由于对小语种的上下文理解失败、或者语言模型输出退化产生胡言乱语，导致攻击看似“失败”。为此，越狱基准定义了有害性（H）、不顺从（NC）、特异性（S）与相关性（R）四层判定，构建五级安全标签。特别提出中立安全率（NSR）： $$NSR = \frac{1}{N}\sum_{i=1}^{N}\mathbb{I}(Label_i = \text{Neutral Safe})\times 100$$ 其中 Neutral Safe 对应 $H=0, NC=0, R=0$，专门捕获因理解崩塌导致的无关或胡话回复，并将真正的原则性防御（Ideal Safe，$R=1$）与之严格区分。类似地，文化敏感率（CSR）采用条件概率度量，只在模型有效理解并相关回应了该场景（$R=\text{Relevant}$）的子集上计算： $$CSR = \frac{\sum_{i=1}^{N}\mathbb{I}(C_i = \text{Aware} \wedge R_i = \text{Relevant})}{\sum_{i=1}^{N}\mathbb{I}(R_i = \text{Relevant})}\times 100$$ 从而避免模型因语言指令遵循完全失败而连带遭受文化偏见惩罚。

实验关键数据¶

主实验¶

论文对 10 款全球前沿大模型与 27 款本土专门大模型（覆盖 9 个拥有本地活跃生态的国家）进行了全面测试。下表汇总了 10 款前沿模型在各国的越狱攻击成功率（ASR）与文化敏感度（CSR）核心表现：

模型	全球平均 ASR (%) ↓	全球平均 CSR (%) ↑	美国 (US) [ASR / CSR]	阿联酋 (AE) [ASR / CSR]	韩国 (KR) [ASR / CSR]	印度 (IN) [ASR / CSR]
Claude-4.5-Sonnet	2.8	68.2	0.4 / 87.0	9.1 / 67.0	4.9 / 80.8	2.0 / 48.0
Claude-4.6-Opus	5.9	72.7	4.0 / 87.0	21.1 / 77.0	7.1 / 88.0	1.8 / 58.0
Qwen3.5-397B	18.1	60.4	7.1 / 84.0	40.4 / 49.0	29.1 / 73.0	13.8 / 41.0
Grok-4.20	30.6	25.4	3.1 / 56.0	26.2 / 14.1	38.9 / 31.0	35.8 / 14.0
Gemini-3.1-Pro	43.4	76.1	30.4 / 90.0	78.4 / 81.0	61.8 / 89.0	36.7 / 63.0
GPT-5.4	47.1	64.4	40.4 / 85.0	63.8 / 57.0	45.3 / 75.0	48.7 / 63.0
Gemini-3-Flash	50.0	63.6	29.1 / 79.0	80.0 / 53.0	74.2 / 88.0	38.2 / 47.0
GPT-5-mini	59.2	42.8	37.3 / 70.0	84.7 / 33.0	69.3 / 44.0	52.0 / 33.0
Llama-4-Maverick	92.0	11.5	94.0 / 25.0	68.7 / 3.1	97.8 / 11.0	93.1 / 4.0
Mistral-Large-3	98.8	13.8	99.3 / 32.0	97.8 / 7.0	99.1 / 18.0	99.8 / 6.0
国家平均	44.8	49.9	34.5 / 69.5	57.0 / 44.1	52.8 / 59.8	42.2 / 37.7

消融与深度分析实验¶

论文深入探究了“直接文化提问”与“隐蔽场景嵌入”下的识别率落差（Direct vs. Embedded），以及本地专门模型中 ASR 与 NSR 的替代关系。

表：前沿模型在直接提问 vs. 隐蔽嵌入场景下的文化敏感识别率（%）

模型	直接提问识别率 (Direct)	隐蔽嵌入识别率 (Embedded CSR)	性能落差 (pp) ↓
Claude-4.6-Opus	87.9	72.7	15.2
Gemini-3.1-Pro	92.5	76.1	16.4
GPT-5.4	84.9	64.4	20.5
Claude-4.5-Sonnet	90.4	68.2	22.2
Qwen3.5-397B	87.9	60.4	27.5
Gemini-3-Flash	93.0	63.6	29.4
GPT-5-mini	82.3	42.8	39.5
Llama-4-Maverick	58.8	11.5	47.3
Mistral-Large-3	69.8	13.8	56.0
Grok-4.20	83.9	25.4	58.5
全模型平均	83.2	49.9	33.3

关键发现¶

越狱防御力与文化感知力并非必然绑定：虽然全部 10 款前沿模型整体呈现 ASR 与 CSR 负相关（$r=-0.74, p=0.014$），但这主要是由于开源弱模型（Llama-4、Mistral-Large）的双重崩溃拉动的。若将范围缩窄至 7 款前沿闭源商业模型，相关性锐减至微弱且不显著（$r=-0.27, p=0.554$）。典型如 Grok-4.20，展现了中等偏强的越狱防御（ASR 30.6%），但文化敏感识别极差（CSR 仅 25.4%），证明两项能力具有正交性，必须独立评测报告。
直接提问文化知识严重夸大真实文化防御：在直接暴露文化常识提问时，前沿模型的平均识别率高达 83.2%；而一旦将相同的文化违规点作为次要细节植入日常请求，平均感知率断崖式下跌 33.3 个百分点至 49.9%，所有模型无一例外显著衰退（符号检验 $p=0.002$）。
本地专属模型的“假装安全”现象（ASR–NSR 权衡）：本土专属模型呈现极高的 ASR 与 NSR 强负相关（$r=-0.81$）。例如法国的 CroissantLLM 其 ASR 表面上只有 8.0%，看似比绝大多数前沿模型都安全，但其中立无应答率（NSR）高达 62.9%，真正的原则性安全拒绝率（Ideal Safe）仅 29.1%，其 MMLU 甚至接近随机乱猜（21.6%）；类似地，土耳其的 Kumru-2B（ASR 17.6%，NSR 44.7%）和印度的 Param2-17B（ASR 24.2%，NSR 72.7%）均表明，许多本地模型的“低攻破率”本质上是无法理解复杂输入的“非介入性假象”。

亮点与洞察¶

提出解耦越狱与文化感知的评测新维度：跳出了过往将多语言安全狭隘理解为“翻译毒性词库”的怪圈，首次将本土安全明确划分为“强对抗恶意防御”与“弱对抗隐性文化失范感知”，抓住了跨文化交互的真正难点。
引入 NSR 剥离“理解失能造成的伪安全”：敏锐地揭露了非英语语境中本地小模型的安全幻象——很多模型之所以攻不破，不是因为对齐做得好，而是因为“听不懂、答非所问”。NSR 的引入为多语言对抗基准设立了新规范。
文化敏感场景的“隐蔽注入机制”：设计以干扰性主任务为外壳、将文化禁忌点埋藏为边缘细节的构建逻辑，比传统的单句道德选择题更能有效反映模型在复杂长上下文中的文化对齐能力。

局限与展望¶

单国单语言对绑定的归因混淆：基准目前采用一国对应一语种的设计（如阿拉伯语对应阿联酋、西语对应西班牙），无法严格在统计上分离出纯语言理解能力与特定国家文化语境的独立贡献；未来需要扩展至同语种多国家（如西语在西班牙、墨西哥、阿根廷之间的文化微观对比）。
单轮静态文本交互的局限：目前的评测完全局限在单轮对话生成，尚未涵盖具身 Agent 或多轮复杂博弈环境下的动态文化适应行为。
评测专家群体的阶层偏向：母语标注员普遍具有本科以上高等学历，对传统或特定亚文化圈层的隐秘禁忌可能存在一定认知盲区。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次提出结合本土制度危害与隐蔽文化敏感度的双轨跨文化安全评测框架]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 10 国语言、37 款大模型，提出 ASR/NSR/CSR 细粒度度量并完成详尽的人机一致性验证]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，图表详实，对伪安全机制与跨文化评测盲区的剖析极其深刻]
价值: ⭐⭐⭐⭐⭐ [对大模型多语言对齐、跨文化安全评测以及区域大模型落地具有重要指导意义]