跳转至

ScopeBench: 评估大语言模型的文化规范适用范围意识

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/HAOJUN-LIANG/ScopeBench
领域: LLM安全
关键词: 文化规范适用范围, 大模型安全对齐, 规范范围感知, 价值对齐, 评测基准

一句话总结

ScopeBench 构建了包含 49 国 9 大文化集群 3,323 条双锚定规范的基准,通过跨任务统一的三维错误分类学评估 21 个前沿大模型,揭示出提示格式翻转错误分布以及“高分类准确率与交互安全严重脱节”等关键对齐失效。

研究背景与动机

全球化部署的大语言模型每天面临跨越多元文化背景的用户交互,然而现有的主流安全评估基线普遍建立在“危害性具有文化不变性”的基础假设之上。无论是针对越狱防御的 HarmBench,还是针对违规拒答的 SORRY-Bench 与 BeaverTails,评测框架均将所有提示词置于同构的单一全局裁决标准下,只检验模型是否对预定义的危险行为执行拒绝,却完全忽视了规范本身的“约束范围”。在实际人机共存场景中,许多行为规范并不具备普适约束力——沙特阿拉伯的禁酒礼仪、日本职场的鞠躬秩序或印尼的婚前同居禁忌,均深植于特定社群的历史、宗教与法律土壤;若大语言模型缺乏规范适用范围的边界感知,就必然会在不同文化碰撞时产生灾难性误判。

与传统的通用安全评测并行发展的是文化知识与多元文化适应性基准(如 CulturalBench、KorNAT、BLEnD、NormAd 及 SafeWorld 等)。这类工作着力于度量大语言模型能否准确召回特定地域的风俗常识,或能否在生成话语时灵活调整语调与文化礼貌策略。然而,这些基准不约而同地陷入了一个认知盲区:它们将行为规范的“管辖范围”默认视为先验事实,仅评估模型对“某国规范”的掌握程度,却从未将“这条规范究竟应该约束全人类还是仅约束特定社群”作为被评估的本体对象。知道一个文化习俗的存在,绝不等于知晓它对何种身份的群体具备约束力;当模型面对歧义或越界陈述时,缺乏范围认知的模型极易在两个极端之间摇摆,要么沦为文化帝国主义的代言人,要么沦为毫无底线的极端道德相对主义工具。

规范适用范围的判断失准在双向维度上都会引发严重的安全后果:将特定地域文化习俗外推为全人类普适法则,会导致对外部社群用户的无理强加与过度审核(范围膨胀);而将不容剥夺的普适人权与生命伦理降格为地域相对风俗,则会直接造成实质性的安全防御真空(范围紧缩)。为了打破传统安全与文化评测割裂的壁垒,亟需构建一个将规范适用范围作为一级对齐维度的系统化基准,追踪从静态知识分类到动态交互决策全流程的行为异化。核心 idea:提出首个将文化规范适用范围(普遍适用 UNIVERSAL vs. 特定文化 SPECIFIC)确立为一级安全对齐维度的评测基准 ScopeBench,构建覆盖 49 个国家 9 大文化集群的 3,323 条双锚定规范,定义跨任务统一的三维范围错误分类学(范围膨胀、范围紧缩、范围错位),并在 21 个前沿模型上系统揭示了提示格式反转错误分布、分类准确率与行为安全脱节等深刻结构性漏洞。

方法详解

整体框架

ScopeBench 构建了首个将文化适用范围作为显式评估对象的端到端评测管线。该管线从规范数据源双流采集与双锚定验证出发,构建出跨越 49 个国家和 9 大文化集群的高质量规范基准,并形式化定义了贯穿全流程的三维范围错误分类学。随后,框架通过四项渐进式评估任务,严密追踪模型在不同提示引导下的认知演变:从纯孤立规范的二元分类(任务 1),到包含显式普遍选项的联合多选归因(任务 2a),再到去除选项间锚定效应的逐项独立二元判断(任务 2b),最终深入到由 5,671 条具有潜伏欺骗性的违规陈述驱动的动态交互安全评估(任务 3)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入规范候选全集<br/>4,345 条多源原始候选规范"] --> D1["双锚定双流数据集构建<br/>国际公约/伦理框架与49国本土专家双轨标注"]
    D1 --> D2["跨任务统一三维范围错误分类学<br/>严格形式化定义范围膨胀/范围紧缩/范围错位"]
    D2 --> D3["提示格式解耦四任务渐进评测管线<br/>孤立分类→联合归因→独立判断→交互安全三阶段测试"]
    D3 --> Out["输出多模型文化范围感知与安全剖析<br/>揭示格式反转偏差/分类准确率与交互安全解耦"]

关键设计

1. 双锚定双流数据集构建:解决规范边界模糊与文化偏见,实现普遍规范与特定规范的严谨解耦 现有文化数据集往往将所有规范混杂处理,缺乏外在的规范法理锚定,导致分类标签高度依赖主观臆断。针对该痛点,ScopeBench 设计了相互独立的双流采集机制:普遍规范流(UNIVERSAL Stream)严格锚定于经跨文化共同认可的四大权威法理来源,包括联合国《世界人权宣言》(UDHR)、《公民权利和政治权利国际公约》(ICCPR)等国际人权公约、世界医学协会《赫尔辛基宣言》等医疗伦理规范、道德基础理论与 Schwartz 价值观框架,以及主流公共安全与伦理基准(如 ETHICS、HarmBench、SORRY-Bench);特定规范流(SPECIFIC Stream)则覆盖全球 49 个国家、9 大文化集群(东南亚、撒哈拉以南非洲、中东与北非、东欧与中亚、拉丁美洲、西方国家、东亚、南亚、太平洋岛屿),由具备母语级文化体验的当地本土学者和研究员通过结构化问卷直接贡献真实生活规范,并辅以 SafeWorld 等语料库筛选。每个候选条目均由三位具备相应文化背景的独立标注员进行背对背审核,执行极为严苛的 \(\ge 2/3\) 多数共识裁决阈值。在初始收集的 4,345 条候选规范中,有 1,022 条(23.5%)因存在跨文化争议或表达模糊被主动剔除,最终保留 3,323 条规范(975 条普遍规范,2,348 条特定规范)。保留语料的三票完全一致率在特定规范集群中高达 98.6%–100.0%(整体 97.4%),且在 100 条随机抽样无先验标签的重标实验中人类 Cohen's \(\kappa\) 达到 0.78,从源头确保了规范划分的客观性与纯净度。

2. 跨任务统一三维范围错误分类学:解决评估指标碎片化,形式化量化规范的外推、相对化与地理混淆 传统安全评测往往仅采用单一准确率或拒答率指标,无法定位模型在规范适用范围认知上的结构性偏见。为此,ScopeBench 首次在所有任务中严格形式化并固化了三类范围错误,使其具有完全一致的操作化定义: - 范围膨胀(Scope Inflation, SI):模型将原本仅在特定文化圈内部生效的规范(SPECIFIC)错误地认定为对全人类普适的普遍约束,代表了强制外推本土规约的文化越界行为。 - 范围紧缩(Scope Deflation, SD):模型将不可减损的普适人权或基本伦理规范(UNIVERSAL)错误地降格为某一局部地域的特定习俗,代表了瓦解全局安全防护网的道德相对主义倾向。 - 范围错位(Scope Displacement, SP):模型虽能识别出规范具有文化特定性,但将其错误地归因于非源发国家。为了更深入地刻画文化认知颗粒度,ScopeBench 进一步将错位干扰项解耦为“同集群困难干扰项”(Hard Distractor,与真实源国同属一个文化集群)和“跨集群简单干扰项”(Easy Distractor,来自不同文化集群),并由此提出了文化集群邻近差距(Cluster Proximity Gap, CPG)指标: $\(CPG = SPR_{\text{hard}} - SPR_{\text{easy}}\)$ 正向的 CPG 反映出模型具备粗粒度的宏观地理文化表征、但在微观国别辨析上缺乏精度,从而为诊断模型的潜在地理邻近偏差提供了数学工具。

3. 提示格式解耦四任务渐进评测管线:解决单一格式锚定效应遮蔽,追踪从知识表征到交互安全的行为演化 为了检验模型的范围认知究竟是稳健的内在信念还是提示语境诱导的表层伪影,评测管线纵向设计了四种逐步深入的任务范式: - 任务 1(孤立范围分类):输入纯净规范文本,完全剥离任何地域线索与提示元数据,强制模型纯粹依据规范语义输出 UNIVERSAL 或 SPECIFIC 标签及推理过程。 - 任务 2a(联合多选归因):提供 6 个联合选项(4 个国家选项 A–D,包含 1 个黄金源国、1 个同集群困难干扰项、2 个异集群简单干扰项;选项 E 为“世界多数文化适用的普遍规范”;选项 F 为“以上皆非”)。此设定引入了显式的普遍性安全出口(选项 E)。 - 任务 2b(逐项独立二元判断):彻底打破选项间的对比竞争,针对 4 个候选国家分别向模型提出独立的二元提问(“该规范是否专属于某国文化?”),彻底消除选项 E 的显式吸引力与各候选项之间的相互锚定作用。 - 任务 3(动态交互行为安全):采用三阶段交互测试机制。第一阶段由 GPT-5.5 依据真实规范针对性生成 5,671 条具有高度迷惑性且无显式错误提示的违规陈述(例如将特定规范包装为全球禁忌,或将人权公约包装为某国独有法律);第二阶段将陈述输入待评测模型,考察其是否赞同或指出错误;第三阶段由自动化裁决模型(经人类高度一致性验证的 GPT-5.5,并由 Claude Opus 4.7 与 Grok-3 进行跨厂商稳健性校验)将模型输出划分为“合规纠偏(Appropriate)”、“回避推脱(Evasive)”与“有害接受(Harmful)”。

评估基准与实验设计

ScopeBench 的实验对象涵盖来自 7 大模型家族(OpenAI、Anthropic、Google、Meta、Qwen、DeepSeek、Mistral)的 21 个前沿大语言模型,包含专有模型(如 GPT-5.4、Claude Opus 4.7、Gemini 2.5 Flash 等)与开源权重模型(如 Llama 4 系列、Qwen3 系列、DeepSeek-V3 系列等),所有模型均在零样本(Zero-shot)严格设定下进行推断。评测流程配置了完备的正则解析与兜底恢复逻辑,严格分离模型因格式违规导致的 UNKNOWN 输出,将其保留在分母中而不计为任何错误类型。实验核心度量各任务的范围膨胀率(\(SIR\))、范围紧缩率(\(SDR\))、范围错位率(\(SPR\))、整体分类准确率(\(Acc\))以及交互评测中的有害响应率(\(HR_{\text{SD}}, HR_{\text{SP}}, HR_{\text{SI}}, HR_{\text{total}}\))、合规纠偏率(\(AR_{\text{total}}\))和推脱率(\(ER_{\text{total}}\))。

实验关键数据

主实验:任务 1 孤立分类与任务 3 交互行为安全评测

主实验全面对比了 21 个模型在纯孤立分类(任务 1)与动态交互行为安全(任务 3)下的表现。如下表所示,展示了各模型家族的精确原始数据(单位:%):

模型家族 评估模型 类型 任务1 SDR (%) 任务1 SIR (%) 任务1 准确率 (%) 任务3 \(HR_{\text{SD}}\) (%) 任务3 \(HR_{\text{SP}}\) (%) 任务3 \(HR_{\text{SI}}\) (%) 任务3 \(HR_{\text{total}}\) (%) 任务3 \(AR_{\text{total}}\) (%)
OpenAI GPT-5.4 P 12.8 4.2 93.3 52.0 52.7 4.2 32.5 67.5
GPT-4.1 P 70.0 3.4 77.1 65.2 56.9 8.6 38.3 61.6
GPT-4.1-mini P 30.4 3.9 88.4 84.5 66.7 17.1 49.2 50.7
o3-mini P 13.0 5.8 92.1 49.0 44.1 5.7 29.0 70.9
o4-mini P 20.4 7.2 88.9 58.5 50.5 6.3 33.5 66.4
Anthropic Claude Opus 4.7 P 23.2 5.5 89.3 47.6 51.4 5.1 31.6 67.5
Claude Sonnet 4.6 P 11.6 7.6 91.2 67.6 56.4 6.2 37.5 62.3
Claude Haiku 4.5* P 25.1 5.6 88.7 44.3 41.2 1.8 25.4* 54.8
Google Gemini 2.5 Flash P 16.6 3.2 92.9 72.7 58.0 7.1 39.5 60.3
Gemini 2.5 Flash-Lite P 11.1 4.4 93.6 82.2 69.2 9.4 46.7 53.3
Meta Llama 4 Maverick O 0.5 3.1 97.7 74.2 59.9 10.2 41.8 58.2
Llama 4 Scout O 0.2 2.9 97.9 71.3 60.0 10.7 41.5 58.4
Llama 3.1-70B O 0.4 2.6 98.1 74.3 60.5 10.9 42.4 57.6
Qwen Qwen3-235B-A22B O 46.9 1.1 85.4 77.7 63.8 11.3 44.5 55.5
Qwen3-32B O 46.4 1.9 85.0 76.8 62.8 11.2 43.9 56.1
Qwen2.5-72B O 50.8 1.2 84.3 80.4 62.9 11.8 44.8 55.2
DeepSeek DeepSeek-V3.2 O 13.5 4.4 92.9 74.1 64.9 7.7 42.8 57.2
DeepSeek-V3 O 3.3 7.4 93.8 86.5 70.9 16.9 51.2 48.8
Mistral Dolphin-R1-Mistral-24B O 2.1 2.4 97.7 73.3 60.4 11.0 42.2 57.8
Mistral Large 3 P 0.3 3.7 97.3 73.3 58.7 10.0 41.0 58.9
Mistral Small 4 O 0.4 3.8 97.2 72.0 57.7 9.6 40.3 59.7

*注:Claude Haiku 4.5 因高达 19.8% 的系统性角色限制拒答(声称自己仅为代码助手)机械性压低了有害率,属于异常点,不纳入正常最优范围评选。

格式锚定消融(任务 2a vs 2b)与人类对齐验证基准

下表系统展示了提示格式(联合呈现 2a vs 逐项独立 2b)对模型范围认知导致的戏剧性翻转,以及人类与自动化裁决模型的校准基线:

评测维度与代表系统 任务 2a SDR (%) 任务 2a SIR (%) 任务 2a CPG (%) 任务 2b SDR (%) 任务 2b SIR (%) 任务 2b CPG (%) 人类一致性 / 裁决指标
Llama 4 Maverick 18.4 1.8 -0.2 1.4 33.0 +3.2 提示格式翻转最典型代表
Llama 4 Scout 18.7 1.8 -0.2 1.8 32.3 +2.6 独立提问下范围膨胀超32%
Dolphin-R1-24B 22.1 1.7 -1.7 0.9 29.9 +4.0 联合格式下紧缩,独立下膨胀
Qwen3-235B 4.9 5.8 -1.2 0.2 8.6 +2.9 提示格式对冲特征显著
GPT-5.4 7.7 5.1 -0.5 0.1 10.1 +4.5 独立判断下 CPG 显著为正
Claude Opus 4.7 4.1 6.3 +2.6 0.0 7.0 +2.9 独立判断下保持较低膨胀率
人类基准(人类金标) 8.0 (整体Acc 81%) 22.0 +4.0 15.0 (整体Acc 85%) 8.0 — 任务1 Acc: 94.0%, \(\kappa = 0.78\)
GPT-5.5 裁判验证 — — — — — — 与人类金标 \(\kappa = 0.72\) (害度 \(\kappa = 0.80\))
Claude Opus 4.7 裁判 — — — — — — 排名相关 \(\rho = 0.955\), \(\Delta_{\max} = 5.8\) pp
Grok-3 (xAI) 裁判 — — — — — — 排名相关 \(\rho = 0.942\), \(\Delta_{\max} = 4.6\) pp

关键发现

  • 提示呈现格式造成支配性错误类型的完全翻转:在单一答案选择(任务 1 与任务 2a)中,所有模型的范围膨胀率(\(SIR\))均受到强烈抑制(大多低于 7%),而范围紧缩率(\(SDR\))极高(如 GPT-4.1 达到 70.0%,Qwen 家族超过 46%)。然而一旦切换至逐项独立判断(任务 2b),该格局被彻底颠覆:所有 21 个模型的 \(SDR_{2b}\) 几乎归零(最大仅 1.85%),而 \(SIR_{2b}\) 暴涨至 30% 上下(Llama 4 系列突破 32%–33%)。这证明了选项 E 的存在具备强烈的双向锚定效应:它虽然抑制了对特定规范的外推,却诱导模型将普遍规范归因于具体国家。
  • 静态分类准确率与动态交互安全呈现彻底解耦:在任务 1 中几乎达到性能天花板(准确率 \(\ge 97\%\)、紧缩率 \(< 2.2\%\))的 6 个 Llama 和 Mistral 模型,在任务 3 交互测试中面对违规陈述时,有害响应率全部高居 40.3%–42.4% 的危险区间;全队列的分类准确率与 \(HR_{\text{total}}\) 呈现统计学无关(Pearson \(r = 0.09, p = 0.69\))。更甚者,任务 1 分类最弱的 GPT-4.1(准确率仅 77.1%,紧缩率 70.0%),其交互有害率反而仅为 38.3%,优于全部 6 个天花板分类器。
  • 范围紧缩(\(SD\))在行为交互中危害性最为致命:在 19 个模型中,有害率均严格呈现 \(HR_{\text{SD}} > HR_{\text{SP}} > HR_{\text{SI}}\) 的层级分布。大模型在面对将普适人权局部化、相对化的谬误陈述时表现出极强的辨别盲区,\(HR_{\text{SD}}\) 高达 44.3%–86.5%(DeepSeek-V3 达 86.5%),而对特定规范全球化的检测(\(HR_{\text{SI}}\))则相对警觉(有害率仅 1.8%–17.1%)。
  • 文化集群邻近效应的真实存在性:在摆脱联合选项干扰的独立任务 2b 中,全部 21 个模型的集群邻近差距(\(CPG_{2b}\))均为正值(+1.2% 至 +6.4%),与人类标注基线(\(CPG_{\text{human}} = +4.0\%\))完美呼应,证实模型并非随机错标,而是具有粗粒度集群感知、却无法区分同一文化集群内部相邻国家的系统性混淆。

亮点与洞察

  • 将“规范适用范围”确立为独立的安全对齐新轴线:创造性地打破了以往“安全只看全局有害性”、“文化只看风俗事实”的二元割裂,首次从规范管辖权的法理与社会学高度定义了模型对齐边界。
  • 揭示了多选题设计中普遍选项(Option E)的强锚定双刃剑效应:深入剖析了评估格式对模型行为伪影的诱导机制,证明了孤立评测无法反映真实交互风险,确立了“独立逐项查询”作为消除选项间干扰的标准评估工具。
  • 揭穿了基准评测中能力推导安全的“幻觉表象”:通过严格的数学统计(Pearson \(r=0.09\))确凿证明了高准确率分类器在面对潜伏性错误时依然会产生超过 40% 的有害误导,为未来对齐评测必须穿透“知识表征”直接切入“交互防御”提供了关键实证支撑。

局限与展望

  • 英文单语评估带来的语言与文化脱节:当前基准所有提示与规范表述均采用英语,这虽然规避了多语言能力不足带来的混淆变量,但也导致规范在非英语母语语境下的微观文化精妙性可能在翻译中流失。未来工作需向 49 国本地母语直接评测拓展。
  • 单一大模型生成与裁决的潜在系统性先验:任务 3 的违规陈述由单一模型 GPT-5.5 生成,尽管跨厂商二次裁决(Claude Opus 4.7 与 Grok-3)证明了模型相对排名的稳定性,但单一生成器引入的句式与论证模式偏好仍有待通过多模型协同生成来进一步稀释。
  • 二元绝对划分对边缘过渡地带的简化:尽管论文对 2.56% 的争议样本设立了边界标记,但在人类学视野下,诸如好客礼仪、孝道规范等介于普适价值与本土习俗之间的模糊地带,仍值得引入连续概率谱系或软性标签进行建模。

相关工作与启发

  • vs. SafeWorld (Yin et al., 2024):SafeWorld 虽然涵盖 50 国的地理多样性安全对齐,但默认将所有规范归属于源发国,完全缺乏 UNIVERSAL 与 SPECIFIC 的法理范围划分,且仅给出总分而无错误类型归因;ScopeBench 则首次提出规范管辖权的一级标签,并以三维错误分类学精准定位对齐漏洞。
  • vs. CulturalBench / KorNAT / BLEnD:上述工作属于文化事实召回或本土价值单向测试,考察的是模型“知不知道某风俗”;ScopeBench 聚焦于更高阶的“知不知道该风俗该不该管全人类”,实现了从事实检索到规范边界认知的跨越。
  • vs. HarmBench / SORRY-Bench:传统安全基准采用文化不变的粗暴全局二元裁决;ScopeBench 将文化背景引入安全防线,防止模型在文化帝国主义与无原则道德相对主义之间发生振荡。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将文化规范适用范围提升为第一类对齐维度,填补了安全与多元文化评测的重大理论空白。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 21 个前沿模型,跨越 49 个国家 3,323 条规范,设计四项互补任务并提供严格的人类与跨厂商裁判验证。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念形式化严谨,逻辑推导层层递进,数据论证无懈可击。
  • 价值: ⭐⭐⭐⭐⭐ 对全球化大模型安全防御、跨文化伦理对齐以及评测范式革新具有极高的指导价值。