跳转至

Aligning Cultural Behaviors in Arabic Language Models via Preferences

会议: EMNLP 2026
论文: ACL Anthology
领域: 大模型对齐
关键词: 文化偏好对齐, 阿拉伯语大模型, 泛阿拉伯跨国异质性, 直接偏好优化, 文化选择题基准

一句话总结

针对大语言模型缺乏泛阿拉伯跨国细粒度文化偏好对齐的问题,本文构建了覆盖阿拉伯国家联盟 22 国、16 个门类与 200 个维度的首个大规模双语行为偏好与测试基准 ARABPREF,并通过人类在环验证与多种对齐算法(DPO/KTO/SFT)系统性提升了模型在具体文化语境下的行为适切性与鲁棒性。

研究背景与动机

近年来阿拉伯语及多语言大语言模型(LLM)能力演进迅速,但在涉足具有高度地缘与社会敏感性的文化语境时,模型的输出常常暴露出严重的文化错位。现有研究表明,主流开源与闭源 LLM 的价值判断普遍呈现强烈的西方或美式中心主义倾向;即使模型给出的答复在客观事实层面完全正确,也极易因忽视目标受众特定地域的社交礼仪、宗教禁忌或交往习惯,导致产生不合时宜甚至带有偏见的言论,破坏人机互信。

解决此类错位的核心矛盾在于:以往的阿拉伯语文化对齐工作(如 CIDAR、PALM)多集中于通用指令微调与事实性知识问答,或仅包含粗粒度的泛阿拉伯通用常识;然而阿拉伯世界并非单一均质的整体,22 个阿拉伯国家联盟成员国在饮酒、着装、公共情感表达及社交称谓等具体行为规范上存在深刻的国别异质性。现有的多语言偏好数据集(如 CARE、PRISM)要么阿拉伯语样本极度匮乏,要么聚焦于个体主观审美而非客观社会文化规范,导致学界长期缺乏针对国别条件化(country-conditioned)规范行为的成对偏好监督数据与细粒度评测体系。

本文切入的角度是:文化在本质上是场景依赖且具有地缘差异的规范系统,必须以具体国家和行为维度为锚点构建显式对比偏好。核心 idea:通过整合官方出行指南与文化知识库,构建覆盖阿盟 22 国 16 类 200 个文化维度的首个大规模成对偏好与多项选择评测基准 ARABPREF,结合本土母语者双阶段在环验证,利用基于偏好的强化学习系统性消除跨国文化行为的违和感。

方法详解

整体框架

ARABPREF 的构建与对齐流水线围绕「国家-文化维度(country-aspect pairs)」展开,整体涵盖数据粗筛生成、双阶段人类在环验证、基于解耦维度的多项选择题(MCQ)生成,以及下游多种偏好对齐算法的微调训练。

输入为阿盟 22 个国家的官方使馆建议、旅行指南及 CultureBank 知识库,经过大模型参数化释义生成对比行为对;随后通过 MinHash 与嵌入相似度进行结构去重与语义过滤,由本土母语专家执行文化适切性审核与现代标准阿拉伯语(MSA)翻译验证;最后派生出用于训练的 31,060 对偏好样本与完全解耦的 1,984 道评测 MCQ,并应用 DPO、KTO、SFT 等算法实现行为对齐。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多源文化规范收集<br/>使馆旅行建议 + CultureBank"] --> B["国别-维度解耦与释义生成<br/>Gemini-2.5-Flash + 语义去重过滤"]
    B --> C["双阶段人类在环验证与本土化标定<br/>文化规范检验 + MSA双语专家后审"]
    C --> D["测试集选择题派生与干扰项精炼<br/>逆向极性 + 跨国干扰项生成"]
    D --> E["多目标偏好优化与文化行为对齐<br/>SFT / DPO / KTO 对齐训练与评测"]

关键设计

1. 国别-维度解耦与释义生成:构建覆盖 22 国的细粒度文化规范空间

通用文本生成容易混淆泛阿拉伯传统与单一国家的法律宗教边界。本文确立了涵盖社交礼仪(Social Etiquette)、宗教仪式(Religion & Rituals)、餐饮习惯(Dining & Food)、好客与家庭生活(Hospitality & Home Life)等 16 个一级分类与 200 个细粒度维度的分类体系,将 22 个国家分别映射到具体维度中。针对每一个「国家-维度」元组,系统利用 Gemini-2.5-Flash 基于官方权威指南生成该国推崇的合意行为(Preferred Behavior)与当地忌讳或反感的非合意行为(Discouraged Behavior)。为防止大模型幻觉与表述冗余,流水线依次施加严格的规则过滤:首先利用 MinHash 算法剔除词法高度重叠的近重复项,随后使用轻量稠密嵌入模型 GemmaEmbedding 计算余弦相似度,将相似度阈值设定为 0.90 滤除语义冗余样本,最终产出 15,530 条高质量英文候选偏好对。

2. 双阶段人类在环验证与本土化标定:保证文化真实性与严谨语言质量

仅靠算法过滤无法完全消除潜在的模型文化幻觉,偏好数据必须经受真实地缘经验的检验。研究团队组建了由 40 位专业语言学家和文化专家组成的评审团,严格执行「本土在籍(Native-In-Country)」原则——95% 的标注者常年居住在其审查的目标国家境内,其余 5% 也在对应地区连续生活超过 15 年。验证流程被明确拆解为两个阶段: - 第一阶段(文化偏好检验):母语专家审查英文三元组 \((x, y^+, y^-)\),核验所标注的正向与负向行为是否真实反映当地具体社会场景下的文化规约,该阶段直接剔除了 15.25% 的不合规或中立候选样本; - 第二阶段(现代标准阿拉伯语 MSA 校验):对入选的样本执行机器翻译初筛,随后由本土母语专家逐字进行人工后期编辑(Post-editing),核对语法正确性、表达自然度以及与原文语境的语义契合度。 全流程最终达成 90.1% 的原始标注一致率,确保了从英文源到阿拉伯语镜像的双语真实性。

3. 测试集选择题派生与干扰项精炼:零数据泄漏的高难度行为判别基准

为了客观量化模型能否在多项选择中准确识别契合特定国别的行为规范,本文进一步构建了包含 1,984 道题目的 ARABPREF MCQ 基准。为杜绝评测污染,研究团队严格在「国家-维度」层面上切分训练集与测试集:评测集使用的维度组合绝对不出现在训练集提示或偏好对中。每道选择题由 1 个标准正确项和 3 个极具混淆性的干扰项(Distractors)构成: - 干扰项 1 采用同国家同维度下的「逆向极性行为」(即被当地文化避讳的做法); - 干扰项 2 与 3 则提取「相同行为维度但在其他阿拉伯国家推崇的做法」(例如在沙特禁酒背景下混入阿联酋持牌场所饮酒的真实合规做法)。 随后,选项经过 GemmaEmbedding 严格过滤(设定相似度上限为 0.80,防止不同选项在语义上难以区分),并采用专门的提示词消除所有选项中的显式国名与主观价值修饰词(如“传统的”、“现代的”),确保模型必须仅凭具体行为的描述推断其在指定情境下的适切性。该基准的标注者间 Cohen's \(\kappa\) 达到 0.693。

4. 多目标偏好优化与文化行为对齐:探索多样化监督信号下的对齐效应

在后训练(Post-training)阶段,本文全面对比了基于监督微调(SFT)、成对偏好优化(DPO)与前景理论驱动的二元偏好优化(KTO)在不同语言模型架构下的表现。对于成对偏好,DPO 通过优化隐式奖励差值: $\(\Delta_\theta(x, y^+, y^-) = \beta \log \frac{\pi_\theta(y^+ \mid x)}{\pi_{\text{ref}}(y^+ \mid x)} - \beta \log \frac{\pi_\theta(y^- \mid x)}{\pi_{\text{ref}}(y^- \mid x)}\)$ 最小化负对数似然损失: $\(\mathcal{L}_{\text{DPO}}(\theta) = -\mathbb{E}_{(x, y^+, y^-)} \left[ \log \sigma\left( \Delta_\theta(x, y^+, y^-) \right) \right]\)$ 其中超参数设定为 \(\beta = 0.1\)。对于 KTO,样本被解耦为独立的合意 \((x, y^+, 1)\) 与非合意 \((x, y^-, 0)\) 实例,基于动态参考点 \(\hat{z}_0\) 对损失进行加权不对称惩罚。实验针对多语言底座(Llama-3.1-8B-Instruct、Qwen-2.5-7B-Instruct)与阿拉伯语原生底座(Jais-Adapted-7B-Chat),采用全线性层 LoRA(\(r=8, \alpha=16\))展开对齐,系统探索了泛阿拉伯偏好数据、多语言偏好数据(CARE)及传统指令数据(PALM)之间的正交互补性。

实验关键数据

主实验

针对各模型在 ARABPREF 偏好生成任务上的综合表现,采用 GPT-4o 作为 LLM-as-a-judge(经过与母语专家人工打分核验,Spearman \(\rho > 0.60\)),在 1-5 分 Likert 量表上全面评测文化适切性(Cultural)、通用质量(General)与语言流利度(Literacy)。同时在无泄露的 1,984 道 MCQ 独立测试集上评测行为选择准确率(Acc %)。

模型配置 训练方法 / 数据源 英文 Cultural (1-5) 英文 Avg. (1-5) 阿拉伯语 Cultural (1-5) 阿拉伯语 Avg. (1-5) 英文 MCQ Acc (%) 阿拉伯语 MCQ Acc (%)
Llama-3.1-8B-Instruct Vanilla 3.23 3.40 3.13 3.15 - -
w/ PALM (SFT) 3.74 3.91 3.36 3.58 - -
w/ CARE (DPO) 3.85 3.92 3.24 3.30 - -
w/ ARABPREF (DPO) 3.78 3.78 3.49 3.59 - -
w/ ARABPREF + CARE (DPO) 3.78 3.91 3.76 3.69 - -
Qwen-2.5-7B-Instruct Vanilla 3.41 3.69 3.89 3.98 63.3 57.6
w/ PALM (SFT) 4.02 4.29 3.36 3.52 63.0 56.9
w/ CARE (DPO) 4.28 4.30 4.21 4.11 67.5 57.6
w/ ARABPREF (DPO) 4.26 4.41 4.01 4.02 67.0 58.0
w/ ARABPREF + CARE (DPO) 4.38 4.18 4.27 4.25 68.6 58.7
w/ ARABPREF + CARE (KTO) 4.19 4.14 4.32 4.47 67.1 58.3
Jais-Adapted-7B-Chat Vanilla 3.41 3.74 3.40 3.54 49.6 39.4
w/ PALM (SFT) 3.18 3.49 3.26 3.47 40.4 37.1
w/ CARE (DPO) 3.99 4.18 3.36 3.71 51.0 45.6
w/ ARABPREF (DPO) 4.33 4.53 4.24 4.31 52.6 40.2
w/ ARABPREF + CARE (DPO) 4.39 4.60 4.28 4.34 53.7 43.1
w/ ARABPREF + CARE (SFT) 4.50 4.62 4.42 4.43 - -
商业闭源模型 (Zero-shot) DeepSeek-V4-Flash 4.80 4.71 4.76 4.77 75.3 71.6
Qwen3.6-Plus 4.75 4.76 4.74 4.66 80.5 76.5
Claude-Sonnet-4 4.91 4.92 4.87 4.58 74.8 73.7

消融与分析实验:数据规模受控下的偏好正交性消融

为验证 ARABPREF 的性能增益究竟来源于其独特的文化偏好监督信号,抑或仅仅是由融合 CARE 带来的数据量累加效应,作者在 Qwen-2.5-7B-Instruct 上进行了受控抽样消融实验(ARABPREF sampled:每国仅严格抽取 30 个偏好对):

实验配置 英文 Cultural 英文 General 英文 Literacy 英文 Avg. 阿拉伯语 Cultural 阿拉伯语 General 阿拉伯语 Literacy 阿拉伯语 Avg.
Vanilla 3.41 3.58 4.07 3.69 3.89 4.08 3.98 3.98
PALM (SFT) 4.02 4.28 4.57 4.29 3.36 3.53 3.68 3.52
CARE (DPO) 4.28 4.55 4.06 4.30 4.21 4.46 3.66 4.11
ARABPREF sampled (DPO) 4.02 4.26 4.33 4.20 3.87 4.14 4.09 4.03
ARABPREF sampled (KTO) 3.87 4.31 4.65 4.28 3.54 3.98 4.13 3.88
ARABPREF sampled + CARE (DPO) 4.50 4.32 4.37 4.40 4.01 3.87 4.01 3.96
ARABPREF sampled + CARE (KTO) 4.08 4.14 4.26 4.16 3.67 3.96 4.14 3.92
ARABPREF sampled + CARE (SFT) 4.17 4.35 4.23 4.25 3.76 4.23 4.05 4.01

关键发现

  • 偏好对齐能显著激活文化敏感性:相比于直接在单向正例上做 SFT(甚至可能在部分结构化选择题任务中出现准确率下降,如 Jais 从 49.6% 降至 40.4%),DPO 和 KTO 等对比偏好学习能更稳定地引导模型建立对违背文化规范输出的惩罚机制。
  • 正交互补性而非规模红利:在严格限制规模的抽样消融实验中,ARABPREF sampled 融合 CARE 后在英文文化适切性上达到了 4.50,依然超越了仅使用 CARE 的 4.28,充分证明国别细粒度偏好注入了通用文化数据中所不具备的独特监督信号。
  • 跨语言迁移与架构敏感性:单语训练与全量混合训练的对比表明,Llama 与 Jais 能够显著从英-阿双语混合数据中获得跨语言正向迁移;而 Qwen-2.5 在特定单语训练时指标表现更好,暗示其不同语言表征子空间可能对跨语言混合微调更为敏感。

亮点与洞察

  • 多维度国别文化解耦体系:提出了覆盖 22 国、16 大类、200 个具体维度的泛阿拉伯行为层级,真正把模糊的“阿拉伯文化”拆解为具备可操作性、可对比性的国别规范体系。
  • 高严谨度的本土在环验证:坚持 95% 以上驻地母语评审原则,在初始机器候选生成中剔除了高达 15.25% 的伪文化偏好,避免了通用大模型用西方视角“拟合”阿拉伯偏好产生的系统性虚假常识。
  • 跨区域异质性干扰项设计:测试集 MCQ 创新性地引入“同维度跨国真规范”作为干扰选项,直接测试模型能否区分如沙特与阿联酋之间不同尺度的社交与法律规范,构筑了高区分度的文化评测防线。

局限与展望

  • 次级地域与方言多样性未完全覆盖:当前数据集主要聚焦于国家层面的主流文化共识与现代标准阿拉伯语(MSA),尚无法充分捕捉各国内部复杂的次文化社群、部落习俗以及多样化的口语方言(如埃及方言、黎凡特方言、海湾方言)。
  • 静态单轮偏好限制:目前构建的偏好对与 MCQ 均为单轮静态问答形式,未涵盖真实社交会话中依赖多轮历史交互、说话者间亲疏关系演化的动态文化协商过程。

相关工作与启发

  • vs CARE (Guo et al., 2025):CARE 是多语言文化偏好数据集,但阿拉伯语覆盖面窄且缺乏对泛阿拉伯 22 国差异的显式拆解;本文则提供了专精于泛阿拉伯世界的国别偏好闭环。
  • vs PALM / CIDAR (Alwajih et al., 2025; Alyafeai et al., 2024):PALM 和 CIDAR 主要侧重于通用阿拉伯语指令微调与合规回答生成,缺乏可用于对比偏好优化的负向违规行为对(dispreferred responses);ARABPREF 弥补了这一对比偏好训练空白。
  • vs ArabCulture (Sadallah et al., 2025):ArabCulture 侧重于文化常识多项选择评测,不包含大规模对齐训练集;ARABPREF 同时提供了 3.1 万对训练偏好与完全解耦的评测基准。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性针对泛阿拉伯 22 国开展国别细粒度的行为偏好对齐研究,填补了非西方文化对齐的关键空白。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 SFT、DPO、KTO 等主流对齐范式,并在多语言、阿拉伯原生与前沿商业模型上完成生成与判别双维评测。
  • 写作质量: ⭐⭐⭐⭐⭐ 体系完备,分类结构与数据构建流程清晰严谨,附录提供了详尽的元数据统计与本土标注规范。
  • 价值: ⭐⭐⭐⭐⭐ 为非西方语系构建兼具文化安全与地缘适切性的专用语言模型提供了高质量数据资源与对齐范式。