Common to Whom? Regional Cultural Commonsense and LLM Bias in India¶

会议: ACL 2026
arXiv: 2601.15550
代码: 无
领域: LLM评测
关键词: 文化常识, 区域偏见, 印度文化多样性, 基准构建, LLM偏见

一句话总结¶

本文构建 Indica，首个评估 LLM 次国家级文化常识的基准，聚焦印度五大区域在八个日常生活领域的文化差异，发现仅 39.4% 的问题在全部五个区域达成共识，且所有 LLM 均表现出地理偏见——过度选择中部和北部印度作为"默认"文化代表。

领域现状：文化常识基准（如 CultureBank、CulturalBench）开始关注跨文化差异，但这些工作将国家视为文化单一体，假设国家内部文化实践统一。

现有痛点：(1) 现有基准在国家级别评估文化常识，忽视了次国家级的文化多样性；(2) 印度现有 NLP 基准仅关注教科书和考试中的事实性知识，将印度文化视为单一整体；(3) LLM 可能对文化多样性国家的某些区域存在系统性偏见，但缺乏检测工具。

核心矛盾：在印度这样拥有 28 个邦、8 个联邦领地和 22 种官方语言的国家，"文化常识"不可能是全国统一的。然而 LLM 必须在给出某个文化实践时做出区域性选择，这种隐式选择可能反映训练数据中的地理偏见。

本文目标：(1) 量化印度文化常识的区域性差异程度；(2) 评估 LLM 在区域特定文化知识上的准确率；(3) 检测 LLM 在缺少地理上下文时的隐式区域偏见。

切入角度：基于人类学分类体系（OCM）设计八个日常文化领域，从印度五个区域收集人类标注答案，构建区域特定的文化常识基准。

核心 idea：文化常识在多元文化国家中主要是区域性的而非全国性的；LLM 在处理这类知识时表现出系统性地理偏见。

Indica 构建流程：(1) 基于人类学分类（OCM）选择 8 个文化领域 → 39 个主题 → 515 个问题；(2) 从印度五个区域（北、南、东、西、中）各招募 5 名参与者回答所有问题（共 15,275 个回答）；(3) 通过三层共识建立金标准：区域内共识、区域间共识、全域共识。

基于人类学分类的问题设计:
- 功能：确保问题覆盖日常文化实践的关键维度
- 核心思路：从 OCM 的 90+ 主类别中选择 8 个与日常文化知识相关的领域（人际关系、教育、服饰、饮食、通讯、金融、节日仪式、交通行为），每个领域下选择 2-4 个非重叠的子主题，用 GPT-4 辅助生成并人工审核问题
- 设计动机：确保问题聚焦于日常实践而非制度性知识，且有足够多样性来揭示区域差异
双任务评估设计（RASA + RA-MCQ）:
- 功能：分别评估区域知识准确率和隐式地理偏见
- 核心思路：RASA（区域锚定简答）——给定区域上下文（如"在南印度..."），测试模型生成准确区域文化知识的能力。RA-MCQ（区域无关多选）——移除地理上下文，观察模型默认选择哪个区域的文化实践，揭示隐式偏见
- 设计动机：RASA 测试知识，RA-MCQ 测试偏见——两个互补视角全面评估 LLM 的文化表征
三层共识金标准:
- 功能：建立可靠的区域文化常识标注
- 核心思路：区域内共识（≥4/5 参与者答案语义等价）、区域间共识（两个区域答案完全一致）、全域共识（所有五个区域答案一致）。GPT-4o 初步分类后由两名人工标注者完全审核
- 设计动机：严格的共识标准确保金标准反映真正的区域文化实践而非个人偏好

Indica 是评估基准，不涉及模型训练。评估使用 Gemini 3.0 Flash 作为 LLM 评判者，每个问题运行 30 次以消除随机性，卡方拟合优度检验评估偏见的统计显著性。