跳转至

TCC-Bench: Benchmarking the Traditional Chinese Culture Understanding Capabilities of MLLMs

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Morty-Xu/TCC-Bench
领域: 多模态VLM
关键词: 多模态大语言模型, 中华传统文化, 视觉问答基准, 文化理解, 去语言先验

一句话总结

针对主流多模态大语言模型受西方数据偏置影响、严重匮乏非西方深层文化理解能力的问题,本文提出了首个覆盖八大文化知识领域的双语多模态视觉问答基准 TCC-Bench,通过严格的纯文本概念生成与视觉解耦重写消除语言捷径,系统揭示了当前开源与闭源前沿模型在中华传统文化理解上的显著能力短板。

研究背景与动机

近年来,多模态大语言模型(MLLMs,如 GPT-4.1、Gemini-2.5、Qwen2.5-VL、InternVL3.5 等)在通用图文感知、跨模态推理与指令遵循任务上取得了突破性进展。然而,现有多模态模型的基础训练语料高度偏向西方中心主义视角的图文数据,导致其在处理非西方语言背景与特定区域历史文化知识时表现出明显的脆弱性与文化偏见。中华传统文化历经数千年沉淀,蕴含着极其繁复的符号象征体系、典章仪轨、古典哲学隐喻以及物质民俗遗产,即便是母语使用者也往往需要专门的人文知识积累才能准确辨识与阐释。缺乏对深层传统文化机理的理解,极大地制约了多模态模型在全球多文化社会中的泛化部署与文化包容性。

尽管近年来学术界涌现了 MaRVL、CVQA、CultureVQA 等评估多元文化理解的跨模态基准,但其涉及的中国文化元素普遍浅尝辄止,大多局限于表面化的现代地标或泛化标签。少数针对中国文化的研究(如 Pun Rebus 专注古画谐音双关、CII-Bench 侧重传统绘画意境)在领域广度与体量上极为有限,难以对多模态模型理解中华文明的系统性知识结构进行纵深检验。构建一个覆盖全面、视觉真实且文化严密的评测基准存在极高的技术壁垒:一方面,历史文化文物、古画及古典仪轨的视觉图像稀缺且标注专业门槛极高;另一方面,传统视觉问答(VQA)数据极易引入语言捷径(Language Priors),导致模型仅凭问题中泄露的文化专有名词先验就能蒙对答案,而非真正依靠跨模态视觉感知与文化联想。

为了填补这一空白,本文提出了首个专门面向中华传统文化深层认知的双语视觉问答基准 TCC-Bench。研究团队系统性地提炼了涵盖“衣食住行”物质民俗与“天文、音乐、礼俗、器物”精神仪轨的八大文化知识领域,从权威文博机构、历史图册与真实民俗场景中手工清洗了 770 幅具备高度文化代表性的图像。在问题构建流程中,为了兼顾规模化效率与防数据泄露,本文提出了一种“纯文本 LLM 候选生成 + 视觉解耦人工精修 + 双盲双轮交叉核验”的人机协同管线。核心 idea:通过强制禁用生成模型的视觉输入消除自我对齐偏差,并在人工精修中严格抹除题干中的文化概念实体以阻断语言先验捷径,构建起真正依赖视觉线索触发深层文化推理的双语 VQA 评测基准。

方法详解

整体框架

TCC-Bench 旨在评估多模态大模型对中华传统文化视觉实体、礼制内涵与哲学象征的理解能力。评测基准的构建围绕四大核心阶段展开:文化概念抽取、纯文本半自动问题生成、人工视觉解耦精修、以及双轮独立交叉核验。整个流程严格贯彻“防语言泄露”和“跨模态强绑定”两大原则,确保每个评测样本都必须同时依赖图像中的细粒度视觉线索与背景文化知识方可推演求解。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 1830张开源/文博候选图像"] --> B["文化知识体系映射与概念抽取<br/>专家过滤收敛至770张正版图像,提炼单核心实体"]
    B --> C["纯文本受限生成与防泄漏提示工程<br/>禁用GPT-4o视觉模态,纯文本提示生成三道混淆选项候选"]
    C --> D["去语言先验的人工视觉解耦精修<br/>隐去题干专有概念,重写为图像指代,消除语言捷径"]
    D --> E["双轮独立盲审校验与双语对齐落地<br/>两名独立专家逐题质检,产出1015道四选一双语VQA题库"]
    E --> F["评估基准与实验设计<br/>双语评测、CoT推理、解释一致性评估与领域感知Prompting"]

关键设计

1. 文化知识体系映射与概念抽取:解决文化领域碎片化与视觉证据不足问题 传统文化包罗万象,若缺乏系统的知识本体指引,基准极易沦为零散常识的拼凑。本文基于中国传统文化经典著作与民俗学专家论证,设计了八大平衡性知识领域:首先涵盖日常生活基石“衣、食、住、行”(服饰、饮食、建筑、交通),其次拓展至文明深层精神与技术维度的“天文、音乐、民俗、器物”。六名具备本科以上学历且拥有长期中华文化生活背景的专业标注员,从公开网络、博物馆数字典藏(如台北故宫、维基共享资源等)搜集了 1,830 张原始图像,严格基于“文化关联性、视觉证据明确性、开源许可合法性”三大原则进行清洗,最终筛选出 770 张高质量图像,并为每张图像显式抽取一个最具代表性且具备视觉支撑的文化核心概念(如日晷、朱雀、编钟、马面裙)。

2. 纯文本受限生成与防泄漏提示工程:防止自对齐导致的评估性能虚高 若直接使用多模态大模型(如 GPT-4o 多模态接口)基于图像生成问题,模型倾向于依据自身视觉编码器的偏好与强项生成对应问题,这会引发隐式的数据泄漏(Data Leakage),导致后续评测时该模型自身表现被虚假抬高。为解决这一问题,本文刻意禁用了 GPT-4o 的视觉输入模态,仅将标注员抽取出的纯文本文化概念(例如“日晷”或“朱雀”)作为输入。通过精心设计的系统提示词,要求模型扮演具备深厚中华文化知识的出题专家,针对该实体生成三道兼具挑战性与迷惑性的四选一单选题,包含唯一正确选项、三个具强干扰性的混淆选项以及详实的双语逻辑解释。这种纯文本中间生成机制不仅大幅削减了人工构题的初始成本,而且从根源上阻断了多模态模型对特定视觉特征的偏置拟合。

3. 去语言先验的人工视觉解耦精修:阻断纯文本大模型走捷径猜测答案 VQA 领域长期存在严重的“语言先验偏差”(Language Bias),即很多问题在不看图的情况下,单纯凭借题干里出现的实体名词(如“日晷的作用是什么?”),大语言模型就能利用预训练记忆直接选出正确答案。为了迫使多模态模型真正进行视觉感知与图文联合推理,四名标注员对生成的候选题目进行了严密的手工解耦精修:将题干中所有泄露文化实体的专有名词全部重写为视觉指向代词。例如将“日晷常用于什么?”改写为“图中的仪器在古代主要用于什么?”;将“朱雀象征哪一个方位?”改写为“图中所示的神兽代表哪个方位?”。同时,标注员人工增补更具文化深度与细粒度辨识难度的高阶题目,核实所有干扰项的混淆度与双语翻译一致性,确保题目的解答必须建立在“精准看懂图中视觉元素”的基础之上。

4. 双轮独立盲审校验与双语对齐落地:确保事实无争议与跨语言评测严谨性 文化知识评估对事实性准确度要求极高,任何历史朝代、形制名称或礼仪规制的错漏都会破坏基准权威性。为此,剩余两名独立核验员对所有精修题目进行两轮严格的背靠背盲审检验。核验维度包括:领域归属一致性、题干与选项事实正确性、参考解释的文化合理性、以及是否彻底消除实体泄露。任何一轮被任一核验员否决的题目均直接剔除(最终阶段共剔除 13 道不合格样本)。最终落地的 TCC-Bench 包含 770 张图像和 1,015 道高质量题目(平均每张图 1.32 道题),每道题目均配齐中英双语题干、四个双语选项以及详实的参考解答依据,题干平均长度为 14.8 汉字 / 11.9 英文单词,选项平均 3.3 汉字 / 2.4 英文单词,参考解释平均 19.3 汉字 / 16.2 英文单词,构建了兼顾广度与深度的文化认知试金石。

评估基准与实验设计

评测涵盖 12 款主流开源 MLLM(参数量跨越 3B 至 72B)以及 3 款前沿闭源 API 模型(GPT-4.1、Gemini-2.5 Flash、Gemini-2.5 Pro)。所有模型在零样本标准化单选题 Prompt 下统一在 A800 GPU 集群或官方 API 上评测,采样温度统一设为 0。主要评估维度包括: - 双语直接预测准确率(Standard Acc):评估中英文输入下的整体准确率与八大子领域细粒度得分; - 纯文本基线对照(Text-only Prior Check):使用纯文本 GPT-4.1 在去除图像的条件下直接猜题,以此定量检验基准对视觉感知的依赖强度与反语言先验设计效果; - 思维链提示效果(Chain-of-Thought, CoT):评估显式引入“逐项分析、逐步思考”后模型在复杂文化问题上的推理增益与退化现象; - 解释一致性评估(Explanation Consistency via LLM-as-a-Judge):要求模型在选出答案的同时给出推理依据,基于 GPT-4.1 裁判模型在 0-3 分细粒度标准下(3=卓越精确、2=良好、1=单薄粗浅、0=完全错误/幻觉),评估模型生成解释与黄金文化解释的跨模态事实一致性; - 领域感知提示(Domain-aware Prompting):在 Prompt 中显式注入当前题目的文化领域元标签,探究高层先验知识对多模态文化推理的辅助作用。

实验关键数据

主实验:多模态大模型中华传统文化理解能力全景评估

主实验对比了不同规模与架构的多模态模型在 TCC-Bench 上的表现。同时引入 3 名母语为中文且具备深厚文化背景的人类专家基线(每人每领域随机评测 15 题,共 120 题)。

模型类别 模型名称 总体 Acc (ZH) 总体 Acc (EN) 天文 (ZH/EN) 音乐 (ZH/EN) 民俗 (ZH/EN) 建筑 (ZH/EN) 交通 (ZH/EN) 饮食 (ZH/EN) 服饰 (ZH/EN) 器物 (ZH/EN)
人类基准 Human Evaluators 85.00 — 73.33 / — 80.00 / — 93.33 / — 80.00 / — 86.67 / — 93.33 / — 86.67 / — 86.67 / —
纯文本消融 GPT-4.1 (Text-only) 23.35 34.09 10.00 / 20.00 26.32 / 2.63 22.52 / 35.76 30.88 / 39.71 29.73 / 40.54 13.33 / 20.00 32.65 / 34.01 25.90 / 42.63
开源 (<10B) DeepSeek-VL2-3B 60.69 55.67 38.57 / 37.14 60.26 / 50.00 68.87 / 60.93 58.09 / 43.38 56.76 / 48.65 64.00 / 61.33 58.50 / 58.50 70.52 / 68.92
LLaVA-1.6-7B 42.66 46.01 24.29 / 25.71 29.49 / 46.15 48.34 / 49.67 46.32 / 39.71 35.14 / 40.54 42.67 / 46.67 45.58 / 48.30 51.00 / 57.77
Qwen2.5-VL-7B 73.60 69.36 54.29 / 41.43 73.08 / 65.38 77.48 / 75.50 81.62 / 75.00 67.57 / 72.97 81.33 / 76.00 65.99 / 62.59 80.88 / 80.88
GLM-4V-9B 51.23 46.11 39.29 / 26.43 46.15 / 44.87 61.59 / 56.29 51.47 / 38.24 56.76 / 51.35 54.67 / 53.33 43.54 / 40.82 55.78 / 55.78
InternVL3.5-8B 69.06 60.49 50.71 / 43.57 71.79 / 61.54 75.50 / 68.87 63.97 / 50.00 70.27 / 51.35 78.67 / 73.33 61.22 / 57.14 78.88 / 69.72
开源 (>10B) DeepSeek-VL2-16B 67.68 63.74 37.86 / 41.43 69.23 / 65.38 74.17 / 74.17 67.65 / 52.21 62.16 / 54.05 81.33 / 73.33 64.63 / 59.18 78.49 / 76.89
DeepSeek-VL2-27B 60.00 55.27 40.00 / 35.00 60.26 / 53.85 68.87 / 66.23 52.21 / 48.53 62.16 / 59.46 70.67 / 64.00 53.74 / 46.26 70.12 / 66.14
CogVLM2-19B 57.64 54.88 36.43 / 32.14 53.85 / 47.44 60.93 / 57.62 54.41 / 45.59 67.57 / 54.05 57.33 / 62.67 57.82 / 53.06 68.92 / 72.11
Qwen2.5-VL-32B 75.27 70.44 52.14 / 45.00 71.79 / 67.95 84.11 / 77.48 82.35 / 76.47 70.27 / 72.97 85.33 / 81.33 64.63 / 61.22 84.06 / 79.68
LLaVA-1.6-34B 63.05 58.42 23.57 / 32.14 73.08 / 61.54 72.85 / 68.21 63.97 / 52.94 62.16 / 59.46 72.00 / 68.00 63.95 / 55.78 72.51 / 67.73
InternVL3.5-38B 73.40 66.90 51.43 / 41.43 76.92 / 74.36 82.78 / 70.20 72.06 / 69.12 86.49 / 75.68 81.33 / 78.67 67.35 / 58.50 78.88 / 75.70
Qwen2.5-VL-72B 75.17 71.03 56.43 / 47.86 80.77 / 65.38 84.11 / 81.46 76.47 / 75.00 75.68 / 81.08 76.00 / 78.67 70.07 / 61.22 80.48 / 79.28
闭源前沿 GPT-4.1 76.65 73.89 44.29 / 44.29 82.05 / 80.77 85.43 / 81.46 80.88 / 77.94 81.08 / 70.27 89.33 / 93.33 72.11 / 62.59 83.67 / 82.87
Gemini-2.5 Flash 84.93 80.89 77.14 / 72.14 87.18 / 84.62 92.72 / 88.08 88.97 / 84.56 83.78 / 83.78 94.67 / 93.33 72.11 / 64.63 86.45 / 83.67
Gemini-2.5 Pro 87.00 83.55 85.00 / 83.57 88.46 / 85.90 95.36 / 90.07 88.97 / 87.50 81.08 / 75.68 96.00 / 93.33 72.79 / 65.99 88.05 / 85.26

消融与深度分析实验

1. 解释一致性评分(LLM-as-a-Judge 评测:0-3 分制)

检验模型生成解释与专业文化背景事实的吻合程度:

模型名称 综合解释分 天文 音乐 民俗 建筑 交通 饮食 服饰 器物
LLaVA-1.6-7B 0.85 0.43 0.51 0.94 0.88 1.00 0.69 1.07 1.03
DeepSeek-VL2-27B 1.53 0.94 1.56 1.90 1.44 1.54 1.89 1.37 1.64
InternVL3.5-8B 1.84 1.25 1.69 2.11 1.90 1.51 2.29 1.73 2.01
Qwen2.5-VL-72B 2.14 1.65 2.01 2.42 2.24 2.16 2.36 1.91 2.33
GPT-4.1 2.23 1.22 2.29 2.50 2.39 2.32 2.77 2.12 2.43
Gemini-2.5 Pro 2.60 2.61 2.57 2.83 2.66 2.48 2.74 2.31 2.59

2. 领域感知提示(Domain-aware Prompting)效果对比

检验在提示词中显式提供文化类别标签对模型最终判断的影响:

模型名称 无领域提示 Acc (%) 引入领域提示 Acc (%) 差异 (Δ) 说明
LLaVA-1.6-7B 42.66 43.74 +1.08% 轻度提升,但基准能力依然薄弱
Gemini-2.5 Pro 87.00 87.78 +0.78% 保持微幅高位优化
GPT-4.1 76.65 76.26 -0.39% 变动极小,基本持平
Qwen2.5-VL-72B 75.17 74.68 -0.49% 领域标签未能带来增益
InternVL3.5-8B 69.06 66.50 -2.56% 显式标签引发了局部注意力分散
DeepSeek-VL2-27B 60.00 51.53 -8.47% 产生严重的负迁移与类别先验干扰

关键发现

  • 语言先验显著破除:当移除图像仅让 GPT-4.1 依靠纯文本预测时,其中文准确率断崖式暴跌 53.30%(降至 23.35%,低于随机猜对的 25%),英文准确率暴跌 39.80%(降至 34.09%)。这一极端降幅有力证实了 TCC-Bench 成功消除了题干实体的语言泄漏,模型绝无可能仅凭语言先验蒙对答案,必须真正看懂图像。
  • 闭源前沿与开源梯队的显著分层:闭源模型展现出绝对优势,Gemini-2.5 Pro 取得全场最佳成绩(中文 87.00%、英文 83.55%),甚至在中文上超越了人类平均水平(85.00%)。而在开源阵营中,Qwen2.5-VL 系列表现最为稳健,Qwen2.5-VL-32B(中文 75.27%)与 72B(英文 71.03%)分别领跑开源榜单,但 10B 以下的开源小模型波动剧烈,普遍落后闭源梯队 15% 以上。
  • 子领域难度严重两极分化:所有模型在与现代日常生活联系紧密的民俗(Custom,最高达 95.36%)和饮食(Diet,最高达 96.00%)领域均取得高分,而在历史专业文献专属的天文(Astronomy,如二十八宿、古代浑仪)上全线溃败(开源模型普遍仅 24%~56%,LLaVA-1.6-7B 仅 24.29%)。这反映出预训练语料对历史文献和专业典籍的覆盖极不均衡。
  • 思维链(CoT)的双刃剑效应:CoT 对不同容量模型表现出截然不同的作用:在能力不足的 LLaVA-1.6-7B 上,引入 CoT 反而导致性能由 42.66% 暴跌至 35.37%(-7.29%),产生严重的错误级联;在 Qwen2.5-VL-72B 上带来正向收益(75.17% 升至 77.64%,+2.47%);而在顶尖闭源模型(GPT-4.1 与 Gemini-2.5 Pro)上几乎没有变化(+0.30% 与 -0.69%)。
  • 错误根因分布(基于 Qwen2.5-VL-72B 深度人工归因):文化知识匮乏(Lack of Cultural Knowledge)是第一大败因,占比高达 55.9%(能认出物体形态,但不懂背后的祭祀礼仪或历史用途);细粒度视觉感知错误(Visual Perceptual Error)占比 33.9%(将川剧变脸误判为京剧折扇表演);语境阐释错误(Contextual Interpretation Error)占 8.4%(认出华表却忽略柱身盘龙浮雕导致误选);纯逻辑推理错误(Reasoning Error)仅占 1.8%。

亮点与洞察

  • 纯文本解耦构建机制:在构题阶段坚决禁用多模态 LLM 视觉输入,切断模型对自研视觉特征的偏置对齐;在精修阶段系统消除题干专有名词,使纯文本大模型退化至随机猜测水平(23.35%),为跨模态文化评测确立了严格的反捷径范式。
  • 超越选择题的解释一致性评测:不单看选对字母选项的表层准确率,而是创新性引入 LLM-as-a-Judge 评估模型生成解释与文化真相的契合度,揭示出小模型即使碰巧选对答案也完全无法写出合理文化论证的本质缺陷。
  • 通向跨文化对齐的方法学启示:实验证明简单的 Prompt 工程(如 CoT 或追加领域标签)无法弥补根本性的文化知识缺失,甚至引发负迁移;未来多模态大模型的文化包容性必须从预训练阶段的非西方图文语料配比与高质量多模态指令微调入手。

局限与展望

  • 构建环节的人工成本瓶颈:尽管引入了 GPT-4o 协助构题,但为了严防语言泄漏和确保事实精准,概念提取、解耦精修与双轮盲审仍需大量专家深度介入,阻碍了基准向数万级超大规模的低成本扩展。
  • 历史真实图像的稀缺性与代表性偏差:许多中国传统文化要素(如古代乐舞、古典仪轨、早期建筑)远早于现代摄影术的发明,绝大多数存世图像依赖博物馆文物出土与后人复原图册,图像风格与清晰度存在局限,且少数民族文化与地方特色民俗尚未充分覆盖。
  • 评测形式的局限与拓展:目前基准以四选一闭卷视觉问答为主,缺乏针对复杂开放式文化对话、细粒度视觉定位(Grounding)以及多模态长程文化阐释的评测。未来工作应探索自动化高保真数据生成并扩展开放式评估维度。

相关工作与启发

  • vs MaRVL / CVQA / CultureVQA: 早期多元文化评测追求跨越数十种语言与地域的广度,但涉及中国传统文化时仅停留在表面现代图景或极少数民俗节日;TCC-Bench 专注中华文明五千年沉淀,构建了涵盖衣食住行与天文音律的八大深层知识本体,文化纵深显著超越前人。
  • vs Pun Rebus Art Dataset / CII-Bench: Pun Rebus 局限于古画谐音双关,CII-Bench 偏重传统国画的深层意境感知;TCC-Bench 覆盖了更全面的真实生活、文物器物与物质民俗场景,且通过文本生成与解耦精修建立了严格的反语言先验机制。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出针对中华传统文化的多模态全领域视觉问答基准,首创纯文本生成结合去先验解耦的高质量构建管线。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 15 款主流开源与闭源前沿多模态大模型,并系统开展了纯文本消融、CoT 推理、解释一致性评估与四类细粒度错误归因。
  • 写作质量: ⭐⭐⭐⭐⭐ 论文结构严密,分类体系逻辑清晰,图表规范详实,定性案例分析深入透彻。
  • 价值: ⭐⭐⭐⭐⭐ 强力打破了西方中心主义评估偏置,为开发具备跨文化包容性与非西方深度认知能力的新一代多模态基础模型提供了关键基准。