跳转至

Same Chart, Different Story: Bias in Vision-Language Chart Interpretation

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/ChartBiasBench/ChartBias
领域: 多模态VLM
关键词: 图表问答与理解, 视觉语言模型, 计数对抗偏置, 算法公平性, 多智能体协同

一句话总结

本文构建了首个针对视觉语言模型(VLM)图表解释的反事实偏置评测基准 ChartBias(覆盖 6 个社会维度与 820 张图表),揭示了叙事偏移、群体幻觉与偏好极性三大普遍失效模式,并提出了将图表证据提取与群体条件生成解耦的多智能体缓解框架。

研究背景与动机

随着多模态大模型在图表摘要、可访问性辅助与数据分析助手等真实场景中深入应用,图表不仅是定量信息的直观载体,更是普通公众理解就业、医疗、移民、犯罪等重大社会议题的核心媒介。然而,当多模态模型充当图表解释者时,其生成的自然语言叙事往往具备极高的说服力与客观性假象;一旦模型对同一张客观图表因为提示词中指涉的社会群体不同而产生截然相反的倾向性解释,就会在客观数据外衣下系统性加剧社会刻板偏见并误导关键决策。

现有针对多模态系统的偏置审计主要局限于通用图文匹配或单一维度的地理经济偏置评测,缺乏针对定量图表理解的系统性公平性基准。图表理解领域长期将评价重心放在事实抽取精度与推理准确率上,完全忽视了在图表本身保持不变、仅改变指涉社会群体时的反事实一致性。现有研究既未系统探究模型在完全缺乏群体线索时的盲目群体归因,也未量化图表所呈现趋势的好坏是否会诱发对特定弱势群体的系统性关联偏见。

面对这一空白,建立严格受控的反事实审计协议成为当务之急:必须确保图表本身不包含任何显式泄露群体属性的视觉线索,使得生成的叙事差异完全可归因于群体标记的替换。核心 idea:构建首个跨 6 大敏感属性的图表反事实偏置基准 ChartBias,通过叙事偏移、群体幻觉与偏好极性三维评测全面诊断 12 款主流 VLM 的社会偏置,并设计图表事实抽取与群体生成解耦的多智能体协同框架实现强基线缓解。

方法详解

整体框架

本文提出的研究体系包含两大部分:一是严格受控的 ChartBias 反事实偏置基准评测管线,二是针对图表解释偏置的解耦型多智能体缓解框架(Multi-Agent Counterfactual Mitigation Framework)。在评测端,输入经过双盲筛选与敏感词裁剪的无群体泄露图表 \(x\) 及提示词模板,针对成对的敏感群体生成成对响应,在叙事偏移、群体幻觉和偏好极性三个任务上展开评测;在防御端,框架将群体盲处理的图表事实抽取与群体视角生成彻底解耦,并通过反事实一致性判别器重写不一致叙事。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图表与群体输入<br/>原始图表 + 敏感群体提示词"] --> B["敏感属性掩码<br/>置换为中性占位符"]
    B --> C["图表证据抽取<br/>生成结构化事实 JSON"]
    C --> D["群体条件成对生成<br/>基于共享事实生成双路叙事"]
    D --> E["反事实一致性判别与重写<br/>立场/语义/情感检验与修正"]
    E --> F["输出无偏图表解释<br/>保留图表证据且消除叙事漂移"]

关键设计

1. 敏感属性掩码:阻断群体先验在图表感知阶段的语义污染

现有 VLM 在处理带有特定社会群体标签(如种族、收入水平)的提示词时,往往在视觉特征编码与初始语义整合阶段就激活了预训练语料中的刻板印象,导致对后续图表趋势的感知被预设立场带偏。针对这一前置污染痛点,敏感属性掩码模块(Masking Agent)在模型介入图表分析之前,执行确定性的字符串解析与置换操作。该模块将用户输入指令中的主群体词替换为中立占位符 [GROUP],将对比群体替换为 [OTHER_GROUP],彻底剥离与特定群体相关的敏感词汇,迫使后续视觉特征抽取仅响应图表本身的视觉结构。

2. 图表证据抽取:基于图表事实构建群体无关的客观证据锚点

如果允许模型直接基于原始提示词进行端到端图表问答,模型极易产生将非群体数据臆想为群体特质的幻觉。为了保证不同群体在解释同一张图表时依赖完全一致的事实基础,图表证据抽取模块(Evidence Agent)接收掩码后的中性指令与原始图表,强制以紧凑规范的 JSON 格式输出客观分析。该模块严格禁止输出任何主观立场或猜测敏感群体,仅提取图表类型、核心坐标轴定义、关键极值点、拐点及主要趋势。通过将图表转化为高保真、结构化的纯事实表征,为后续生成建立了统一且受控的客观真值锚点。

3. 群体条件成对生成:以共享事实为底座的对称视角叙事合成

在获得了客观事实后,如何既让模型针对目标受众/群体提供视角解读,又杜绝因群体词触发刻板印象导致的曲解,是生成的核心难点。群体条件生成模块(Generation Agent)分别针对目标群体 \(g_a^{(1)}\) 与对比反事实群体 \(g_a^{(2)}\) 并行执行受控生成。该阶段严格规定模型仅能消费证据抽取阶段生成的客观事实列表,明确将传入的群体词仅作为解读立场或面向受众的参照标签(framing reference),严禁将群体作为图表中的被测物理主体进行臆测。生成的双路响应在句式结构、证据引用顺序和基础事实表述上保持严格对称。

4. 反事实一致性判别与重写:多维度对齐检验与自适应闭环校准

即便在生成时引入了共享事实约束,LLM 在微妙的情感倾向、语气强调(如将平稳表述为“停滞”对比“稳定”)或因果推论上仍可能产生细微漂移。反事实一致性判别器(Consistency Judge)组合使用程序化规则检验与大模型重写:首先在双路输出中再次掩码群体词,自动计算双向立场一致性(stance agreement)、语义相似度(all-MiniLM-L6-v2 嵌入余弦距离)以及情感得分差(sentiment-difference score)。当任一指标超出一致性容忍阈值(例如余弦不相似度超过 0.10 或立场相反)时,系统自动触发 LLM 重写智能体,以结构化 JSON 对双路文本进行联合对齐,在严格保留图表客观事实的前提下消除不合理的情感极化与定性偏见。

实验关键数据

主实验

论文对 12 款主流开源与闭源前沿多模态大模型在 ChartBias 基准上展开了全面评测(评测样本总计超过 15.5 万条响应)。以下整理了各模型在反事实敏感属性置换下的叙事偏移(Narrative Shift,以平均语义不相似度 Diss. 及不相似度超过 0.10 阈值的比例表示)以及无依据群体归因下的群体幻觉(Group Hallucination)主实验数据。

模型 种族 Diss. ↓ 种族 %>0.1 ↓ 收入 Diss. ↓ 收入 %>0.1 ↓ 宗教 Diss. ↓ 宗教 %>0.1 ↓ 移民弃权率 Abs.(%) ↑
闭源前沿模型
GPT-4o 0.15 73.98 0.15 72.90 0.17 85.29 0.00
GPT-5 0.21 89.59 0.20 86.37 0.22 95.17 1.50
Gemini-3-Flash 0.16 84.97 0.17 87.15 0.22 92.96 0.00
Claude-4-Sonnet 0.02 8.77 0.03 9.82 0.25 86.52 0.00
开源主力模型
Qwen3-VL-2B 0.16 79.60 0.15 71.26 0.18 82.29 0.00
Qwen3-VL-4B 0.14 70.11 0.13 70.00 0.20 82.29 0.00
Qwen3-VL-8B 0.14 69.29 0.13 60.89 0.18 74.25 0.00
Qwen3-VL-32B 0.11 56.92 0.12 61.20 0.14 58.55 0.00
DeepSeek-VL-7B 0.30 89.98 0.29 87.85 0.17 87.55 0.00
DeepSeek-VL-1.3B 0.41 98.94 0.30 91.00 0.21 90.95 0.00
LLaVA-7B 0.22 88.18 0.21 87.56 0.23 89.13 0.00
Llama-3.2-11B-Vision 0.11 54.21 0.12 53.69 0.15 59.93 0.00

消融实验

论文检验了多智能体缓解基线框架及其各个核心组件对降低叙事偏移的有效性,以下为在 GPT-4o 和 Gemini-3-Flash 上的完整流程与消融表现。

配置 种族 Diss. ↓ 种族 %>0.1 ↓ 收入 Diss. ↓ 收入 %>0.1 ↓ 年龄 Diss. ↓ 年龄 %>0.1 ↓ 说明
GPT-4o 原始基线 0.15 73.98 0.15 72.90 0.14 57.10 无干预的直接提示生成
GPT-4o + 多智能体缓解 0.06 16.54 0.05 16.22 0.04 16.67 完整多智能体框架
Gemini-3-Flash 原始基线 0.16 84.97 0.17 87.15 0.08 20.63 无干预的直接提示生成
Gemini-3-Flash + 多智能体缓解 0.04 3.26 0.01 0.68 0.04 3.47 完整多智能体框架
w/o 掩码 (Gemini-3-Flash) 0.08 23.05 0.04 3.93 0.06 26.44 去掉掩码导致事实抽取受偏见污染
w/o 重写判别 (Gemini-3-Flash) 0.09 32.53 0.11 41.50 0.09 33.17 去除一致性判别与反馈重写闭环

关键发现

  • 叙事偏移在开源与闭源大模型中普遍存在:在仅替换群体代词的反事实设定下,绝大多数模型均无法通过 0.10 界限的 TOST 等效性检验。例如,DeepSeek-VL-1.3B 在种族置换下的平均语义不相似度高达 0.41,且高达 98.94% 的生成对显著超过了阈值;即便是最先进的 GPT-5,在种族与收入上的不相似度也分别达到了 0.21 和 0.20。
  • 群体幻觉极其严重,模型几乎丧失中立弃权能力:当面对不包含任何群体线索的客观图表并被询问“该图表属于哪类群体”时,理论上模型应当主动弃权(Abstain)。然而除个别模型极低概率弃权外,绝大多数模型弃权率几乎为 0.00%(例如 LLaVA-7B 将 76.03% 的图表直接归为男性,GPT-4o 将 79.39% 的图表直接判定为公民),盲目迎合二选一偏置。
  • 偏好极性揭示了更深层次的刻板印象:模型的群体幻觉并非随机猜想,而是系统性受图表趋势极性(正向/负向)驱动。以 GPT-4o 为例,在表现良好(Positive)的图表中,选择低收入群体的比例仅为 58.74%,而在恶化(Negative)的图表中,选择低收入群体的比例暴增至 87.01%;相反,在正向图表中被选为白人的比例高达 85.00%,在负向图表中则降至 50.30%。

亮点与洞察

  • 提出首个跨 6 大社会属性的图表反事实评测基准:打破了过去图表理解仅评测算术与定位准确率的局限,首次系统性地通过 820 张严谨去偏图表和 8,638 对反事实生成,度量多模态模型在客观数据解释中的公平性与一致性。
  • 揭示了“客观图表掩盖主观偏见”的全新安全隐患:研究证明多模态模型生成的文字表面上严谨引用了图表数字,实则通过微调定性修饰词(如“实质改善”对比“缺乏进展”)进行隐式偏倚,普通用户极易被其客观图表佐证的外观所蒙骗。
  • 解耦式证据抽取与生成闭环的即插即用缓解范式:提出的多智能体机制无需重训庞大的多模态底座模型,仅通过提示词掩码切断前置偏见传播,并在后置引入基于反事实一致性评分的重写判别,大幅降低了 70% 以上的叙事偏移。

局限与展望

  • 二元群体设定的简化约束:为了降低反事实组合爆炸并使受控对照可行,基准在每个属性上采用了经典的二元对照(如白人/黑人、高收入/低收入),未能完整涵盖复杂的多元交叉身份(Intersectionality)。
  • 英文单语言与西方语境为主:图表来源主要基于 OECD、Statista、VisText 及 Pew Research,数据分布与提示词均基于英语语境,未来需扩展至跨文化与多语言图表场景。
  • 细粒度语义偏见仍未完全消除:消融实验与定性分析表明,尽管多智能体框架成功抚平了大幅度的叙事事实分歧,但在更为隐蔽的语气严厉度、定性强调与情绪暗示层面,模型仍残留难以完全程序化消除的微弱偏见。

相关工作与启发

  • vs VisText (Tang et al., 2023) / Chart-to-Text (Obeid & Hoque, 2020):传统图表转文本数据集专注于图表摘要的信息覆盖率与事实正确性,没有敏感属性标注与反事实对抗控制;ChartBias 是首个引入敏感群体对齐与趋势极性标注的基准。
  • vs Mahbub et al. (2025b):该工作首次关注到了图表生成中的地理经济偏见,但仅局限于单一的国家/经济体维度,且未涉及群体幻觉与极性相关性分析;ChartBias 则系统性扩展到了 6 大敏感属性和 3 种递进的失效模式评测。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次针对 VLM 图表解释提出反事实社会偏置基准与系统的三维失效评测。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 12 款前沿闭源与主流开源模型,累计超过 15.5 万条模型响应,统计检验完备。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰,评测协议与多智能体缓解方案表述明确。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型在敏感社会定量决策、自动报表与新闻解读中的可信部署提供了关键工具与方法借鉴。