VistaQA: Benchmarking Joint Visual Question Answering and Pixel-Level Evidence¶

会议: NeurIPS 2026
arXiv: 2605.20676
OpenReview: https://openreview.net/forum?id=26ADcnvSjf
代码: https://vistaqa.github.io
领域: 多模态 VLM
关键词: 多模态大模型, 视觉问答, 细粒度定位, 联合评测, 视觉幻觉

一句话总结¶

提出了联合评测自由格式文本答案正确性与像素级支撑证据分割掩码的基准 VistaQA，并设计非补偿性几何平均联合指标 Grove，揭示了前沿多模态大模型在推理与视觉证据对齐上的显著鸿沟。

研究背景与动机¶

多模态大语言模型在视觉问答、图像描述与复杂组合推理任务中取得了飞速进展，然而现有的标准评测基准普遍仅依赖文本生成的表面正确性来判定模型能力。这种单一维度的评测机制隐藏着严重的可靠性隐患：模型完全可以凭借强大的语言先验猜中答案，但其注意力和推理所依据的视觉区域可能与问题毫无关联，甚至在视觉特征出现矛盾时产生看似合理却违背事实的幻觉输出。而在自动驾驶、具身机器人等高风险真实物理场景中，系统不仅需要输出正确的判断，更必须提供精确的视觉像素级物理证据来证明其决策依据，否则无法建立可解释性与部署信任。

现有解决定位与问答结合的尝试呈现出明显的技术割裂。一方面，推理分割模型具备强大的像素级定位能力，却无法生成开放式的连贯自然语言解答；另一方面，通用前沿 MLLM 具备高超的复杂语义推理能力，但原生缺乏精确的像素级视觉证据输出接口。尽管部分工作尝试将目标检测框或指代分割与问答结合，但它们要么仅将定位作为被提及物体的辅助指代标签而非支撑因果推断的视觉证据，要么在评测时将文本准确率与掩码分割质量完全割裂开独立计算平均分。这种解耦评测方式允许模型在文本和视觉两端相互补偿，掩盖了模型在同一个样本上“说对了但看错了”或“看对了但推断错了”的模态割裂问题，并且绝大多数已有基准忽视了实体不存在时的反事实与幻觉场景。

针对这一核心断层，本文的目标是建立一套强制要求答案正确性与像素级证据紧密绑定的统一评测标准。核心 idea：构建包含多样化任务与领域的全人工校验评测集 VistaQA，并提出基于下界平滑几何平均的联合评测指标 Grove，强制要求模型在同一个样本上必须同时答对文本并精确给出支撑该答案的分割证据，杜绝单模态补偿。

方法详解¶

整体框架¶

VistaQA 围绕“答案与像素级证据联合评测”的设定展开，包含高质量基准数据集构建与 Grove 联合评估指标两大核心体系。整体评测流程接收模型针对输入图像与开放式问题的两组输出：自由格式文本回答以及对应的像素级证据分割掩码集合（当模型判定实体不存在或问题不可回答时输出空掩码集合）。系统通过评测流水线分别计算语义文本正确度与二分图匹配掩码保真度，并通过下界平滑后的几何平均聚合为单样本联合得分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与问答提示"] --> B["评测基准构建<br/>跨领域图像采集+专家精细掩码标注+对抗问答构建"]
    B --> C["模型联合预测<br/>输出自由格式文本回答与像素证据掩码集合"]
    C --> D["语义判别器评分<br/>Qwen2.5-14B语义判定文本正确性 Sa"]
    C --> E["匈牙利二分匹配掩码评分<br/>多实例IoU匹配与空集幻觉惩罚 Sm"]
    D --> F["Grove联合指标度量<br/>epsilon下界平滑与逐样本几何平均聚合"]
    E --> F
    F --> G["最终基准评测报告<br/>跨任务跨领域无补偿联合表现"]

关键设计¶

1. 跨六大任务与六大领域的对抗性质检数据构建流水线 为克服自动化大模型构建复杂三元组（图像-问题-掩码）时频发的掩码粗糙与幻觉问答错误，VistaQA 采用严格的人机协作与多轮独立交叉质检流程。数据集覆盖识别、属性、OCR、空间关系、计数与比较共 6 类认知任务，横跨室内、室外、自动驾驶、机器人操作、科学图表及数学几何共 6 大物理与符号场景，总计 1,157 个精选样本。其中包含 314 个（约 27.1%）显式设计的反事实与实体缺失负样本（Hallucination-aware samples）。在标注流程中，对于 SA-1B 和数学合成图像直接利用原生或代码生成的绝对精确标注，而自动驾驶与科学图像等复杂场景则由标注人员在 SAM3 候选基础上精细人工重绘，确保复杂亚结构或多实例遮挡下的证据边界无瑕疵。

2. 涵盖空实例与多实例的二分匹配掩码保真度评分 为了在统一公式下公平评测包含单实例、多实例乃至目标不存在时的视觉证据定位质量，本文基于匈牙利算法构建了掩码评分机制 $S_m(P, G)$。对于预测掩码集合 $P$ 与真实掩码集合 $G$： $$S_{m}(P,G)=\begin{cases}1&\text{若 }G=\emptyset\wedge P=\emptyset\\0&\text{若 }G=\emptyset\wedge P\neq\emptyset\\\dfrac{1}{\max(|P|,|G|)}\displaystyle\sum_{(p,g)\in\mathcal{B}}\text{IoU}(p,g)&\text{其他情况}\end{cases}$$ 其中 $\mathcal{B}$ 表示集合 $P$ 与 $G$ 之间通过匹配算法获得的最佳二分图匹配对。当真实证据为空且模型正确抑制输出时赋予满分 1 分；若模型发生虚假分割幻觉则判 0 分；在常规样本中，通过除以最大集合基数 $\max(|P|, |G|)$ 同时严厉惩罚漏检与虚警预测。

3. 平滑下界几何平均联合评测指标 Grove 传统的单模态相加或独立平均指标无法约束模型在同一试题上的双模态一致性，而直接相乘（$S_a \times S_m$）又会导致文本答错时有价值的高质量定位信号完全归零坍缩。Grove 指标首先引入语义判别器（采用经人类一致性验证的 Qwen2.5-14B 判定语义正误，输出二值 $S_a \in \{0, 1\}$），随后对文本分 $S_a$ 与掩码分 $S_m$ 施加平滑下界 $\epsilon = 0.1$： $$S_a' = \max(S_a, \epsilon), \quad S_m' = \max(S_m, \epsilon)$$ 每个样本的联合得分 $\mathcal{S}$ 通过几何平均计算，最终数据集 Grove 为全样本平均： $$\mathcal{S} = \sqrt{S_a' \cdot S_m'}, \qquad \text{Grove} = \frac{1}{N}\sum_{i=1}^{N}\mathcal{S}_{i}$$ 几何平均的核心数学性质在于强力惩罚双轴失衡：若某一维度彻底失效（如 $S_a=0$），即便掩码达到理论上限 1.0，单样本得分也仅有 $\sqrt{0.1 \times 1.0} \approx 0.316$；同时保留了区分部分定位能力的动态区分度，彻底杜绝单模态补偿。

实验关键数据¶

主实验¶

在 4 块 RTX 4090 环境下，评测对比了专用推理分割模型（如 LISA、UniPixel、Sa2VA、VRT-RL 等）以及前沿通用 MLLM 与 SAM3 级联的混合推理系统。实验同时汇报了文本准确率（$\mathcal{T}$）、整体掩码 mIoU（$\mathcal{M}$）与联合评测指标 Grove。

模型	类型	识别 (Ident.)	属性 (Attr.)	OCR	空间 (Spatial)	计数 (Count)	比较 (Comp.)	文本 $\mathcal{T}$	掩码 $\mathcal{M}$	联合 Grove
LISA-7B	专用分割	15.16	16.92	12.44	15.29	16.56	16.23	7.26	17.81	15.47
SESAME-7B	专用分割	17.90	17.14	13.62	18.48	17.60	16.90	3.20	23.67	17.02
GLaMM-7B	专用分割	14.86	12.89	12.34	14.19	11.84	14.70	1.38	14.69	13.53
UniPixel-7B	专用分割	22.24	28.29	22.19	19.90	15.36	26.34	21.26	20.43	22.39
Sa2VA-8B	专用分割	26.79	30.44	25.36	22.87	20.46	28.36	29.04	21.01	25.74
VRT-RL	专用分割	34.92	28.74	27.43	24.44	29.94	28.01	36.30	24.25	29.02
TreeVGR-7B	专用分割	18.28	18.55	16.42	17.90	20.25	22.65	16.08	19.66	19.03
Qwen3-VL-4B-I + SAM3	混合流水线	50.36	47.46	40.96	36.32	45.52	38.43	53.15	39.91	43.30
Qwen3-VL-32B-I + SAM3	混合流水线	48.41	46.37	42.14	35.91	45.72	37.41	57.65	36.02	42.72
Gemini 3 + SAM3	混合流水线	43.10	40.11	42.55	33.53	42.81	35.84	62.32	34.99	39.63
GPT-5.4 + SAM3	混合流水线	48.22	40.43	41.33	35.62	47.06	35.86	53.50	39.26	41.50
GPT-5.4-T + SAM3	混合流水线	53.62	44.73	44.16	38.86	52.21	38.93	61.02	41.98	45.53

消融与分析实验：评测裁判一致性与平滑下界敏感度¶

为了验证评测框架中 Qwen2.5-14B 作为语义正确性裁判模型的客观性，以及平滑参数 $\epsilon$ 对模型排名的稳定性影响，论文进行了针对性评估。

评估配置 / 裁判基准	准确率 (Acc.)	Cohen's $\kappa$	$F_1$ 值	说明
纯字符串精确匹配 (Exact Match)	0.520	0.000	0.000	词汇刚性匹配，无法处理开放式表达与同义替换
Qwen2.5-14B (本文默认裁判)	0.920	0.840	0.921	与人类裁决高度一致，显著兼顾高精度与计算成本
GPT-5.4 (前沿裁判对照)	0.932	0.864	0.931	与人工裁决一致性略高，但与 Qwen 表现非常接近

平滑参数设定	总体排名相关系数 (Spearman $\rho$)	任务层级相关系数 ($\rho$)	领域层级相关系数 ($\rho$)	判别度与敏感性特征
$\epsilon = 0.01$	1.000	$\ge 0.971$	$\ge 0.974$	对单模态失效惩罚极端，部分掩码信号有压缩风险
$\epsilon = 0.05$	1.000	$\ge 0.986$	$\ge 0.975$	排名严格单调保持，中间过渡区间良好
$\epsilon = 0.10$ (本文最终推荐)	1.000	1.000 (基准)	1.000 (基准)	区分度最大化，同时对单轴归零保留充足惩罚力度

关键发现¶

显著的模态脱节（Modality Gap）：即便综合性能最佳的推理级联系统 GPT-5.4-T + SAM3，其联合 Grove 指标也仅达到 45.53%，暴露出前沿大模型虽然能生成流畅答案，但在提供支撑该答案的精确像素证据上存在严重缺陷。
孤立评测指标的误导性：通用 MLLM 在文本单项上可达 60% 以上准确率，部分分割模型掩码 mIoU 亦可观，但跨样本交叉显示“答对问题的样本”与“分割精准的样本”频繁错位。
数学与符号空间是重灾区：各模型在数学几何领域（Math）的 Grove 得分普遍跌破 30，证明将高度抽象的符号几何命题与图表中的细粒度像素线索建立物理映射依然是当前多模态模型的最大短板。
多实例与计数能力退化明显：随着场景内相关物体数目增多（如计数任务），几乎所有专用分割模型（UniPixel、Sa2VA）的掩码表现剧烈下跌超过 20 个点，仅大体量通用模型与 SAM3 级联能够凭借多步复杂推理勉强维持稳定。

亮点与洞察¶

创新性地引入了抗单模态补偿的几何平均平滑指标 Grove，有效化解了乘积归零坍缩与加权平均掩盖单轴缺陷的两难困境。
首次系统化建立了覆盖 6 大垂直领域并包含约 27% 负例幻觉诱导样本的联合证据评测基准 VistaQA，填补了开放式问答与像素级支撑证据对齐评估的空白。
明确区分了“指代定位（Referring）”与“证据支撑（Evidence Grounding）”的本质差异，推动学术界从关注模型“说了什么”转向检验模型“凭什么这么说”。

局限与展望¶

局限于单张静态 2D 图像评测，未涵盖具有时序因果的视频连续推理及多视角具身时空证据对齐。
由于基准要求构建严格的高质量三元组，全流程对高成本的人工重绘掩码与交叉质检依赖极高，导致整体样本规模受限在 1,157 条。
未来方向可探索通过强化学习将 Grove 作为密集奖励函数（Reward Signal），直接对齐多模态模型的生成推理链条与像素注意力激活图。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出多模态开放式问答与像素级支撑证据的联合非补偿评测范式。
实验充分度: ⭐⭐⭐⭐⭐ 详尽覆盖 14 种主流模型体系，对平滑参数敏感度、判别器一致性及多实例衰减均有严谨分析。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰紧凑，动机阐述发人深省，数学形式化表达干练自洽。
价值: ⭐⭐⭐⭐⭐ 为解决多模态大模型的虚假推理与视觉幻觉提供了极其关键的硬核度量标尺。

平滑参数设定	总体排名相关系数 (Spearman \(\rho\))	任务层级相关系数 (\(\rho\))	领域层级相关系数 (\(\rho\))	判别度与敏感性特征
\(\epsilon = 0.01\)	1.000	\(\ge 0.971\)	\(\ge 0.974\)	对单模态失效惩罚极端，部分掩码信号有压缩风险
\(\epsilon = 0.05\)	1.000	\(\ge 0.986\)	\(\ge 0.975\)	排名严格单调保持，中间过渡区间良好
\(\epsilon = 0.10\) (本文最终推荐)	1.000	1.000 (基准)	1.000 (基准)	区分度最大化，同时对单轴归零保留充足惩罚力度