MMLongCite: A Benchmark for Evaluating Faithfulness of Long-Context Vision-Language Models¶

会议: NeurIPS 2026
arXiv: 2510.13276
代码: https://github.com/bytedance/MMLongCite
领域: 多模态大模型
关键词: 长上下文多模态、引用生成、忠实度评测、视觉定位、视觉幻觉

一句话总结¶

MMLongCite 是首个针对长上下文多模态大模型（16K~128K tokens）细粒度引用忠实度评测的基准，通过跨 4 大任务体系与高分辨率空间重排测试（MMLongCite-HR），系统揭示了当前 28 个前沿模型在“回答正确率”与“引用忠实度”之间的严重脱节现象。

研究背景与动机¶

长上下文视觉语言模型（LCVLMs）的快速演进使其上下文窗口从数十 K 跃升至数百万 tokens，能够无缝吞吐极长的多页文档、图文交错语料与长视频流。然而，上下文窗口的理论容量并不等价于模型对长程多模态上下文的有效利用能力。现实应用中存在一个致命痛点：当长程输入中的上下文事实与模型内部预训练的参数化知识发生冲突时，模型往往优先盲信自身记忆而忽视长上下文，从而产生看似合理却缺乏事实支撑的多模态幻觉。这导致 LCVLMs 在长程文档审阅、医疗影像会诊以及长时间视频审计等高可靠性场景中的部署面临严峻的信任危机。

为了量化并约束大模型的忠实度，要求模型在生成回答的同时输出可追溯的细粒度引用（Citations）成为最具代表性的方案。然而，现有针对多模态引用与事实忠实度的评估存在三大核心空白：其一是上下文长度严重不足，无法真正压测 LCVLMs 的长文本极限；其二是数据来源单一，大多局限于纯学术论文单模态场景，缺乏自然图像、复杂图文交错及视频序列的多样性；其三是评测任务形态单薄，主要聚焦于简单解释或初级定位，无法全面考察跨模态多跳推理能力与真实长程噪声过滤。

面对上述空白，构建一个覆盖多模态格式、任务由浅入深且上下文具备真实长程复杂度的系统基准显得尤为迫切。本文的核心 idea 是：将长上下文视觉语言理解转化为显式的声明级多模态引用生成任务，构建覆盖 16K 到 128K 上下文、涵盖图像/图文交错/视频三轨 8 大数据集的 MMLongCite 基准，并通过高分辨率空间网格拼图（MMLongCite-HR）与机理层面的注意力归因分析，从根源上诊断 LCVLMs 引用忠实度与回答正确率之间的脱节机制。

方法详解¶

整体框架¶

MMLongCite 的整体评测管线围绕“长程多模态输入构造”、“显式声明级引用生成”与“基于强判别器的忠实度/正确性双重判定”展开。给定多模态长上下文 $\mathcal{D}$（包含文本段、图像或视频帧，每个视觉或文本单元被分配唯一的引用索引 $[i]$）以及用户查询 $\mathcal{Q}$，被测模型需生成由 $n$ 条原子声明组成的回答 $\mathcal{R}=\{s_1, s_2, \dots, s_n\}$，且每条声明附带对应的引用集合 $\mathcal{C}_i=\{c_{i,1}, c_{i,2}, \dots\}$（例如：Water boils at 100°C at sea level [3][5].）。评测管线随后通过留一法判定引用的必要性（Precision）与充分性（Recall），并评估回答的真实正确性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态长上下文输入 D<br/>(16K~128K: 图像/图文/视频)"] --> B["动态长度缩放与噪声注入<br/>按比例截断与 LLM 防碰撞过滤"]
    B --> C["高分辨率网格拼图 MMLongCite-HR<br/>4/16 图拼合空间重组"]
    C --> D["LCVLM 声明级生成<br/>生成回答声明序列与显式索引引用"]
    D --> E["双轴自动化评估系统<br/>GPT-5.2 裁判: 引用质量 + 事实正确性"]
    E --> F["机理归因与错误诊断<br/>注意力 Evidence Recall 与 6 类错误剖析"]

关键设计¶

1. 保持位置偏差与消除语义碰撞的长上下文重采样流水线

针对不同任务的上下文构造，简单的文本/图像随机拼接会引入位置先验扭曲或语义冲突。对于单源长文档（LongDocURL、MMLongBench-Doc），为避免原数据截断过短的问题，本设计回归原始长文档全集，并提出比例对称截断策略。给定目标长度 $L_t$ 与证据长度 $L_e$，通过按原前缀 $L_p$ 和后缀 $L_s$ 的相对比例缩放裁剪边界，严格保留关键证据在文档中的相对位置分布： $$L^{\prime}_{p} = (L_{t}-L_{e}) \times \frac{L_{p}}{L_{p}+L_{s}}, \quad L^{\prime}_{s} = (L_{t}-L_{e}) \times \frac{L_{s}}{L_{p}+L_{s}}$$ 对于多源问答（SlideVQA、2WikiMultiHopQA），必须从外部语料池中抽取大量干扰图像以填充至目标长度。然而外部负样本极易发生“干扰项碰撞”（Distractor Collision）——即负样本中无意包含与事实冲突或可作为替代证据的线索。本设计引入高能力开源模型（Qwen3.5-397B-A17B）作为严格逻辑审查器，逐一比对候选干扰图像与真实答案的一致性，彻底过滤产生歧义的负样本，确保多跳推理证据链的绝对唯一性。

2. 探测空间像素级局部化极限的 MMLongCite-HR 网格重组

现有基准通常将多张图像作为独立的序列 token 输入，模型仅需在 1D 序列维度上索引第几张图。为了进一步测试模型在稠密像素空间中的细粒度空间定位能力，MMLongCite-HR 提出了“网格拼接”（Grid-Stitching）评估：在 Easy 模式下将 4 张图像拼接为 $1\text{K}\sim 2\text{K}$ 分辨率的中图，在 Hard 模式下将 16 张图像拼接为 $2\text{K}\sim 4\text{K}$ 分辨率的大图。该设计在保持视觉特征总分辨率的同时，彻底重构了 Vision Transformer 内部 patch 的空间邻近性，迫使模型在长序列注意力中解耦被拍扁到 1D 序列中距离极远的相邻 patch，评估模型在密集空间信息流中精准定位细粒度子区域并追溯引用索引的能力。

3. 基于留一法充分性与必要性判定的引用质量评估准则

为了严谨量化引用质量，评测体系摒弃了宽松的词匹配，引入基于强模型（GPT-5.2 作为裁判）的蕴含判定体系，分别量化引用召回率（Citation Recall, CR）与引用精确率（Citation Precision, CP）： $$\text{CR} = \frac{1}{|S|}\sum_{s \in S} \mathbb{I}(f_{\text{eval}}(C(s), s) = \text{relevant})$$ $$\text{CP} = \frac{\sum_{s \in S} \sum_{c \in C(s)} \mathbb{I}_{\text{necessary}}(c, s)}{|\mathcal{C}_{\text{total}}|}$$ 其中，$\mathbb{I}_{\text{necessary}}(c, s)$ 成立必须严格同时满足两项条件：全集引用 $C(s)$ 能够逻辑蕴含该声明（$f_{\text{eval}}(C(s), s) = \text{entailment}$），且移除当前单个引用 $c$ 后的子集 $C(s) \setminus \{c\}$ 无法蕴含该声明（$f_{\text{eval}}(C(s) \setminus \{c\}, s) \neq \text{entailment}$）。该留一法判定严格惩罚了堆砌多余引用的过度引用（Over-Citation）行为，最终以二者的调和平均数 $F_1$ 综合度量忠实度。

4. 区分“看见却未用”与“完全未看见”的注意力归因与错误分类学

为深入探究模型失效的底层机理，基准提出了证据注意力召回率指标（Evidence Recall）：提取模型生成回答时与所有上下文图像之间的注意力权重，统计注意力得分最高的前 10 张图像中包含真实支持证据图像的比例。这一设计将模型失效精准解耦为“看见证据但未正确利用”（Failure to Use，注意力高但回答或引用错误）与“完全未检索到证据”（Failure to See，注意力低）。在此基础上，团队建立了包含 6 种明确类型的错误分类学（Comprehension Failure, Joint Failure, Citation Hallucination, Over-Citation, Citation Omission, Format Error），为长上下文模型的错误诊断提供了细粒度分析工具。

损失函数 / 训练策略¶

MMLongCite 作为纯评估基准，本身不涉及特定训练损失的优化；但在基准对 28 个模型的评测中，对模型推理范式进行了系统控制： 1. 推理模式对比：测试覆盖了传统直接输出（Non-thinking）与显式思维链（Thinking/CoT）两种模式，探究长推理时间对引用忠实度的影响。 2. 提示词规范：在输入端约束模型每条回答语句最多附带 3 个索引引用，强制采用方括号编号格式 [i]，并在系统 Prompt 中明确定义跨图像/图文/视频的统一引用遵循规范。

实验关键数据¶

主实验¶

在 28 个前沿 LCVLMs（涵盖闭源领先模型如 Gemini-3 系列、Seed-2.0 系列，以及开源 Qwen2.5-VL、Qwen3-VL、Qwen3.5、MiMo-VL、GLM-4.6V 等）上的全量评测显示，闭源顶尖模型在长上下文引用忠实度上显著优于开源模型，且回答正确率与引用质量之间存在显著脱节。

模型类型 / 代表模型	单源问答 F1 / Cor	多源问答 F1 / Cor	视觉定位 F1 / Cor	视频理解 F1 / Cor
Gemini-3-Pro (think)	83.36 / 80.86	84.02 / 85.85	75.07 / 87.28	71.75 / 85.31
Gemini-3-Flash (think)	81.06 / 82.73	87.22 / 85.40	81.32 / 84.52	71.74 / 84.69
Seed-2.0-Pro	70.57 / 73.67	76.56 / 78.71	- / -	54.63 / 82.87
Seed-1.6	62.86 / 63.67	75.89 / 78.00	71.29 / 72.84	64.79 / 80.16
Qwen3.5-122B-A10B	71.33 / 71.95	80.51 / 78.26	67.36 / 75.45	56.87 / 80.16
Qwen3-VL-235B-A22B-Ins	65.98 / 68.36	75.78 / 74.55	65.34 / 66.33	63.84 / 80.62
Qwen3-VL-30B-A3B-Ins	59.47 / 60.47	68.91 / 67.65	48.15 / 73.33	49.92 / 76.41
Qwen2.5-VL-72B-Ins	56.31 / 59.92	59.77 / 60.37	49.07 / 61.81	56.03 / 72.97
Qwen2.5-VL-7B-Ins	28.63 / 46.09	33.10 / 52.59	17.92 / 51.23	38.89 / 68.44
Qwen2.5-VL-3B-Ins	5.91 / 35.23	9.86 / 40.17	3.93 / 43.02	22.50 / 66.25
GLM-4.6V (think)	58.99 / 70.94	68.19 / 75.36	51.54 / 80.12	53.42 / 78.28
MiMo-VL-7B-RL (think)	39.20 / 61.64	48.57 / 67.83	44.29 / 55.95	28.60 / 73.44

高分辨率空间重排消融实验（MMLongCite-HR）¶

MMLongCite-HR 评估了模型在密集网格拼图（Easy: 4 图拼接；Hard: 16 图拼接）下的空间鲁棒性，以下选取代表模型在 LongDocURL 与 2WikiMultiHopQA 上的表现进行对比：

模型	LongDocURL 原始 F1 / Cor	LongDocURL Easy F1 / Cor	LongDocURL Hard F1 / Cor	2Wiki 原始 F1 / Cor	2Wiki Easy F1 / Cor	2Wiki Hard F1 / Cor
Gemini-3-Pro	87.07 / 85.78	84.68 / 85.31	63.78 / 70.31	76.68 / 83.12	78.17 / 83.75	76.77 / 85.47
Qwen3-VL-30B-A3B-Ins	57.44 / 63.12	26.41 / 59.53	30.41 / 55.00	59.36 / 61.72	19.04 / 54.84	33.78 / 56.09
Qwen2.5-VL-72B-Ins	56.87 / 65.00	33.72 / 61.25	20.70 / 54.84	42.20 / 42.34	20.41 / 40.00	20.39 / 36.41
Qwen2.5-VL-7B-Ins	25.69 / 49.06	15.19 / 50.00	12.81 / 45.62	21.18 / 41.25	11.25 / 38.44	13.22 / 38.91

关键发现¶

正确率与忠实度的严重脱节（Decoupling Phenomenon）：在小参数量模型（$\le 7\text{B}$）中尤为突出。例如 Qwen2.5-VL-7B 在 Visual Grounding 上的正确率达到 51.23，但引用 $F_1$ 仅有 17.92。模型倾向于根据内部参数化知识产生幻觉性答案，并虚构错误引用，证明单一正确率指标完全无法衡量长上下文视觉模型的可靠性。
CoT 思维链是一把“双刃剑”：开启 thinking 模式（如 MiMo-VL-7B-RL、Kimi-VL-A3B）显著提升了答案正确率与引用精确率（CP），但往往导致引用召回率（CR）骤降，促使模型采取过于保守的引用策略，遗漏大量必要的证据项；仅有 GLM-4.6V (think) 凭借其特定数据配方在 precision 和 recall 上实现了双向提升。
空间拼图导致定位崩溃：网格拼图将图像从序列排布转为密集空间排布，打乱了 ViT patch 的一维局部邻近性。开源模型（如 Qwen2.5-VL-72B 在 2WikiMultiHopQA 上 Hard F1 暴跌至 20.39）面对空间纠缠极为脆弱，而 Gemini-3-Pro 展现出极强的空间解耦鲁棒性（Hard F1 保持在 76.77）。
错误瓶颈从“定位失败”向“理解失败”转移：根据对 120 个典型失效案例的深入剖析，7B 模型的错误主要集中在联合失败（Joint Failure, 20.0%）与引用幻觉（17.5%）；而参数量提升至 72B 后，这两项错误大幅压低，但理解失败（Comprehension Failure，即准确定位了正确证据索引，却无法从中推理出正确答案）的占比从 48.3% 飙升至 77.5%，表明大模型长上下文的核心瓶颈已转向细粒度跨模态推理。

亮点与洞察¶

多模态长文本评测范式的重构：将文本领域的 LongCite 思想成功推进到由纯图像文档、自然图像、图文交错和视频构成的全模态混合长上下文，提供了真正覆盖 128K token 实测的开源基准。
MMLongCite-HR 揭示了 ViT 在密集空间中的注意力盲区：通过简单的 4 图与 16 图网格平铺，在总 token 数不变的情况下，成功压测出大模型对二维空间布局变化的高度脆弱性，为下一代统一空间编码提供了清晰的评测靶标。
机理层面验证了“看见却未用”（Failure to Use）瓶颈：通过注意力归因分析证明，开源模型在相当多失败案例中其实对关键证据图像分配了极高的注意力，但下游解码器依然无法提取事实，打破了“长上下文差仅因检索能力弱”的单一认知。

局限与展望¶

依赖 LLM 裁判的潜在偏置：尽管人类专家评估显示 GPT-5.2 与三名人类标注者的一致性高达 0.90+（Krippendorff's $\alpha > 0.83$），但 LLM-as-a-judge 依然可能对某些微小图文细节带来系统性评估偏差。
每个长度区间的样本容量有限：受限于高质量多模态标注的获取成本，长视频等任务每个长度区间的样本数较少（如每个视频数据集每个区间 40 篇），统计分布代表性仍有提升空间。
未来方向：作者团队规划在 MMLongCite v2 中从头构建更大规模的真实世界长视听场景数据集，并拓展到更加自然的高分辨率拍摄场景而非人工网格拼接。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首个系统化评测长上下文多模态大模型引用忠实度的基准，提出创新性的 MMLongCite-HR 网格空间重排测试。
实验充分度: ⭐⭐⭐⭐⭐ 评测了 28 个前沿闭源与开源 LCVLMs，覆盖 16K~128K 四大长度区间，包含细粒度注意力归因与专家人类评估。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严密，问题定义明确，图表数据详实扎实。
价值: ⭐⭐⭐⭐⭐ 为推动可靠、可解释且减少幻觉的下一代视觉语言长上下文模型提供了至关重要的诊断工具。