Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context¶
会议: NeurIPS 2026
arXiv: 2605.13831
代码: https://github.com/zhaowei-wang-nlp/MMProLong
领域: 多模态 VLM
关键词: 多模态大模型, 长上下文扩展, 持续预训练, 长文档视觉问答, 序列长度分布
一句话总结¶
系统探究了视觉语言模型长上下文持续预训练（LongPT）的数据配方与训练策略，提出基于长文档 VQA 的高效扩展方案 MMProLong，仅需 5B token 预算即可将 7B 模型从 32K 稳步扩展至 128K 并外推至 512K。
研究背景与动机¶
随着多模态大语言模型（LVLM）在海量文档理解、超长视频时空建模以及多轮智能体工具调用等长程任务中的广泛应用，将多模态上下文窗口从常规的 32K 拓展至 128K 乃至更长已成为前沿核心诉求。然而，当前开源社区关于多模态长上下文持续预训练（LongPT）的具体实践配方极其缺乏，闭源或新近发布的工业级模型在长文档数据合成细节、长短任务配比、序列长度分布等关键工程选择上均缺乏透明且系统的消融研究。很多近期尝试甚至仅在已经具备 128K 上下文的模型上做后期对齐，未能真正揭示从较短原生窗口稳步扩展至超长上下文的机理。
在多模态长文本数据的构建过程中，研究者普遍面临两大困境：一是如何低成本、高质量地构建长达数十页甚至上百页图文交错的监督信号，避免直接使用全文档生成问答导致幻觉频发与成本爆炸；二是在长上下文训练过程中，模型极易遭遇短上下文基础能力崩塌（灾难性遗忘），以往语言模型经验普遍依赖掺入大量短数据以保全能力，但这又不可避免地摊薄了有限计算预算在长上下文建模上的收益。
面对长上下文数据类型选型、序列长度配比、多任务协同以及长短数据平衡等一系列未知，本文从 150 万份真实多领域 PDF 文档出发，系统对比了长文档视觉问答与全篇 OCR 转录等形式的有效性。核心 idea：通过基于连贯语义片段合成并回填至全文档的长文档 VQA 机制提供密集定位与推理监督，结合兼顾各长度区间的自然分布与 8:2 的检索推理配比，在纯长上下文 5B token 预算下即可有效扩展原生 32K 模型至 128K，并展现出无需外推微调即可泛化至 512K、长视频及压缩任务的稳健能力。
方法详解¶
整体框架¶
MMProLong 探索了一套严谨高效的 LVLM 长上下文持续预训练框架，其核心流程包含「长文档池构建与版面解析」、「片段级问答合成与全文档回填」、「多任务配比与自然长度分布训练」三个阶段。整个流水线首先从 150 万篇真实 PDF 中按版面结构抽取 8–15 页的语义连贯片段，利用专家模型在短视野下高质量生成定位与问答对并回填入 32–50 页（对应 32K–128K token）的原文档构建长样本，随后在 8:2 的信息抽取与推理配比下对基础模型进行持续预训练。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["原始多领域文档池<br/>1.5M PDF / 32-50页筛选"] --> B["版面结构感知解析<br/>OCR专家抽取标题/章节/文本块"]
B --> C["片段级 VQA 合成与回填<br/>短片段提问 + 全文档上下文组装"]
C --> D["池化自然长度分布采样<br/>覆盖 32K-128K 平衡区间"]
D --> E["8:2 抽取与推理任务配比<br/>单页/多页检索 + 数值/逻辑推理"]
E --> F["VeOmni 分布式 LongPT<br/>mRoPE 频基扩展至 4×10⁶ / 5B Token"]关键设计¶
1. 片段级 VQA 合成与全文档回填：低成本且防歧义的长程图文监督生成
直接将数十页的长文档输入大模型生成全局问答存在两大严重弊端：模型在极长上下文下的生成幻觉严重导致问答质量不可控，且处理全量长图文序列的 API 与计算开销极其昂贵。为此，MMProLong 提出「短片段合成、长上下文训练」的反向构建策略。首先利用基于 Seed 2.0 微调的 OCR 专家模型解析文档树状版面，随机采样 8–15 页且包含完整语义章节的局部片段；随后仅将该短片段输入生成模型，要求其生成涵盖单页抽取、多页聚合或定量推理的问答对。为了防止局部成立的提问放回全篇后因多义性变成模糊问题（例如在局部提问“收入是多少”，在整份财报中可能涉及多个部门或年份），流水线强制要求生成提示词包含显式片段锚点约束（如“根据引言部分”或“在第 20–25 页中”）。最终将问答对插入回包含全篇所有图像的长文档中，使模型在必须扫视全篇数十页背景干扰的同时，精确定位并提取特定片段中的关键事实。
2. 池化自然长度分布优于目标长度偏置：长程能力来自连续位置的位置标定
在以往长文本扩展中，直觉往往倾向于在持续预训练时将绝大多数 token 预算集中在目标极限长度（如接近 128K）的样本上以“强化最长距离”。本文系统对比了两种长度分布：一是长偏置分布（83.9% 的训练样本长度集中在 100K–128K 之间），二是池化自然分布（样本长度均匀分布在 32K–128K，仅 23.6% 超过 100K）。实验令人惊讶地证明，包含更多中长序列（32K–100K）的自然采样在 64K 和 128K 评测下全面领先长偏置方案（平均分提升 1.3 到 1.7 个百分点）。这一现象揭示了核心机理：视觉语言模型的长程感知并非只在 128K 端点处涌现的单点离散能力，而是模型在各类绝对位置及图文相对距离下稳定检索关键信息的连续泛化能力；过度聚焦极限长度反而破坏了序列内不同距离梯度的注意力校准。
3. 8:2 抽取为主的配比与纯长文本免短数据退化：突破检索瓶颈与保全基础能力
针对长上下文持续预训练任务混合比例，研究对比了从纯推理（0:10）到纯信息抽取（10:0）的完整梯度。结果显示信息检索定位是多模态长文本的最核心瓶颈，而以单页事实检索与跨页证据聚合为主、辅以适量复杂数值逻辑推理的 8:2 配比取得了最高的全局准确率（57.70%），显著优于单一任务训练。更关键的是，在探索长短数据混合比例时，研究发现与纯文本 LLM 预训练需掺入大量短文本防止崩溃不同，纯长文档 VQA 训练（0% 短数据）即可几乎完整保留基模的短上下文能力（短文本综合得分仅从 66.47 轻微降至 65.48），同时最大化长上下文评测得分。这是由于结构化的长文档 VQA 天然继承了指令遵循格式，模型在适应长程注意力时依然在执行标准的视觉问答认知逻辑。
损失函数 / 训练策略¶
模型基于 Qwen2.5-VL-7B-Instruct 初始化，最大序列长度设为 131,072（128K），总训练计算预算严格限制在 5B tokens（约 2,900 张 NVIDIA H20 GPU 时）。在位置编码方面，采用 Dynamic-NTK 启发式规则，将多模态旋转位置编码（mRoPE）的基础频率从 \(1\times 10^6\) 适度扩展至 \(4\times 10^6\)。使用 VeOmni 分布式训练框架配合 FlashAttention-2，采用 Ulysses 序列并行度 2 与 FSDP 划分度 4 在 64 张 GPU 上并行训练，全局批大小设为 4M tokens（32 条超长序列），使用 AdamW 优化器，学习率从 \(1\times 10^{-5}\) 经 10% 线性预热后按余弦曲线衰减至 \(1\times 10^{-6}\)。
实验关键数据¶
主实验¶
在 MMLongBench 长文档评测集（包含 MMLongBench-Doc、LongDocURL 和 SlideVQA）的标准 64K 与 128K 场景下，MMProLong 相比于原生 Qwen2.5-VL-7B 以及其他开源开源与闭源基线取得了显著提升：
| 模型 | 参数量 | 64K 平均分 | 128K 平均分 | 综合平均分 (AVG.) | 相对增益 |
|---|---|---|---|---|---|
| Qwen2.5-VL-7B (基线) | 7B | 52.24 | 48.94 | 50.59 | 基准 |
| InternVL3-8B | 8B | 50.19 | 44.11 | 47.15 | -3.44 |
| Gemma3-12B | 12B | 48.03 | 47.49 | 47.76 | -2.83 |
| InternVL3-14B | 14B | 50.67 | 44.27 | 47.47 | -3.12 |
| MMProLong (本文) | 7B | 59.56 | 55.84 | 57.70 | +7.11% |
| InternVL3-38B | 38B | 53.11 | 44.66 | 48.88 | -8.82 |
| Qwen2.5-VL-32B | 32B | 60.55 | 56.08 | 58.31 | +0.61 |
| Qwen2.5-VL-72B | 72B | 62.81 | 58.85 | 60.83 | +3.13 |
| GPT-5.4 (闭源) | - | 73.68 | 63.01 | 69.41 | - |
此外，在未进行任何额外微调与适应的情况下，将 128K 训练出的 MMProLong 直接外推至 256K 与 512K 上下文（通过填充负例文档评测），其分别取得 55.09 和 52.52 的平均分，大幅领先原生 Qwen2.5-VL-7B 在 512K 下退化至 19.49 的惨淡表现（综合表现领先超过 25 个百分点）。
消融实验¶
1. 训练任务类别对比（长文档 VQA vs. OCR 转录，5B Token 预算）
| 训练监督任务 | 64K 平均分 | 128K 平均分 | 综合平均分 (AVG.) | 相对基线变化 |
|---|---|---|---|---|
| Qwen2.5-VL-7B (基线) | 52.24 | 48.94 | 50.59 | - |
| extract-single (单页提取) | 56.86 | 54.53 | 55.69 | +5.10 |
| extract-multi (多页聚合) | 58.02 | 55.77 | 56.90 | +6.31 |
| reasoning (多步推理) | 57.33 | 55.62 | 56.47 | +5.88 |
| OCR-full (全篇转录) | 31.24 | 35.11 | 33.17 | -17.42 |
| OCR-needle (指针式转录) | 45.61 | 42.00 | 43.80 | -6.79 |
| OCR-full + 5B SFT | 56.09 | 51.59 | 53.84 | +3.25 |
2. 任务混合比例消融（信息抽取 : 复杂推理，总预算 5B Token）
| 抽取 : 推理 比例 | 64K 平均分 | 128K 平均分 | 综合平均分 (AVG.) | 说明 |
|---|---|---|---|---|
| 0 : 10 (纯推理) | 57.33 | 55.62 | 56.47 | 缺少基础定位监督 |
| 2 : 8 | 58.02 | 54.24 | 56.13 | 检索依然偏弱 |
| 4 : 6 | 56.35 | 55.11 | 55.73 | 平衡过渡态 |
| 6 : 4 | 58.79 | 55.75 | 57.27 | 综合效果明显上升 |
| 8 : 2 (最终选型) | 59.56 | 55.84 | 57.70 | 检索与推理协同最佳点 |
| 10 : 0 (纯抽取) | 57.49 | 56.40 | 56.94 | 缺乏深层推理多样性 |
关键发现¶
- OCR 任务不适合直接作为预训练监督：无问答指引的 OCR 转录任务破坏了模型的问答能力，直接评估时性能暴跌 17.42%；即使后续再追加 5B token 的 SFT 微调，其表现（53.84）仍大幅落后于直接做长文档 VQA 预训练的单一任务模型。
- 检索是长上下文扩展的核心瓶颈：在长短文本与任务混合实验中，强调多页与单页信息定位的抽取任务对提升整体长程能力贡献最大，这也是 8:2 方案超越 5:5 甚至纯推理方案的根本原因。
- 跨模态任务迁移强韧：虽然训练数据全部来自静态长文档，但 MMProLong 在网页图文大海捞针基准 MM-NIAH 上得分从 20.0 跃升至 49.4，并在 Video-MME（67.78 vs 65.10）、MLVU（73.55 vs 70.20）及 LongVideoBench（62.08 vs 60.43）等超长视频理解任务中全面获得无监督泛化提升。
亮点与洞察¶
- 提出局部生成结合显式片段锚点约束的「逆向长数据合成机制」，低成本且高保真地解决了超长图文长程依赖的监督数据匮乏问题。
- 颠覆了“预训练序列越长越好”的直觉认知，明确揭示了平衡的自然长度分布比单向极端长序列具有更强的相对位置泛化能力。
- 证实了指令化长文档 VQA 数据能够在免掺入短样本的前提下保全短文本认知能力，极大提升了 5B token 预算下的训练能效比。
局限与展望¶
- 模型体量受限于 7B/8B 尺度：受限于计算预算，本研究系统的网格消融与探索主要集中在 7B/8B 参数量级，更深更大的模型（如 32B/70B）在多模态长文本下的注意力退化特性仍待验证。
- 评估高度依赖大模型裁判成本高：评测集主要依赖 LLM 裁判针对长文档自由问答进行判分，评估多检查点与极长上下文时 API 开销巨大且评判延迟较高。
- 复杂版面元素合成覆盖有限：目前切片生成虽涵盖文本与图表，但对于超长文档中跨越 10 页以上的多级嵌套交叉引用、超复杂流程图的全局推理挖掘仍可进一步精细化。
相关工作与启发¶
- vs Qwen2.5-VL / Qwen3-VL 官方长文本方案：Qwen 系列主要通过海量混合工业级语料（动辄数十甚至上百 B tokens）与后期高强度 RL 完成扩展；本文证明采用精心设计的 5B token 长文档 VQA 配方，在极小计算预算下即可达到相媲美甚至超越同规模原生模型的长上下文性能。
- vs 纯文本长文本扩展工作（How to Train Long-Context LMs / Fu et al.）：纯文本工作强调必须按一定比例（如 20%–50%）混入短数据以抗衡遗忘；本文发现多模态由于 VQA 天然具备富指令属性，纯长文本训练不会诱发严重的短上下文遗忘，为多模态长上下文训练配方提供了独到结论。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 深入探究了 LVLM 长上下文持续预训练的数据设计空间与长度分布律，结论具有强指导价值。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5B token 下的多组严密网格搜索、消融、极长上下文外推（至 512K）及视频跨任务泛化验证。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑论证层次分明，实验图表详实直观，消融切中核心工程要害。
- 价值: ⭐⭐⭐⭐⭐ 为开源社区低算力成本扩展 LVLM 超长上下文（32K 到 128K+）提供了现成的最佳实践手册。