FineVision: Open Data Is All You Need¶

会议: NeurIPS 2026
arXiv: 2510.17269
代码: https://github.com/huggingface/large-scale-image-deduplication
领域: 多模态大模型
关键词: 多模态数据集、数据清洗去重、基准去污染、GUI动作空间统一、视觉语言模型

一句话总结¶

FineVision 整合并清洗了 200 余个公开多模态数据源，构建包含 2430 万样本、8890 万对话轮次和统一 GUI 动作空间的开源多模态指令微调数据集，并在严格基准去污染后全面超越同规模开源数据混合。

研究背景与动机¶

多模态大语言模型（VLM）的突破高度依赖于模型容量与高质量训练数据的协同扩展。然而，与头部商业机构依赖闭门清洗的数千万级专有训练数据不同，开源学术界长期受困于公共多模态数据集严重碎片化、标注模式不兼容以及潜在测试集污染等问题。此前的开源整合工作如 The Cauldron、Cambrian-7M 和 LLaVA-OneVision 虽然初步聚合了分散数据，但在规模上限、多轮交互规范性、复杂 GUI 智能体动作空间统一以及视觉概念多样性分布上仍显不足。

这一困局的核心矛盾在于：盲目将数百个异构数据源简单拼接，会导致格式混乱、损坏样本蔓延以及测试集严重泄露；而过度依赖黑盒专有 API 生成合成数据又存在版权受限、幻觉传播和领域失衡的缺陷。开源社区迫切需要一套系统化、透明且兼顾严格数据卫生（Data Hygiene）的大规模数据工程范式，在保留各专业领域数据原始监督价值的同时，消除低质噪声与重复偏差。

本文的切入角度是重构全流程的「人机协同自动化清洗」管线：利用自动化脚本与 LLM 智能体处理大规模摄取与统一格式映射，结合人工审核员对标注保真度、多样性与安全性的抽检，辅以基于自监督图像拷贝检测模型（SSCD）的全局去重和面向 66 个下游评测基准的去污染过滤。核心 idea：通过人机协同的清洗与模式归一化管线，将 200 余个异构开源数据源凝练为兼具 24.3M 样本规模、统一动作空间与高概念均衡度的 FineVision，证明仅凭纯开源数据即可匹敌并超越现有复杂闭源/开源数据混合的微调效果。

方法详解¶

整体框架¶

FineVision 的数据构建管线涵盖四个核心阶段：从异构公共平台（Hugging Face Hub、云存储、代码仓及项目主页）摄取原始数据；执行多模态标准化清洗与对话格式转换；基于自监督图像表征计算嵌入并实施源内/跨源去重与下游基准去污染；最后利用本地部署的多模态与纯文本大模型对每轮对话质量进行四维多维评估。

整个流程引入人工复核关卡（Human Checkpoints），包括映射方案审查、转换脚本验收、后处理样本抽检以及 GUI 轨迹可执行性校验，形成闭环质量控制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["200+ 原始异构多模态数据源<br/>(HF Hub / GDrive / GitHub / Web)"] --> B["阶段 1：人机协同对话模式统一<br/>Claude 智能体映射 + 人工校验"]
    B --> C["阶段 2：多模态数据标准化清洗<br/>图像 RGB 转码与截断 + 文本规范化"]
    C --> D["阶段 3：基于 SSCD 的全局去重与去污染<br/>源内去重合并 + 66 个基准零泄漏过滤"]
    D --> E["阶段 4：统一 GUI 动作空间映射<br/>规范化函数签名与归一化屏幕坐标"]
    E --> F["阶段 5：LLM/VLM 四维质量量化评估<br/>格式/相关性/视觉依赖/图文对应度"]
    F --> G["FineVision 最终数据集<br/>(185 个子集 / 24.3M 样本 / 88.9M 轮次)"]

关键设计¶

1. 人机协同的多模式对话统一转换：在保真度与表达多样性之间建立严密桥梁

异构数据源涵盖简单图文对、复杂多页文档、几何推导、视觉定位以及密集 OCR 等迥异的标注格式。为避免单一规则映射导致信息丢失或提示词模板化，设计团队采用 Claude 作为工程代理，按深度标注解析、格式映射策略设计、验证脚本编写和自动化测试四步生成转换器。人工审核员全程介入，审查映射方案并对生成输出进行随机抽查，防止关键监督字段（如推导步骤、证据事实）丢失。

在结构上，所有样本均收敛为标准统一字典： $$\texttt{sample} = \{\texttt{images},\, \texttt{texts},\, \texttt{source},\, \texttt{metadata}\}$$ 其中 $\texttt{texts}$ 严格采用交替的用户与助手角色对话列表。针对不同任务制定了六类转换策略：对于单图多问（如 Visual QA），将同一图像的多个提问聚合成连贯多轮对话；对于文本生成与描述（Captioning），采用随机指令包裹真实标注；对于空间定位（Grounding），将边界框转化为自然语言空间方位描述，同时在元数据中保留归一化坐标 $(c_x, c_y, w, h)$；对于多页文档，保持图像序列与链式推导；对于分类与检测，构建带解释性推理的决策型问答。

2. 工业级多模态数据卫生清洗：消除损坏介质与退化文本

海量开源数据中普遍夹杂损坏图像与畸变文本。图像端采用鲁棒后端进行严格的 I/O 解码检验，直接剔除零字节、解码失败和损坏图像；依据 EXIF 元数据校正图像朝向，全部强制转换为 RGB 通道，并将图像长边尺寸截断至 2048 像素以维持纵横比与计算效率。

文本端推行严格的编码清洗，强制 UTF-8 编码，剥离底层控制字符、不匹配引号与 base64 垃圾数据；合并连字符与重复标点（例如将连续感叹号折叠为单字符），彻底剔除空回复或单字符重复等退化轮次；为确保模型微调时序列打包的数值稳定性，将单轮对话的问答总长度上限设为 8192 个词元（tokens）。

3. 基于自监督拷贝检测的双阶段去重与基准去污染：切断数据泄漏虚高

针对传统哈希算法无法捕获裁剪、轻微旋转和压缩伪影的缺陷，清洗流水线引入自监督拷贝检测模型（SSCD, Self-Supervised Copy Detection）。该模型通过熵正则化约束使得图像在嵌入空间中呈均匀球面积分布，从而保证余弦距离度量的可靠性。

流水线分两阶段进行：在源内去重中，利用 SSCD 嵌入聚类视觉高度相似的图像，对属于同一图像的多个孤立问答合并为多轮交互或统一子集（如将网络上分散的三个 AI2D 变体整合为 $\texttt{ai2d\_merged}$）；在测试集去污染中，对 lmms-eval 工具包覆盖的 66 个权威评测基准的所有测试图像统一提取 SSCD 嵌入，设定极保守的余弦相似度阈值： $$\tau = 0.95$$ 当训练图像与任意测试图像的相似度满足 $\cos(\mathbf{e}_{\text{train}}, \mathbf{e}_{\text{test}}) \ge \tau$ 时即触发告警。统计显示 FineVision 原始污染率仅为 1.02%，显著低于其他同类开源集合（2.15%~3.05%）。

4. 跨平台 GUI 动作空间统一：构建可泛化的端到端智能体表征

针对图形用户界面（GUI）多模态智能体数据在跨桌面操作系统、移动端与浏览器时存在的函数签名分裂、参数命名各异问题，设计了统一函数解析与类型化转换模块。该模块将各异构动作体系（如 OS-Atlas、Aguvis 等）映射为规范化的强类型动作集。

所有交互操作的屏幕坐标均统一转换为以屏幕分辨率为基准的归一化浮点数 $[0, 1]$，从而解除对特定设备硬件分辨率的强耦合。统一动作空间定义了跨平台通用动作（如 $\texttt{click}(x, y)$、$\texttt{type}(\text{text})$、$\texttt{navigate\_back}()$、$\texttt{drag}(\text{from}, \text{to})$）、桌面专属动作（如 $\texttt{move\_mouse}$、$\texttt{double\_click}$、$\texttt{right\_click}$、$\texttt{press}$、$\texttt{scroll}$）、移动端专属动作（如 $\texttt{long\_press}$、$\texttt{swipe}$）以及任务完成动作（$\texttt{final\_answer}$、$\texttt{wait}$），大幅提升了模型在图形界面定位与顺序控制任务上的零样本泛化能力。

5. 视觉多样性谱分析与四维质量刻画：解析数据集概念广度与平衡度

为了克服仅按样本数量评估数据集的盲目性，引入基于 SSCD 协方差矩阵特征谱分析的量化多样性指标。设特征谱归一化本征值为 $p_i = \lambda_i / \sum_j \lambda_j$，通过有效秩（Effective Rank，等价于 Vendi Score）衡量概念广度： $$r_{\text{eff}} = \exp\left(-\sum_i p_i \log p_i\right)$$ 通过参与比（Participation Ratio）衡量特征维度的分布均匀性（概念平衡度）： $$\text{PR} = \frac{\left(\sum_i \lambda_i\right)^2}{\sum_i \lambda_i^2}$$ 同时，利用部署于本地 vLLM 引擎的 Qwen3-32B（评测文本）和 Qwen2.5VL-32B-Instruct（评测多模态）从格式规范性（Formatting）、回答相关性（Relevance）、视觉依赖性（Visual Dependency）和图文对应度（Image-Question Correspondence）四个维度对每轮对话进行 1-5 分的定量审计。

损失函数 / 训练策略¶

模型验证采用 460M 参数量的 SmolVLM 架构（包含 SmolLM2-360M-Instruct 语言主干和 SigLIP2-Base-512 视觉编码器），基于 nanoVLM 框架进行全量微调： - 采用单阶段指令微调协议，总训练步数为 20,000 步； - 有效批处理大小（effective batch size）固定为 512； - 最大序列长度设置为 8192 并进行序列打包（sequence packing），等效于遍历 FineVision 完整数据集超过 1 个 epoch； - 训练硬件为 32 块 NVIDIA H100 GPU，单次端到端训练总耗时约 20 小时；损失函数为标准的自回归因果语言建模交叉熵损失。

实验关键数据¶

主实验¶

在涵盖 11 个主流评测基准（AI2D、ChartQA、DocVQA、InfoVQA、MME、MMMU、ScienceQA、MMStar、OCRBench、TextVQA、SEED-Bench）的评测体系下，对不同开源数据集训练的同架构 460M 模型进行了全面对比：

数据集	图像数 (M)	样本数 (M)	轮次数 (M)	答案词元 (B)	有效秩 ($r_{\text{eff}}$)	参与比 ($\text{PR}$)	11 基准平均准确率 (%)
The Cauldron	2.0	1.8	27.8	0.3	324.05	129.22	38.9
LLaVA-OneVision	2.5	3.9	9.1	1.0	267.89	87.05	35.9
Cambrian-7M	5.4	7.1	12.2	0.8	359.73	152.70	44.6
FineVision (本文)	17.3	24.3	88.9	9.5	359.22	182.52	49.6

在基准去污染前后及 GUI 专项任务（ScreenSpot-Pro 与 ScreenSpot-V2）上的表现进一步印证了 FineVision 的真实泛化优势：

评估维度 / 任务	原始数据集平均分 (%)	去污染后平均分 (%)	性能下降 (pp)	污染样本占比 (%)
The Cauldron	38.9	36.1	-2.8	3.05%
LLaVA-OneVision	35.9	33.2	-2.7	2.15%
Cambrian-7M	44.6	40.9	-3.7	2.29%
FineVision (本文)	49.6	48.0	-1.6	1.02%

消融实验：GUI 智能体基线与微调对比¶

在跨分辨率桌面与移动端 GUI 评测基准 ScreenSpot 上，对比 FV-0.5B 与规模更大的 SmolVLM2 模型在零样本基础能力（Base）及单轮微调（FineTuned）下的表现：

模型架构	参数量	ScreenSpot-Pro (FineTuned)	ScreenSpot-V2 (Base)	ScreenSpot-V2 (FineTuned)
Smol-2B	2.2B	0.07	0.00	0.41
Smol-0.5B	460M	0.01	0.00	0.24
FV-0.5B (FineVision)	460M	0.06	0.20	0.48

关键发现¶

概念平衡度优于单纯数据广度：FineVision 与 Cambrian-7M 在有效秩（359.22 vs 359.73）上几乎相当，表明二者覆盖的视觉概念广度相似；但 FineVision 的参与比高达 182.52（领先 29.82 点），证明其概念分布更加均匀，避免了头部类别的严重长尾偏置，这是其平均准确率大幅领先 Cambrian 5.0 个百分点的关键驱动力。
去污染验证了稳健泛化：基准去污染实验显示，基线数据集因移除测试集重合样本导致性能发生 2.7~3.7 个百分点的剧烈下滑，而 FineVision 仅下降 1.6 个百分点，表明其性能提升源自真实分布学习而非评测集过拟合。
小模型涌现出卓越 GUI 控制能力：在 ScreenSpot-V2 上，基于 FineVision 预训练的 460M 模型在零样本下即可取得 0.20 的动作定位准确率（基线模型均为 0.00），经 1 个 epoch 微调后达到 0.48，全面击败了参数量为其 4 倍以上的 Smol-2B 模型（0.41）。
提示词盲目过滤的反效果：针对 LLM-as-a-judge 四维评分的消融发现，硬性根据评分阈值截断数据集会导致下游多基准性能普遍下滑；保持多样性与原始语义广度比简单丢弃中等评分样本更为有效。

亮点与洞察¶

开源多模态数据规模新标杆：首次将完全透明、遵循源许可的开源多模态指令数据推升至 24.3M 样本与 9.5B 答案词元，为学术界提供了开箱即用的大规模对齐基石。
严谨的双阶段 SSCD 污染审计机制：借助自监督特征空间的各向同性特性，将拷贝识别从简单的哈希比对推进到高阶语义去重与测试集去污染，并向社区开源了去重工具与 66 个基准特征库。
跨平台 GUI 动作空间范式归一：建立涵盖通用、操作系统与移动端多维度的强类型 API 描述标准与归一化坐标系统，打通了不同智能体轨迹数据的联合训练壁垒。

局限与展望¶

长上下文与多图推断覆盖有限：虽然包含了多页文档与图表，但受限于单轮 8192 序列长度，超长上下文与数十张图像的复杂交叉推理数据占比仍然偏低。
缺乏视频多模态数据拓展：当前 185 个子集完全建立在静态图像交互上，尚未覆盖时间维度的连续视频表征与动作反馈。
GUI 评测标准尚未完全标准化：学术界在端到端 GUI 执行控制任务上缺乏标准自动化评测流水线，评测主要依赖离线静态坐标定位。

评分¶

新颖性: ⭐⭐⭐⭐☆ 提出了首个涵盖跨平台统一动作空间、双阶段 SSCD 去重去污染的高质量超大规模开源多模态对齐流水线。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 11 个下游视觉问答与推理基准、去污染前后对比、GUI 专项测试以及精细的多样性谱分析与负面过滤消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，工程细节与经验教训阐述详实透明。
价值: ⭐⭐⭐⭐⭐ 彻底打破了闭源大厂在超大规模高质量 VLM 指令微调数据上的壁垒，全面开源了数据集、特征库与清洗工程工具。