LithoBench: Benchmarking Large Multimodal Models for Remote-Sensing Lithology Interpretation¶

会议: NeurIPS 2026
arXiv: 2605.07640
代码: https://github.com/PRADA-Lab/LithoBench
领域: 遥感
关键词: 遥感岩性解译, 视觉语言大模型, 地质认知评测, 遥感视觉问答, 双模态检索增强

一句话总结¶

针对遥感岩性解译对地质专业认知与证据推理的高门槛需求，提出包含 10,000 个多层次实例的评测基准 LithoBench，揭示主流视觉语言模型在深层地质成因解释与综合推理任务上存在显著短板。

研究背景与动机¶

遥感岩性解译是区域地质调查、矿产资源勘查和地质灾害评估的核心基础。与常规地表自然场景或地类覆盖识别不同，岩性解译高度依赖领域专业认知，需要综合遥感影像的色调、纹理、地貌骨架、水系特征以及地层构造环境来进行综合推断。在实际自然暴露区中，不同岩石类型可能具有极为相似的光谱与微观纹理，而同一种岩性在不同的风化程度、地形起伏、坡向朝向及成像光照条件下又会表现出巨大的表观异质性。这要求解译系统不仅具备精细的视觉表征感知能力，更必须深入理解视觉线索背后的成因与地质学内涵。

近年来，通用视觉语言大模型（LVLM）与遥感多模态模型取得了长足进展，促使学术界探索将其应用于自动化地质解译的潜力。然而，现有遥感多模态基准（如 RSVLM-QA、VRSBench、OmniEarth 等）主要围绕地物覆盖分类、显著目标检测或简单地貌问答展开，评价体系多受限于浅层视觉匹配与词汇重叠度，缺乏能够捕捉深层次岩石成因机制、多维度地质比较与工程实践评价的专业测试基准。通用多模态评测集（如 MMBench、MMMU）亦未能深入地质遥感领域特有的知识层次与物理演化规律，导致模型在面对专业级遥感地学认知时难以开展可信的能力诊断与定向微调。

建立一个高质量的地学遥感多模态基准面临诸多挑战：单纯依赖粗粒度岩相标签容易引入边界混合噪声，自由生成文本缺乏可验证的知识锚点，而随机负样本选项又无法衡量模型细粒度鉴别真伪的能力。本文的核心 idea 是：构建一个融合高分二号多光谱真实影像、结构化地质表征描述与双模态知识库的人机协同半自动基准构建管线，基于修订版布鲁姆认知层级划分出识别描述、对比分析、机理解释、工程应用与综合推理五级阶梯任务，为多模态模型在地学专业领域的认知能力提供标准化且具备诊断性的评测标尺。

方法详解¶

整体框架¶

LithoBench 的构建与评测管线由五个串联阶段构成：遥感影像预处理与清洗、结构化地质描述生成、双模态知识库构建、多层级问答任务生成，以及人机协同质量过滤与正式基准封装。管线首先将我国西北典型裸露区的四景高分二号（GF-2）高分辨率卫星影像及对应野外实测地质图裁剪为标准图块，剔除低质量与混合像元样本，归纳出 12 类具有光学可分性的代表性岩相与地表覆盖。随后引入先进多模态模型，依据地学专家先验提炼出统一的“字段-枚举值-证据短语”结构化地质描述，形成稳定的语义锚点。为支持深层成因与应用推演，系统进一步搭建包含文本切片与图像特征的双模态知识库。基于修订版布鲁姆认知目标分类法，生成涵盖选择题（MCQ）与开放式生成题（OPEN）的五层级问答候选集。最后，通过集成 LLM-as-a-Judge 多维度评分、专家审查修正与动态配额选择机制，优选出 10,000 个高质量基准实例。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["GF-2 高分辨率遥感影像<br/>西北裸露区四景影像 + 地质实测图"] --> B["阶段 1：影像预处理与岩性筛选<br/>224×224 滑窗裁剪，主岩性像元 >80% 过滤"]
    B --> C["阶段 2：结构化地质描述生成<br/>统一 JSON 输出色调/纹理/构造/地貌特征"]
    C --> D["阶段 3：双模态检索增强知识库<br/>BGE 文本专业知识 + CLIP 相似图块检索"]
    D --> E["阶段 4：布鲁姆五级阶梯问答生成<br/>ID / Cmp / Exp / App / Rea 跨层次任务"]
    E --> F["阶段 5：人机协同多维过滤与配额分配<br/>LLM 评分 + 专家终审 + 动态配额约束"]
    F --> G["正式基准 LithoBench<br/>4,000 MCQ + 6,000 OPEN (10,000 实例)"]

关键设计¶

1. 融合野外实测先验的影像预处理与岩性体系整合：解决亚类不可分性与混合边界噪声 野外地质调查与薄片显微镜观察虽能确定精细岩石亚类，但在百米级光学遥感视场下，粗砂岩、中砂岩与细砂岩的光谱反射与宏观纹理极其相近，松散角砾与滚圆卵石在无立体高程辅助下难以稳定区分。若直接套用岩石学微观分类，会导致遥感标注产生严重的人为二义性。为此，研究团队以高分二号 0.8 米全色与 3.2 米多光谱融合影像为基底，结合实测地质图、钻孔岩心记录与专家解译结果，将岩性整合为 12 个具有遥感可分性的代表性类别：砂岩类（AR）、角砾岩（BR）、碳酸盐岩（CR）、砾岩（CG）、碎石（CS）、闪长岩（DI）、辉长岩（GB）、花岗岩（GT）、砾石（GV）、板岩（SL）、土壤（SO）和水体（WA）。在切片处理上，采用 \(224 \times 224\) 非重叠滑窗裁剪，并施加单岩性主导阈值约束：只有当图块内部有效掩膜像元中单一类别占比超过 80% 时方予以保留，坚决剔除无效像元与交界过渡混合带，最终清洗出 112,163 幅高质量纯净地质图块。

2. 结构化地学视觉表征生成与图文质量联合筛选：规避自由表述幻觉并建立稳定语义基准 通用视觉模型生成的图说往往充斥无信息量的泛化词汇，或凭空捏造微观矿物成分。为规范特征表达，团队设计了包含五大专业维度的半结构化 Prompt，强制模型以 JSON 格式输出“字段-枚举值-证据短语”：涵盖色调与明暗偏置（Tone_Color）、颗粒度与均一性（Texture）、层理与块状构造（Pattern_Structure）、冲沟密度与崩塌堆积（Hydro_Geomorph），以及露头连续性与边界清晰度（Spatial_Scale_Cues）。经盲测对比与专家评估，选定 GPT-5.4 作为描述生成引擎。为了从源头过滤不良样本，引入包含影像质量分 \(S_{iq}\) 与描述质量分 \(S_{dq}\) 的双阶段打分机制：

\[S = \alpha \times S_{iq} + (1 - \alpha) \times S_{dq} + \delta\]

其中权重设为 \(\alpha = 0.6\)，优先保障光学影像本身具备清晰纹理与解译判读条件；\(\delta\) 为根据质检建议配置的调节项（保留设为 \(+0.3\)，人工复核设为 \(0\)，丢弃设为 \(-0.5\)）。依据综合得分 \(S\) 截取排名前 50% 的样本，最终保留约 56,000 对高质图文对，作为后续构建高级任务的稳定语义锚点。

3. 双模态外挂知识库构建：支撑深层因果推演并合成强混淆真伪选项 高阶地学推理（如岩石成因机制、力学性质与勘探应用）无法单靠影像像素直接感知，必须引入地层学与岩石物理先验；而多选题若采用随机负样本，模型仅凭颜色差异即可轻松猜对，失去评测区分度。为此，系统设计了文本与图像并行的双模态知识库。文本知识库整合了近五年 1,000 余篇岩石学与遥感地质权威文献，以及 20 余部岩矿光谱专著，切块后经由 BGE-Large-En-v1.5 编码；在生成机理解释与工程应用题目时，检索 Top-3 文本片段注入 Prompt 作为事实支撑，确保答案可溯源。图像知识库则由专家精选 1,200 幅典型标杆图块（12 类各 100 幅），采用 CLIP 计算余弦相似度；在构建选择题时，检索与目标图块在色调纹理上高度近似但属于不同类别的 Top-3 负样本图块合成 \(2 \times 2\) 内部辅助面板，引导大模型提炼出具高度混淆性的专业负样本选项，但最终题目以完全独立的单图形式呈现，彻底杜绝布局线索泄露。

4. 认知阶梯式任务衍生与动态配额优选：平衡知识广度与基准防漏泄 基于修订版布鲁姆认知模型，将解译任务纵向划分为五个渐进层级：识别与描述（ID）、对比分析（Cmp）、机理解释（Exp）、工程应用（App）以及综合推理（Rea）。初始全量生成得到 269,790 道候选题目。为保障评测的严肃性，设计了覆盖问题质量（QQ）、图像关联度（IR）、表述清晰度（CL）、地质合理性（GS）、可回答性（AN）、分析深度（AQ）、整体质量（OQ）及防泄题得分（LLB）的加权评价模型，其中防泄题加分定义为：

\[\text{LLB} = 11 - \text{LeakRisk}\]

针对开放式问题，加权评分公式为：

\[\text{WeightedScore}_{\text{OPEN}} = 0.26 \cdot \text{OQ} + 0.22 \cdot \text{QQ} + 0.18 \cdot \text{IR} + 0.08 \cdot \text{CL} + 0.08 \cdot \text{GS} + 0.08 \cdot \text{AN} + 0.07 \cdot \text{AQ} + 0.03 \cdot \text{LLB}\]

针对多选题，公式相应调整并额外引入负选项干扰质量（DQ，权重 0.07）。初筛后保留各分桶得分最高的 15,000 道题目，交由 18 位地学专家组成的评审组进行抽检核实。随后执行全局影像唯一性去重，并引入基于配额压力的动态调度算法：

\[\text{Pressure}_b = \frac{\text{RemainingQuota}_b}{\text{RemainingAvailableCandidates}_b}\]

优先填补候选资源紧张的类别与题型，最终收敛锁定为 10,000 道标准评测集（五大层级各 2,000 道，含 800 道 MCQ 与 1,200 道 OPEN），平均质量分由候选集的 7.8761 显著提升至 8.2924，标准差收窄至 0.1281。

实验关键数据¶

主实验¶

在统一评估设置（MAX_TOKENS = 1024, TEMPERATURE = 0.0）下，对涵盖开源与闭源的代表性主流多模态大模型进行系统评测，并对 Qwen3.5-9B 与 InternVL3.5-8B-HF 基于严格隔离的训练集（196,348 样本）实施 LoRA 微调（3 个 epoch）。评测指标包含选择题准确率（MCQ）、无裁判词重叠分 \(\text{OPEN}_{\text{w/oJ}}\)（ROUGE-L 与 BLEU-4 线性加权）以及包含 GPT-5.4 评审的综合得分 \(\text{OPEN}_{\text{J}}\)。

模型	ID-MCQ	Cmp-MCQ	Exp-MCQ	App-MCQ	Rea-MCQ	\(\text{MCQ}_{\text{all}}\)	R-L	B-4	\(\text{OPEN}_{\text{w/oJ}}\)	\(\text{OPEN}_{\text{J}}\)
Claude-Sonnet-4.6	0.5625	0.9500	0.6687	0.8250	0.9513	0.7915	0.1360	0.0331	0.9484	2.2868
Grok-4	0.6700	0.8087	0.7050	0.8375	0.7812	0.7605	0.1635	0.0439	1.1564	3.7817
Qwen3.5-27B	0.4313	0.9513	0.8025	0.9337	0.7412	0.7720	0.1246	0.0298	0.8666	2.4861
Kimi-K2.5	0.7588	0.9213	0.8038	0.9063	0.8775	0.8535	0.1775	0.0471	1.2536	3.9174
InternVL3.5-241B-A28B	0.6288	0.9788	0.9875	0.9888	0.9650	0.9098	0.1670	0.0441	1.1784	3.7971
Qwen3.5-397B-A17B	0.6538	0.9988	0.9875	1.0000	0.9988	0.9277	0.1872	0.0545	1.3413	3.9857
GPT-5.4	0.6650	1.0000	0.9875	1.0000	0.9975	0.9300	0.2231	0.0782	1.6512	4.6317
Intern-S1-Pro	0.7038	0.9838	0.9875	0.9975	0.9963	0.9338	0.1706	0.0471	1.2119	3.8786
Gemini-3-Pro	0.7762	0.9900	0.9775	0.9875	0.9775	0.9417	0.1644	0.0427	1.1570	3.6758
GLM-4.6V	0.7625	0.9788	0.9875	0.9988	0.9975	0.9450	0.1697	0.0443	1.1953	3.8868
InternVL3.5-8B-HF (Zero-Shot)	0.5813	0.9950	0.9863	0.9688	0.9275	0.8918	0.1838	0.0425	1.2727	3.6749
Qwen3.5-9B (Zero-Shot)	0.9250	0.9075	0.7663	0.7425	0.8575	0.8398	0.1414	0.0297	0.9671	3.2263
InternVL3.5-8B-HF (LoRA FT)	0.9863	1.0000	0.9400	0.9775	0.9888	0.9785	0.2570	0.1080	1.9740	4.8422
Qwen3.5-9B (LoRA FT)	0.9812	0.9988	0.9712	0.9800	0.9812	0.9825	0.2306	0.0863	1.7288	4.6859

消融与数据过滤统计¶

针对构建流程中专家多维评分过滤机制，对比 240,513 条原始候选集与最终收录的 10,000 条 LithoBench 实例在各子任务上的加权质检得分均值（Mean）与离散度（Std.）：

题型 / 认知子集	原始候选集平均分	原始标准差	过滤后基准平均分	过滤后标准差	质量变化说明
全体样本 (Overall All)	7.8761	0.5016	8.2924	0.1281	均值提升 0.416，方差大幅收敛 74.5%
选择题总体 (Overall MCQ)	7.8912	0.4913	8.2662	0.1401	滤除平庸混淆项，题目区分度显著增强
开放题总体 (Overall OPEN)	7.8660	0.5080	8.3099	0.1162	剔除泛化车轱辘话与幻觉事实
识别与描述 (ID-Level)	7.7910	0.4655	8.2390	0.1886	强化地表关键形态证据与色调一致性
对比分析 (Cmp-Level)	7.7639	0.5377	8.2757	0.0804	重点剔除假性对比与表观无关描述
机理解释 (Exp-Level)	8.0811	0.4437	8.3752	0.0490	知识片段严格对齐物理化学成因机理
工程应用 (App-Level)	7.7023	0.4628	8.1876	0.0751	紧扣工程地质性质与勘查实践规范
综合推理 (Rea-Level)	8.0784	0.4526	8.3847	0.0502	多步证据链条闭环，逻辑跳跃项被清除

关键发现¶

领域监督微调成效显著，小模型可实现跨越式逆袭：在无图像重叠的前提下，仅使用轻量 LoRA 在骨干网络微调 3 轮的 8B/9B 模型，在 \(\text{MCQ}_{\text{all}}\) 上达到 0.9785–0.9825，全面超越未经微调的千亿级开源与闭源旗舰模型（GPT-5.4 0.9300，Gemini-3-Pro 0.9417）。这证明基础 LVLM 具备优秀的视觉基底，但其深层注意力未能聚焦在地质学关键诊断特征上，领域指令微调能够高效激活专业线索映射。
高阶地学认知断层严重：未微调模型在表层感知类任务（如 Cmp、App 中简单判读）上表现较好，但在面对基础岩性绝对识别（ID-MCQ 普遍跌至 0.56–0.76）及深层机理解释时性能急剧滑坡。通用模型常将无层理的均质闪长岩与色调相近的碳酸盐岩混淆，缺乏对微弱线性构造或暗色矿物斑杂特征的判据抓取。
开放式生成的专业表现远低于常规遥感基准：传统遥感图说基准（如 UCM-Captions、RSICD）上 SOTA 模型的 BLEU-4 与 ROUGE-L 常高达 0.6–0.8；而在 LithoBench 的开放式生成任务中，微调后模型的 BLEU-4 仅达到 0.1080，ROUGE-L 仅为 0.2570。表征相似度分析显示主流大模型输出重合度普遍在 0.83–0.93 之间，倾向于使用“色调灰白、质地坚硬”等刻板模板套话，未能形成严密的因果演绎。

亮点与洞察¶

基于视觉检索增强构建高混淆真实负样本：利用 CLIP 编码与相似度检索抽取不同岩相但外观高度趋同的遥感图块作为隐藏负样本，由多模态大模型据此提炼出极具迷惑性的选项。这种设计彻底摆脱了传统基准中随机负样本“一眼假”的弊病，真正考验模型捕捉矿物组分与微地貌细微差异的判别力。
人机协同双模态质量控制管线具备通用借鉴意义：通过先建立受限 JSON 结构化描述、再引入外挂专业文献 RAG、最后施加防泄题与配额平衡动态算法，这套基准生产流程完美契合高专业壁垒、低容错率垂直领域（如冶金、病理、古生物）的自动评测集建设需求。

局限与展望¶

地理与传感器单一性：图像全部源于我国西北裸露区的高分二号光学卫星，缺乏高植被覆盖区、热带潮湿风化区以及雷达（SAR）、高光谱等多源传感器的融合表征，其泛化评测能力仍受地理气候带限制。
岩石学谱系仍属粗粒度：为兼顾光学遥感可分辨性，仅抽象整合了 12 个宽泛分类，未深入涵盖微细岩浆演化相（如超基性岩、流纹岩亚种）及热液蚀变带细分。
评测尺度局限在切片级别：实际地质填图需依赖区域断裂构造、宏观褶皱形态、地层接触关系与多尺度大视场协同分析，单块 \(224 \times 224\) 影像无法完全模拟一线地质专家的全图幅决策过程。未来需探索具备全景大视场感知能力的地学 Agent 智能体评测系统。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立面向遥感岩性专业解译的多层级 VLM 认知基准，创新性地采用双模态检索增强合成高混淆判别项。
实验充分度: ⭐⭐⭐⭐⭐ 评测覆盖 12 款主流开源/闭源顶尖大模型，辅以严谨的独立数据隔离微调，定量指标与定性案例完备。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰规范，方法阐述严密，图表详实且消融对比到位。
价值: ⭐⭐⭐⭐⭐ 为地学大模型研发提供了极具诊断价值的标准化靶场，对推动多模态智能体在矿产勘查与地质调查落地具有重要意义。