跳转至

Probing Commonsense Reasoning in Vision-Language Models

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/xx19/ObSchema
领域: 多模态VLM
关键词: 实体属性模式归纳, 观察到模式架构, 科学文献抽取, 属性条件解耦, 价值感知合并

一句话总结

针对科学文献中实体属性严重分散、表达异构且与实验测量条件深度绑定的瓶颈,ObSchema 提出了从局部观察到全局模式的分批归纳框架,通过解耦抽取属性-条件元组、双信号证据累积晋升与自适应层次精炼,实现了紧凑且高保真的科学实体属性层次模式构建。

研究背景与动机

科学文献蕴藏着海量高价值、细粒度的实体属性与物理测量知识,是驱动科学检索、跨学科假设推理及自动化科学发现的核心燃料。然而,这些关键属性知识在现实文献中高度分散、术语指代极度异构,并且与特定实验协议、测量温度、充放电倍率等上下文条件紧密耦合。传统的信息抽取范式主要依赖闭模式抽取,要求预先定义固定的属性词表;但科学实体类型所涵盖的研究维度过于广阔且动态演进,狭窄的预设词表极易遗漏高价值长尾属性,而宽泛的词表又会引入大量与具体子研究无关的稀疏噪声。

为此,开放式模式抽取通过大语言模型直接从自由文本中生成属性名称,试图打破固定词表的束缚。然而,开放抽取生成的属性集合往往缺乏跨文档的一致性,甚至常常将实验测量条件机械吸收进复合标签中。例如在电池领域,同一段落中可能并存“容量”、“比容量”、“0.5C放电容量”与“300圈后容量保持率”等表述;这些概念彼此关联却物理意义迥异,直接平铺会造成模式碎片化与严重的信息混淆。更关键的是,通用概念分类往往仅依靠语义向量相似度即可聚类,但在科学领域中,“容量”(如150 mAh)与“比容量”(如170 mAh/g)表面语义高度相近,其物理本质却因归一化基准(绝对量 vs. 质量归一化)的不同而存在根本差异,单纯的文本语义匹配必然导致错误合并。

本文切入的角度是:摆脱预先枚举全域属性或被动接受混乱开放词表的两难困境,直接让模型从科学语料库的局部事实观察中动态归纳出实体类型的全局属性模式。该模式不追求穷尽所有偶然提及的属性,而是旨在沉淀语料中可复用、具有类型级共性的核心属性空间,将复杂的测量条件剥离为独立维度,并组织为层次清晰的科学本体。核心 idea:提出观察到模式(Observation-to-Schema)的增量归纳框架 ObSchema,先将段落事实抽取为属性-条件显式解耦的 n 元观察元组,再通过跨文档流行度与类别局部显著度的双信号几何平均实施证据门控晋升,最后借助数值与单位感知的保守合并及自适应分组构建紧凑连贯的科学实体属性树。

方法详解

整体框架

ObSchema 接收目标实体类型(如电池电芯或地质样本)、少量人工给定的顶层粗粒度类别(如电池性能、电池配置)以及按批次到达的无标注科学文献段落。框架采用分批流式演进机制,由三个紧密咬合的阶段构成:首先在观察抽取阶段,以当前已有模式作为软提示指引,将段落中的实体属性陈述解析为解耦了实验条件的 \(n\) 元观察记录;随后在属性组织与晋升阶段,对候选属性进行轻量表面去噪并基于两阶段门控路由分类至层次树中,仅当跨文档与实体的证据得分达到置信阈值时才将其从未决候选池正式晋升入活动模式;最后在模式精炼阶段,结合属性的数值分布、物理单位与科学定义执行保守去重,并引入自适应分组机制自动诱导中间科学维度,生成紧凑优雅的树状模式。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["科学文献段落批次 Bt<br/>当前模式 St-1 作为软提示"] --> B["解耦观察元组抽取<br/>提取实体、属性、数值、定义及实验条件集"]
    B --> C["双信号证据门控晋升<br/>计算跨文档流行度与类别相对显著度几何均值"]
    C -->|证据分 s(a) >= 0.15| D["数值感知保守合并<br/>基于数值范围、物理单位与科学定义校验语义等价性"]
    C -->|证据不足| P["未决候选池<br/>跨批次持续累积证据支撑"]
    D --> E["自适应层次维度分组<br/>LLM诱导科学维度并重构中间父节点"]
    E --> F["输出紧凑实体属性模式树 St"]

关键设计

1. 解耦观察元组抽取:彻底分离属性实体与实验测量条件 传统开放抽取最大的痛点在于容易将实验条件(如环境温度、循环次数、测试速率)与属性名词粘连,生成类似于 coulombic_efficiency_at_high_temperature 或 capacity_at_0.5C 这种高度特化的复合标签,破坏了跨文档属性的标准化归一。针对此问题,ObSchema 改变了传统开放三元组抽取范式,将段落事实结构化建模为解耦的六元观察元组 \(o = (e, a_{\text{raw}}, \delta, v, c, Q)\)。其中 \(e\) 为被提及的目标实体,\(a_{\text{raw}}\) 为提炼后的标准化候选属性名,\(\delta\) 为模型结合段落上下文生成的单句自然语言科学定义,\(v\) 为抽取的标量或定性取值,\(c \in \mathcal{C}\) 归属的粗粒度科学大类,而 \(Q = \{(q_i, w_i)\}\) 则显式承载所有修饰该测量值的条件类型与条件值键值对(例如 C-rate、测试循环数或温控参数)。该设计使模型在知识源头就实现了“属性本质”与“测量环境”的正交解耦,为全局层面的统计归纳提供了干净、可对比的元数据基石。

2. 双信号证据门控晋升:平衡语料覆盖广度与局部显著度的准入机制 由于科学文献长尾分布严重,若将单篇文献中偶然提及的特定狭窄子属性直接并入模式,全局树结构将迅速退化且充满局部偶发噪声;反之,若单纯设置全局频次阈值,又会导致弱势但关键的专业维度被优势大类彻底淹没。ObSchema 创新性地将“候选属性语义归类”与“模式正式接纳决策”解耦,设置未决候选池(Pending Pool)跨批次累积证据。针对归属于粗类 \(c\) 的候选属性 \(a\),其综合证据得分 \(s(a) \in [0, 1]\) 定义为两个互补信号的几何平均:

\[s(a) = \sqrt{\text{pop}(a) \cdot \text{dist}(a)}\]

其中流行度信号 \(\text{pop}(a) = \frac{\log(1 + \min(d_a, e_a))}{\log(1 + k_{\text{seed}})}\),由提及 \(a\) 的独立文档数 \(d_a\) 与独立实体数 \(e_a\) 的最小值决定(\(k_{\text{seed}}\) 取批次大小作为归一化基底),强制要求属性必须兼具跨文章与跨实体的普及性,防止单篇文章内部反复刷频带来的虚假置信;类别内相对显著度信号 \(\text{dist}(a) = 1 - \exp(-\kappa \frac{e_a}{M_c})\),通过饱和指数函数(设定 \(\kappa = 15.0\))衡量该属性在所属大类最高频属性支撑度 \(M_c\) 下的相对重要性。几何平均的设计对任意单一维度的缺失施加严格惩罚,候选属性唯有在语料级广泛共现且在局部科学类别中占据显著生态位时,方能达到门控阈值(设定 \(\theta = 0.15\))晋升入活动模式,从数学机制上杜绝了偶发噪声对全局模式的污染。

3. 数值感知保守合并:依据物理测量本质消除近义冗余 在完成晋升后,不同文献中由于学术写作习惯差异,仍然存在表达形式不同但指代相同物理量的候选节点,或者文字高度近似但物理内涵完全不同的陷阱。简单的字符匹配或浅层语义嵌入无法分辨科学量纲的细微差异(例如绝对容量 mAh 与质量比容量 mAh/g 绝不可合并)。ObSchema 设计了数值感知保守合并机制:首先在粗分类分支内部利用嵌入相似度初筛出候选重复对,随后将候选节点所绑定的代表性数值样本、物理量纲单位、单句科学定义及来源证据段落一并送入大语言模型进行严苛仲裁。模型重点检验两者是否共享统一的测量基准与物理量纲;若存在归一化基底差异、时序跨度不同或测量方向不一致,则强制予以保留隔离。经过多源证据核实后的真正等价节点被安全合并,同时将其支持文档计数、别名形态与测量条件分布汇聚至保留节点,在提升模式紧凑性的同时坚决捍卫了科学概念的严密性。

4. 自适应层次维度分组:三步诱导中间科学维度以优化树结构深度 直接将海量晋升后的叶子属性挂载在顶层粗类下,会导致模式树呈现极度扁平且难以检索的“星型辐射”形态。传统基于文本聚类的方法往往容易将字面包含“capacity”的节点错误归为一簇,忽视了比容量与循环保持率在物理机理上的维度差异。ObSchema 提出了自适应层次维度分组流程,由三步紧密配合完成:(i)维度诱导(Aspect Induction):大语言模型审视粗类下所有叶子节点,归纳出一组表征深层科学机制的组织维度(如能量存储能力、循环衰减动力学、界面阻抗特性等),而非直接指定生硬的字面标签;(ii)组别关联(Group Formation):综合利用叶子节点的定义、典型数值、单位和上下文证据,将其投影匹配到最佳承载维度中,生成潜在的中间父节点候选;(iii)凝聚合并(Consolidation):由模型评估并实例化具备高度内聚性的中间节点,将相应叶子节点转移为其子树分支;若证据表明该组属性分散且缺乏统一维度支撑,则保留其直接挂载在原父节点下。该机制使模式树能够在具备充分实验证据的区域自发长出丰富、深度的层级分支,避免了机械硬性指定全树深度的僵化缺陷。

实验关键数据

主实验

论文在两套高异构度自然科学语料(电池科学:185篇论文/927段落;地球科学:118篇论文/378段落)上进行全面评估,采用 GPT-5-mini 作为评测裁判模型,评估属性有效性(AV)、路径粒度(PG)、兄弟节点连贯性(SC)、节点唯一性(Uniq.)及四项平均分(Avg.)。主实验在 Qwen3-30B-A3B(MoE主干)与 Qwen3-14B(稠密模型)上对比了层级链(Chain-of-Layer)、分类自适应(TaxoAdapt)及迭代式LLM归纳基线:

领域 基础模型 方法 属性有效性 (AV) 路径粒度 (PG) 兄弟连贯性 (SC) 节点唯一性 (Uniq.) 平均分 (Avg.)
电池科学 Qwen3-30B-A3B Chain-of-Layer 0.860 0.711 0.667 0.383 0.655
电池科学 Qwen3-30B-A3B TaxoAdapt 0.951 0.717 0.626 0.559 0.713
电池科学 Qwen3-30B-A3B Iterative LLM Induction 0.935 0.665 0.756 0.733 0.772
电池科学 Qwen3-30B-A3B ObSchema (本文) 0.964 0.807 0.816 0.830 0.854
地球科学 Qwen3-30B-A3B Chain-of-Layer 0.950 0.703 0.708 0.594 0.739
地球科学 Qwen3-30B-A3B TaxoAdapt 0.964 0.800 0.630 0.690 0.771
地球科学 Qwen3-30B-A3B Iterative LLM Induction 0.891 0.589 0.556 0.724 0.690
地球科学 Qwen3-30B-A3B ObSchema (本文) 0.991 0.798 0.818 0.807 0.853
电池科学 Qwen3-14B Chain-of-Layer 0.817 0.683 0.538 0.447 0.621
电池科学 Qwen3-14B TaxoAdapt 0.976 0.808 0.548 0.651 0.746
电池科学 Qwen3-14B Iterative LLM Induction 0.912 0.537 0.444 0.658 0.638
电池科学 Qwen3-14B ObSchema (本文) 1.000 0.935 0.667 0.704 0.827
地球科学 Qwen3-14B Chain-of-Layer 0.920 0.802 0.606 0.564 0.723
地球科学 Qwen3-14B TaxoAdapt 0.919 0.787 0.539 0.679 0.731
地球科学 Qwen3-14B Iterative LLM Induction 0.754 0.521 0.333 0.771 0.595
地球科学 Qwen3-14B ObSchema (本文) 1.000 0.864 0.800 0.911 0.894

消融实验与多模型鲁棒性

消融实验在 Qwen3-30B-A3B 主干上验证了层次分类与模式精炼模块的关键支撑作用;同时跨主干实验验证了框架在不同模型家族(Qwen3、Mistral、GPT-5)下的高度迁移能力:

评估子集 实验配置 / 主干架构 属性有效性 (AV) 路径粒度 (PG) 兄弟连贯性 (SC) 节点唯一性 (Uniq.) 综合平均 (Avg.) 说明
电池科学消融 完整 ObSchema 0.961 0.833 0.788 0.833 0.853 包含完整分批分类与精炼流程
电池科学消融 w/o 层次分类 0.929 0.718 0.619 0.772 0.760 缺失分类路由与树状下降约束
电池科学消融 w/o 模式精炼 0.951 0.817 0.595 0.619 0.745 缺失数值感知去重与自适应分组
地球科学消融 完整 ObSchema 0.992 0.901 0.785 0.807 0.871 地学完整框架基准
地球科学消融 w/o 层次分类 0.968 0.748 0.559 0.778 0.763 结构指引缺失导致各维度性能骤降
地球科学消融 w/o 模式精炼 0.986 0.928 0.528 0.725 0.791 连贯性与唯一性受损严重
跨模型验证 Mistral-Small-24B (电池) 0.976 0.827 0.771 0.882 0.864 密集型参数表现最优
跨模型验证 GPT-5-nano (电池) 0.885 0.789 0.750 0.628 0.763 轻量闭源模型保持合理水准
跨模型验证 Mistral-Small-24B (地学) 1.000 0.906 0.776 0.862 0.886 展现优异的科学属性精炼能力
跨模型验证 GPT-5-nano (地学) 0.972 0.814 0.759 0.783 0.832 地学场景结构性能保持平稳

关键发现

  • 唯一性指标实现断层式领先:在 Qwen3-30B-A3B 主干下,ObSchema 相比最强基线在电池科学上唯一性提升 +9.7,在地学上提升 +11.7。由于唯一性与人类专家评判的一致性高达 85%,这一结果强力证明了基于数值、单位与物理定义进行保守合并的机制远比纯词汇语义相似度更精准。
  • 小模型上的零虚幻属性有效性:在规模较小的 Qwen3-14B 骨干上,ObSchema 在两个领域均取得了 1.000 的完美属性有效性,而同骨干下的基线模型充斥着非实体属性或过程描述。这表明双信号证据门控(\(s(a) \ge 0.15\))能够作为极其稳固的“安全阀”,在推理能力较弱的主干产生噪声提案时强行拦截。
  • 专家黄金基准审计展现高精度特征:针对电池专家制定的 60 个核心属性基准审计显示,ObSchema 诱导出的模式在最终晋升节点中实现了 98.8% 的核心与高价值细分属性精准率(69个核心属性,12个有效细分属性,0个无效属性,仅1个轻度冗余属性)。模式的遗漏主要表现为“保守型覆盖召回误差”(如电压平台因跨文章统计略低于阈值而保留在未决池中),而非错误伪造概念。
  • 高并发批处理带来显著时间收益:相较于逐段串行更新模式的 Iterative LLM(电池领域耗时 60.42 分钟),ObSchema 采用文档分批并行抽取并仅在批次边界处触发模式精炼,将电池领域端到端运行时间大幅压缩至 14.00 分钟,速度提升超 4.3 倍,兼具极高的工程部署可行性。

亮点与洞察

  • 解耦式六元观察建模:将科学测量显式解构为 \((e, a_{\text{raw}}, \delta, v, c, Q)\),在抽取源头就把实验边界条件(如温度、充放电倍率)与核心测量属性完全剥离,消除了开放信息抽取长期面临的复合条件标签泛滥难题。
  • 跨文档几何均值证据门控:创新性地设计了结合跨文章-实体最小流行度 \(\text{pop}(a)\) 与大类内相对饱和显著度 \(\text{dist}(a)\) 的双信号机制,用乘性惩罚替代传统的线性启发式加权,有效避免了单文档刷频与优势类垄断。
  • 数值与量纲感知的物理级消重:突破了传统模式构建中依赖文本或嵌入相似度的局限,将代表性取值范围与物理单位(如 mAh 与 mAh/g)作为判别依据,切实保障了科学概念的准确物理边界。

局限与展望

  • 跨学科领域的泛化性验证尚显不足:当前主要针对电池科学与地球科学两个典型的硬物理学科进行验证。这类领域的数据具备较强的定量数值和单位规范;而在生物医药、合成化学或社会科学等更依赖定性描述或隐式实验设定的场景下,元组抽取的提示模版与量纲解析器可能需要针对性的工程改造。
  • 罕见但关键的科学常识属性存在遗漏:为保障模式的极高纯净度,严格的统计门控阈值(\(\theta = 0.15\))会导致部分在教科书中属于常识但在前沿论文语料中被视为已知背景而较少高频重复提及的经典属性(如电压平台 voltage plateau)未能通过晋升筛选。未来可通过引入外部领域通用知识图谱先验或专家白名单机制,与数据驱动的自下而上归纳形成互补。

相关工作与启发

  • vs. 封闭模式抽取 (Closed-Schema Extraction, 如 MAVE / OpenTag):传统方法依赖人工专家或预先冻结的属性词表,无法应对科学发现中不断扩展的新型物理性能与改性配方;ObSchema 实现了语料驱动的自适应发现,无需预先枚举。
  • vs. 开放信息抽取 (Open IE / Open-Schema Discovery, 如 ODIE / EDC):现有开放抽取往往将实验条件与属性词死板绑定为长复合串,且生成的属性集合极度松散、缺乏类型级规范;ObSchema 通过显式条件解耦和跨文档证据门控,使抽取的开放碎片成功聚拢为结构严谨的类型模式。
  • vs. 拓扑与分类诱导 (Taxonomy Induction, 如 Chain-of-Layer / TaxoAdapt):已有分类生成框架主要针对粗粒度的宽泛主题或概念实体(基于语义相似度判定父子包含关系),无法感知物理量纲与测量条件差异;ObSchema 引入值域感知与中间维度自适应诱导,奠定了科学级实体属性体系构建的新范式。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出面向科学实体的属性模式归纳问题,提出解耦观察元组与数值感知归纳的完整闭环。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖双学科领域、多种模型架构、深入的消融对比、下游抽取增益评测以及专业领域专家双向盲测审计。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰准确,问题建模直击传统科学文献抽取痛点,图表与论述逻辑严丝合缝。
  • 价值: ⭐⭐⭐⭐⭐ 为自动化构建高可靠材料科学、地球化学等垂直领域结构化知识库与科学大模型推理提供了关键的基础设施支撑。