ATOMIC: A Domain-Specific Vision-Language Model for Transmission Electron Microscopy¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/5128
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/8957.pdf
代码: https://github.com/SemiMIRTLab/ATOMIC
领域: 多模态VLM
关键词: 透射电子显微镜、领域适配、文献挖掘、视觉定位、指令微调

一句话总结¶

ATOMIC固定LLaVA-v1.5架构，将文献中的TEM子图和图注转成互补的视觉与领域监督，再做两阶段适配，使7B模型获得75.2%的TEM-MCQ准确率和37.5%的TEM-VQA答案词覆盖率，但尚不能替代定量显微分析。

研究背景与动机¶

透射电子显微镜（TEM）中的灰度纹理、晶格条纹、衍射斑点和扫描透射成像对比，与自然图像中的物体外观差异很大。通用视觉语言模型即使能描述“黑点分布”，也可能把纳米颗粒图像解释成雪地或普通污渍；即使认出了电镜图，也未必能把局部结构与晶体学、缺陷和实验方法联系起来。已有去噪、检测、分割模型擅长固定任务，却不能自然回答研究者连续提出的解释性问题。

困难不只是缺少图像，还在于不同问题需要不同来源的知识。颗粒是否分散可以直接观察，材料名称、处理条件或某种实验背景却往往只在专家图注里出现。完全依赖图像生成监督容易缺术语和背景；完全依赖图注又可能教会模型重复不可见信息。论文因此把材料学文献作为已有专家知识的来源，研究在不换架构的条件下，监督来源如何影响视觉判断与科学表达。

核心 idea：把“图像上能看到什么”和“图注提供了什么科学背景”分开生成训练目标，再混合用于连接器对齐与多轮指令微调，让可本地部署的模型同时学习视觉证据和领域语言。

方法详解¶

整体框架¶

ATOMIC采用CLIP-ViT-L-336px视觉编码器、MLP连接器和Vicuna-7B-v1.5语言模型，也报告13B版本。贡献是数据与训练组织方式，不是新视觉骨干：图像先变成视觉token，再由连接器映射到语言空间，最后结合问题生成回答。整个两阶段适配过程中视觉编码器都冻结。

离线端先从复合论文图中提取TEM子图，再让GPT-4.1按VisionGround和DomainContext两种条件生成监督。第一阶段用简短与详细描述只训练连接器，第二阶段用详细描述衍生的多轮对话同时训练连接器和语言模型。Blend混合两类监督；推理时只输入TEM图像与问题，不输入父图图注。可选的下游任务微调得到单独标记的+FT版本，不能与基础Blend混为一谈。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Source["文献复合图与图注"] --> Mining["文献子图净化"]
    Mining --> Supervision["双源监督分离<br/>VisionGround / DomainContext"]
    Supervision --> Alignment["连接器概念对齐<br/>Brief + Detail / Blend"]
    Alignment --> Conversation["多轮指令适配<br/>Detail转对话 / Blend"]
    Conversation --> Output["图像与问题输入<br/>回答或可选任务微调"]

关键设计¶

1. 文献子图净化：先保证监督对象真的是TEM图像

作者从Nature、Nature Communications、Nature Materials和Nature Nanotechnology提取34,073组图像与图注。原始图常把电镜、曲线和示意图拼在一起，直接对整张图生成问答会把曲线结论或非TEM面板当成视觉依据。YOLOv11先定位候选子图，ResNet-50再保留CTEM、HRTEM、STEM和SAED四种模态，最终留下9,513组图文对与32,564张通过模态验证的TEM子图。这里的分类器是数据过滤工具，不是ATOMIC推理架构的一部分。

在生成指令之前，作者把子图划分为29,950张适配图像和2,614张评测构建图像，后者不参与第一、第二阶段监督生成。每个子图同时保留文章URL、父图ID、图注关联和裁剪元数据，以支持版权约束下的重建。这个处理既解决复合图污染，也给训练和评测隔离提供了明确单位；但原文说明的是图像划分，不能据此断言已经实现文章级隔离或近重复去重。

2. 双源监督分离：给可见证据与科学背景不同的生成条件

每张训练子图生成四种对齐目标：VisionGround条件下的Brief与Detail，以及DomainContext条件下的Brief与Detail。Brief用简洁描述突出核心语义，Detail提供更细的形态、纹理和领域信息。VisionGround生成器只看TEM图像，意图限制文字捷径；DomainContext生成器额外读取父图图注，借助专家材料名称、实验条件和成像方式补足单图无法提供的知识。图注是在生成答案时给教师看的，不是随后交给学生模型的辅助输入。

两种来源各自形成约60k条第一阶段样本，合并为Blend-120k。这里不能把图像独立监督理解成有保证的事实定位：教师仍可能看错图；也不能把图注条件监督理解成模型具备了化学成分测量能力，因为答案中可能包含来自图注而非像素的信息。它真正提供的是一种可比较的监督来源分解，让实验能观察视觉判断和领域表达是否呈现不同收益。Blend同时增加了数据量，因此现有对比并未完全隔离“来源互补”与“更多样本”的效果。

3. 连接器概念对齐：在冻结两端时建立TEM语义对应

第一阶段冻结视觉编码器和语言模型，只更新MLP连接器。输入TEM图像及描述指令，目标是上一步生成的Brief或Detail回答。冻结语言端使这个阶段的变化集中在视觉特征如何进入语言空间，避免一开始就把有限领域语料全部用于改写语言模型；简短目标突出核心概念，详细目标扩充细粒度描述，两者并用构成不同粒度的监督。

这并不意味着模型重新学到了原子尺度视觉特征。CLIP视觉塔仍保持原参数，连接器只能重新组织已有表征并对接领域词汇。如果细晶格周期或标尺信息已经在视觉编码中丢失，单靠这个阶段很难恢复。这个边界也是后文定量尺度与周期结构失败值得重视的原因，而不是论文已经证明的唯一因果解释。

4. 多轮指令适配：把详细描述转成可连续追问的领域对话

第二阶段从Detail回答生成多轮对话，不用信息较少的Brief作为主要对话来源。VisionGround与DomainContext来源继续分开，各形成约30k条对话数据，混合得到Blend-60k。此时解冻语言模型，与连接器联合训练，而视觉编码器继续冻结。第一阶段主要处理图像与语言概念的对应，第二阶段则让模型学习如何按问题选择证据、使用材料学术语，并以问答形式表达。

DomainContext的图注信息在这个阶段通过先前生成的描述间接进入对话，而不是直接作为推理上下文。评测生成器同样可使用图注编题；若问题离不开实验背景，则在题干中加入最小且不泄露答案的必要条件。被评测模型只拿到图像与题干，不接收图注、文章元数据和来源索引。可选+FT再使用独立的下游训练问答适配选择题或开放回答格式；这是一种额外监督条件，报告性能时必须显式区分。

一个完整示例¶

以论文图3中的纳米颗粒TEM图为例：先从复合图中裁出子图，通过模态过滤后，VisionGround侧围绕图上可见的颗粒分布、尺寸一致性和分散程度生成描述；DomainContext侧还可以利用父图图注中的材料与实验背景。这里没有给出该图真实图注内容，因此不补写具体材料名称或处理温度。

这些描述先训练连接器，其中的Detail再用于生成多轮对话。最终用户只上传图像并要求详细描述，ATOMIC能识别TEM图像并使用纳米颗粒分布与分散性的领域表述，而通用基线出现普通显微切片或雪地的解释。这个例子说明的是领域识别与语言表达改善，不是粒径测量、元素鉴定或缺陷定位精度已经得到验证。

损失函数 / 训练策略¶

正文给出了基于生成目标和对话答案的监督微调流程，没有单独提出新损失函数，也没有列出可完整核验的token掩码实现，因此不补造“ATOMIC专属损失”。三个训练阶段的学习率依次为\(10^{-3}\)、\(2\times10^{-5}\)、\(2\times10^{-5}\)；每设备batch size为32、16、16；epoch为1、3、1。全部使用cosine调度、0.03 warmup、2,048最大序列长度，梯度累积均为1。

训练使用4张NVIDIA RTX PRO 6000 Blackwell GPU和BF16；第一阶段采用ZeRO-2，第二阶段与任务微调采用ZeRO-3。Blend第一阶段约2小时，第二阶段约4.5小时，任务微调约45分钟。这些是该硬件与配置的参考时间，不等价于单卡部署成本或端到端数据构建成本。

实验关键数据¶

主实验¶

内部评测共有23,526组问答，最终测试集为TEM-VQA 2,349组、TEM-MCQ 2,358组；另有9,405组VQA与9,414组MCQ仅用于下游+FT。下表摘自原文表3，所有数值为百分数且越高越好；前沿API模型为零样本参考，ATOMIC则已经过领域适配。

模型	VQA BLEU-1	VQA ROUGE-L	VQA METEOR	VQA AWC	MCQ准确率
GPT-4o	21.9	26.1	29.3	40.4	92.3
Gemini-2.5-Flash-Lite	17.8	22.2	26.0	37.7	90.3
LLaVA-v1.5-7B	9.6	13.6	18.2	33.3	70.9
LLaVA-v1.5-13B	10.5	15.0	17.8	31.0	74.0
ATOMIC-7B-Blend	12.2	16.2	22.8	37.5	75.2
ATOMIC-13B-Blend	11.7	15.5	21.7	36.6	76.5

AWC是答案参考词覆盖率，不是语义正确率。缓存中的式(1)排版损坏；以下依据紧邻文字对参考词集合、词频和覆盖含义进行规范化重写，并非逐字符复现原式：

\[ \mathrm{AWC}=\frac{\sum_{w\in V_{\mathrm{ref}}}\min\!\left(\mathrm{count}_{\mathrm{ref}}(w),\mathrm{count}_{\mathrm{hyp}}(w)\right)}{\sum_{w\in V_{\mathrm{ref}}}\mathrm{count}_{\mathrm{ref}}(w)}. \]

\(V_{\mathrm{ref}}\)是参考答案中不重复的词集合，两个count分别表示参考答案和模型回答中的词频。匹配次数按参考词频封顶；回答包含预期技术词会提高覆盖率，但额外错误陈述不会直接受到精确率式惩罚。7B相对同规模LLaVA的MCQ提升为4.3个百分点、AWC提升为4.2个百分点；与GPT-4o的AWC差距为2.9个百分点，不能据此说科学推理能力只差2.9个百分点。

消融实验¶

下表摘自原文表5、表6；MCQ列为准确率，VQA列为BLEU-1、ROUGE-L、METEOR、AWC四项指标的平均值，均以百分数显示，不是单独的AWC。

7B配置	MCQ感知	MCQ推理	MCQ实验方法	VQA感知	VQA推理	VQA实验方法
VisionGround	64.8	86.1	71.4	22.2	23.7	17.7
DomainContext	62.9	83.0	73.3	20.7	25.0	18.3
Blend	66.5	85.6	73.3	22.5	25.1	19.0
Blend+FT	84.6	94.3	94.5	41.9	36.9	47.9

Blend没有在每一个单项上胜出：MCQ推理的85.6低于VisionGround的86.1。DomainContext在VQA推理更强、VisionGround在MCQ推理更强，支持“生成专业答案”与“依据图像辨别选项”不是同一种需求。+FT增益最大，但它额外使用任务训练集，不能全部归因于双源监督。

外部验证与质量审计¶

独立MatCha的TEM子集不是本论文流水线生成的，表4结果如下。所有数值为准确率百分数；两个+FT模型使用相同微调条件，不应将其解释为在MatCha测试题上训练。

模型	全部371题	结构分析165题	缺陷分类33题
GPT-4o	73.3	72.1	57.6
LLaVA-v1.5-7B	35.0	39.4	18.2
LLaVA-v1.5-7B+FT	38.5	39.4	18.2
ATOMIC-7B-Blend	47.7	47.9	21.2
ATOMIC-7B-Blend+FT	56.6	52.7	21.2

相同+FT条件下，ATOMIC比LLaVA高18.1个百分点，支持领域适配提供更好的初始化；但ATOMIC的缺陷分类仍为21.2%，任务微调没有改善这一列。原文另报的性质分析仅6题，不宜据其百分数作稳定结论。

一名TEM专家对270道题的810个回答按0–10分评分，GPT-4o、ATOMIC-7B-Blend和LLaVA-v1.5-7B均分分别为6.27、5.75、4.57；对应AWC相关系数为0.516、0.394、0.424，均满足\(p<0.05\)。另抽查962组第二阶段问答，其中961组得分至少7、没有得分至多3的样本；这只是抽样审计，不能写成整个生成语料无错误。

亮点与洞察¶

把监督来源作为研究变量：图像独立与图注条件两路数据让“看得准”和“说得专业”可以分别观察。这比把所有合成指令混在一起后仅报告总分，更有助于分析领域适配。
架构固定让数据贡献更清晰：7B的VQA成绩优于13B，说明扩大语言模型不是这组实验的充分解法。但Blend样本更多，仍需要等规模数据对照才能严格量化互补性。
外部验证比内部词重合更有说服力：MatCha上的同条件+FT比较降低了内部出题风格带来的疑虑。可迁移的做法是把“更好的领域初始化”与“额外任务微调”分开报告。

局限与展望¶

作者指出的分布偏差：训练与内部评测依赖发表级图像，真实实验室里的低质量采集、噪声与伪影可能代表不足。应补充未筛选的跨设备、跨实验室原始数据评测。
作者观察到的失败模式：定量尺度估计、周期结构解释和局部对比过度泛化仍是系统性问题。可以探索标尺读取、衍射分析或高分辨率视觉适配，但这些不是本文已有模块。
本笔记的实验审视：Blend相对单源数据量翻倍，缺少等样本量混合消融；划分描述也不足以确认文章级隔离。后续需要控制数据预算，并按文章分组、检查近重复图像。
评价与教师依赖：同一GPT式生成流程参与训练和内部评测构建，可能共享表述偏差；单专家审计没有提供跨标注者一致性。AWC不能识别所有因果错误，应增加多专家、事实约束及拒答校准评测。
可复现性边界：作者声明发布标注、文章URL、父图ID、归一化裁剪坐标、流水线和权重，并非直接再分发全部出版商图像。本文笔记仅核对本地缓存，没有联网验证代码和权重当前可用性。

评分¶

新颖性: 3/5。双源监督的TEM领域落地有针对性，但模型架构与两阶段训练范式已有基础。
实验充分度: 4/5。内部任务、数据消融、外部基准及专家审计较完整，仍缺等规模混合对照与更严格的来源隔离说明。
写作质量: 4/5。监督生成与推理输入的区别清楚，AWC定位克制；局部“全面改善”的概括需结合单项反例阅读。
价值: 4/5。对隐私敏感材料图像的本地问答有实际意义，但不能替代可靠的定量电镜分析。