EM3M: An Electron Micrograph Dataset for Microstructural Segmentation and Generation¶

会议: ECCV2026
论文: ECCV 原文
数据集: UniParser/EM3M
生成模型: UniParser/EM3M-Gen
领域: 语义分割（材料微结构实例分割）
关键词: 电子显微图像、实例分割、结构化描述、合成数据、流场表示

一句话总结¶

EM3M 用 5,091 张真实电子显微图像、2,985,660 个实例标注和九维结构化描述建立材料微结构基准，并通过 SDXL 合成增强与改进的流场分割基线 UniAIMS，将全量评测的 [email protected] 从真实数据训练的 0.800 提升到混合训练的 0.809。

研究背景与动机¶

材料显微组织的粒径、形状、数量和分布会影响材料性质，因此电子显微图像分析不只是识别图中有什么，还要把相邻颗粒逐个分开。扫描电子显微镜（SEM）与透射电子显微镜（TEM）能够呈现细微结构，但成像模式、表面纹理和材料体系之间的差异很大。同一张图可能同时出现很大的颗粒和密集的小颗粒，前景也不一定具有自然图像中清楚的物体轮廓。依赖专家逐粒描边成本高，而针对单一材料训练的模型又很难直接覆盖这种异质性。因此，这个领域缺的不只是更大的网络，更是足够密集、可靠且多样的实例监督。

已有公开资源在图像规模、标注粒度和科学描述之间存在明显缺口。例如，Aversa 等的数据集有 22,000 张图像，但提供的是分类标签；EMPS 有实例标注，却只有 465 张图像和 11,596 个实例。 MMSci 从论文中收集图文对，适合科学多模态研究，但出版图常经过排版加工，图注也未必完整描述可见微结构。材料图像还受到采集成本、专业标注门槛与知识产权约束，不能简单照搬自然图像的大规模众包流程。如果文本描述只是自由图注，生成模型也难以分别控制颗粒密度、形貌和表面纹理。

EM3M 的切入点是同时建设实例标注和结构化图文数据，让真实监督、可控生成与下游分割共享同一套材料图像基础。它首先是一项数据集与基准工作，UniAIMS 是为了说明适合这种数据的表示形式而提供的强基线，不是另起一套通用分割理论。核心 idea：以专家校验的密集实例标签和九维属性描述组织真实电子显微图像，再用领域适配的生成数据补充分割训练，检验不同实例表示在拥挤微结构中的适用性。

方法详解¶

整体框架¶

输入是来自不同材料与显微成像条件的真实图像，数据建设最终输出实例掩码和图像级结构化文本两类监督。实例掩码用于训练和评测自动分割；图文对用于适配 SDXL，生成更多领域内图像以支持训练增强。 UniAIMS 接收显微图像，预测像素级流场等中间表示，再通过像素聚合恢复独立实例，而不是为每个颗粒先分配一个检测框或查询。生成支路与分割支路共享数据资源，但不是测试时必须顺序运行的一个联合网络。分割推理不要求输入文本，也不需要先调用扩散模型；文本主要控制合成图像的外观属性。作者将数据清理、专家标注、可控合成和分割基准组合起来，核心评价问题是这些数据是否真正改善真实图像上的实例识别。由于论文的主体是数据集与基准，以下用数据流和实验条件解释各项设计，不把它画成一个未经原文定义的端到端训练网络。

关键设计¶

1. 真实图像与结构化描述：让显微数据既可分割又可条件生成

原始图像来自学术合作、网络采集，以及从 Aversa 等公开资源选取并重新标注的 300 张代表性图像。最终来源占比约为 84%、10% 和 6%，这不是完全由同一仪器采集的封闭数据集。清理阶段先用感知哈希去重，再剔除低分辨率图像，原文给出的阈值为小于 200px。 GPT 辅助质量检查还会去除严重模糊、嵌入文字无法辨读的图像。针对生成模型另有一道清理：训练 YOLO11 检测并移除文字元数据区域，避免模型把比例尺说明或仪器文字学成显微纹理。正文没有明确该移除步骤具体采用裁剪、遮盖还是修复，因此不能据此补写一种确定的图像编辑算法。

每张图像的文本被拆成材料、显微镜类型、配色、形貌、密度、空间分布、纵向层次、表面纹理和直径分布九个维度。 Gemini 与 GPT 分别输出统一 JSON 格式的属性，再交叉核验对方结果，所有输出都必须经过人工复核。模型间有分歧的项目由材料专家处理，语言模型在这里是初标与校验助手，而不是最终真值来源。这种组织方式使“颗粒拥挤”和“表面粗糙”成为可以分别调整的描述，不必依赖一整段图注隐式表达。但作者称这些属性近似解耦，不能把材料、形貌、密度等视为统计上完全独立的变量。结构化文本是图像级信息，并没有给每个实例提供独立的文本配对，也没有直接建立材料组成与物理性质的因果关系。

2. 专家闭环标注：让模型加速描边而不决定真值

材料专家先标注一个高质量种子集，用它训练初始分割模型，再由模型给其余图像生成伪标签。训练过程中使用扩散模型生成的多样图像增强模型，以提高后续伪标签的可用性。经过训练的标注人员修正预测结果，随后安排同行复核，最后由材料专家验证。这条闭环的意义是减少从空白画布开始描边的工作，而不是把一次模型推理直接当成公开数据集标注。极密集图像中，漏掉一片小颗粒或者把粘连区域合成一个实例，会同时影响颗粒计数与粒径统计。因此，作者不仅检查图像是否清楚，还专门评价实例标签在人工介入后是否接近独立重标结果。

质量审计使用一个分层抽取的 300 张图像子集，由三名标注者独立重标。像素级 Krippendorff's Alpha（KA）衡量标注一致性，Panoptic Quality（PQ）同时反映匹配实例的掩码质量与识别质量。表 2 中，相对参考真值的 PQ 从伪标签阶段的 0.553，经同行复核提高到 0.738，最终验证达到 0.784。对应 KA 从 0.695 提高到 0.801，再达到 0.818，说明人工阶段不是形式上的签字流程。这些结果支持标注流程显著改善一致性，但不是“标签没有误差”或“彻底消除模型偏差”的证明。正文没有展开合成图像掩码的完整获取与审核细节，因而不能声称 SDXL 会自动生成天然正确的配对实例掩码。

3. 属性控制的 SDXL 增强：补充领域样本而非替代真实测量

作者在 SDXL 上使用 LoRA 微调，并为不同类别引入可学习 token；token 以稀有词初始化，其词嵌入与适配器权重共同优化。训练输入是移除文字区域的显微图像及对应结构化描述，生成时输入同样格式的属性提示。提示按显微镜类型、材料、形貌、纹理、密度、分布、层次、直径和配色的固定顺序组织，使条件具有稳定语义位置。需要注意，九维属性在描述框架中的列举顺序，与实际提示模板中的顺序并不完全相同。类别 token 承载领域外观信息，属性词则为不同结构变化提供可解释的控制入口。这解决的是预训练自然图像生成器对显微图像分布不熟悉的问题，并非新提出一种扩散采样算法。

生成数据可以按观测到的属性相关性采样，以尽量保持常见材料图像的合理组合。作者也探索随机重组属性，产生训练集中未出现过的外观，但明确承认某些组合可能不符合物理现实。因此，“可控生成”应理解为图像属性层面的控制，而不能直接解释为可制造材料的反向设计。生成质量同时由分布指标和下游真实图像分割检验，后者比仅看合成样例更能说明增强价值。论文还比较了先用 Gen30K 预训练、再用不同数量真实图像微调的策略，图 6a 显示其相对 SA1B 预训练的优势趋势。该图在文本缓存中没有完整离散数值，因此不从坐标轴估算各数据规模的精确提升。

4. UniAIMS 流场基线：以像素表示应对大量实例

检测式方法需要处理候选框，查询式方法则受固定对象查询数量和匹配开销影响，这些机制在单图含上千颗粒时成本很高。 Cellpose 类方法改为预测像素级流场，然后依据流场把像素聚成实例，其表示不需要预先为每个对象设置一个查询槽位。这个差异解释了为什么作者把流场、距离或嵌入代理以及多边形代理的方法归为自底向上的比较组。它们绕开训练时按大量候选对象分配监督的部分开销，但不同代理的形状假设和后处理方式仍然不同。 UniAIMS 沿用 Cellpose 的流场形式，改进重点在适配电子显微图像的数据尺度与特征，而不是宣称所有底层算法都是新设计。具体调整包括去除内置尺寸模型、采用尺度鲁棒增强、支持大分辨率输入的分布式训练，以及更新骨干网络。

去除尺寸模型的动机是同图与跨图尺度变化大，单一典型目标尺寸不足以概括整个显微场景。更强特征与尺度增强则针对小颗粒、较大结构和复杂表面纹理共同出现的情况。实验统一给自底向上方法配置 SAM 预训练的 ViT-B，以减少骨干差异对同组比较的干扰。流场后处理仍可能累积误差，正文指出非常大的实例有时会被整个漏掉，因而不能把这类表示理解为天然解决所有尺度问题。模型输出的是实例掩码，不是材料化学类别预测，也不是能够恢复被遮挡部分的完整三维结构。更细的流场构造、尺寸处理与骨干实现被作者放在补充材料第 8–9 节，本次缓存未包含这些章节。

损失函数 / 训练策略¶

EM3M 包含 5,091 张图像，随机划分为 4,128 张训练图像和 963 张测试图像；这里的 4,128 是训练规模，不是会议海报身份编号的含义。检测式与查询式基线仅在单图少于 100 个实例的稀疏子集上进行基准实验，自底向上方法另有全量结果。表 4 用 1K 至 4K 表示真实训练数据规模，不能把 4K 的表格标签当成精确的训练集文件计数。真实数据、生成数据及两者混合训练是不同实验配置，表 3 的 UniAIMS 全量结果对应 0.800，而最佳混合训练为 0.809。正文说明了 LoRA 与词嵌入联合适配，但未给出足以复现的优化器、学习率、LoRA 秩或分割损失完整表达式。因此笔记不补写一个貌似完整但缺少来源的训练配方，也不把工程适配分别当成已完成单因素消融的贡献。

分割的 mAP 也必须按本文口径理解：在 IoU 阈值 0.5 下匹配预测和真值，逐图计算以下 AP，再对图像取平均。

\[ \mathrm{AP}=\frac{|\mathrm{TP}|}{|\mathrm{TP}|+|\mathrm{FP}|+|\mathrm{FN}|}. \]

TP、FP、FN 分别是真阳性、假阳性和假阴性的实例计数；这是第 10 页明确给出的显微图像评测定义，不是 COCO 的精确率召回率曲线面积。 [email protected] 同时考虑实例识别与匹配掩码的重叠质量，数值接近的 mAP 和 PQ 也不能被当成同一指标。作者未在正文充分说明生成器训练与测试划分的隔离时序，独立复现还应核查生成器是否仅使用允许的训练部分；这是一项待核验问题，不是已证实的数据泄漏。

实验关键数据¶

主实验¶

下表摘自表 3（第 9 页），全部为原文定义的 [email protected] 与 [email protected]；“未评测”不代表零分。稀疏子集限定每图少于 100 个实例，跨稀疏与全量两列不能解释成同一测试样本上的性能变化。

方法	骨干	稀疏 [email protected]	稀疏 [email protected]	全量 [email protected]	全量 [email protected]
Mask R-CNN	ResNeXt101	0.620	0.610	未评测	未评测
MaskDINO	Swin-Base	0.395	0.515	未评测	未评测
StarDist	ViT-Base	0.670	0.559	0.668	0.582
CellViT	ViT-Base	0.608	0.625	0.672	0.600
Cellpose	ViT-Base	0.650	0.692	0.711	0.691
UniAIMS	ViT-Base	0.818	0.769	0.800	0.704

UniAIMS 相比表中 Cellpose 的全量 mAP 高 0.089，但 PQ 仅高 0.013，提示实例检测式得分与精细掩码改善幅度并不一致。这支持该配置的整体有效性，却不能单靠这张表分离骨干、尺度策略与训练实现各自的收益。

消融实验¶

表 4（第 13 页）提供数据规模与来源分析，而非逐个移除 UniAIMS 组件的消融；以下选取关键训练配置，指标仍在真实图像评测上报告。

训练数据	表中规模	[email protected]	[email protected]
真实	1K	0.767	0.682
真实	3K	0.795	0.700
真实	4K	0.800	0.704
生成	5K	0.760	0.669
生成	30K	0.791	0.690
生成 + 真实	30K + 4K	0.809	0.707

30K 生成图像的 0.791 mAP 接近、但低于 3K 真实图像的 0.795，不能据此说合成数据具有相同的单位样本效率。混合训练相对 4K 真实数据增加 0.009 mAP 与 0.003 PQ，证明补充作用的同时也说明这不是巨大幅度的精细分割跃升。

表 6（第 13 页）进一步分析生成质量：FID 越低越好，Style 是预训练 DINO-ViT 的 CLS 特征余弦相似度，越高越好。 Real 一列是领域参考，其中 FID 比较真实图像与旋转、缩放、翻转后的图像，不是理应为零的“真实分布对自身”。

指标	Real 参考	原始 SDXL	微调模型
FID	28.06	213.16	34.03
Style	0.985	0.669	0.958

关键发现¶

领域适配明显改善生成图像的视觉分布，但 ImageNet 特征上的 FID 与 DINO 风格相似度都不直接验证材料物理合理性。
第 15 页报告 UniAIMS 的 [email protected] 为 0.704，改用更严格的 [email protected] 后只有 0.340，说明精细边界仍是显著短板。
表 5 的 EMPS 零样本结果为 0.89，低于该表的已报道结果 0.92；因此正文关于零样本普遍超过已有基线的概括不应照抄，且该表未在表头清晰写明指标名称。

亮点与洞察¶

数据价值来自密集实例监督与结构化文本的结合，而不是只追求图像数量。对于微结构计量，每张图中大量颗粒的独立轮廓比单个图像级标签更有直接用途。
人机闭环的有效性由独立重标子集支持，而非仅展示漂亮掩码。表 2 的阶段性改善让“人工校验”具有可检查的证据。
合成数据同时接受视觉分布与真实下游任务检验。两类证据相互补充，但仍需把“看起来像”和“可用于材料科学结论”分开。

局限与展望¶

作者承认极密集堆叠、纤维状纹理、弱对比边界和大幅尺度变化仍难处理。更严格的重叠阈值揭示了宽松匹配指标掩盖的误差。
数据属性存在长尾，随机图像划分不能自动证明对新实验室、新材料或新仪器的泛化。按材料与采集来源分组的测试值得补充，这是读者提出的评测建议。
正文依赖补充材料解释生成标签、完整训练细节和更多标注协议，本次仅有正文第 1–19 页。上述缺口限制复现级解读，不影响已列主表数字的核对。
属性随机重组可能产生物理不合理的微结构。后续可引入专家规则或物理约束验证，但本文尚未证明该生成器能够做可靠的材料逆向设计。
关键表未报告多次随机重复的方差，混合训练的较小提升仍需要不确定性评估。边界误差、颗粒尺寸统计误差也应成为比单一 mAP 更贴近应用的补充指标。

评分¶

新颖性: 4/5。高密度实例标签与结构化图文资源的结合有明确增量，模型部分主要是既有框架的适配。
实验充分度: 4/5。覆盖基线、数据规模、生成质量及标注可靠性，但缺少正文中的逐组件消融与方差报告。
写作质量: 4/5。数据到应用的叙述清楚，但部分外部数据集结论比表格支持范围更强，重要实现依赖补充材料。
价值: 5/5。为材料微结构实例分析提供了稀缺的高密度公开基准和可复用生成资源。