跳转至

From Macro to Micro: Benchmarking Microscopic Spatial Intelligence on Molecules via Vision-Language Models

会议: ECCV2026
论文: ECCV 原文
领域: 多模态VLM
关键词: 微观空间智能、视觉语言模型、分子空间推理、基准评测、氢键识别

一句话总结

本文提出 MiSI-Bench:把「微观空间智能」拆成平移 / 旋转 / 缩放 / 相互作用四个基本操作,用约 4,000 个 PDBbind 晶体复合物的正交投影渲染出 16.3 万道 QA、58.8 万张图,覆盖 9 个单元与组合任务;主流 VLM 平均分只有 16–34(人类 81.18),而在该训练集上微调的 7B 模型平均 62.96、在旋转类任务上反超人类,却在氢键识别等依赖领域知识的任务上仍大幅落后。

研究背景与动机

空间智能是视觉语言模型最热的方向之一,一批基准已经把「模型能不能看懂布局、遮挡、视角」测出了谱系:VSI-Bench / Thinking in Space 考视频与多图里的空间记忆与推理,MuirBench 考多图理解的鲁棒性,LEGO-Puzzles 在合成积木世界里考多步空间推理,SAT 走空间能力训练路线。这些工作共享一个隐含前提——被测对象是肉眼可见的宏观世界:桌子上的杯子、房间里的家具、不断变化的街景。

但科学发现的主战场在看不见的微观一端。结构生物学家与药物化学家每天用 PyMOL、ChimeraX 这类软件打开蛋白–配体复合物,从正投影视图里把三维结构「读」回来,判断几何互补性,并由此推出氢键这样的物理关系。这种从二维投影重建三维结构、再把抽象科学概念(binding、interaction)翻译成精确几何约束的能力,本文称为微观空间智能(Microscopic Spatial Intelligence, MiSI)。它与宏观空间任务有三点实质差异:视觉元素要被映射到层级化的科学实体(原子、残基),而不是「杯子」「椅子」;「结合」这类词没有日常视觉对应物,必须落到具体原子对的几何关系上;宏观任务容忍空间上的不精确,微观任务却要求视觉感知与领域语言紧耦合。此前没人系统度量它,一部分原因是接口不存在——传统 3D 分子建模(力场、3D 卷积、图神经网络、等变图网络与几何 Transformer)全部在笛卡尔坐标空间里工作,根本不吃图像;而 VLM 这一侧虽然天生同时处理图与文,却没有配对好的「分子渲染图 + 领域问题」数据可用。而现在两件事同时具备了:ChimeraX 可以批量渲染正交投影,PDBbind 提供了约 4,000 个实验解出的晶体结构。

本文选择不造模型,而是造一把尺子。它沿用专家习惯的正交投影(front / top / left 等规范视图)作为二维表示,把专家的技能归纳为四个基本操作;四个单元任务各自隔离一种操作,五个组合任务考多操作串联。所有 QA 由固定模板实例化,连续量分箱离散化,选择题的干扰项由三类定向扰动生成。核心 idea:把「微观空间智能」显式分解为可枚举的基本操作及其组合,用同一批晶体结构的正交投影批量生成难度可控的 QA,再用「轴判定 + 幅值误差」的分层评分加两条反作弊规则,把近似正确与枚举刷分区分开,从而第一次量出 VLM 在分子空间推理上的真实缺口。

方法详解

整体框架

输入是蛋白–配体复合物:来自 PDBbind refined 的晶体结构,剔除可视化异常后保留 3,503 个复合物用于监督微调、490 个用于测试,全部有实验解出的结构。每个复合物在 ChimeraX 中被渲染成 1160 × 803 的正交投影图,按任务需要给出 front / left / top / back / right / bottom 中的三视图或六视图。九个任务把「微观空间智能」拆开测量:四个单元任务隔离平移、旋转、缩放、残基–配体相互作用,五个组合任务把多个操作串起来,分别考空间变换推理(平移+旋转、旋转+旋转)、局部关系推理(相互作用定位)与全局关系推理(对接、口袋–配体相互作用)。问题用固定模板实例化,分填空(Cloze)与多选(Multiple-Choice)两种形式;最终得到 150,597 条训练 QA 加 12,917 条测试 QA,共 163,514 条,对应 538,015 张训练图与 49,960 张测试图。除完整测试集外,作者另抽取每任务 50 条 QA 组成 MiSI-Bench(tiny),供成本敏感的闭源模型评测使用。数据集已公开在 https://huggingface.co/datasets/zongzhao/MiSI-bench

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["PDBbind 晶体复合物<br/>3,503 训练 + 490 测试"] --> B["能力分解<br/>四基本操作 → 九个任务"]
    A --> C["正交投影渲染<br/>ChimeraX 三/六视图 1160×803"]
    B --> D["模板化 QA 生成<br/>分箱离散化 + 三类扰动负例"]
    C --> D
    D --> E["分层评分协议<br/>部分得分 + 反作弊规则"]
    E --> F["MiSI-Bench<br/>163,514 QA / 587,975 图"]

关键设计

1. 能力分解:把笼统的「分子理解」拆成四个基本操作与两级任务

要论一个 VLM「懂不懂分子」,最直觉的评法是让模型回答化学题,但那样的分数无法定位失败原因。本文换了一条路:先观察专家实际在做什么。专家用可视化软件操作分子时反复使用的是四种原子级操作——沿 x / y 轴的平移、绕 x / y / z 轴的旋转、沿垂直于屏幕的 z 轴缩放(表现为视野的放大缩小),以及判断某个残基与配体之间是否存在相互作用并指出参与的原子对。这四个操作被设计成四个单元任务,每个只动一个变量:平移任务沿 x 或 y 平移 −4 至 4 Å,模型填 move x 3;旋转任务绕一个坐标轴旋转 [−90°, 90°],模型填 roll x 15;缩放任务沿 z 轴移动 40–60 Å(这是最适合观察口袋–配体相互作用的放大档位,分布见附录 A);相互作用任务是判定「是/否」并列出原子对,如 ARG NH2, O22; ARG N, O23

在单元任务之上,五个组合任务把多个操作串起来,考查专家日常真正需要的高阶能力,并进一步分成两类语义。空间变换推理给两个复合物 \(c_1\)\(c_2\) 的三视图,以及 \(f_2(f_1(c_1))\) 的 front view(即先做 \(f_1\) 再做 \(f_2\) 的结果),要求从四个候选中挑出 \(f_2(f_1(c_2))\) 的 front view——也就是「看懂一次变换、并把它迁移到另一个分子上」;两个任务分别取 \(f_1\) 为平移、\(f_2\) 为旋转(平移+旋转)和两次旋转(旋转+旋转,两次旋转被约束在不同的轴上,防止出现平凡相关)。关系推理则分局部与全局:相互作用定位给定复合物六视图和一对氢键原子(如 ARG 45 NH2 A, O1B),要求选出能把该相互作用移到画面中心的那条变换命令;对接(Docking)给定单独的配体、单独的口袋、以及一个被移开的复合物视图,要求输出把配体放回天然构象的操作序列(如 roll y 45, move x -12);口袋–配体相互作用把残基级任务放大到整个结合口袋,要求列出全部氢键,每一项是「残基类型 + 残基编号 + 残基原子 + 链 + 配体原子」的五元组。任务规模上,单元任务占 48.29%、组合任务占 51.71%;平移 14,012 / 980(训练 / 测试),旋转 21,018 / 1,470,缩放 14,012 / 980,残基–配体相互作用 11,572 正例 + 12,125 负例训练、1,499 正例 + 1,603 负例测试,平移+旋转与旋转+旋转各 21,018 / 1,470,对接 21,018 / 1,470,相互作用定位与口袋–配体相互作用分别占 7.52% 与 2.33%。这样切分的好处是错误可归因:模型在旋转类任务上崩掉,不会和「不认识蛋白长什么样」混在一起。

2. 正交投影渲染:3D 复合物怎样变成专家视角的 2D 多视图输入

VLM 吃不了坐标,而把点云或体素直接喂进去既不是 VLM 的输入格式,也丢掉了专家真实的工作方式。本文的表示选择是正交投影:用平行光线把三维结构投到二维平面上,取 front / top / left 等规范视图,这与人类「用两张平面图 + 一张剖面图重建三维物体」的习惯一致。正交投影相对透视投影的好处是不引入近大远小的畸变,同一段 Å 距离在不同视图与不同景深处对应的像素尺度一致,模型(和人类)才可能从像素位移反推「平移了多少 Å」。

视图数量按任务类型分别决定,这是有依据的设计而不是随手定的:平移、旋转、缩放任务给三视图(top / front / left)加变换后的 front view,因为连续变换需要稳定的尺度参照;残基–配体相互作用则给全部六个视图,理由是原子名标签在密集区域会互相重叠遮挡,多视角能显著降低歧义。渲染由 ChimeraX 批量完成,统一 1160 × 803,保证不同复合物、不同任务之间的图像分布一致。数据侧只做一件事:剔除渲染可视化有问题的复合物(配体缺失、视图异常等),最终 3,503 + 490 个复合物。这一设计也解释了后面一个有意思的实验现象——在正交投影下深度变化只能表现为原子间相对位置和遮挡关系的细微改变,这正是缩放任务连人类都只有 30.00 分的根本原因。

3. 模板化 QA 生成:分箱离散化与三类定向扰动造出「难」负例

空间任务的答案天然是连续量(角度、距离)甚至是变长列表,直接自由生成既无法判分,也无法比较不同模型。本文的做法是把问题模板化、把答案离散化:平移距离按 1.0 Å 分箱、旋转角度按 15° 分箱、缩放深度按 1.0 Å 分箱,模型只需填一个可枚举的值。这样做的代价是损失了亚分箱精度,但换来的是评测的确定性——而且评分阶段并不要求精确命中,而是用「轴对不对 + 偏差多大」给部分分(见设计 4),所以离散化不会把近似正确的答案判死。

选择题的干扰项是这个 benchmark 里最需要设计技巧的部分,因为空间选择题很容易被排除法或语言先验攻破。对于空间变换类任务(平移+旋转、旋转+旋转),错误选项由三种定向扰动生成:①同时改掉 \(f_1\)\(f_2\) 的幅值(考「变了多少」);②翻转 \(f_1\) 的符号(顺时针↔逆时针)并调整 \(f_2\) 幅值(考「往哪转」);③换掉 \(f_1\) 的轴并改动 \(f_2\) 幅值(考「绕哪根轴」)。三种扰动分别对准幅值、方向、轴向三类典型错误,任何单一维度上偷懒都会被其中一种选项击中。相互作用定位任务的干扰项则只对真值平移的符号与幅值做扰动,因为该任务本身不含旋转操作,干扰项必须落在同一能力维度内才公平。对接任务的初始化更讲究:解除配体时旋转角在 [−90°, 90°] 均匀采样,而平移距离不做固定采样,而是对每个复合物自适应选择一个既明显、又不会让位移后的配体与口袋严重穿模的距离(细节见附录 A)——否则模型可以从「这个位姿物理上根本不可能」这种先验线索反推答案,而不是真的在推理空间关系。

4. 分层评分协议:连续量给部分分,列表答案防枚举

如果一律用精确匹配,连续量的填空任务会整体塌到 0 分,评测失去分辨力;如果一律用命中率,列表型答案又可以靠穷举刷分。本文因此把指标按答案结构分层。多选任务与缩放任务沿用准确率(ACC),即答案与真值完全一致的比例。填空任务改用加权复合分:空间变换类先判轴,只有轴判对了才按预测幅值与真值幅值的归一化绝对误差 \(|\hat d - d|\) 给分(原文只说「归一化」,未给出归一化常数,⚠️ 具体归一化范围以原文为准);组合任务中每个子操作(如 move 与 roll)等权贡献,合计 1.0;对接任务因为 move 的轴已固定为 x,只要求符号与真值一致才计分。

相互作用类任务采用「预测正确的条目数 / 真值条目数」的比例计分,另外加了两条反作弊约束:把真值全部答对却额外编造无关相互作用的答案,得分上限压到 0.5;若回答中的氢键数量超过真值的两倍,就判定为试图穷举枚举刷分,直接记 0 分。这两条约束针对的正是多条目抽取式答案的经典漏洞——在残基–配体相互作用和口袋–配体相互作用这类任务里,可枚举的原子对组合数量有限,没有惩罚的话模型完全可以用「把所有可能原子对都列一遍」刷到高命中率。此外作者在附录 B 也给出了填空任务的精确匹配结果,供不同严格度的比较使用。

一个完整示例

以组合任务「平移+旋转」的一道题为例(数值落在原文给定的采样区间内,⚠️ 具体示例以原文附录 C 为准)。取复合物 \(c_1\) 与随机配对的 \(c_2\),各给三视图;\(f_1\) 是沿 x 轴平移 +2 Å,\(f_2\) 是绕 y 轴旋转 30°,于是题目给出 \(f_2(f_1(c_1))\) 的 front view 作为参照,问 \(f_2(f_1(c_2))\) 的 front view 是 A–D 中的哪一个。三个干扰项的构造是:A 项把两个操作的幅值都改掉(平移 +3 Å、旋转 45°),B 项把 \(f_1\) 的符号翻成 −2 Å、\(f_2\) 幅值调成 20°,C 项把 \(f_1\) 的轴从 x 换成 y。模型若回答「move x 2, roll y 30」得满分;若回答「move x -2, roll y 30」,平移项符号错、旋转项正确,两个子操作等权,得 0.5 分;若回答「move y 2, roll y 30」,平移轴判错,该项 0 分。若这是一道残基–配体相互作用题,真值为 ARG 221 NH2 A, O22; ARG 221 N A, O23,模型答全这两条但多加了一条不存在的 ARG 221 NE A, O22,则触发反作弊规则,得分上限 0.5;若它一口气列了 10 条,超过真值条数的两倍,直接 0 分。

损失函数 / 训练策略

本文的方法侧不含新的训练目标,唯一被训练的模型是 Qwen2.5VL-7B-SFT:在 MiSI-Bench 的 150,597 条训练 QA 上做监督微调,再在 12,917 条测试 QA 上评测,用来探测「VLM 本身是否具备微观空间智能,还是只是缺适配」。原文未给出学习率、批大小、是否使用 LoRA 等超参(⚠️ 以原文为准),因此无法判断提升中数据规模与训练配置各自的贡献。评测侧,所有闭源模型与开源 MoE 模型因成本原因只在 MiSI-Bench(tiny)(每任务 50 条 QA)上以 few-shot 设置评测,人类基线与 SFT 模型也在此设置或完整测试集上评测;这一点在横向比较时需要留意(见「局限与展望」)。

实验关键数据

主实验

表 1 汇总了 10 个主流 VLM、人类评测者与本文 SFT 模型在九个任务上的得分。平均分按原表口径排除「平移+旋转」「旋转+旋转」两列后计算(几乎所有模型的这两列都接近四选一随机猜测),下表按平均分降序排列。

方法 平均分 平移 旋转 缩放 残基–配体(正) 残基–配体(负) 平移+旋转 旋转+旋转 对接 相互作用定位 口袋–配体
人类 81.18 100.00 70.18 30.00 100.00 100.00 32.00 26.00 74.54 92.00 82.78
Qwen2.5VL-7B-SFT 62.96 99.84 99.71 27.14 63.46 89.52 88.44 89.59 57.79 88.37 10.72
Claude Sonnet4.5 34.37 45.71 44.18 6.00 22.33 84.00 28.00 26.00 34.12 38.00 0.60
o3 33.65 52.29 43.82 2.00 18.67 94.00 22.00 22.44 20.69 36.00 1.71
Claude Opus4 33.13 57.43 24.73 6.00 33.67 74.00 12.00 26.00 34.39 34.00 0.77
Claude Sonnet3.5 31.23 47.14 37.11 10.00 27.50 70.00 18.00 32.00 27.52 28.00 2.55
Gemini-2.5-pro 29.94 50.15 38.88 0.00 28.67 52.00 30.61 21.62 30.38 38.00 1.44
GPT-4.1 29.20 29.71 37.45 2.00 7.33 80.00 33.33 29.26 32.90 36.00 0.20
o4-mini 28.55 39.71 36.36 2.08 12.67 76.00 40.00 20.00 31.51 30.00 0.00
GPT-5-mini 27.71 47.71 30.55 4.00 29.33 34.00 28.00 22.44 27.24 47.82 1.01
Qwen3-vl-235b-a22b-thinking 23.34 46.36 25.21 6.00 17.03 25.00 20.40 22.00 29.32 38.00 0.00
Gemini-2.5-flash-lite 16.00 36.29 22.55 4.00 6.67 0.00 30.00 25.00 32.25 26.00 0.25

表中数字按原文 Table 1 录入;逐列加权复核时多数行的平均分可对上,GPT-4.1 与 Qwen2.5VL-7B-SFT 两行与原文所给平均分存在小幅出入(⚠️ 以原文为准)。

消融实验

第一组消融验证「模型是靠看图还是靠文本先验」:把指令模板用 GPT-5.2(⚠️ 模型名以原文为准)整批复述成语义等价但句法更多样的版本,再重新评测 SFT 模型;另一组保留原文本指令、把分子图替换成随机图像。T1–T9 依次为平移、旋转、缩放、残基–配体相互作用、平移+旋转、旋转+旋转、对接、相互作用定位、口袋–配体相互作用(原表中 T4 为残基–配体任务的合并口径)。

配置 T1 T2 T3 T4 T5 T6 T7 T8 T9
Qwen2.5VL-7B-SFT(原模板) 99.8 99.7 27.1 78.1 88.4 89.5 57.8 88.3 10.7
指令改写(GPT-5.2 复述模板) 99.7 99.6 29.4 76.9 89.2 87.8 53.9 87.4 10.2
随机图像(保留文字、图像替换为随机图) 33.5 16.1 5.0 0.0 26.0 27.4 13.9 25.2 0.0

第二组分析考察视角数量、氢键复杂度与缩放区间对表现的影响。

分析项 设置 分数
视角数量(旋转任务) 三视图 / 单视图 99.71 / 97.51
视角数量(口袋–配体相互作用) 六视图 / 27 视图 10.72 / 23.77
氢键数量对准确率(残基–配体正例) 0 / 1 / 2 / 3 条 89.52% / 64.72% / 28.70% / 20.51%
缩放误差率(40–60 Å 区间) 均值 / 最高 / 最低 72.5% / 86.5% / 42.9%

氢键数量各档的样本量约为 1,746 / 1,094 / 223 / 39(⚠️ 按图 4 读取,以原文为准)。

关键发现

  • 所有前沿 VLM 都远低于人类:最好的闭源模型 Claude Sonnet4.5 平均 34.37,人类 81.18;GPT-4.1、o4-mini、GPT-5-mini、Gemini-2.5-flash-lite 全部落在 16–30 区间。差距最大的是口袋–配体相互作用——人类 82.78,所有模型都在 0.00–2.55 之间,等于完全不会。
  • 模型在「距离类」任务上系统性优于「角度/轴向类」任务:平移普遍高于旋转(o3:52.29 vs 43.82),相互作用定位普遍高于旋转+旋转(GPT-5-mini:47.82 vs 22.44)。作者给出的解释是现有 VLM 主要在二维数据上训练,距离作为二维属性更容易迁移,而绕轴旋转要求真正的三维心智模拟。
  • 负样本远比正样本容易:残基–配体负例(不存在氢键)上 o3 拿到 94.00、Claude Sonnet4.5 拿到 84.00,而正例只有 18.67 与 22.33。原因是负样本中残基与配体往往本身就相隔较远,只看空间邻近性就能答对,不需要任何化学知识。
  • SFT 的 7B 模型全面反超商用 VLM,并在旋转类任务上超过人类:平均 62.96,旋转 99.71(人类 70.18),旋转+旋转 89.59(人类 26.00,接近四选一随机水平)。作者据此认为先进 VLM 本来就有空间认知潜力,此前的低分来自领域适配障碍——它们缺少蛋白这类专门结构的视觉先验,合适的微调可以建立跨域映射。但正例氢键识别(63.46 vs 人类 100.00)与口袋–配体相互作用(10.72 vs 82.78)仍然落后,说明基础训练中缺失的领域先验无法靠这套数据补上。
  • 指令改写几乎不掉分,抽走图像则崩塌:模板被改写后各行与原模板差异基本在 2 分以内(T1 99.7 vs 99.8,T5 89.2 vs 88.4),说明高分不是背模板背出来的;而把图像换成随机图后整体掉到接近随机,T4 与 T9 直接归零,说明文本先验完全不足以完成任务,视觉输入是必要条件。原文也说明纯图像设置不可行——多个不同任务共享同一初始视觉状态,没有文字指令模型无法判断该做什么操作。
  • 视角数量对复杂任务至关重要:基础任务从三视图减到单视图几乎无损(旋转 99.71 → 97.51),说明模型具备鲁棒的单目深度感知;但口袋–配体相互作用把视角从 6 增到 27,分数从 10.72 涨到 23.77,几乎翻倍——复杂分子相互作用的主要瓶颈是遮挡,稠密视角能补上缺失的深度线索。
  • 氢键越多越难:残基–配体正例的准确率随氢键条数从 89.52%(0 条,即正确判定「无氢键」)掉到 20.51%(3 条),模型在复杂氢键网络里找不全所有相互作用。缩放任务的误差率随深度先升后降(均值 72.5%,峰值 86.5%,最低 42.9%),作者推测峰值对应某个「视觉上关键但判别信息最少」的尺度,注意力机制在该尺度上解析效率最低。
  • 人类的失败模式与模型不同:人类在单元任务上强(平移 100.00、残基–配体正例 100.00),但连续/大幅变换上吃力——大角度旋转需要维持空间连续性和多原子跟踪,缩放缺少明确参考点只能靠边界位移与原子密度直觉,连续组合任务则因误差累积与参考系频繁切换而崩到近随机水平(旋转+旋转 26.00)。也就是说,人的瓶颈是工作记忆与空间心智模拟的稳定性,而模型的瓶颈是领域知识与三维几何的耦合。
  • 案例研究(旋转任务,Claude Sonnet 4.5):模型的思路是合理的——它把跨结构变化保持不变的残基当作锚点,据此推断旋转轴与角度;但在关键区域它虽然正确发现了残基 221 与 225 的位置重排,却把变化误读成「略微向后移动」,而仅凭残基 221 的位移就应推断出这是绕 y 轴的旋转。说明前沿 VLM 的空间推理机制仍然不可靠,需要更有效的激发方式。

亮点与洞察

  • 把「分子理解」操作化为四个基本操作 × 两级任务,使错误可归因:模型在旋转类任务上崩掉与「不认识蛋白」被彻底解耦,因此才能得出「空间潜力在、领域知识缺」这个结论。这个思路可以迁移到任何「专家在软件里做的连续操作」上——比如医学影像的窗宽窗位调节、遥感影像配准、CAD 装配,均可按同样的「基本操作 + 单元/组合任务」方式造出可诊断的基准。
  • 用「轴判定 + 幅值误差」代替精确匹配:连续量任务上精确匹配会让所有模型塌到 0 分,本文先判轴、轴对了再按幅值误差给部分分,既保住了分辨力,也符合「方向对了但估得不准」这一真实能力层次。这是一个几乎可以直接复用到任何连续动作评测的指标设计。
  • 两条反作弊规则针对列表型答案的枚举刷分:多答无关相互作用者得分封顶 0.5,回答条数超过真值两倍者直接 0 分。抽取类 benchmark 普遍缺这条防线,而它在分子任务上尤其必要——可枚举的原子对组合是有限的。
  • 视图数量按任务类型分别设定:连续变换任务三视图(保尺度一致性),相互作用任务六视图(抗原子名重叠与遮挡)。这比「统一给六视图」更有依据,并且后续的视角消融实验(10.72 → 23.77)验证了这个判断的边界在哪里。
  • 一个反直觉发现:人类在连续空间变换上不是可靠上界。旋转 70.18 vs 模型 99.71、旋转+旋转 26.00 vs 89.59,说明「人类水平」在三维心智模拟类任务上本身就很低,用人类分数作为天花板会低估模型潜力,也提示这类任务更适合用几何真值而不是人类投票来评判。
  • idea 线索:口袋–配体相互作用(模型 10.72 / 人类 82.78)是最大的空白,且失败原因被明确归为「缺领域先验」。很自然的延伸是把氢键的几何判据显式建模——要么作为奖励信号让模型学会「先找供体/受体原子再判距离角度」,要么直接工具化,让 VLM 负责定位与语义、几何模块负责精确判定;这正好接上等变图网络那一支已经成熟的坐标级能力。

局限与展望

  • 相互作用只覆盖氢键:作者明确说明这是 proof-of-concept 的选择,疏水作用、π–π 堆积、盐桥、卤键等同样决定结合模式的相互作用未被纳入,因此「相互作用」这一能力维度的覆盖还不完整。
  • 正负样本难度极不对称,平均分被负样本抬高:残基–配体负例几乎所有模型都能拿 70–94 分,正例却只有 7–34 分。合并口径的平均分会掩盖正例上的真实崩溃,跨模型的微小分差不宜过度解读。
  • 评测口径不统一,横向比较需谨慎:闭源与 MoE 模型只在 MiSI-Bench(tiny)(每任务 50 条)上评测,人类基线也在此子集上作答,而 SFT 模型的分数来自完整测试集;50 条样本的采样方差本身就不小,SFT 与闭源模型之间的分差里混入了评测集差异。
  • SFT 的训练细节缺失:学习率、批大小、是否 LoRA、训练轮数均未给出,因此无法判断 62.96 这个平均分在多大程度上依赖训练配置,也无法复现该模型。
  • 缺少手性 / 镜像类任务:旋转任务只覆盖正常旋转(proper rotation),而分子科学中最考验空间智能的恰恰是手性——判断两个结构是镜像还是可重叠。这需要引入反射或构型判定的任务,是这份基准一个显眼的空白。
  • 正交投影下深度线索本身就退化:缩放任务上模型 27.14、人类 30.00,两边都接近不会。正交投影没有透视缩放,z 方向的变化只体现为原子间距与遮挡的细微变化,这可能意味着该任务测量的是「人类与模型共同的能力极限」,而不是 VLM 的短板;若加入透视视图或深度提示,结论可能不同。
  • 可改进的方向:把等变几何模型与 VLM 组合(VLM 出粗解与语义判断、几何模块做精确精修);用可学习的视角选择策略替代固定的 6 / 27 视图,让模型自己决定看哪几个角度;在训练中显式注入氢键几何判据,检验领域知识注入能否把口袋–配体相互作用的 10.72 拉起来。

相关工作与启发

  • vs 宏观空间基准(VSI-Bench / Thinking in Space、MuirBench、LEGO-Puzzles、SAT):这些工作考日常物体与视频中的布局、遮挡、视角推理,感受野是人类尺度的三维世界;MiSI-Bench 考的是从二维正交投影重建原子级结构并推断物理相互作用。差别不是场景换了,而是要求变了:视觉元素要落到层级化的科学实体上,抽象概念(结合)要翻译成精确几何约束,空间精度不容许含糊。
  • vs 3D 分子建模(力场方法、3D 卷积、GNN、等变图网络与几何 Transformer):它们以笛卡尔坐标为输入,在坐标空间里做表示学习或数值优化,精度高但不会「看图说话」,也无法把文献里的语义知识接进来;本文测的是以图像 + 自然语言为接口的推理通道,与坐标模型天然互补——这也解释了为什么作者把「把显式科学知识注入预训练」列为通往科学 AGI 的必由之路。
  • vs 分子专用软件与工具增强 LLM(AutoDock Vina 类对接工具、化学工具增强的 LLM):它们擅长数值优化或按需调用工具,但缺少对结构本身的视觉感知与语义解释;MiSI-Bench 的价值在于把这条通道的缺口量化出来:同样是「分子空间理解」,接口不同,模型的能力分布完全不同(自动化工具在对接上远超人类,而 VLM 在此只有 10–58 分)。

评分

  • 新颖性: ⭐⭐⭐⭐ 首次系统定义并量化「微观空间智能」,能力分解、三类扰动负例与反作弊指标都设计得扎实;但方法层面没有新模型或新算法,SFT 探针属于常规操作。
  • 实验充分度: ⭐⭐⭐⭐ 10 个主流 VLM + 人类基线 + 模态/指令/视角数三组消融 + 因子分析 + 案例研究,覆盖面足;扣分在于闭源模型只在小样本子集评测、SFT 超参未公开、相互作用仅覆盖氢键。
  • 写作质量: ⭐⭐⭐⭐ 概念定义(正交投影、专家技能分类)与任务模板、评分规则交代得很细,可复现性好;但个别表格数字与平均分口径对不上,正文「对接是人类表现最差的任务」与表中人类对接 74.54 分也自相矛盾。
  • 价值: ⭐⭐⭐⭐⭐ 16.3 万 QA / 58.8 万图的数据集已公开,为「VLM 能不能做科学」提供了可复现的诊断工具,并明确指出了领域知识注入这一后续方向。