Benchmark for Assessing Olfactory Perception of Large Language Models¶
会议: NeurIPS 2026
arXiv: 2604.00002
OpenReview: https://openreview.net/forum?id=5N6nOIwgxj
代码: https://github.com/Satarifard/Olfactory-Perception-benchmark
领域: LLM评测
关键词: 嗅觉感知基准, 大语言模型评测, 分子气味预测, 异构SMILES, 跨语言集成
一句话总结¶
提出了包含 8 大任务类别共 1,010 道客观评估题的首个大语言模型嗅觉感知基准 OP，通过化合物通用名称与异构 SMILES 的双重 Prompt 对比，揭示了当前前沿大模型主要依赖浅层词汇关联而非分子结构推理来回答气味问题。
研究背景与动机¶
气味感知在人类感觉模态中占据着极为特殊的地位。不同于视觉中光波长可以直接映射到颜色感受、或听觉中声波频率直接对应音高，嗅觉受分子三维立体构型与复杂嗅觉受体生物结合机制的共同驱动，两者的映射规律长期缺乏统一的可解释物理法则。尽管人类能够区分海量的混合与单一分子气味，但长期以来仅仅依据化学分子结构来预测其气味表征（即结构-气味关系，Structure-Odor Relationship, QSOR），一直是计算感官科学领域最具挑战的难题之一。
近年来，大语言模型在代码生成、化学机理推导、分子式解析等化学结构理解任务上取得了突破性进展，甚至能够基于 SMILES 预测化学反应产物或解析核磁共振图谱。与此同时，针对视觉、听觉、味觉乃至触觉等人类感知模态的大模型对齐评测不断展开，但嗅觉评测在此前几乎处于完全空白的状态。已有工作主要局限于主观文本嗅觉词汇的嵌入相似度分析（如 SNIFF AI 或基于词嵌入的语义重构），或者依赖专用图神经网络（如 Principal Odor Map 等专用 GNN 模型），完全缺乏一个基于严谨感官科学客观真值、涵盖单分子到混合物全层级、能够系统检验通用大模型是否真正具备嗅觉事实与结构推理知识的评测基准。
核心 idea：构建涵盖 8 类任务、1,010 道题的多维度嗅觉感知基准 OP，采用化合物通用名称与异构 SMILES 的双 Prompt 对比设计，解耦大模型的浅层词汇关联与深层分子结构推理能力。
方法详解¶
整体框架¶
OP 基准涵盖从单分子基础性质识别、主主观感知量化，到混合物知觉与生物受体激活的全链条嗅觉感知体系，总计 1,010 个客观题项。评估过程统一采用两种平行的 Prompt 呈现形式：一种使用纯分子结构的异构 SMILES（Isomeric SMILES），另一种使用化合物通用命名（Compound Names）。通过固定选项与标准化输出格式，确保跨模型自动打分的公平性与可复现性；同时结合多语言翻译管道（跨 21 种语言），评估嗅觉语义表征的跨语言鲁棒性。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["嗅觉科学客观数据集<br/>IFRA / GS-LF / M2OR / DREAM / Leibniz"] --> B["双 Prompt 表征解耦<br/>异构 SMILES vs. 化合物通用名称"]
B --> C["八大层级化嗅觉任务<br/>简单 / 中等 / 困难三级难度划分"]
C --> D["双阶段自动化答案抽取<br/>统一分词规范化 + 任务特异规则"]
D --> E["多语言跨语系集成分析<br/>21 种语言 RATA 扩展与跨模型投票"]关键设计¶
1. 双 Prompt 提示设计：严格解耦词汇记忆与分子结构推理
为了检验大模型回答气味性质时究竟是在利用训练数据中分子名称的共现文本，还是真正具备了从分子立体构型推导感知特性的能力，基准为每个题目设计了完全对称的两种输入格式：通用化合物名称和具有立体化学特异性的异构 SMILES（Isomeric SMILES）。由于嗅觉具有极强的立体异构选择性（如 (R)-香芹酮呈现留兰香香气，而其镜像对映体 (S)-香芹酮呈现葛缕子香气），异构 SMILES 能够无偏差地承载真实的化学立体结构信息，而排除名称带来的语料记忆先验。通过分析同一模型在两种 Prompt 条件下的表现差异，建立量化指标来度量大模型的“结构-知觉”推理水平。
2. 层次化任务构建：覆盖从微观受体到宏观混合物的全感知链条
基准将 8 大任务划分为简单、中等和困难三个难度层级，题库均源自经过同行评审的嗅觉科学权威数据集： - 简单任务（700 题）：包含气味分类（OC，175 题，分子量 \(\le 350\) 的单分子是否可闻）、主要气味描述符选择（OPD，175 题，4选1，覆盖 29 种平衡分层描述符）、气味强度比较（OIn，175 题分子对比较与 0-100 打分）及气味愉悦度比较（OPl，175 题分子对比较与 0-100 打分）。 - 中等任务（200 题）：包含多标签气味评定（RATA，100 题，从 138 个描述符词表中多选挑选 2-5 个真实描述符）与混合物气味相似度评级（OS，100 题，对比含 2-10 种成分的分散混合物对，输出 4 分类相似级别及数值距离）。 - 困难任务（110 题）：包含人类嗅觉受体激活预测（ORA，80 题，多标签预测分子能激活给定的哪些人类 OR 基因）和混合物气味源盲测识别（SIT，30 题，基于复杂香气挥发物谱图 4 选 1 判断来源食物/物体）。
3. 双阶段鲁棒答案抽取流水线
为避免自由生成带来的格式歧义，设计了分词与特异性匹配结合的两阶段提取系统。通用阶段对模型输出按照分号、换行、连词“and”以及连接符切分，去除列表符号与修饰标点，统一转为小写规范化 token。特异阶段根据任务逻辑分别处理：单选与二分类采用任意重叠准确率（Any-overlap Accuracy）；多标签任务（RATA、ORA）提取预测标签集合 \(\hat{Y}_i\) 与真实集合 \(Y_i\)，计算宏观微观多标签 F1 值：
对于连续评分任务（OIn, OPl, OS），抽取提取出的配对数值并计算与人类真实心理物理学打分之间的 Pearson 相关系数 \(r\)。
4. 跨语系多语言扩展与集体智能集成
针对嗅觉感知在不同人类语言与文化中语义描述粒度差异巨大的特性，利用 GPT-5.2 在香精与感官背景的高推理设置下，将 RATA 任务词表和提示语扩展至覆盖 6 大语系的 21 种语言（含日耳曼、罗曼、斯拉夫、印度-伊朗/突厥、东亚及其他语系）。多语言评估引入了跨语言多数投票（Majority Vote Ensemble）集成策略，综合多种语言文化下的描述符倾向，显著增强了针对复杂分子感官特性的感知预测鲁棒性。
实验关键数据¶
主实验¶
评测涵盖 6 大厂商的 21 种主流前沿模型配置，对比化合物名称与异构 SMILES 提示下的整体准确率与细分任务性能：
| 模型 | 推理预算 | 化合物名称总体(%) | 异构SMILES总体(%) | 表征落差(Δ%) | OC(%) | OPD(%) | OIn(%) | OPl(%) | RATA(F1%) | OS(%) | ORA(F1%) | SIT(%) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Claude Opus 4.6 | max | 64.4 | 59.5 | +4.9 | 92.0 | 77.7 | 74.9 | 74.3 | 38.9 | 26.0 | 51.1 | 80.0 |
| Claude Opus 4.6 | high | 63.1 | 58.7 | +4.4 | 91.4 | 78.3 | 71.4 | 74.9 | 40.0 | 26.0 | 49.6 | 73.3 |
| GPT-5.2 Pro | high | 62.2 | 60.1 | +2.1 | 88.6 | 76.0 | 72.6 | 72.0 | 34.6 | 28.0 | 52.8 | 73.3 |
| Claude Opus 4.5 | high | 62.0 | 59.6 | +2.4 | 92.0 | 76.6 | 71.4 | 73.1 | 42.2 | 25.0 | 45.8 | 70.0 |
| GPT-5 Pro | high | 61.9 | 59.0 | +2.9 | 92.0 | 73.1 | 71.4 | 70.9 | 36.1 | 29.0 | 42.5 | 80.0 |
| GPT-5 | high | 61.1 | 55.4 | +5.7 | 89.7 | 73.7 | 66.3 | 71.4 | 36.4 | 34.0 | 40.8 | 76.7 |
| Gemini 2.5 Pro | 32K | 59.7 | 53.2 | +6.5 | 87.4 | 78.3 | 66.9 | 72.0 | 34.0 | 27.0 | 42.4 | 70.0 |
| Claude Sonnet 4.5 | — | 59.6 | 54.1 | +5.5 | 89.1 | 67.4 | 66.9 | 71.4 | 34.9 | 29.0 | 38.4 | 80.0 |
| o3 | high | 59.3 | 55.8 | +3.5 | 89.1 | 70.9 | 68.0 | 70.3 | 31.5 | 32.0 | 42.4 | 70.0 |
| DeepSeek Reasoner | 32K | 58.5 | 45.8 | +12.7 | 81.1 | 73.7 | 69.7 | 73.1 | 33.1 | 32.0 | 31.6 | 73.3 |
| Grok 4.1 Fast | default | 58.3 | 51.2 | +7.1 | 88.6 | 67.4 | 66.9 | 70.3 | 35.5 | 33.0 | 31.1 | 73.3 |
| DeepSeek Reasoner | 8K | 57.3 | 45.0 | +12.3 | 80.6 | 70.3 | 71.4 | 72.6 | 34.7 | 35.0 | 30.5 | 63.3 |
| GPT-OSS-120B | high | 54.0 | 42.8 | +11.2 | 82.9 | 60.6 | 65.1 | 72.0 | 25.1 | 34.0 | 35.6 | 56.7 |
| Llama 3.3 70B | — | 52.7 | 33.8 | +18.9 | 83.4 | 60.6 | 68.0 | 72.0 | 26.8 | 29.0 | 35.0 | 46.7 |
消融与代表性分析实验¶
1. 混合物相似度（OS）中“分子重叠启发式”失效分析 模型在判断混合物气味相似度时严重依赖物理成分交集，无法理解嗅觉感知融合效应：
| 真实类别 | 样本总量 | Claude Opus 4.6 预测正确率 | DeepSeek (8K) 预测正确率 | 模型综合“类似”预测比例 | 核心失败原因分析 |
|---|---|---|---|---|---|
| 极度相似 (SS) | 25 | 8.0% (2/25) | 8.0% (2/25) | < 10% | 36% 的极似混合物共享分子为 0，模型因无分子重叠误判为相异 |
| 轻微相似 (SlS) | 25 | 4.0% (1/25) | 4.0% (1/25) | < 12% | 机械枚举差异化合物，无法捕捉气味融合元气味 |
| 轻微相异 (SlD) | 25 | 76.0% (19/25) | 84.0% (21/25) | > 75% | 强烈偏置倾向：Claude 系列将 77-84% 的混合物全归为此类 |
| 极度相异 (SD) | 25 | 16.0% (4/25) | 44.0% (11/25) | 20-30% | DeepSeek 预测分布分散，借由命中相异真值获得微弱准确率提升 |
2. 多语言集成（Multilingual RATA）消融对比
| 评估配置 | 语系涵盖 | 最佳单模型 / 集成方法 | AUROC / F1 指标 | 关键表现特征 |
|---|---|---|---|---|
| 英语单语言基线 | 独立语系 | Claude Opus 4.5 | F1 = 42.2% | 在所有单语评测中单模型得分最高，词汇先验最密集 |
| 日耳曼语族投票 | 英语、德语、瑞典语 | DeepSeek (32K) 组内投票 | AUROC = 0.778 | 复合词表述契合嗅觉描述，语族内表现最佳 |
| 罗曼语族投票 | 法语、意语、西语、葡语 | DeepSeek (32K) 组内投票 | AUROC = 0.774 | 香水香精传统工业语料丰富，区分度高 |
| 东亚语族投票 | 中文、日语、韩语 | DeepSeek (32K) 组内投票 | AUROC = 0.749 | 嗅觉独立抽象词匮乏，更偏重具体食物或客体比喻 |
| 21 语全语言多数投票集成 | 全部 6 大语系 | Gemini 2.5 Pro (32K) | AUROC = 0.864 | 跨语言集成显著消除单一语言中的盲区描述符 |
| 跨语言 + 跨模型全集成 | 21 种语言 × 7 模型 | 7 种前沿模型联合概率池化 | AUROC = 0.896 | 证明了模型多样性与语言多样性在感官感知上的强互补性 |
关键发现¶
- 显著的表征认知断层：所有 21 种配置中，名称提示均显著优于 SMILES 提示，平均差距达 +7 个百分点（开源模型如 Llama 3.3 70B 悬殊达 +18.9%）。这证明通用大模型并未掌握“根据立体化学推导感官特质”的能力，绝大多数成功答题仅仅是对化合物英文名称与感官属性的高频文本记忆检索。
- 混合物知觉全面崩溃：在 OS 任务中，所有模型几乎全部依赖“分子重叠率”作为相似度代理。当人类嗅觉感知极度相似但两组混合物中分子重叠极低或为 0 时（嗅觉超异构现象 Metamers），模型准确率断崖式跌落至接近 0%，展现出将混合物成分逐个拆解的机械还原论弊端。
- 受体激活的认知异构性与幻觉锁定：在 ORA 任务中，Claude Opus 4.6 max 由于陷入对
hOR2W1_D296N突变会导致“DRY motif 功能丧失”的先验理论推演，在全部 24 次样本中无一命中；而 GPT-5.2 Pro 凭借在思考链（CoT）中的批判性自我纠错，成功找回 19 次正确激活，从而在受体微观生物学机制理解上取得领先。
亮点与洞察¶
- 设计了立体化学对称的 Dual-Prompting 探针：巧妙利用嗅觉对立体异构体极度敏感的自然科学特性，将分子 SMILES 与通用名对齐测试，成为穿透 LLM“真推理”与“伪记忆”的一面照妖镜。
- 发现了多语言嗅觉语义集成的互补性：不同人类语言拥有各异的感官词汇抽象度（如部分语言具有精确独特的嗅觉专有名词），利用跨语系集成将多标签判断 AUROC 从单语言的 0.7 提升至 0.86+，证明多语言空间可有效填补感官认知盲区。
- 揭示了安全对齐机制对感官科学评测的负面干扰：Claude Opus 4.6 对沙林毒剂前体、塔崩（Tabun）等危险化学品的嗅觉性质（如“是否有气味”）触发了无差别的安全拒答，反映出现有通用大模型安全对齐在垂直科学研究问答中边界过于粗放的问题。
局限与展望¶
- 作者承认的局限：基准目前主要采用固定的受限选项和离散多选形式，虽然保证了自动化打分的严密性，但无法完全捕捉气味在不同浓度梯度的阈值变迁、时间动态挥发曲线以及人类跨个体间的嗅觉敏感度方差。
- 潜在的研究局限：多语言题目基于 GPT-5.2 自动翻译，尽管设置了严格的专业术语过滤与回退机制，但在非印欧语系中仍可能存在微妙的文化修辞或感官语境偏差；此外，当前未涉及分子图谱输入的多模态融合架构。
- 改进与迁移思路：未来可将通用 LLM 与专用分子图神经网络（如 Principal Odor Map GNN）结合构建端到端嗅觉具身智能体；同时该基准的表征解耦评测框架，可直接迁移至味觉感知、苦味受体激活或毒理学微观机制评估中。
相关工作与启发¶
- vs ChemBench / ChemIQ: ChemBench 和 ChemIQ 专注在化学基本原理、反应产物推导和有机波谱分析等纯理化层面；本文 OP 则打通了从理化微观结构向宏观人类感官感知与神经生物受体映射的跨学科评测。
- vs SNIFF AI: SNIFF AI 仅通过人类非结构化描述文本做语义嵌入检索，受限于极强的主观主观偏置且准确率仅有 27.5%；本文 OP 采用受控感官科学实验的客观黄金真值，覆盖 1,010 道规范化题目，具备极高可重复性与事实准确性判定标准。
- vs Principal Odor Map (POM): POM 是针对分子图结构训练的专用 GNN 模型；本文探究的是未经嗅觉微调的通用 LLM 本身蕴含的潜在感知常识，为未来感官多模态大模型的研发提供了基准坐标。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次针对通用大语言模型构建严谨客观的嗅觉感知科学基准，立体异构双 Prompt 设计极具穿透力。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 6 大主流厂商 21 种模型配置，深入分析了推理深度、分子重叠偏置、微观突变受体差异与 21 种语言集成。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导缜密，图表详实生动，深入剖析了混合物失败与受体认知的机制根源。
- 价值: ⭐⭐⭐⭐⭐ 为具身智能系统感知多模态扩展、食品风味设计与香精配方数字化提供了重要的评测基石与理论指引。