MAEB: Massive Audio Embedding Benchmark¶
会议: NeurIPS 2026
arXiv: 2602.16008
OpenReview: https://openreview.net/forum?id=nm06bgkKGH
代码: https://github.com/embeddings-benchmark/mteb
领域: 音频/语音
关键词: 音频表征评测, 多任务基准, 跨模态检索, 聚类分析, 鲁棒性
一句话总结¶
构建全面且高效的音频通用表征评测基准 MAEB（精简至 30 项核心任务，全集 MAEB+ 达 98 项），通过对 53 款主流音频编码器的跨任务、跨语种深入评测，揭示出声学与语言学表征的内在权衡及无监督语义聚类的普遍失效。
研究背景与动机¶
音频与语音表征学习是智能语音助手、音乐推荐、环境声学感知等众多下游系统的基石。然而，该领域的评测范式长期处于高度割裂与局部碎片化状态：语音识别类工作通常局限于词错率或音素分类，声学事件工作仅关注环境音（如 ESC-50）或特定音效分类，而跨模态模型则通常孤立在特定文本-音频检索数据集上跑分。这种评测环境的割裂使得研究者既无法横向衡量单一编码器在不同应用场景间的迁移泛化能力，也缺乏持续维护的开源基础设施追踪真实的技术演进。
现有评测的更深层痛点在于评测维度狭窄与评估成本的不可承受。绝大多数现有评测完全忽视了多语种音频理解、长音频序列建模以及跨模态跨语言泛化等现实挑战；另一方面，若简单地将大量任务粗暴拼凑进行穷尽式测试，单一模型的评测将耗费数百 GPU 时，使得绝大多数学术团队望而却步，无法形成活跃的社区生态。
本文旨在将 MTEB、MMTEB 与 MIEB 在文本和视觉表征领域所建立的标准生态扩展至音频模态，通过严格的有效性过滤、去冗余和计算耗时平衡构建出紧凑高效的核心评测集。核心 idea：依托 MTEB 统一生态构建涵盖语音、音乐、环境音及生物声学的多语种跨模态音频表征基准 MAEB，通过原则性任务精简将单卡评测开销压缩至 2 小时级别，并全面系统地检验现有音频模型在通用表征、跨域迁移及下游 Audio LLM 中的真实表征能力。
方法详解¶
整体框架¶
MAEB 的设计目标是在保证领域多样性、语言多样性与任务完备性的前提下，实现高效、可复现与可持续维护的评测体系。基准构建流程始于全集 MAEB+（包含 98 项音频任务与大规模数据集），经过五项严密的过滤原则（有效性检验、独特性覆盖、语言广度、Spearman 秩相关去冗余 \(\rho > 0.8\)、单任务推理耗时优化）筛选出 30 项代表性任务作为正式 MAEB 基准。此外，评测体系支持纯音频子集 MAEB(audio)（19 项任务）以及完整的 MAEB+ 超集。在任务层面上，涵盖线性探测分类、零样本跨模态分类、语义聚类、音频对分类、单模态与跨模态检索以及重排序等 7 大类评估范式。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态与多域原始数据集<br/>语音 / 音乐 / 环境音 / 生物声学 (98 项任务)"] --> B["五维原则性任务精选与去冗余<br/>相关性剪枝 (Spearman ρ > 0.8) 与耗时过滤"]
B --> C["MAEB 紧凑评测基准<br/>30 项核心任务 (覆盖 100+ 语言)"]
C --> D["标准化表征提取与预处理<br/>30s 截断 / 统一采样率 / 模型原生池化"]
D --> E["七大类下游评测协议<br/>分类 / 零样本 / 聚类 / 对比 / 检索 / 重排序"]
E --> F["Borda 计数与多维排名输出<br/>声学与语言学权衡 / Audio LLM 相关性分析"]关键设计¶
1. 原则性任务筛选与高保真计算压缩：在保持评测辨识度的同时实现 3 倍加速
全量评测 98 项任务存在严重的算力壁垒和重复评测问题。MAEB 建立了五项级联筛选标准：首先执行有效性检验（例如在检索任务中优先选择更符合实际落地场景的文本到音频方向）；其次锁定独特性覆盖，凡涉及独占声学域（如唯一的生物声学聚类任务 BirdCLEF）无论耗时多长强制保留；随后优先保留语言覆盖面更广的多语种任务；核心步骤是在候选任务间构建模型排序相关性矩阵，凡两两任务间模型排名的 Spearman 相关系数 \(\rho > 0.8\)，则视为表征信号冗余，仅保留计算成本更低或语种覆盖更全的一方；最后依据 GPU 吞吐优化淘汰高冗余开销任务。通过这一流程，MAEB 将任务数从 89 项（MAEB extended）浓缩至 30 项，评测耗时降低 2.2 至 3.3 倍（例如 YAMNet 评测从 6.02 小时压缩至 2.01 小时，wav2vec2-xls-r-2b 从 45.62 小时降至 26.93 小时），且与扩展集的 Pearson 得分相关性高达 \(r=0.981\)、Spearman 排名相关性达到 \(\rho=0.912\)。
2. 七大类统一评估范式与严格的少样本探测机制：全面覆盖判别与生成表征属性
为防止传统指标单一依赖全量微调导致的过拟合或高昂开销，MAEB 制定了严格且轻量的无参数或少样本评测协议： - 分类（Classification）：采用 Logistic Regression 在固定音频嵌入上进行 8-shot 少样本线性探测（Few-shot Linear Probing），在极低训练开销下准确测量特征的线性可分性。 - 零样本分类（Zero-shot Classification）：针对具有跨模态能力的模型，将类别转换为文本提示文本（例如 "This is a sound of dog bark"），直接计算音频嵌入与文本嵌入的余弦相似度进行归类。 - 语义聚类（Clustering）：采用 MiniBatchKMeans（\(k\) 设为真实类别数），以条件熵度量指标 V-measure 作为主要评判标准，评估表征在完全无监督下的语义聚簇自组织能力。 - 跨模态与单模态检索（Retrieval）：包含音频-音频、文本-音频与音频-文本检索，以余弦相似度排序，核心指标采用交叉验证 Recall@5（CV Recall@5）或 NDCG@10。 - 音频对分类与重排序（Pair Classification & Reranking）：针对判断是否同一说话人/类别计算平均精度（Average Precision），并在含有难负样本的候选集中通过 MAP@1000 评估细粒度判别能力。
3. 多语种与全声学域泛化测试：打破单一英语环境的表征鲁棒性审计
不同于以往仅包含英语朗读语料的语音基准，MAEB 系统性融入了覆盖超过 100 种语言的多语种评测集（如包含 102 种语言的 FLEURS、包含 14 种语言语音指令的 MInDS-14、包含 94 种语言分类的 SIB-FLEURS 以及 CommonVoice）。不仅评测多语种环境下的声学分类，更重点引入了极具挑战性的跨语种文本-音频检索。同时覆盖环境声学事件（FSD50K、ESC-50）、多风格音乐（GTZAN、JamAlt）及生物声学（BirdCLEF、BirdSet），构建了多维雷达网，使任何单一领域的专用过拟合模型在综合排名中均无所遁形。
4. 基于 Borda 计数的鲁棒性多模型排名聚合：消除指标尺度偏差
为了避免不同任务间绝对数值幅度差异（如某些重排序得分高达 80% 而聚类得分普遍低于 15%）对模型全局能力的过度倾斜影响，MAEB 借鉴 MTEB 与 MMTEB 的聚合机制，采用无参数的 Borda 计数（Borda count）作为综合排序依据。每个评测任务被视作一个选民，基于各模型在该任务上的主指标对模型赋予排名偏好得分，最终通过总排名累计消除极端异常值干扰，同时在榜单中同步提供各类别平均分供精细化分析。
实验关键数据¶
主实验¶
在 MAEB 的 30 项核心任务上评估了涵盖四大类别（自监督/声学音频编码器、Seq2Seq 语音模型、对比对齐模型、多模态音频大语言模型）的 53 款主流模型。
| 模型 | 模型类别 | 参数量 | MAEB 综合排名 | 音频专属排名 | 全任务均分 (%) | 分类均分 (%) | 聚类均分 (%) | 重排序均分 (%) | 跨模态检索 (%) | 零样本分类 (%) |
|---|---|---|---|---|---|---|---|---|---|---|
| LCO-Embedding-Omni-7B | Large Audio-LLM | 7B | 1 | 5 | 52.2 | 58.0 | 1.7 | 78.7 | 50.3 | 64.5 |
| Qwen2-Audio-7B | Large Audio-LLM | 7B | 2 | 1 | 33.7 | 62.7 | 12.7 | 80.8 | 1.6 | 12.4 |
| Whisper-medium | Seq2Seq | 769M | 3 | 2 | 46.7 | 57.5 | 5.0 | 67.6 | - | - |
| larger_clap_general | Contrastive | 630M | 4 | 3 | 32.2 | 51.7 | 6.6 | 66.8 | 9.8 | 14.9 |
| LCO-Embedding-Omni-3B | Large Audio-LLM | 3B | 5 | 11 | 50.7 | 56.4 | 1.3 | 75.4 | 50.3 | 62.2 |
| larger_clap_music_and_speech | Contrastive | 630M | 6 | 4 | 31.9 | 51.3 | 7.7 | 65.6 | 9.3 | 13.2 |
| Whisper-base | Seq2Seq | 74M | 8 | 6 | 42.7 | 53.0 | 5.0 | 65.0 | - | - |
| CLAP-htsat-fused | Contrastive | 194M | 10 | 14 | 30.7 | 44.5 | 22.7 | 61.3 | 9.2 | 13.2 |
| AST-AudioSet | Audio Encoder | 86M | 15 | 15 | 44.2 | 48.9 | 6.9 | 77.6 | - | - |
| WavLM-large | Audio Encoder | 317M | 18 | 18 | 37.9 | 43.9 | 2.4 | 68.8 | - | - |
| YAMNet | Audio Encoder | 3.7M | 21 | 20 | 38.0 | 40.1 | 1.6 | 81.7 | - | - |
| wav2vec2-xls-r-2b | Audio Encoder | 2B | 24 | 23 | 38.7 | 48.4 | 1.4 | 62.9 | - | - |
消融与细分分析：基准精简化与跨模态多语种崩溃¶
为验证从扩展集精简至 MAEB 的代表性，以及评测不同声学任务下的性能漂移，下表汇报了精简前后关键模型性能指标、运行时长以及代表性语种跨模态检索的崩溃现象：
| 评估维度 / 任务配置 | 代表模型 / 场景 | 关键指标 | 表现说明与数据对比 |
|---|---|---|---|
| 基准压缩有效性 (Extended \(\rightarrow\) MAEB) | YAMNet | 运行时间 (A100 GPUh) | 从 6.02h 降至 2.01h (3.0\(\times\) 加速，Pearson \(r=0.981\)) |
| 基准压缩有效性 (Extended \(\rightarrow\) MAEB) | CLAP-htsat-fused | 运行时间 (A100 GPUh) | 从 35.35h 降至 13.03h (2.7\(\times\) 加速，Spearman \(\rho=0.912\)) |
| 声学特征 vs. 语言学特征冲突 (VoxPopuli) | CLAP-htsat-unfused | 性别识别 vs. 语言识别准确率 | 性别 94.4% vs. 语种 30.0% (偏向声学音色，丧失语言判别) |
| 声学特征 vs. 语言学特征冲突 (VoxPopuli) | Whisper-medium | 性别识别 vs. 语言识别准确率 | 性别 59.2% vs. 语种 99.4% (偏向语言转写语义，丢失低层音色) |
| 多语种跨模态检索崩溃 (FLEURS 102 语种) | 多数 CLAP 变体 | 跨语言 Text-to-Audio Recall@5 | 绝大多数非英语语种表现 \(<3\%\) (部分极低资源语种 \(<1\%\)) |
| 多语种文本对齐突破 (FLEURS 102 语种) | LCO-Embedding-Omni-7B | 跨语言 Text-to-Audio Recall@5 | 保持在 50%+ 准确率 (得益于多模态对齐微调) |
| 聚类结构塌陷 (全域语义聚类平均) | 表现最佳模型 (CLAP-htsat-fused) | V-measure | 仅 22.7% (即便是榜首 LCO 亦仅 1.7%，表征几何流形缺乏无监督紧凑度) |
关键发现¶
- 不存在全能通用音频表征（No Universal Model）：在语音识别上预训练的模型（如 Whisper、SeamlessM4T）在音乐和环境音分类上表现不佳；反之，在 AudioSet/环境音上训练的对比模型（CLAP）在语音意图识别（MInDS-14）上几乎退化到随机猜测（\(<15\%\)）。5 个声学子域的最高表现者完全不同（语音为 LCO，音乐、环境音及生物声学由 AST 主导，情绪由 Qwen2-Audio 领先），且无任一模型能触及 80 分的全面通用基线。
- 声学特征与语言学特征存在内在对立权衡：音色、说话人性别等低层声学特征与转写、语种、语义等高层语言学特征在当前单向量嵌入中难以兼顾。优化说话人特征的模型（CLAP 性别识别 94.4%）在语言识别上大幅跌落至 30.0%；而面向转写的 Whisper-medium 则在语言识别取得 99.4% 却在性别识别跌至 59.2%。
- 多语种跨模态对齐呈现断崖式下跌：虽然音频-音频同模态检索在多语种下保持相对稳定，但主流对比对齐模型在跨模态检索上严重依赖英语文本。在 102 种语言的 FLEURS 评测中，CLAP 等模型跨语言检索 Recall 跌破 1%～3%，暴露出单模态与跨模态多语种声学对齐的严重不足。
- 无监督聚类能力普遍匮乏：所有模型在聚类任务上均表现惨淡（最高 V-measure 仅 22.7%，大部分领先模型在 1%～5% 徘徊），说明监督训练和常规对比损失构建的向量空间虽能在分类器辅助下线性可分，但其拓扑结构并未在无监督下形成致密的语义簇。
- 编码器质量与 Audio LLM 表现强相关：在 MMAU 综合评测上的 4 款 Audio LLM（Qwen2-Audio、SALMONN、LTU、Pengi）与其音频编码器在 MAEB+ 对应 26 项分类任务上的表征得分呈现显著正相关（\(R^2 = 0.86\)），表明 MAEB 的评估结果可直接作为下游大模型多模态感知能力的先导预测指标。
亮点与洞察¶
- MTEB 体系的模态版图补完：将已被文本（MTEB/MMTEB）和图像（MIEB）高度验证的社区驱动、自动化评测基准成功扩展至音频领域，统一了横跨 7 大类任务与 4 大声学域的标准化协议。
- 去冗余的高效基准构建算法：基于模型排名的 Spearman 秩相关矩阵（\(\rho > 0.8\)）进行任务剪枝，以数学严密的方式证明了可以在缩减至 30 项任务的前提下保持与 89 项扩展任务高达 0.981 的强相关，极大降低了社区复现评测的算力门槛。
- Audio LLM 表征质量的风向标：首次系统量化了纯音频/跨模态编码器表征能力与下游生成式 Audio LLM 顶层理解能力之间的强相关性，为未来音频大模型选择与设计声学骨干网络提供了量化依据。
局限与展望¶
- 输入时长固定与长音频建模不足：受限于模型结构和内存，评测将音频统一截断为 30 秒，无法有效评测播客、演讲、长时间环境监测等长时程时序建模能力。
- 缺乏真实复杂声学场景的生态有效性：评测集多数样本来自干净的录音室或高质量剪辑音频，缺少混响、真实强噪声背景、多说话人重叠及重度压缩等工业级落地噪声干扰。
- 未覆盖生成与流式能力：基准聚焦于特征嵌入表征，未涵盖音频生成质量评估、流式在线低延迟处理以及语音分离等序列生成任务。
相关工作与启发¶
- vs HEAR (Turian et al., 2022)：HEAR 是早期通用音频评测尝试，仅评测 19 项任务且绝大部分依赖 MLP 微调分类器。MAEB 扩展至 30/98 项任务，囊括跨模态文本检索、零样本匹配、多语种以及无参数/轻量少样本线性探测，评测范式更加完备。
- vs MTEB / MMTEB / MIEB：继承了统一的代码仓库框架、Borda 计数聚合与多语言多任务设计思想，填补了 MTEB 宇宙中音频关键模态的长期空白。
- vs MMAU & AudioBench：MMAU 与 AudioBench 专门评测 Audio LLM 的端到端指令遵循与推理问答；MAEB 则从表征学习根源切入，评估底层音频嵌入的几何结构与判别能力，二者形成上下游互补。
评分¶
- 新颖性: ⭐⭐⭐⭐ [将成熟的 MTEB 评测生态系统化迁移至多语种、全声学域的音频模态，并提出原则性剪枝标准]
- 实验充分度: ⭐⭐⭐⭐⭐ [评测涵盖 53 款主流模型、跨越 100+ 语言及 30/98 项任务，并验证了下游 Audio LLM 的强相关性]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，图表清晰详实，深入揭示了声学与语言学对立、聚类失效等深刻表征问题]
- 价值: ⭐⭐⭐⭐⭐ [填补了通用音频嵌入基准的长期空白，为推动多模态通用音频表征学习提供了坚实的开源基础设施]