PitchBench: Measuring Pitch Hearing in Audio-Language Models¶

会议: NeurIPS 2026
arXiv: 2605.26176
OpenReview: https://openreview.net/forum?id=dlSvqHjTE4
代码: https://github.com/vaclisinc/PitchBench
领域: 音频/语音
关键词: 音高感知, 音频语言模型, 绝对音高, 相对音高, 音乐理解基准

一句话总结¶

提出了包含 3 个认知层级、6 大类目和 28 项细分实验的音高感知诊断基准 PitchBench，评测 6 款前沿音频语言模型揭示其在单音识别、声学扰动及复调声部追踪（全部为零分）上的严重感知缺陷与多选题虚假繁荣。

研究背景与动机¶

音频语言模型（Audio-Language Models, ALMs）近年来在声学理解领域展现出巨大潜力，从基础的语音转写与环境音检测，迅速扩展到高层音乐理解任务，如音乐风格分类、乐器识别与开放式音乐问答。随着这些模型被推向智能音乐教学、自动乐谱转录、音乐制作协作者等高精度现实场景，系统对底层音频物理信号的感知保真度提出了前所未有的严苛要求：如果模型无法精确听辨声音的物理基频与音高结构，就根本无法在真实世界中承担起合奏分析、纠错指导或复杂音频推理的职责。

然而，音高（Pitch，即声音基频 \(f_0\) 在人类听觉系统中的感知对应物）这一音乐感知最底层的核心要素，在现存评估体系中长期处于被严重忽视的盲区。主流音频基准大多将音乐能力打包在高阶语义与多模态对话中，即便涉及音高，也往往退化为粗粒度的旋律提取或全局调号识别，无法孤立探究模型基础听觉的极限。更严重的是，现有基准普遍采用多选题（Multiple-Choice Questions, MCQ）形式，模型极易利用选项间的语义线索或盲猜策略命中正确答案，从而掩盖了真实的感知失效——一个甚至分不清单音频率的模型，可能仅凭语言先验就能在四选一中选出近似调式。这使得社区根本无法诊断：模型究竟是缺乏绝对音高分辨力、在时序扰动下丢失了音高表征，还是完全不具备复调声部解耦能力。

为了彻底填补这一评估空白，本文构建了系统化评测套件 PitchBench。研究团队摒弃了高阶任务的笼统评分逻辑，将音高听觉解构为由易到难的认知阶梯，结合完全可控的音频物理合成引擎，在跨音色、跨声学扰动与跨符号格式下实施全方位压力测试。核心 idea：将音频大模型的音高感知解构为原子单音、时序与和声上下文、复调声部追踪的三级诊断谱系，在参数完全可控的合成刺激与跨符号表示下，彻底剥离多选题猜测与文本先验偏差，精准定位前沿模型的听觉感知盲区。

方法详解¶

整体框架¶

PitchBench 构建了一套自底向上的三层认知评估体系，包含 6 大实验类目（A 至 F）共 28 项独立实验，涵盖 17,667 个经过严格物理参数控制的测试样本。输入音频由确定性合成引擎 pitchbench.generation 生成，覆盖 4 种基础解析波形与 15 种 General MIDI 乐器音色（共 19 种音色），并在必要时施加 Pedalboard DSP 效果（滤波、饱和失真、混响、合唱、时间拉伸、颤音与微调失谐）和背景噪声干扰。模型的响应涵盖 MIDI 编号、科学音高记号（SPN）、固定唱名（DoReMi）以及基频数值（Hz）四种表示体系，并以全开放式生成形式进行自动化真值比对。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    In["输入音频刺激<br/>19种音色合成 / 真实噪声 / DSP效果"] --> L1["三级递进式音高感知诊断体系<br/>原子单音 → 上下文结构 → 复调旋律"]
    subgraph Levels ["认知评估层级划分"]
        direction TB
        L1 --> L1_A["Level 1: 原子级音高感知<br/>类目A: 孤立单音 / 响度变化 / 时值变化"]
        L1_A --> L2_B["Level 2: 上下文音高感知<br/>类目B: 时间定位 | 类目C: 和弦结构<br/>类目D: 旋律序列 | 类目E: 声学变异扰动"]
        L2_B --> L3_C["Level 3: 复调旋律音高感知<br/>类目F: 合成多声部 / 巴赫四部合唱声部追踪"]
    end
    Levels --> Synth["确定性可控音频刺激合成管线<br/>FluidSynth物理渲染 + Pedalboard扰动链"]
    Synth --> Repr["多符号系统等价容差评估机制<br/>MIDI / SPN / Solfège / Hz 并行匹配"]
    Repr --> Eva["严苛开放式生成与对抗性声学扰动设计<br/>对比MCQ虚假膨胀 / 离散半音量化偏差检验"]
    Eva --> Out["诊断评测报告<br/>精确度定位 / 失败归因 / 偏差热图分析"]

关键设计¶

1. 三级递进式音高感知诊断体系：解耦感知瓶颈与上下文混淆 针对传统评测无法区分模型究竟在哪一认知阶段失效的问题，PitchBench 提出了三级阶梯式诊断架构。第一级为原子级音高感知（Level 1: Atomic），仅包含持续单一纯音，隔离一切时序与谐波干扰，专项检验模型在不同响度（\(-30\text{ dBFS}\) 至 \(+6\text{ dBFS}\)）与持续时值（\(50\text{ ms}\) 至 \(60\text{ s}\)）下对单一物理频率的绝对辨识力；第二级为上下文音高感知（Level 2: Contextual），引入时间轴定位（在长静音中捕捉隐藏单音、给定时间戳辨音、音符起止时间戳检测）、和弦结构（音高计数、双音音程、10 种和弦性质分类、同时发音枚举）、音符序列（高低音二分类比较、离散旋律轮廓走向、连续滑频轨迹、音高排序、参考音引导下的音高推断）以及声学变异扰动；第三级为复调旋律感知（Level 3: Melodic），构建多声部并行交织场景（合成两/三声部与巴赫四部合唱），要求模型在复杂和声织体中追踪特定声部的音高轨迹。这种逐层递进的设计使得高层任务的溃败可以直接归因于底层基础声学表征的缺失。

2. 确定性可控音频刺激合成管线：消除主观标注噪声与长尾音色偏差 针对真实录音难以获得绝对客观且致密基频真值、且易受录音环境与演奏误差污染的问题，PitchBench 采用纯程序化、基于固定随机种子的合成管线生成全量刺激。音色库覆盖 4 种解析波形（正弦波、锯齿波、方波、三角波）以纯化谐波能量，以及 15 种 General MIDI 乐器（钢琴、电吉他、长笛、小号、长号、单簧管、双簧管、小提琴、大提琴、管风琴、贝斯、合成领奏、合成背景垫乐、合成人声等），横跨弦乐、管乐、打击与合成器家族。音高扫描完整覆盖 MIDI 29（F1）至 MIDI 89（F6）共 61 个半音区间。对于声学扰动类目，管线通过 Pedalboard 模块精确施加可量化的数字信号处理：包括高低通滤波、4-bit 位深度压缩、饱和失真（tanh 软剪切）、卷积混响、重度合唱、相位声码器时间拉伸、正弦频率调制颤音（Vibrato）以及连续微调失谐（Detuning），构筑了兼具物理精确性与声学丰富度的标准化测试场。

3. 多符号系统等价容差评估机制：剥离语言模型输出偏好与算术瓶颈 语言模型在文本生成阶段对不同记谱法具有天然的词表分布偏好。若仅采用单一记谱格式评测，极易把“模型听懂了声音但无法翻译成特定符号”的格式对齐障碍误判为听觉失效。为此，PitchBench 对每项需要给出音高标签的测试，均允许模型在四种标准记谱中任选或并行作答：整数 MIDI 编号（0–127）、科学音高记号 SPN（如 F#4）、固定唱名 DoReMi（如 fa#）以及物理频率数值（Hz，如 369.99 Hz）。评分引擎内置强健的规范化解析器，允许大小写、标点及等音变化（如 C# 与 Db 等价）；对连续频率 Hz 采用 \(\pm 1\%\) 的相对容差区间，对时间戳检测采用 \(\pm 250\text{ ms}\) 的容差判定。在汇总综合表现时，只要模型在 MIDI、SPN 或 Hz 中任一格式输出正确即判定为正确（唱名由于无法区分八度区间不计入综合得分），从而最大限度消除了符号表述瓶颈对纯听觉感知的干扰。

4. 严苛开放式生成与对抗性声学扰动设计：戳破多选题虚假感知泡沫 为验证现有基准依赖多选题所带来的欺骗性，PitchBench 设计了严格的开放式生成基线与对抗性多选题消融。在标准基准中，所有实验均要求模型直接生成音符名称、数量或时间序列，彻底堵死盲猜通道；在专项消融中，设计了包含 5 个选项的受控多选题，并将干扰项以对称半音步长设置在真实音高周围（\(\pm 2, \pm 4, \pm 6\) 半音）。同时，在 E6 实验中引入了感知吸引盆内的微小离散失谐（Detuning）扰动，迫使模型在非标准十二平均律下做出“最近标准音”决策。实验设计直接验证了前沿模型是否具备真正的连续声学频率追踪能力，还是仅仅依赖语言预训练中固化的离散词元先验。

一个完整示例：D7a 参考音引导推断与 E6 失谐探测¶

以序列音高评测中的 D7a（带语言学参考音的音高推断）为例：系统将一个已知参考音（如 A4，440 Hz）与一个待测目标音（如相距 +7 半音的 E5）拼接在同一音频片段中，中间插入 500 ms 静音。提示词明确给出前导信息：“第一个音符是 A4（MIDI 69），请指出 500 ms 静音后播放的第二个音符的音高”。模型可以使用 SPN（输出 E5）、MIDI（输出 76）或频率（输出 659.25）作答。而在对抗性声学测试 E6 中，系统将一个名义为 MIDI 60（C4，261.63 Hz）的音符微调 \(+15\text{ Hz}\)（偏离标准音但仍在 C4 听觉吸引盆内），要求模型输出其最接近的标准半音。测试结果显示，模型往往在未给参考音时（A1）准确率极低，而在给定参考音后（D7a）大幅跃升，但在非标准微调音频（E6）中因无法进行连续频率解析而发生灾难性崩溃。

实验关键数据¶

主实验：前沿 ALMs 在 PitchBench 各任务组的准确率对比¶

评测涵盖 6 款支持音频输入的顶级模型：Qwen-3.5 Omni Plus、Qwen-3.5 Omni Flash、Gemini 3.1 Pro、Gemini 3 Flash、GPT-4o Audio 与 Audio Flamingo Next Instruct。下表展示了各大实验组（A: 单音原子级; B: 时间定位; C: 和弦结构; D: 序列结构; E: 声学扰动; F: 复调多声部）的代表性任务及全集平均准确率（%）。

实验组别与任务	AF-next-instruct	Gemini 3.1 Pro	Gemini 3 Flash	GPT-4o audio	Qwen-3.5 Omni Plus	Qwen-3.5 Omni Flash
A1 基础单音识别 (Pitch ID)	35.9	14.9	6.0	6.1	91.6	75.1
A2 响度变化 (Loudness)	43.0	22.5	23.0	14.5	90.5	71.5
A3 时值变化 (Duration)	29.5	20.0	21.0	13.8	74.8	61.0
B1 静音中隐蔽音定位 (Silence)	5.6	25.6	21.3	14.6	90.0	75.6
B2 时间戳对应音高 (At Time)	10.0	17.3	16.7	10.7	77.3	56.7
C1 和弦音符计数 (Count)	13.6	46.5	39.9	3.1	9.7	20.2
C2 双音音程识别 (Interval)	7.8	6.9	9.1	5.2	9.1	11.2
C3 和弦性质分类 (Quality)	9.9	13.0	10.4	10.9	13.0	13.0
C4 同时发音枚举 (Chord P.)	0.0	1.5	0.0	0.0	15.6	12.8
D1 序列音符计数 (Seq. Count)	26.4	51.4	25.0	20.0	82.1	78.6
D2 高低音二元判别 (High/Low)	50.0	63.6	50.8	50.0	65.2	57.6
D7 参考音引导推断 (Ref. Pitch)	13.9	58.5	35.4	14.6	96.2	76.9
D8 完整序列转录 (Seq. Pitch)	0.0	0.0	0.0	0.0	55.0	2.9
E1 DSP声学效果 (Effects)	35.0	21.3	19.6	12.9	86.7	55.8
E2 背景噪声干扰 (Background)	12.1	4.2	14.2	12.1	42.9	22.9
E6 音高微失谐 (Off Pitch)	23.8	12.5	13.8	11.3	22.5	30.0
F1 合成多声部旋律追踪 (Atonal)	0.0	0.0	0.0	0.0	0.0	0.0
F2 巴赫四部合唱声部追踪 (Tonal)	0.0	0.0	0.0	0.0	0.0	0.0
全集综合平均准确率 (Mean)	15.4	17.8	14.0	8.4	47.7	34.2

消融与鲁棒性分析：声学干扰与多选题格式对比¶

下表汇总了模型在统一子集下的声学扰动稳健性（Table 2），以及由开放式生成转为受控多选题（MCQ，不同半音间距干扰项）时的性能变化（Table 3）。

扰动配置 / 评估模式	AF-next-instruct	Gemini 3.1 Pro	Gemini 3 Flash	GPT-4o audio	Qwen-3.5 Omni Plus	Qwen-3.5 Omni Flash
A1 纯净基准 (Clean Baseline)	33.3	7.1	2.4	2.4	90.5	71.4
响度极低 (\(-30\text{ dBFS}\))	16.7	7.1	0.0	0.0	85.7	47.6
时值极短 (\(50\text{ ms}\))	0.0	4.8	0.0	2.4	4.8	4.8
时值适中 (\(4\text{ s}\))	59.5	4.8	2.4	7.1	90.5	66.7
混响干扰 (Reverb)	21.4	16.7	2.4	2.4	88.1	59.5
背景噪声: 钟声干扰 (Bells)	4.8	7.1	0.0	0.0	2.4	2.4
背景噪声: 白噪声 (White Noise)	0.0	0.0	0.0	9.5	26.2	4.8
微调失谐 (Detuning)	2.4	5.2	7.9	4.4	14.7	15.9
MCQ: \(\pm 2\) 半音干扰项	35.7	66.7	35.7	21.4	90.5	73.8
MCQ: \(\pm 4\) 半音干扰项	35.7	57.1	38.1	40.5	95.2	69.0
MCQ: \(\pm 6\) 半音干扰项	47.6	52.4	40.5	40.5	88.1	61.9
MCQ 平均增益 (MCQ Gain)	+4.8	+38.7	+26.8	+23.8	+0.6	-2.4

关键发现¶

复调多声部追踪全军覆没：在 F1（合成多声部）与 F2（巴赫四部合唱）中，所有 6 款前沿模型的准确率均为 0.0%。这表明当前 ALMs 完全无法在重叠谐波的复调织体中解耦出独立的旋律流，多声部听觉分离能力处于彻底空白状态。
多选题制造严重的虚假能力幻象：转为多选题后，开放式下极弱的模型准确率产生暴增。Gemini 3.1 Pro 准确率从 7.1% 暴涨至 45.8%（净增 +38.7%），GPT-4o Audio 暴涨 +23.8%，Gemini Flash 暴涨 +26.8%。但干扰项间距（\(\pm 2, \pm 4, \pm 6\) 半音）的变化与得分并不呈现单调相关，证明模型并非利用音高邻近度听辨，而纯粹是在利用多选题先验蒙题。
相对音高感知显著优于绝对音高：在提供参考音（D7a）后，所有主流模型的表现发生质的跃升（Qwen Plus 达到 96.2%，Gemini 3.1 Pro 达到 58.5%）。模型对音频中音符间音程关系的感知显著强于孤立绝对音高的分类能力。
失谐鲁棒性崩溃揭示离散量化缺陷：在 E6 失谐测试中，Qwen-3.5 Omni Plus 从 90.5% 断崖式跌落至 14.7%。这证明模型在特征编码器层面是将输入强行量化到标准半音 Bin，缺乏连续频率跟踪机制。
强烈的文本语言先验偏见：在单音预测中，GPT-4o 呈现出强烈的“自然音（白键）偏好”，并极度高频地预测 A4（440 Hz）。这与文本预训练数据中“A4/440Hz 作为标准调音音高”的极高词频完全吻合，暴露出其输出被语言先验深度绑架。

亮点与洞察¶

构建首个音高物理底座诊断基准：打破了过去将音乐理解混同于流派风格等高层语义的粗放评测范式，直击多模态音频模型最底层、最不可或缺的物理感知基石，并开源了完全由代码生成的确定性基准管线。
量化戳破多模态多选题的泡沫：通过严密的开放生成与 MCQ 对照实验，以确凿数据证明了现有多选题基准给音频模型戴上了多么夸张的“能力滤镜”，为多模态基准评测的规范化树立了范式。
揭示语言模型对音频特征的反向污染：揭示了 ALM 在音乐感知中的“幻听”往往不是声学编码器看不清频谱，而是解码器中的语言词元频率偏好压制了真实的感知信号（如 A4 偏好、Hz 数值运算失败等）。

局限与展望¶

依赖算法合成音频，缺乏真实演奏的自然声学微表情：当前所有刺激均由 FluidSynth 与合成器生成，虽确保了真值的绝对精准，但无法完全覆盖真实乐器演奏中的微观时值抖动、非线性共鸣与真实录音室声学空间。
音色库局限于西方通用 MIDI 体系：15 种乐器主要覆盖标准西方管弦乐器与常见键盘，未涉及非西方民族乐器、微音程体系（如阿拉伯四分音律）及特殊人声扩展发声技巧。
未来改进路径：研究团队计划在未来版本中引入高质量真实多轨录音素材以扩展声学多样性，并增加微音程音高感知与精细动态节奏结合的复杂听辨任务。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次针对音频大模型音高感知展开系统解构与基准构建，实验设计极具诊断深度。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 28 项实验、1.7 万测试例、6 款前沿模型及丰富的声学扰动与多选题消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严整，实验归因深刻，图表与论证清晰有力。
价值: ⭐⭐⭐⭐⭐ 彻底戳破现有音频模型在音乐感知上的能力幻象，为下一代感知可靠型音频大模型指明了改进方向。