VocalGrad: Evaluating Acoustic Perception in Audio Language Models¶

会议: NeurIPS 2026
arXiv: 2610.23745
OpenReview: https://openreview.net/forum?id=fagktzeTe2
代码: https://github.com/ynklab/vocalgrad
领域: 音频/语音
关键词: 音频语言模型, 声学感知, 基准测试, 线性探测, 失败模式

一句话总结¶

提出了包含 21,600 个样本的声学感知评测基准 VocalGrad，通过单一声学特征的时间变化二分类任务隔离高层语义推理，揭示了前沿音频语言模型接近随机猜测（~50%）的感知瓶颈及其两类表征失效机制。

研究背景与动机¶

大型音频语言模型（LALM）近年来迅速从传统的语音转录（ASR）拓展至副语言学及非语言学音频理解任务（如情感识别、副语言韵律推断和环境声音理解）。然而，现有前沿模型在实际应用中依然表现出严重依赖文本词汇语义、忽视底层声学线索的倾向——当说话人的语调或韵律与字面意思冲突时模型往往出现判断失常，且在重音词识别或环境声混合场景下表现脆弱。

这种能力缺陷背后的核心矛盾在于：现有音频评测基准（如 MMSU、MMAU、WoW-Bench 等）大多采用多音频重排序、细粒度时序对齐或时间戳预测等复合任务，将底层声学感知与高层语义推理、跨片段记忆或复杂提示词遵循紧密耦合。当模型在这些基准上表现不佳时，研究界无法厘清究竟是前端声学感知编码存在缺陷，还是语言解码器在后续推理整合与输出决策时发生了瓶颈。

为了将底层声学感知能力从复杂的语义理解与推理步骤中彻底剥离，本文提出了一种受控且对称的基准测试设计，通过在保留语音词汇内容的同时仅对单一声学特征施加时间维度变化，将任务极致简化为时序变化方向（增加 vs. 减少）的二元判断。核心 idea：通过构建单特征时序变化的二分类探针基准 VocalGrad 并结合分层线性探测，彻底隔离高层语义推理以系统量化音频语言模型的声学感知边界，定位声学信息在模型深层表征中的衰减与语言头利用瓶颈。

方法详解¶

整体框架¶

VocalGrad 的评估与分析流程由受控数据增强管线、统一二分类提示评测以及跨层级线性探测机制三个阶段串联构成。输入端选取多说话人源语音，经语音启闭点（Onset/Offset）能量检测后，对单个目标声学属性施加时序轨迹变换，生成严格对称且保留原始语言文本的音频片段；随后利用精简的二分类 Prompt 驱动前沿模型预测变化方向；最后利用线性分类器探查不同层级表征中声学信息的存留状态。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["源语音输入<br/>VCTK 100段语音基底"] --> B["语音端点检测与切片<br/>短时能量确定有效语音跨度"]
    B --> C["单因子时序变换增强<br/>3种强度 × 4类轨迹合成"]
    C --> D["统一定向二分类评测<br/>Prompt: increase / decrease"]
    D --> E["分层线性探测与瓶颈归因<br/>Pre-LLM / Late-LLM / LM-Head 探测"]

关键设计¶

1. 单因子时序变换增强：解耦声学感知与语言语义的受控生成

现有基准常因背景噪声、音调与语速同时混杂而导致变量无法控制。VocalGrad 选取 VCTK 语料库中平衡性别与口音的 50 位说话人共 100 段源语音，通过短时 RMS 能量自适应阈值检测语音启闭点，确保变换仅精确落在有效发音区间内。变换覆盖 3 类说话人固有属性（语速 speed、音高 pitch、音量 volume）和 6 类环境诱发属性（音频失真 distortion、粗糙度/量化伪影 roughness、背景高斯噪声 noise、混响回声 echo、清晰度低通滤波 clarity、低频振颤 vibration）。每个属性沿 3 种强度等级（High, Medium, Low）与 4 种时间轨迹（突变 jump、线性 linear、前凸二次方 quad_first_flat、后凸二次方 quad_last_flat）进行调制。归一化时间 $t \in [0, 1]$ 下的增强强度严格由对应轨迹方程给出： $$a_{\mathrm{inc}}(t) = a_{\min} + (a_{\max} - a_{\min}) g(t), \quad a_{\mathrm{dec}}(t) = a_{\max} - (a_{\max} - a_{\min}) g(t)$$ 通过构建增减对称的 21,600 条测试样本，基准在保留完全相同词汇语义的基底上将评测彻底收敛为单一维度的感知。

2. 统一定向二分类评测：剥离复合推理的极简任务范式

为规避传统基准中片段排序或时间戳生成引入的复杂决策干扰，VocalGrad 统一采用标准化的极简问答模板：“Does the {attribute} increase or decrease over time? Answer with only one word: 'increase' or 'decrease'.”。该设计迫使模型仅建立声学属性名称与对应音频物理感知之间的映射关系。针对部分模型遵循格式不严（输出完整句子、截断或拒答）的现象，评测引入不区分大小写的词边界规则解析器提取预测方向，并在评测中验证不同提示词句式与正反选项顺序的敏感度，确保评测结果真实反映底层感知而非指令理解幻觉。

3. 分层线性探测与瓶颈归因：透视内部隐层表征的可分性演化

单纯观察生成文本输出无法定位失效环节是发生在声学编码端还是解码语言端。为此，本文设计了跨层级的线性探测（Linear Probing）协议，在 500 段独立源语音生成的 12,000 条训练样本上训练单层线性分类器（配合交叉熵损失与 AdamW）。探测对象覆盖三类特征：原始声学参考（Mel-spectrogram）、跨模态投影后进入解码器前的音频表征（Pre-LLM）、语言解码器最后一层的音频表征（Late-LLM），以及语言模型预测输出 token 位置在解码器各隐层的表征（Text Prediction Representations）。音频序列经 16 个时间段均匀平均池化后拼接成定长向量，从而定量追踪声学信息在网络深层传递过程中的衰减动态。

损失函数 / 训练策略¶

在基准验证阶段，模型直接进行冻结推理；在线性探测阶段，分类器使用单层全连接网络配对二元交叉熵损失： $$\mathcal{L}_{\mathrm{BCE}} = - [y \log \sigma(w^\top h + b) + (1 - y) \log (1 - \sigma(w^\top h + b))]$$ 以学习率 $10^{-3}$、权重衰减 $10^{-4}$ 训练 200 个 epoch。针对最优模型 Kimi-Audio，进一步开展参数高效微调（PEFT LoRA，配置 $r=8, \alpha=16$），分别设置“仅微调语言模型头（LM-Head）”与“全线性层微调（All-Linear）”两种策略，在包含 10,800 条样本的子集上以学习率 $2 \times 10^{-4}$ 训练 1 个 epoch，以验证各层表征的可激活度与跨类别泛化能力。

实验关键数据¶

主实验¶

在 21,600 个测试音频上，人类评估者展现出高度敏锐的感知能力（平均准确率 94.4%），而当前顶尖的 5 款大型音频语言模型在全类别上几乎全部停留在接近随机猜测（~50%）的水平：

模型	平均 (Avg.)	语速 (speed)	音高 (pitch)	音量 (volume)	失真 (distortion)	粗糙度 (roughness)	噪声 (noise)	回声 (echo)	清晰度 (clarity)	振颤 (vibration)
Human Avg.	94.4%	95.3%	84.7%	100.0%	86.0%	99.3%	100.0%	94.7%	90.7%	99.3%
Gemini 3 Flash	50.2%	50.0%	51.5%	49.9%	48.1%	44.8%	55.5%	50.3%	54.0%	47.6%
Kimi-Audio	51.8%	53.1%	50.5%	50.5%	51.6%	48.0%	56.5%	54.5%	53.6%	47.6%
MiMo-Audio	50.3%	50.7%	50.5%	52.9%	49.8%	43.2%	53.2%	50.0%	52.2%	50.3%
Step-Audio 2 mini	50.0%	49.9%	50.2%	49.9%	50.2%	49.9%	49.9%	50.0%	49.8%	49.8%
Audio Flamingo 3	49.6%	50.0%	50.0%	50.0%	50.0%	46.7%	50.0%	50.0%	49.9%	50.0%

消融与微调分析实验¶

通过纯正弦波信号（ablation-beep）剔除语言内容干扰，并对 Kimi-Audio 进行不同层级 LoRA 微调以验证表征利用瓶颈：

实验配置 / 类别	语速 (speed)	音高 (pitch)	音量 (volume)	粗糙度 (roughness)	噪声 (noise)	振颤 (vibration)	说明
无语言基底 (Kimi-Audio beep)	—	50.4%	57.5%	—	50.0%	50.0%	移除语音语义后感知依然受限
无语言基底 (MiMo-Audio beep)	—	50.0%	55.8%	—	64.2%	50.0%	消除语言干扰仅带来有限增益 (<70%)
Kimi-Audio LM-Head 微调	73.2%	57.0%	88.2%	97.7%	98.6%	53.3%	局域能量特征在语言头即可释放
Kimi-Audio All-Linear 微调	99.0%	98.7%	100.0%	100.0%	100.0%	99.2%	更新全网络浅层可全面挽回感知能力

关键发现¶

两类正交的表征失效模式：分层线性探测揭示出截然不同的信息流变化。第一类属于短时局部能量主导的特征（如 Volume、Background Noise、Audio Roughness），其声学变化在 Late-LLM 和文本预测浅层表征中均保持高度线性可分（接近 100%），端到端的失败纯粹是因为语言模型头（LM-Head）无法将该表征映射到文本；第二类属于长程或时序调制特征（如 Voice Pitch、Speaking Speed、Voice Vibration），在解码器深层其线性可分性发生进行性衰减。
语言干扰并非核心根源：在无任何语义信息的纯正弦波合成音频消融测试中，模型准确率依然普遍低于 65%，证明当前模型的失败不是由于复杂的词汇语义占先阻碍了感知，而是模型表征体系本身对低层连续时序声学变化的表征建模极度匮乏。
严重的方向性输出先验偏移：输出分布审计发现，Step-Audio 2 mini 与 Audio Flamingo 3 对文本选项存在极度坍缩的倾向（如特定类别预测 increase 的比例高达 99.9% 或低至 0.0%），由于缺乏置信的声学感知线索，模型直接退化为固定先验偏置。

亮点与洞察¶

将感知从复杂推理中剥离的减法思想：以往基准盲目堆叠多模态长上下文与高层认知，而 VocalGrad 反其道而行之，通过单变量时序微扰将评测收敛到最原始的“音变方向感知”，一针见血地戳破了当前音频大模型在声学感知层面的假繁荣。
LM-Head 成为低层声学能力的过滤器：线性探测与 LoRA 实验证明，音频大模型的语言解码器其实往往在内部完整保留了音量、信噪比等底层声学表征，但仅优化文本生成的预训练目标使语言头完全钝化了对这类低层信号的读取能力，仅微调 LM-Head 即可迅速释放这些沉睡信息。

局限与展望¶

单因子合成与真实多变量共变的鸿沟：VocalGrad 的样本均由受控信号处理管线单变量生成，而现实人类言语交流中往往存在音高、音量、语速的伴随协同变化（如愤怒时通常音量升高且音高上升），未来需拓展至更自然的共变声学场景。
时间池化分辨率相对粗糙：探测实验采用 16 个等分段的平均池化特征，虽然能有效压缩定长序列，但可能抹平极短时的精细声学调制特征（如瞬态杂音），未来可引入更细粒度的时间序列解码模型进行深度追溯。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 评测设计思路独到，通过任务极简归一化隔离声学感知与推理，首次系统揭示声学特征在 LALM 解码层中的两类失效模式。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 9 大声学维度、21,600 个测试样本、6 人类标注基准、5 个主流大模型，且配备了系统的线性探测、正弦波消融与 LoRA 微调实验。
写作质量: ⭐⭐⭐⭐⭐ 论文结构严谨清晰，问题定义锐利，从端到端测评到表征探测的论证逻辑链条十分完整。
价值: ⭐⭐⭐⭐⭐ 为解决音频语言模型“重文本、轻声学”的根本顽疾指明了诊断方向，对未来音频统一多模态模型的预训练目标与架构设计具有重要指导意义。