HalluAudio: A Comprehensive Benchmark for Hallucination Detection in Large Audio-Language Models¶

会议: ACL 2026
arXiv: 2604.19300
代码: https://github.com/Feiyuzhao25/halluaudio
领域: 音频语音
关键词: 音频幻觉, 大型音频语言模型, 基准评测, 对抗性提示, 多维分析

一句话总结¶

本文提出 HalluAudio，首个大规模跨领域（语音/环境声/音乐）的音频幻觉检测基准，包含 5000+ 人工验证的 QA 对和系统化的对抗性提示设计，通过多维指标（准确率/幻觉率/Yes-No偏差/拒绝率/错误类型）评估主流 LALM，揭示了当前模型在声学锚定、时间推理和音乐属性理解方面的显著缺陷。

研究背景与动机¶

领域现状：大型音频语言模型（LALM）在语音识别、声音问答和音乐理解方面展示了强大能力。幻觉问题在文本和视觉领域已被广泛研究，但在音频领域严重不足。

现有痛点：(1) 现有音频基准主要关注能力评估而非可靠性；(2) 少数音频幻觉研究（如 AHa-Bench）规模小、仅限二元分类、缺乏诊断深度；(3) 缺乏系统化的对抗性提示和混合音频条件来诱发幻觉。

核心矛盾：在标准基准上表现强的模型不一定能抵抗幻觉——能力评估和可靠性评估之间存在鸿沟。

本文目标：构建首个大规模、跨领域、多维度的音频幻觉检测基准，系统分析 LALM 的失败模式。

切入角度：三个领域（语音/环境声/音乐）× 多种任务类型（二元判断/多选推理/属性验证/开放问答）× 对抗性设计（对抗提示/混合音频），配合多维评估指标。

核心 idea：定义音频幻觉为模型生成的声明不受输入声学证据支持，包括编造（声称不存在的事件）、证据矛盾和无根据的肯定偏差三种类型。

方法详解¶

整体框架¶

HalluAudio 通过五步流水线构建：(1) 音频选择——从 Common Voice、FSD50K、GTZAN 等高质量标注语料中选取；(2) 模板化提示生成——参数化提示模板配合正/负实例化；(3) 对抗性构建——最小修改提示或音频属性创建控制正负对比；(4) 验证和质量控制——三轮人工验证（两名独立标注 + 一名高级审核）；(5) 打包和平衡——跨领域、任务类型和幻觉类别平衡。

关键设计¶

三领域多任务评估体系:
- 功能：覆盖语音、环境声和音乐三个主要音频领域的幻觉行为
- 核心思路：语音任务包括重叠检测、词序判断、计数、性别验证、噪声验证、转录匹配、速度/响度比较。环境声任务包括重叠/顺序/存在/共存检测、错配查询、多标签检查、响度比较。音乐任务包括流派匹配、乐器存在、节奏/速度比较、调性判别。每类任务有明确的幻觉诱发机制
- 设计动机：不同音频领域有不同的幻觉模式——语音中的时间幻觉、环境声中的事件编造、音乐中的属性误判。覆盖三个领域确保全面诊断
对抗性提示和混合音频设计:
- 功能：系统化地诱发和测量幻觉
- 核心思路：对抗性提示用故意误导的描述测试模型是否盲目同意（如问一段男声录音"女声说了什么？"）。混合音频将两段音频拼接，测试模型是否能正确区分时间顺序和事件归属。正/负对比组通过最小修改（仅改变一个属性）隔离幻觉触发因素
- 设计动机：标准测试无法暴露幻觉——模型在标准输入上可能表现良好但在对抗性输入上崩溃。Yes/No 偏差等系统性问题需要专门设计的测试来发现
多维评估指标体系:
- 功能：超越准确率的全面失败模式分析
- 核心思路：(1) 准确率——基础正确性；(2) 幻觉率——模型编造不存在事实的比例；(3) Yes/No 偏差——模型是否系统性倾向肯定或否定回答；(4) 错误类型分析——区分编造、矛盾、肯定偏差；(5) 拒绝率——模型拒绝回答的比例
- 设计动机：仅看准确率会隐藏系统性偏差。Yes/No 偏差和拒绝行为是 LALM 特有的失败模式

损失函数 / 训练策略¶

HalluAudio 是评测基准，不涉及模型训练。采用统一的零样本评估协议，输出经自动化评估引擎标准化和验证。

实验关键数据¶

主实验¶

主流 LALM 在三个领域上的平均准确率

模型	语音 Acc	环境声 Acc	音乐 Acc	总体 Acc
Gemini-2.5-Pro	最高层	最高层	最高层	~70-80%
Qwen2-Audio	中等	中等	低	~50-60%
SALMONN	低	中等	低	~40-50%

消融实验¶

维度	发现	说明
Yes/No 偏差	多数模型倾向 Yes	无根据肯定偏差普遍
拒绝行为	部分模型频繁拒绝	安全对齐过度
领域差异	音乐最难	音乐属性理解最弱
对抗性 vs 标准	显著下降	证实幻觉问题不在标准评估中显现

关键发现¶

音乐领域是所有模型的最大弱点——音乐属性（调性、节奏、乐器细节）理解能力严重不足
系统性 Yes/No 偏差普遍存在——模型倾向无条件肯定，即使音频中不存在被问及的元素
标准基准高分 ≠ 幻觉鲁棒——能力评估和可靠性评估之间的鸿沟在音频领域同样显著
闭源大模型在抗幻觉方面通常优于开源模型，但差距不如文本/视觉领域大

亮点与洞察¶

首个系统化的音频幻觉基准——填补了文本和视觉领域已有大量幻觉研究但音频领域几乎空白的鸿沟
三领域×多任务×多维指标的设计提供了前所未有的诊断粒度
Yes/No 偏差和拒绝率分析揭示了 LALM 特有的系统性问题

局限与展望¶

数据集规模（5K+）相对视觉幻觉基准仍较小
音频源来自有限的几个数据集，可能不覆盖所有真实场景
多语言语音幻觉未涉及
未来可扩展到音频-视频联合场景和对话式音频理解

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首个大规模跨域音频幻觉基准，填补重要空白
实验充分度: ⭐⭐⭐⭐ 多模型多维度评估，但对模型表现的深入分析可更详细
写作质量: ⭐⭐⭐⭐ 基准设计清晰，分类法系统
价值: ⭐⭐⭐⭐⭐ 为音频 AI 安全研究提供了急需的评测工具