🎵 音频/语音¶
💬 EMNLP2026 · 31 篇论文解读
📌 同领域跨会议浏览: 🧠 NeurIPS2026 (54) · 🎞️ ECCV2026 (26) · 📷 CVPR2026 (23) · 🔬 ICLR2026 (79) · 💬 ACL2026 (70) · 🧪 ICML2026 (36)
🔥 高频主题: 语音 ×24 · 翻译 ×5 · 对话系统 ×3 · 推理 ×2 · 对抗鲁棒 ×2
- A Family Affair: Counterintuitive transfer effects across speech-language models
-
针对低资源濒危语言 ASR 常假设同语族语言迁移效果最优的传统经验,本文在 7 种台湾南岛语系濒危语言上进行严格的音素等量跨语言微调实验,反直觉地证实非亲缘关系供体语言(如英语、斯瓦希里语)的迁移增益显著优于同族语言,甚至超过近一倍目标语本语言数据的微调效果。
- Audio-Reward-R1: Reasoning Reward Model for Unified Audio Understanding and Generation
-
Audio-Reward-R1 是首个统一音频理解偏好(AUP)与音频生成偏好(AGP)的推理型奖励模型,通过两阶段数据构建、细粒度维度推理与可验证奖励指导的 GRPO 强化学习,在 Audio-Reward-Bench 上取得 87.90%(AUP)和 80.10%(AGP)的最佳性能,全面超越闭源模型 Gemini-3-pro-preview。
- Better Retrieval, Worse Robustness: How Multi-hop RAG Amplifies Upstream ASR Errors
-
本论文系统评估了口语多跳检索增强生成(RAG)管道,发现实体图链接与迭代检索重构等先进结构虽然在干净文本上表现优异,但在面对上游ASR识别误差时不仅未能吸收扰动,反而将口音导致的F1退化差距放大了36%至67%,其实验诊断证明查询实体破坏是占据主导地位的级联失效根源。
- Beyond Text Following: Repairable Arbitration Reversals in Audio-Language Models
-
针对音频语言模型在图文/音文冲突下盲目顺从文本的仲裁反转失效,本文提出一种免训练的门控反事实对数校正算法 GACL,通过因果激活修补定位到答案边界残差流的表征位移,在严格忠实度预算下显著挽救音频遵循决策。
- BiMTokenizer: Preserving Semantic-Acoustic Balance in Low-Bitrate Speech Tokenization
-
针对低比特率语音编解码中双塔解耦架构参数开销大与单塔码本崩溃的困境,BiMTokenizer 在单塔架构下融合双向 Mamba 骨干与无须可学习码本的残差球面李奇量化(RSLQ),在 1.1 kbps 极低码率下实现了保真度与语音理解能力的双重突破。
- Bulbul: A Dataset for Dialectal Arabic Speech Recognition
-
本文构建了首个涵盖11个阿拉伯国家、16个细粒度方言与子方言的大规模多源社区驱动语音识别数据集BULBUL(总计71.59小时),并配套两级质检和口音化现代标准阿语/古典阿语评估集,揭示了前沿多语言ASR在真实方言口语识别中的巨大性能落差。
- CALM: Class-Conditional Sparse Attention Vectors for Large Audio-Language Models
-
本文提出免微调分类器 CALM,将冻结大音频语言模型内部注意力头建模为类别条件专家,利用少样本边界置信度加权实现软投票聚合,在音频、视听及跨模态少样本分类上显著超越均匀投票基线。
- CSAVocoder: A Causal Spatial Audio Vocoder Towards Real-Time Spatial Audio Generation
-
针对传统神经声码器忽略跨通道空间线索且非因果架构难以实时流式推断的瓶颈,CSAVocoder 提出一种集成多通道自注意力与动态位姿 FiLM 调制的空间适配器、严格因果无未来帧依赖的状态化生成器,以及格式自适应声场一致性判别器与损失函数,在保持高保真波形合成与亚实时(RTF=0.1587)低延迟的同时,显著提升了双耳与一阶高保真立体混响(FOA)空间声学线索的渲染精度。
- DOA: Training-Free Decoder-Only Attention Policy for Long-Form Simultaneous Translation with SpeechLLMs
-
针对 Decoder-Only 架构 SpeechLLM 缺乏显式交叉注意力的瓶颈,DOA 提出一种纯训练无关的流式决策策略,直接从自注意力矩阵中切片出代理交叉注意力信号并结合标点感知历史剪枝,在长音频连续流式翻译中实现了逼近离线解码的高质量与低延迟。
- EmbodiChat: Towards Zero-Latency Text-driven Talking Face Generation for Embodied Dialogue
-
针对具身对话中传统级联式音频驱动面部动画延迟高、易受级联误差干扰以及跨硬件泛化难的痛点,EmbodiChat 将面部动作生成直接对齐到两阶段 TTS 的离散/连续声学表征空间,摆脱了对中间音频波形合成与跨模态适配器的依赖,配合流式隐空间解码器和通用面部动作编译器(UFAC),在消费级 GPU 上实现了约 150 ms 的首包音频延迟与跨异构机器人的高保真动作迁移。
- FlexiSLM: A Spoken Language Model with Dynamic and Controllable Frame Rates
-
FlexiSLM 是首个实现动态且可控帧率的语音大语言模型,通过输入端与输出端自适应帧合并以及基于正弦编码的直接目标帧率条件控制,在无需重训的情况下支持 \(\le 12.5\text{ Hz}\)(包括 \(12.5\text{ Hz}\)、\(6.25\text{ Hz}\) 直至 \(4.0\text{ Hz}\))的任意平均帧率推理,在 \(6.25\text{ Hz}\) 下以仅约一半的推理耗时达到甚至超越固定帧率 7B 模型的语音问答水准。
- From Visual Cues to Spoken Narration: Rethinking Audio Description Generation
-
本文重新审视了影视音频描述(Audio Description, AD)任务,指出真实场景中视觉事件发生的视窗(what)与旁白插入的声音间隙视窗(when)天然存在时序偏移,提出两阶段框架 Cue2Narrate——利用视听双头时序定位器预测成对的非重叠视窗,再通过带描述排序损失(DRL)的 VLM 生成紧凑的影视旁白,并在新构建的长视频基准 LongLSMDC 上取得了超越单模态与基线模型的表现。
- HyperStyler: Low-resource Authorship Style Transfer via Context-aware Style Navigation and Hypernetworks
-
HyperStyler 将低资源作者写作风格迁移解耦为“上下文感知风格导航”与“参数调制风格实现”两个阶段,通过 Stylo-navigator 计算输入相关的风格坐标,并驱动 Stylo-hypernet 动态生成解码器前缀与低秩适配器参数,在显著降低内容风格纠缠的同时实现极高保真度与高推理效率。
- KoALa-Bench: Evaluating Large Audio Language Models on Korean Speech Understanding and Faithfulness
-
针对非英语大音频语言模型缺乏系统评估与语音模态利用不足的问题,本文构建了包含基础语音理解四任务与语音忠实度两项新任务(SCA-QA 与 PA-QA)的韩语综合基准 KoALa-Bench,评测揭示模型在反事实与长音频证据定位中普遍存在严重的文本先验偏好与多模态不忠实。
- LoMaR: Local Margin Preservation via Residual Subspace Adaptation for Noisy Prompt Robustness in Small Language Models
-
针对端侧小语言模型(SLM)在语音识别(ASR)转写错误及键入扰动下局部 logit 边界过窄导致预测翻转的缺陷,提出两阶段参数高效微调框架 LoMaR,先在干净提示下拉开正确 token 与竞争项的局部边界,再通过 SVD 冻结主方向并仅在残差子空间对齐噪声边界,在零推理开销下大幅降低错误翻转率。
- NaijaS2ST: A Multi-Accent Benchmark for Speech-to-Speech Translation in Low-Resource Nigerian Languages
-
针对非洲低资源语言缺乏多口音双向语音翻译真实基准的瓶颈,本文构建了覆盖豪萨语、伊博语、约鲁巴语、尼日利亚皮钦语与英语的~269小时平行语音语料库NaijaS2ST,并系统评测了级联、端到端与AudioLLM三大范式在双向S2TT与S2ST任务上的表现与失效模式。
- Not All Queries Are Equal: Query-Type-Aware Mixture-of-Experts for Temporal Knowledge Graph Forecasting
-
针对传统时序知识图谱预测模型对所有查询采用单一推理管线而忽略历史证据差异的问题,本文提出 QTI-MoE 架构,将查询划分为稀疏、周期与模糊三种历史模式,并设计具备衰减聚合、频次累加与多样性归一化等互补归纳偏置的专用专家与门控路由,在四大基准上均取得 SOTA 预测表现。
- OmniRetriever: Any-to-Any Audio-Video-Text Retrieval via Fusion-as-Teacher Distillation
-
针对统一音视频文本(AVT)嵌入模型在训练中从不利用三模态联合前向信号的痛点,OmniRetriever 提出将联合融合向量作为教师蒸馏给单模态子编码器,并结合模态轮换负例的 Tuple-InfoNCE 精炼联合表征,首次在 12 个全向检索路线上超越闭源 Gemini Embedding 2。
- Overtone: Fine-Grained Audio Reasoning via Diagnostic-Driven Delayed Acoustic Fusion
-
针对音频大语言模型中层因语言建模目标将声学细节系统性抹除为语义抽象的「表征重构」瓶颈,Overtone 提出由诊断驱动的延迟声学融合架构,通过双轨抽取与后压缩层(L12–L24)门控交叉注意力注入冻结的 WavLM 高保真声学记忆,并辅以深层重构正则化与强化学习端到端时间定位,在 MMAU 取得 open-source ≤8B 模型 SOTA(77.66%)。
- ParaBridge: Bridging Paralinguistic Perception and Dialogue Behavior in Speech Language Models
-
提出 ParaBridge 框架,利用在策略自蒸馏(on-policy self-distillation)将推理期显式副语言提示脚手架的密集全词表分布蒸馏进无脚手架模型,彻底弥合语音语言模型“听得出副语言却不会在对话行为中做出反应”的感知-行为鸿沟。
- Ready to Speak: Aligning LLMs for TTS-Friendly Text Generation
-
本文将大语言模型面向文本转语音(TTS)的友好文本生成形式化为多目标偏好对齐问题,提出基于可解释特征加权的 FaST 框架与启发式-回环评测体系,使 LLM 原生输出开箱即用且高度可听的口语化文本,在 10 样本低数据约束下显著优于黑盒奖励模型与提示工程,且消除了后处理文本规整带来的显著延迟。
- SimulS2ST-Omni: Data-Efficient Streaming Speech-to-Speech Translation via Explicit Trajectory Supervision
-
提出 SimulS2ST-Omni 框架,通过显式构建“文本-声学离散语义单元”联合提交轨迹,配合解耦语言规划与稠密声学预测的 Thinker–Talker 双流架构,仅依靠约 2,000 小时合成配对语音数据即可实现高质量、低延迟的长音频流式语音同声传译。
- SimulS2ST-Omni: Data-Efficient Streaming Speech-to-Speech Translation via Explicit Trajectory Supervision
-
提出两流 Thinker–Talker 架构与显式文本-语义编码联合轨迹监督机制,仅用约 2,000 小时合成配对语音数据,在长语音同传与句子级基准上达到与顶级闭源系统相当的翻译质量与超低延迟。
- Speaking While Listening: A Survey and Empirical Audit of Full-Duplex Spoken Dialogue Systems
-
本文针对学术界与工业界将机制各异的口语对话系统笼统标榜为“全双工”的认知混乱,系统提出了三维互补理论框架(L0–L3 决策分层、T×I×R 交互本体、五状态决策状态机),并基于统合的 Full-Duplex-Bench v1.5 基准实施严格实证审计,揭示出架构可行性与训练数据覆盖之间的“实现差距”(Realization Gap)。
- SpeechEditBench: A Bilingual Multi-Attribute Benchmark for Instruction-Guided Speech Editing
-
SpeechEditBench 针对指令引导语音编辑构建了首个涵盖 7 项原子任务与多重复合操作的双语多属性评测基准,提出解耦编辑生效与非目标内容保留的锚点评估协议(目标/保留/联合成功率),全面揭示了现有语音大模型在复杂复合编辑与内容保真上的核心瓶颈。
- Tracing a Sparse Emotion-Control Circuit in LLM-Based Text-to-Speech
-
本文针对基于大语言模型的自回归语音合成系统,提出了 codec 轨迹分数与深层残差方向分数两种情绪敏感评估指标,通过因果干预定位出一个由 conditioning-prefix 输入端延伸至深层读出端的稀疏情绪控制电路(仅占约 5% 的注意力头与 MLP),揭示了共享计算骨干与情绪特异性表征协同作用的机制,并证实该内部电路对可听波形的基频、能量与频谱特征具有显著因果影响。
- TTS-Hub: Leveraging Modular LoRAs and Arithmetic Composition for Controllable Text-to-Speech
-
TTS-Hub 首次将可控语音合成形式化为模块化 LoRA 适配器的代数算术组合,通过构建覆盖 6 大类别、32 种细粒度属性的 LoRA 中心,在冻结骨干网的前提下仅凭加法、减法与标量缩放即可实现无需重新训练的多属性精细化语音控制。
- Unlocking the Spoken Style: Mechanistic Localization and Lightweight Control of Orality in LLMs
-
针对语音智能体文本端输出书面腔严重且难以按受众调节口语强度的痛点,本文构建了首个包含 0–5 级口语度标注的 4,709 对书面转口语平行语料 WSPairs,通过因果激活修补将口语表征定位在 Transformer 后期层及稀疏注意力头上,并提出了无需更新权重的校准激活引导(CAS)与仅需 0.004%–0.006% 可微调参数的自适应激活引导(LAS),实现了兼顾语义保真与等级单调性的轻量口语风格可控重写。
- Unsupervised Speech Recognition at the Syllable Level
-
提出首个音节级无监督语音识别系统 SylCipher,通过可微音节软池化、共享编码器掩码语言建模与位置分布匹配,无需 G2P 发音字典和对抗训练,在 LibriSpeech 与多种低资源语言上大幅刷新无监督识别性能。
- When Scaling Fails: Mitigating Audio Perception Decay of LALMs via Multi-Step Perception
-
针对大音频语言模型在长思维链推理中因无法稳定锚定声学线索而出现“越想越错”的音频感知衰减问题,本文提出综合评估框架 CAFE 首次量化该缺陷,并设计感知强化推理与审查策略 MPAR²,通过双阶段训练与细粒度奖励机制实现 74.59% 的 MMAU 精度并动态优化计算开销。
- Why We Need Speech to Evaluate Speech Translation
-
本文系统评估了现有文本与语音质量估计(QE)模型在语音翻译专有现象上的局限,提出并开源了融合语音编码器的 SpeechCOMET 系列模型与基于 SpeechLLM 的评测范式,揭示出当前指标对语音专属特征盲目的三大核心成因。