跳转至

🎵 音频/语音

🧠 NeurIPS2026 · 54 篇论文解读

📌 同领域跨会议浏览: 🎞️ ECCV2026 (26) · 📷 CVPR2026 (23) · 🔬 ICLR2026 (79) · 💬 ACL2026 (70) · 🧪 ICML2026 (36) · 🤖 AAAI2026 (31)

🔥 高频主题: 语音 ×36 · 对话系统 ×5 · 压缩/编码 ×3 · 对抗鲁棒 ×3 · LLM ×3

Adaptive Compression and Targeted Perturbation: A Unified Framework for Generalized Audio Deepfake Detection

针对音频深度伪造检测中伪造痕迹信息密度异质以及对抗防御破坏正常声学结构的难题,本文提出了结合自适应特征压缩池(AAFI)与高频梅尔带对抗扰动(Mel-BAP)的即插即用统一框架,使轻量 Whisper 骨干在跨语种和多种未知伪造攻击下取得领先的泛化检测表现。

AnyEdit: A Unified Framework for Speech and Singing Voice Editing with Real-World Environmental Consistency

AnyEdit 提出了解耦语义编辑与声学渲染的免分离两阶段框架,结合抗噪韵律蒸馏与上下文流匹配声学模型,实现了真实噪声、混响和伴奏环境下语音与歌声的高保真局部统一编辑。

Asymmetric Hierarchical Anchoring for Robust Audio–Visual Cross-Modal Generalization

针对音视频跨模态泛化中对称架构存在的信息分配模糊与语义泄露缺陷,提出以音频分层残差矢量量化为单向语义锚点、结合对抗解耦与局部滑动对齐的非对称框架,显著提升跨模态零样本事件定位与表征解耦纯度。

Audible World Models: Spatially Aware Sound Generation for 3D Worlds

Audible World Models 将全景生成、声源语义解析、干声合成和几何声学连接起来,把声音存为三维世界的持久状态;在保持较强语义匹配的同时,得到更准确的运动相关方向线索,但目前仍是静态世界的离线构建系统。

Audio-Visual Flamingo: Open Audio-Visual Intelligence for Long and Complex Videos

针对现有音视频大模型局限于短片段且深层表征存在视觉偏差的瓶颈,本文推出全开源音视频大语言模型 AV-Flamingo,通过构建涵盖 700 万样本的 AV-Skills 数据集、三阶段长上下文课程学习体系,以及显式锚定时间戳的时序交织思维链(TAVIT),在 15+ 项音视频与全模态长视频基准上取得开源同量级最佳表现并匹敌前沿闭源系统。

AudioCALM: Continuous Autoregressive Language Modeling for Universal Audio Generation

AudioCALM 提出连续自回归语言建模(CALM)范式,通过流匹配预测头将自回归下一个 token 预测拓展至连续音频潜空间,并引入块因果 AR-Flow 注意力与非对称专家混合(A-MoME)架构,一举统一语音、音效与音乐的高保真端到端生成。

Baton: Explicit Semantic Blueprints for Joint Video-Audio Generation

Baton 首次将显式语义规划解耦引入音视频联合生成,通过多模态规划器(VA-Planner)预先生成相互对齐的关键帧级感知蓝图,并配合相对语义 RoPE 解决非对称网格失配,彻底消除了复杂长程提示下双模态去噪轨迹的对抗漂移。

Breaking Adversarial Transferability in Fine-Tuned Speech Recognition

针对基于公开基础模型微调的私有 ASR 系统容易遭受对抗扰动黑盒迁移攻击的安全隐患,本文提出 TransferBreaker 框架,通过基模型对抗微调、隐空间雅可比正则化与混合梯度对抗微调,在保持干净样本识别精度的同时将跨模型对抗字错误率从 92.6% 显著压缩至 27.8%。

CS-Dialogue: A 104-Hour Dataset of Spontaneous Mandarin-English Code-Switching Dialogues for Speech Recognition

提出了首个开源且包含完整对话转录的 104 小时大规模自发性中英代码倒换语音识别数据集 CS-Dialogue,并系统建立了涵盖从头训练模型与主流预训练语音大模型的评测基准。

CS-Dialogue: 基于104小时中英自发对话的语码转换语音识别数据集

针对现有中英语码转换数据集多为朗读语音、孤立语句且规模受限的痛点,本文提出了首个包含104小时完整双人自然对话录音与精细转录的大规模开源中英语码转换语音识别数据集 CS-Dialogue,并建立了涵盖经典模型与大模型的多范式评测基准。

Decoupling Conversational Dynamics in Full-Duplex Spoken Models through Reinforcement Learning

针对全双工语音模型中交互动态性与复杂推理能力之间的退化矛盾,本文提出强化学习框架 DuplexPO,将“何时说话/让步”的实时边界决策与“说什么”的语义内容解耦,在保留通用推理与指令遵循能力的同时显著提升了打断让步、轮次转换与反馈应答质量。

DELTA-TTS: Adapting Autoregressive Model into Diffusion Language Model for Text-to-Speech

DELTA-TTS 提出了首个将预训练自回归(AR)语音合成模型适配为离散扩散语言模型(dLLM)的轻量化框架,仅冻结基座并训练约 15% 参数的 LoRA 与 Conformer 卷积模块,配合置信度优先解码与时间偏移调度,在仅 585 小时 LibriTTS 微调下超越 CosyVoice3 基座,并将离散 token 生成速度提升 3.3 倍。

Do Speech BCIs Need Larger Models? Rethinking Neural Decoding beyond Scaling

针对语音脑机接口盲目堆砌大模型导致的严重过拟合与离散音素瓶颈问题,本文提出两阶段轻量框架 BEST,通过层次化频域/时间编码、多尺度音素-字符特征融合以及紧凑语音解码器直接映射文本,仅用现有方案 3.85% 的参数量即可在 Brain-to-Text '24 和 '25 取得 6.19% 与 1.62% 的词错误率。

DUET: Unified Dual-Space Emotion Control for Diffusion and Flow-Matching Driven Text-to-Speech

DUET 发现预训练扩散与流匹配 TTS 模型的隐状态中蕴含与说话人身份近乎正交的线性可解码情感方向,据此提出无需重训的即插即用双空间控制框架,单步融合隐空间方向导向与 Mel 谱空间可微声码器梯度引导,在 5 种异构模型和 3 个基准上全面超越 10 种有监督情感 TTS 基线。

EchoChat: Structured Cognitive Reasoning in Empathetic Spoken Dialogue

EchoChat 将共情语音对话从粗暴的端到端直接映射重塑为包含感知、心理理论推理与回应生成的结构化认知推理过程,结合声学锚定注意力与步长分解信用分配强化学习,显著解决了共情假热心与多阶段级联误差传播难题。

Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes

提出了逼近真实复杂声学场景的双基准 RealSSA(含多干扰说话人、混响与突发噪声及真实录音验证集)与极轻量单步流式音视频提取网络 Falcon,利用非对称 U-Net 多尺度时频精炼与编码器空间说话人对比损失,在大幅削减计算和延迟的同时取得多基准 SOTA 质量。

Enhancing Speech Large Language Models through Reinforced Behavior Alignment

VIRBA 针对语音大语言模型在不同说话人、口音和非流利扰动下决策漂移的问题,构建同语义多视图语音指令组,融合规则验证、声学不变性与自适应推理等多维奖励,并通过跨声学组相对策略优化(CA-GRPO)实现了鲁棒的端到端行为对齐。

FLARE: Full-Modality Long-Video Audiovisual Retrieval Benchmark with User-Simulated Queries

针对长视频跨模态检索中依赖单模态、短片段及详尽描述评测的脱节痛点,提出首个全模态长视频视听检索基准 FLARE,构建 8.7 万个视听切片与 27.5 万条经硬双模态约束过滤的真实感用户查询,系统揭示了用户式短查询与音频语言对齐瓶颈。

From Isolated feature to Orbits: Discovering Music Concepts via Multi-SAE Alignment

本文提出一种基于半音移调等变性的多视角稀疏自编码器(SAE)对齐框架,利用共享 Top-K 掩码与后验后继映射无监督恢复音乐概念的有向轨道结构(如和弦环、调性下属音环与旋律链),仅需极少锚点标注即可泛化解析整族音乐概念。

Getting Motif-ated: Controllable AI Compositions from Injected Motif Prompts

本文提出 MotiGen 框架,通过引入移调不变的音程类别序列抽象表征、结构化 %motif: 提示行注入、训练与推理一致的标量注意力偏置,以及从局部动机截断到全篇乐谱的两阶段课程学习,使预训练符号音乐大语言模型在保持音乐自然度的同时实现高达 92.3% 的动机容纳率与可控生成。

GS-Codec: A Gaussian-Splatting Bottleneck for Neural Audio Coding

突破基于码本或网格离散化划分潜空间的传统架构,GS-Codec 首次将 1D 高斯泼溅(Gaussian Splatting)作为音频编解码器的参数化分解瓶颈,结合轻量预测网络实现单次前向极速编码与免重训的精细后量化比特率控制。

Hearing is Believing? Evaluating and Analyzing Audio Language Model Sycophancy with SYAUDIO

本文提出了首个针对音频语言模型(ALM)阿谀奉承(Sycophancy)行为的系统评测基准 SYAUDIO,揭示了语音指令双重输入会大幅加剧模型顺从用户错误偏见的声学模态特性,并提出监督微调与解码期隐状态引导两种抑制机制。

Helping Music Co-Creation Agents 'Listen' Well: Hierarchical Self-Supervised World Models for Understanding and Generation

本文提出面向符号音乐(MIDI)的分层自监督世界模型与流匹配生成框架,通过 Swin V2 编码器的多层级表征解耦音乐时间尺度,并在无损重构与层级 dropout 调控下实现 CPU 秒级的实时交互式音乐补全与协作生成。

Kinetic-Optimal Scheduling with Moment Correction for Metric-Induced Discrete Flow Matching in Zero-Shot Text-to-Speech

针对基于度量诱导的离散流匹配(MI-DFM)在零样本语音合成中依赖启发式时间调度和有限步 CTMC 求解路径跟踪误差两大瓶颈,本文提出了基于 Fisher-Rao 几何的无训练动力学最优调度器与保持跳转目标分布的有限步矩校正方法(GibbsTTS),在统一架构和大规模数据集下显著提升了语音自然度与说话人相似度。

LibriBrain100: One Hundred Hours of Broad and Deep MEG Data for Neural Speech Decoding at Scale

LibriBrain100 构建了超 100 小时的非侵入脑磁图 (MEG) 连续自然语音感知数据集与基准评测体系,包含单一被试 80 小时深度数据与 32 名新被试浅层多被试数据,并通过监督微调 MEG-XL 验证了深度数据向浅层被试的强泛化能力。

MAEB: Massive Audio Embedding Benchmark

构建全面且高效的音频通用表征评测基准 MAEB(精简至 30 项核心任务,全集 MAEB+ 达 98 项),通过对 53 款主流音频编码器的跨任务、跨语种深入评测,揭示出声学与语言学表征的内在权衡及无监督语义聚类的普遍失效。

MAST: Label-Efficient, Robust, and Generalizable Sound Detection for Biodiversity Monitoring via Masked Audio Pretraining and Self-Training

针对被动声学监测中动物叫声时频标注极度匮乏及跨时间、跨站点分布偏移导致的检测崩溃问题,MAST 提出了结合非对称上采样与各向异性滤波的掩码音频预训练检测器,并通过置信度加权的两阶段渐进自训练课程,在仅需单站点单天标注下实现了强鲁棒的时频事件定位。

Mind The Gap (MTG-AD): Dataset and Fine-grained Evaluation for End-to-End Inline Audio Descriptions

针对多模态大语言模型生成视频行内音频描述(Inline AD)缺乏全视频无障碍真实基准与时空评估体系的问题,本文构建了由视障与健视专业人员协同标注的 36 小时 YouTube 视频数据集 MTG-AD,并提出包含 TTS 语音渲染时序测算与无参考多模态裁判的端到端评测框架 MTG-AD-Eval。

Minimizing Modality Gap from the Input Side: Your Speech LLM Can Be a Prosody-Aware Text LLM

TextPro-SLM 针对语音大语言模型的语义退化痛点,从输入侧将语音解耦为同步的转录文本 token 与重构监督获得的紧凑韵律嵌入,使 LLM 以接近纯文本的范式高效处理语音,在仅用约 1,000 小时训练音频下将 7B 模型的模态鸿沟降至 0.7%。

Multi-Party Backchannel Prediction: a Diagnosis, a Benchmark, and a Ceiling

本文针对多方对话场景提出首个严格隔离说话人的连续反馈语预测基准,诊断发现双人模型直接迁移失效源于预测器而非声学特征,并揭示反馈语预测存在由说话人特异性导致且难以通过对抗、适配或文本特征弥合的跨听者泛化瓶颈。

MultiTalk: Scaling Full-Duplex Speech Models to Long, Multi-Party, Bilingual Conversation

本文提出 MultiTalk 体系,构建了 57.6k 小时多方双语全双工语音合成数据引擎与包含长时程真实评测的 MultiTalkBench,在不改动 Moshi 双流架构的前提下实现了长时程、多角色、中英双语的端到端稳健全双工交互。

Native Audio-Visual Alignment for Generation

针对联合音视频生成中双塔后验对齐割裂跨模态演化与完全统一三模态空间缠绕语义控制的痛点,NAVA提出以解耦外部上下文的原生音视频对齐架构,结合分层对齐后统一融合的MMDiT与语境音色条件化,以仅6.3B参数实现精准时序音画同步、高质视频生成与可控音色绑定。

OmniCapBench: A Deep-Structured Evaluation Framework for Fine-Grained Audio-Visual Captioning

OmniCapBench 将全景视听视频字幕评测从非结构化自由文本重构为实体引用、音频事件与视觉镜头三大原子化可验证单元,通过确定性规则与有界局部大模型裁判彻底解决全局文本打分掩盖细粒度错误与裁判不稳定性的难题。

OpenWhistle: A Large-Scale Longitudinal Dataset and Benchmark of Bottlenose Dolphin Vocalizations

OpenWhistle 将单一海豚群体的多年水下录音整理为约 18 万声哨声的预训练语料和 8,354 声专家标注子集,用会话级划分与冻结表示线性探测建立类型分类和检测基准,语料内预训练的 Wav2Vec2.0 达到 81.1% 分类准确率和 75.6% 检测 mAP,但不涉及海豚语言意义的解码。

Overcoming State Inertia in Full-Duplex Spoken Language Models via Activation Steering

针对全双工口语大模型在用户打断时因内部表征滞留生成态而漏听输入首词的“状态惯性”病症,本文通过 Logit Lens 揭示了生成态与感知态的动态调节机制,提出首词敏感的零缓冲诊断基准,并设计了一种无需微调的感知向量即时激活引导方案,大幅恢复了打断理解能力。

Passing: An Endless Journey through Reconstructed Spacetime with AI-Generated Sound

Passing 将一段单轨列车窗景重采样为可分支播放的非线性时空旅程,让观众的在场状态间接改变视觉路径,再由经过装置适配的 SpecMaskFoley 实时生成声音,呈现的是展览案例与创作观察,而非声音还原精度的受控实验。

PitchBench: Measuring Pitch Hearing in Audio-Language Models

提出了包含 3 个认知层级、6 大类目和 28 项细分实验的音高感知诊断基准 PitchBench,评测 6 款前沿音频语言模型揭示其在单音识别、声学扰动及复调声部追踪(全部为零分)上的严重感知缺陷与多选题虚假繁荣。

Predictive–Generative Drift Decomposition for Speech Enhancement and Separation

提出基于随机插值理论的即插即用语音增强与分离框架 SIPS,通过将采样漂移显式解耦为判别式预测器的任务确定性漂移与纯净语音去噪器的生成式扩散漂移,仅需 15 步采样即可兼顾高保真信号重建与优异感知自然度。

RAIL: Rethinking Auditory Intelligence in Large Audio-Language Models with a CHC-Grounded Benchmark

基于认知心理学 Cattell–Horn–Carroll (CHC) 理论体系,构建覆盖 5 大核心听觉认知能力与 32 个细粒度子任务的评测基准 RAIL,揭示出大音频语言模型依赖文本先验、底层声学感知与记忆严重欠缺、过推理导致效率低下的核心瓶颈。

Reconstructing the Vocal Tract with Differentiable Acoustic Simulation

本文把声道建模为可微的动态声学管道,用频域求解、平滑湍流门控和神经几何参数化,从声音反推声道面积及 MRI 可视化;默认配置的前向合成达到实时的 71.5 倍,但重建结果是声学兼容的几何解释,不是唯一的解剖真值。

Rethinking Training Targets, Architectures and Data Quality for Universal Speech Enhancement

针对通用语音增强(USE)长期忽视的去混响目标失配、失真-感知权衡与数据质量瓶颈,本文系统论证了时移消声纯净语音为更优训练目标,提出了先回归保保真度后残差GAN补感知的两阶段框架,并通过VQScore质量过滤与高质量精调突破了性能上限。

Rubato: Transcribing Piano Music with Timestamps

提出基于 Conformer 架构的端到端提示词条件化自回归模型 Rubato 与规范化文本乐谱表示 InterMo,单次解码直接从钢琴音频联合生成带声学时间戳的高精度五线谱,在乐谱符号准确率上超越已知串联级联与 Oracle 中间表示基线。

SENSE: Semantic Neural Speech Synthesis from Brain Dynamics via Spatial Graph Encoding

SENSE 用电极几何图编码和仅在语义一致试次上学习的 EEG 语义条件,改善被动听觉 N400 数据中的脑电到语音波形重建;未见被试上的 WER 从 FE-Phoneme 的 1.1231 降到 0.9948,但仍远非可靠语言恢复。

Structural and Representational Agency in LLM-Driven Timbre Generation and Interpolation

本文通过对基于大语言模型(LLM)的音色生成与插值交互工具 Timbre Canvas 展开严格声学测量研究,揭示了用户“有效代理权”(可抵达的音色空间在结构上严格受限于凸多面体 Zonotope)与“认知代理权”(界面显示的感知坐标误差高达可达区域跨度的三倍且弱模型下静默失败)之间的深刻分离。

TAC: Timestamped Audio Captioning

针对大音频语言模型在复杂重叠声景中缺乏细粒度时序接地与幻觉频发的瓶颈,TAC 构建了多粒度动态合成混音管线并引入时序/说话人加权损失,以高精度带时间戳的稠密音频描述作为语义桥梁,在事件检测、说话人日志及级联下游推理任务上全面刷新 SOTA。

TELEVAL: A Benchmark Designed for Spoken Language Models in Chinese Interactive Scenarios

TELEVAL 针对口语大模型在中文交互中脱离真实声学语境的痛点,构建了涵盖 40,000+ 样本的无指令声学交互基准,全面解耦评估语义可靠履行与交互适切性,揭示了模型由声学感知失稳到交互决策错位的问题及显著的“字幕陷阱”。

The World is Not Mono: Enabling Spatial Understanding in Large Audio-Language Models

针对现有大音频语言模型将多声道信号坍缩为单声道语义流而丧失空间感知的问题,本文形式化了三层听觉场景分析(ASA)任务,并提出 TWNM 框架,通过一阶 Ambisonics 物理仿真生成可验证元数据、槽位正则化空间编码器、多专家稠密混合投影与阶段式偏好对齐,实现了跨声源空间属性绑定与多跳物理推理。

Transcoda: End-to-End Zero-Shot Optical Music Recognition via Data-Centric Synthetic Training

针对光学音乐识别(OMR)真实标注数据匮乏与乐谱编码多义性难题,Transcoda 提出了 21 阶段目标规范化与高保真合成退化管线,仅凭 59M 轻量编码器-解码器架构与 6 小时单卡合成训练,便在零样本真实历史乐谱转录上大幅超越十亿级参数大模型。

UniFlow-Audio: Unified Flow Matching for Audio Generation from Omni-Modalities

UniFlow-Audio 提出了首个基于流匹配的非自回归统一全模态音频生成框架,通过解耦双重融合机制与逐块注入设计,在单一模型内同时统一时间对齐与非时间对齐等 7 项音频生成任务。

V2M-Zero: Zero-Pair Time-Aligned Video-to-Music Generation

提出首个无需任何视频-音乐配对数据训练的时序对齐视频配乐生成框架 V2M-Zero,通过在单模态预训练特征空间中提取帧间相似度并构建标准化的事件曲线,解耦时间节奏与音乐语义,仅微调单模态文本音乐流匹配模型即可在推理时无缝接入视频事件曲线,实现高保真度与强泛化的精准音画同步。

VocalCoachBench: Benchmarking Audio-Language Models on Expert Feedback for Singing

首个面向歌唱专家声乐指导反馈的音频语言模型评测基准,将声乐评价拆解为确定性结构化任务与基于原子主张的开放式诊断/纠错评测,揭示出当前模型在细粒度声乐问题诊断上的显著瓶颈。

VocalGrad: Evaluating Acoustic Perception in Audio Language Models

提出了包含 21,600 个样本的声学感知评测基准 VocalGrad,通过单一声学特征的时间变化二分类任务隔离高层语义推理,揭示了前沿音频语言模型接近随机猜测(~50%)的感知瓶颈及其两类表征失效机制。

Words That Make Language Models Perceive

通过在提示词中加入轻量级感官引导词(如“see”或“hear”)并提取自回归生成过程的隐藏状态均值,纯文本训练的大语言模型能够在无需任何多模态微调的情况下,将其内部表征几何显著对齐到专用视觉(DINOv2)与音频(BEATs)编码器。

X-AVDD: Cross-Attentive Audio-Visual Dataset Distillation

针对音视频数据集蒸馏存在的显存爆炸与模态语义失配难题,X-AVDD 提出一种基于双向跨模态交叉注意力的解耦蒸馏范式,大幅削减 8 倍端到端计算开销并显著缩小模态间隙,在 VGGSound 等多个基准上取得大幅超越 SOTA 的下游泛化性能。