🎵 音频/语音¶

🎞️ ECCV2026 · 25 篇论文解读

📌 同领域跨会议浏览： 📷 CVPR2026 (22) · 🔬 ICLR2026 (79) · 💬 ACL2026 (70) · 🧪 ICML2026 (36) · 🤖 AAAI2026 (31) · 🧠 NeurIPS2025 (47)

🔥 高频主题： 语音 ×9 · 多模态 ×5 · 对抗鲁棒 ×2

MGM-Omni: Scaling Omni LLMs to Personalized Long-Horizon Speech: MGM-Omni 将多模态理解与语音合成拆成脑口双轨，用双音频编码器增强理解、分块并行解码稳定长语音生成，在自建 Long-TTS-Eval 上以 2B SpeechLM 达到英文 WER 4.98% 和 RTF 0.19，并支持参考音色控制。
JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching: JAM-Flow 把 LivePortrait 的低维嘴部表情关键点与 F5-TTS 的梅尔谱当成同一个流匹配框架下两个可互相遮罩的模态，用半量共享注意力的双流 MM-DiT、RoPE 时序对齐和模态非对称注意力掩码联合训练，一个约 500M 的模型同时覆盖说话头生成、TTS、动作→音频与自动配音，20 秒视频在单张 RTX A6000 上 45 秒生成。
InfiniteDance: Scalable 3D Dance Generation Towards in-the-wild Generalization: InfiniteDance 将互联网舞蹈视频转成经过物理与足部修复的 100.69 小时三维动作数据，再用连续嵌入、参考舞蹈检索和节奏混合专家训练 ChoreoLLaMA，在本数据集上将运动学 FID 从 Lodge 的 89.52 降至 30.54，但其真实场景泛化仍受慢音乐评价和长序列结构限制。
Progressive Representation Learning for Multimodal Sentiment Analysis with Incomplete Modalities: PRLF 把「此刻哪个模态可信」拆成分类置信度与 Fisher 信息两个互补信号、逐样本选出主导模态，再让辅助模态经过 4 步迭代先自我精炼、后与主导模态做投影对齐与残差去噪，在 CMU-MOSI / CMU-MOSEI / SIMS 的模态间与模态内缺失设定下分别取得 77.02 / 76.24 / 81.19 的平均 F1。
CoSyncDiT: Cognitive Synchronous Diffusion Transformer for Movie Dubbing: CoSyncDiT 将电影配音中的音色学习、口型节奏校准和文本对齐依次组织到流匹配 Transformer 中，再用帧级对比学习与 CTC 约束对齐，在 CinePile-Dub 零样本 Setting 2 上取得 47.24% 说话人相似度、7.53% WER 和 0.319 Sync-KL（原文表 5）。
DecepGPT: Schema-Driven Deception Detection with Multicultural Datasets and Robust Multimodal Learning: DecepGPT 用结构化视听报告监督和 SICS、DMC 两个训练组件改进数据集内的欺骗分类，在 DOLOs 达到 73.23% 准确率，但这些结果不构成可靠现实测谎的证据。
Music-to-Dance Generation via Atomic Movements: 把舞蹈显式建模成一串语义可读、可复用的「原子动作」，先用离散扩散模型在整首音乐的条件下规划出每个原子动作的类型、时长与时间位置（相当于一张符号谱），再用过渡感知的连续扩散生成器补全动作之间的过渡、并按时长最近原则检索实例后加掩码噪声重绘，在 AIST++ 上取得最低的 FID（25.26 / 9.03）、最高的 BAS（0.2470）与最高的结构一致性 R（26.6）。
Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance: 针对现有视频到音频（V2A）模型只能一次性生成整段声音、无法像 Foley 艺术家那样逐层补声的痛点，本文提出 Negative Audio Guidance（NAG）：训练一个以「已生成音轨」为条件的分支，采样时把它反向使用，把当前生成推离已有声音，从而只用普通单参考音视频数据集就实现了分步生成互补音轨、混合成高质量合成音。
HumanOmni-Speaker: Identifying Who said What and When: 针对全模态大模型在多说话人交互中无法准确判定“谁在何时说了什么”以及依赖低帧率静态视觉捷径的缺陷，本文提出了视觉注册说话人日志与识别任务（VR-SDR）及基准，并设计了通过视觉残差编码器（以 25 fps 抽取残差并压缩至每帧 6 个 token）实现高频时空对齐的 HumanOmni-Speaker 模型。
JoVA: Unified Multimodal Learning for Joint Video-Audio Generation and Editing: JoVA 提出了一个流线型的音视频联合生成与编辑统一框架，摒弃割裂的跨模态交叉注意力模块，改用原生联合自注意力与通道级条件注入，配合自适应局部嘴部流匹配损失，在单一模型中实现了高质量音视频生成、参考图引导合成以及指令驱动的音视频协同编辑。
MG-RWKV: Multi-Grained Context-Aware RWKV for Temporal Forgery Localization: MG-RWKV 提出基于 RWKV 线性复杂度递归架构的时序伪造定位（TFL）框架，通过双向 RWKV 捕获全局时序上下文、多粒度混合专家（MG-MoE）自适应选择显式时间感受野、以及跨粒度一致性约束（CGC）消除多尺度特征间的矛盾预测，在 Lav-DF、TVIL、Psynd、AV-Deepfake1M 四个基准上全面超越此前 SOTA，同时保持 O(T) 线性复杂度，推理仅需 73.4ms。
MJEPA: A Simple and Scalable Joint-Embedding Predictive Architecture for Audio-Visual Learning: MJEPA 提出了一种极简且可扩展的音视频自监督联合嵌入预测架构，通过单一共享 ViT 编码器与纯粹的隐空间预测目标，结合模态内多层级预测与跨模态双向预测对齐，在无需复杂对比损失、像素/频谱重构与重度数据增强的前提下，刷新了多项音视频基准的冻结特征评估记录。
Moving Beyond More Views: Redundancy-Aware Ego–Exo Fusion for Proficiency Estimation: 针对 Ego–Exo 视频熟练度评估中盲目增加外向视角引发的信息冗余稀释与跨视角过拟合痛点，本文提出在数据层面自适应筛选 Top-K 关键视角的 AdaMVS，并在特征层面结合变分信息瓶颈与梯度平衡的 VIB-GB 模块，实现了紧凑且泛化性优异的端到端技能等级评估。
MuSViT: A Foundation Vision Model for Sheet Music Representation: 针对通用视觉大模型缺乏乐谱符号结构理解的问题，MuSViT 提出基于 970 万页 IMSLP 真实乐谱与两阶段课程学习预训练的乐谱视觉 Transformer 基础模型，在全页转录、谱表转录、符号检测与难度分类四项下游任务上全面超越通用视觉主干与专用 SOTA。
Precise Video-to-Audio Generation with Cross-Modal Alignment in Latent Space: 针对视频转音频（V2A）中多阶段训练开销大、时序对齐依赖额外预训练模块等问题，本文提出基于流匹配的端到端单阶段框架 Flowley，利用无额外参数的渐进式软掩码跨模态注意力（PSCA）实现精准音画时序同步，并配合即插即用的声音感知字幕器 SoundCap 显著提升语义保真度与生成质量。
Q-TriM: Question-Guided Tri-Modal Attention for Audio–Visual Question Answering: Q-TriM 针对音视频问答中深层堆叠注意力导致细粒度跨模态线索丢失与误差累积的瓶颈，提出浅层并行融合架构，通过条件相似度分布推导推导出 Query/Key/Value 来自不同模态的三模态注意力（TMA）与自适应模态混合门控，在 MUSIC-AVQA-R 上达到 70.89% 的 SOTA 准确率。
Sparsity-Inducing Divergence Losses for Biometric Verification: Q-Margin 将 margin 惩罚从几何化的 logit 修改迁移到 α-散度损失的概率化参考测度中，在保持后验稀疏性的同时在 IJB-B/C 和 VoxCeleb 低 FAR 场景下一致超越 ArcFace/CosFace 基线，并通过精确 top-K 截断将训练吞吐开销从 27% 降至 5%。
StoryTeller: Training-Free Narrative Grounding for Long-Form Audio Description: 针对长程电影音频描述在跨场景时易丢失人物身份与叙事因果的痛点，StoryTeller 提出完全免训练的双轨记忆架构，在仅依赖原始视频和电影标题的前提下，通过动态身份图谱、带 VLM 双阶段检验的结构化事实归纳以及强化-衰减显著性叙事记忆，实现了长程叙事连贯且高度事实落地的无障碍音频描述生成。
Structured-Noise Masked Modeling for Video, Audio and Beyond: 提出了一种基于颜色噪声滤波的数据无关结构化掩码策略，通过为视频生成平滑时空演化的 3D Green 噪声掩码、为音频语谱图生成消除局部聚集的正则化蓝噪声（R-BN）掩码，在零额外计算开销下显著超越传统随机掩码与昂贵的数据自适应掩码方法。
C3ASD: Multi-Level Consistency-Driven Representation Learning for Robust Active Speaker Detection: 针对真实场景中音视频受噪声遮挡导致模型性能崩溃的问题，C3ASD 在无需受损训练数据或修改主干的前提下，通过嵌入级跨模态对齐、序列级模态内类簇间隔正则化与预测级置信度掩码知识蒸馏三层互补一致性约束，在仅 1.02M 参数下实现了极强的噪声鲁棒性与野外泛化能力。
HiChor: Hierarchical Choreography Generation from Pop Music with Choreographic Primitives: 针对现有基于音乐的舞蹈生成模型缺乏专业编舞结构、生成动作流于即兴拼凑的问题，HiChor 借鉴专业编舞理论中的核心基元（乐句切分、节奏与能量双重对齐、语义风格化），构建了一套分层扩散架构，通过分乐句独立生成、扩散级编辑（ChoreoEdit）增强能量特征与全局平滑，并由大语言模型将高层语义转化为底层特征指令以自适应调制扩散步数，实现了兼具丰富乐句多样性、强音乐对齐度与自然连贯性的专业级长程编舞。
LipsFlow：神经形态 OT-CFM 在多说话人视觉语音识别中的首次探索: LipsFlow 首次将神经形态事件相机感知与最优传输条件流匹配（OT-CFM）引入多说话人视觉语音识别，通过可学习事件表示捕捉毫秒级唇部动态、OT-CFM 实现 2 步 ODE 确定性解码、以及双层语义监督解决同形异义词歧义，在 DVS-Lip 上以 22.3% WER 和 240ms 延迟取得 SOTA。
Meric: A Unified Framework for Multimodal Music Generation and Retrieval via Representation Space Anchoring: Meric 提出了以预训练音乐语义表征为锚点的解耦架构，通过两阶段训练分别在大规模无标注单模态音乐上拟合 Flow-DiT 声学解码器、在多模态配对数据上通过轻量扩散式 Music Head 建模一对多语义映射，以统一前向过程同时实现了高保真跨模态音乐生成与零样本跨模态检索。
MoMCE: Mixture of Modality and Cue Experts for Multimodal Deception Detection: MoMCE 针对多模态欺骗检测中跨模态证据冲突与个体线索高度异质两大核心瓶颈，构建了由解耦提示驱动的线索级专家和模态级专家双层 MoE 架构，配合一致性感知权重损失与线索多样性正则化，在 DOLOS、Bag-of-Lies 与 MU3D 三大基准上刷新了视听测谎 SOTA。
See & Sniff: Learning Visuo-Olfactory Representations: 本文利用"气味身份在语义类别内对视觉变换保持不变"这一关键洞见，将仅含气味传感数据的 SmellNet 数据集扩展为视觉-嗅觉配对数据集 SmellNet-V，并设计了基于密集局部对比对齐的自监督双流框架 See & Sniff，在气味分类、跨模态检索和新引入的像素级气味定位三个任务上均显著超越仅使用气味的基线方法。