Whence the Voice? Self-supervised Dual-source Audio-Visual Localisation via Selective Convergence¶

会议: ECCV 2026
论文: ECCV 2026
项目主页: https://happy-new-bears.github.io/scav-project-page/
领域: 分割
关键词: 音视频声源定位、双声源、选择性收敛、自监督学习、像素级评估基准

一句话总结¶

发现对比式音视频学习在混合声音中天然偏向主导声源的“选择性收敛”现象，据此提出无需标注的两阶段递进解耦框架 SCAV 并建立像素级评测基准 VGGSound-DuetMask，大幅刷新双声源自监督定位性能。

研究背景与动机¶

在自然声学场景中，多声源并发发声是常态，人类能够依靠选择性听觉注意轻松在鸡尾酒会中逐一锁定说话人。然而对于机器感知而言，多声源音视频定位长期陷入一个典型的“先有鸡还是先有蛋”的恶性循环：混合音频在声学域中以时域/频域的线性叠加方式融合，而在视觉画面中不同发声目标却占据各自独立的二维空间区域。要分离混合音频，必须依赖视觉空间位置信息去对应各声源的频带能量；而要识别视觉画面中究竟哪块区域在发声，又必须预先拿到已分离的单声源纯净音频来建立跨模态对应。这种跨模态的不对称叠加导致联合定位陷入严重欠定的逆问题，缺乏额外先验约束时，标准联合优化极易崩溃或陷入平凡解。

以往研究为了打破这一循环依赖，往往需要引入繁重的人工干预或外挂模态。例如依靠单声源聚类构建伪类别字典、设计繁琐手工阈值的迭代课程学习、使用有监督的真实视频类别标签作为 token 引导、甚至引入多模态大语言模型（MLLM）生成长文本描述来协助区分发声物体。这些方案要么脱离了完全自监督的初衷，要么高度受限于额外的三模态预训练对齐模型与大量提示词工程。更重要的是，作者在审视现有双声源评测体系时发现，通用的矩形包围盒（Bounding Box）存在根本性缺陷：框评估平等对待框内所有前景和背景像素，导致倾斜物体（如斜持长笛）或不规则物体（如火鸡）的大片非发声背景被算作命中，客观上奖励了过度弥散的发热图，严重惩罚了真正精准的发声边界预测。

本文从人类“先聚焦最显著声音、再转移注意至其他声音”的感知机制中获得启发，深入探究神经网络在混合声音对比学习中的收敛动态，意外发现了一个关键物理规律：对比学习模型并非平均分配表征能力去平衡所有声源，而是天然展现出“选择性收敛”（Selective Convergence）偏差，先自发聚焦于音视频对应关系最显著的主导声源。核心 idea：与其抑制这种选择性偏差，不如顺应并利用它——先通过自监督对比学习让模型自然收敛并锁定主导声源以构建空间先验，再利用互补空间掩码与跨注意力解耦器自发揭示次要声源，将不可解的联合逆问题转化为两阶段良态顺序优化。

方法详解¶

整体框架¶

SCAV（Selective Convergence Audio-Visual localisation）整体 pipeline 包含两个逻辑递进的训练阶段。在阶段 1 中，冻结预训练视觉骨干并以完全无标注的混合音视频数据训练音频编码器，依靠对比学习的简单性偏差驱动模型发生选择性收敛，自发输出聚焦于最显著声源的粗粒度空间热图，经后处理得到主导声源先验。在阶段 2 中，利用该空间先验将全图视觉特征显式切分为主导区域与互补余集区域，送入视觉解耦器与基于跨注意力的音频解耦器，分别提纯各声源专属的视觉与音频表征，最后通过仅在样本内进行的解耦对比学习实现两路声源的精准定位。推断阶段模型一次前向即可并行输出双声源热图，达到 43.2 FPS 的实时性能。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：视频帧 I + 混合声谱图 Amix"] --> B["特征提取与相似度计算<br/>冻结ResNet18提取V，音频编码器提取a"]
    B --> C["阶段1：选择性收敛生成主导先验<br/>可微阈值对比学习提取主导声源先验 Mdom"]
    C --> D["阶段2：互补特征切分与解耦<br/>V1=V⊙Mdom, V2=V⊙(1-Mdom)"]
    D --> E["跨注意力音频分离与解耦表征<br/>以视觉特征引导混合音频分别分离出 fa1, fa2"]
    E --> F["样本内解耦对比学习与推断<br/>Lstage2优化，双路独立上采样输出 M1, M2"]

关键设计¶

1. 选择性收敛发现与主导声源先验提取：利用梯度优化的简单性偏差化解恶性循环

针对双声源无分离信号无法建立初始跨模态对应的死锁，阶段 1 并不强求网络同时感知全部声源。给定视频帧 $I \in \mathbb{R}^{H \times W \times 3}$ 和混合音频 Log-梅尔声谱图 $A_{\text{mix}} \in \mathbb{R}^{T \times F}$，视觉编码器 $\Phi_v$（冻结的 ImageNet 预训练 ResNet-18）提取网格特征 $V \in \mathbb{R}^{D \times h \times w}$，从头训练的音频编码器 $\Phi_a$ 输出全局音频向量 $\mathbf{a} \in \mathbb{R}^D$。在计算音频与每个网格位置的空间点积相似度 $\mathcal{S}_{i \to j} = \langle V_j, \mathbf{a}_i \rangle \in \mathbb{R}^{h \times w}$ 后，采用可微阈值机制划分正负响应软掩码： $$ \hat{m}p = \sigma\left(\frac{\mathcal{S}} - \epsilon_p}{\tau}\right), \quad \hat{mn = 1 - \sigma\left(\frac{\mathcal{S}\right) $$ 式中 } - \epsilon_n}{\tau$\epsilon_p = 0.65, \epsilon_n = 0.4, \tau = 0.03$。据此聚合样本内正区域响应 $P_i$ 以及包含样本内弱相关和跨样本负样本的负得分 $N_i$，以对比损失 $\mathcal{L}_{\text{stage1}}$ 进行训练。由于深度网络的简单性偏差（Simplicity Bias），模型不会陷入两难，而是以压倒性的置信度率先收敛并锁定互信息最强的主导声源，生成高质量、低噪声的主导声源热图先验 $\mathbf{M}_{\text{dom}}$。

2. 互补空间引导与多模态解耦网络：自顶向下剥离次要声源

为了让隐藏在主导声源背后的次要弱声源得以显现，阶段 2 将 $\mathbf{M}_{\text{dom}}$ 作为空间提示，通过阿达马积将带有 2D 正弦位置编码的视觉特征切分为两套互补的区域表征：主导区域特征 $V_1 = \tilde{V} \odot \mathbf{M}_{\text{dom}}$ 与互补余集特征 $V_2 = \tilde{V} \odot (1 - \mathbf{M}_{\text{dom}})$。随后，4 层 Transformer 编码器组成的视觉解耦器 $\Phi_v^{\text{dec}}$ 提取细化视觉特征 $(f_{v1}, f_{v2})$。在此基础上，音频解耦器 $\Phi_a^{\text{dec}}$ 以混合音频嵌入 $\tilde{\mathbf{a}}$ 为 Query，分别以 $f_{v1}$ 和 $f_{v2}$ 为 Key 和 Value 实施跨注意力（Cross-Attention）交互： $$ f_{a1}, f_{a2} = \Phi_a^{\text{dec}}(\tilde{\mathbf{a}}, f_{v1}, f_{v2}) $$ 该设计本质上以视觉空间先验去“检索”与提取混合音频中与该区域运动/外貌相关的频带成分，从而无需单声源音频真值即可物理级解耦混合声谱特征，彻底打破模态间的混叠干扰。

3. 纯样本内解耦对比学习：专注局部声源归属而剔除批次负样本污染

解耦出两组对应的声源特征对 $(f_{v1}, f_{a1})$ 与 $(f_{v2}, f_{a2})$ 后，阶段 2 的优化目标与阶段 1 产生了质的转变。阶段 1 旨在从整个 batch 的不同视频中建立跨样本区分度，因而必须引入大量跨样本负对；而阶段 2 的本质是单个样本内部的声音归属判定（即判定某声部究竟属于物体 1 还是物体 2）。若在此阶段继续引入其他视频的负样本，反而会稀释同帧内两个声源之间的细微对比信号。因此，阶段 2 的对比损失在负得分计算 $N'_i$ 中严格排除了跨样本项，专攻样本内正负区域鉴别： $$ \mathcal{L}_{\text{Stage2}} = \mathcal{L}_1 + \mathcal{L}_2, \quad \mathcal{L}_i = -\log \frac{\exp(P_i)}{\exp(P_i) + \exp(N'_i)} $$ 这种针对性的损失重构使解耦器专注于拉开同帧内不同声源与背景的边界，确保两路输出各自收敛至专属的发声目标。

损失函数 / 训练策略¶

模型采用渐进式两阶段训练机制： 1. 阶段 1 训练：利用 $\mathcal{L}_{\text{stage1}}$ 优化音频编码器（视觉编码器冻结），批大小为 256，Adam 优化器学习率设为 $10^{-4}$，直至第一阶段收敛并产出稳定的 $\mathbf{M}_{\text{dom}}$。 2. 阶段 2 训练：加载阶段 1 的骨干权重，固定生成的空间先验指导，使用 $\mathcal{L}_{\text{Stage2}}$ 优化视觉与音频解耦网络及投影层，批大小与学习率保持一致。 3. 推断部署：推断时无需多轮循环迭代，模型直接完成单次前向传播，通过内积与双三次插值上采样生成两张连续热图 $\mathbf{M}_k = \text{Upsample}(\langle f_{vk}, f_{ak} \rangle)$，在单张 NVIDIA A100 GPU 上实现 43.2 FPS。

实验关键数据¶

主实验¶

在经典数据集 MUSIC-Duet、VGGSound-Duet（框评测）以及最新构建的像素级掩码基准 VGGSound-DuetMask 上进行了全方位评估。主实验结果直接印证了 SCAV 在自监督框架下的显著优势：

数据集	标注方式	方法	监督类型	CAP (%)	[email protected] (%)	AUC (%)
MUSIC-Duet	BBox	AVGN (CVPR 2023)	弱监督	50.6	32.5	24.6
MUSIC-Duet	BBox	Mix-and-Localize (CVPR 2022)	自监督	47.5	26.5	21.5
MUSIC-Duet	BBox	NoPrior (CVPR 2024)	自监督	21.7	2.5	13.2
MUSIC-Duet	BBox	SCAV (本文)	自监督	47.6	47.1	28.6
VGGSound-Duet	BBox	AVGN (CVPR 2023)	弱监督	21.9	26.2	23.8
VGGSound-Duet	BBox	Mix-and-Localize (CVPR 2022)	自监督	16.3	21.1	20.5
VGGSound-Duet	BBox	SCAV (本文)	自监督	53.0	53.3	32.0
VGGSound-DuetMask	Mask (SAM)	AVGN (CVPR 2023)	弱监督	33.61	18.44	17.39
VGGSound-DuetMask	Mask (SAM)	LVS (CVPR 2021)	自监督	18.00	9.53	10.28
VGGSound-DuetMask	Mask (SAM)	EZ-VSL (ECCV 2022)	自监督	16.82	9.58	11.35
VGGSound-DuetMask	Mask (SAM)	SCAV (本文)	自监督	39.30	33.59	23.52

消融实验¶

在包含 220 个类别的 VGGSound-Duet 数据集上针对空间先验、渐进式训练以及跨样本负样本等关键设计进行消融验证（同时展示 BBox 与 DuetMask 结果）：

配置代号	阶段2解耦器	空间先验引导	渐进式训练	包含跨样本负例	Duet (BBox) [email protected] (%)	DuetMask [email protected] (%)	说明
(a)	✓	✗ (均匀掩码)	✓	✗	28.94	16.15	缺少空间先验，退化为无偏解耦
(b)	✗ (仅阶段1)	—	—	✗	32.66	18.84	仅依靠阶段1单路模型评估
(c)	✓	✓	✗ (端到端联合)	✗	41.84	25.62	阶段1与2端到端联调，先验未收敛
(d)	✓	✓	✓	✓	26.69	17.40	阶段2引入跨样本负例，破坏同帧对比
完整模型	✓	✓	✓	✗	53.27	33.59	完整 SCAV 两阶段顺序收敛架构

此外，阶段 1 选择性收敛的单模态实验充分证明了模型在无显式分配情况下的天然偏向：主导声源的 CAP 达到 63.39%，[email protected] 达到 61.70%，AUC 达 37.82%；而次要声源仅分别拿到 13.91%、3.62% 和 8.12%，两声源指标差距超过 49 个百分点。

关键发现¶

渐进训练胜过联合端到端优化：对比配置 (c) 与完整模型，两阶段渐进式优化在 [email protected] 上直接拉开了 11.43%（BBox）和 7.97%（Mask）的巨大差距。这是因为端到端联合训练时，阶段 1 初始阶段输出的空间先验极度嘈杂且漂移剧烈，严重误导了阶段 2 的解耦器学习。
跨样本负样本在解耦阶段起反作用：配置 (d) 加入全局跨样本负例后性能暴跌（[email protected] 从 53.27% 降至 26.69%）。解耦任务的关键在于精确区分同画面内发声与不发声的细粒度差异，强行拉开批次内不同视频的全局分布会完全模糊内部边界。
掩码评测暴露了过往方法的虚假繁荣：在像素级掩码评估下，过往基准（如 LVS、EZ-VSL）的 [email protected] 均未超过 10%，而 SCAV 依然达到 33.59%，证明了其在精确轮廓贴合上的优异表现，彻底摆脱了包围盒评测中“背景虚标命中”的红利。

亮点与洞察¶

将学习偏见转为算法资产：深度对比学习中的“简单性偏差”通常被视作表征坍缩或特征抑制的负面缺陷，本文却逆向思维，利用该偏差天然充当“选择性注意力过滤网”，以优雅的自监督机制突破鸡纽纠缠。
推出最大规模像素级多声源评测集：利用 SAM 结合原始 BBox 提示构建了覆盖 220 个类别的 3,951 对 VGGSound-DuetMask 数据集，彻底纠正了音频视觉定位领域长期受矩形包围盒背景噪声干扰的评测失真问题。
极佳的工程落地与推断效率：两阶段仅发生在训练期，在推断部署阶段完全无需交替迭代，通过单次前向即可在 A100 上跑出 43.2 FPS 的高帧率，兼顾学术新颖性与工业实时性。

局限与展望¶

依赖双声源强假设：当前解耦架构针对双声源设计（$V_1$ 与 $V_2 = 1 - \mathbf{M}_{\text{dom}}$），面对三声源或更多声源并发的复杂交响乐或自然界嘈杂场景，需要探索多轮迭代剥离或级联架构。
极端重叠声源解耦能力存疑：当两声源在频域高度相似（如同频段同乐器重奏）且视觉区域临近时，空间先验切分的清晰度可能下降，容易引发解耦泄漏。
未来方向：探索将选择性收敛范式推广至一般性的开放世界多对多跨模态关联任务（如视频与多说话人字幕对齐、图文交错检索等）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [揭示自监督对比学习的选择性收敛现象，并开创性地设计出顺应此特性的两阶段解耦范式。]
实验充分度: ⭐⭐⭐⭐⭐ [横跨三套主流数据集、主导声源专项量化、详尽消融，并用 SAM 建立了近 4,000 样本的像素级评测基准。]
写作质量: ⭐⭐⭐⭐⭐ [行文流畅连贯，认知科学隐喻自然，数学符号精炼，图表逻辑极为严密。]
价值: ⭐⭐⭐⭐⭐ [为多声源音视频逆问题提供了无需外部标注的新范式，新 benchmark 对该领域具有长远基础价值。]