Asymmetric Hierarchical Anchoring for Robust Audio–Visual Cross-Modal Generalization¶

会议: NeurIPS 2026
arXiv: 2602.03570
OpenReview: https://openreview.net/forum?id=y12FDZrZbA
代码: https://arxiv.org/abs/2602.03570
领域: 音频/语音
关键词: 音视频跨模态泛化, 离散表征学习, 残差矢量量化, 对抗解耦, 时序局部对齐

一句话总结¶

针对音视频跨模态泛化中对称架构存在的信息分配模糊与语义泄露缺陷，提出以音频分层残差矢量量化为单向语义锚点、结合对抗解耦与局部滑动对齐的非对称框架，显著提升跨模态零样本事件定位与表征解耦纯度。

研究背景与动机¶

多模态学习旨在模拟人类的多感官整合能力，在音视频事件定位与跨模态感知中发挥着关键作用。为了弥合音频与视觉信号间的模态鸿沟（Modality Gap），近年来的研究逐渐从基于对比学习的连续嵌入空间转向基于码本的显式离散统一表征。在跨模态泛化（Cross-Modal Generalization, CMG）设定下，模型在无标签成对音视频数据上预训练统一的离散空间，仅在带标注的源模态上微调轻量分类头，便期望零样本迁移至目标模态。为此，主流框架大多采用对称的双流结构，并引入模态特有分支以剥离模态专属噪声，同时借助变分互信息上界估计器（如 CLUB）惩罚语义分支与特有分支的相关性。

然而，对称结构在现实开放场景下往往面临严重的“信息分配模糊性”（Information Allocation Ambiguity）。由于离散语义码本的信息容量有限，缺乏结构性归纳偏置的对称架构极易出现码本坍塌；语义信息倾向于向约束更弱的模态特有分支泄漏，导致跨模态共享空间退化。此外，高维非受限视频中条件概率分布极其复杂，变分互信息上界估计器在训练中难以准确拟合高维概率密度，解耦信号极不稳定，使源模态微调的分类器在迁移至目标模态时遭遇剧烈的分布偏移。

面对对称架构的信息分配困境，音频模态在复杂视觉噪声下通常能够提供更为紧凑、高阶的语义线索，这一特性在生成与控制建模中已被广泛证实。核心 idea：利用音频残差矢量量化（RVQ）天然的粗到细分层特性构建显式非对称语义锚点，单向引导视觉特征向共享离散空间蒸馏，并结合梯度反转对抗解耦与局部滑动时序对齐，从结构上消除语义泄漏并保障时序同步。

方法详解¶

整体框架¶

AHA 采用非对称的双流编码-解码结构，涵盖音频编码器、视频语义编码器、视频特有编码器以及对应的重构解码器。整个流程的核心在于：以音频 RVQ 的底层共享码本作为高阶语义锚点，强约束视频语义特征对齐至该离散空间；高层残差码本则仅由音频分支专享，用以吸收音频专属细节。随后，针对视频特有分支，引入基于梯度反转层（GRL）的对抗判别器，强制剥离视频特有特征中残存的语义信息；同时引入局部滑动对齐模块（LSA）处理非受限视频中音画异步问题，配合跨模态 CPC 与双模态 EMA 共同优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    InA["音频输入 x_a"] --> EA["音频编码器 E_a"]
    InV["视频输入 x_v"] --> EVsem["视频语义编码器 E_v_sem"]
    InV --> EVspec["视频特有编码器 E_v_spec"]
    EA --> RVQ["音频分层残差矢量量化 RVQ"]
    EVsem --> RVQ
    RVQ --> Anchor["音频分层语义锚定<br/>第 1~k 层共享语义 / k+1~n 层音频特有"]
    Anchor --> Units["离散语义单元 A_unit 与 V_unit"]
    EVspec --> SpecV["连续视频特有特征 Z_spec^V"]
    Units --> LSA["局部滑动对齐 LSA<br/>软目标双向交叉熵约束"]
    Units --> CPC["跨模态预测编码 Cross-CPC<br/>LSTM 双向时序预测"]
    Units --> Decoupler["对抗解耦判别器 D_phi<br/>速度感知采样 + 梯度反转层 GRL"]
    SpecV --> Decoupler
    Anchor --> ReconA["音频解码器 G_a 重构"]
    SpecV & Units --> ReconV["视频解码器 G_v 重构"]

关键设计¶

1. 非对称分层语义锚定：以音频分层先验消除信息分配模糊 对称结构让两模态自由竞争共享码本，极易导致语义向无约束分支漂移。AHA 利用 RVQ 逐层量化残差的特性——低层量化聚合最显著的高阶语义、高层量化拟合精细残差特征。设计将音频 RVQ 的前 $k$ 层（CMG 分类设 $k=1$，面部解耦设 $k=2$）指定为跨模态共享语义锚点 $\mathcal{C}_{\text{shared}}$，迫使视频语义编码器提取的连续特征 $Z_{sem}^V$ 投影至该共享码本以获得离散单元 $\mathcal{V}_{unit} = \sum_{l=1}^k \mathbf{q}_l^V$；而音频输入在量化完前 $k$ 层得到语义单元 $\sum_{l=1}^k \mathbf{q}_l^A$ 后，继续通过第 $k+1 \sim n$ 层量化吸收音频专属特有特征 $\sum_{l=k+1}^n \mathbf{q}_l^A$。通过不对称地将语义重心锚定在音频低层码本上，构建了明确的方向性归纳偏置，有效防止离散码本坍塌与语义漂移。

2. 基于 GRL 与速度感知的对抗解耦机制：替代脆弱的互信息上界估计 传统基于 CLUB 等变分互信息上界的解耦方法在无约束高维特征下难以拟合条件分布。AHA 将解耦建模为条件判别器 $D_\phi$ 与视频特有编码器 $E_{v\_spec}$ 之间的极小极大博弈。为防止判别器在静态无信息帧上过拟合，引入速度感知锚点采样（Velocity-Aware Anchor Sampling）：根据相邻语义单元的位移定义语义速度 $\delta_t = \|V_{t+1} - V_t\|_2$，按概率 $P_{sample}(t) = \delta_t / (\sum_\tau \delta_\tau + \epsilon)$ 动态抽样剧烈变化的语义时步。判别器试图在匹配对 $(v_t, V_t)$ 与负样本集合中完成对比识别，而 $E_{v\_spec}$ 则经由梯度反转层（GRL）反向传递对抗梯度： $$ \min_{D_\phi} \max_{E_{v_spec}} \mathcal{L}{grl} = - \mathbb{E} \left[ \log \frac{\exp(s(v_t, V_t) / \tau)}{\sum \right] $$ 该设计无需估计高维概率密度，以直接对抗擦除视频特有流中的类别语义残余。}_{unit}} \cup \mathcal{N}} \exp(s(v_t, V') / \tau)

3. 局部滑动对齐机制：容忍真实视频中的细粒度音画时序微漂移 开放场景音视频并非严格逐帧对齐，强制全局刚性匹配会导致表征受噪声污染。AHA 提出了局部滑动对齐（Local Sliding Alignment, LSA）。针对每个时间步 $t$，划定局部搜索窗口 $\Omega_t = \{j \mid |t-j| \le R\}$ 以及正容差区间 $\mathcal{P}_t = \{j \mid |t-j| \le n_{pos}\}$。在正容差集合上构建均匀软目标分布 $Y_{t,j} = \frac{1}{|\mathcal{P}_t|} \mathbb{I}(j \in \mathcal{P}_t)$，并通过局部掩码 Softmax 得到模态间时序预测概率 $P_{t,j} = \frac{\exp(A_t^\top V_j / \tau)}{\sum_{m \in \Omega_t} \exp(A_t^\top V_m / \tau)}$。双向局部交叉熵损失函数为： $$ \mathcal{L}{align} = -\frac{1}{2T} \sum \right) $$ 通过软窗口约束，模型既建立了细粒度的跨模态时序对应，又具备对微小时钟抖动的自然鲁棒性。}^T \left( \sum_{j \in \Omega_t} Y_{t,j} \log P_{t,j}^{A \to V} + \sum_{j \in \Omega_t} Y_{t,j} \log P_{t,j}^{V \to A

4. 双模态 EMA 质心更新与跨模态预测编码：保障共享码本均衡收敛 单模态驱动的标准 EMA 容易使码本向单一高方差模态偏置。AHA 采用多模态指数移动平均（MM-EMA），在每个更新时步综合两模态特征的聚类数量 $n_i^a, n_i^b$ 与嵌入总和，计算联合分布质心 $\mathbf{e}_i^{(t)}$，并配合双向 commitment loss 牵引两模态连续特征靠近共享码字。同时，在上层接入 Cross-CPC，利用双向 LSTM 上下文表征 $\mathbf{h}_t^V$ 和 $\mathbf{h}_t^A$ 分别预测对方模态下一时步的语义单元，在时间维度进一步强化跨模态时序连贯性。

损失函数 / 训练策略¶

总体训练目标由重构损失、矢量量化损失、对抗解耦损失、跨模态预测损失及局部滑动对齐损失加权组成： $$ \mathcal{L}{total} = \mathcal{L}} + \mathcal{L{v_recon} + \mathcal{L}} + \mathcal{L{grl} + \mathcal{L} $$ 训练在 4 张 NVIDIA A6000 GPU 上进行，主优化器采用 AdamW，初始学习率 } + \mathcal{L}_{align$1 \times 10^{-4}$，配合 CosineAnnealingWarmupLR 衰减至 $1 \times 10^{-6}$；GRL 对抗分支采用独立 Adam 优化器，$\lambda$ 随训练步数平滑升至 $\lambda_{max} = 1.0$。批大小设置为 96，MM-EMA 衰减系数 $\gamma = 0.99$。得益于非对称结构避免了复杂的变分推断采样，整体预训练耗时仅需约 9.7 小时，相较对称结构效率提升 27%。

实验关键数据¶

主实验¶

在 VGGSound-AVEL 40K 噪声数据集上完成无监督预训练后，冻结主干并微调轻量线性头，在 AVE（事件分类）、AVVP（事件定位）、AVE $\to$ AVVP（跨数据集跨任务定位）以及 UCF(v) $\leftrightarrow$ VGG(a)（跨数据集分类）四个基准上进行双向零样本跨模态迁移评测。

方法	监督输入	AVE (V→A)	AVE (A→V)	AVVP (V→A)	AVVP (A→V)	AVE→AVVP (V→A)	AVE→AVVP (A→V)	UCF↔VGG (V→A)	UCF↔VGG (A→V)	平均表现 (Avg.)
MST	AV	19.5	23.1	22.7	24.5	29.5	36.4	45.7	43.1	30.56
CODIS	AV	36.8	39.7	32.7	32.6	40.8	40.6	50.8	45.2	39.90
TURN	AV	37.6	39.2	32.4	32.2	40.6	41.4	50.4	46.1	39.99
CMCM	AV	46.3	45.8	36.1	35.2	47.1	48.2	51.2	48.3	44.78
Unicode	AV	49.7	52.3	59.7	63.1	48.9	50.2	64.4	60.6	56.11
DCID	AVT	54.5	55.0	40.9	41.6	56.5	53.6	68.1	61.7	53.99
FCID	AVT	55.9	55.0	43.6	45.1	57.4	58.5	69.6	62.0	55.89
AHA (本文)	AV	57.1	59.4	73.4	70.8	52.5	51.3	70.3	63.1	62.24
较 Unicode 提升	-	+7.4	+7.1	+13.7	+7.7	+3.6	+1.1	+5.9	+2.5	+6.13

消融实验¶

为验证核心模块与结构设计的必要性，作者分别针对损失函数组件、架构对称性以及锚点选择进行了系统消融（如下表所示）：

实验配置	变化说明	AVE (V→A / A→V)	AVVP (V→A / A→V)	AVE→AVVP (V→A / A→V)	UCF↔VGG (V→A / A→V)	平均得分 (Avg.)
AHA (完整模型)	音频语义锚点 + GRL + LSA	57.1 / 59.4	73.4 / 70.8	52.5 / 51.3	70.3 / 63.1	62.24
w/o $\mathcal{L}_{align}$	去除局部滑动对齐损失	55.4 / 58.9	65.6 / 68.1	52.3 / 51.1	67.6 / 63.3	60.29 (-1.95)
w/o $\mathcal{L}_{grl}$	去除对抗解耦损失	47.3 / 50.2	58.1 / 62.9	49.6 / 48.2	66.4 / 61.8	55.56 (-6.68)
$\mathcal{L}_{grl} \to \mathcal{L}_{CLUB}$	替换为变分互信息上界 CLUB	54.2 / 56.4	64.9 / 65.5	52.4 / 50.8	65.1 / 62.7	59.00 (-3.24)
对称双流结构	恢复对称音视频 RVQ 架构	51.5 / 52.4	70.1 / 67.4	51.3 / 51.6	65.4 / 61.5	58.90 (-3.34)
视频语义锚点	改以视频分支为主导锚点	54.7 / 54.9	69.0 / 66.1	49.7 / 48.1	66.5 / 62.3	58.91 (-3.33)

此外，在基于 TalkVid 的说话人面部解耦诊断实验中，量化评估了嘴唇同步精度与视觉重建质量：

模型变体	嘴唇表征同步 V2V-LS ↓	唇部地标误差 Mouth RMSE ↓	峰值信噪比 PSNR ↑	感知相似度 LPIPS ↓
AHA (本文)	5.98	5.51	29.42	0.0468
w/o $\mathcal{L}_{grl}$	6.77	16.59	26.46	0.0703
$\mathcal{L}_{grl} \to \mathcal{L}_{CLUB}$	6.82	18.26	27.49	0.0575
对称架构 (Symmetric)	6.40	14.61	26.76	0.0730

关键发现¶

对抗解耦是跨模态迁移的生命线：去掉 $\mathcal{L}_{grl}$ 导致平均表现暴跌 6.68 点，在 AVE 和 AVVP 上的降幅尤为剧烈。这证实若缺乏显式对抗解耦，模态标识性特征会严重渗入特有分支，导致源模态训练的分类器迁移时产生严重的泛化崩塌。
GRL 全面碾压变分互信息估计器：将 GRL 替换为经典的 CLUB 互信息估计器后，整体表现下滑 3.24 点，在人脸解耦任务中 Mouth RMSE 更是从 5.51 恶化至 18.26。实验证明变分推断无法在高维非受限特征下准确估计后验密度，而对抗极小极大博弈则表现出极佳的鲁棒性。
音频锚定显著优于对称及视觉锚定：以音频作为非对称语义锚点的均分（62.24）大幅超出对称架构（58.90）与视频锚点（58.91）。这表明在视频混杂视觉背景与相机运动的现实场景下，声学信号具备更纯粹的高层事件属性，能够作为更稳定的蒸馏靶标。
局部滑动对齐在细粒度时序任务上收益巨大：LSA 模块使 AVVP 的 V→A 性能大幅提升 7.8 点（从 65.6 提升至 73.4），表明软容差窗口能有效吸收真实音画素材中的微秒级抖动。

亮点与洞察¶

将 RVQ 的固有层级转化为非对称归纳偏置：巧妙利用神经音频编解码器（RVQ）在低层天然聚集语义信息的物理先验，把第 1 层设为跨模态共享锚点，高层留给音频专有吸收。无需额外复杂设计，即可天然化解模态间的语义分配分歧。
速度感知采样强化对抗博弈效率：通过衡量时序语义单元的欧氏位移计算“语义速度”，自适应地向动态剧烈变化的语义时钟倾斜判别器算力，避免对抗训练在静态画面帧上空转和过拟合。
跨越单模态与多模态的可迁移性：该非对称锚定范式不仅在分类与定位等传统感知任务中超越引入文本额外监督的 SOTA（DCID/FCID），还成功零样本外推到可控人脸生成的音画解耦管线中。

局限与展望¶

固定锚点层数缺乏样本级自适应性：当前框架为全数据集预设固定的锚点层数（CMG 任务固定 $k=1$，生成任务固定 $k=2$），未能根据视频画面的复杂度和音视频相关度的强弱动态调整量化层级。
强依赖音视频语义共现假设：当输入遭遇环境噪音主导、旁白与画面严重脱节或极度非因果关联的极端“弱相关视频”时，以音频为硬锚点可能会对视觉语义的提取造成不可逆的语义失真。
未来方向：探索动态自适应锚点选取机制，并将非对称离散锚定思想拓展至包含文本、点云及具身具身动作的多模态长上下文表征中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出利用音频 RVQ 分层先验构建非对称语义锚点，并结合对抗解耦破除分配歧义。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大 CMG 迁移基准、深入消融及人脸动作解耦的生成式诊断评测，数据扎实。
写作质量: ⭐⭐⭐⭐⭐ 问题定义清晰，数学推导与实验动机紧密呼应，论证严密。
价值: ⭐⭐⭐⭐⭐ 为音视频表征学习、可控人脸生成及跨模态零样本迁移提供了高度实用的非对称设计范式。