Q-TriM: Question-Guided Tri-Modal Attention for Audio–Visual Question Answering¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/Sunghun95/Q-TriM
领域: 音频与语音 / 多模态VLM
关键词: 音视频问答、三模态注意力、浅层并行融合、Token过滤、长尾鲁棒性

一句话总结¶

Q-TriM 针对音视频问答中深层堆叠注意力导致细粒度跨模态线索丢失与误差累积的瓶颈，提出浅层并行融合架构，通过条件相似度分布推导推导出 Query/Key/Value 来自不同模态的三模态注意力（TMA）与自适应模态混合门控，在 MUSIC-AVQA-R 上达到 70.89% 的 SOTA 准确率。

研究背景与动机¶

音视频问答（Audio-Visual Question Answering, AVQA）要求智能系统在接收到自然语言问题的同时，联合理解长时程连续视频画面与其时间同步的音频信号。随着现实场景中具身智能助手、第一人称持续记忆推理以及音视频交互系统的兴起，模型不仅需要辨别画面中出现的声源物体，还需要精确定位发声的时间窗口以及多乐器交响中声音与视觉动作的因果关联。然而，要在文本、视频和音频三模态之间建立细粒度的对齐与时空因果推理，计算复杂度与多模态交互建模极其棘手。

目前主流的 AVQA 架构（如 PSTP-Net、TSPM 以及最先进的 QA-TIGER）无一例外倾向于采用深层堆叠的交叉注意力（Cross-Attention）与自注意力网络。例如，QA-TIGER 连续串联了 4 层交叉注意力块来逐级提炼模态交互。然而，根据信息瓶颈原理，神经网络层数的递增固然能够完成特征的高度抽象与语义压缩，却也伴随着难以逆转的细粒度特征丢失。在多模态联合推理场景下，浅层网络先融合文本与视频后，原始音频中的微妙频谱细节或微弱声学线索往往无法完整传递至后续深层，导致多模态交互误差沿网络深度逐级放大。常规交叉注意力机制天然受限于“单 Query 对单 Key-Value”的双模态交互范式，想要让文本、视觉、音频三者充分纠缠，传统做法只能机械式地加深网络流水线。

针对深层堆叠带来的表征耗损与累积误差，本文反其道而行之，探索“化深为浅、化串为并”的高效融合范式。作者从条件概率分布视角重新审视跨模态注意力的数学本质，发现只需将查询、键、值直接分派给三个不同的模态，即可在单一网络层内直接完成三方交互。本文的核心 idea 是：将深层串行注意力重构为单阶段浅层并行融合，基于文本引导的条件相似度推导出 Q、K、V 来自异构模态的三模态注意力（Tri-Modal Attention），并配合免注意力的 STE 视觉 Token 过滤与自适应门控混合，在不堆叠网络深度的情况下实现高保真跨模态联合推理。

方法详解¶

整体框架¶

Q-TriM 的整体数据流包含三个紧凑的并行与串行阶段：多模态输入表征与轻量化视觉 Token 过滤、单阶段并行三模态与跨模态注意力计算、以及文本条件化门控特征混合与答案推理。输入端将视频分段为 $T$ 个 2 秒片段，提取全局帧级特征与细粒度 Patch 特征，音频提取与 CLIP 对齐的 ImageBind 特征，文本通过 CLIP 提取句子级向量。系统先通过点积打分与直通估计器（STE）筛选出最相关的视觉 Patch；随后并行进入四条注意力计算路径（两条标准跨模态注意力和两条三模态注意力）；最终由文本派生的门控权重自适应融合四路特征，经单层自注意力全局聚合后送入线性分类器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["多模态输入<br/>文本 t / 视频帧 V 与 Patch Vp / 音频 A"] --> TF["问题引导 Token 过滤<br/>点积打分与 STE 截断筛选 Top-K Patch"]
    TF --> TMA["三模态与跨模态注意力<br/>四路异构 Q-K-V 算子单阶段并行推导"]
    TMA --> MM["模态混合与门控推理<br/>FiLM 特征调制与文本条件自适应门控"]
    MM --> Out["自注意力交互与答案分类<br/>5×D 联合表征与分类头"]

关键设计¶

1. 问题引导 Token 过滤：无需额外注意力的 STE 轻量化区域筛选

视频帧展开为 Patch 序列后包含大量与当前问答无关的背景冗余，盲目将所有 Patch 喂入多模态层会引入噪声且显著增加计算量。但若引入额外的跨模态注意力层进行视觉区域筛选，又会违背避免深层堆叠的设计初衷。为此，Q-TriM 设计了一种无任何注意力算子的轻量化打分过滤机制。首先将文本向量 $\mathbf{t}$ 线性映射到 Patch 通道维度得到 $\mathbf{t}' = W_t \mathbf{t} + \mathbf{b}_t$，随后直接计算文本与第 $t$ 帧所有 Patch 特征 $\mathbf{v}_t^{\mathrm{p}}$ 的点积兼容度得分： $$\mathbf{s}_t = \frac{\mathbf{t}' (\mathbf{v}_t^{\mathrm{p}})^\top}{\sqrt{D'}} \in \mathbb{R}^P$$ 根据得分挑选出 Top-$K$ 个 Patch（保留比例 $k=0.5$，即 $K=P/2$），形成离散硬采样矩阵 $X_t^{\mathrm{hard}}$。为了让硬选择的索引不可微操作能够端到端回传梯度，作者引入直通估计器（Straight-Through Estimator, STE）：先基于温度系数 $\tau$ 计算软性注意力权重 $\mathbf{w}_t = \mathrm{softmax}(\mathbf{s}_t / \tau)$ 并取出对应的 Top-$K$ 权重 $\mathbf{w}_t^{\mathrm{top}}$ 得到软重加权特征 $X_t^{\mathrm{soft}} = X_t^{\mathrm{hard}} \odot \mathbf{w}_t^{\mathrm{top}}$。最终通过截断梯度算子 $\mathrm{sg}(\cdot)$ 构成输出特征： $$\tilde{\mathbf{v}}_t^{\mathrm{p}} = \mathrm{sg}(X_t^{\mathrm{hard}}) + \left( X_t^{\mathrm{soft}} - \mathrm{sg}(X_t^{\mathrm{soft}}) \right)$$ 前向传播严格保留干净的硬筛选 Patch，反向传播则将梯度沿软权重无损传递给打分投影矩阵 $W_t$。过滤完成后，仅对筛选出的 Patch、全局视频帧、音频和文本各自施加一层轻量自注意力进行模态内特征精炼。

2. 三模态注意力机制：单阶段三路直接交互打破顺序堆叠瓶颈

传统多模态注意力通常只允许两个模态通过 Query 和 Key-Value 发生双向交互，要在三个模态间建立关联只能多层串行推进。本文从概率学视角重新构建融合框架，定义在给定文本查询 $\mathbf{t}$ 条件下，第 $i$ 个视频帧与第 $j$ 个音频帧的条件相似度得分（Conditional Similarity Score, CSS）矩阵 $\mathbf{S}$，其元素为 $s(i, j | \mathbf{t})$。通过对 $\mathbf{S}$ 做二维 Softmax 获得联合概率分布 $P_{\mathbf{S}}(i, j | \mathbf{t})$。当定义默认 CSS 为独立相似度之和 $s(i, j | \mathbf{t}) = \mathbf{v}_i \mathbf{t}^\top + \mathbf{a}_j \mathbf{t}^\top$ 时，对特征求条件期望： $$\mathbb{E}[\mathbf{V} | \mathbf{t}] = \sum_{i, j} P_{\mathbf{S}}(i, j | \mathbf{t}) \cdot \mathbf{v}_i = \mathrm{Attn}(\mathbf{t}, \mathbf{V}, \mathbf{V})$$ 此时退化为以文本为 Query 的标准跨模态注意力。为了捕捉音视频事件在同一时刻共现的紧密关联，作者进一步提出了交叉参考 CSS（Cross-Reference CSS）：$\bar{s}(i, j | \mathbf{t}) = \mathbf{a}_i \mathbf{t}^\top + \mathbf{v}_j \mathbf{t}^\top$。该式巧妙地用第 $i$ 帧的音频表征来评估第 $i$ 帧视频在文本下的重要性。此时对应的矩阵为转置矩阵 $\mathbf{S}^\top$，对其计算条件期望便推导出了全新的三模态注意力（Tri-Modal Attention, TMA）： $$\mathbb{E}[\mathbf{V} | \mathbf{t}] = \mathrm{Attn}(\mathbf{t}, \mathbf{A}, \mathbf{V})$$ $$\mathbb{E}[\mathbf{A} | \mathbf{t}] = \mathrm{Attn}(\mathbf{t}, \mathbf{V}, \mathbf{A})$$ 在 $\mathrm{Attn}(\mathbf{t}, \mathbf{A}, \mathbf{V})$ 中，Query 来自文本，Key 来自音频，Value 来自视频 Patch。其物理含义是：由文本与音频共同决定哪些时间步最符合提问要求，并据此直接加权聚合对应的视觉画面。三个模态在单个注意力算子内直接达成三向对齐，完全无需层层中继。此外，通过 Log-Sum-Exp 光滑近似最大值算子混合上述两种 CSS，理论证明其期望恰好等价于跨模态注意力与三模态注意力的等权平均，为并行架构提供了坚实的理论支撑。

3. 模态混合与门控推理：文本条件化动态赋权与全局自注意力收敛

由理论推导可知，最优的融合特征应包含标准交叉注意力和三模态注意力的综合表现。因此，模型在实现时并行实例化了四路注意力表征：$r_1 = \mathrm{Attn}(\mathbf{t}, \mathbf{V}^{\mathrm{p}}, \mathbf{V}^{\mathrm{p}})$、$r_2 = \mathrm{Attn}(\mathbf{t}, \mathbf{A}, \mathbf{A})$、$r_3 = \mathrm{Attn}(\mathbf{t}, \mathbf{A}, \mathbf{V}^{\mathrm{p}})$ 以及 $r_4 = \mathrm{Attn}(\mathbf{t}, \mathbf{V}, \mathbf{A})$。为了使特征分布在不同问题下保持稳定，在送入注意力前利用特征仿射变换层（FiLM）对键和值施加基于文本向量的调制：$K' = \mathrm{FiLM}(K; \mathbf{t}) = K \odot (\mathbf{1} + W_\gamma \mathbf{t}) + W_\beta \mathbf{t}$（$W_\gamma$ 和 $W_\beta$ 初始化为零，初始阶段保持恒等映射）。由于不同问题对视觉、声音或音视频协同的依赖程度截然不同（例如纯音频计数与音视频动作定位），模型通过线性投影生成四个文本引导的门控标量： $$(q_1, q_2, q_3, q_4) = W_g \mathbf{t} + \mathbf{b}_g, \qquad g_i = 1 + \frac{1}{2} \tanh(q_i)$$ 加权后的表征为 $h_i = g_i r_i$。最后，将文本向量与四路加权表征在通道维度拼接形成统一表征矩阵 $\mathbf{H} = [\mathbf{t}; h_1; h_2; h_3; h_4] \in \mathbb{R}^{5 \times D}$。通过一层标准自注意力层 $\mathrm{SA}(\mathbf{H}, \mathbf{H}, \mathbf{H})$ 实现全局五路 token 之间的深度语义汇聚，最终由全连接分类头输出预测答案分布。

损失函数 / 训练策略¶

模型采用标准的交叉熵损失函数进行端到端优化，并引入 0.1 的标签平滑（Label Smoothing）以缓解分类过拟合： $$\mathcal{L}_{\mathrm{CE}} = - \sum_{c=1}^C y_c \log \hat{y}_c$$ 优化器选用 AdamW，初始学习率每 8 个 epoch 衰减为原来的 0.1。所有注意力模块及分类头均配置 0.1 的 Dropout。为防止梯度爆炸，对全局梯度范数实施 0.1 的梯度截断（Gradient Clipping）。整个训练过程仅需在一张单卡 NVIDIA A6000 GPU 上即可高效完成。

实验关键数据¶

主实验¶

评估在 MUSIC-AVQA-R、MUSIC-AVQA 以及 MUSIC-AVQA-v2.0 三大公开基准上进行。MUSIC-AVQA-R 侧重于去偏见与长尾/分布外场景（区分 Head 频繁项与 Tail 罕见项）；MUSIC-AVQA-v2.0 包含平衡与偏置拆分集。

数据集	评估拆分 / 指标	本文方法 (Q-TriM)	之前 SOTA (QA-TIGER / TSPM)	相比 SOTA 变化
MUSIC-AVQA-R	全部测试集 Overall Avg (%)	70.89	67.99 (QA-TIGER)	+2.90
MUSIC-AVQA-R	Audio QA Count (Head / Tail) (%)	85.68 / 76.12	82.67 / 75.82	+3.01 / +0.30
MUSIC-AVQA-R	Visual QA Local (Head / Tail) (%)	89.45 / 78.95	84.76 / 75.59	+4.69 / +3.36
MUSIC-AVQA-R	Audio-Visual QA Count (Head / Tail) (%)	81.43 / 44.21	76.70 / 33.55	+4.73 / +10.66
MUSIC-AVQA	全部测试集 Overall Avg (%)	77.68	77.62 (QA-TIGER)	+0.06
MUSIC-AVQA	Visual QA Avg (%)	85.76	85.14 (QA-TIGER)	+0.62
MUSIC-AVQA	Audio-Visual QA Avg (%)	73.78	73.74 (QA-TIGER)	+0.04
MUSIC-AVQA-v2.0	Bias 训练集 $\to$ Bias 测试集 Avg (%)	78.40	76.93 (QA-TIGER)	+1.47
MUSIC-AVQA-v2.0	Bias 训练集 $\to$ Balance 测试集 Avg (%)	75.31	73.91 (QA-TIGER)	+1.40
MUSIC-AVQA-v2.0	Balance 训练集 $\to$ Bias 测试集 Avg (%)	76.92	76.57 (QA-TIGER)	+0.35
MUSIC-AVQA-v2.0	Balance 训练集 $\to$ Balance 测试集 Avg (%)	76.29	76.43 (QA-TIGER)	-0.14

消融实验¶

消融实验在极具挑战性的 MUSIC-AVQA-R 测试集上展开，细分考察各核心机制对不同问答类型的贡献。

配置	Audio QA (%)	Visual QA (%)	Audio-Visual QA (%)	Overall Avg (%)	相对完整模型变化
完整模型 (Ours)	74.74	83.64	62.85	70.89	-
w/o Token Filtering (移除视觉过滤)	74.54	80.36	61.54	69.21	-1.68
w/o Tri-Modal Attention (移除三模态注意力)	73.13	81.02	61.10	68.92	-1.97
w/o Modality Mixture (移除模态混合门控)	72.08	78.21	60.96	67.85	-3.04
w/o All Modules (Base 基础模型)	70.48	80.83	58.43	66.96	-3.93

同时，针对 Token Filtering 中的保留比例 $k$ 进行敏感性消融（MUSIC-AVQA-R）： - $k=0.1$：Avg 70.11%（仅保留 10% 的视觉 patch，性能依然高出 Baseline 3.15%，表明 STE 过滤极其高效） - $k=0.3$：Avg 70.56% - $k=0.5$（默认）：Avg 70.89%（精度最高点） - $k=0.7$：Avg 70.39% - $k=0.9$：Avg 70.50%

关键发现¶

去偏与分布外鲁棒性大幅跃升：在基准 MUSIC-AVQA-R 上，Q-TriM 取得了 70.89% 的成绩，大幅领先此前 SOTA 模型 QA-TIGER（67.99%）达 2.90 个百分点。尤其在长尾分布的罕见样本（Tail）上，Audio-Visual QA Count 的准确率从 33.55% 暴涨至 44.21%（+10.66%），证明浅层并行设计有效避免了深层网络对高频快捷方式（Shortcuts）的机械记忆与过拟合。
三模态注意力与模态门控是核心基石：消融数据表明，去掉 Modality Mixture 后整体性能暴跌 3.04%，去掉 Tri-Modal Attention 下降 1.97%。在需要三模态协同推理的 Audio-Visual QA 子项上，移除 TMA 导致准确率从 62.85% 跌至 61.10%，印证了让异构模态在 Q、K、V 中直接对话对于多模态推理的必要性。
视觉 Token 过滤的高压缩比鲁棒性：仅保留 10% 的图像 patch 依然能跑出 70.11% 的精度，说明大部分背景视觉信号对于回答特定音乐场景问题属于干扰噪声，通过 STE 训练的轻量化点积选择器能够精准圈出声源乐器区域。

亮点与洞察¶

优雅的条件概率推导三模态注意力：常规注意力机制在处理三模态时几乎默认采用级联或串联堆叠，Q-TriM 创造性地从二维条件相似度联合概率分布的条件期望切入，用数学公式严谨推导出了让文本为 Q、音频为 K、视频为 V 的自然形态。这一形式消除了人为设计层叠架构的随意性。
免注意力的无损可微 Token 筛选：利用直通估计器（STE）将离散的 Top-K 索引选取与连续的软性注意力权重无缝耦合，既省去了传统筛选网络中额外引入的自注意力计算开销，又使模型免于在浅层堆叠更多注意力块。
化深为浅的架构哲学：本论文有力证明了多模态融合未必要走“网络越深、堆叠越多”的暴力路线。水平展开的并行算子不仅能显著减缓层间特征衰减与误差级联传播，在分布外测试（OOD）和去偏基准上更展现出显著超越深层网络的泛化能力。

局限与展望¶

作者承认的局限：目前关于不同条件相似度得分（CSS）形式的探索主要围绕点积和交叉求和展开，未深入探索更复杂的非线性相关度函数；此外模型验证主要局限在音乐演奏领域（MUSIC-AVQA 系列），尚未泛化至开放域野外日常视频问答。
审读发现的局限：虽然论文强调“避免深层堆叠”，但特征提取器仍然强依赖预训练好的深层大模型（CLIP 与 ImageBind），其冻结特征本身的表征上限直接制约了下游问答性能；此外在平衡训练集且平衡测试的极端无偏场景下（MUSIC-AVQA-v2.0 Balance/Balance），Q-TriM（76.29%）略低于 QA-TIGER（76.43%），表明在无先验快捷路径的高洁净数据集上，更精细的高斯专家建模仍具有微弱优势。
未来改进思路：可将 CSS 概率期望框架拓展至多说话人对话视频理解与具身导航领域；同时探索将该浅层并行机制与轻量端到端多模态大语言模型（MLLM）的投射层相结合，代替现有多层重型 Q-Former 结构。

评分¶

新颖性: ⭐⭐⭐⭐☆ [从条件相似度分布期望严谨推导出异构 Q-K-V 三模态注意力，数学推导自洽且具启发性]
实验充分度: ⭐⭐⭐⭐⭐ [详尽覆盖 MUSIC-AVQA、MUSIC-AVQA-R、MUSIC-AVQA-v2.0 三大基准与完备的消融分析]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严谨清晰，方法公式推导环环相扣，对比图表规范规范]
价值: ⭐⭐⭐⭐☆ [为音视频多模态高效融合提供了摒弃盲目加深网络的新范式，具备良好的跨任务迁移潜力]