Geometric Alignment without Functional Equivalence: A Layer-wise Analysis of the Speech–Text Modality Gap¶

会议: NeurIPS 2026
arXiv: 2603.01502
代码: https://github.com/mhhsu/speech-llm-modality-gap
领域: 可解释性
关键词: 语音大模型、模态差距、几何对齐、功能等价性、注意力干预

一句话总结¶

论文揭示端到端语音大语言模型在语义匹配问题上的语音-文本性能差距并非单纯源于表征未对齐：在中层表征已实现高几何对齐度（CKA）的情况下，深层候选答案边距仍发生显著偏离，且深层注意力过度发散对答案分离具有因果影响。

研究背景与动机¶

端到端语音大语言模型（Speech LLMs）旨在通过将语音特征直接送入语言模型骨干网络，使用户能够以口头交互形式无缝调动底层模型的通用知识与逻辑推理能力。然而在纯语义问答（答案完全由语言内容决定，与发音人身份、语调、语速或背景声无关）任务中，现有模型普遍表现出显著的模态差距（Modality Gap）：相同语义问题作为语音输入时的准确率系统性落后于文本输入。

现有关于多模态大模型模态差距的分析主要聚焦于表征空间的几何结构，通常使用跨层居中核对齐（Centered Kernel Alignment, CKA）或余弦相似度等指标，度量语音表征流与文本表征流在隐藏层中的接近程度，并以此为依据设计更强的表征对齐损失。然而，表征几何上的相似性仅刻画了隐藏向量在激活流形上的几何形态，并不意味着下游网络在调用这些表征时能够执行等价的推理与决策生成。

这种认知割裂导致学界未能深入触及核心矛盾：在网络中间层成功实现几何对齐的语音表征，是否必然会在深层以与文本相同的方式驱动答案生成？本文的目标是将表征几何对齐分析与语言模型逐层答案生成动力学（如 logit lens 视角）结合起来，检验几何对齐是否蕴涵功能等价性。核心 idea：通过结合跨层 CKA 表征几何探测与逐层候选答案边距读出，证实几何对齐并不蕴涵功能等价性；并在控制输入及序列长度不变的前提下，通过深层注意力干预揭示出注意力分散对答案编码分离度的因果影响。

方法详解¶

整体框架¶

本文构建了一套用于诊断端到端语音大模型逐层内部机制的双重视角分析框架：一条线通过动态时间规整（DTW）配对语音帧与文本 token 隐状态，计算跨层线性 CKA，追踪跨模态几何相似度的演进；另一条线在决策位置执行逐层候选概率与对数几率（logit）读出，追踪模型对正确选项与竞争选项偏好程度的逐层演变轨迹。在此基础上，通过固定输入张量与序列长度的注意力重分配干预，以及音频波形压缩和 token 合并实验，建立表征分布、注意力机制与最终决策行为之间的对应关系。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["成对输入<br/>相同语义的语音 S2T 与文本 T2T"] --> B["跨层 CKA 表征几何分析<br/>DTW 对齐隐状态并度量层间相似度流形"]
    B --> C["逐层候选边距读出<br/>在决策位置探测正确选项相对于竞争候选项的边距"]
    C --> D["深层注意力因果干预<br/>保持输入与 token 数不变，锐化深层注意力分布"]
    D --> E["冗余压缩诊断验证<br/>波形时间压缩与推断期 token 合并修复分析"]

关键设计¶

1. 跨层 CKA 表征几何探测：定位模态特征汇聚的层级范围

以往跨模态几何对齐分析往往受到语音帧与文本 token 序列长度不一致的困扰，常用的线性插值或粗暴的时序均值池化容易引入人为统计伪影。本文在残差流的特定基准层（SpeechMMLU 取第 10 层，BBH 取第 20 层）通过隐藏状态的余弦相似度构建对齐代价矩阵，利用动态时间规整（DTW）确定语音帧到文本 token 的单调对应路径。在随后的层对计算中完全冻结该对应路径，对每个文本 token 选取其对应的原生语音帧（或取局部中位数），确保每一行都是真实、未平滑的原生隐状态。

在对齐矩阵 \(X \in \mathbb{R}^{N \times D}\)（语音）与 \(Y \in \mathbb{R}^{N \times D}\)（文本）上计算线性居中核对齐：

\[\mathrm{CKA}(X,Y)=\frac{\langle HKH, HLH\rangle_{F}}{\|HKH\|_{F}\|HLH\|_{F}},\quad K=XX^{\top},\ L=YY^{\top}\]

其中 \(H = I - \frac{1}{N}\mathbf{1}\mathbf{1}^{\top}\) 为中心化矩阵。通过系统性扫描语音层与文本层组成的完整二维网格，该方法能够精确识别语音特征在经历浅层投影（Phase I）、中层语义弥散对齐（Phase II，高 CKA 宽频带）以及深层收敛（Phase III）时的相变行为。

2. 决策位置逐层答案边距读出：捕获深层功能性解耦

为了直接观察模型在内部计算中如何逐步偏向正确答案，设计了无需中间探测微调的逐层候选答案边距读出机制。将测试样本构造为标准对话前缀，提取用户消息末尾决策位置（即 Assistant 预测首个 token 的位置）在各层经受 RMS 归一化与全词表语言头投影后的候选激活分值 \(z_{i,\ell}^{c}\)。针对给定多选任务的候选集合（例如 yes/no 或 A/B），在温度为 1 下计算候选后验概率 \(q_{i,\ell}^{c} = \operatorname{softmax}(z_{i,\ell})_{c}\)，并定义概率边距指标：

\[m_{i,\ell}^{p} = q_{i,\ell}^{y_i} - \max_{c \neq y_i} q_{i,\ell}^{c}\]

在深层关键窗口 \(\mathcal{L}_{\mathrm{late}} = \{23, \dots, 28\}\) 内，对比仅文本答对样本（Text-only-correct）与仅语音答对样本（Speech-only-correct）在两种模态下的平均边距差异 \(\delta_i^p = \frac{1}{|\mathcal{L}_{\mathrm{late}}|}\sum_{\ell \in \mathcal{L}_{\mathrm{late}}} (m_{i,\ell}^{p,\mathrm{T2T}} - m_{i,\ell}^{p,\mathrm{S2T}})\)。通过定义两组样本之间的交叉对比度（Crossover Contrast）：

\[\Delta_{\mathrm{crossover}} = \mathbb{E}_{\text{T-correct}}[\delta_i^p] - \mathbb{E}_{\text{S-correct}}[\delta_i^p]\]

该设计能够以无偏统计区间量化深层决策偏离，验证了即便中层几何对齐良好，深层对正确候选答案的提升轨迹仍出现严重分歧。

3. 固定输入深层注意力因果干预：解耦注意力分散对决策置信度的影响

观察到语音输入在决策位置处的注意力分布极度发散（覆盖 90% 注意力权重所需的 token 数是文本的 2 到 3 倍以上），但这究竟是副反应还是导致决策失败的因果诱因？为此提出了一种非破坏性局部因果干预方案。在保持输入音频张量、token 序列与网络权重完全固定的前提下，仅在深层 \(\ell \in \{23, \dots, 28\}\) 的每个自注意力头中，对目标语音区域的注意力后验权重 \(p_j\) 执行基于温度系数 \(\tau = 0.6\) 的重标定锐化：

\[p'_j = \frac{p_j^{1/\tau}}{\sum_k p_k^{1/\tau}}\]

同时严格恢复各注意力头施加在语音跨度上的原始总质量，且完全保持语音跨度外部上下文权重与 Value 向量不变。通过在双选任务中设计正反向标签映射（X 与 Y 互换）及规则顺序置换，消除对绝对预测正确率的语义偏置，精确测量绝对两选 logit 间距变化 \(\Delta |z_X - z_Y|\)。这证实了深层注意力发散对候选答案编码的分离度具有决定性因果驱动作用。

4. 冗余压缩跨层诊断探针：定位多模态错误的可修复机制

语音信号在时间维度存在极高的信息稀疏性与物理冗余。为了探究模态差距是否源于时间序列过长对深层注意力的干扰，设计了波形级时序压缩与网络内部 token 合并双重探针。波形级通过保持音调的 1.2 倍速播放（tempo 1.2×）与基于能量阈值的静音切除，缩短输入音频长度；内部则在浅层投影之后的 Transformer 块中，计算奇偶索引语音 token 间的余弦相似度并执行渐进加权均值合并（keep ratio 0.5）。通过跟踪文本答对而语音答错的错误子集在压缩后的逆转率，揭示时序压缩如何有效缓解深层注意力稀疏问题并挽回特定类型的推理失败。

实验关键数据¶

主实验¶

在跨模型与基准评测中，针对纯语义匹配基准 SpeechMMLU 与 VoiceBench BBH 评估了四种主流开源端到端语音大模型的文本直接输入（T2T）、语音直接输入（S2T）以及 ASR 级联方案（ASR-to-LLM）。此外，在 MMSU 语音原生基准上进行边界验证。

模型	基准测试	T2T 准确率 (%)	S2T 准确率 (%)	模态差距 \(\Delta\) (点)	ASR 级联表现 (%)
Qwen2.5-Omni-7B	SpeechMMLU	73.49	70.24	+3.25	59.23 (较S2T -11.0)
Qwen2.5-Omni-7B	VoiceBench BBH	72.70	59.90	+12.80	67.40 (较S2T +7.5)
MiniCPM-o 2.6	SpeechMMLU	57.30	50.00	+7.30	-
MiniCPM-o 2.6	VoiceBench BBH	50.00	56.70	-6.70*	-
Qwen2-Audio-7B	SpeechMMLU	55.30	33.30	+22.00	-
Qwen2-Audio-7B	VoiceBench BBH	42.30	49.00	-6.70*	-
LLaMA-Omni-8B	SpeechMMLU	67.00	16.30	+50.70	-
LLaMA-Omni-8B	VoiceBench BBH	57.30	29.30	+28.00	-

(注：部分模型在特定生成配置下因输出格式解析失败率高达 20%~35% 导致表观数值波动；在 1024 诊断设置中，Qwen2.5-Omni 在 BBH 的 Web-of-lies 子任务上模态差距高达 +37.6 点。)

消融实验与诊断分析¶

1. 深层候选边距交叉对比与原生 CKA 验证¶

验证中层表征对齐提升量 \(\Delta A\) 与 95% 谱带宽度 \(\Delta W_{.95}\) 在剔除序列置换基线后的显著性，以及在深层决策窗口（第 23~28 层）中仅文本正确与仅语音正确样本的边距交叉检验。

检验项目 / 模型	坐标体系 / 评测基准	指标表现 (95% 置信区间)	物理含义与统计显著性
CKA 提升 \(\Delta A\) (无池化)	Qwen2.5-Omni on SpeechMMLU	0.0952 [0.0867, 0.1034]	中层表征显著超越置换基线，几何对齐极强
频带宽度 \(\Delta W_{.95}\)	Qwen2.5-Omni on BBH	5.64 [5.07, 6.21]	语音层对应约 6 个文本层，证实语义弥散现象
候选概率边距交叉对比	候选概率空间 \(m^p\)	+0.3652 [0.2867, 0.4426]	文本正确样本仅文本边距为正，反之亦然
候选 Logit 边距交叉对比	符号对数几率空间 \(m^z\)	+1.7897 [1.4431, 2.1331]	深层决策倾向完全取决于模态路由的生成结局

2. BBH 上语音特有错误的压缩修复消融分析¶

评估在 Qwen2.5-Omni 上，对文本答对但语音答错的 233 个困难样本（共享指令协议下）进行波形压缩或模型内部 token 合并时的修复能力与整体准确率变化。

压缩/修复方案	作用目标阶段	修复错误数 / 目标子集	错误修复率 (%)	全局准确率变化 \(\Delta\)Acc.
Tempo 1.2× 倍速	输入波形时长压缩	113 / 233	48.5%	+2.2% [-1.1, +5.4]
静音切除 (Silence Trim)	滤除无声停顿间隔	104 / 233	44.6%	+1.3% [-1.9, +4.5]
内部 Token Merging	消除推断期音频 token	99 / 233	42.5%	-1.5% [-4.8, +1.8]
ASR 级联对照组	离线转写为纯文本	181 / 233	77.7%	+10.0% [+6.7, +13.4]

关键发现¶

几何对齐与功能等价性解耦：在 Qwen2.5-Omni 和 MiniCPM-o 中，语音与文本表征在第 10~21 层之间表现出极高的 CKA 相似性，但到了第 23~28 层，两者的候选答案边距迅速分道扬镳，呈现明显的“决策不稳定（Decision Instability）”；而 Qwen2-Audio 则从网络中层起就几乎没有对齐（CKA \(\le 0.13\)），呈现“表征失败（Representation Failure）”。
深层注意力发散的因果性：语音输入在最终决策位置的注意力分布极其分散，在深层覆盖 90% 注意力权重所需的 token 比例比文本高出 3.74 倍。对第 23~28 层的语音注意力权重进行非破坏性局部锐化后，在各种反转映射条件下均显著放大了候选答案 code 之间的分离度（\(\Delta |z_X - z_Y| > 0\)），确立了注意力分配对深层决策形成的因果敏感性。
物理时序压缩与 token 压缩的机制异同：在波形层进行轻微倍速处理或切除静音能够修复 44%~48% 仅因语音形式出现的推理错误，且不损伤未压缩原本答对的样本；而网络内部的 token merging 虽能缩短序列并修复部分错误，但由于改变了特征本身的数值流形，导致产生较多破坏性转移（新增错误），净准确率收益反而为负。

亮点与洞察¶

跳出“表征相似即成功”的传统假设：首次从实证和理论探测角度证明，高 CKA 几何重合不等于多模态大模型能够无差别地利用这些知识，精准指出了以往以中层特征对齐为核心的训练范式在深层决策上的盲区。
巧妙的无混淆因果注意力干预实验：在完全不引入额外训练、保持输入张量与 token 数目完全相同的前提下，通过温度重标定与保能量缩放，结合对称的反向标签置换消除语义偏见，干净地证实了深层注意力集中度对决策分离度的因果驱动关系。
统一双模态失败分类学：将不同语音大模型的模态鸿沟清晰拆解为“中层对齐良好但深层决策不稳定”（Qwen2.5-Omni, MiniCPM-o）与“全局表征未能对齐”（Qwen2-Audio）两种完全不同的失效模式，为针对性模型改进提供了明确路线图。

局限与展望¶

作者指出的局限：分析主要集中于约 7B 参数规模的开源模型及合成语音 prompt，对超大规模模型（如百亿参数级）以及含复杂环境噪声、多方口语交谈等真实场景的普适性仍待进一步检验。
推断与因果的边界：注意力干预实验证实了深层注意力分配对“候选答案代码绝对分离度”具有因果影响，但由于标签置换下语义预测一致性的下降，尚未能在严格因果意义上证明“锐化注意力必定向正确语义方向纠偏”。
后续优化思路：针对决策不稳定型模型，后续研究应避免盲目堆砌中层对齐损失，而应设计引导深层决策头注意力向关键音素聚焦的显式正则项，或在推理时引入动态音频 token 时序压缩与蒸馏。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统证伪“几何对齐即功能等价”并揭示语音大模型内部深层决策解耦机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 款开源骨干模型、跨层 CKA、逐层 Logit 边距读出、严格置换检验、反向标签因果干预及多种压缩消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，术语与实验严谨细致，图表对照信息量极为丰富。
价值: ⭐⭐⭐⭐⭐ 为解决语音大模型“听懂语音但推理退化”这一痛点指明了全新的研究焦点（深层注意力与答案边距塑形）。