From Isolated feature to Orbits: Discovering Music Concepts via Multi-SAE Alignment¶
会议: NeurIPS 2026
arXiv: 2610.01864
OpenReview: https://openreview.net/forum?id=OiLTPYgHYL
代码: https://github.com/Kikyo-16/sae-alignment
领域: 音频/语音
关键词: 音乐基础模型、稀疏自编码器、机械可解释性、移调轨道、多视角对齐
一句话总结¶
本文提出一种基于半音移调等变性的多视角稀疏自编码器（SAE）对齐框架，利用共享 Top-K 掩码与后验后继映射无监督恢复音乐概念的有向轨道结构（如和弦环、调性下属音环与旋律链），仅需极少锚点标注即可泛化解析整族音乐概念。
研究背景与动机¶
随着 MuQ、MusicFM 等音频基础模型在多项下游音乐理解任务中展现出卓越的表征能力，如何解析其深层隐藏激活所编码的音乐内部表征机制成为了机械可解释性领域的核心课题。现有的解释性方法多局限于两类范式：一类是基于外部标签训练监督线性探针（linear probing），但探针易受多义性（polysemanticity）干扰，且线性可恢复性并不等同于模型内部存在显式的概念表示；另一类是利用稀疏自编码器（SAE）将神经激活重构分解为离散稀疏特征，但现有实践通常仅停留在事后将单个孤立特征与外部标签做匹配，忽略了音乐概念之间天然固有的深层关系结构。
音乐理论的核心在于音高和时间的结构化关系，诸如和弦、调式与音阶等概念本质上并非孤立语义，而是在移调（pitch transposition）变换下遵循严格等变规律的群论轨道。例如十二平均律下的同一个大三和弦在连续半音移调下形成周期为 12 的循环闭环，其在轨道中移动时音高分量连续演变，而和弦品质（大三和弦）作为不变量贯穿始终。如果仅将每个和弦视为孤立神经元或特征进行检测，不仅需要耗费大量人工标注去逐个验证，更割裂了表征空间内部蕴含的代数与几何连续性。
为此，本文将研究视角从“孤立特征识别”推进到“基于结构的系统分析”，核心切入点是将半音移调作为强归纳偏置引入自监督表征解耦。核心 idea：利用音频在相邻半音移调下的等变性，通过跨视图共享 Top-K 激活支持联合训练多个对称 SAE，并在解码器空间构建后继映射算子，从而以无监督方式在基础模型隐空间中完整重构和弦、调性与旋律的有序特征轨道（Orbits）。
方法详解¶
整体框架¶
整个框架包含输入多视角变换、多 SAE 联合对齐训练以及事后轨道拓扑恢复三个阶段。给定一段音乐音频，系统首先通过相位声码器（phase vocoder）生成 \(S\) 个连续半音移调视图；冻结的音乐基础模型分别提取各视图的时间对齐帧级表征序列；随后为各视图分配独立的 Top-K SAE，但在编码前共享均值中心偏置，在稀疏化时通过跨视图归一化激活的最大值同步 Top-K 选择掩码，迫使同一特征索引绑定到相差一个半音的对应概念；训练完成后，直接利用各 SAE 解码器字典向量的余弦相似度构建双向后继映射 \(\mathsf{T}_{\mathcal{F}}\)，从参考 SAE 中提取出和弦环、下属音环、旋律长链及音高不变不动点。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入音乐音频 $a$"] --> B["半音移调多视角生成<br/>相位声码器变换 $a^{(s)} = \mathsf{T}_{\mathcal{A}}^s(a)$"]
B --> C["基础模型特征抽取<br/>冻结主干 MuQ / MusicFM"]
C --> D["跨视图对齐 SAE 训练<br/>共享前置偏置 $b$ 与联合 Top-K 掩码"]
D --> E["双向解码器语义匹配<br/>计算后继转移矩阵 $v(s)$"]
E --> F["拓扑轨道提取与锚点语义推断<br/>和弦环 / 下属音环 / 旋律链"]关键设计¶
1. 共享 Top-K 激活支持的多 SAE 联合对齐：建立跨移调视角的特征索引耦合
为了在没有任何类别标签的情况下让不同 SAE 的相同隐层索引对应到严格相差一个半音的概念实现，该设计通过联合稀疏掩码对齐特征索引。针对 \(S\) 个移调视图对应的帧表征 \(x^{(s)}\)，各 SAE 首先减去一个跨视图共享的可学习前置偏置 \(b\in\mathbb{R}^d\)，再经由各自独立的编码器权重计算非负激活 \(u^{(s)}=\operatorname{ReLU}(W_{\mathrm{enc}}^{(s)}(x^{(s)}-b))\)。为消除不同 SAE 因初始化和尺度差异带来的幅度失真，先计算各视图激活的均方根幅度 \(\alpha^{(s)}=\sqrt{\frac{1}{M}\sum_{i=1}^M (u_i^{(s)})^2}\) 并进行归一化 \(\bar{u}^{(s)}=u^{(s)}/\max(\epsilon, \alpha^{(s)})\)。随后在视图维度取各维度的最大响应形成共享打分向量 \(u_i^{\mathrm{shared}}=\max_{s} \bar{u}_i^{(s)}\)，并据此提取全局 Top-K 二值掩码 \(m=\operatorname{TopKMask}(u^{\mathrm{shared}}, K)\)。最终将该掩码反贴回各视图的原始非归一化激活得到稀疏表征 \(z^{(s)}=m\odot u^{(s)}\)。这种共选机制迫使所有 SAE 在重构对应时间帧时必须复用相同的隐变量索引，使得相同索引 \(i\) 的特征 \(f_i^{(s)}\) 与 \(f_i^{(s+1)}\) 在优化重构误差的同时自然学到相差一个半音的对称对应。
2. 基于解码器相似度的双向后继映射：将跨 SAE 对应折叠为单 SAE 内的有向轨道
多 SAE 训练建立了跨视图的索引对齐，但下游分析需要在一个参考 SAE 的特征空间内部形成概念流向。该设计利用解码器列向量单位化后的几何方向，将跨模型的“锯齿式（zig-zag）”转移压缩为单模型内的确定性后继映射。在 \(S=3\) 的对称设置下，以中间模型 \(s=1\) 作为参考空间。对于特征 \(f_i^{(s)}\)，分别考察其沿向上移调与向下移调的一致性： $\(v_{\uparrow}^{(s)}(i,j) = \cos\left(w_i^{(s+1)}, w_j^{(s)}\right), \quad v_{\downarrow}^{(s)}(i,j) = \cos\left(w_i^{(s)}, w_{j}^{(s-1)}\right)\)$ 转移目标的候选索引 \(j^{\star}(i)\) 由两个方向余弦相似度的均值最大化决定，而该转移的置信度则取两者的较大值 \(v^{(s)}(i)=\max\{v_{\uparrow}^{(s)}(i,j^{\star}(i)), v_{\downarrow}^{(s)}(i,j^{\star}(i))\}\)。当且仅当置信度超过阈值 \(\tau\)（实验中常设为 0.5 且满足单射冲突消解）时，该转移被确认，从而定义单 SAE 内的特征移调映射 \(\mathsf{T}_{\mathcal{F}}(f_i)=f_{j^{\star}}\)。通过迭代应用 \(\mathsf{T}_{\mathcal{F}}\)，轨迹若闭合则形成大小为 12 的循环环（如和弦环、下属音环），自映射形成不动点（如音色、节奏等音高无关特征），未闭合终止则形成开放序列（如单音音高链）。
3. 下属音偏置调性环的发现与极低标注锚点语义传播：从局部特征揭示模型全局调性编码
传统可解释性研究通常假定调性由主音（Tonic）或属音（Dominant）主导表征，而本文通过提取的 12 节点封闭环意外发现：音乐基础模型内部并未直接涌现出显式的主音或属音特征环，而是稳定涌现出以相对大调下属音（Subdominant，即调内第 4 音级 \(\hat{4}\)）为中心的特征环。例如在降 B 大调音频中，仅有根音为降 E 的和弦帧会激活该环的特定节点；当且仅当音乐包含下属音和弦时，模型才会强烈编码调性上下文。基于轨道拓扑的一致性，研究者不再需要对 12 个音级或和弦逐个进行人工标注，仅需 1 到 2 个已知音频片段确定该环上某个特征的音乐语义（如锚定某个节点为降 E 下属音），整个环上其余 11 个特征便可严格按照移调拓扑自动完成零样本语义传播，彻底摆脱了全量标签依赖。
损失函数 / 训练策略¶
训练时冻结音乐基础模型参数，仅更新所有 SAE 的独立编码器权重 \(W_{\mathrm{enc}}^{(s)}\)、独立解码器权重 \(W_{\mathrm{dec}}^{(s)}\) 以及共享偏置 \(b\)。损失函数采用跨全部 \(S\) 个移调视角的平均均方重构误差： $\(\mathcal{L}_{\mathrm{rec}} = \frac{1}{S}\sum_{s=0}^{S-1} \mathbb{E}_{a, t} \left[ \left\| \widehat{x}_t^{(s)} - x_t^{(s)} \right\|_2^2 \right]\)$ 其中重构表征 \(\widehat{x}^{(s)} = W_{\mathrm{dec}}^{(s)} z^{(s)} + b\)。每次梯度更新后，强制将解码器矩阵的每一列向量投影归一化为单位范数：\(w_i^{(s)} \leftarrow w_i^{(s)} / \max(\epsilon, \|w_i^{(s)}\|_2)\)，消除尺度的任意伸缩，确保解码器向量空间可以直接进行余弦几何对比。实验在 Slakh2100 的 326 首合成曲目（覆盖 24 个大小调平衡集）上使用 Adam 优化器训练，学习率设为 1e-3，批大小为 32 个 30 秒音频片段（25 fps），每步随机截取 3 个连续移调视图。
实验关键数据¶
主实验¶
为了客观衡量恢复出的特征轨道在下游音乐理解任务中的语义质量，论文在真实人声录音数据集（POP909、RWC-POP-100）和合成数据集（Slakh2100 测试集）上评估和弦识别（加权和弦召回率 WCR），并在 FMAKv2、GTZAN-Key 和 GiantSteps 上评估调性检测（准确率与 MIREX 准确率）。基线对比标准单视角 SAE（s-SAE）、全监督单层线性探针（Probe）以及领域专用 SOTA 模型（LVCR、S-KEY）。
表 1：不同模型在各数据集上的加权和弦召回率（WCR %，K=48）
| 模型与设置 | 基础表征 (层号) | 根音 WCR (POP909) | 根音 WCR (RWC) | 根音 WCR (Slakh) | 大小调 WCR (POP909) | 大小调 WCR (RWC) | 大小调 WCR (Slakh) |
|---|---|---|---|---|---|---|---|
| s-SAE (估计边界) | MusicFM (第4层) | 71.08 | 67.56 | 70.32 | 65.93 | 64.68 | 68.39 |
| s-SAE (估计边界) | MuQ (第2层) | 77.42 | 78.08 | 78.10 | 73.11 | 76.92 | 76.53 |
| o-SAE [本文] (估计边界) | MusicFM (第4层) | 74.01 | 69.65 | 75.35 | 70.09 | 67.68 | 73.99 |
| o-SAE [本文] (估计边界) | MuQ (第2层) | 80.03 | 79.79 | 78.45 | 73.68 | 77.40 | 75.61 |
| s-SAE (Oracle 边界) | MusicFM (第4层) | 80.31 | 78.43 | 79.85 | 75.14 | 75.82 | 79.67 |
| s-SAE (Oracle 边界) | MuQ (第2层) | 83.84 | 84.91 | 84.08 | 79.45 | 83.97 | 82.47 |
| o-SAE [本文] (Oracle 边界) | MusicFM (第4层) | 80.39 | 77.49 | 81.11 | 76.52 | 75.63 | 80.05 |
| o-SAE [本文] (Oracle 边界) | MuQ (第2层) | 85.29 | 86.21 | 84.67 | 78.96 | 83.76 | 82.06 |
| 监督探针 Probe (Oracle) | MuQ (第2层) | 84.17 | 86.01 | 86.05 | 81.49 | 84.66 | 86.42 |
| 专用 SOTA (LVCR) | 外部监督专用模型 | 84.25 | 87.96 | 85.65 | 81.37 | 87.47 | 83.81 |
表 2：基于下属音环的调性检测准确率（忽略相对大小调差异，%）
| 方法模型 | 基础表征 (层号) | 歌曲级 (FMAKv2) | 歌曲级 (GTZAN) | 歌曲级 (GiantSteps) | 片段级 (FMAKv2) | 片段级 (GTZAN) | 片段级 (GiantSteps) |
|---|---|---|---|---|---|---|---|
| 监督探针 Probe | MusicFM (第3层) | 50.92 | 48.31 | 40.89 | 44.92 | 48.31 | 36.39 |
| 监督探针 Probe | MuQ (第5层) | 54.66 | 48.80 | 47.68 | 48.33 | 48.80 | 40.33 |
| 基线 s-SAE | MusicFM (第3层) | 35.09 | 30.60 | 25.99 | 32.07 | 30.60 | 25.50 |
| 基线 s-SAE | MuQ (第5层) | 56.61 | 48.80 | 47.19 | 50.00 | 48.80 | 41.20 |
| o-SAE [本文] | MuQ (第5层) | 56.92 | 51.57 | 50.50 | 50.32 | 51.57 | 44.56 |
表 3：由和弦特征聚合推断调性（24 类调性准确率与 MIREX 评分，%）
| 方法模型 | 基础表征 (层号) | MIREX (FMAKv2) | MIREX (GTZAN) | MIREX (GiantSteps) | 准确率 (FMAKv2) | 准确率 (GTZAN) | 准确率 (GiantSteps) |
|---|---|---|---|---|---|---|---|
| 监督探针 Probe | MuQ (第2层) | 66.13 | 63.22 | 69.70 | 56.90 | 52.89 | 61.92 |
| 基线 s-SAE | MuQ (第2层) | 68.87 | 66.63 | 69.34 | 61.08 | 58.92 | 62.42 |
| o-SAE [本文] | MuQ (第2层) | 70.17 | 67.09 | 71.14 | 64.07 | 58.67 | 62.35 |
| 专用 SOTA (S-KEY) | 外部自监督模型 | 73.24 | 74.22 | 72.09 | 64.92 | 65.54 | 64.40 |
消融实验¶
表 4：关键设计与超参数消融（MuQ 第 2 层在不同配置下的核心指标影响）
| 消融配置 | 核心机制变化 | 根音 WCR (POP909) | 调性 MIREX (FMAKv2) | 结构恢复现象 |
|---|---|---|---|---|
| 完整 o-SAE (\(K=48, \tau=0.5\)) | 3 视图共享 Top-K + 双向后继 | 85.29 | 70.17 | 完整闭合恢复三大核心环（大小和弦、下属音） |
| 单视图 s-SAE (无移调对齐) | 移除移调多视角对齐与联合掩码 | 83.84 (-1.45) | 68.87 (-1.30) | 无法自发成环，须依赖监督探针向量反向检索 |
| 较小稀疏度 (\(K=32\)) | 增加激活稀疏约束 | 84.12 (-1.17) | 69.45 (-0.72) | 环结构依然稳定出现，但高密度多乐器重叠欠拟合 |
| 较大稀疏度 (\(K=64\)) | 放宽稀疏度 | 85.10 (-0.19) | 70.02 (-0.15) | 重构精度稍高，但部分弱特征出现多义分支 |
| 严格阈值 (\(\tau=0.7\)) | 提高后继边确认门槛 | - | - | 完整 12 环易碎裂为小碎片（需放宽至 \(n_e=10\)） |
| 宽松阈值 (\(\tau=0.4\)) | 降低后继边确认门槛 | - | - | 引入较多伪转移边，环拓扑出现异常交叉 |
关键发现¶
- 主音缺失与下属音显著性反常：实验表明，虽然全监督线性探针能从隐状态中强行解码出主音和属音信号，但无监督的 SAE 却只自发涌现出下属音环。这有力证明了“线性可恢复性”并不等于模型内部具备显式概念表征；基础模型在局部时间帧上是通过下属音和弦的出现来间接锚定调性上下文的。
- 跨域泛化能力出众：仅在无伴奏人声的合成 MIDI 数据集（Slakh2100）上训练的 o-SAE，直接迁移到包含复杂混音、人声演唱的现实流行音乐集（POP909、RWC-POP-100）时，和弦识别准确率几乎没有衰减，达到甚至逼近专用监督系统 LVCR 的表现。
- 主干模型表征质量差异显著：在所有对比设置下，MuQ 抽取的隐层表征在轨道完整度、各层特征清晰度以及下游指标上均系统性优于 MusicFM；MuQ 在浅层（第 2 层）即可高度解耦和弦结构，中层（第 5 层）高度解耦调性下属音结构，而 MusicFM 未能成功恢复出下属音环。
亮点与洞察¶
- 将群论对称性作为机械可解释性的自监督归纳偏置：打破了过去仅将 SAE 视作孤立静态“字典”的思维惯性，将音乐中严密的半音移调群作用映射为特征空间的置换算子，不仅无监督重建了概念关系，而且赋予了隐空间清晰的拓扑几何解释。
- 一石二鸟的标注效率与概念传播机制：通过数学环的自封闭性，彻底解决了 SAE 特征解释严重依赖全量专家标注的痛点——只需人工听辨或标注环上的 1 个锚点节点，剩余全部 11 个调性/和弦节点即可沿有向边无缝自动化标注，实现了零样本概念家族解耦。
- 揭示了“探针伪假象”与 SAE 稀疏显著性的本质区别：明确论证了全监督线性探针由于容量和外部标签强行干预，会凭空“重合成”模型本身并未显式组织的伪概念（如局部主音），而对齐 SAE 能真实反映模型自主组织的低维稀疏流形。
局限与展望¶
- 变换维度的局限性：当前轨道归纳偏置严格绑定于音高半音移调，对于音乐中同样至关重要的音高不变特征（如节奏节拍律动、配器音色结构等），轨道退化为单点不动点，无法提供进一步的关系拓扑解析。
- 时间层级的局部性：现有方法聚焦于局部帧级别特征提取，尚未引入长时程时间演变和层级文法建模，无法完全解释模型如何在宏观乐段（整首曲目）级别完成调性调制和段落规划。
- 十二平均律文化偏置：依赖 12 半音步长和西方调式数据体系，对于非十二平均律体系的民族民间音乐（如微音程、非西方调式体系），12 节点闭环假设将不再适用，需要拓展更广泛的连续变换李群。
相关工作与启发¶
- vs. 传统线性探针 (Probing) [2, 14, 23]：传统探针依赖大量外部真值监督且受多义神经元干扰，容易因监督信号而在激活中强行合成相关性；本文为自监督无标签提取，揭示了基础模型内部自发形成的稀疏概念结构，避免了探针带来的虚假显著性假象。
- vs. 标准通用 SAE (Universal SAE / AudioSAE) [1, 19, 20]：既有音频 SAE 工作仅关注静态重构与单特征语义标记，特征之间离散孤立；本文引入多视图移调支持对齐与后继算子，将解耦单元从单特征提升到有序特征轨道，能表征高阶复合代数结构。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用半音移调群论等变性诱导 SAE 特征轨道，开创了结构化机械可解释性新范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 MuQ 与 MusicFM 双模型，并在合成及真实录音、多语种人声和多种下游任务上做了深入评测与消融。
- 写作质量: ⭐⭐⭐⭐⭐ 数学表达严密，音乐理论逻辑与机器学习表征深度融合，逻辑环环相扣。
- 价值: ⭐⭐⭐⭐⭐ 为音频大模型内部表征机制研究提供了强有力的自监督解析工具，对概念解耦与模型审计有重要指导意义。