Do Sparse Autoencoders Learn Meaningful Concept Hierarchies?¶
会议: NeurIPS 2026
arXiv: 2606.22994
OpenReview: https://openreview.net/forum?id=ShTEtBuHeA
代码: https://github.com/nlsgrndn/eval-HSAEs
领域: 可解释性
关键词: 稀疏自编码器 (SAE), 概念层级结构, 无监督概念发现, 特征吸收, 泛化与特化
一句话总结¶
本文针对无监督概念发现中概念层级评估标准缺失的痛点，结合语义网络与分类学理论提出了覆盖概念级、结构级与协同激活级的评测协议，揭示出现有分层 SAE 在提取多层语义抽象时普遍受限于硬吸收与软吸收效应。
研究背景与动机¶
在现代深度学习中，平衡模型表达能力与可解释性、可控性是一项基础挑战。基于概念的表示学习提供了一种结构化的折中路径，既能支持内在可解释性，又能通过干预潜在概念实现直接的模型控制。以稀疏自编码器（SAE）为代表的无监督概念发现方法，能够在没有预定义标签的情况下从大语言模型或视觉骨干网络激活中解耦出高维离散特征。然而，随着字典尺寸急剧扩大，得到的特征空间极度扁平且杂乱无章，缺乏结构化的连接关系，导致人工导航、审计以及跨层级的模型转向操作变得异常困难。
人类天生倾向于通过层级结构组织知识与视觉概念，这促使研究界开始探索学习具备泛化/特化层级关系的 SAE 特征空间。近期涌现出 Matryoshka 嵌套稀疏约束（ActMSAE）、嵌套字典维度（ArchMSAE）、静态特征分组（EWG-SAE）、残差匹配追踪（MP-SAE）以及高低级专家混合（H-SAE）等多种尝试。然而，现有工作各执一词，主要依赖零星的定性可视化或局部的简单共现统计，缺乏统一的形式化定义与严格的定量评估基准，这使得学术界无法真正看清不同分层设计到底学到了什么。
这一困境的核心矛盾在于：分类学与知识图谱的静态结构约束，与神经网络前向推理中特征激活的动态依赖之间存在脱节。一个理想的泛化/特化层级不仅要求父节点语义比子节点更抽象、同级子节点语义连贯，更要求动态激活时满足逻辑蕴含关系，且不能出现子特征激活直接抹杀父特征激活的吸收病态。本文切入角度是融合分类学评估、语义网络与 SAE 经验指标，系统建立一套形式化评测体系。核心 idea：形式化定义概念级、结构级与协同激活级三大维度共 6 项无监督层级评测指标，系统揭示现有分层 SAE 普遍受制于两级浅层瓶颈，并首次定量刻画了子特征连续抑制父特征的“软吸收”现象。
方法详解¶
整体框架¶
本文构建了一个端到端的无监督概念层级评测流程：首先在大规模视觉特征（CLIP、DINOv2、Gemma-4 E2B 视觉残差流）上训练不同架构的分层 SAE；随后利用后验加权条件激活概率构建传递约简的概念层级有向无环图（DAG）；最后在保持无监督设定的前提下，沿概念级、结构级和协同激活级三个维度全面量化评估层级拓扑与推理激活行为。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入视觉嵌入<br/>CLIP / DINOv2 / Gemma-4 补丁残差"] --> B["分层 SAE 潜空间提取<br/>TopK / MSAE / EWG / MP / H-SAE"]
B --> C["概念层级有向无环图构建<br/>加权条件共激活 + 传递约简"]
C --> D["概念级度量<br/>单语义性得分 (s_m) 语义一致性"]
C --> E["结构级度量<br/>层级抽象性 (s_ha) + 兄弟相似性 (s_ss)"]
C --> F["协同激活级度量<br/>激活蕴含 (s_ai) + 激活主导 (s_ad) + 细化频率 (s_rf) + 条件相关 (s_cc)"]
D & E & F --> G["综合层级质量与吸收诊断<br/>硬吸收阻断判定与连续软吸收衰减分析"]关键设计¶
1. 概念级与结构级度量：量化层级抽象差与兄弟连贯性 为摆脱对人工真值树的依赖，该设计以编码器表征空间的余弦相似度加权平均作为语义代理，评估节点的单语义性与概念特化程度。对于每个特征 \(f\)，定义单语义性得分 \(s_m(f)\) 为输入嵌入之间以特征归一化激活为权重的成对相似度： $\(s_m(f) := \frac{\sum_{x^{(i)},x^{(j)}\in D} \tilde{a}_f(x^{(i)})\tilde{a}_f(x^{(j)}) \text{sim}(e(x^{(i)}), e(x^{(j)}))}{\sum_{x^{(i)},x^{(j)}\in D} \tilde{a}_f(x^{(i)})\tilde{a}_f(x^{(j)})}\)$ 基于“高单语义性对应更特化概念、低单语义性对应更抽象概念”的分类学规律，结构级指标提出层级抽象性得分 \(s_{ha}(p,c) := \mathbf{1}[s_m(p) < s_m(c)]\)，严格检测父节点是否确实比子节点更为泛化。同时，针对同一父节点 \(p\) 下的多个子节点集合 \(\mathcal{C}(p)\)，引入兄弟相似性得分 \(s_{ss}(p)\)，通过计算子节点激活加权嵌入中心之间的两两余弦相似度均值，确保子概念群落围绕共同语义主题聚合，避免杂乱拼接。
2. 协同激活级度量：形式化表征逻辑蕴含与抑制冲突 静态语义结构必须通过前向推理中的动态激活体现。在泛化/特化语义下，子特化特征的激活应当逻辑蕴含父概念的存在（例如出现“网球拍”必须同时激活“网球”），对应无硬吸收的激活蕴含得分 \(s_{ai}(p,c) := \mathbb{P}_D [A_p(x)=1 \mid A_c(x)=1]\)。进一步，当父子特征同时激活时，父特征的响应强度在期望上应不低于更具特化特性的子特征，由此定义激活主导得分 \(s_{ad}(p,c) := \mathbb{P}_D [a_p(x) \ge a_c(x) \mid A_p(x)=1 \wedge A_c(x)=1]\)。同时，细化频率得分 \(s_{rf}(p) := \mathbb{P}_D [\sum_{c\in \mathcal{C}(p)} A_c(x) \ge 1 \mid A_p(x)=1]\) 用于衡量抽象父概念被具象化展开的充分度，避免父节点沦为永远不被实例化的孤立标签。
3. 连续软吸收探测：揭示激活幅值间的负向竞争 传统文献对特征吸收的研究局限于二值状态下的“硬吸收”（即子特征激活导致父特征彻底失活，对应 \(s_{ai} \to 0\)）。然而实验中观察到大量更隐蔽的退化现象：父子节点虽能同时激活，但子节点激活越强，父节点幅值反而被持续削弱。为此，设计条件相关得分 \(s_{cc}(p)\)，计算在至少一个子节点激活的样本子集 \(D_p\) 上，父节点激活 \(a_p(x)\) 与子节点最大激活 \(\max_{c\in \mathcal{C}(p)} a_c(x)\) 之间的斯皮尔曼秩相关系数 \(\rho_s\)： $\(s_{cc}(p) := \rho_s \left( \{a_p(x)\}_{x\in D_p}, \{\max_{c\in \mathcal{C}(p)} a_c(x)\}_{x\in D_p} \right)\)$ 该指标直击软吸收核心——当 \(s_{cc} < 0\) 时，表明 SAE 的 \(L_0\) 稀疏竞争惩罚诱发了父子特征在幅值维度的病态互斥。
4. 基于加权条件激活的 DAG 提取与拓扑传递约简 由于多数分层 SAE 在训练期间仅施加隐式几何或嵌套约束，并不直接导出离散图结构，评测管线建立了一套抗噪的构图协议。首先计算成对加权条件概率 \(C_{ij} = \frac{\sum_{x} A_i(x) A_j(x) a_j(x)}{\sum_{x} A_j(x) a_j(x)}\)，过滤激活样本数小于 20 的低频噪声特征，以 \(t=0.9\) 为硬阈值初筛有向边；随后剪除可达后代数小于 5 的孤立小连通分支，并剔除出度超过全字典 5% 的泛化噪声节点；最终应用图论传递约简（Transitive Reduction），剔除所有存在长度 \(\ge 2\) 路径的冗余旁路长跳边，得到结构极简且语义无损的骨干概念 DAG。
损失函数 / 训练策略¶
对比的 SAE 变体采用不同训练目标以施加分层归纳偏置： - ActMSAE（激活嵌套）：在多个 TopK 截断层次 \(k_1, \dots, k_8 \in \{64, \dots, 6144\}\) 上施加递增权重损失 \(\mathcal{L} = \sum_{m=1}^8 \alpha_m \|x - \hat{x}_{k_m}\|_2^2\)，其中 \(\alpha_m \in \{8, 7, \dots, 1\}\)，强迫前序稀疏子集优先重建粗粒度主体。 - ArchMSAE（字典嵌套）：固定 \(k=64\)，但在递增的子字典宽度 \(M \in \{96, 288, 672, 1440, 2976, 6144\}\) 上同时计算重建误差并反向传播。 - EWG-SAE：引入非嵌套分组稀疏惩罚，按组分配加权 \(L_1\) 正则以诱导多尺度抽象。 - H-SAE：显式设定两级架构，顶层采用 \(k=32\) 路由至 361 个正交子空间专家，专家内部取 \(k=1\) 激活基底，配合正交性惩罚强制解耦。
实验关键数据¶
主实验¶
在 CC3M 数据集上基于 CLIP ViT-L/14 提取全局嵌入，比较 6 种 SAE 模型诱导的层级图拓扑属性与多维度量（表 1 与表 15 主流 CCA 协议数据）：
| 模型架构 | 节点数 | 边数 | 最大深度 | 抽象性 \(s_{ha} \uparrow\) | 兄弟相似 \(s_{ss} \uparrow\) | 细化频率 \(s_{rf} \uparrow\) | 主导得分 \(s_{ad} \uparrow\) | 条件相关 \(s_{cc} \uparrow\) |
|---|---|---|---|---|---|---|---|---|
| TopK SAE (基线) | \(2120 \pm 42\) | \(3011 \pm 77\) | \(3.67 \pm 0.58\) | \(0.986 \pm 0.003\) | \(0.750 \pm 0.012\) | \(0.162 \pm 0.008\) | \(0.621 \pm 0.023\) | \(0.257 \pm 0.017\) |
| EWG-SAE | \(974 \pm 57\) | \(2641 \pm 192\) | \(2.67 \pm 0.58\) | \(0.953 \pm 0.002\) | \(0.624 \pm 0.004\) | \(0.075 \pm 0.003\) | \(0.622 \pm 0.009\) | \(0.202 \pm 0.020\) |
| ArchMSAE | \(1012 \pm 99\) | \(1683 \pm 190\) | \(3.00 \pm 0.00\) | \(0.332 \pm 0.012\) | \(0.682 \pm 0.012\) | \(0.215 \pm 0.007\) | \(0.907 \pm 0.015\) | \(0.495 \pm 0.013\) |
| ActMSAE | \(3341 \pm 19\) | \(6170 \pm 81\) | \(5.67 \pm 0.58\) | \(0.763 \pm 0.011\) | \(0.800 \pm 0.001\) | \(0.476 \pm 0.007\) | \(0.788 \pm 0.009\) | \(0.487 \pm 0.003\) |
| H-SAE (显式分层) | \(6137 \pm 0\) | \(5776 \pm 0\) | \(2.00 \pm 0.00\) | \(\approx 0.000\) | \(0.847^*\) | 高 (结构固化) | 偏低 | \(\le 0.150\) |
| MP-SAE | \(0\) (CCA无法构图) | \(0\) | \(0.00\) | — | — | — | — | — |
注：MP-SAE 在单步残差更新机制下抑制特征共激活，导致基于 CCA 无法生成有效图；H-SAE 的 \(s_{ha} \approx 0\) 表明其子节点单语义性甚至低于父节点，出现语义倒置。
消融实验¶
针对构图机制（条件共激活 CCA vs 掩码余弦相似度 MCS）在 CLIP 模型上的敏感性消融分析：
| 构图度量 | 评估模型 | 图节点数 | \(s_m \uparrow\) | \(s_{ha} \uparrow\) | \(s_{ai} \uparrow\) | \(s_{ad} \uparrow\) | \(s_{cc} \uparrow\) |
|---|---|---|---|---|---|---|---|
| CCA (本文默认) | TopK SAE | \(2120 \pm 42\) | \(0.616\) | \(0.986\) | \(0.914\) | \(0.621\) | \(0.257\) |
| MCS (几何夹角) | TopK SAE | \(1567 \pm 93\) | \(0.564\) | \(0.858\) | \(0.587\) | \(0.738\) | \(0.301\) |
| CCA (本文默认) | ActMSAE | \(3341 \pm 19\) | \(0.598\) | \(0.763\) | \(0.940\) | \(0.788\) | \(0.487\) |
| MCS (几何夹角) | ActMSAE | \(4459 \pm 19\) | \(0.567\) | \(0.853\) | \(0.154\) | \(0.683\) | \(0.368\) |
| CCA (本文默认) | MP-SAE | \(0\) | — | — | — | — | — |
| MCS (几何夹角) | MP-SAE | \(504 \pm 23\) | \(0.472\) | \(0.030\) | \(0.122\) | \(0.942\) | \(0.336\) |
关键发现¶
- 绝大多数 SAE 陷入两层浅层限制：基线 TopK、EWG 与 ArchMSAE 超过 95% 的节点停留在 Depth 1 和 Depth 2。唯有 ActMSAE（多级 TopK 嵌套损失）能够有效扩展至 5-6 层深度，且在深层（Depth \(\ge 3\)）容纳了超过 1140 个节点。
- 显式层级架构的“语义虚假繁荣”：H-SAE 虽然强制构造了 361 个专家子树，但在无监督训练下，子节点无法学到专精特化语义，其单语义性得分 \(s_m\) 接近随机基准，\(s_{ha} \approx 0\) 表明其层级严重缺乏真实概念特化逻辑。
- 软吸收普遍存在：虽然 ActMSAE 和 ArchMSAE 在 \(s_{ai}\) 上有效抑制了硬吸收，但在条件相关性 \(s_{cc}\) 的全局分布中，所有模型均存在显著比例的 \(s_{cc} < 0\) 子图，说明当前的贪婪 \(L_0\) 稀疏机制迫使模型在同一样本中通过压低父节点激活来为子节点让路。
亮点与洞察¶
- 多维度无监督层级评测体系：将经典知识库分类学标准转化为无需人工标注的可微/可统计指标，为分层可解释性研究确立了首个跨模型评估框架。
- 首次形式化并量化“软吸收”危机：指出传统 \(L_0\) 稀疏目标不仅会造成离散维度的父特征被吃（硬吸收），更会在连续响应层面诱发负相关抑制，为下一代层级稀疏正则化指明了改进靶点。
- 构图与训练范式的互补启示：实验证明完全后验构图易受训练动态干扰（如 MP-SAE 彻底无法生成共激活），而完全预先固化的硬拓扑（如 H-SAE）又极易导致特征退化；未来方向应是将顶层宏观拓扑先验与底层无监督自适应发现有机结合。
局限与展望¶
- 作者承认的局限：所有指标均建立在无监督图像表征相似度的代理假设上，虽然在 ImageNet-1k 真值树上得到了一致性验证（\(s_{ha}=0.94, s_{ss}=0.86\)），但仍无法完全代替复杂长尾概念的人工主观判定；后验构图依赖预设条件概率阈值。
- 自审局限：实验集中于视觉单模态嵌入（CLIP、DINOv2 及 Gemma-4 视觉残差），尚未在大语言模型的核心自注意力层及深层 MLP 跨层激活中进行长程推理追踪。
- 未来改进方向：在 SAE 训练目标中显式引入层级蕴含损失（Hierarchical Entailment Penalty），放宽对激活向量全局绝对稀疏的硬性约束，允许父子链条产生保真度的级联正响应。
相关工作与启发¶
- vs Bussmann et al. (ArchMSAE) / Zaigrajew et al. (ActMSAE)：两者仅通过 Matryoshka 嵌套结构展示定性重构与特征切片，本文定量指出 ArchMSAE 倾向于学到泛化特征而丢失特化深度，ActMSAE 具备深层构建潜力但伴随深层冗余激增（Jaccard 相似度达 0.48）。
- vs Muchane et al. (H-SAE)：H-SAE 宣称通过两级专家结构实现解耦，本文评测揭穿其子节点多为语义混杂噪声（\(s_{ha}\) 趋近于零），证明未经动态自适应校准的生硬拓扑约束适得其反。
- vs Wittenmayer et al. (CFM)：CFM 仅依赖条件共激活概率定性画图，本文在此基础上引入传递约简、出度修剪以及连续软吸收判据，使其成为严谨的定量度量基准。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出分层 SAE 无监督评估理论并定义软吸收机制。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 6 类代表性分层 SAE、3 种跨模态骨干网络并设计了严格的真实层级树验证。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学符号体系完备，定量实验与定性失效分析结合紧密。
- 价值: ⭐⭐⭐⭐⭐ 澄清了领域内对分层概念提取的盲目乐观，指出了稀疏约束与层级激活的本质矛盾。