Sanity Checks for Sparse Autoencoders: Do SAEs Beat Random Baselines?¶
会议: NeurIPS 2026
arXiv: 2602.14111
OpenReview: https://openreview.net/forum?id=nWEGPx5sz8
领域: 可解释性
关键词: 稀疏自编码器, 机械可解释性, 随机基线, 懒惰训练机制, 特征恢复
一句话总结¶
本文通过已知真值的合成数据实验与三种冻结随机参数基线（Frozen/Soft-Frozen Decoder 及 Frozen Encoder），揭示了现有稀疏自编码器（SAE）即使达到 71% 的解释方差也仅能恢复 9% 的真实特征，且完全训练的 SAE 在自动解释度、稀疏探测和因果编辑指标上几乎无法超越随机基线，有力挑战了高重构与单义性代表真实内部机制解耦的学界假设。
研究背景与动机¶
大语言模型（LLMs）的内部机制解释是确保模型安全性、对齐与推理可靠性的核心前沿。然而，神经网络残差流广泛存在“多义性（Polysemanticity）”现象，即单个神经元同时响应多种无关语义。基于叠加假设（Superposition Hypothesis），学术界将稀疏自编码器（SAEs）作为解耦高维稠密激活的黄金标准，试图通过超完备线性字典将隐层激活重构为一组稀疏激活的单义特征，并成功将其扩展至 GPT-4 与 Gemma 等顶尖模型。然而，近期在下游对齐与因果干预任务中不断涌现的负面结果，引发了学界对 SAE 所提取特征真实性的深层忧虑。
评估 SAE 的根本瓶颈在于现实大模型缺乏底层特征的“真实基准（Ground Truth）”。学界长期默认采用四类代理指标来间接证实特征提取的有效性：重构保真度（解释方差 EV）、基于大模型的自动可解释性评分（AutoInterp）、稀疏线性探测准确率以及因果编辑（RAVEL）。这种评估范式隐含了一个未经验证的前提假设——只要自编码器在高稀疏度下实现了高重构率，且激活单元在文本检索中展现出可理解的规律，就证明其真正解构了模型的内部计算回路，而非拟合了高维空间的数据伪影。
本文直击这一核心盲区，提出了两套互为补充的“严格否定性检验（Sanity Checks）”。首先，在完全受控且已知生成特征的合成设定中检验 SOTA 架构的真值恢复率；其次，在真实真实激活流上构建切断特征学习的随机冻结基线，如果耗费算力充分训练的 SAE 无法显著击败随机初始化的对照组，则现有评估指标的有效性将被动摇。核心 idea：通过构建已知基准真值的超完备合成实验以及三种随机冻结参数的极简 Null-Hypothesis 基线（Frozen Decoder、Soft-Frozen Decoder、Frozen Encoder），系统性证明 SAE 的重构表现与真实特征恢复严重脱节，且现有可解释性与因果控制指标在本质上可由未学习的高维随机向量覆盖轻易复现。
方法详解¶
整体框架¶
本文构建了一套用于系统性审计 SAE 表征有效性的诊断体系，涵盖合成受控验证与大模型真实激活探测两个核心阶段。在合成阶段，评估重点是高重构指标能否转化为对真实生成基底的对准；在真实模型阶段，通过对 SAE 编码器或解码器权重施加冻结、随机化与几何约束，构建零特征学习的对照基线，并在全套下游任务中检验学习增益。
整体流程如下图所示，清晰展示了从合成数据生成到冻结基线构建，再到多维指标评测的端到端评估流：
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入数据源<br/>(合成特征激活 / LLM残差流激活)"] --> D1["合成真值恢复检验<br/>超完备字典+重尾发生率分解"]
D1 --> D2["冻结随机解码器与懒惰训练约束<br/>固定随机基底与球冠约束空间"]
D2 --> D3["冻结编码器与尺度对齐基线<br/>固定预设模式与阈值解码学习"]
D3 --> Out["四维下游评估任务<br/>(解释方差 / AutoInterp / 稀疏探测 / RAVEL因果编辑)"]关键设计¶
1. 合成真值恢复检验：解耦重构误差与超完备字典恢复率
针对以往合成实验膨胀因子过小（如 \(k \approx 2\)）无法反映真实场景的缺陷，设计了具有 \(n=100\) 维隐空间与膨胀因子 \(k=32\)（字典容量 \(m=3200\)）的超完备受控生成模型。真实特征向量 \(\{\mathbf{f}_i\}_{i=1}^m\) 均匀采样自单位超球面 \(S^{n-1}\)，激活样本由稀疏线性组合生成： $\(\mathbf{x} = \sum_{i=1}^{3200} b_i \cdot c_i \cdot \mathbf{f}_i\)$ 其中强度系数服从对数正态分布 \(c_i \sim \text{Log-Normal}(0, 0.25)\)，激活门控 \(b_i \sim \text{Bernoulli}(p_i)\)。针对现实大模型特征分布的重尾特性，设置了恒定发生率模式（\(p_i=0.00625\)）与重尾变发生率模式（\(p_i \sim \text{Log-Uniform}(10^{-5.5}, 10^{-1.2})\)），两者的期望稀疏度均为 \(L_0=20\)。恢复指标定义为真值特征与最近 SAE 解码器原语的最大余弦相似度： $\(\text{Recovery}(\mathbf{f}_i) = \max_j \frac{\langle \mathbf{f}_i, \mathbf{W}^{\text{dec}}_j \rangle}{\|\mathbf{f}_i\|_2 \cdot \|\mathbf{W}^{\text{dec}}_j\|_2}\)$ 该机制直观验证了：强行优化重构损失 \(\mathcal{L}_{MSE} + \lambda \|\mathbf{z}\|_1\) 只会驱使 SAE 捕捉数据方差主轴或仅拟合极少数高频特征，无法在真实稀疏超完备设定下找回底层隐变量。
2. 冻结随机解码器与懒惰训练约束：揭示表征调整的几何极限
为检验真实激活下解码器特征方向是否真正包含学习到的物理概念，设计了两种基线：Frozen Decoder（解码器权重 \(\mathbf{W}^{\text{dec}}\) 随机高斯初始化后全程固定）以及 Soft-Frozen Decoder（解码器权重固定在初值邻域内）。Soft-Frozen 针对神经网络优化中常见的“懒惰训练（Lazy Training）”现象，强制解码器列向量在整个训练周期内与初始随机方向保持余弦相似度 \(\tau \ge 0.8\) 的投影约束。
从高维球面测度集中理论分析，固定在半角余弦阈值 \(\tau\) 内的解码器向量所覆盖的超球面子集为 \(X := \{\mathbf{x} \in S^{n-1} \mid \exists i \in [m], \langle \mathbf{x}, \widehat{\mathbf{W}}^{\text{dec}}_i \rangle \ge \tau\}\)。对于任意独立的真实语义特征 \(\mathbf{Y}\)，其落入该被约束子集的概率上界满足： $\(P(\mathbf{Y} \in X) \le m \cdot \exp\left(-\frac{n\tau^2}{2}\right)\)$ 在 Gemma-2-2B（\(n=2304, m=73728, \tau=0.8\)）的典型参数下，该概率小于 \(4.67 \times 10^{-316}\)。这意味着 Soft-Frozen 解码器在数学上绝对不可能通过参数漂移偶然对齐任意有意义的潜在特征。若 Soft-Frozen 仍能取得与完全训练相当的重构与下游表现，则直接证明现有指标取得的高分只是高维空间近邻线性插值的假象。
3. 冻结编码器与尺度对齐基线：隔离特征激活模式的学习贡献
Frozen Encoder 基线将编码器矩阵 \(\mathbf{W}^{\text{enc}}\) 随机初始化并全程冻结，仅允许训练偏置、门控阈值以及解码器矩阵 \(\mathbf{W}^{\text{dec}}\)。该设计的关键在于：特征被哪些上下文和 token 序列触发（即激活模式）在初始化阶段就已完全随机锁定。通过对比 Frozen Encoder 与全训练模型在单义性自动解释（AutoInterp）、稀疏探测（Sparse Probing）以及因果编辑（RAVEL）中的差距，可以直接定量剥离“端到端学习”究竟带来了多少实质性的特征识别增益，抑或只是由超大规模字典中随机投影与聚类重合带来的统计巧合。
损失函数 / 训练策略¶
实验覆盖 BatchTopK、JumpReLU 及标准 ReLU 三种代表性架构，模型在 Gemma-2-2B（层 12 与层 19）及 Llama-3-8B（层 16）的残差流激活上训练。所有模型均在 OpenWebText 数据集上消耗 5 亿（500M）tokens，序列长度 512，优化器采用 AdamW，学习率 \(2 \times 10^{-4}\)，批大小为 4098。稀疏度控制通过遍历 \(L_0 \in \{80, 115, 160, 225, 320\}\) 实现。对于初始化机制，对比了各向同性超球面均匀分布（iso）与匹配真实激活协方差（cov）的初始化采样策略，确保基准对比在最严格且公平的条件下进行。
实验关键数据¶
主实验¶
在 Gemma-2-2B 模型的第 12 层残差流上，设置膨胀因子 32（字典容量 73,728），在稀疏度 \(L_0 = 160\) 处对全训练 SAE 与三种冻结随机基准进行了系统评测，涵盖解释方差（EV）、单隐单元稀疏探测（Top-1）、多隐单元稀疏探测（Top-5）以及 RAVEL 因果编辑得分。
| 架构 / 变体 | 初始化模式 | 解释方差 (EV) ↑ | 稀疏探测 (Top-1) ↑ | 稀疏探测 (Top-5) ↑ | 因果编辑 (RAVEL) ↑ |
|---|---|---|---|---|---|
| BatchTopK (Fully-Trained) | iso | 0.852 ± 0.001 | 0.721 ± 0.026 | 0.849 ± 0.025 | 0.720 ± 0.049 |
| BatchTopK (Soft-Frozen Decoder) | iso | 0.785 ± 0.001 | 0.659 ± 0.035 | 0.723 ± 0.031 | 0.728 ± 0.038 |
| BatchTopK (Frozen Decoder) | cov | 0.570 ± 0.004 | 0.692 ± 0.014 | 0.797 ± 0.014 | 0.554 ± 0.028 |
| BatchTopK (Frozen Encoder) | iso | 0.475 ± 0.004 | 0.638 ± 0.013 | 0.731 ± 0.013 | 0.641 ± 0.027 |
| Δ (最优冻结基线 vs 完全训练) | - | -7.8% | -4.0% | -6.0% | +1.0% |
| JumpReLU (Fully-Trained) | iso | 0.852 ± 0.001 | 0.704 ± 0.031 | 0.843 ± 0.027 | 0.722 ± 0.046 |
| JumpReLU (Soft-Frozen Decoder) | iso | 0.789 ± 0.000 | 0.672 ± 0.036 | 0.735 ± 0.036 | 0.739 ± 0.038 |
| JumpReLU (Frozen Decoder) | cov | 0.578 ± 0.003 | 0.694 ± 0.015 | 0.790 ± 0.011 | 0.551 ± 0.030 |
| JumpReLU (Frozen Encoder) | iso | 0.609 ± 0.003 | 0.635 ± 0.010 | 0.747 ± 0.012 | 0.623 ± 0.024 |
| Δ (最优冻结基线 vs 完全训练) | - | -7.3% | -0.2% | -6.2% | +2.3% |
消融实验¶
在合成数据基准（3200 维真值特征，\(k=32\)，期望 \(L_0=20\)）以及深层网络与大跨度模型（Llama-3-8B Layer 16）上的对比消融结果如下：
| 数据集 / 模型配置 | 评测架构 / 变体 | 解释方差 (EV) | 特征恢复率 / 探测指标 | 核心结论与机制表现 |
|---|---|---|---|---|
| 合成数据 (恒定发生率) | BatchTopK SAE | 0.67 | 0.09% (3/3200) | 强重构下几乎彻底无法恢复均匀基底特征 |
| 合成数据 (恒定发生率) | JumpReLU SAE | 0.67 | 0.09% (3/3200) | 同上，高 EV 与特征几何对齐完全脱节 |
| 合成数据 (重尾发生率) | BatchTopK SAE | 0.71 | 9.28% (297/3200) | 仅能恢复最高频特征，>90% 长尾特征全部丢失 |
| 合成数据 (重尾发生率) | JumpReLU SAE | 0.71 | 7.03% (225/3200) | 恢复严重偏向高频大方差方向 |
| Llama-3-8B (Layer 16) | BatchTopK (Full) | 0.805 ± 0.000 | 0.766 ± 0.039 (Top-1) | 跨模型泛化验证，基准上限稳定 |
| Llama-3-8B (Layer 16) | Soft-Frozen Decoder | 0.699 ± 0.000 | 0.752 ± 0.046 (Top-1) | Top-1 探测准确率仅落后全训练 1.9% |
| Llama-3-8B (Layer 16) | Frozen Encoder (iso) | 0.424 ± 0.001 | 0.713 ± 0.010 (Top-1) | 随机编码器探测依然显著超越随机猜测(0.50) |
关键发现¶
- 重构率假象：在合成数据中，SAE 仅需捕获少数高频特征或数据主成分即可达到 0.71 的解释方差，但特征恢复率不足 10%；在恒定发生率下甚至彻底归零（0.09%），确证了“强重构”绝不等于“成功解耦”。
- 单义性涌现并非源于特征学习：基于 GPT-4o-mini 的 AutoInterp 测试表明，Soft-Frozen BatchTopK 的自动解释均分高达 0.88，直逼全训练模型的 0.90；Frozen Encoder 也有约 30% 的特征获得 >0.70 的可解释评分，并展现出如“亲切用词”、“未来时间表达”等抽象概念，证明可解释性很大程度上是高维文本数据聚类在随机投影上的统计映射。
- 因果编辑与探测的高维随机覆盖效应：在 RAVEL 因果编辑中，Soft-Frozen 变体不仅没有掉点，反而微幅超越全训练模型（0.728 vs 0.720，JumpReLU 下 0.739 vs 0.722）。这表明单隐变量上的因果干预成功，源于超完备空间中海量初始随机方向的系统性覆盖，而非网络学习到了本质因果变量。
亮点与洞察¶
- 提出极简且极具杀伤力的 Null-Hypothesis 评测体系：通过 Frozen 与 Soft-Frozen 解码器/编码器，无需增加训练成本，就能为任何新型 SAE 架构提供立等可测的性能基线，为领域建立严谨的学术防护栏。
- 球冠测度集中理论证伪“偶然对齐假设”：从理论上证明在高维空间（\(n=2304\)）中随机向量落入预设语义球冠的概率低至 \(10^{-316}\)，无可辩驳地从数学上排除了 Soft-Frozen 模型凭借“运气”匹配真实特征的可能性。
- 打破机械可解释性的指标泡沫：揭示了现有单变量探测（Sparse Probing）与自动打分（AutoInterp）在超完备字典下的严重脆弱性，启发社区从单纯追求重构与稀疏度的代理指标，转向研发显式约束因果机制与特征对齐的新目标函数。
局限与展望¶
- 合成数据的独立性假设：合成实验假设真实特征之间相互统计独立，而真实网络激活往往存在复杂的非线性依赖与相关性（尽管在独立简化场景下已崩溃，引入复杂相关性更不可能自发提升 SAE 表现）。
- 未覆盖 Transcoder 与跨层 Crosscoder 架构：研究主要聚焦于作用于单层残差流的标准 SAE（ReLU、JumpReLU、BatchTopK），对于跨层特征提取或跨编码器体系的随机基准设计仍有待后续拓展。
- 多特征聚合探测暴露真实差距：在 Top-5 联合稀疏探测中，冻结基线与完全训练模型出现了较明显的性能断层（约 6%-10%），说明学习到的表征在跨特征协同互补表达复杂概念方面仍具备一定微弱优势，未来应探索更严苛的多特征因果电路基准。
相关工作与启发¶
- vs. 传统 SAE 奠基工作 (Bricken et al., 2023; Anthropic)：开创了词典学习解析叠加表示的范式，依赖 AutoInterp 与重构率宣称单义性；本文证明这些指标在完全冻结的随机模型上即可复现，必须引入健全性检验。
- vs. SAEBench 评测套件 (Karvonen et al., 2025)：SAEBench 系统化了 EV、探测与 RAVEL 指标；本文基于 SAEBench 的代码与任务框架，反向构造了三类随机对照基线，指出了该基准在单隐变量探测和因果编辑上的评估漏洞。
- vs. AxBench (Wu et al., 2025) & 特征缺陷研究 (Chanin et al., 2025)：同行工作指出了特征吸收、特征对冲及下游 steering 的失败；本文更进一步切入机制本质，从基准真值与懒惰训练双重视角，证明当前 SAE 范式并未真正解耦模型内部逻辑。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出针对 SAE 的随机冻结基线并建立球冠概率理论证明，切中领域重大认知盲区。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖受控合成数据、3 种 SOTA SAE 架构、2 大主流 LLM（Gemma-2、Llama-3）及 CLIP 视觉模型，多维指标论证扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑层层递进，批判尖锐有力且推导严密，图表对比极具冲击力。
- 价值: ⭐⭐⭐⭐⭐ 为快速过热的机械可解释性领域泼了一剂清醒剂，奠定了未来 SAE 评估必须遵循的标准规范。