The Rate-Distortion-Polysemanticity Tradeoff in SAEs¶

会议: NeurIPS 2026
arXiv: 2605.14694
OpenReview: https://openreview.net/forum?id=Rp9yurnWMc
领域: 可解释性
关键词: 稀疏自编码器、多语义性、率失真理论、概念共现、单语义性税

一句话总结¶

本文从率失真理论出发首次形式化了稀疏自编码器中稀疏度（率）、重构误差（失真）与特征纯度（多语义性）的三方权衡（RDP Tradeoff），证明了强行约束单语义性必然以提高码率或恶化失真为代价，并揭示了多语义性本质上是模型为最小化重构误差而对数据生成过程中概念共现模式的最优利用。

研究背景与动机¶

稀疏自编码器（Sparse Autoencoders, SAEs）近年来已成为机械可解释性（Mechanistic Interpretability）研究中解构神经网络激活向量的标准工具。研究者期望 SAE 能够将原本处于叠加态（Superposition）的低维密集表征，映射到一个过完备且稀疏的隐空间中，使得每一个被激活的隐层特征（Atom）都对应一个孤立、人类可理解的单一语义概念（即实现单语义性，Monosemanticity）。然而，当前 SAE 的训练与评估范式几乎完全被双轴指标所主导：一方面是重构误差（Distortion，衡量解释的忠实度），另一方面是激活稀疏度（Rate/L0，衡量解释的简洁性）。

这种评估视角的缺失导致了一个长期困扰可解释性社区的核心矛盾：在率-失真曲线上表现最为优异、重构精度极高且极度稀疏的 SAE，在实际检查时却经常表现出严重的多语义性（Polysemanticity）——同一个特征原子同时响应多个互不相关的语义概念；反之，若强行通过正则化或结构约束促使特征走向纯净的单语义性，模型的重构误差和编码效率往往会出现断崖式下跌。过往工作通常将特征对冲（Hedging）或特征分裂（Splitting）等非单语义现象归咎于优化瓶颈、架构缺陷或经验性的特征相关性，试图通过微调优化目标或调整超参数来“消除”多语义性，却始终缺乏对其内在机理的理论解释。

本文的切入角度是将信息论中的率失真理论扩展至表征学习与可解释性领域，指出单纯的“率-失真”双轴框架本身无法刻画表征质量的质性特征。核心 idea：将多语义性作为显式的第三个几何轴引入优化框架，建立率-失真-多语义性（Rate-Distortion-Polysemanticity, RDP）理论，证明单语义性施加了不可消除的“单语义性税”，并证明最优 SAE 的多语义性程度从数学上是由真实数据生成过程中概念的共现概率分布直接决定的。

方法详解¶

整体框架¶

本文首先基于线性表征假设（Linear Representation Hypothesis, LRH）建立底层数据生成过程（DGP）：观测激活向量由若干真实正交概念方向根据指示向量的联合概率分布线性叠加生成。在此语义参考系下，通过计算 SAE 字典原子与真实概念之间的余弦相似度矩阵，定义了可量化的多语义性度量。随后，论文形式化定义了 RDP 泛函与帕累托前沿，并在正交合成模型下给出了闭式对称差损失分解，展示出单语义约束下的守恒律与最优字典对概念共现模式的必然响应。最后，针对现实大模型中底层真实概念不可观测的困境，提出了基于 RDP 前沿单调性的元度量一致性检验标准。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["底层数据生成过程 DGP<br/>激活向量 x = ∑ c_ℓ v_ℓ 由正交概念线性生成"] --> B["语义参考系与多语义性泛函<br/>计算字典与真实概念余弦矩阵之最大对齐残差 P(C)"]
    B --> C["率-失真-多语义性 RDP 理论前沿<br/>证明收紧多语义性预算必恶化码率或失真"]
    C --> D["单语义性税与守恒律量化<br/>单语义类满足 D(θ) + R(θ) = E||c||_0 形成阶梯前沿"]
    D --> E["概念共现驱动机制推导<br/>闭式对称差损失证明共现概率直接决定对冲与分裂解"]
    E --> F["真实大模型元度量一致性审计<br/>Dominated Pairs 逆序率 V 与符号翻转 Spearman 相关 ρ"]

关键设计¶

1. 语义参考系构建与多语义性泛函：使特征混合程度具备严格数学定义 为了解决传统信息论在表征定性分析上的盲区，必须建立一个先验的语义坐标系。设底层存在 $n$ 个相互正交的真实概念方向 $V = (\mathbf{v}_1, \dots, \mathbf{v}_n) \in \mathbb{R}^{d \times n}$，激活状态由二值向量 $\mathbf{c} \sim p_{\mathbf{c}}$ 决定，即 $\mathbf{x} = \sum_{\ell \in S} \mathbf{v}_\ell$。对于具有 $m$ 个特征原子的 SAE 字典 $\hat{V} = (\hat{\mathbf{v}}_1, \dots, \hat{\mathbf{v}}_m)$，定义其余弦相似度矩阵 $C \in \mathbb{R}^{m \times n}$，其中元素 $c_{i\ell} = \cos(\hat{\mathbf{v}}_i, \mathbf{v}_\ell)$。特征字典的多语义性泛函 $P(C)$ 严格定义为每个原子对所有真实概念最大对齐程度的平均未解释残差： $$P(C) := \frac{1}{m} \sum_{i=1}^{m} \left(1 - \max_{\ell \in \{1,\dots,n\}} c_{i\ell}^2\right) \in [0, 1]$$ 当每个原子均与某一真实概念严格共线时，$P(C)=0$（完美单语义）；而当原子表征多个概念的线性组合时，$P(C)$ 严格大于 0 并随着概念混合程度的扩散而单调增加。基于此，率-失真-多语义性函数定义为在失真预算 $D_0$ 和多语义性预算 $P_0$ 约束下的最小码率 $R^\star(D_0, P_0) := \inf_{\theta \in \Theta} \{R(\theta) : D(\theta) \le D_0, P(\theta) \le P_0\}$。

2. 单语义性税与阶梯型前沿：约束特征纯度带来的不可抗代价 利用紧集上的集合包含关系，本文首先从理论上证明了 $R^\star(D_0, P_0)$ 和对偶失真函数 $D^\star(R_0, P_0)$ 关于多语义性上限 $P_0$ 的单调非增性。在正交因子和单位原子假设下，论文揭示了完美单语义 SAE 类内的一个基本物理守恒律： $$D(\theta) + R(\theta) = \mathbb{E}_{p_{\mathbf{c}}} \left[\|\mathbf{c}\|_0\right]$$ 该守恒律表明，在单语义模型中，每一单位激活率的投入恰好抵消一单位概念缺失带来的失真。如果无约束（多语义）SAE 在率预算 $k$ 下能够达到的最优失真为 $D_\infty$，且该最优解确实混合了概念，那么任何达到相同失真界（$D(\theta) \le D_\infty$）的单语义 SAE 必须支付明确的“单语义性码率税”（Rate Tax）：$R(\theta) \ge \mathbb{E}_{p_{\mathbf{c}}}[\|\mathbf{c}\|_0] - \delta > k$，其中 $\delta \le D_\infty$ 为单语义模型所能触及的最佳失真。因此，在固定码率下强制推行单语义性必将导致重构失真的永久性跃升；由于可表达概念集合是离散组合，完美单语义下的率-失真帕累托前沿呈现为阶梯函数（Staircase），而非光滑曲线。

3. 概念共现驱动的最优性证明：多语义性是重构优化的必然解而非意外 为了剖析多语义性在几何层面上被优化的根源，论文将 TopK-SAE 的均方重构误差表达为真实激活集合 $S$ 与 SAE 重构集合 $\hat{S}_\theta$ 之间的对称差期望： $$\mathcal{L}(\theta, K) = \mathbb{E}_{p_S} \left[ |S| + |\hat{S}_\theta| - 2|S \cap \hat{S}_\theta| \right] = \mathbb{E}_{p_S} \left[ |S \mathbin{\triangle} \hat{S}_\theta| \right]$$ 在窄字典或严格稀疏约束下，当两个概念 $\mathbf{v}_i, \mathbf{v}_j$ 在数据生成分布中频繁共同出现时，使用单个多语义原子合成写入 $\mathbf{v}_i + \mathbf{v}_j$ 仅需消耗 1 个单位的码率即可同时覆盖该事件；而单语义方案要么必须消耗 2 个单位码率分别激活，要么在码率受限时舍弃一个概念并承受由边缘概率决定的失真。论文以 3 个概念、2 个原子的严格闭式解证明：当且仅当非中心化的共现概率满足 $p_{ij} + p_{ijk} > p_j + p_{jk}$ 时，对冲型多语义原子相较于最佳单语义原子的重构增益严格大于 0。这一机制同时解释了特征对冲（Hedging）与特征分裂（Splitting），证明二者均可在窄 SAE 中由单纯的重构-率优化联合驱动，反驳了过往认为多语义性单纯依赖于统计相关性或仅在超完备宽字典中发生分裂的经验假说。

4. 真实大模型元度量一致性审计：无真值场景下的可解释性代理检验准则 在真实神经网络激活中，底层概念基底未被标注，$P(\theta)$ 无法直接计算。社区广泛使用各种下游代理指标（如 AutoInterp、Sparse Probing、Unlearning 等）来衡量单语义性。本文提出了一套检验代理指标是否符合 RDP 理论内在一致性的元评估准则：若某一候选指标 $\hat{P}$ 是真实多语义性的忠实代理，其在率和失真双重预算收紧的支配点对（Dominated Pairs）上必须保持单调性。基于此构建了局部检验指标——前沿违背率 $V(\hat{P}) = |\mathcal{D}|^{-1} \sum_{(i,j) \in \mathcal{D}} \mathbf{1}\{\hat{P}_i < \hat{P}_j\}$（$V=0$ 为完美一致，$V=0.5$ 为随机基线，$V>0.5$ 为系统性反向预测），以及全局检验指标——符号翻转的 Spearman 秩相关系数 $\rho(\hat{P}) = -\mathrm{corr}_{\mathrm{Sp}}(\mathrm{rank}(R_i) + \mathrm{rank}(D_i), \hat{P}_i)$（$\rho \to +1$ 为高度一致）。

一个完整示例¶

考虑一个包含 3 个正交概念 $\{1, 2, 3\}$ 的系统，字典大小 $m=2$，激活约束为 Top-2。设概念 1 与概念 2 具有极高的共现概率：$p_{12} = 0.35$，$p_{123} = 0.10$，而单概念独立出现的概率较低，如 $p_2 = 0.05$，$p_{23} = 0.05$。 - 单语义策略 $\theta_M^{23}$：分配原子 1 专用于概念 2，原子 2 专用于概念 3。当样本中概念 1 与 2 同时激活（事件 $\{1,2\}$）时，SAE 仅能重构概念 2，概念 1 必然丢失，承受失真代价。 - 多语义对冲策略 $\theta_H^{12,3}$：分配原子 1 写入混合概念 $\mathbf{v}_1 + \mathbf{v}_2$（当 $c_1=1 \land c_2=1$ 时激活），原子 2 专用于概念 3。在事件 $\{1,2\}$ 下，仅需触发原子 1 即可实现两概念的无损重构。 - 损失差分计算：根据闭式理论公式，两种策略的重构损失差距为 $\mathcal{L}(\theta_M^{23}) - \mathcal{L}(\theta_H^{12,3}) = (p_{12} + p_{123}) - (p_2 + p_{23}) = (0.35 + 0.10) - (0.05 + 0.05) = 0.35 > 0$。优化算法在梯度驱动下必然自动选择合成多语义原子，将单语义配置推向多语义鞍点，清晰印证了多语义性是重构驱动下的必然产物。

实验关键数据¶

主实验¶

论文对 SAEBench 中收录的开源 Gemma 模型（包括 TopK-SAE 与 ReLU-SAE）在不同隐藏层训练得到的完整 SAE 检查点进行了 RDP 元度量一致性审计，检验 9 种主流可解释性代理指标在支配点对上的表现。

代理指标 $\hat{P}$	TopK Gemma 违背率 $V \downarrow$	TopK Gemma 秩相关 $\rho \uparrow$	ReLU Gemma 违背率 $V \downarrow$	ReLU Gemma 秩相关 $\rho \uparrow$	表现评价
AutoInterp (LLM 裁判)	0.886	-0.68	0.993	-0.63	严重反向（最差且成本极高）
Unlearning	0.762	-0.54	0.788	-0.43	严重反向
Disentanglement	0.733	-0.00	0.857	-0.49	系统性反向/无关
SCR	0.614	-0.15	0.855	-0.40	明显违背理论前沿
TPP	0.525	+0.13	0.862	-0.49	接近随机基准 ($V \approx 0.5$)
Isolation	0.520	+0.11	0.778	-0.39	接近随机基准 ($V \approx 0.5$)
Absorption	0.480	+0.18	0.766	-0.23	弱一致（TopK）/反向（ReLU）
Splitting	0.441	+0.21	0.411	-0.11	部分弱一致（跨架构最稳健）
Sparse Probing	0.351	+0.19	0.709	-0.30	TopK 最优但仍显微弱

消融实验¶

论文在合成控制数据生成过程（$n=20$ 维空间中的正交概念，真实环境 $d=6$，平均每个样本激活约 0.6 个概念，7 个随机种子）上进行了系统消融，改变稀疏度预算 $k \in \{1,\dots,8\}$ 与单语义性惩罚因子 $\lambda \in \{0,\dots,100\}$，检验三方权衡曲面的响应情况。

实验配置 / 扫描参数	观测失真 $D$ 响应	观测码率 $R$ 响应	多语义性 $P$ 响应	前沿形态与理论一致性
固定 Rate ($k \le 2$), $\lambda \uparrow$ (强化单语义)	$D$ 从低位急剧抬升（恶化）	$R$ 被截断在上限 $k$	$P$ 显著压低趋向 0	确认单语义性在定码率下必须支付失真税
固定 Distortion ($D \le D_0$), $\lambda \uparrow$	$D$ 保持在预算内	$R$ 必须显著上升（消耗更多特征）	$P$ 顺利降低	确认单语义性在定精度下必须支付码率税
严格单语义切片 ($P_0 = 0$), $k \in \{1,\dots,8\}$	呈离散跳变梯度（阶梯状）	随 $k$ 整数步进增加	$P$ 严格恒等于 0	完美验证 Theorem 5 预测的阶梯函数形态
自由多语义 ($\lambda = 0$), 增加共现概率 $p_{ij}$	$D$ 持续下降达到最优前沿	$R$ 保持极低水平	$P$ 迅速增大且原子大量对冲	证实共现率主导多语义性自发涌现

关键发现¶

最昂贵指标反而最失真：依托前沿大模型作为裁判的 AutoInterp 在 TopK Gemma 上的违背率高达 0.886（在 ReLU 上甚至达 0.993），秩相关为 -0.68，意味着其打分方向与理论多语义性完全相反，根本无法作为特征纯度的可靠指标。
现存所有主流指标均未真正合格：在 9 种主流度量中，仅有 Sparse Probing 和 Splitting 在 TopK 下勉强落入 $V < 0.5, \rho > 0$ 的弱正向区间，而在 ReLU 激活下几乎全线崩溃，表明现实场景亟需基于语义受控数据而非下游任务表现的新型度量。
单语义性的阶梯结构：在合成实验中，当 $P_0=0$ 时，$R$-$D$ 帕累托边界呈现清晰的水平-垂直阶梯状，精确呼应了理论上受限原子组合对离散概念集合的交替覆盖。

亮点与洞察¶

将多语义性确立为独立的理论维度：跳出了传统 SAE 社区仅将稀疏度和重构误差作为评价标准的二维桎梏，借鉴率失真感知的第三维构造，为机械可解释性奠定了严谨的信息论分析基石。
澄清“相关性”与“共现性”的认知偏差：指出驱动特征对冲和特征分裂的根本物理量是非中心化的原始共现概率而非统计相关系数，修正了以往文献中将多语义性归咎于特征相关性的粗糙结论。
提出代理指标的元审计准则：在无法获取神经网络底层基底真实标注的现实约束下，通过基于偏序支配关系的单调性违背率，为评估可解释性评测工具本身提供了零成本且具有理论自洽性的筛查工具。

局限与展望¶

玩具模型假设的理想化：定理的最严谨闭式推导基于真实概念严格正交、无偏置项以及二值原子组合等简化假设，在真实 LLM 激活空间（存在非正交近重叠概念与连续幅值分布）中，前沿几何形态可能呈现更复杂的非线性软化。
元度量检验为必要非充分条件：RDP 单调性检验能够有效排除违背理论前沿的假冒指标（如 AutoInterp），但满足弱单调性并不等价于该指标能够精确捕获多语义性细节。
未来方向：需要探索抗共现性干扰的数据增强策略，以及设计能够在优化阶段主动识别并解耦高频共现概念的新型 SAE 损失项。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次完整构建 SAE 的率-失真-多语义性理论，并将特征多语义性从经验瑕疵提升为信息论必然。]
实验充分度: ⭐⭐⭐⭐☆ [理论闭式推导与合成数据消融高度契合，开源大模型元度量审计全面，若能补充对真实激活非正交松弛的定量实验则更佳。]
写作质量: ⭐⭐⭐⭐⭐ [论证逻辑严密流畅，从概念设定、定理证明到现实元检验环环相扣，数学叙述精练自洽。]
价值: ⭐⭐⭐⭐⭐ [深刻重塑了社区对 SAE 训练与评估的底层认知，对下一代可解释性字典学习算法的设计具有强指导意义。]

实验配置 / 扫描参数	观测失真 \(D\) 响应	观测码率 \(R\) 响应	多语义性 \(P\) 响应	前沿形态与理论一致性
固定 Rate (\(k \le 2\)), \(\lambda \uparrow\) (强化单语义)	\(D\) 从低位急剧抬升（恶化）	\(R\) 被截断在上限 \(k\)	\(P\) 显著压低趋向 0	确认单语义性在定码率下必须支付失真税
固定 Distortion (\(D \le D_0\)), \(\lambda \uparrow\)	\(D\) 保持在预算内	\(R\) 必须显著上升（消耗更多特征）	\(P\) 顺利降低	确认单语义性在定精度下必须支付码率税
严格单语义切片 (\(P_0 = 0\)), \(k \in \{1,\dots,8\}\)	呈离散跳变梯度（阶梯状）	随 \(k\) 整数步进增加	\(P\) 严格恒等于 0	完美验证 Theorem 5 预测的阶梯函数形态
自由多语义 (\(\lambda = 0\)), 增加共现概率 \(p_{ij}\)	\(D\) 持续下降达到最优前沿	\(R\) 保持极低水平	\(P\) 迅速增大且原子大量对冲	证实共现率主导多语义性自发涌现