Geometry-Adaptive Explainer for Faithful Dictionary-Based Interpretability under Distribution Shift¶
会议: NeurIPS 2026
arXiv: 2605.21849
OpenReview: https://openreview.net/forum?id=hZQ6hH0lDD
代码: https://github.com/MLAI-Yonsei/GAE
领域: 可解释性
关键词: 机械可解释性, 稀疏自编码器, 分布偏移, 忠实度差距, 正交普氏分析
一句话总结¶
针对分布偏移导致字典解释器特征空间与模型真实激活子空间失配的问题，本文形式化了忠实度差距并证明其受二阶矩偏移上界约束，提出了无需梯度反传与微调的几何自适应解释器（GAE），利用少量无标签数据在闭式解下完成子空间正交对齐与受约束解码器重拟合。
研究背景与动机¶
机械可解释性旨在通过识别大语言模型内部具有因果决定作用的结构来解释其前向行为。近年来，基于字典学习的事后解释器（如稀疏自编码器 SAE 与转码器 Transcoder）已成为分解隐藏层激活、揭示单义性特征与因果回路的核心基础设施。这些字典解释器在同分布（In-Distribution, ID）数据上训练，其学习到的过完备特征基向量直接编码了 ID 激活空间的几何拓扑。然而，当宿主模型遇到分布偏移（Out-of-Distribution, OOD）时，解释器重构误差骤增、因果消融忠实度大幅跳水，使得基于特征的回路发现与模型编辑面临严重的不忠实风险。
现有工作应对这种脆弱性时存在显著的局限性：一方面，归因级鲁棒性研究主要聚焦于输入扰动而非内部隐层几何结构；另一方面，针对字典解释器的修补方案（如在自生成文本上重训、对尾部概念样本重加权或引入残差提升模块）大多属于启发式经验方案，必须消耗数千万至上亿 token 进行耗时的梯度再训练，且从未正视深层几何结构失配的根本机制。实际上，分布偏移会在几何上旋转宿主模型在隐层实际活跃的表征子空间，而固定不变的 ID 字典依然固守在旧空间内，两者的夹角直接摧毁了解释的因果忠实性。
本文的切入角度是直接剖析隐藏状态二阶矩矩阵在分布漂移下的旋转行为，将这种几何失配形式化为「忠实度差距」（Faithfulness Gap），并证明该几何距离在理论上控制了 OOD 忠实度损失中所有解释器可降低的成分。核心 idea：无需梯度优化与全量重训，仅利用少量无标签 OOD 隐层激活，通过正交 Procrustes 旋转将 ID 字典子空间精准对齐到 OOD 活跃子空间，并在对齐子空间内通过闭式受约束脊回归重拟合特征方向，实现极速且具备因果保证的几何自适应。
方法详解¶
整体框架¶
GAE 建立在固定冻结的预训练宿主模型与已训练好的字典解释器之上。给定宿主模型在目标层的隐层表征 \(h(X) \in \mathbb{R}^d\)，标准字典解释器包含编码器 \(W_{\mathrm{enc}} \in \mathbb{R}^{k \times d}\) 与解码器字典 \(W_{\mathrm{dec}} \in \mathbb{R}^{d \times k}\)，通过激活稀疏非线性项 \(\sigma\) 得到特征稀疏表示 \(z(X) = \sigma(W_{\mathrm{enc}} h(X) + b_{\mathrm{enc}})\)。当环境由 \(P_{\mathrm{ID}}\) 漂移至 \(P_{\mathrm{OOD}}\) 时，模型隐状态的二阶矩矩阵 \(M_{\mathrm{OOD}} = \mathbb{E}_{X \sim P_{\mathrm{OOD}}}[h(X) h(X)^\top]\) 发生显著变化。GAE 保持编码器 \(W_{\mathrm{enc}}\) 严格冻结以保留单义性特征语义，仅通过采集约 2,000 个未标注 OOD 激活样本，执行两步闭式几何自适应流程：第一步执行子空间正交对齐消除忠实度差距，第二步执行受约束解码器闭式重拟合以优化样本级重构保真度。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["未标注 OOD 激活样本 {h_i}"] --> B["经验二阶矩矩阵估计<br/>M_hat_OOD = (1/N) * sum(h_i * h_i^T)"]
B --> C["子空间正交对齐<br/>基于 Procrustes 求解最优旋转矩阵 T*"]
C --> D["特征语义保持约束<br/>最小化与原始字典几何形变 ||W_tilde_dec - W_dec^ID||_F"]
D --> E["受约束解码器闭式重拟合<br/>对齐空间内脊回归 + 正交补空间收缩惩罚"]
E --> F["最终自适应解码器 W_dec^GAE 与偏置 b_dec^GAE"]关键设计¶
1. 形式化忠实度差距与二阶矩偏移界：奠定几何对齐的理论必要性与充分性
现有字典解释器在 OOD 下失效常被笼统归咎于泛化能力差。本文深入隐层几何本质，定义活跃子空间投影矩阵 \(\Pi_e = U_e U_e^\top\)，其中 \(U_e \in \mathbb{R}^{d \times r}\) 为二阶矩 \(M_e = \mathbb{E}[h(X)h(X)^\top]\) 的前 \(r\) 个特征向量组成的基。解释器解码器前 \(r\) 个左奇异向量张成的子空间为 \(\Pi_{\mathrm{dec}} = U_{\mathrm{dec}} U_{\mathrm{dec}}^\top\)。在 OOD 下，两者的几何错位被定义为忠实度差距： $\(\Delta(\Pi_{\mathrm{dec}}) := \|\Pi_{\mathrm{OOD}} - \Pi_{\mathrm{dec}}\|_F\)$ 基于 Davis-Kahan \(\sin\Theta\) 定理，若 ID 二阶矩存在特征谱间隙 \(\gamma_{\mathrm{ID}} = \lambda_r(M_{\mathrm{ID}}) - \lambda_{r+1}(M_{\mathrm{ID}}) > 0\)，则 ID 解释器的忠实度差距被二阶矩扰动严格控制：\(\Delta(\Pi_{\mathrm{ID}}) \le \frac{\sqrt{2}}{\gamma_{\mathrm{ID}}} \|M_{\mathrm{OOD}} - M_{\mathrm{ID}}\|_F\)。更为关键的是，论文将总 OOD 投影重构损失 \(\mathcal{L}_{\mathrm{OOD}}(\Pi_{\mathrm{dec}}) = \mathbb{E}[\|h(X) - \Pi_{\mathrm{dec}} h(X)\|_2^2]\) 严格分解为不可降低项 \(\mathcal{L}_{\mathrm{OOD}}(\Pi_{\mathrm{OOD}})\) 与解释器相关项 \(\operatorname{tr}[(\Pi_{\mathrm{OOD}} - \Pi_{\mathrm{dec}}) M_{\mathrm{OOD}}]\)。理论证明该解释器相关项被忠实度差距上下夹逼： $\(\frac{\gamma_{\mathrm{OOD}}}{2} \Delta(\Pi_{\mathrm{dec}})^2 \le \mathcal{L}_{\mathrm{OOD}}(\Pi_{\mathrm{dec}}) - \mathcal{L}_{\mathrm{OOD}}(\Pi_{\mathrm{OOD}}) \le \frac{\lambda_1(M_{\mathrm{OOD}}) - \lambda_d(M_{\mathrm{OOD}})}{2} \Delta(\Pi_{\mathrm{dec}})^2\)$ 这从数学上确立了：减少忠实度差距是恢复因果忠实度的充要条件，且二阶矩偏移对忠实度的损害至多呈二次增长。
2. 子空间正交对齐与特征语义保持约束：通过 Procrustes 分析闭式消除子空间夹角
为了在消除几何差距的同时不破坏原始 ID 字典学到的特征回路语义，GAE 约束自适应后的字典处于 OOD 活跃子空间内：\(\widetilde{W}_{\mathrm{dec}}(T) = U_{\mathrm{OOD}}^{(:r)} T U_{\mathrm{dec}}^\top W_{\mathrm{dec}}^{\mathrm{ID}}\)，其中 \(T \in \mathcal{O}_r\) 为 \(r \times r\) 的正交矩阵。在此约束下，由于其列空间完全落在 \(\operatorname{span}(U_{\mathrm{OOD}}^{(:r)})\) 内，忠实度差距在理论上严格归零（\(\Delta(\Pi_{\mathrm{dec}}) = 0\)）。在所有能使子空间完美重合的正交变换中，GAE 求解与原字典距离最近的旋转： $\(T^\star = \arg\min_{T \in \mathcal{O}_r} \|\widetilde{W}_{\mathrm{dec}}(T) - W_{\mathrm{dec}}^{\mathrm{ID}}\|_F^2 = \arg\max_{T \in \mathcal{O}_r} \operatorname{tr}(G T)\)$ 其中相关性矩阵 \(G = U_{\mathrm{dec}}^\top W_{\mathrm{dec}}^{\mathrm{ID}} (W_{\mathrm{dec}}^{\mathrm{ID}})^\top U_{\mathrm{OOD}}^{(:r)}\)。设 \(G\) 的奇异值分解为 \(G = \widetilde{U} \Sigma \widetilde{V}^\top\)，则全局最优闭式解为 \(T^\star = \widetilde{V} \widetilde{U}^\top\)。定理 1 保证，当充分估计 OOD 协方差时，自适应字典的投影损失较未自适应版本取得确定性收益，提升幅度至少为 \(\frac{\gamma_{\mathrm{OOD}}}{2} \Delta(\Pi_{\mathrm{ID}})^2\)，偏移越严重，理论保障收益越显著。
3. 受约束解码器闭式重拟合：解耦空间内的双强度脊回归
单纯依靠子空间旋转虽然消除了宏观几何差距，但并未针对样本级重构误差进行微观拟合，容易导致编码器特征与旋转后解码列的因果配对产生扩散。因此，GAE 在冻结编码器输出 \(z_i = \sigma(W_{\mathrm{enc}} h_i + b_{\mathrm{enc}})\) 的前提下，设立了一个兼顾样本重构、子空间正交惩罚与特征保真度的凸二次目标： $\(\min_{W_{\mathrm{dec}}, b_{\mathrm{dec}}} \frac{1}{N}\sum_{i=1}^N \|h_i - W_{\mathrm{dec}} z_i - b_{\mathrm{dec}}\|_2^2 + \lambda_{\mathrm{geom}} \|(I - \widehat{\Pi}_{\mathrm{OOD}}) W_{\mathrm{dec}}\|_F^2 + \lambda_{\mathrm{pres}} \|W_{\mathrm{dec}} - \widetilde{W}_{\mathrm{dec}}(T^\star)\|_F^2\)$ 该问题在数学上具有极其优美的正交解耦性质：通过令偏置项满足一阶平稳条件，消除样本均值得到中心化数据 \(h_i^c\) 与 \(z_i^c\)。随后在 OOD 特征基底正交分解下，目标函数被自然解耦为两个独立的标准脊回归： $\(W_{\mathrm{dec}}^{\mathrm{GAE}} = \widehat{\Pi}_{\mathrm{OOD}} C B^{-1} + (I - \widehat{\Pi}_{\mathrm{OOD}}) C (B + \lambda_{\mathrm{geom}} I)^{-1}\)$ 其中协方差与互协方差项分别为 \(B = \frac{1}{N}\sum_i z_i^c (z_i^c)^\top + \lambda_{\mathrm{pres}} I\) 和 \(C = \frac{1}{N}\sum_i h_i^c (z_i^c)^\top + \lambda_{\mathrm{pres}} \widetilde{W}_{\mathrm{dec}}(T^\star)\)。其物理含义是：在 OOD 活跃子空间内部施加轻量正则化 \(\lambda_{\mathrm{pres}}\) 拟合重构，而在正交补空间外部施加强力收缩正则化 \(\lambda_{\mathrm{pres}} + \lambda_{\mathrm{geom}}\)，强行压制漂移出活跃子空间的非因果噪声。
损失函数 / 训练策略¶
GAE 属于完全免梯度的闭式算法，无需设定学习率、批次调度或进行迭代式反向传播。超参数仅包含截断秩 \(r\)、几何正则系数 \(\lambda_{\mathrm{geom}}\)、保持正则系数 \(\lambda_{\mathrm{pres}}\) 以及可选的解码器插值系数 \(\alpha\)（\(W_{\mathrm{final}} = (1-\alpha) W_{\mathrm{dec}}^{\mathrm{GAE}} + \alpha \widetilde{W}_{\mathrm{dec}}(T^\star)\)）。在实际适配中，只需利用目标域约 \(N_{\mathrm{fit}} = 2,048\) 个无标注文本 token 提取的隐层激活向量，计算均值与二阶矩矩阵，并在数秒内完成 SVD 与矩阵逆运算。
实验关键数据¶
主实验¶
实验在 GPT-2 Small (\(d=768\), Layer 8, \(k=24,576\)) 和 Pythia-1.4B (\(d=2,048\), Layer 15, \(k=65,536\)) 两种架构上开展，评估 Transcoder 与 Top-K SAE 在三种不同性质的 OOD 场景下的表现：时间跨度漂移（FineWeb）、专业领域垂直漂移（Edgar 金融文本）和对抗式诱导漂移（HaluEval 幻觉提示）。评估指标涵盖归一化因果消融曲线下面积（nAOPC \(\uparrow\)）、Top-32 特征完全性（nComp \(\uparrow\)）以及重构替换引入的交叉熵增量（\(|\Delta\mathrm{CE}| \downarrow\)）。
| 目标模型与方法 | 适配代价 (Token / 耗时) | FineWeb (nAOPC / nComp / |ΔCE|) | Edgar (nAOPC / nComp / |ΔCE|) | HaluEval (nAOPC / nComp / |ΔCE|) |
|---|---|---|---|---|
| GPT-2 (Transcoder) | ||||
| Fixed (未自适应) | 0 / 0s | 0.857 / 1.017 / 0.0281 | 0.975 / 1.025 / 0.0201 | 0.735 / 0.737 / 0.0473 |
| Finetune (微调) | 5M / ~2 min | 0.856 / 0.984 / 0.0172 | 0.971 / 1.117 / 0.0047 | 0.579 / 0.579 / 0.0105 |
| Retrain (全量重训) | 100M / ~39 min | 0.895 / 1.118 / 0.0218 | 0.936 / 1.034 / 0.0015 | 0.521 / 0.528 / 0.2763 |
| SAEBoost (残差提升) | 100M / ~39 min | 0.958 / 1.476 / 0.0177 | 0.979 / 1.542 / 0.0072 | 0.840 / 0.921 / 0.0212 |
| FaithfulSAE (自生成重训) | 100M / ~39 min | 0.936 / 1.186 / 0.0213 | 0.976 / 1.134 / 0.0197 | 0.738 / 0.740 / 0.0586 |
| GAE (本文方法) | 2K / 0.5s | 0.960 / 1.494 / 0.0167 | 0.981 / 1.618 / 0.0009 | 0.871 / 0.963 / 0.0014 |
| Pythia-1.4B (Transcoder) | ||||
| Fixed (未自适应) | 0 / 0s | 0.839 / 1.091 / 0.0278 | 0.725 / 0.828 / 0.0300 | 0.899 / 1.021 / 0.0354 |
| Finetune (微调) | 5M / ~12 min | 0.859 / 1.249 / 0.0264 | 0.684 / 0.860 / 0.0282 | 0.925 / 1.502 / 0.0280 |
| Retrain (全量重训) | 100M / ~4 hrs | 0.894 / 1.315 / 0.0405 | 0.746 / 0.821 / 0.0329 | 0.894 / 1.393 / 0.0305 |
| SAEBoost (残差提升) | 100M / ~4 hrs | 0.908 / 1.296 / 0.0284 | 0.903 / 1.297 / 0.0296 | 0.965 / 1.530 / 0.0283 |
| FaithfulSAE (自生成重训) | 100M / ~4 hrs | 0.858 / 1.056 / 0.0272 | 0.724 / 0.822 / 0.0323 | 0.899 / 1.171 / 0.0307 |
| GAE (本文方法) | 2K / 2.9s | 0.915 / 1.354 / 0.0269 | 0.988 / 1.652 / 0.0230 | 0.968 / 1.693 / 0.0276 |
在 Top-K SAE 设定下，GAE 同样在 GPT-2 全部 9 项指标中取得全胜，在 Pythia-1.4B 的 6 个设定中有 5 项取得领先：例如在 Pythia-1.4B 的 Edgar 领域漂移下，nComp 达到 1.946（显著超过 Retrain 的 1.848 和 Finetune 的 1.832），\(|\Delta\mathrm{CE}|\) 降低至 0.0098（对比 Retrain 的 0.0261）。
消融实验¶
以 GPT-2 在 HaluEval 场景下的 Transcoder 为基准，考察 GAE 两阶段设计的分解表现与几何指标变化：
| 实验配置 | 子空间主夹角范围 | 忠实度差距 \(\Delta(\Pi_{\mathrm{dec}})\) | 完全性 nComp \(\uparrow\) | 重构损失变化量 |ΔCE| \(\downarrow\) | 说明 |
|---|---|---|---|---|---|
| Fixed (未适配基线) | \(40^\circ \sim 90^\circ\) | 7.63 | 0.737 | 0.0473 | 存在严重几何错位与低忠实度 |
| 仅执行 Step 1 (Procrustes 正交旋转) | \(\sim 10^{-3 \circ}\) | 0.00 | 0.441 | 0.0521 | 虽彻底关闭几何差距，但编码-解码特征配对扩散 |
| 仅执行 Step 2 (无对齐的常规脊回归) | \(35^\circ \sim 85^\circ\) | 6.85 | 0.612 | 0.0124 | 拟合了样本重构，但仍困于旧子空间 |
| GAE 完整流程 (Step 1 + Step 2) | \(\sim 10^{-3 \circ}\) | 1.59 | 0.963 | 0.0014 | 几何强对齐与样本高保真兼得 |
关键发现¶
- 两阶段机制高度互补：单独进行 Step 1 正交旋转能在构造上将忠实度差距清零，但由于正交基变换扩散了原始特征与编码器的单对单映射，因果指标 nComp 出现反常下跌（0.74 降至 0.44）；Step 2 通过加入特征保持与几何收缩正则，以牺牲极微小几何残差（1.59）为代价，使 nComp 爆发式跃升至 0.963，同时将 \(|\Delta\mathrm{CE}|\) 压低 97%。
- 全量重训并不等于因果忠实上限：实验发现，在 OOD 数据上使用梯度从头重训（Retrain）或微调（Finetune）常常导致因果指标大幅劣化（例如 GPT-2 HaluEval 上 Retrain 的 nComp 跌至 0.528，\(|\Delta\mathrm{CE}|\) 恶化至 0.2763）。这是因为纯重构损失的梯度更新会严重扭曲预训练特征的全局几何结构，而 GAE 的闭式正交约束天然避免了这种特征扭曲。
- 算力效率呈现指数级优势：相比于 Retrain / SAEBoost 消耗 100M token、耗时数小时的昂贵代价，GAE 仅需约 2,048 个无标注激活样本，在 0.5 ~ 2.9 秒内即可在单卡完成闭式自适应，使动态在线解释器部署成为现实。
亮点与洞察¶
- 将 OOD 解释器失效明确归因于二阶矩子空间旋转：避开了传统泛化分析的黑盒假说，建立了二阶矩扰动 \(\to\) 忠实度差距 \(\to\) 因果忠实度损失的闭环数学链条，证明了忠实度损失上限与二阶矩偏移平方成正比。
- 巧用正交 Procrustes 分析实现免训练特征空间投影：将高维非凸子空间对齐转化为封闭形式的正交 Procrustes 极值问题，在 SVD 分解的一步矩阵乘法中优雅抹平几何偏角。
- 行基底解耦的非均匀正则化脊回归：在 Step 2 中将隐空间正交分解为 OOD 活跃成分与正交补成分，推导出双强度正则化闭式解，使得在保证全局子空间不漂移的前提下，局部样本残差可以解析求解。
局限与展望¶
- 依赖截断奇异值分解的有效秩假设：GAE 在 Step 1 中必须预设截断秩 \(r\)（实验中设为 3 ~ 64 或更高），低秩投影不可避免会舍弃残余 \((d-r)\) 个奇异方向中携带的高频或极低方差特征。
- 编码器部分保持完全冻结：GAE 假定 ID 编码器激活的稀疏特征能够覆盖 OOD 语义。如果 OOD 引入了宿主模型内部全新涌现的独有特征基，单纯旋转解码器将无法重新激活全新的特征维度。
- 未来方向：探索数据驱动的动态自适应秩选择算法；研究 Grassmann 流形上的最优传输理论以建立更平滑的子空间流道；进一步扩展到深层多层回路在 OOD 场景下的跨层联合自适应。
相关工作与启发¶
- vs. 启发式重训方案 (FaithfulSAE [15], Retrain)：以往方法依赖模型自生成文本或外部 OOD 语料执行全量梯度更新（耗时数小时且极易发生特征拓扑扭曲）；GAE 首次提出针对子空间旋转的闭式后处理几何校准，在 3 秒内免训练达成更优的因果忠实度。
- vs. 残差提升法 (SAEBoost [18])：SAEBoost 通过在重构残差上训练附加自编码器，增加模型参数量与推理开销；GAE 维持原始解释器参数维度与单层架构不变，仅通过仿射重排解码矩阵实现无感即插即用。
- vs. 鲁棒归因方法 [11-14]：传统归因鲁棒性主要针对输入像素/文本扰动的显著图抖动；本文开辟了隐藏状态表征几何随宏观分布偏移发生漂移的深层机制研究。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从隐层二阶矩旋转视角数学刻画解释器失配，提出了基于 Procrustes 分析的闭式免微调解决方案。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖两大主流模型、两大主流解释器架构以及三种性质迥异的真实分布偏移，因果指标与几何消融极为完备。
- 写作质量: ⭐⭐⭐⭐⭐ 数学推导严密精妙，几何直觉清晰直观，论证链条环环相扣。
- 价值: ⭐⭐⭐⭐⭐ 极大降低了解释器适应新领域的算力门槛，为大模型在金融、医疗、对抗等动态安全场景下的机械可解释性铺平了道路。