Beyond Interpretability: When, Why, and How Sparse Autoencoders Enable Label-Free Visual Steering¶
会议: NeurIPS 2026
arXiv: 2506.01247
领域: 模型可解释性
关键词: 稀疏自编码器 (SAE)、视觉表征操控 (Visual Steering)、冻结视觉语言模型、无标签测试时干预、重构与任务显著性鸿沟
一句话总结¶
本文提出视觉稀疏操控方法 VS2，首次将稀疏自编码器（SAE）从被动的事后可解释性分析拓展为主动的下游表征干预空间，通过在冻结 CLIP 图像编码器激活上放大活跃稀疏特征并解码差值，以不足 0.1% 的推理计算开销实现无标签测试时零样本分类提升，并建立了质心偏差操控的闭式几何解释与基于未解释方差比（FVU）的可靠性门控机制。
研究背景与动机¶
稀疏自编码器（Sparse Autoencoders, SAE）近年来在基础模型的机械可解释性（Mechanistic Interpretability）研究中引起了广泛关注，其核心价值在于通过过完备字典将高维多义性神经元激活解耦为稀疏且符合人类认知概念的单义特征。然而，绝大多数现有工作将 SAE 潜变量严格局限于事后分析工具——仅用于观察模型内部编码了何种视觉或语言概念，以及特定输入激活了哪些潜变量特征，很少探讨这些稀疏特征是否能作为一个可操作的干预空间（Actionable Intervention Space）反哺下游视觉任务。
在冻结视觉语言模型（如 CLIP）的测试时适配中，传统方案面临效率或监督信号的两难困境。一方面，测试时微调方法（如 TPT、DiffTPT、C-TPT）通常依赖多视角数据增强和针对大模型的反向传播优化循环，带来数十倍的推理计算开销与显存负担；另一方面，表征工程中的操控向量（Steering Vectors）虽轻量，但普遍需要精心挑选正负锚点样本或对比监督。相比之下，SAE 是直接在无标注激活分布上无监督训练得到的，天然捕获了表征空间的稀疏几何结构。但一个长期悬而未决的核心矛盾在于：纯无监督重构训练得到的稀疏视觉特征，在无需任何类别标签和对比样本的前提下，能否以及如何在测试时可靠地指导下游预测？
本文正是从这一核心矛盾切入，探索基于 SAE 的无标签测试时视觉操控机制。作者发现，直接用 SAE 重构表征会因重构误差破坏原始判别性，但提取活跃特征的放大增量则能消除全局冗余背景并凸显个体判别特征。核心 idea：利用在无标注激活上训练的 top-k SAE，在测试时均匀放大输入的活跃稀疏特征并解码其诱导变化量构造单样本操控向量（VS2），其本质是在表征空间执行“远离群体质心的偏差放大”，并以样本级未解释方差比（FVU）作为可靠性门控实现安全回退。
方法详解¶
整体框架¶
VS2（Visual Sparse Steering）的核心目标是在不更新 CLIP 编码器权重、不引入测试时反向传播梯度优化、且不依赖正负对比对的前提下，通过冻结视觉编码器的内部激活自适应生成针对当前样本的操控向量。该方法首先利用离线训练好的 top-k 稀疏自编码器捕获输入图像 CLS token 激活的活跃稀疏特征，随后对其施加放大系数，通过解码差值消除自编码器的静态偏置并保留动态增强方向，最后对操控后的嵌入进行 \(L_2\) 范数保长缩放。
整个前向处理流程非常轻量，仅需在 CLIP 图像编码器输出端追加一次稀疏投影与解码运算，具体处理流程如下图所示：
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入图像 x<br/>CLIP 视觉编码器提取 CLS 激活"] --> B["1. Top-k 稀疏特征编码<br/>减去静态偏置并提取活跃维度 c"]
B --> C["2. 稀疏特征放大与解码差值<br/>计算纯净增量操控向量 v"]
C --> D{"3. FVU 可靠性门控检验<br/>评估样本级重构误差 FVU(x)"}
D -->|FVU <= 阈值: 安全| E["4. 质心偏差操控与范数对齐<br/>x_hat = NormAlign(x + lambda * v)"]
D -->|FVU > 阈值: 不可靠| F["回退机制: 保持原始 CLIP 嵌入 x"]
E --> G["零样本分类预测<br/>余弦相似度计算与文本提示匹配"]
F --> G关键设计¶
1. 活跃稀疏特征放大与差值操控构建：消除静态偏置的纯净特征增量
传统表征工程方法通常借助成对正负样本的激活均值差构建方向，而在无监督测试时单样本场景下缺乏参考锚点。VS2 的设计切入点是直接利用 top-k SAE 的非零激活模式。给定输入图像 CLS token 的激活向量 \(\mathbf{x} \in \mathbb{R}^d\)，SAE 编码器通过预偏置减法和绝对值 Top-K 算子提取出高维稀疏特征 \(\mathbf{c} \in \mathbb{R}^n\)： $\(\mathbf{c} = \text{TopK}_k\left(\mathbf{W}_{\text{enc}}(\mathbf{x} - \mathbf{b}_{\text{pre}})\right)\)$ 其中活跃特征索引集合为 \(\mathbb{S}_k(\mathbf{x}) = \{i : c_i \neq 0\}\)，大小精确为 \(k\)。如果直接使用解码重构向量 \(\tilde{\mathbf{x}} = D_c(\mathbf{c}) = \mathbf{W}_{\text{dec}}\mathbf{c} + \mathbf{b}_{\text{pre}}\) 替代原嵌入，由于 SAE 的非完美重构性，重构误差会被直接注入表征空间，导致分类性能严重下滑。为此，VS2 引入放大因子 \(\gamma > 1\) 并通过解码差值构造操控向量： $\(\mathbf{v} = D_c(\gamma \mathbf{c}) - D_c(\mathbf{c}) = (\gamma - 1)\mathbf{W}_{\text{dec}}\mathbf{c} = (\gamma - 1)\sum_{i \in \mathbb{S}_k(\mathbf{x})} c_i \mathbf{d}_i\)$ 其中 \(\mathbf{d}_i\) 是解码器矩阵 \(\mathbf{W}_{\text{dec}}\) 的第 \(i\) 列基底。由于差值操作完美抵消了偏置项 \(\mathbf{b}_{\text{pre}}\)，操控向量纯粹由该样本最活跃的 \(k\) 个稀疏视觉基底加权合成。随后将操控向量以缩放强度 \(\lambda > 0\) 注入原始特征，并重新投影到原特征的模长尺度： $\(\hat{\mathbf{x}} = (\mathbf{x} + \lambda \mathbf{v}) \frac{\|\mathbf{x}\|_2}{\|\mathbf{x} + \lambda \mathbf{v}\|_2}\)$ 这种模长对齐保证了操控后的视觉向量与文本编码器的余弦相似度计算保持量纲一致，避免因特征模长发散导致分类逻辑混乱。
2. 质心偏差几何分解与忠实性理论保证：解释无标签操控的内在机理
一个关键的理论问题在于：为什么简单放大无监督重构特征能够对下游分类带来收益？论文通过 Proposition 3.1 证明了 VS2 具备闭式的质心偏差操控（Centroid-Deviation Steering）几何结构。令 \(\mathbf{\epsilon}(\mathbf{x}) = \tilde{\mathbf{x}} - \mathbf{x}\) 为单个样本的重构残差，\(\text{FVU}(\mathbf{x}) = \|\mathbf{\epsilon}(\mathbf{x})\|_2^2 / \|\mathbf{x} - \bm{\mu}\|_2^2\) 为样本级未解释方差比，设定有效操控尺度 \(\alpha = \lambda(\gamma - 1)\)，未归一化的操控嵌入满足严格等式： $\(\mathbf{x} + \lambda \mathbf{v} = \mathbf{x} + \alpha(\mathbf{x} - \mathbf{b}_{\text{pre}}) + \alpha \mathbf{\epsilon}(\mathbf{x})\)$ 其残差项的模长被严格约束为 \(\|\alpha \mathbf{\epsilon}(\mathbf{x})\|_2 = \alpha \sqrt{\text{FVU}(\mathbf{x})} \|\mathbf{x} - \bm{\mu}\|_2\)。这一数学恒等式揭示了三个深刻的几何洞察：首先，SAE 的偏置向量 \(\mathbf{b}_{\text{pre}}\) 在训练中收敛于总体激活均值 \(\bm{\mu}\)，因此 \((\mathbf{x} - \mathbf{b}_{\text{pre}})\) 代表该样本偏离群体质心的独特方向。减去质心相当于抑制了数据集中普遍存在的共性背景、平均纹理和低频主成分，使得样本独有的视觉判别线索得到显著放大；其次，尽管放大因子 \(\gamma\) 是标量，但 \(\mathbf{v}\) 中的各个活跃基底 \(\mathbf{d}_i\) 仍然按照激活强度 \(c_i\) 进行了非均匀加权；最后，VS2 完整保留了原始嵌入 \(\mathbf{x}\) 本身，仅以因子 \(\alpha\) 引入残差项，信噪比约为 \(1/\sqrt{\text{FVU}(\mathbf{x})}\)，从根本上克服了直接重构方案对表征质量的破坏。
3. 基于 FVU 的可靠性安全门控：防御跨域分布偏移下的表征退化
当离线训练好的 SAE 面对测试集中的分布外（OOD）图像时，若 SAE 无法忠实重建该分布的激活空间，活跃特征可能会发生语义错位，此时盲目施加操控反而会损害原模型的表现。根据命题中的残差上界，操控方向的噪声水平完全由该样本的 \(\text{FVU}(\mathbf{x})\) 决定。基于这一特性，作者设计了无标签驱动的可靠性门控机制（FVU Gate）：在推理阶段，若输入样本计算出的 \(\text{FVU}(\mathbf{x})\) 高于预设阈值 \(\tau\)，系统判定该样本的稀疏解耦不可靠，自动跳过操控并安全回退到原版零样本 CLIP；仅当 \(\text{FVU}(\mathbf{x}) \le \tau\) 时才应用 VS2 调整。该阈值 \(\tau\) 可以在源域无标注训练集上通过计算样本 FVU 的分位数（例如 \(q=0.95\)）离线标定，完全无需访问目标域标签即可实现即插即用的自适应安全保护。
4. 探究上界与选择性操控：揭示重构与任务显著性鸿沟（VS2++）
VS2 对所有活跃的 \(k\) 个特征采用标量 \(\gamma\) 统一放大，但用于重构的特征并不等价于对下游分类判别最有益的特征（例如背景纹理有助于重构输入，但对物体分类属于干扰项）。为了探究“特征选择”能够释放的理论上限，论文设计了 VS2++ 受控对照实验。利用 DINOv2 检索测试样本在无标注特征库中的前 50 个近邻 \(\mathbb{N}(\mathbf{x}_q)\)，并根据近邻与查询样本的伪标签（或 Oracle 真实标签）一致性划分为正近邻集 \(\mathbb{S}^+\) 与负近邻集 \(\mathbb{S}^-\)。通过对比聚合正负近邻的稀疏特征： $\(\bar{\mathbf{v}} = (\gamma - 1)\mathbf{W}_{\text{dec}}\left(\frac{1}{|\mathbb{S}^+|}\sum_{\mathbf{x}_i \in \mathbb{S}^+} \mathbf{c}_i - \frac{1}{|\mathbb{S}^-|}\sum_{\mathbf{x}_j \in \mathbb{S}^-} \mathbf{c}_j\right)\)$ VS2++ 实现了仅放大局部同类共享的特征并抑制混淆近邻中的共享特征。VS2 与 VS2++ 之间的巨大精度落差定量揭示了“重构显著性”与“任务显著性”之间的不一致性，为未来弱监督稀疏特征筛选指明了研究方向。
一个完整示例¶
以 CIFAR-100 测试集中的拖拉机（tractor）图像为例：
1. 原始 CLIP 预测：该图像在 \(32\times 32\) 低分辨率下受到农田草坪背景的严重干扰，零样本 CLIP 将其错误预测为割草机（lawn mower），两者的类别 Logit 差距极其微弱。
2. SAE 特征分解：CLIP 最终层 [CLS] 激活 \(\mathbf{x} \in \mathbb{R}^{512}\) 输入到隐层宽度为 3,072 的 top-64 SAE 中。SAE 减去数据集均值 \(\mathbf{b}_{\text{pre}}\)，激活了 64 个特征维度。其中既包含代表绿色草地的背景特征，也包含编码“大型车轮轮廓”、“机械排气管”等关键部件的特征。
3. 差值操控：VS2 设置放大系数 \(\gamma=1.5\)、操控强度 \(\lambda=2.1\)。计算 \(\mathbf{v} = 0.5 \sum_{i \in \mathbb{S}_{64}} c_i \mathbf{d}_i\)。由于公共草坪特征在群体均值 \(\mathbf{b}_{\text{pre}}\) 中已被部分对冲，机械与车轮特征在质心偏差增量中获得相对凸显。
4. 门控与归一化：该样本计算得到的 \(\text{FVU}(\mathbf{x}) = 0.22\)，低于安全阈值 \(\tau_{0.95} = 0.45\)，门控正常放行。合成向量 \(\mathbf{x} + 2.1\mathbf{v}\) 并重缩放至原始范数 \(\|\mathbf{x}\|_2\)。
5. 最终纠错：新特征与文本提示 "a photo of a tractor" 的余弦相似度显著上升，成功从 lawn mower 纠正为 tractor（该类别整体准确率提升了 25.0%）。
损失函数 / 训练策略¶
SAE 的训练完全遵循无监督字典学习目标，在冻结的 CLIP 视觉编码器提取的无标注图像集合上进行。输入样本为 final-layer [CLS] token 嵌入 \(\mathbf{x}\)。优化目标为均方重构误差（MSE）： $\(\mathcal{L}_{\text{SAE}} = \mathbb{E}_{\mathbf{x} \sim p_{\text{train}}}\left[\|\mathbf{x} - \tilde{\mathbf{x}}\|_2^2\right] = \mathbb{E}_{\mathbf{x} \sim p_{\text{train}}}\left[\left\|\mathbf{x} - \left(\mathbf{W}_{\text{dec}}\text{TopK}_k(\mathbf{W}_{\text{enc}}(\mathbf{x} - \mathbf{b}_{\text{pre}})) + \mathbf{b}_{\text{pre}}\right)\right\|_2^2\right]\)$ - 模型配置：对于 ViT-B/32，稀疏度设定为 \(k=64\)；对于 ViT-B/16，稀疏度设定为 \(k=256\)。隐层扩展系数统一为 4 倍（即潜变量维度 \(n = 4 \times 768 = 3072\)）。死亡特征修剪阈值设为 100。 - 训练超参数：采用线性学习率预热策略，初始学习率为 \(5 \times 10^{-4}\)，预偏置 \(\mathbf{b}_{\text{pre}}\) 初始化为训练集激活经验均值。 - PASS 拓展（原型对齐 SAE，可选监督配置）：在探索任务对齐时，论文在附录 L 中引入原型对齐正则项：\(\mathcal{L} = \mathcal{L}_{\text{recon}} + w_{\text{aux}}\|\mathbf{z}_i - \bar{\mathbf{z}}_{\text{class}(i)}\|_2^2\)（其中 \(w_{\text{aux}}=0.8\)），在训练期拉近同类样本的潜变量距离。
实验关键数据¶
主实验¶
论文在 CIFAR-100、CUB-200 和 Tiny-ImageNet 三个核心基准上评估了基于 ViT-B/32 和 ViT-B/16 的零样本分类 Top-1 准确率（%），并对比了纯重构、简单放大、检索增强（RAG）以及不同操控策略的表现：
| 方法类型 | 方法 | CIFAR-100 (B/32) | CIFAR-100 (B/16) | CUB-200 (B/32) | CUB-200 (B/16) | Tiny-IN (B/32) | Tiny-IN (B/16) |
|---|---|---|---|---|---|---|---|
| Zero-Shot 基线 | \(\text{CLIP}_{\text{ZS}}\) | 61.07 (+0.00) | 63.96 (+0.00) | 51.76 (+0.00) | 55.06 (+0.00) | 56.64 (+0.00) | 61.08 (+0.00) |
| 重构/消融对比 | \(\text{SAE}_{\text{REC}}^{\text{A}}\) (全层重构) | 58.01 (-3.06) | 64.05 (+0.09) | 47.45 (-4.31) | 51.81 (-3.25) | 30.56 (-26.08) | 52.96 (-8.12) |
| \(\text{SAE}_{\text{REC}}^{\text{F}}\) (末层重构) | 58.22 (-2.85) | 63.42 (-0.54) | 48.08 (-3.68) | 51.43 (-3.63) | 36.33 (-20.31) | 54.84 (-6.24) | |
| \(\text{SAE}_{\text{REC}}^{\text{F}+\gamma}\) (放大后重构) | 62.69 (+1.62) | 66.81 (+2.85) | 49.41 (-2.35) | 53.28 (-1.78) | 39.49 (-17.15) | 58.81 (-2.27) | |
| 本文无标签操控 | VS2 (Ours) | 64.52 (+3.45) | 68.08 (+4.12) | 52.69 (+0.93) | 56.14 (+1.08) | 58.14 (+1.50) | 62.92 (+1.84) |
| 伪标签近邻操控 | CLIP Steering | 77.22 (+16.15) | 78.97 (+15.01) | 47.89 (-3.87) | 53.95 (-1.11) | 74.06 (+17.42) | 76.79 (+15.71) |
| VS2++ (Pseudo-label) | 77.11 (+16.04) | 79.14 (+15.18) | 52.81 (+1.05) | 57.02 (+1.96) | 72.12 (+15.48) | 76.92 (+15.84) | |
| Oracle 上界分析 | Weighted RAG | 76.43 (+15.36) | 69.78 (+5.82) | 58.32 (+6.56) | 60.65 (+5.59) | 72.53 (+15.89) | 67.84 (+6.75) |
| CLIP Steering (Oracle) | 81.85 (+20.78) | 84.12 (+20.16) | 56.42 (+4.66) | 61.51 (+6.45) | 80.38 (+23.74) | 84.07 (+22.99) | |
| VS2++ (Oracle) | 81.95 (+20.88) | 85.40 (+21.44) | 58.84 (+7.08) | 61.91 (+6.85) | 73.27 (+16.63) | 81.55 (+20.47) |
在测试时适应（TTA）计算开销对比中，VS2 与代表性优化基线在 ViT-B/32 上的对比展现了极致的推理效率： - 零样本 CLIP: 8.7295 GFLOPs, 4.3623 GMACs, 87.46M 参数 (相对计算量 1.0×)。 - TPT (Shu et al., 2022): 63 次图像增强 × 4 次优化反向传播迭代，测试时计算量膨胀至约 9.807 TFLOPs (相对计算量 ~16.6×)，CIFAR-100 准确率为 64.09%。 - VS2 (Ours): 8.7342 GFLOPs, 4.3647 GMACs, 92.18M 参数，计算量仅增加 0.05% (<0.1%)，CIFAR-100 准确率达到 64.52%，无需任何优化反向传播。
消融实验：分布偏移下的 FVU 门控机制评估¶
当使用在 CIFAR-100、CUB-200 与 Tiny-ImageNet 联合无标注数据上训练的统一通用 SAE（Generalized SAE）直接迁移至分布外数据集时，未门控操控可能导致严重负迁移。下表展示了不同分位数校准阈值下 FVU 门控的安全防御效果（括号内为应用操控的覆盖率 Coverage）：
| 测试数据集类型 | 数据集名称 | CLIP 零样本基准 | VS2 (目标域专属 SAE) | VS2 (通用 SAE, 未门控) | VS2 + FVU 门控 (q=0.90) | VS2 + FVU 门控 (q=0.95) | VS2 + FVU 门控 (q=0.99) |
|---|---|---|---|---|---|---|---|
| 源域内 (In-Dist) | CIFAR-100 | 61.07 | 64.52 | 64.63 | 64.27 (99.93%) | 64.62 (99.97%) | 64.63 (100.0%) |
| CUB-200 | 51.76 | 52.69 | 48.81 (-2.95) | 51.76 (0.00%) | 51.76 (0.04%) | 51.79 (0.62%) | |
| Tiny-ImageNet | 56.64 | 58.14 | 59.73 | 59.29 (85.00%) | 58.44 (92.16%) | 58.65 (98.63%) | |
| 分布外 (OOD) | Aircraft | 24.87 | 27.69 | 18.57 (-6.30) | 24.87 (0.00%) | 24.87 (0.00%) | 24.87 (0.09%) |
| Food101 | 80.72 | 81.20 | 81.06 | 80.72 (0.00%) | 80.71 (0.02%) | 80.70 (0.89%) | |
| Flower102 | 63.70 | 64.81 | 64.11 | 63.70 (0.11%) | 63.72 (1.32%) | 64.34 (22.72%) | |
| Caltech101 | 78.53 | 80.95 | 79.72 | 78.44 (2.30%) | 78.52 (5.51%) | 78.76 (23.82%) | |
| SUN | 51.79 | 54.80 | 45.78 (-6.01) | 51.80 (0.11%) | 51.80 (0.49%) | 51.92 (6.97%) | |
| EuroSAT | 31.61 | 34.65 | 30.76 (-0.85) | 30.39 (54.20%) | 31.39 (63.15%) | 31.57 (85.52%) |
关键发现¶
- 直接重构是毒药，增量操控是解药：单纯替换为 SAE 重构嵌入（\(\text{SAE}_{\text{REC}}^{\text{F}}\)）在所有数据集上均显著掉点（Tiny-ImageNet 上暴跌 20.31%），因为重构残差直接破坏了微调空间的线性判别边界；而 VS2 通过差值消除常数偏置并保留主干特征，将稀疏基底作为外加增量向量，稳定获得 +0.93% 至 +4.12% 的增益。
- 超参数宽容度极高：在放大系数 \(\gamma\) 与操控幅度 \(\lambda\) 的二维网格搜索中，只要乘积满足 \(\lambda \cdot \gamma \in [2, 3]\)，VS2 在所有测试数据集上均保持在近最优的性能平台上，不存在陡峭的敏感断崖。
- FVU 门控实现了自适应防御：在重构质量极其糟糕的 OOD 数据集（如 Aircraft 的通用 SAE 重构失真严重，未门控暴跌 6.30%），\(q=0.95\) 的 FVU 门控将覆盖率自动降至 0.00%，平滑回退至零样本基线 24.87%，彻底消除了负迁移风险。
- 重构与任务显著性鸿沟显著：VS2++ 在 Oracle 设定下取得了突破性的增益（CIFAR-100 暴涨 +21.44%，达到 85.40%），表明当前 SAE 内部已蕴含极其强大的任务判别特征，当前无标签均等放大的瓶颈在于缺乏监督或弱监督信号去筛选那些真正支撑分类决策的稀疏维度。
亮点与洞察¶
- 将可解释性工具重塑为下游执行机构：过去机械可解释性研究常被诟病为“只能看不能用”，本文首次从理论和实验上证明，SAE 分解出的单义视觉基底完全可以直接作为零开销的下游控制旋钮，为可解释性研究开辟了全新落地范式。
- 优雅的质心偏差闭式分解：证明了放大活跃特征在数学上等价于“远离群体均值质心”（Centroid-Deviation Steering），直观解释了为何无监督手段能滤除共性视觉冗余并增强个体独特性。
- 基于 FVU 理论界的内生可靠性门控：不同于常规黑盒置信度（如熵或最大 Softmax 概率），VS2 利用自编码器自身的未解释方差比作为几何残差上界，无需任何下游标签即可防御分布外攻击与退化。
局限与展望¶
- 依赖离线特征训练：VS2 需要预先在代表性无标注激活集上训练 top-k SAE，尽管其训练成本远低于 LoRA（每个样本仅需 0.014 GFLOPs），但仍需离线准备步骤，尚无法实现完全任意域零预热即插即用。
- 重构与分类目标的固有偏差：SAE 的训练目标是最小化激活重构误差，不可避免地会保留高能级但对分类无关的属性（如天空光照、复杂纹理）。后续可探索轻量级对比弱监督或原型对齐自编码器（PASS）来缩减此鸿沟。
- 多层联合操控易导致误差累积：实验表明在最终层 [CLS] token 上实施操控效果最好，同时在最后 3 层应用操控会导致扰动逐层放大并降低精度（从 68.08% 跌至 59.36%），未来需要探索多层协同退火机制。
相关工作与启发¶
- vs. 传统表征工程 (Turn et al., 2023; Zou et al., 2023)：传统操控向量依赖人工构建的正负概念对样本之差（如诚实 vs. 欺骗）；VS2 完全无需成对概念或对比监督，依靠输入图像在 SAE 空间内的自然激活即可构建实例级专属操控向量。
- vs. 测试时提示词微调 (TPT, Shu et al., 2022; C-TPT, Yoon et al., 2024)：TPT 需要对单个测试样本执行多视角数据增强并进行多次反向传播梯度优化，引入约 16.6 倍计算冗余；VS2 仅需单次前向传递和轻量矩阵乘法，增加的计算量不足 0.1%，兼具实时性与适配能力。
- vs. 外部词表概念解耦 (SpLiCE, Bhalla et al., 2024)：SpLiCE 依赖 10,000 个预定义的 LAION 文本概念进行字典投影；VS2 完全基于无监督 SAE 学习内部几何结构，无需任何外部词典资源，在 CIFAR-100 上大幅领先 SpLiCE 达 9 个百分点（64.52% vs. 55.57%）。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ (打破 SAE 仅用于事后分析的固有思维，开创无标签测试时视觉稀疏操控新范式)
- 实验充分度: ⭐⭐⭐⭐⭐ (跨 9 大数据集、2 种 ViT 主干，涵盖 TTA 对比、OOD 门控、近邻检索上界及逐类细粒度分析)
- 写作质量: ⭐⭐⭐⭐⭐ (数学证明严格清晰，几何解释直观透彻，逻辑链条严丝合缝)
- 价值: ⭐⭐⭐⭐⭐ (对机械可解释性落地、轻量测试时适配及基础模型表征工程具有极高的启发与实用价值)