Is a Linear Probe Evidence of a Linear Representation?¶

会议: NeurIPS 2026
arXiv: 2610.22655
代码: https://github.com/klindtlab/linear-probe-nullspace
领域: 学习理论
关键词: 线性表征假说、线性探针、世界模型、反向可预测性、谱集中度

一句话总结¶

本文证明线性探针的高准确率无法区分低维线性世界模型与高维弯曲核机器，并提出反向可预测性、谱集中度及分布外跨风格泛化三项非对称诊断指标，揭示预训练视觉模型介于两者之间。

研究背景与动机¶

在现代深度学习与机制可解释性研究中，“线性表征假说”（Linear Representation Hypothesis）占据着基石般的地位。从词嵌入中的线性语义平移、视觉模型的中间层语义探测，到大语言模型中关于真实性、概念方向与空间时间轴的线性解码，研究者习惯于采用一套标准范式：在冻结的模型表征上训练一个线性探针，一旦该探针能以高判定系数 $R^2$ 准确预测某个生成因子或潜在变量 $z$，便断言该模型已将 $z$ 学成其表征空间中的显式线性轴，甚至宣称模型内部建立了关于该变量的世界模型。

然而，这一推断背后隐藏着深刻的理论漏洞与认知盲区。根据经典随机特征与重现核希尔伯特空间（RKHS）理论，只要特征映射具有足够的非线性表达能力与维度，它就能成为通用函数近似器，即使是未经训练的纯随机特征网络，在维度逐渐增大时也必然渐进地支持对任意平滑目标因子的线性读出。因此，前向线性探针的高准确率在几何上完全兼容两种截然相反的假说：第一种是真正的“线性世界模型”，即潜在因子构成的子空间主导了特征表示的主要方差方向；第二种则是高维“核机器”，潜在因子虽然能被某个超平面线性切分或读出，但其自身仅以微弱的方差嵌入在一个极其弯曲、由无关非线性分量主导的高维流形中。后者的弯曲零空间结构在分布外迁移、组合泛化及因果干预时会导致灾难性退化。

面对前向探针“过度包容”的根本缺陷，核心矛盾在于前向解码只检验了目标变量能否从特征中提取，却从未检验该变量是否主导了特征本身的几何结构。本文的核心 idea 是：将线性世界模型形式化为潜变量主导特征方差的仿射映射，并构建三项利用维度与方差非对称性的诊断指标——反向可预测性（及理论上界）、主成分谱集中度与跨视觉风格分布外泛化，从而将真实的线性世界模型与虚假的高维核机器严格剥离。

方法详解¶

整体框架¶

为了从数学上厘清线性探针所能证明的几何边界，作者首先形式化了“线性世界模型”（Linear World Model）的严谨数学定义：设输入空间为 $\mathcal{X}$，真实潜变量为 $z: \mathcal{X} \to \mathbb{R}^k$，冻结的特征编码器为 $f: \mathcal{X} \to \mathbb{R}^d$。若存在矩阵 $W \in \mathbb{R}^{d \times k}$ 与偏置 $\mu \in \mathbb{R}^d$，使得白化后的潜变量 $\tilde{z}$ 满足 $f(x) = W \tilde{z}(x) + \mu + \varepsilon(x)$，且残差正交于潜变量 $\mathbb{E}[\varepsilon \tilde{z}^\top] = 0$，同时残差方差占潜变量对齐方差的比例有界 $\mathbb{E}[\|\varepsilon\|^2] \leq \sigma^2 \|W\|_F^2$，则称 $f$ 实现了关于 $z$ 的线性世界模型。当 $\sigma^2 = 0$ 时，$f$ 严格退化为 $z$ 的低维仿射映射。

与此相对，核机器机制表明，如果特征维度 $d$ 足够大，由随机特征构成的 $f_{\text{rand}}$ 依然能让前向解码误差趋于零（命题 1）。为了在有限维度与实际模型中诊断真实几何，作者设计了包含理论诊断、全受控仿真与多风格确定性基准 SVG-World 的完整评估管线。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入数据 x 与潜变量 z<br/>（仿真网格 / SVG-World 双风格渲染）"] --> Fwd["前向线性探测<br/>评估从特征 f(x) 预测 z 的能力（前向 R²）"]
    Fwd --> D1["反向可预测性与理论天花板<br/>评估从 z 重构 f(x) 的方差比例 R²_rev 及天花板 Cr 归一化"]
    D1 --> D2["谱集中度度量<br/>前 r 个主成分白化后的逆向重构能力 SC = R²_rev(r)"]
    D2 --> D3["跨风格分布外泛化<br/>在 AquaWorld 训练探针，在 WestWorld 零样本评估方向迁移"]
    D3 --> Out["几何范式定性判决<br/>线性世界模型 vs 高维核机器 vs 真实预训练特征状态"]

关键设计¶

1. 反向可预测性与谱理论天花板：测量潜变量占表征总方差的份额

前向探针优化的是从 $f(x)$ 预测 $z(x)$ 的误差，而反向探针则倒转映射方向，通过潜变量 $z(x)$ 线性拟合高维特征向量 $f(x)$，度量潜变量所能解释的特征方差比例： $$R_{\text{rev}}^2 = 1 - \frac{\mathbb{E}_x \|f(x) - W_{\text{rev}} z(x) - \mu\|^2}{\mathbb{E}_x \|f(x) - \mathbb{E} f\|^2} = \frac{\operatorname{tr}(A \operatorname{Cov}(z) A^\top)}{\operatorname{tr}(A \operatorname{Cov}(z) A^\top) + \operatorname{tr} \operatorname{Cov}(\varepsilon)}$$ 当残差 $\varepsilon$ 包含大量与 $z$ 无关的高维非线性分量时（即核机器范式），即使前向解码 $R^2 \approx 1$，$R_{\text{rev}}^2$ 也会随残差维度扩张而衰减至接近 0。为了消除特征协方差固有衰减谱对绝对数值的影响，作者基于 Ky Fan 最大值原理推导了 $r = \operatorname{rank} \operatorname{Cov}(z)$ 维潜变量在线性重构中所能达到的理论上限天花板： $$C_r = \frac{\sum_{i \leq r} \lambda_i}{\sum_{i \leq d} \lambda_i}$$ 其中 $\lambda_1 \geq \dots \geq \lambda_d$ 为 $\operatorname{Cov}(f)$ 的特征值。比值 $R_{\text{rev}}^2 / C_r$ 代表潜变量所占有的特征可达方差份额，使得不同架构与不同谱衰减特性的模型之间具备了完全可比的基准。

2. 谱集中度：定位潜变量对齐方差在特征谱系中的位置

线性世界模型不仅要求潜变量解释显著的特征方差，还要求其对齐方向占据特征空间的主导主成分（Leading PCs）。作者提出谱集中度诊断：将特征 $f$ 投影到其前 $m$ 个主成分并进行 PCA 白化（各成分方差归一化为 1），计算该子空间内的反向可预测性 $R_{\text{rev}}^2(m)$。对于线性世界模型，其潜变量主导前 $r$ 个主成分，因此在 $m = r$ 处定义的谱集中度指标 $\text{SC} = R_{\text{rev}}^2(r) \approx 1$；而对于高维核机器，由于前导主成分被无关非线性方差淹没，$\text{SC}$ 极低。随着 $m > r$ 继续加入无关残差成分，$R_{\text{rev}}^2(m)$ 曲线呈单调下降趋势，其在小 $m$ 处的峰值直接刻画了潜变量方差在谱系中的聚集紧凑度。

3. 跨视觉风格分布外泛化：利用配对生成机制验证方向的不变性

为了排查模型仅在训练支持集局部拟合非线性流形的伪线性假象，作者提出跨条件/跨域线性可分性迁移测试。模型如果真正建立了因子的线性表征，其解码方向应当具备跨越视觉风格的内在稳定性。为此，作者构建了确定性双风格合成数据集 SVG-World（包含 AquaWorld 与 WestWorld 两个风格分支，每分支 10,000 张图），两套渲染完全共享一套 32 维潜变量布局（包含 4 个人物与 2 个动物的连续 2D 平面坐标及属性，共 12 个关键位置潜变量）。通过在一个风格上拟合探针，并在剔除全局均值漂移后零样本迁移至另一风格，利用测试集相关系数 $\rho$ 检验解码超平面是否是跨渲染不变的纯几何方向。

损失函数 / 训练策略¶

在可控全受控仿真实验中，作者采用二维均匀潜变量 $z \sim \operatorname{Unif}([-1, 1]^2)$ 经由固定的随机傅里叶特征映射升维后输入 2 层 ReLU MLP（隐层宽度 $h$ 从 4 到 1024）。在训练对照组中，使用 AdamW 优化器（学习率 $2 \times 10^{-3}$，2000 步）训练端到端线性读出头 $U f$ 拟合 $z$。作者引入权重衰减系数 $\lambda \in \{0, 1\}$，揭示出关键机制：当对读出矩阵应用权重衰减 $\lambda = 1$ 时，网络受到惩罚机制约束，强行将潜在因子推向特征空间的主要高方差方向，从而自发演化为符合线性世界模型定义（$\sigma^2 \to 0$）的平坦子空间；而没有权重衰减（$\lambda = 0$）时，网络虽达到完美前向解码，却保留了大量正交残差方差，印证了线性世界模型是强训练归纳偏置的产物而非最小化前向误差的必然结果。

实验关键数据¶

主实验¶

主实验在提出的确定性双风格基准 SVG-World 上对 12 个物体位置潜变量（8 个人物位置坐标 + 4 个动物位置坐标）进行了系统测试，覆盖 DINOv3（S/B/L）、DINOv2、DeiT、CLIP 等代表性视觉 Transformer，并与各自随机初始化的对照组进行严格对比。

模型 / 架构	特征提取方式	前向解码 $R^2$ (预训练 / 随机)	反向可预测性 $R_{\text{rev}}^2$ (预训练 / 随机)	理论天花板比值 $R_{\text{rev}}^2 / C_r$ (预训练 / 随机)	谱集中度 SC (预训练 / 随机)	跨风格相关系数 $\rho_{\times}$ (预训练 / 随机)
DINOv3-S/16	CLS (d=384)	0.86 / 0.45	0.257 / 0.023	0.38 / 0.04	0.27 / 0.03	0.47 / 0.09
DINOv3-B/16	CLS (d=768)	0.91 / 0.66	0.188 / 0.023	0.31 / 0.04	0.26 / 0.03	0.46 / 0.10
DINOv3-B/16	Patches Mean (d=768)	0.93 / 0.59	0.284 / 0.024	0.47 / 0.05	—	0.57 / 0.15
DINOv3-L/16	CLS (d=1024)	0.91 / 0.74	0.169 / 0.024	0.26 / 0.05	0.24 / 0.02	0.48 / 0.06
DINOv2-B/14	CLS (d=768)	0.91 / 0.58	0.224 / 0.028	0.35 / 0.05	0.26 / 0.04	0.34 / 0.07
DeiT-B/16	CLS (d=768)	0.89 / 0.55	0.186 / 0.020	0.27 / 0.04	0.23 / 0.02	0.26 / 0.02
CLIP-B/16	Pooled CLS (d=768)	0.87 / 0.45	0.174 / 0.020	0.27 / 0.04	0.21 / 0.02	0.34 / 0.31

在真实人脸属性照片数据集 CelebA（20,000 张图像，40 项二元人脸属性，维度 $r = 40$）上的验证同样证明了该结论的普适性：

模型 / 特征类型	权重状态	前向解码 $R^2$	反向 $R_{\text{rev}}^2$	理论天花板 $C_{40}$	占天花板份额 $R_{\text{rev}}^2 / C_{40}$	谱集中度 SC	参与比率 PR
DINOv3-B/16 (CLS)	预训练	0.391	0.170	0.606	0.281	0.153	48.2
DINOv3-B/16 (CLS)	随机初始化	0.069	0.067	0.980	0.069	0.018	2.5
DINOv3-B/16 (Patches)	预训练	0.412	0.245	0.680	0.360	0.174	32.1
DINOv3-B/16 (Patches)	随机初始化	0.114	0.090	0.994	0.091	0.023	1.7
CLIP-B/16 (Image)	预训练	0.411	0.192	0.694	0.277	0.155	45.6
CLIP-B/16 (Image)	随机初始化	0.115	0.106	0.996	0.106	0.028	1.8

消融实验与受控仿真¶

在全受控数值仿真（$h = 1024$，5 个随机种子平均）中，研究者严格消融了不同训练约束对各诊断指标的影响：

实验条件配置	前向解码 $R^2$	反向可预测性 $R_{\text{rev}}^2$	理论天花板 $C_2$	未白化 Top-2 方差份额	谱集中度 SC	分布外泛化 OOD $R^2$
训练模型（强权重衰减 $\lambda = 1$）	1.000	0.996	0.996	0.995	1.000	1.000
训练模型（无权重衰减 $\lambda = 0$）	1.000	0.786	0.797	0.781	0.983	0.996
随机初始化 baseline	1.000	0.213	0.258	0.181	0.713	0.892

在经典解纠缠基准（dSprites、3D Shapes、MPI3D-realistic）上的对比显示，前向解码与逆向方差份额经常发生解耦：在 3D Shapes 上，DINOv3-B/16 的前向解码 $R^2$ 与随机初始化打平（均为 0.96），但随机初始化的 $R_{\text{rev}}^2$ 却高达 0.67（预训练仅 0.11），这是因为随机网络保留了单物体简单渲染中原本就占据极高方差的像素级低维投影（输入像素的 $R_{\text{rev}}^2$ 高达 0.836，参与比率 PR 仅 3.8）。

关键发现¶

自监督预训练赋予了特征超越核机器的几何结构：在 SVG-World 与 CelebA 上，预训练模型的反向可预测性是随机初始化的 5 到 10 倍，其潜变量对齐方差显著集中于前 17 到 32 个主成分中，且在风格剧烈剧变下依然保持稳定的解码方向（跨风格相关系数达 0.46–0.57），这坚决否定了纯粹的无结构随机核机器假说。
但预训练表征远未达到“线性世界模型”的标准：所有预训练 Vision Transformer 解释的潜在因子方差最多仅占其理论天花板份额的约三分之一（0.26–0.47），剩余过半的特征方差依然分布在垂直于探测超平面的高维非线性残差中。
模型容量与线性占有率呈现反向退化：在 DINOv3 家族内，从 Small、Base 到 Large，前向探测准确率随着参数与特征维度增长而上升（$R^2$ 从 0.86 升至 0.91），但反向方差份额 $R_{\text{rev}}^2$ 却单调递减（从 0.257 降至 0.169）。大模型容纳了更丰富的通用背景与非线性特征，潜在因子占总表征的方差比例反而被稀释。

亮点与洞察¶

击碎探针准确率的因果幻觉：理论证明与实证共同表明，高前向探针准确率只是高维非线性特征空间的通用数学性质，绝不能单向推导为模型内部构建了该因子的线性世界模型。
构建有理论界保证的无量纲逆向评估尺：提出结合 Ky Fan 定理的理论天花板 $C_r$，优雅化解了不同模型特征谱衰减速度差异带来的不可比难题。
揭示表征几何与优化目标的深层联系：自监督学习（如 DINO、CLIP）以多样性与对比实例为主，并无任何归纳偏置去压缩或孤立外部人为定义的特定几何因子，促使未来可解释性与因果干预研究必须关注流形曲率与残差零空间。

局限与展望¶

依赖预设因子集与线性假设：反向可预测性与谱集中度均基于线性方差分解，若模型以高度扭曲但忠实的非线性流形编码变量，或因子以极端稀疏叠加形式存在，指标均会给出偏低分值。
因子编码形式的敏感性：在 dSprites 和 3D Shapes 等受控基准上，离散因子的编码方式（规范三角函数编码 vs 序数编码 vs One-hot）会影响预训练与随机初始化的相对排序。
未来方向：将此诊断体系迁移至大语言模型的提示表征（如棋盘状态、世界时空探测）、稀疏自编码器（SAE）特征字典分解，以及因果激活干预的跨分布稳定性评测。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从理论与严谨实验双向解构了线性探针作为“线性表征”证据的有效性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖解析仿真、自研双风格确定性基准 SVG-World、三大解纠缠数据集及 CelebA 真实照片。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层层递进，形式化定义精准，图表论证扎实。
价值: ⭐⭐⭐⭐⭐ 对机制可解释性、世界模型探究及表征学习方法论具有关键警示与纠偏意义。

实验条件配置	前向解码 \(R^2\)	反向可预测性 \(R_{\text{rev}}^2\)	理论天花板 \(C_2\)	未白化 Top-2 方差份额	谱集中度 SC	分布外泛化 OOD \(R^2\)
训练模型（强权重衰减 \(\lambda = 1\)）	1.000	0.996	0.996	0.995	1.000	1.000
训练模型（无权重衰减 \(\lambda = 0\)）	1.000	0.786	0.797	0.781	0.983	0.996
随机初始化 baseline	1.000	0.213	0.258	0.181	0.713	0.892