How are Linear Representations Learned? Exact Solutions to the Dynamics of Abstract Concept Acquisition¶

会议: NeurIPS 2026
arXiv: 2607.08843
代码: https://github.com/williamwy/abstraction-dynamics
领域: 可解释性
关键词: 线性表示假说, 概念抽象动力学, 学习动力学, 线性探针泛化, 激活弱化定律

一句话总结¶

本文通过极小线性网络与无限宽非线性网络设置，首次给出了概念抽象动力学（线性表示对齐过程）的解析精确解，揭示了初始化尺度控制训练峰值、网络深度提升终态抽象度，以及非线性激活相对于预激活弱化抽象度的普适衰减定律。

研究背景与动机¶

深度神经网络在表征空间中常常将高层概念编码为近乎平行的线性方向，这一现象被形式化为线性表示假说（Linear Representation Hypothesis, LRH），并构成线性探针（linear probe）、概念探测与激活引导（activation steering）等可解释性与控制技术的基石。在认知神经科学中，这一现象被称为抽象表征（abstraction），即跨越不同上下文环境时概念差异向量具有高度一致的余弦相似度，被认为是实现组合泛化和分布外自适应的关键神经几何机制。

然而，学界对抽象表征如何从训练动态中涌现的理解仍极其有限。现有理论大都局限于稳态分析，例如证明在梯度下降收敛到全局最优点或渐进极限时表征会达到完全抽象（余弦相似度为 1）。但真实神经网络在训练过程中往往展现出高度非单调的动力学轨迹，不仅经常在远低于 1 的平台上饱和，且探针泛化能力随训练步数动态波动。这导致现有静态理论无法解释数据几何如何塑造演化轨迹、初始化尺度如何调控极大值、网络深度带来何种层间增益，以及非线性激活函数对抽象机制究竟起到了促进还是削弱的作用。

本文旨在构建一个解析可解的动力学理论框架，以回答概念方向如何在训练中对齐。核心 idea：在双因子对称性与投影读出极小架构下推导概念抽象全轨迹精确解，证明终态抽象度由输入与目标几何均值决定、初始化越小则近完美抽象的亚稳态持续时间呈对数发散，并从理论与实验上确立非线性激活弱化表征抽象度的普适衰减定律。

方法详解¶

整体框架¶

本文构建了一个双二元概念（如形状 \(s \in \{\pm 1\}\) 与颜色 \(c \in \{\pm 1\}\) 共 4 个类别）的极小学习框架。网络接收输入 \(\mathbf{x}\) 并预测目标 \(\mathbf{y}\)，两者均由隐变量经非线性映射叠加噪声生成。令 \(\mathbf{u}_{\text{red}}\) 与 \(\mathbf{u}_{\text{blue}}\) 分别表示红/蓝上下文中的形状差异向量，抽象度定义为两者的余弦相似度 \(\alpha = \frac{\mathbf{u}_{\text{red}} \cdot \mathbf{u}_{\text{blue}}}{\|\mathbf{u}_{\text{red}}\| \|\mathbf{u}_{\text{blue}}\|}\)。通过引入变量投影读出与双因子对称性假设，表征核矩阵动力学解耦为标量常微分方程，并进一步拓展至多层深层线性网络及无限宽非线性网络（erf 与 Leaky ReLU）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["双因子输入与目标<br/>4类对称数据几何"] --> B["双因子对称谱分解<br/>信号模态 S 与噪声模态 SC"]
    B --> C["变量投影读出降维<br/>有效目标核 M 滤波"]
    C --> D["线性网络精确解与极限定理<br/>终态法则 / 深度插值 / 亚稳态"]
    D --> E["非线性网络激活弱化定律<br/>预激活 vs 激活表征衰减因子"]
    E --> F["下游迁移与探针泛化<br/>大模型局部激活消融提升"]

关键设计¶

1. 双因子对称性与逆信噪比参数化：将矩阵流形解耦为标量正交模态 为了克服表征核矩阵 \(\mathbf{Q}(t) = \mathbf{Z}(t)^\top \mathbf{Z}(t)\) 在梯度流中不可解的维度灾难，框架引入了置换群与全局标签反转的二因子对称性群 \(\mathcal{G} \cong (S_n)^4 \rtimes (\mathbb{Z}_2)^2\)（2FS 假设）。在该对称性下，输入核 \(\boldsymbol{\Sigma}_x\)、目标核 \(\boldsymbol{\Sigma}_y\) 以及表征核 \(\mathbf{Q}(t)\) 均能够被同时对角化到全局均值模态 \(G\)、类内残差模态 \(I\)、信号模态 \(S\)（形状）、背景模态 \(C\)（颜色）以及交互模态 \(SC\)（异或噪声）。抽象度严格受控于 \(SC\) 与 \(S\) 的特征值之比，即逆信噪比 \(\nu(\mathbf{A}) \coloneqq \lambda_{SC}^{(\mathbf{A})} / \lambda_S^{(\mathbf{A})}\)。通过该变换，抽象度被简洁地形式化为：

\[\alpha_{\mathbf{A}} = \frac{1 - \nu(\mathbf{A})}{1 + \nu(\mathbf{A})}\]

由此将复杂的矩阵几何演化完全压缩为信号模态与交互噪声模态之间的竞争机制。

2. 变量投影读出与精确动力学轨迹解：解析刻画终态收敛与富学习亚稳态 针对输出层权重与特征权重的耦合难题，模型采用变量投影（Variable Projection）假设，即假定带岭正则项（系数 \(\gamma^{-1}\)）的读出头 \(\mathbf{W}_r(t)\) 始终处于极小化瞬时特征损失的最优稳态。结合 2FS 对称性，每个特征模态的特征值 \(\lambda_m\) 满足一维动力学方程：

\[\dot{\lambda}_m = 2\gamma \lambda_m \lambda_m^{(\boldsymbol{\Sigma}_x)} \frac{\lambda_m^{(\boldsymbol{\Sigma}_y)}}{(1+\gamma\lambda_m)^2}\]

定义单调时钟函数 \(F(a) \coloneqq \frac{1}{2}a^2 + 2a + \log a\) 与 \(\bar{\nu} \coloneqq \nu(\boldsymbol{\Sigma}_x)\nu(\boldsymbol{\Sigma}_y)\)，模型推导给出了抽象度 \(\alpha(t)\) 的精确隐式参数化解。由此揭示出两大基本规律：首先，终态抽象度完全由输入与目标的几何平均逆信噪比锁定，即 \(\alpha_\infty = \frac{1 - \sqrt{\bar{\nu}}}{1 + \sqrt{\bar{\nu}}}\)；其次，权重的初始尺度 \(\kappa\) 严格单调控制训练期间可达到的最大抽象度 \(\alpha_{\text{max}}(\kappa)\)。在富表示学习极限（\(\kappa \downarrow 0\)）下，表征在 \(O(1)\) 时间内迅速逼近完美对齐（\(\alpha \approx 1\)），并在该近完美状态驻留长达 \(\Theta(\log \frac{1}{\kappa})\) 的发散时间，呈现出强烈的亚稳态特征。

3. 深层网络双曲正切插值律：层级加深单调放大表征抽象度 将框架扩展至具有 \(L\) 个隐层的深层线性网络，在层间增益平衡假设下，特征值演化方程受深度 \(L\) 的幂律加速调控。研究证明各隐层 \(\ell \in \{1,\dots,L\}\) 的瞬时抽象度在双曲反正切空间中严格满足线性几何插值：

\[\operatorname{arctanh}\alpha^{(\ell)}(t) = \left(1 - \frac{\ell}{L}\right)\operatorname{arctanh}\alpha_{\boldsymbol{\Sigma}_x} + \frac{\ell}{L}\operatorname{arctanh}\alpha^{(L)}(t)\]

同时，最终隐层的终态抽象度由输入几何与目标几何按深度加权决定：\(\operatorname{arctanh}\alpha_\infty^{(L)} = \frac{1}{L+1}\operatorname{arctanh}\alpha_{\boldsymbol{\Sigma}_x} + \frac{L}{L+1}\operatorname{arctanh}\alpha_{\boldsymbol{\Sigma}_y}\)。只要目标几何的抽象度高于原始输入（\(\alpha_{\boldsymbol{\Sigma}_y} > \alpha_{\boldsymbol{\Sigma}_x}\)），最终隐层的终态抽象度便随网络深度 \(L\) 的增加而严格单调上升。

4. 非线性衰减定律与 ReLU 几何形变：预激活到激活的几何耗散机制 在无限宽极限下分析非线性激活函数 \(\phi\)（如误差函数 erf 与带泄漏修正的 Leaky ReLU）对表征核 \(\mathbf{K} = \frac{1}{D}\phi(\mathbf{Z})^\top\phi(\mathbf{Z})\) 的影响，证明了严格的衰减定律：对任意正抽象度，激活特征空间的抽象度恒被弱化，即 \(\alpha_{\mathbf{K}}(t) = \mathcal{A}_\phi(\mathbf{Q})\alpha_{\mathbf{Q}}(t)\)，其中衰减因子 \(0 \le \mathcal{A}_\phi(\mathbf{Q}) \le 1\)。动力学分析进一步表明：erf 激活的终态仅是线性理论的微扰修正；而 Leaky ReLU（参数 \(\omega\)）极大重塑了动力学相位，使其对目标噪声钝化而对输入几何极度敏感。在纯 ReLU（\(\omega=0\)）且目标完全无噪（\(\eta_Y=0\)）的理想条件下，终态抽象度能够达到完美对齐的临界条件竟被严苛限制在输入噪声 \(\eta_X \le \frac{1}{2}\)；一旦输入噪声超标，终态抽象度将迅速崩溃，甚至在输入强噪极限下载入完全反抽象状态（\(\alpha \to -1\)）。

损失函数 / 训练策略¶

两层线性网络优化带读出层 \(\ell_2\) 岭惩罚的均方误差损失：\(\mathcal{L}(\mathbf{W}_r, \mathbf{Z}) = \frac{1}{2}\|\mathbf{W}_r \mathbf{Z} - \mathbf{Y}\|_F^2 + \frac{1}{2\gamma}\|\mathbf{W}_r\|_F^2\)。基于变量投影消去 \(\mathbf{W}_r\) 后，得到仅关于表征矩阵的降维目标 \(\mathcal{L}^*(\mathbf{Z}) = \frac{1}{2}\operatorname{Tr}(\mathbf{Y}^\top\mathbf{Y}(\mathbf{I}_N + \gamma \mathbf{Z}^\top\mathbf{Z})^{-1})\)，并通过标准梯度流执行优化。

实验关键数据¶

主实验¶

为了验证抽象度 \(\alpha\) 对下游跨上下文线性探针泛化误差（Cross-Condition Generalization Performance, CCGP）的严格控制，并在真实视觉模型（DINOv3）与大语言模型（Gemma 4 E2B）中检验非线性衰减定律，论文在 Gemma 4 模型的 18 个双语翻译概念（每个概念 80 对词，例如英语-西班牙语、法语-德语等）上评估了局部 GELU 激活消融（Local GELU Ablation）的效果。

模型与评估任务	评估指标	基线 (含激活)	局部激活消融 (线性化)	增益 / 理论符合度
Gemma 4 E2B (18个双语概念平均)	表征抽象度 \(\alpha\) (平均余弦)	0.207	0.242	+0.035 (18/18 概念显著提升)
Gemma 4 E2B (18个双语概念平均)	探针跨上下文测试准确率 (%)	94.40%	95.30%	+0.90% (17/18 概念提升或持平)
DINOv3 ViT-L/16 (3dshapes 视觉形状)	全层平均抽象度 \(\alpha\)	随层单调上升	各层均高于或等于基线	严格遵循预激活弱化定律
猕猴大脑腹侧流 (自然性/肢体性二元任务)	IT 区抽象度 vs V4 区抽象度	V4 较低	IT 显著更高 (gap=0.68)	验证深度单调提升假说

消融实验¶

在合成数据与小规模卷积网络（ResNet 在 3dshapes 数据集上）中，系统验证了初始化尺度、网络深度对最终抽象度的理论预测契合度：

实验配置 (ResNet / 线性设定)	考察变量	观测指标	实验现象与理论吻合说明
初始化方差扫视 \(\sigma_w^2 \in [0.03, 30.0]\)	权重尺度 \(\kappa\)	训练全轨迹最大抽象度 \(\alpha_{\text{max}}\)	随初始化尺度减小单调逼近 1.0 (符合定理 5)
网络隐层深度扫视 \(L \in \{2, 4, 6, 8\}\)	深度 \(L\)	最后一层终态抽象度 \(\alpha_\infty\)	深度增加单调提升终态抽象度 (符合定理 7)
深层网络层间剖析 (\(L=8\) 各层特征)	隐层索引 \(\ell\)	各层抽象度 \(\alpha^{(\ell)}\)	沿层深严格单调线性插值递增 (符合公式 13)
激活函数类型 (erf vs L-ReLU)	激活函数类型	终态相图对输入/目标几何的敏感性	erf 贴近线性相图，ReLU 严重偏向输入几何 (定理 9-11)

关键发现¶

激活弱化定律在真实大模型中具有高保真度：在 Gemma 4 E2B 的 18 个双语概念中，将倒数第二层的前馈非线性门控替换为线性恒等映射，测试集上的表征抽象度在 18 个概念中无一例外全部提升（均值从 0.207 上升至 0.242），且线性探针泛化精度在 17 个概念中取得净增长（平均提升约 1 个百分点）。
灵敏度非对称性：ReLU 网络的抽象度在自监督/含噪目标任务中更依赖输入表征本身的信噪比，输入噪声稍大即会破坏原本依赖目标监督所能建立的抽象性；而平滑饱和型非线性（erf/tanh）则在保持目标驱动抽象方面表现得更类似线性网络。

亮点与洞察¶

首次从动力学 ODE 视角解析求解概念抽象轨迹，彻底颠覆了以往只能依赖损失曲面全局极小值假设进行静态定性分析的局限。
提出了针对 Transformer MLP 块的局部激活消融（Local GELU Ablation）实用方法，无需耗费算力重新微调，即可在推理阶段直接提取更高信噪比、更具泛化性的概念探针与引导向量。
实现了认知神经科学中灵长类腹侧视通路（V4 到 IT 区抽象度与解码迁移逐级上升）与深度神经网络层级深度定理的完美跨学科印证。

局限与展望¶

理论精确解基于双因子对称（2FS）与正交投影读出的简化假设，无法完全复现小批量 SGD 噪声及非正交高维复杂相互作用条件下的高阶扰动。
非线性网络的分析主要在无限宽均场极限下推导，向有限宽深层多层非线性网络的完整轨迹解析拓展依然是一个极具挑战性的开问题。
后续可进一步将局部激活消融技术应用于前沿开源 LLM 的复杂推理链对齐与安全概念激活引导（activation steering）场景中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次导出概念对齐与抽象动力学的解析精确解及非线性弱化定律。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖解析方程拟合、合成控制、CNN、DINOv3、Gemma 4 以及猕猴神经电生理数据。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严丝合缝，几何直觉清晰，图表布局逻辑清晰。
价值: ⭐⭐⭐⭐⭐ 为深入理解大模型内部表征几何机制及优化概念探针工程提供了坚实的理论支撑。