Isotropic Activation Functions Enable Deindividuated Neurons and Adaptive Topologies¶

会议: NeurIPS 2026
arXiv: 2602.23405
OpenReview: https://openreview.net/forum?id=GNcZkqvGqw
论文: https://arxiv.org/abs/2602.23405
领域: 学习理论
关键词: 各向同性激活函数, 去个体化神经元, 奇异值分解, 自适应拓扑, 神经发育

一句话总结¶

论文通过引入正交等变各向同性激活函数消除神经元的基底依赖性，结合仿射层奇异值分解实现前向函数无损的对角化重参数化，进而支持实时的神经元生成与退化以及渐进 50% 稠密网络无损稀疏化。

研究背景与动机¶

现代深度学习的基础构件（激活函数、初始化、归一化层与优化器）普遍建立在逐元素计算之上。这种构造历史性地源自早期生物神经网络研究中对离散“神经元”逻辑运算单元的假设，使得激活向量的分解深度依赖于特定参考坐标基底，并将独立标量运算强加于各分量。在此类表象下，神经网络的参数重参数化对称性通常局限于离散的置换群或超八面体群。然而，这种强基底依赖与神经元个体化特性直接导致网络拓扑在稠密互联时极难进行保持原有功能的动态重构，迫使绝大多数结构调整退化为单连接剪枝，难以实现整神经元的无损移除或受控增殖。

神经可塑性（神经元数量与连接模式的动态适应）在生物大脑发育与持续学习中展现出关键优势，既能通过自适应修剪提升计算效率，又能通过增殖接纳新任务。但在人工神经网络中，传统逐元素激活使得单个神经元在稠密层中高度纠缠，无法隔离其对全局函数映射的独立贡献；整神经元修剪往往引发输出 logits 的剧烈波动与表征退化，而新增神经元也难以前向零扰动地平滑融入现有计算图。

本文的核心切入点是进行一次本体论的反转：将对称性视为基元，而将神经元视为群表示诱导的涌现物。通过用连续的正交等变对称性替换传统的离散置换对称性，构建对基底变换保持各向同性的激活函数。在各向同性激活函数下，隐层空间不再存在任何被优先选取的坐标轴，神经元呈现完全的“去个体化”。核心 idea：利用各向同性激活函数与正交变换的可交换性，通过奇异值分解（SVD）将稠密全连接层重参数化为严格一对一的对角化连接，结合新增的内在长度标量参数与脚手架缓冲机制，实现分析上严格函数等价（或高精度近似）的实时神经元增生与退化。

方法详解¶

整体框架¶

各向同性网络的核心流向是在标准多层感知机架构中，将逐元素激活函数替换为关于输入欧氏范数的各向同性非线性映射。在此约束下，网络隐层对任意正交群操作呈现连续等变性。系统在周期性调度（如每轮 epoch 结束）时执行左侧对角化操作，利用奇异值分解提取各连接的独立强度；随后维护一个阈值化脚手架神经元缓冲池，根据任务变化动态调度神经发生（Neurogenesis）与神经退行（Neurodegeneration），并在推理时通过层交替对角化实现参数的函数等价无损稀疏化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入特征向量 x"] --> B["正交等变各向同性激活<br/>基于欧式范数的非线性变换"]
    B --> C["层间仿射对角化<br/>SVD 分解与权重正交重参数化"]
    C --> D["内在长度校正与奇异值阈值化<br/>吸收残差偏置与确定活性连接"]
    D --> E{"脚手架神经元缓冲调度"}
    E -->|低于缓冲容量| F["神经发生：增维与对称性破缺初始化"]
    E -->|高于缓冲容量| G["神经退行：奇异值修剪与偏置吸收"]
    F --> H["自适应拓扑输出 / 50% 无损稀疏化"]
    G --> H

关键设计¶

1. 正交等变各向同性激活函数：消除人工神经元的基底依赖

传统逐元素激活函数在正交矩阵共轭变换下不保持形式不变，强行将特征空间锚定在特定的标准正交基底上。为了消除这种人为诱导的坐标偏置，论文将激活函数限制为对正交群 $\mathrm{O}(n)$ 呈现代数等变性约束：对任意正交矩阵 $\mathbf{R} \in \mathrm{O}(n)$，满足 $\mathbf{f}(\mathbf{R}\vec{x}) = \mathbf{R}\mathbf{f}(\vec{x})$。能够最大化满足该连续群等变性的通用多变量函数形式为通过向量模长缩放原方向的映射： $$\mathbf{f}(\vec{x}) = \sigma(\|\vec{x}\|_2)\hat{x} = \tilde{\sigma}(\|\vec{x}\|_2)\vec{x} = \bar{\sigma}(\vec{x}^T\vec{x})\vec{x}$$ 由于正交变换不改变向量的欧几里得范数 $\|\mathbf{R}\vec{x}\|_2 = \|\vec{x}\|_2$，非线性标量变换仅作用于径向幅度，旋转操作与激活函数严格可交换。在这一表象下，层内不再存在任何特殊的独立坐标分量，传统人工神经元退化为完全去个体化（Deindividuated）的连续空间方向。

2. 层间仿射对角化与无损稀疏化：将全连接解耦为一对一映射

针对三层感知机片段 $\mathbf{W}_3 f_{\text{Iso.2}}(\mathbf{W}_2 f_{\text{Iso.1}}(\mathbf{W}_1 \vec{x} + \vec{b}_1) + \vec{b}_2) + \vec{b}_3$，对中间层权重矩阵进行完全奇异值分解 $\mathbf{W}_2 = \mathbf{R}\mathbf{\Lambda}\mathbf{Q}^T$（其中 $\mathbf{R}, \mathbf{Q} \in \mathrm{O}(n)$，$\mathbf{\Lambda}$ 为对角阵）。通过在激活函数两侧插入单位阵 $\mathrm{I}_n = \mathbf{R}\mathbf{R}^T$ 与利用各向同性函数的正交对易性，中间权重可重参数化为对角矩阵 $\mathbf{\Lambda}$，而正交基底分别被吸收到外侧层： $$\mathbf{W}_3' = \mathbf{W}_3\mathbf{R}, \quad \mathbf{W}_1' = \mathbf{Q}^T\mathbf{W}_1, \quad \vec{b}_1' = \mathbf{Q}^T\vec{b}_1, \quad \vec{b}_2' = \mathbf{R}^T\vec{b}_2$$ 变换后的网络映射恒等于原始网络，而中间层的多对多密集全连接被解耦为严格的有序一对一连接 $\vec{W} \odot f_{\text{Iso.1}}(\cdot)$。在推理时，每隔一层实施对角化，可在完全保留函数映射（仅存在浮点机器精度级偏差）的前提下，将拥有 $(2D+1)$ 个仿射层的深度网络参数量渐进压缩至原稠密参数量的 50%： $$S_{\text{odd}} = \frac{2DN + (D+1)(N^2+N)}{(2D+1)(N^2+N)} \xrightarrow{N, D \to \infty} 50\%$$

3. 内在长度标量校正：恢复神经退行的连续变换对称性

当对角化连接中某一奇异值 $\mathbf{\Lambda}_{00} \to 0$ 时，该维度对上一层的依赖性完全消失；但残存的标量偏置分量 $b_0$ 依然通过径向非线性模长耦合破坏全局等价性。为此，论文引入了模型可学习标量参数——内在长度（Intrinsic Length）$o \in \mathbb{R}_{\geq 0}$，将其纳入各向同性激活： $$\mathbf{f}(\vec{x}) = \bar{\sigma}\left(\|\mathbf{\Lambda}\vec{x} + \vec{b}\|_2^2 + o\right)(\mathbf{\Lambda}\vec{x} + \vec{b})$$ 在删除零奇异值神经元时，被剪枝通道的偏置平方 $b_0^2$ 直接被规范变换吸收进入内在长度 $o' = o + b_0^2$，其线性项偏置则通过下一层偏置补偿 $\vec{b}_2' = \vec{b}_2 + \mathbb{E}[\bar{\sigma}(\cdot)]\vec{W}_* b_*$ 或非线性补偿向量 $\vec{\psi}$ 予以吸收。这一机制恢复了网络在神经元删除极限下的连续群收缩对称性，使得大比例神经元剪除仍能严格保持网络前向输出。

4. 阈值化脚手架缓冲池与全局梯度分流：动态神经发生与退化

在训练期间，算法根据对角奇异值设定不活跃阈值 $\vartheta$（满足 $\mathbf{\Lambda}_{ii} < \vartheta$ 的神经元归为脚手架神经元），并维持一个固定容量为 $\Xi$ 的脚手架缓冲池。当网络面临复杂新任务、低奇异值连接自发强化而使缓冲不足时，触发神经发生（通过在 $\mathbf{\Lambda}$ 末尾填充零行，扩展偏置与下游权重列，并调节内在长度 $o$ 保持输出完全无扰动）；当任务精简使不活跃神经元过多时，触发基于最小奇异值的神经退行。由于各向同性激活函数的雅可比矩阵包含非逐元素的各向同性单位项 $\tilde{\sigma}(\|\vec{x}\|_2)\mathrm{I}$，即使脚手架神经元在前向传播中权重为零，反向传播依然能获得全局分流的非零梯度，从而克服了传统稀疏网络新神经元难以被优化的死区瓶颈。

实验关键数据¶

主实验¶

实验首先在 CIFAR-10 上对一个架构为 $[3072, 100, 100, 10]$ 的各向同性全连接网络进行神经适应评估（重复 20 次独立实验）。在不对模型做任何重训练微调的严苛条件下，强制移除或添加不同数量的对角化神经元（神经发生 $+1$ 至 $+75$，神经退行 $-1$ 至 $-75$），测量模型 logits 在测试集上的平均样本 $L_2$ 偏差 $\epsilon$ 与对角奇异值总和 $\Sigma_1$。

神经适应操作 (神经元变动量)	内在长度与补偿配置	初始奇异值和 $\Sigma_0$ ($10^3$)	适应后奇异值和 $\Sigma_1$ ($10^3$)	输出 Logit $L_2$ 偏差 $\epsilon$ ($10^{-4}$)
$+75$ (神经发生 100 $\to$ 175)	$o_{\text{trainable}}, \vec{b}_{\text{adjusted}}$	$0.174 \pm 0.001$	$0.174 \pm 0.001$	$\mathbf{1 \pm 0}$
$+25$ (神经发生 100 $\to$ 125)	$o_{\text{trainable}}, \vec{b}_{\text{adjusted}}$	$0.174 \pm 0.001$	$0.174 \pm 0.001$	$\mathbf{1 \pm 0}$
$0$ (仅执行层对角化)	$o_{\text{trainable}}, \vec{b}_{\text{adjusted}}$	$0.174 \pm 0.001$	$0.174 \pm 0.001$	$\mathbf{1 \pm 0}$
$-1$ (神经退行 100 $\to$ 99)	$o_{\text{trainable}}, \vec{\psi}_{\text{constant}}$	$0.164 \pm 0.001$	$0.164 \pm 0.001$	$\mathbf{2 \pm 1}$
$-5$ (神经退行 100 $\to$ 95)	$o_{\text{trainable}}, \vec{\psi}_{\text{constant}}$	$0.164 \pm 0.001$	$0.164 \pm 0.001$	$\mathbf{25 \pm 10}$
$-25$ (神经退行 100 $\to$ 75)	$o_{\text{constant}}, \vec{\psi}_{\text{decay}}$	$0.174 \pm 0.001$	$0.162 \pm 0.001$	$\mathbf{621 \pm 66}$
$-50$ (神经退行 100 $\to$ 50)	$o_{\text{constant}}, \vec{\psi}_{\text{decay}}$	$0.174 \pm 0.001$	$0.139 \pm 0.001$	$\mathbf{695 \pm 62}$
$-75$ (神经退行 100 $\to$ 25)	$o_{\text{constant}}, \vec{\psi}_{\text{decay}}$	$0.174 \pm 0.001$	$0.114 \pm 0.001$	$\mathbf{801 \pm 64}$

在连续多任务调度实验（MNIST $\to$ MNIST+FMNIST $\to$ MNIST+FMNIST+EMNIST $\to$ FMNIST）中，自适应拓扑网络根据任务流展现出自动增殖与回缩特性，最终测试准确率显著优于固定宽度静态基线：

评测任务	静态控制基线准确率 (%)	自适应拓扑网络准确率 (%)	性能增益 (%)
MNIST (450 epoch)	$92.9 \pm 0.7$	$93.3 \pm 0.1$	$+0.4$
FMNIST (450 epoch)	$84.7 \pm 0.3$	$85.1 \pm 0.1$	$+0.4$
A-J EMNIST (450 epoch)	$85.0 \pm 1.1$	$86.1 \pm 0.2$	$+1.1$

消融实验¶

针对神经退行时内在长度 $o$ 与补偿向量 $\vec{\psi}$ 的不同吸收消融配置，在 CIFAR-10 上移除 5 个与 25 个神经元后的输出误差对比：

内在长度 $o$ 配置	残差偏置补偿机制	移除 5 个神经元误差 $\epsilon$ ($10^{-4}$)	移除 25 个神经元误差 $\epsilon$ ($10^{-4}$)	消融机制说明
$o_{\text{trainable}}$	$\vec{\psi}_{\text{constant}}$ (完整机制)	$\mathbf{25 \pm 10}$	$\mathbf{715 \pm 56}$	最优配置，残余偏置被严格吸收至非线性项
$o_{\text{trainable}}$	$\vec{\psi}_{\text{decay}}$	$33 \pm 15$	$627 \pm 59$	衰减补偿向量，过渡平滑但短时精度略微波动
$o_{\text{constant}}$	$\vec{\psi}_{\text{decay}}$	$33 \pm 13$	$621 \pm 66$	固定内在长度，依赖外部衰减补偿
$o_{\text{none}}$	$\vec{\psi}_{\text{decay}}$	$52 \pm 22$	$772 \pm 74$	缺少内在长度，残差偏置无法闭式规范化，误差显著上升
$o_{\text{trainable}}$	$\vec{\psi}_{\text{none}}$ (无偏置补偿)	$310 \pm 173$	$2656 \pm 554$	完全去除偏置补偿，导致线性项误差累积放大

关键发现¶

神经发生计算严格等价：在神经发生（添加 1 至 75 个神经元）或单纯对角化时，模型输出 logit 的 $L_2$ 距离仅为 $\sim 10^{-4}$，在数值计算上完全等于理论预测的无损变换，且耗时仅约 29 ms，远低于单轮反向传播的 19 秒。
内在长度是闭式剪枝的关键支撑：去除内在长度（$o_{\text{none}}$）或偏置补偿（$\vec{\psi}_{\text{none}}$）会导致剪枝后误差急剧增大（从 25 飙升至 310，从 715 飙升至 2656），证实标量内在长度在吸收残差模长方面的理论完备性。
任务分流与表征巩固分叉：在多任务自适应过程中，深层网络（H2、H3）在跨任务融合时出现显著的拓扑分叉现象，要么持续增生以分配独立子网络，要么自发发生表征巩固收敛至更紧凑的共享隐空间，展现出类似生物神经可塑性的结构演变。

亮点与洞察¶

对称性先于神经元的本体论倒置：打破了近八十年来将“人工神经元”作为离散第一基元的刻板认知，证明将正交对称性作为基础公理时，神经元会自然去个体化，从而赋予网络在连续群变换下的基底自由度。
矩阵乘法的前向全并行化可能：论文在附录中指出，各向同性多层感知机可以将各层的矩阵乘法完全折叠并提前并行预计算（即 $\mathbf{W}_{\circ}^{(d)}\vec{x}^{(0)}$），串行前向过程仅剩标量内积与向量加法，为打破大模型深度串行前向延迟提供了全新视角。
训练态与推理态的对称性破缺分离：正交重参数化在前向推理中保持严格的函数等变性，但在反向传播中与基于动量或二阶矩统计的优化器（如 Adam）产生耦合破缺，揭示了参数几何与优化轨迹之间的微观互动。

局限与展望¶

理论推导目前局限于多层感知机：尽管附录给出了针对卷积通道各向同性的草图性推广，但主流的 Transformer 自注意力机制和空间残差连接尚未建立严格的正交等变闭合体系。
SVD 分解存在立方阶计算开销：完全奇异值分解具有 $\mathcal{O}(m^2 n)$ 的计算开销，目前只能以间歇调度形式（如每 epoch 执行一次）运行，尚未达到逐 step 微观自适应的时效性。
优化器状态对齐仍需近似处理：在正交基底旋转后，Adam 优化器的二阶矩状态仅能通过二阶张量对角投影进行近似旋转，这可能引入微弱的优化轨迹漂移。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了逐元素激活的传统范式，建立了各向同性激活与正交对角化的完整理论框架。
实验充分度: ⭐⭐⭐⭐ 充分验证了 MLP 架构下的函数不变性、稀疏化与自适应拓扑，但缺乏主流大规模现代架构验证。
写作质量: ⭐⭐⭐⭐⭐ 理论推导严谨自洽，数学符号清晰，概念诠释深入。
价值: ⭐⭐⭐⭐ 虽受限于当前 MLP 范围，但为自适应神经网络架构与无损模型压缩提供了革命性的数学物理基础。

神经适应操作 (神经元变动量)	内在长度与补偿配置	初始奇异值和 \(\Sigma_0\) (\(10^3\))	适应后奇异值和 \(\Sigma_1\) (\(10^3\))	输出 Logit \(L_2\) 偏差 \(\epsilon\) (\(10^{-4}\))
\(+75\) (神经发生 100 \(\to\) 175)	\(o_{\text{trainable}}, \vec{b}_{\text{adjusted}}\)	\(0.174 \pm 0.001\)	\(0.174 \pm 0.001\)	\(\mathbf{1 \pm 0}\)
\(+25\) (神经发生 100 \(\to\) 125)	\(o_{\text{trainable}}, \vec{b}_{\text{adjusted}}\)	\(0.174 \pm 0.001\)	\(0.174 \pm 0.001\)	\(\mathbf{1 \pm 0}\)
\(0\) (仅执行层对角化)	\(o_{\text{trainable}}, \vec{b}_{\text{adjusted}}\)	\(0.174 \pm 0.001\)	\(0.174 \pm 0.001\)	\(\mathbf{1 \pm 0}\)
\(-1\) (神经退行 100 \(\to\) 99)	\(o_{\text{trainable}}, \vec{\psi}_{\text{constant}}\)	\(0.164 \pm 0.001\)	\(0.164 \pm 0.001\)	\(\mathbf{2 \pm 1}\)
\(-5\) (神经退行 100 \(\to\) 95)	\(o_{\text{trainable}}, \vec{\psi}_{\text{constant}}\)	\(0.164 \pm 0.001\)	\(0.164 \pm 0.001\)	\(\mathbf{25 \pm 10}\)
\(-25\) (神经退行 100 \(\to\) 75)	\(o_{\text{constant}}, \vec{\psi}_{\text{decay}}\)	\(0.174 \pm 0.001\)	\(0.162 \pm 0.001\)	\(\mathbf{621 \pm 66}\)
\(-50\) (神经退行 100 \(\to\) 50)	\(o_{\text{constant}}, \vec{\psi}_{\text{decay}}\)	\(0.174 \pm 0.001\)	\(0.139 \pm 0.001\)	\(\mathbf{695 \pm 62}\)
\(-75\) (神经退行 100 \(\to\) 25)	\(o_{\text{constant}}, \vec{\psi}_{\text{decay}}\)	\(0.174 \pm 0.001\)	\(0.114 \pm 0.001\)	\(\mathbf{801 \pm 64}\)

评测任务	静态控制基线准确率 (%)	自适应拓扑网络准确率 (%)	性能增益 (%)
MNIST (450 epoch)	\(92.9 \pm 0.7\)	\(93.3 \pm 0.1\)	\(+0.4\)
FMNIST (450 epoch)	\(84.7 \pm 0.3\)	\(85.1 \pm 0.1\)	\(+0.4\)
A-J EMNIST (450 epoch)	\(85.0 \pm 1.1\)	\(86.1 \pm 0.2\)	\(+1.1\)

内在长度 \(o\) 配置	残差偏置补偿机制	移除 5 个神经元误差 \(\epsilon\) (\(10^{-4}\))	移除 25 个神经元误差 \(\epsilon\) (\(10^{-4}\))	消融机制说明
\(o_{\text{trainable}}\)	\(\vec{\psi}_{\text{constant}}\) (完整机制)	\(\mathbf{25 \pm 10}\)	\(\mathbf{715 \pm 56}\)	最优配置，残余偏置被严格吸收至非线性项
\(o_{\text{trainable}}\)	\(\vec{\psi}_{\text{decay}}\)	\(33 \pm 15\)	\(627 \pm 59\)	衰减补偿向量，过渡平滑但短时精度略微波动
\(o_{\text{constant}}\)	\(\vec{\psi}_{\text{decay}}\)	\(33 \pm 13\)	\(621 \pm 66\)	固定内在长度，依赖外部衰减补偿
\(o_{\text{none}}\)	\(\vec{\psi}_{\text{decay}}\)	\(52 \pm 22\)	\(772 \pm 74\)	缺少内在长度，残差偏置无法闭式规范化，误差显著上升
\(o_{\text{trainable}}\)	\(\vec{\psi}_{\text{none}}\) (无偏置补偿)	\(310 \pm 173\)	\(2656 \pm 554\)	完全去除偏置补偿，导致线性项误差累积放大