Scaling Laws and Tradeoffs in Recurrent Networks of Expressive Neurons¶
会议: NeurIPS 2026
arXiv: 2605.12049
论文: https://arxiv.org/abs/2605.12049
代码: https://github.com/AaronSpieler/elmneuron
领域: 预训练
关键词: 循环神经网络, 缩放法则, 表达力神经元, 资源分配权衡, 信息论模型
一句话总结¶
提出了基于表达力漏失记忆（ELM）神经元的双重循环网络架构与闭式信息论分析框架，系统揭示了在固定参数预算下神经元数量、单神经元内部复杂度与突触连接度之间的最优分配权衡与 Pareto 缩放定律。
研究背景与动机¶
现代机器学习主流模型长期遵循经典联结主义假设，默认采用极度简化的点状计算单元，主要依靠堆叠层数、拓宽网络维度或引入注意力、门控及状态空间等外部连接机制来实现模型容量的扩展。然而，生物大脑皮层中的神经元本身即是高度复杂的时空信息处理器：树突树的分层分支形态、主动电导调节以及多种跨时间尺度的膜电位动态，使得单个生物神经元就具备多尺度记忆、结构化突触整合与内部非线性运算能力。计算神经科学对复杂生物单神经元的精细建模与机器学习对大规模极简单元网络的缩放探索，长期处于彼此割裂的平行轨道。
这就引出了一个基础性的规范化架构设计问题：在给定固定的可训练参数预算下，我们应当如何将参数分配给网络宽度（神经元数量）、单神经元内部复杂度以及神经元间的突触连接密度？是否存在一个非平凡的最优平衡点，还是说主流机器学习坚持的“极简神经元+极宽网络”确实是最优选择？既有的神经缩放法则（Scaling Laws）研究主要聚焦于整体模型参数量、数据量和算力的幂律关系，却完全未将“单个神经元自身的计算复杂度”作为一个独立的连续可调缩放轴来加以考察。
要回答这一根本问题，必须构建一个能够独立调节单神经元复杂度、网络宽度与突触连接密度的端到端稳定可训架构，并在具有显著时空动态特征与长程依赖的序列任务上进行受控评测。核心 idea：本文构建了具备多时间尺度记忆与树突突触整合能力的 ELM 双重循环网络，在跨越三个数量级的参数预算下证明了神经元数量与复杂度之间存在非平凡的最优权衡，并提出了基于高斯多通道信道容量的闭式信息论框架，将双向边际递减归因于单神经元信噪比饱和与神经元群体活动冗余。
方法详解¶
整体框架¶
ELM Network 是一个双重循环（doubly recurrent）序列建模系统，其核心由三级嵌套层次构成：神经元（Neuron）、循环隐藏层（Layer）与全网络（Network）。网络整体包含一个由多个高表达力 ELM 神经元组成的宽隐藏层、一个轻量前馈读取层以及最终的线性输出投影层。网络接收外部序列输入，在每个时间步将其与隐藏层上一时刻的循环激活拼接，每个神经元以固定稀疏连接随机采样部分输入通道进行处理，经过局部树突分支加权求和、内部非线性状态转移、多尺度漏失记忆更新以及高通均值滤波后，输出标量激活值。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入序列与上一步隐藏激活拼接<br/>[u_t, a_{t-1}]"] --> B["稀疏输入选择与树突分支求和<br/>按通道加权并在 d_tree 分支内聚合"]
B --> C["内部非线性记忆状态演化<br/>MLP 提议生成与多尺度漏失积分更新"]
C --> D["线性读取与高通滤波稳态机制<br/>指数移动平均减除并经 ReLU 输出激活"]
D --> E["轻量读取层与线性分类输出<br/>前馈汇总时序表征并计算任务损失"]关键设计¶
1. 表达力漏失记忆神经元：融合多尺度时序记忆与树突非线性整合 经典人工神经元仅执行标量点积与静态激活，缺乏处理长短不同时间尺度动态的时空整合机制。本文采用并改进了表达力漏失记忆（ELM）神经元，每个神经元拥有 \(d_m\) 个漏失记忆单元，输入通道数为 \(d_s = d_{\text{tree}} \cdot d_{\text{branch}}\)。神经元在时间步 \(t\) 的处理分为五步级联： 首先，对输入向量 \(\boldsymbol{z}_t \in \mathbb{R}^{d_s}\) 进行突触加权并沿树突分支求和，得到分支特征 \(\boldsymbol{b}_t = c \cdot \operatorname{branch\_sum}(\boldsymbol{z}_t \odot \boldsymbol{w}_s) \in \mathbb{R}^{d_{\text{tree}}}\)； 随后，将分支特征与经指数衰减的上一时刻记忆状态拼接，送入具备 \(l_{\text{mlp}}\) 层隐藏层的多层感知机计算记忆更新提议： $\(\Delta \boldsymbol{m}_t = \tanh\left(\operatorname{MLP}_{\boldsymbol{w}_p}\left(\left[\boldsymbol{b}_t, \boldsymbol{\kappa}_m \odot \boldsymbol{m}_{t-1}\right]\right)\right) \in \mathbb{R}^{d_m}\)$ 接着，通过在对数空间等距固定的多尺度衰减因子 \(\boldsymbol{\kappa}_m = \exp(-1/\boldsymbol{\tau}_m)\) 对内部记忆单元进行漏失积分更新：\(\boldsymbol{m}_t = \boldsymbol{\kappa}_m \odot \boldsymbol{m}_{t-1} + (1 - \boldsymbol{\kappa}_\lambda) \odot \Delta \boldsymbol{m}_t\)，其中 \(\boldsymbol{\kappa}_\lambda = \exp(-\lambda / \boldsymbol{\tau}_m)\)。 这一内部循环机制赋予了单个神经元独立保存并融合微秒级与秒级跨度历史信息的能力，而神经元内部参数量 \(k_e = \#\boldsymbol{w}_p + \#\boldsymbol{w}_r\) 可通过调节记忆维度 \(d_m\) 与 MLP 规模精确控制。
2. 记忆读取的高通滤波机制：消除慢振荡发散并自适应居中激活 生物启发的多重循环网络在端到端反向传播训练中极易遭遇梯度爆炸、缓慢振荡累积或全网失活（死亡神经元）的数值不稳定性。为使模型在跨越几个数量级的宽度与复杂度下均能免于繁琐的超参微调，本文在神经元输出阶段引入了基于指数移动平均（EMA）的时序高通滤波器： $\(r_t = \kappa_r r_{t-1} + (1 - \kappa_r) \boldsymbol{w}_r^\top \boldsymbol{m}_t, \quad \kappa_r = \exp(-1/\tau_r)\)$ 最终神经元标量激活值为滤除慢漂移基线后的整流结果：\(a_t = \operatorname{ReLU}(b + \boldsymbol{w}_r^\top \boldsymbol{m}_t - r_t)\)。 该机制在数学上发挥了双向稳定作用：一方面，极短时间常数 \(\tau_r\) 的滤波直接滤除了容易随递归反馈放大导致发散的低频慢振荡，只允许高频突变信号穿透；另一方面，通过动态减除当前均值，无论内部状态均值漂移多远，只要膜电位存在微弱方差，输出信号就有恰好一半落在 0 阈值之上，在初始化与训练初期自发维持约 50% 的网络激活率，彻底解决了梯度消失与网络沉默问题。
3. 三维资源解耦与闭式有效表征信息模型：揭示信噪比与冗余的内在制约 为了从理论层面解释参数分配的权衡本质，模型将隐藏层总参数预算 \(P\) 显式拆解为三维自由度：神经元数量 \(N\)、单神经元内部复杂度 \(k_e\) 以及单神经元突触连接参数 \(k_c\)（满足 \(P = N(k_e + k_c)\)）。将整个神经网络层抽象为一个包含 \(N\) 个有噪通道的高斯信道系统，单个神经元输出包含任务有效信号 \(f_i\) 与逼近误差噪声 \(n_i\)。在信号协方差特征谱满足幂律衰减 \(\lambda_i = \sigma_f^2 i^{-\beta}\)、单神经元有效噪声随参数 \(k_e\) 呈幂律衰减直至噪声下限 \(\sigma_n^2(k_e) \propto \max((\gamma k_e)^{-\alpha}, q_\infty)\) 的四项公理化假设下，推导出了层级有效表征信息（Effective Representation Information）的解析形式： $\(I_{\text{rep}}(k_e) = \frac{1}{2} \sum_{i=1}^{P/(k_e+k_c)} \log_2\left(1 + \min\left((\gamma k_e)^\alpha, q_\infty^{-1}\right) \cdot i^{-\beta}\right)\)$ 该闭式解清晰揭示了参数分配的根本物理矛盾：过分追求神经元数量 \(N\)（极简神经元）会导致单神经元信噪比 \(s(k_e)\) 急剧劣化，大量通道被噪声淹没；而过分堆砌单神经元复杂度 \(k_e\)（超大神经元）不仅会触碰单神经元标量输出的不可约误差下限 \(q_\infty\)，还会因为神经元数量 \(N\) 骤减，受制于高阶信号模态的幂律截断损失，无法覆盖高维任务空间。
损失函数 / 训练策略¶
模型采用基于随时间反向传播（BPTT）的标准交叉熵损失进行端到端优化，结合两项正交的活性正则化项以确保大尺度网络与大容量神经元同时平稳演进： 1. 神经元内部 MLP 输出 L2 正则化：对各神经元时间平均的绝对 MLP 激活施加惩罚（权重为 \(10^{-5} \sim 10^{-2}\)），防止大 \(d_m\) 神经元过早陷入 \(\tanh\) 饱和区，确保梯度平滑回传； 2. 神经元激活群体 L1 正则化：对循环隐藏层的群体时间平均激活施加稀疏惩罚（权重为 \(10^{-3} \sim 1.0\)），促使网络在自发组织下由初始 50% 激活演变为约 10% 活跃度的生物级稀疏异步发放状态。 优化器在神经拟态任务上采用 Adamax，在语言建模任务上采用带有余弦退火和线性预热的 Adam，梯度裁剪阈值统一设为 1.0。
实验关键数据¶
主实验¶
论文在两类性质迥异的基准上进行了跨越三个数量级参数规模的全面验证：具有生物真实脉冲时空特性的神经拟态数据集 SHD-Adding（输入维度 \(700 \times 1000\)，19 分类数字累加任务）以及大规模自然字符级语言建模基准 Enwik8（100MB 维基百科序列，204 个字节词元）。
| 数据集 / 任务 | 评估指标 | 极简神经元基线 (大 \(N\), 小 \(k_e\)) | 最佳平衡配置 (最优 \(N, k_e, k_c\)) | 超大神经元配置 (小 \(N\), 大 \(k_e\)) | 相对优势 / 结论 |
|---|---|---|---|---|---|
| SHD-Adding (神经拟态语音加法) | 测试准确率 (Accuracy, %) ↑ | ~71.5% (\(d_m=2, N=280\)) | 82.8 ± 0.6% (\(d_m=5, N=96\)) | ~73.0% (\(d_m=15, N=18\)) | 中等复杂度神经元形成清晰最优峰值，逼近此前 SOTA (83%) |
| Enwik8 (低预算 \(P=0.6\text{M}\)) | 测试困惑度 (BPC) ↓ | 1.95 (\(d_m=5, N=1024\)) | 1.83 (\(d_m=15, N=512\)) | 1.88 (\(d_m=35, N=128\)) | 固定参数下呈现典型 U 型曲线，平衡点显著占优 |
| Enwik8 (中预算 \(P=2.4\text{M}\)) | 测试困惑度 (BPC) ↓ | 1.78 (\(d_m=10, N=2048\)) | 1.65 (\(d_m=25, N=1024\)) | 1.70 (\(d_m=50, N=256\)) | 随预算提升 4 倍，最优神经元复杂度由 \(d_m=15\) 迁移至 \(d_m=25\) |
| Enwik8 (高预算 \(P=9.6\text{M}\)) | 测试困惑度 (BPC) ↓ | 1.63 (\(d_m=15, N=4096\)) | 1.51 (\(d_m=40, N=2048\)) | 1.56 (\(d_m=70, N=512\)) | 更大预算同时青睐更多与更复杂的神经元 |
消融实验¶
针对架构关键组件、连接比例以及理论模型参数对应关系进行了系统性消融研究：
| 消融配置 / 变量 | 测试任务 | 关键指标表现 | 说明与物理机制 |
|---|---|---|---|
| 纯前馈神经元连接 (\(\rho_{\text{rec}} = 0\)) | Enwik8 | BPC 恶化 +0.10，最优 \(N\) 骤降 | 缺乏循环互联使网络无法协作表征，只能被迫增大单神经元复杂度 |
| 移除高通滤波机制 (\(\tau_r = \infty\)) | Enwik8 / SHD | 训练初期梯度剧烈震荡，发散率升高 | 慢频信号导致递归正反馈爆炸，缺乏去中心化导致大量神经元失活 |
| 弱化树突多层整合 (\(l_{\text{mlp}}=0\)) | Enwik8 | 相同参数量下 BPC 上升 +0.12 | 理论等价于降低 \(\alpha\)，曲线变平缓且最优解向更宽的网络偏移 |
| 突触连接稀疏度 (\(d_s / 50\) 缩减一半) | Enwik8 | 特征谱衰减指数 \(\beta\) 升高，BPC 恶化 | 减少突触互联削弱了神经元解耦能力，群体特征维度降低、冗余加剧 |
| 移除群体激活 L1 正则化 | Enwik8 | 活跃神经元比例由 10% 增至 50% | 稠密激活增加特征共线性，大宽度模型上带来轻微性能损耗 |
| 移除单神经元 MLP 输出 L2 正则化 | Enwik8 | 大 \(d_m\) 配置下性能剧烈崩塌 | 神经元内部高维更新极易在 \(\tanh\) 处梯度饱和导致优化停滞 |
关键发现¶
- 非平凡权衡与最优峰移：在固定参数预算下，单纯增加网络宽度（极度极简神经元）或单纯提升单个神经元复杂度（极少神经元）均会导致严重性能退化；随着总参数预算翻倍，最优解并不停留在原单体复杂度扩大网络，而是沿着 \(d_m \sim \sqrt{N_{\text{rec}}}\) 联合增长，即更大的预算要求同时拥有更多、且更复杂的神经元。
- 信息论模型的精准预测力：仅凭 4 个直观的宏观参数（表达力指数 \(\alpha\)、谱衰减指数 \(\beta\)、有效度比例 \(\gamma\)、噪声底 \(q_\infty\)），闭式表征信息理论在 Enwik8 的跨预算跨架构消融拟合中取得了高达 \(r = 0.98\) 的皮尔逊相关系数，精准预测了极值点随预算与连接度的迁移。
- 循环突触强于前馈突触：当总输入连接数超过 \(N_{\text{rec}} + d_{\text{inp}}\) 时，增加前馈突触迅速遭遇收益瓶颈，而增加神经元间循环突触连接能带来持续的性能增益，最优循环连接比例 \(\rho_{\text{rec}}\) 严格跟踪网络内部神经元在候选输入中的比例。
- 联合缩放的 Pareto 经验法则：在大规模网格搜索中，一个极其简洁的启发式配方 \(d_m \sim \sqrt{N_{\text{rec}}}, d_{\text{mlp}}=2d_m, d_{\text{tree}}=2d_{\text{mlp}}, d_{\text{branch}}=d_{\text{tree}}\) 在长达三个数量级的可训练参数跨度上紧密贴合了经验 Pareto 前沿。
亮点与洞察¶
- 跳出极简神经元的教条思维：本文首次在现代深度学习严谨的参数预算约束下，证明了皮层生物神经元之所以演化出复杂的树突计算与多尺度内部动态，并非单纯的生物演化包袱，而是信息论资源约束下的最优解。
- 高通均值滤波实现自稳态初始化：将时序高通滤波置于神经元激活输出端，巧妙利用减除基线让信号方差自动对称分布于整流阈值两侧，使网络在免于精细初始化工程的前提下天然具备 50% 起始活跃度并杜绝循环慢漂移。
- 可迁移的神经架构缩放法则：给出了类脑神经形态计算与循环状态空间架构在单体与群体规模间的最优分配准则，证明了对于复杂时序模式，单体神经元的结构化升维能够显著减小群体协调的自由度开销。
局限与展望¶
- 硬件执行开销脱节：当前以可训练参数量作为对齐预算，但在主流 GPU 密集张量加速架构上，具有复杂内部控制流与稀疏分支的神经元在吞吐量与显存占用上无法取得与参数量成比例的加速。
- 理论抽象了网络拓扑与动态演化：闭式信息论模型假设了稳态高斯信道与静态特征谱，并未显式刻画递归动力学中的混沌边缘、吸引子轨迹以及反向传播的时间展开机制。
- 未来方向：探索硬件友好的表达力神经元算子实现，并将该分配法则推广至包含选择性状态空间（如 Mamba）与混合专家系统（MoE）的大规模现代语言模型骨干中。
相关工作与启发¶
- vs. 经典点状循环网络 (LSTM / GRU / xLSTM)：传统 RNN 仅通过门控机制控制隐状态线性更新，神经元本质仍为点积单元；ELM Network 将单神经元升级为具备独立树突分支和多尺度内部动态的复杂处理器，在长程与非线性记忆上展现了更高参数效率。
- vs. 神经科学双层锥体神经元模型 (Poirazi et al. / Beniaguev et al.)：既有生物神经元建模工作仅关注单个神经元拟合膜电位记录的能力；本文首次将表达力神经元扩展为端到端可训练的深层/宽层递归网络，并构建了连接单体计算与网络群体表征的缩放理论。
- vs. 神经缩放定律 (Kaplan et al. / Chinchilla)：既有 Scaling Laws 仅调节模型层数、宽度、数据量与算力，将单体单元视为不变常数；本文开辟了“单神经元内部复杂度”这一全新缩放维度，填补了神经架构搜索中的理论空白。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统研究并形式化了循环网络中单神经元复杂度与网络规模的 Scaling Laws 权衡。
- 实验充分度: ⭐⭐⭐⭐⭐ 跨越从生物脉冲数据到大规模语言模型的三个数量级参数消融，理论与实验高度自洽。
- 写作质量: ⭐⭐⭐⭐⭐ 架构层次分明，理论推导严密闭合，图表设计极其精美且信息密度极高。
- 价值: ⭐⭐⭐⭐⭐ 为计算神经科学与高效人工神经网络架构设计搭建了坚实的规范化桥梁。