Beyond Low-Pass Dynamics: Frequency-Selective Spiking Reservoirs with Resonant Neurons¶
会议: NeurIPS2026
arXiv: 2610.37906
代码: https://github.com/AuroraMicheli/HRF-Res
领域: 其他
关键词: 脉冲神经网络、储层计算、谐振积分发放神经元、频域选择性、事件驱动推理
一句话总结¶
本文针对脉冲储层计算（LSM）长期依赖 LIF 神经元导致的低通滤波缺陷，提出采用具有内生振荡特性的谐波谐振发放（HRF）神经元构建频域选择性储层 HRF-Res，在保留极低功耗事件驱动推理的同时大幅增强频域表征与分类能力。
研究背景与动机¶
在工业振动监测、事件相机视觉和神经形态音频等边缘端时序传感处理任务中，系统既需要极高的训练与计算效率，又受限于极低的功耗预算。传统循环网络（LSTM、GRU）和 Transformer 依赖沿时间反向传播（BPTT）进行密集梯度训练，且在推理时每个时间步都执行全量矩阵运算，能耗随模型规模膨胀而非随输入活动缩放，无法适配极度稀疏的边缘事件驱动场景。储层计算（RC / 液体状态机 LSM）通过冻结循环储层的随机连接、仅优化输出线性读出层，从根本上消除了 BPTT 的昂贵训练开销；而脉冲神经网络（SNN）基于离散脉冲驱动的事件计算机制，使得推理功耗与发放率直接挂钩，天然适配神经形态芯片。
然而，现有的脉冲储层几乎全部建立在漏电积分发放（LIF）神经元之上。LIF 神经元在数学动力学上属于一阶漏电积分器，其膜电位随时间衰减并积分外部输入，对输入信号的高频剧烈波动具有强烈的平滑衰减效应，在本质上表现为低通滤波器。这种动力学特性导致储层只能表征“输入信号到达了多少量级”，却完全丧失了对“信号存在于哪些时间频率成分”的分辨能力。在具有多尺度时序结构或特定频带特征的实际信号处理任务中，这一缺陷构成了根本性的表征瓶颈。
生物神经回路中广泛存在的亚阈值膜电位谐振振荡现象表明，振荡动力学是神经系统进行时间频率编码的关键生理机制。本文正是基于这一洞察，在脉冲储层中引入具备固有谐振特性的谐振积分发放机制。核心 idea：用具备异质自然谐振频率与阻尼特性的谐波谐振发放（HRF）神经元替代传统低通 LIF 神经元构建分布式带通滤波器组储层 HRF-Res，使脉冲储层在未训练前即拥有频域选择性的判别表征，兼具高分类精度与比非脉冲振荡储层低达 19 倍的能效优势。
方法详解¶
整体框架¶
HRF-Res 整体遵循液体状态机（LSM）与储层计算范式，整个网络包含两个交互的神经元群体：一个用于将外部连续或事件输入转换为脉冲流的 LIF 编码器群体，以及一个由异质谐波谐振发放神经元构成的 HRF 振荡储层。所有输入矩阵、跨层前向矩阵和反馈连接矩阵在初始化后均保持固定且不参与训练，模型仅优化线性读出分类器。
系统的端到端计算流程如下：外部时序输入 \(\mathbf{u}_t\) 经由固定输入投影矩阵 \(\mathbf{U}\) 驱动 LIF 编码层；LIF 神经元积累膜电位并在越过阈值时向 HRF 储层发放离散脉冲 \(\mathbf{s}_t^{\text{\tiny LIF}}\)；HRF 神经元以二阶阻尼谐振子方式更新其连续内部速度 \(\mathbf{x}_t\) 与位置 \(\mathbf{y}_t\)，当振荡位置超出难失活自适应阈值时发放脉冲 \(\mathbf{s}_t^{\text{\tiny HRF}}\)；该脉冲不仅反馈回 LIF 编码层以维持复杂的循环非线性交互，而且其内部状态或脉冲活动被抽取为特征送入线性读出层完成分类。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["时序输入信号 u_t<br/>(时间序列/音频/事件相机流)"] --> Enc["LIF 编码层<br/>一阶积分与输入脉冲编码"]
Enc -->|"前向脉冲 s_t^LIF (矩阵 V)"| Res["异质 HRF 振荡储层<br/>二阶动力学带通滤波 (矩阵 W 反馈)"]
Res -->|"内部状态 y_t / 脉冲 s_t^HRF"| Readout["混合读出层<br/>Final / Mean / RMS / Combined"]
Readout --> Out["任务输出预测 r<br/>仅训练线性读出矩阵 W_o"]关键设计¶
1. 谐波谐振发放神经元：从低通积分到分布式带通滤波
传统 LIF 神经元膜电位遵循 \(\dot{v} = -v/\tau_m + I(t)\)，衰减项使其充当平滑低通滤波器。HRF 神经元则引入由恢复力主导的二阶阻尼简谐振子动力学，由速度变量 \(x\) 和膜位置变量 \(y\) 耦合构成： $\(\dot{x} = I(t) - \gamma y - \varepsilon x, \quad \dot{y} = x\)$ 其中刚度参数 \(\gamma > 0\) 决定神经元的固有共振角频率 \(\omega = \sqrt{\gamma}\)，阻尼系数 \(\varepsilon > 0\) 控制振荡衰减速率。恢复项 \(-\gamma y\) 使得神经元在接收到与自身固有频率同相位的输入时共振积聚能量，而衰减其他非谐振频段输入。整个储层赋予每个神经元独立的 \((\gamma_i, \varepsilon_i)\) 参数分布，形成覆盖宽广频谱的分布式“音叉组”带通滤波器阵列。当 \(y_i > \theta_{\text{\tiny RF}} + r_i\) 时触发脉冲，其中自适应不应期变量 \(r_i\) 随脉冲自增并指数衰减（\(\tau_{\text{ref}}=0.25\)），且位置状态 \(y\) 在发放后不被强制清零，完整保留了亚阈值振荡的物理相位连续性。
2. 双群体闭环循环拓扑与欧拉离散化更新
为实现离散时间数字仿真与动力学演化，模型采用步长为 \(\Delta t\) 的一阶欧拉积分将微分方程组离散化： $\(\mathbf{v}_{t+1} = \mathbf{v}_t + \Delta t \left(-\frac{\mathbf{v}_t}{\tau_m} + \mathbf{U}\mathbf{u}_t + \mathbf{W}\mathbf{s}_t^{\text{\tiny HRF}} + \mathbf{b}\right)\)$ $\(\mathbf{x}_{t+1} = \mathbf{x}_t + \Delta t \left(\mathbf{V}\mathbf{s}_t^{\text{\tiny LIF}} - \boldsymbol{\gamma} \odot \mathbf{y}_t - \boldsymbol{\varepsilon} \odot \mathbf{x}_t\right)\)$ $\(\mathbf{y}_{t+1} = \mathbf{y}_t + \Delta t \, \mathbf{x}_t\)$ 编码层与储层之间由稀疏或全连接矩阵 \(\mathbf{V}\)（LIF\(\to\)HRF）和缩放至目标谱半径 \(\rho\) 的致密反馈矩阵 \(\mathbf{W}\)（HRF\(\to\)LIF）连接。时间步长 \(\Delta t\) 作为核心动力学超参数独立参与验证集搜索，调节数字离散系统在特定时域数据尺度下的共振响应特性。
3. 多模式读出机制：兼顾神经形态硬件与软件部署
针对边缘端不同硬件平台的需求，HRF-Res 支持连续膜状态与离散脉冲两种读出范式。针对传统微处理器或混合信号平台，采用基于 HRF 振荡膜位置状态 \(\mathbf{y}_t\) 的读出策略，包括终端状态 \(\mathbf{y}_T\)、时间均值、均方根（RMS）和标准差（Std），以及由 RMS、Std 与 \(\mathbf{y}_T\) 拼接而成的 \(3N\) 维 Combined 联合特征向量；针对纯神经形态硬件（如 Intel Loihi），支持完全基于 HRF 脉冲发放率 \(\bar{\mathbf{s}}^{\text{\tiny HRF}}\) 的纯事件驱动读出。所有读出策略均仅通过一个凸优化的 \(\ell_2\) 正则化岭回归或逻辑回归分类器 \(\mathbf{r} = \mathbf{W}_o \mathbf{y}_T + \mathbf{b}_o\) 得到最终分类输出。
神经动力学与频域响应分析¶
为验证 HRF 储层在离散化和随机全循环耦合下是否仍然维持带通特性，论文进行了频域扫描与品质因数（Q-factor）测定：在输入端注入 30 组对数间隔的正弦波 \(x(t) = \sin(2\pi f \cdot t \cdot \Delta t)\)，通过稳态响应离散傅里叶变换（DFT）计算功率峰值对应的主共振频率 \(f^*\) 与半功率带宽 \(\Delta f_{-3\,\text{dB}}\)，定义品质因数 \(Q = f^* / \Delta f_{-3\,\text{dB}}\)。测试表明，HRF 神经元保持共振特性（\(Q > 0\)）的比例高达 62%–100%，平均品质因数显著高于 LIF（FordA 上达 4.6 vs 2.0）；且其最佳响应频率分布广泛覆盖各频段，而 LIF-Res 无论如何调节参数均崩塌收敛在极低频端，证实了 HRF 赋予储层的本质是分布式带通滤波机制。在未经任何读出训练的前提下，居中核对齐（CKA）特征对齐分析进一步证实 HRF-Res 的未训练内部表征对类标签的几何对齐度全面优于 LIF-Res（FordA 上提升高达 322%）。
实验关键数据¶
主实验¶
在跨越单变量时间序列（UCR 归档）、序列图像（sMNIST、psMNIST）、神经形态音频（SHD）和神经形态视觉事件流（DVS Gesture、N-MNIST）等 10 个代表性基准上，HRF-Res 与 LIF-Res 进行了完全严格的动力学控制变量对比（相同网络结构、超参数分别经过充分独立网格/随机搜索并经 5 次随机种子评测）。
| 数据集 | 输入模态 / 长度 | HRF-Res 准确率 (%) | LIF-Res 准确率 (%) | 准确率差异 | HRF-Res 能耗 (J) | LIF-Res 能耗 (J) |
|---|---|---|---|---|---|---|
| sMNIST | 序列图像 (\(T=784, N=800\)) | 93.64 ± 0.25 | 67.00 ± 1.04 | +26.64% | (1.68 ± 0.03)×10⁻⁴ | (2.35 ± 0.05)×10⁻⁴ |
| FordA | 单变量时序 (\(T=500, N=800\)) | 69.72 ± 0.68 | 67.15 ± 0.66 | +2.57% | (0.79 ± 0.02)×10⁻⁴ | (1.48 ± 0.04)×10⁻⁴ |
| SHD | 音频脉冲流 (\(T=250, N=3000\)) | 83.48 ± 0.44 | 72.95 ± 0.53 | +10.53% | (1.04 ± 0.02)×10⁻³ | (1.28 ± 0.21)×10⁻³ |
| DVS Gesture | 神经形态视觉 (\(T=200, N=3000\)) | 71.81 ± 1.59 | 73.48 ± 1.12 | -1.67% (无显著差异) | (1.27 ± 0.03)×10⁻³ | (0.95 ± 0.07)×10⁻³ |
此外，在与其他脉冲储层算法 SOTA 对比中（均采 5 次随机种子测试）： - SHD 语音识别：HRF-Res (\(N=6000\)) 达到 89.78 ± 0.35%，超越了使用 16,000 个神经元的 ELSM 基线 (89.30%)，神经元规模缩减近 3 倍； - UCR 时间序列：在 FordB (\(N=800\), 70.55% vs 64.32%)、Wafer (\(N=800\), 99.33% vs 98.85%) 和 Earthquakes (\(N=800\), 77.22% vs 71.94%) 上，HRF-Res 以数倍少于 Dey et al. 基线（其使用 2500–5000 神经元）的模型规模全面刷新 SOTA； - N-MNIST 神经形态手写数字：HRF-Res (\(N=3600\)) 达到 97.13 ± 0.12%，显著超过 SpiNNaker LSM 硬件实现的 94.43%。
消融实验：能效分析与读出模式消融¶
1. 脉冲稀疏化与非脉冲振荡储层（RON）能耗对比
基于 45nm CMOS 工艺标准能耗测算模型（\(E_{\text{MAC}}=4.6\text{ pJ}, E_{\text{AC}}=0.9\text{ pJ}\)，脉冲突触累加仅产生 SOPs 操作），HRF-Res 对比连续振荡储层网络 RON（\(N=800\)）：
| 数据集 | RON 准确率 (%) | RON 能耗 (\(10^{-4}\) J) | HRF-Res 准确率 (%) | HRF-Res 能耗 (\(10^{-4}\) J) | 推理能耗缩减比 |
|---|---|---|---|---|---|
| sMNIST | 95.44 ± 0.16 | 23.11 ± 0.69 | 93.64 ± 0.25 | 1.676 ± 0.042 | 13.8× |
| psMNIST | 91.33 ± 0.47 | 22.64 ± 0.68 | 87.96 ± 0.33 | 1.884 ± 0.046 | 12.0× |
| FordA | 73.15 ± 7.67 | 14.74 ± 0.44 | 69.72 ± 0.68 | 0.790 ± 0.015 | 18.7× |
| npCIFAR-10 | 38.50 ± 0.32 | 32.97 ± 0.99 | 33.57 ± 0.27 | 3.450 ± 1.080 | 9.6× |
即使计入每个时间步 \(\mathcal{O}(N)\) 固有的神经元内部状态更新 MAC 功耗（HRF 每步 3 MAC，LIF 每步 1 MAC），HRF-Res 相对连续振荡储层仍保持 9–17 倍的能耗断层优势。
2. 读出策略消融
| 读出策略类型 | 提取特征表示 | sMNIST (%) | FordA (%) | SHD (%) | DVS Gesture (%) |
|---|---|---|---|---|---|
| 终端膜位置 (Final) | \(\mathbf{y}_T\) | 93.64 | 69.72 | 83.48 | 71.81 |
| 时间均值 (Mean) | \(\frac{1}{T}\sum_t \mathbf{y}_t\) | 93.20 | 73.91 | 82.50 | 72.50 |
| 均方根 (RMS) | \(\sqrt{\frac{1}{T}\sum_t \mathbf{y}_t^2}\) | 93.30 | 72.80 | 83.10 | 72.10 |
| 联合特征 (Combined) | \([\text{RMS}, \text{Std}, \mathbf{y}_T] \in \mathbb{R}^{3N}\) | 94.10 | 74.50 | 84.90 | 73.50 |
| 纯脉冲发放率 (Spike) | \(\frac{1}{T}\sum_t \mathbf{s}_t^{\text{\tiny HRF}}\) | 89.50 | 66.80 | 78.20 | 68.40 |
关键发现¶
- 低通瓶颈的实证破除：在包含复杂高频振动与长程时序变化的 sMNIST 和 SHD 上，HRF-Res 相对 LIF 取得了 +26.6% 和 +10.5% 的压倒性增益，这直接归功于 HRF 神经元在循环网络中存活的高 Q 值共振带通响应，使储层在无需反向传播调整权重的条件下自发解耦不同频段的信号特征。
- 任务频域相关性假设验证：在 DVS Gesture 这类主要依赖手势空间运动轨迹、而较少具备全局周期频域稳态特征的事件视觉任务上，HRF-Res 与 LIF-Res 表现相近（71.81% vs 73.48%）。这说明频域选择性储层的增益幅度高度取决于任务标签与输入频域模式之间的内在耦合程度。
- 对加性噪声具备天然鲁棒性：鲁棒性消融显示，带通滤波抑制了带外随机噪声能量。在加性高斯噪声方差增加到 \(\sigma=0.5\) 时，HRF-Res 在 FordA 上仅损失 5.6%，而 LIF-Res 崩塌 14.4%；但在输入采样率剧烈缩放时，由于物理频带偏移脱离了储层固有频率响应区，HRF-Res 会出现性能骤降，表明其频带调谐具有高度特异性。
亮点与洞察¶
- 将连续动力学谐振子与事件驱动计算解耦融合：通过允许神经元在亚阈值下自由振荡（位置变量 \(y\) 越阈发放后不被重置清零，仅通过自适应阈值建立不应期），HRF-Res 在确保脉冲事件稀疏性的同时，完整保留了连续相位积累与共振滤波的高阶动力学。
- 无需训练的表征几何对齐优势：利用 CKA 度量发现，未经任何权重训练的随机 HRF 储层，其隐层状态流形与类别标签的聚类相似度相比 LIF 提升数倍。这意味着良好的神经动力学归纳偏置能够极大减轻后续线性分类器的拟合负担。
- 时序处理在边缘设备的高效范式迁移：展示了一种极具吸引力的边缘感知计算范式——采用极低成本的固定随机储层替代高昂的深度可塑性网络，仅通过匹配神经元局部物理动力学（振荡滤波）即可实现匹敌甚至超越大型复杂架构的时序判别能力。
局限与展望¶
- 硬件实测尚处代理估算阶段：论文报告的能耗数据基于 45nm CMOS 工艺能耗模型理论估算，尚未在真实的 Loihi-2 或 Dynap-CNN 等物理神经形态芯片上完成片上功耗量测。
- 固有频率分布对采样率漂移敏感：由于储层的刚度与阻尼分布在初始化后被固定，当外部环境采样频率发生变化（时间缩放）时，信号频谱偏离神经元共振中心，模型鲁棒性会迅速衰退，未来需要结合突触自适应可塑性或局部代理梯度微调共振参数 \((\gamma_i, \varepsilon_i)\)。
- 缺乏储层动力学理论解析界：目前主要依赖经验性的 DFT 频谱与 CKA 实验进行分析，关于 HRF 储层的渐近衰退记忆容量（Memory Capacity）、分离性质（Separation Property）和李雅普诺夫指数稳定域的完整数学刻画仍待补齐。
相关工作与启发¶
- vs LIF-based Liquid State Machines (ELSM / SpiNNaker LSM)：传统 LSM 采用单一或异质衰减常数的 LIF 积分器，本质为低通滤波器；HRF-Res 将单元升级为二阶谐振子，引入频域选择性，从而以少 3 倍的神经元数量在语音和时间序列任务上取得更高识别精度。
- vs Random Oscillators Network (RON)：RON 采用实数激活函数与连续简谐振子，在推理时依赖高能耗的密集 MAC 矩阵运算；HRF-Res 将其改造为带阈值脉冲的事件驱动系统，在准确率仅下降 1.8%–4.9% 的代价下换取了高达 9–19 倍的能效飞跃。
- vs 梯度训练型深度谐振脉冲网络 (Balanced RF / Dendritic RF)：前人工作主要将 RF 神经元用于多层前馈网络并通过替代梯度做全参数 BPTT 训练；HRF-Res 证明将谐振特性植入完全冻结的循环储层即足以激发卓越的时序判别力，免去了极耗内存的时间反向传播训练。
评分¶
- 新颖性: ⭐⭐⭐⭐ [将生物膜电位谐振与脉冲储层巧妙结合，系统建立了储层计算中的带通滤波动力学原理]
- 实验充分度: ⭐⭐⭐⭐⭐ [跨越 10 项基准、涵盖 4 大模态，并提供严格的动力学控制变量、Q-factor 频域分析与能效量化]
- 写作质量: ⭐⭐⭐⭐⭐ [动机明确、数学表述严谨、实验论证层层递进，消融与局限性分析诚实透彻]
- 价值: ⭐⭐⭐⭐ [为超低功耗边缘端时序传感计算和神经形态硬件提供了一种兼具高精度与极致能效的实用方案]