Signal-Adaptive Trust Regions for Gradient-Free Optimization of Recurrent Spiking Neural Networks¶

会议: NeurIPS 2026
arXiv: 2601.21572
OpenReview: https://openreview.net/forum?id=ewv4YcAxRj
领域: 其他
关键词: 循环脉冲神经网络, 零阶优化, 置信域方法, 进化连接性, 神经形态计算

一句话总结¶

针对循环脉冲神经网络（RSNN）在无梯度强化学习中因有限种群噪声导致更新步长失控和边界崩溃的问题，本文提出了信号自适应置信域（SATR）更新律，通过将逐维度 KL 散度约束动态耦合至经验信号能量，在伯努利连接分布下推导出闭式自然梯度更新，并结合硬件级 Bitset 位运算加速，在 Brax 连续控制任务上实现了极高的训练稳定性与计算效率。

研究背景与动机¶

循环脉冲神经网络（RSNN）具备事件驱动的稀疏计算特性，在神经形态芯片（如 Intel Loihi、Tianjic 等）上展现出极高的能效潜力，被视为边缘计算与低功耗机器人连续控制极具前景的载体。然而，在复杂高维且长时程的强化学习（RL）控制任务中，训练 RSNN 一直面临严峻的信用分配挑战。基于梯度的主流方法依赖时间反向传播（BPTT）与替代梯度（Surrogate Gradient, SG），但脉冲发放的不可微性与长序列反向展开的高昂显存开销，迫使算法往往不得不进行截断，严重削弱了处理长程时间依赖的能力。

为绕过脉冲不可微性障碍，基于种群的无梯度策略搜索方法（如进化策略 ES 和进化连接性 EC）引起了广泛关注。其中，进化连接性（Evolving Connectivity, EC）将突触连接建模为服从伯努利分布的随机二值变量，通过采样优化分布参数，在高自由度连续控制任务上展现了出色的表达能力。然而，在实际有限种群预算下，基于蒙特卡洛采样的更新梯度存在极高的方差；更为致命的是，在低熵区域（即连接概率趋近于 0 或 1 的确定性边界处），伯努利分布的 Fisher 信息几何曲率急剧发散，微小的欧氏参数更新会引发分布空间内 KL 散度的灾难性巨震，导致策略瞬间崩溃。传统的置信域方法（如 TRPO）通常采用全局固定的标量 KL 预算，这隐含地假设了梯度的可靠性在训练全程均匀分布——在噪声占主导的弱信号阶段，固定的 KL 预算过于宽容，无法遏制随机噪声破坏分布；而在强信号阶段又过于保守，拖慢收敛。

面对这一两难困境，本文的核心 idea 是提出信号自适应置信域（Signal-Adaptive Trust Regions, SATR），将参数分布空间的逐维度 KL 散度约束动态耦合至经验信号能量（梯度范数平方），在信号明确时自适应扩大探索步长、在噪声占主导时自动将置信域收缩至近零，并在伯努利分布下推导出兼具边界自均衡特性的闭式自然梯度更新规则，同时结合二值状态 Bitset 位运算引擎大幅压缩实际训练墙上时钟时间。

方法详解¶

整体框架¶

SATR 的整体优化流程建立在参数分布空间策略搜索与二值脉冲执行的双层架构之上。算法维护一个独立的伯努利突触连接概率向量，在每代采样生成种群个体；随后个体在连续控制仿真环境中并行执行策略轨迹并收集未折现回报；接着通过零均值中心化秩次变换过滤奖励尺度的干扰并估计种群自然梯度；最终利用信号自适应置信域闭式更新概率分布，并借助高效 Bitset 引擎加速前向推理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["伯努利连接参数分布<br/>p_ρ(θ) = ∏ Bern(θ_i; ρ_i)"] --> B["种群并行采样与交互<br/>生成 N 个个体并在环境中 Rollout"]
    B --> C["排序适应度塑形<br/>中心化秩次变换计算 R̃^(n)"]
    C --> D["逐坐标信号自适应置信域<br/>D_KL(ρ_i || ρ_i + Δρ_i) ≤ δ g_i^2"]
    D --> E["伯努利几何自均衡闭式更新<br/>Δρ = η √(ρ ⊙ (1 - ρ)) ⊙ g"]
    E --> F["二值状态 Bitset 硬件级加速<br/>位运算 AND + Popcount 评估网络"]
    F -->|更新参数与迭代| A

关键设计¶

1. 逐坐标信号自适应置信域（SATR）：动态耦合信号能量与分布位移

传统置信域强化学习方法（如 TRPO）引入全局标量约束 $\frac{1}{2}\Delta\rho^\top F(\rho)\Delta\rho \le \delta$，仅能产生单一拉格朗日乘子，迫使所有参数共享相同的步长缩放比例。然而在基于种群的优化中，各维度的梯度可靠性存在显著异质性，且全局固定约束无法抵御有限采样下的随机噪声。由于突触连接分布采用独立因子化建模，整体 KL 散度在各维度上严格可加。SATR 抓住这一结构特性，将置信域约束解耦至每个独立坐标，并将其上界与各维度的经验信号能量 $g_i^2$ 严格绑定： $$\max_{\Delta\rho\in\mathbb{R}^d} g^\top \Delta\rho \quad \text{s.t.} \quad D_{\mathrm{KL}}(\rho_i \,\|\, \rho_i + \Delta\rho_i) \le \delta g_i^2, \quad \forall i$$ 其中 $g$ 为中心化秩次加权后的种群梯度估计。利用一维局部 Fisher 信息 $F_i(\rho_i)$ 的二阶近似 $\frac{1}{2} F_i(\rho_i) (\Delta\rho_i)^2 \le \delta g_i^2$，优化问题完全解耦，最优步长在约束边界处解析成立，直接给出解析更新向量： $$\Delta\rho_i^\star = \sqrt{\frac{2\delta}{F_i(\rho_i)}} g_i$$ 当种群估计方向出现共识时，信号能量 $g_i^2$ 显著放大，置信域自动拓宽以加速探索；反之，若采样更新被噪声主导，个体间的相互抵消使得 $g_i \to 0$，置信域将自动收缩至近零，从数学机制上杜绝了有限种群噪声引发的随机游走破坏。

2. 伯努利信息几何自均衡（SATR-EC）：消除确定性连接边界的曲率爆炸

在进化连接性（EC）框架中，二值连接变量 $\theta_i \in \{0, 1\}$ 服从伯努利分布 $\mathrm{Bern}(\rho_i)$，其对数似然梯度为 $\nabla_{\rho_i} \log p_{\rho}(\theta) = \frac{\theta_i - \rho_i}{\rho_i(1-\rho_i)}$。伯努利均值参数的 Fisher 信息为 $F_i(\rho_i) = \frac{1}{\rho_i(1-\rho_i)}$。若采用朴素欧氏梯度或传统自然梯度步长，当连接概率 $\rho_i$ 逼近确定性边界（0 或 1）时，分母 $\rho_i(1-\rho_i) \to 0$ 导致流形曲率发散，微小的参数扰动将产生发散的局部 KL 散度位移： $$D_{\mathrm{KL}}(p_{\rho} \,\|\, p_{\rho+\eta g}) \approx \frac{\eta^2}{2} \sum_{i=1}^d \frac{g_i^2}{\rho_i(1-\rho_i)}$$ 将 SATR 原理特化至伯努利族时，Fisher 信息的倒数平方根项与边界几何产生了完美的自均衡抵消。定义学习率 $\eta = \sqrt{2\delta}$，SATR-EC 导出的闭式更新步长为： $$\Delta\rho = \eta F(\rho)^{-1/2} g = \eta \sqrt{\rho \odot (1-\rho)} \odot g$$ 将其代入二阶局部 KL 散度展开式中可直接验证： $$D_{\mathrm{KL}}(p_\rho \,\|\, p_{\rho+\Delta\rho}) \approx \frac{1}{2}\sum_{i=1}^d \frac{\eta^2 \rho_i(1-\rho_i) g_i^2}{\rho_i(1-\rho_i)} = \frac{\eta^2}{2} \|g\|_2^2$$ 这一性质表明，实际产生的分布位移与各维度当前的参数值 $\rho_i$ 完全解耦，整体分布变化量仅取决于真实经验信号能量 $\|g\|_2^2$。系数 $\sqrt{\rho_i(1-\rho_i)}$ 在边界处自然趋近于 0，天然抑制了边界附近的更新步长，从而彻底消除了低熵低曲率区域的数值与分布不稳定性。

3. 二值状态 Bitset 硬件级加速：以位运算与 Popcount 替代浮点矩阵乘法

尽管 RSNN 在算法上免除了反向传播，但在 CPU/GPU 上使用传统稠密浮点矩阵乘法进行大量种群仿真依然面临严重的显存带宽瓶颈。SATR 充分挖掘 RSNN 的二值特性：首先，每个个体在单幕内的突触拓扑 $\theta^{(n)}$ 完全固定；其次，脉冲发放神经元的输出 $s_t$ 严格为 0 或 1。系统将连续 64 个输入神经元的二值状态与突触掩码压缩至 64 位无符号整型机器字（Machine Word）中，将突触整合计算转化为位与操作与硬件级置位计数指令（Popcount）： $$m_j^\top s_t = \sum_{b=1}^B \mathrm{popcount}(M_{j,b} \ \& \ S_{t,b})$$ 其中 $B = \lceil d_{\mathrm{in}} / 64 \rceil$。由于突触连接在单幕内静态不变，打包掩码只需在幕初初始化一次，每时间步仅需对动态脉冲进行实时打包。该实现大幅提升了高速缓存命中率并削减了显存带宽占用，使得前向交互的吞吐量提升高达 2.75 倍，且不改变任何数值数学逻辑。

损失函数 / 训练策略¶

算法采用全时程无折现回报作为目标函数（$\gamma = 1$），避免引入额外的人工折现偏置。对于大小为 $N$ 的采样种群 $\{\theta^{(n)}\}_{n=1}^N$，通过并行 Rollout 记录各轨迹真实回报 $R(\theta^{(n)})$。随后执行中心化秩次变换（Centered-Rank Fitness Shaping）： $$\tilde{R}^{(n)} = \frac{\mathrm{rank}(R(\theta^{(n)})) - 1}{N - 1} - \frac{1}{2}$$ 将适应度严格映射至 $[-0.5, 0.5]$ 的零均值区间，消除奖励尺度波动的影响。经验种群梯度计算为 $g = \frac{1}{N}\sum_{n=1}^N \tilde{R}^{(n)}(\theta^{(n)} - \rho)$。分布更新直接应用 SATR-EC 规则 $\rho \leftarrow \rho + \eta \sqrt{\rho \odot (1-\rho)} \odot g$，学习率设为 $\eta = 0.15$。为保障基本的数值边界安全，参数更新后施加极小的数值截断 $\rho \leftarrow \mathrm{clip}(\rho, \epsilon, 1-\epsilon)$（其中 $\epsilon = 10^{-3}$）。

实验关键数据¶

主实验¶

实验基于 Brax 物理引擎的高维连续控制基准（Humanoid 17-DoF、Hopper 3-DoF、Walker2d 6-DoF），重点评估算法在不同种群预算下的最终回报表现（3 个随机种子均值±标准差）。

任务	种群规模 (Pop)	ES-RSNN	EC-RSNN	SATR (本文)	相对 EC 提升
Humanoid (17-DoF)	8192	12544 ± 1175	12242 ± 1903	13860 ± 1107	+13.2%
	4096	10087 ± 1162	10319 ± 1196	13072 ± 941	+26.7%
	2048	8558 ± 659	9506 ± 939	12037 ± 278	+26.6%
	1024	6031 ± 993	7729 ± 1028	10520 ± 457	+36.1%
	512	922 ± 16	5462 ± 434	8928 ± 119	+63.5%
	256	823 ± 24	3155 ± 2508	6656 ± 1643	+110.9%
	128	750 ± 42	765 ± 36	4908 ± 32	+541.6%
Hopper (3-DoF)	8192	2505 ± 160	2451 ± 463	2735 ± 160	+11.6%
	4096	2557 ± 294	2350 ± 405	2665 ± 188	+13.4%
	2048	2260 ± 54	2273 ± 677	2588 ± 79	+13.9%
	1024	2096 ± 66	2175 ± 755	2473 ± 237	+13.7%
	512	1855 ± 56	2036 ± 329	2356 ± 138	+15.7%
	256	1625 ± 203	1875 ± 51	2238 ± 97	+19.4%
Walker2d (6-DoF)	4096	2891 ± 167	4605 ± 148	5143 ± 459	+11.7%
	2048	2925 ± 295	3372 ± 721	3856 ± 607	+14.4%
	1024	2259 ± 164	2656 ± 509	3139 ± 806	+18.2%
	512	2047 ± 295	2288 ± 616	2738 ± 298	+19.7%

消融实验¶

1. 固定置信域 (EC+TR) 与信号自适应置信域 (SATR) 的对比消融（Humanoid 任务）

方法	超参 $\delta \times \mathrm{param}$	Pop = 256	Pop = 512	Pop = 1024	说明
基线 EC	-	3155 ± 2508	5462 ± 434	7729 ± 1028	无置信域控制，小种群方差极大
EC+TR	3	-	3961 ± 1658	6832 ± 580	预算过紧，严重阻碍有效学习
EC+TR	10	-	5614 ± 529	7510 ± 1242	步长受限
EC+TR	30	2480 ± 1800	3738 ± 1670	8163 ± 865	大种群有效，小种群表现差
EC+TR	100	4259 ± 639	3690 ± 1617	7855 ± 980	表现随种群变化剧烈波动
EC+TR	300	4682 ± 263	6592 ± 1846	8122 ± 343	固定预算下的局部最优权衡
EC+TR	1000	923 ± 121	4918 ± 1691	6812 ± 1275	预算过宽，低种群完全崩溃
SATR (本文)	无需调参	6656 ± 1643	8928 ± 119	10520 ± 457	全种群规模全面大幅领先

2. Bitset 位运算加速引擎在 Humanoid 任务上的运行时测试（秒）

种群规模 (Pop)	原版稠密计算 (RSNN w/o bitset)	Bitset 加速后 (RSNN*)	加速比
512	5212 s	3168 s	1.64×
1024	6912 s	4178 s	1.65×
2048	15569 s	5645 s	2.75×
4096	26944 s	10431 s	2.58×
8192	51098 s	18668 s	2.74×

关键发现¶

有限种群规模下的抗崩塌鲁棒性：当种群规模缩减至有限极端场景（如 Pop=128 和 Pop=256）时，基线 ES 和 EC 几乎完全丧失控制能力（Humanoid 上 EC 从 12242 暴跌至 765，ES 暴跌至 750），而 SATR 依然能维持 4908 的有效步态回报（相对 EC 达到 6.4 倍性能保留）。这直接印证了信号能量调控能自适应冻结噪声步长。
固定置信域的脆弱性与局限：EC+TR 的消融清晰揭示，固定 KL 预算无法跨种群规模泛化。在 Pop=256 时最优的 $\delta$ 在 Pop=512 下严重阻碍收敛；过大的 $\delta$ 在低种群下导致策略崩溃（Pop=256 时回报仅 923）。SATR 无需针对不同计算预算调整超参，处处取得最优。
超越经典梯度与深度强化学习：相比先进替代梯度方法（SG-RSNN，含 SuperSpike、AbsBeta、DSigmoid），SATR 在 Humanoid 上全面占优；在同等墙上时钟训练时间匹配下，SATR 凭借二值脉冲网络取得了与强基线 PPO-LSTM 相当甚至更优的回报，同时模型仅占用 24 KB 内存（1-bit 权重，比 FP32 压缩 32 倍），理论芯片能耗降低 400× 至 3200×。

亮点与洞察¶

信息几何与信号能量的优雅结合：SATR 没有使用复杂的非线性优化求解器或回溯线搜索，而是巧妙将逐坐标 KL 约束与经验梯度模长解耦，不仅推导出简洁的闭式解，还从数学机制上使有效参数位移与边界曲率相互对消。
软硬件协同设计的闭环范式：不仅在算法上解决了零阶优化在低熵离散结构中的不稳定性，还利用离散二值权重的冷门优势定制了 Bitset 运算引擎，直接把脉冲神经网络的吞吐劣势逆转为 2.74 倍的系统加速。
低资源进化计算的破局思路：传统观念认为进化策略和黑盒优化必须依赖成千上万的大种群并行，SATR 证明通过严谨的信息几何步长自适应，百量级的小种群同样可以高质量求解高维复杂物理控制任务。

局限与展望¶

二值权重与拓扑优化的适用边界：Bitset 加速高度依赖于二值突触连接和固定符号，难以直接套用到任意连续高精度权重的复杂网络架构中。
物理真实神经形态芯片的实测验证：论文给出的 400×–3200× 超高能效比基于 Intel Loihi 的每操作理论功耗解析模型，尚未在真实物理芯片上进行实时连续闭环部署。
未来方向：探索将信号自适应原理拓展至连续高斯策略的协方差自适应更新中，或结合神经拟态事件相机的端到端机器人实物闭环控制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将信号能量归一化置信域与伯努利信息几何完美结合，推导出极具美感的闭式自然梯度更新]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖多维度连续控制任务、全种群规模对比、固定置信域全网格消融以及软硬件耗时与能耗详尽分析]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严密自洽，问题痛点剖析深刻，结构层层递进]
价值: ⭐⭐⭐⭐⭐ [显著降低了 RSNN 策略搜索对庞大计算资源的依赖，为超低功耗神经形态控制提供了极具实用价值的范式]