A Composite Activation Function for Learning Stable Binary Representations¶

会议: NeurIPS 2026
arXiv: 2605.11558
OpenReview: https://openreview.net/forum?id=w5Om6MXAow
代码: https://github.com/fangwei123456/Spike-Element-Wise-ResNet
领域: 模型压缩
关键词: 二值神经网络, 重尾激活函数, 脉冲神经网络, 隐式概念瓶颈模型, 梯度消失

一句话总结¶

本文提出由 Sigmoid 与 Tanh 复合构成的重尾激活函数（HTAF），通过参数解耦实现在原点附近保持大梯度以精准逼近 Heaviside 阶跃函数、同时在尾部区域保持极慢指数衰减以消除梯度消失，无需替代梯度即可端到端稳定训练 SNN、BNN 与深度阶跃网络，并衍生出免概念标注且不损精度的隐式概念瓶颈模型（ICBM）。

研究背景与动机¶

阶跃激活函数（Heaviside 激活函数）早在感知机时代就被提出，由于其输出严格离散（0 或 1），在脉冲神经网络（SNN）、二值神经网络（BNN）以及大语言模型极低比特量化（如 1-bit LLM）中展现出巨大的计算能效与内存节省优势。此外，二值化特征直接对应逻辑判别的有无，在模型内在可解释性方面具有天然的直观优势。然而，Heaviside 函数的处处导数为零（在跳跃点无导数），彻底阻断了标准的基于梯度的反向传播优化。

为了克服非微障碍，学术界主要发展了两条技术路线，但均存在严重的根本缺陷：其一是广泛采用的直通估计器（Straight-Through Estimator, STE）等替代梯度方法，在前向传播中执行阶跃量化而在反向传播中使用光滑代用梯度，这种前后向不匹配会引入严重的梯度偏差与次优优化；其二是用陡峭平滑函数（如大斜率的缩放 Sigmoid）直接替代阶跃函数，但随着原点处斜率增大，输入稍偏离原点就会迅速滑入饱和区，引发灾难性的梯度消失（Gradient Vanishing），导致深层网络训练过早停滞。

本文的切入角度是打破传统平滑逼近函数中“原点斜率与尾部衰减速率强绑定”的固有局限，通过双参数函数复合实现两者的正交调控。核心 idea：设计 Sigmoid 与双曲正切复合的重尾激活函数（HTAF），利用双参数正交解耦原点极大梯度逼近 Heaviside 与尾部慢衰减梯度流，在彻底摒弃替代梯度的情况下实现二值深度网络的稳定端到端训练与免标注概念瓶颈建模。

方法详解¶

整体框架¶

本文提出的方法围绕核心组件重尾激活函数（Heavy-Tailed Activation Function, HTAF）展开，旨在为所有依赖 Heaviside 阶跃特性的深度网络提供即插即用的平滑训练代理。训练阶段，前向传播与反向传播均统一采用可微的 HTAF 进行标准梯度下降；推理阶段，直接将 HTAF 无缝替换为原始 Heaviside 阶跃函数，从而保留纯单比特二值特征的高效性。在此基础上，本文进一步提出了隐式概念瓶颈模型（ICBM），在特征提取器末层利用 HTAF 诱导具有类别特异性与完全表达能力的二值概念向量，并借助大语言模型实现概念语义的自动解释。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据<br/>图像 / 样本特征"] --> B["复合重尾激活设计<br/>σ(α1 · ψ(α0 · x))"]
    B --> C["双参数解耦优化策略<br/>原点α0α1/4控制逼近 + 尾部α0控制衰减"]
    C --> D["端到端二值网络训练<br/>SNN / BNN / DHN 全微反向传播"]
    D --> E["隐式概念瓶颈与语义解译<br/>推理期转阶跃 + LLM双组类别对比标注"]
    E --> F["离散决策输出<br/>单比特高效推理 / 可解释二值概念"]

关键设计¶

1. 复合重尾激活设计：解耦原点陡度与尾部衰减速率 针对传统缩放 Sigmoid 在逼近阶跃函数时原点斜率与尾部饱和不可兼得的矛盾，本文将双曲正切函数 \(\psi(x) = \tanh(x) = \frac{\exp(x)-\exp(-x)}{\exp(x)+\exp(-x)}\) 与标准 Sigmoid 函数 \(\sigma(x) = \frac{1}{1+\exp(-x)}\) 进行复合，构造出带有两个正超参数 \(\alpha_0, \alpha_1 \in \mathbb{R}_+\) 的重尾激活函数：

\[\text{HTAF}(x|\alpha_0, \alpha_1) := \sigma(\alpha_1 \psi(\alpha_0 x))\]

当自变量 \(x\) 远离原点时，内层的双曲正切函数 \(\psi(\alpha_0 x)\) 迅速趋近于 \(\pm 1\)，使得外层 Sigmoid 的输入被截断并限制在 \([-\alpha_1, \alpha_1]\) 区间内，从而避免了外层函数因输入无穷发散而导致的剧烈二阶饱和。通过链式法则推导其一阶导数：

\[\frac{\partial \text{HTAF}(x|\alpha_0, \alpha_1)}{\partial x} = \alpha_0 \alpha_1 \cdot \sigma(\alpha_1 \psi(\alpha_0 x))(1 - \sigma(\alpha_1 \psi(\alpha_0 x))) \cdot (1 - \psi(\alpha_0 x)^2)\]

当输入绝对值 \(|x|\) 较大时，导数主要由双曲正切的衰减项 \(1-\psi(\alpha_0 x)^2 \approx 4\exp(-2\alpha_0 |x|)\) 主导，呈现出由参数 \(\alpha_0\) 独立控制的指数衰减行为 \(\frac{\partial \text{HTAF}}{\partial x} = C(\alpha_0, \alpha_1) \exp(-2\alpha_0 |x|)\)。而在原点处，导数恰好为 \(\left.\frac{\partial \text{HTAF}}{\partial x}\right|_{x=0} = \frac{\alpha_0 \alpha_1}{4}\)。这使得模型可以在保持乘积 \(\alpha_0 \alpha_1\) 足够大的前提下，独立调小 \(\alpha_0\) 以大幅延缓尾部梯度的衰减，成功化解了传统光滑逼近的梯度消失难题。

2. 双参数解耦优化策略：理论逼近界与极值收敛规律 为了保证在训练期间 HTAF 能够任意精度一致逼近 Heaviside 函数，同时在反向传播中保持健康的梯度流动，本文从理论上确立了参数选取的精确下界准则。命题 3.1 证明了对于任意给定的逼近误差容限 \(\epsilon \in (0, 1/2)\)，只要超参数满足：

\[\alpha_1 > \log\left(\frac{1-\epsilon}{\epsilon}\right) \quad \text{且} \quad \alpha_0 \ge \frac{1}{2\epsilon} \log\left(\frac{\alpha_1 + \log\left(\frac{1-\epsilon}{\epsilon}\right)}{\alpha_1 - \log\left(\frac{1-\epsilon}{\epsilon}\right)}\right)\]

则在原点小邻域之外（即 \(|x| \ge \epsilon\)），HTAF 与 Heaviside 阶跃函数的绝对误差一致受控于 \(\epsilon\) 以内。进一步地，定理 3.2 证明当 \(\alpha_1 \to \infty\) 时，临界下界满足 \(\lim_{\alpha_1 \to \infty} \alpha_1 \underline{\alpha}_0(\alpha_1) = \frac{1}{\epsilon}\log\left(\frac{1-\epsilon}{\epsilon}\right)\)。例如当 \(\epsilon=0.1\) 时，极限乘积收敛于 \(10\log(9) \approx 22\)。由此确立了实践中的核心超参调优法则：在维持乘积 \(\alpha_0 \alpha_1 \approx 22\) 的流形上，选取较小的 \(\alpha_0\)（如 \(\alpha_0 \in [0.5, 3]\)）与较大的 \(\alpha_1\)（如 \(\alpha_1 \in [7.3, 44]\)），既精准逼近 Heaviside 阶跃特性，又确保尾部梯度衰减速度显著慢于缩放 Sigmoid，维持跨层反向传播的数值稳定性。

3. 端到端二值网络训练：无需替代梯度的统一优化范式 针对脉冲神经网络（SNN）、二值神经网络（BNN）与深度阶跃网络（DHN）因梯度不可导而长期依赖 STE 的顽疾，本文建立了统一的前后向一致训练流程。在网络前向与反向传播中，直接使用 HTAF 替换所有的 Heaviside 激活层，使得整个网络成为光滑、处处可微的端到端系统，能够直接使用标准 Adam 或 SGD 优化器进行更新。待模型训练收敛后，在推理阶段直接将 HTAF 原地替换为严格的 Heaviside 阶跃函数 \(x \mapsto \mathbb{I}(x \ge 0)\)。理论上证明了在温和正则性条件下，单层与多层 HTAF 激活网络对真实 DHN 的近似期望误差严格受限于 \(O(\epsilon)\)；在实际推理时由于权重保持不变，网络能够直接享受单比特二进制运算的高速矩阵乘法优化与超低内存带宽占用。

4. 隐式概念瓶颈与语义解译：数据驱动的概念离散化与跨模态解读 针对现有概念瓶颈模型（CBM）严重依赖高成本人工概念标注或不可靠视觉语言模型预先标注的瓶颈，本文将 HTAF 拓展至特征表示解译，提出隐式概念瓶颈模型（ICBM）。对于任意图像分类模型 \(f(\mathbf{x}) = h(g(\mathbf{x}))\)，仅需将特征提取器 \(g(\mathbf{x})\) 的最后一层激活函数在训练时替换为 HTAF，并在推理时切为 Heaviside 函数，使得输出的潜在表征强制成为纯二值向量 \(\mathbf{c} \in \{0, 1\}^N\)。由于 HTAF 优化稳定，模型不仅没有出现传统 CBM 的精度崩塌，反而自发形成了类内高度一致、类间高度分离的离散概念。在概念解释阶段，模型依据每个概念节点 \(j\) 在测试样本上的激活状态将类别标签划分为激活组 \(\mathcal{G}_{\text{act}}\) 与未激活组 \(\mathcal{G}_{\text{non}}\)，并输入给多模态大语言模型（如 GPT-5），通过对比提示自动总结出该神经元所捕捉的细粒度生态形态学、栖息地或外观特征语义。

损失函数 / 训练策略¶

在图像分类与基准任务中，端到端二值网络及 ICBM 均直接使用标准任务交叉熵损失进行优化，无需任何额外的二值化惩罚项或概念监督损失。对于 SNN，在 SEW-ResNet 架构上采用 Adam 优化器，学习率在 \(\{10^{-1}, 10^{-2}, 10^{-3}, 10^{-4}\}\) 中网格搜索，时间步长仅需设定为极小的 \(T=4\)；对于 BNN（Bi-Real Net）和 DHN（WideResNet），均直接在 CIFAR 与 ImageNet 子集上进行端到端优化。超参数选取方面，\(\alpha_0, \alpha_1\) 在候选集合 \(\{(0.1, 220), (0.5, 44), (1, 22), (2, 11), (3, 7.3), (5, 4.4)\}\) 中选择最佳组合，通常在 \((\alpha_0=1.5 \sim 3.0, \alpha_1=7.3 \sim 15.0)\) 附近取得最佳平衡，避免过小的 \(\alpha_0\) 引发数值病态。

实验关键数据¶

主实验¶

论文在脉冲神经网络（SNN）、二值神经网络（BNN）与深度阶跃网络（DHN）三大类离散网络上对比了 HTAF、经典替代梯度法（STE）与缩放 Sigmoid（SS），在 CIFAR-10 和 CIFAR-100 上取 5 次运行的平均准确率（%）：

模型架构	目标数据集	HTAF (本文)	STE (主流基线)	SS (缩放Sigmoid)	相对主流STE提升
SNN (SEW-ResNet)	CIFAR-10	91.0%	91.2%	90.6%	-0.2%
SNN (SEW-ResNet)	CIFAR-100	66.9%	63.9%	66.2%	+3.0%
BNN (Bi-Real Net)	CIFAR-10	75.8%	75.3%	60.6%	+0.5%
BNN (Bi-Real Net)	CIFAR-100	46.1%	45.2%	31.3%	+0.9%
DHN (WideResNet)	CIFAR-10	88.6%	83.3%	74.5%	+5.3%
DHN (WideResNet)	CIFAR-100	57.6%	56.7%	45.6%	+0.9%

消融实验¶

针对隐式概念瓶颈模型（ICBM），在各类主流连续骨干网络末层引入 HTAF 诱导完全二值化潜在表示，并在推理期强制使用 Heaviside 阶跃量化，测试其对预测精度的影响（5次实验均值）：

骨干网络	数据集	连续激活基线 (原版)	引入 HTAF (二值推理)	精度变化	说明
ResNet-18	CIFAR-10	94.6%	94.6%	+0.0%	精度完全无损保持
ResNet-18	CIFAR-100	80.0%	80.8%	+0.8%	二值化后反向正则化提升
ResNet-18	CUB-200	74.5%	74.8%	+0.3%	细粒度鸟类分类性能提升
ResNet-18	Tiny-ImageNet	72.1%	72.2%	+0.1%	大规模图像识别维持一致
WideResNet	CIFAR-10	95.7%	96.1%	+0.4%	二值概念表征精度占优
WideResNet	CIFAR-100	78.2%	79.5%	+1.3%	显著超越原连续模型
ViT-Base	CUB-200	87.1%	88.5%	+1.4%	注意力机制下兼具可解释性
ViT-Base	Tiny-ImageNet	86.7%	86.6%	-0.1%	维持持平表现

此外，在 SNN 与传统 ANN-to-SNN 转换方法对比中，ANN-to-SNN 在 CIFAR-10 上需要高达 \(T=200\) 时间步才能达到 92.1% 的准确率，单批次推理耗时 183 秒；而 HTAF 训练的 SNN 仅需 \(T=4\) 即可达到 91.0% 的准确率，推理耗时仅 3 秒，推理效率提升逾 60 倍。

关键发现¶

在 SNN、BNN 与 DHN 场景下，HTAF 表现均全面压制缩放 Sigmoid（SS）。在 CIFAR-10 上，SS 在 BNN 和 DHN 中分别大幅落后 15.2% 与 14.1%，梯度跟踪实验证实 SS 在第 1 层的梯度 \(L_2\) 范数迅速衰减至 \(10^{-5}\) 以下，证明梯度消失是阻碍平滑逼近训练的致命元凶。
HTAF 训练表现出优异的超参数容忍度：当 \(\alpha_0 \alpha_1 \approx 22\) 时，选取适度平衡的超参数（如 \(\alpha_0 \in [1, 3], \alpha_1 \in [7.3, 22]\)）能同时保证超 98% 的二值化率与最佳分类性能；过小的 \(\alpha_0 \le 0.05\) 会强行拉大 \(\alpha_1 \ge 500\)，导致原点二阶梯度爆炸进而引发数值不稳定。
在 ICBM 实验中，强制二值化不仅没有降低表征容量，反而在 CIFAR-100 与 CUB-200 上普遍取得 0.3%～1.4% 的准确率增长，证明离散二值瓶颈起到了强效的特征去噪与隐式正则化作用。

亮点与洞察¶

正交分离原点与尾部梯度特性：传统单参数光滑激活函数将原点逼近斜率与尾部饱和速度深度耦合，HTAF 巧妙利用 Sigmoid 外包 Tanh 复合形式，将原点斜率交由 \(\alpha_0 \alpha_1\) 决定，而尾部衰减率由 \(\alpha_0\) 单独控制，以极具解析美感的形式破解了二值逼近的梯度消失死局。
免概念标注的隐式概念发现：传统 CBM 陷入“人工标注昂贵、视觉语言模型粗标不可靠”的两难困境，ICBM 反其道而行之，让模型通过二值瓶颈自发聚类出判别概念，再借助多模态 LLM 进行后期语义反查，兼顾了分类性能、可解释性与部署通用性。
理论完备的统计与逼近界：文章不仅给出了 HTAF 逼近 Heaviside 的解析下界，还严格证明了 HTAF 深度网络对任意深层 ReLU 网络具有任意精度逼近能力，并在非参数回归设定下达成了近极小化极大最优收敛速率（near-minimax optimal rate），为新型激活函数提供了扎实的理论支柱。

局限与展望¶

梯度消失无法被绝对根除：虽然调小 \(\alpha_0\) 能够大幅放缓尾部衰减，但在层数极深（如未采用残差连接的 5 层以上全连接网络）且不使用 Batch Normalization 的极端场景下，累积链式相乘仍会出现梯度衰减，未来需要探索与动态残差缩放或自适应归一化层的结合。
概念瓶颈维度的超参选择机制尚不自适应：ICBM 中概念节点的数量目前沿用特征提取器的隐层维度，缺乏针对特定任务自适应剪枝或确定最优概念基底数量的理论指导准则。
大规模自回归生成的扩展待深入：尽管初步实验验证了在 LLaMA-2 与 Qwen 上微调深层 FFN 的有效性，但在超千亿参数模型的预训练阶段直接应用 HTAF 训练单比特激活的工程稳定性与扩展律仍有待进一步验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 构思精妙的复合重尾激活设计，理论解析优美且彻底打破二值训练对 STE 的依赖。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 SNN、BNN、DHN、ICBM、表格回归、大语言模型微调及多层梯度量化分析，论证极其详实。
写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨，结构推导环环相扣，从数学性质到工程落地过渡自然。
价值: ⭐⭐⭐⭐⭐ 为低比特网络微调、脉冲神经计算和内在可解释性学习提供了重要的基础理论与实用工具。