Selectivity and Shape in the Design of Forward-Forward Goodness Functions¶

会议: NeurIPS 2026
arXiv: 2604.13081
OpenReview: https://openreview.net/forum?id=vh5aoPi2ke
代码: https://anonymous.4open.science/r/ff-selectivity-shape
领域: 其他
关键词: 前向-前向算法, 适应度函数设计, 峰值选择性, 爆发度, 尺度不变统计量

一句话总结¶

针对前向-前向算法长期沿用平方和作为适应度函数导致信号稀释与退化的问题，本文提出适应度函数应衡量神经激活分布的“形态”而非总能量，通过选择性（top-k、entmax 加权能量）与形态敏感型（基于超额峰度的爆发度及中心矩）函数，在 Fashion-MNIST 与多数据集上取得了最高 +72pp 的显著性能跃升。

研究背景与动机¶

前向-前向算法（Forward-Forward Algorithm, FF）由 Hinton 于 2022 年提出，其核心目标是用局部的、逐层的无反向传播学习机制替代传统的全局梯度反向传播。在标准的 FF 框架中，网络层无需构建全局计算图，而是针对正样本（真实标注标签嵌入）最大化局部“适应度”（goodness），针对负样本（错误伪标签嵌入）最小化适应度，从而独立完成参数更新。然而自该算法提出以来，学术界几乎所有后续改进与理论探索都默认沿用了 Hinton 最初设定的适应度函数形式——即神经激活值的平方和（Sum-of-Squares, SoS）。这种对局部优化目标的盲目继承，掩盖了局部学习准则中最本质的表征动力学问题。

这种对总能量测度依赖的核心矛盾在于：SoS 隐含假设所有神经元的数值大小对学习信号具有同等贡献，只要总激活幅度足够大便能实现类别判别。然而在深度神经网络中，前向激活天然呈现厚尾（heavy-tailed）分布，最具判别性的特征往往高度集中在极少数极端放电的峰值神经元中。当模型采用 GELU 或 Swish 等现代平滑激活函数时，大量非活性神经元会输出微小的非零数值，这些弥散的低幅度背景噪声会无节制地累加进 SoS 能量中，不仅严重稀释了正负样本之间的差异信号，更导致网络深度加深或神经元增多时优化崩溃。

本文从激活分布的几何形态切入，系统探索了适应度函数的设计空间，指出适应度函数的关键在于对激活“形态”（Shape）的敏感性而非总“能量”（Energy）。核心 idea：将前向-前向算法的适应度函数重构为仅度量峰值特征的选择性函数（top-k 与 entmax 加权能量）以及度量厚尾分布非高斯性的尺度不变形态函数（基于超额峰度的“爆发度”与广义中心矩），使局部层级学习自然演化为非高斯独立特征提取过程。

方法详解¶

整体框架¶

本文探讨的改进型前向-前向学习流水线包含两种样本流通道（标准输入拼接通道与分层解耦投射的 FFCL 通道），在特征前向传递时依次经历隐藏层特征变换、类别标签注入、形态敏感型适应度计算与局部目标函数更新，层间输出则进行 L2 归一化后向后级截断传递。整体流程通过引导各隐藏层专注于峰值神经元放电或重尾分布形态，迫使网络各层学到具有高信噪比与稀疏解耦性质的判别性表征。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本 x 与正负标签 y / y~"] --> B["前向特征变换与解耦标签注入<br/>生成正负激活表示 h+ 与 h-"]
    B --> C["形态敏感型适应度函数评估<br/>选择性聚焦或尺度不变矩统计"]
    C --> D["局部对比逻辑斯蒂损失反传<br/>独立更新当前层参数 θ_l"]
    D --> E["特征向量 L2 归一化与前向截断传播<br/>阻断层间全局反向传播链"]

关键设计¶

1. 选择性适应度函数：硬阈值筛选与自适应稀疏加权

传统平方和适应度计算对层内所有维度一视同仁，导致平滑激活函数产生的海量小幅度背景神经元冲淡了少数核心特征。为了在局部学习中引入类似生物皮层回路中的 k 赢者通吃（k-WTA）竞争抑制机制，作者提出了两类选择性适应度指标。第一类是硬性选择的 Top-$k$ 适应度，它仅统计前向激活向量 $\mathbf{h} \in \mathbb{R}^d$ 中激活值最大的前 $k$ 个神经元的平均放电强度，直接将占总数 $(d-k)$ 的低响应背景神经元彻底从梯度反馈中剔除（基准设置取 $k=\max(5, \lfloor 0.02d \rfloor)$）： $$g_{\text{top-}k}(\mathbf{h}) = \frac{1}{k} \sum_{i \in \mathcal{S}_k(\mathbf{h})} h_i, \quad \mathcal{S}_k(\mathbf{h}) = \text{argtop-}k(\mathbf{h})$$ 第二类则是利用 $\alpha$-entmax 变换构建的自适应稀疏加权能量函数。与 Softmax 输出全稠密概率分布不同，$\alpha$-entmax 能在单纯形上自适应生成精确包含零权重的稀疏概率向量 $\boldsymbol{\pi} = \text{entmax}_{\alpha}(\mathbf{h})$，其适应度计算形式为 $g_{\text{entmax}}(\mathbf{h}; \alpha) = \sum_{i=1}^d \pi_i h_i^2$。参数 $\alpha$ 实现了从稠密加权（$\alpha=1$）到硬稀疏加权（$\alpha=2$ 对应 Sparsemax）的平滑过渡，使网络能够针对不同输入自适应决定需要激活的核心神经元子集。

2. 爆发度与高阶矩适应度：尺度不变的非高斯形态度量

与仅关注局部极值的选择性函数不同，形态敏感型适应度的核心是通过高阶统计量表征整个放电分布的厚尾特性。作者提出利用超额峰度（Excess Kurtosis）来衡量激活模式的“爆发度”（Burstiness）： $$g_{\text{burst}}(\mathbf{h}) = \frac{\frac{1}{d} \sum_{i=1}^d (h_i - \mu)^4}{\left[ \frac{1}{d} \sum_{i=1}^d (h_i - \mu)^2 \right]^2} - 3$$ 其中 $\mu = \frac{1}{d} \sum_i h_i$。该指标具备严格的尺度不变性，即对于任意正标量常数 $\alpha > 0$，恒有 $g_{\text{burst}}(\alpha \mathbf{h}) = g_{\text{burst}}(\mathbf{h})$。这一特性彻底摆脱了各隐藏层之间因放电幅度漂移而必须精密调节能量阈值的困扰。从独立成分分析（ICA）的视角来看，最大化峰度等价于驱动神经表征向极致的非高斯分布演化，从而迫使每个隐藏层在无全局梯度的前提下自动完成局部潜变量解耦。该方法可进一步推广至广义 $p$ 阶中心矩 $g_{\text{moment-}p}(\mathbf{h}) = \frac{\frac{1}{d} \sum_{i=1}^d (h_i - \mu)^p}{\left[ \frac{1}{d} \sum_{i=1}^d (h_i - \mu)^2 \right]^{p/2}} - \beta_p$（偶数阶时 $\beta_p = (p-1)!!$，奇数阶为 0），当 $p=4$ 时即退化为爆发度，而在更高阶数下则对极端响应赋予更强的判别权重。

3. 平滑激活、层归一化与逐层解耦标签注入的协同配合

适应度函数的形态敏感性要求底层激活必须具有足够连续且丰富的分布细节。传统的 ReLU 函数因硬截断产生大量离散零点，破坏了高阶矩的平滑微分；而平滑非线性函数（如 GELU、Swish）能提供细腻的非高斯尾部信息。为了消除前序层间幅度扰动对形态检测的干扰，作者在非线性变换前引入层归一化（LN-GELU、LN-Swish）。同时，框架结合了前向分层皮层环路（FFCL）的解耦标签注入机制：特征向量 $\mathbf{h}_\ell = \sigma(W_\ell^{\text{feat}} \mathbf{h}_{\ell-1})$ 保持无标注纯净表示向下传递，而类别假设仅作为局部加性旁路 $\tilde{\mathbf{h}}_\ell = \mathbf{h}_\ell + W_\ell^{\text{label}} \mathbf{y}_{\text{oh}}$ 参与适应度判定，从而避免了标签信息沿深度传播时污染底层特征空间。

损失函数 / 训练策略¶

对于网络中的每一层 $\ell \in \{1, \dots, L\}$，给定当前层注入正负标签后的激活表示 $\mathbf{h}_\ell^+$ 与 $\mathbf{h}_\ell^-$，模型通过极小化局部对比逻辑斯蒂损失独立优化层权重参数 $\theta_\ell$： $$\mathcal{L}_\ell = \mathbb{E}\left[ \log(1 + e^{\tau - g(\mathbf{h}_\ell^+)}) \right] + \mathbb{E}\left[ \log(1 + e^{g(\mathbf{h}_\ell^-) - \tau}) \right]$$ 其中 $\tau$ 为预设判别阈值（实验中固定设为 2.0）。训练过程采用 Adam 优化器（学习率 $10^{-3}$，批量大小 500，迭代 60 个 epoch），各层前向激活在跨层传播前均施加 L2 归一化，使得后层训练完全不依赖前层的反向传播梯度。在测试推理阶段，模型采用多遍前向与集成评分策略：针对每个候选类别 $c \in \{1, \dots, C\}$，将候选标签注入输入或各层旁路并前向执行，计算所有隐藏层适应度及其拼接激活适应度的加权累加和，最终通过最大化累积适应度输出预测类别 $\hat{y} = \arg\max_c \sum_\ell g(\mathbf{h}_\ell^{(c)})$。

实验关键数据¶

主实验¶

论文在标准 4 层全连接网络（$4 \times 2000$ 结构，约 14M 参数）上系统评测了不同适应度函数在 6 个基准数据集上的分类精度，基线为 Hinton 原始的 ReLU + 平方和（SoS）方案。

数据集	指标	本文最佳（FFCL + Burstiness / Moment）	原始 SoS 基线（ReLU）	性能提升
MNIST	Top-1 准确率 (%)	98.18 ± 0.08	88.76	+9.42pp
Fashion-MNIST	Top-1 准确率 (%)	89.04 (Moment p=6) / 88.41 (Burstiness)	56.41	+32.63pp
CIFAR-10	Top-1 准确率 (%)	55.58 (LN-Swish + Burstiness)	37.85	+17.73pp
USPS	Top-1 准确率 (%)	93.87 (LN-GELU + Burstiness)	21.87	+72.00pp
SVHN	Top-1 准确率 (%)	83.99 (LN-GELU + Burstiness)	32.25	+51.74pp
EMNIST-Letters	Top-1 准确率 (%)	91.62 (GELU + Burstiness)	69.91	+21.71pp

消融实验¶

下表整理了在 Fashion-MNIST（$4 \times 2000$）基准下不同适应度函数、标签注入路径与连续参数扫描的消融对比数据。

配置 / 适应度函数	标签通道	激活函数	准确率 (%)	说明
SoS (Hinton, 2022)	Standard	ReLU	56.41	原始基线，受稠密未激活噪声干扰严重
SoS	Standard	GELU	61.43	平滑激活导致 SoS 信号进一步弥散
Contrast top-k ($k=1\%$)	Standard	GELU	70.49	引入正负极值对比，过滤底噪
Top-k ($k=2\%$)	Standard	Swish	79.03	硬性剔除 98% 低响应神经元
LayerNorm-top-k	Standard	GELU	83.28	结合层归一化消除前向尺度缩放影响
Entmax-1.5 能量	Standard	GELU	85.08	自适应稀疏加权，优于硬阈值
Burstiness（超额峰度）	Standard	Swish	88.11	无参数尺度不变形态，远超稠密函数
SoS	FFCL	GELU	82.38	FFCL 逐层注入标签大幅挽救弱函数 (+20.95pp)
Entmax-1.5 能量	FFCL	GELU	87.12	逐层解耦标签进一步增强判别性 (+2.04pp)
Burstiness（超额峰度）	FFCL	GELU	88.41	相比标准通道微增 (+0.30pp)，证明其内在鲁棒性
Moment $p=2$	FFCL	GELU	10.00	仅使用归一化二阶矩，优化完全发散崩溃
Moment $p=6$	FFCL	GELU	89.04	适度的高阶中心矩取得全场最高精度
Moment $p=8$	FFCL	GELU	84.54	阶数过高导致梯度极值不稳定，性能回落

关键发现¶

倒 U 型响应曲线的普遍规律：在 top-$k$ 截断比例（$k$）、entmax 稀疏参数（$\alpha$）以及中心矩阶数（$p$）三个连续参数扫描轴上，模型性能均严格呈现“倒 U 型”轨迹。极端密集（如 $\alpha=1$ Softmax 或 $p=2$ 方差）会导致判别信号被完全稀释，而极端稀疏（$k \to 1$）或过高阶数（$p=8$）会引发严重的梯度数值不稳定。最佳性能始终稳定集中在中度稀疏与中高阶统计区间（$k \approx 2\% \sim 5\%$, $\alpha \approx 1.5$, $p \approx 5 \sim 6$）。
适应度函数与激活函数的强交互效应：ReLU 的硬截断机制在客观上扮演了粗糙的“非零选择器”，因此 SoS 在 ReLU 下表现尚可，但在换用 GELU/Swish 等现代平滑激活时因引入大面积微小背景噪声而大幅退化；相反，形态敏感型函数天然能够免疫这种低幅底噪，并且依赖平滑激活所保留的丰富尾部结构，配合前置层归一化（LN-GELU/LN-Swish）在复杂数据集上进一步取得显著增益。
架构扩展性反转：在将网络规模从 2 层 500 宽（$2 \times 500$）扩展到 4 层 2000 宽（$4 \times 2000$）时，SoS 的性能从 61.07% 反向恶化至 56.41%（下降 4.66pp），证实其弥散的能量累加在深层网络中会产生严重的噪声堆积；而选择性 top-k 函数则从 76.65% 提升至 79.03%，甚至其在小网络下的表现就直接超越了 4 倍参数量下的 SoS 模型。

亮点与洞察¶

从能量累加到形态感知的范式转换：本文打破了前向-前向算法提出以来对平方和适应度的路径依赖，确立了“局部学习必须度量激活形态而非总能量”的统一设计准则，使局部学习信号直接对齐到神经表征的峰值和重尾结构。
架起 FF 局部学习与独立成分分析（ICA）的理论桥梁：将基于超额峰度的爆发度引入适应度设计，在数学上证明了局部最大化适应度等价于执行一步非高斯独立成分提取，赋予了无梯度反传局部学习更深厚的信息论与神经科学解释力。
免参数与尺度不变性的工程优雅性：爆发度指标无需额外超参数调优，且天然具备缩放不变性，使得各层网络彻底摆脱了随深度加深而必须精细调整幅度阈值的顽疾，计算开销较原始 SoS 仅增加不足 2%。

局限与展望¶

复杂视觉任务扩展局限：当前所有实证验证均基于全连接架构及小尺寸图像分类任务（MNIST、CIFAR-10、SVHN 等），尚未在现代深层卷积神经网络或 Vision Transformer 等复杂架构及大规模视觉基准（如 ImageNet）上完成充分验证。
前向计算与推理延迟：虽然 FF 算法在训练阶段摆脱了反向传播内存缓存，但在测试推理阶段仍需要针对所有候选类别进行多次前向传播与适应度求和，当类别总数扩展到成百上千类时推理吞吐量会急剧下降。
更深层次的理论收敛性分析：尽管论文给出了基于 ICA 的定性类比与丰富的经验证据，但尚未给出形态敏感型适应度在非凸深度神经网络中逐层收敛性的严格形式化数学证明。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从根本上反思并重构了前向-前向算法的核心目标，提出的选择性与形态敏感性设计极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 13 种适应度函数、5 种激活、2 种标签流、6 个数据集及连续超参数扫描，多随机种子方差严密。
写作质量: ⭐⭐⭐⭐⭐ 概念论证层层递进，动机剖析精准有力，图表呈现详实自洽。
价值: ⭐⭐⭐⭐⭐ 为无反向传播局部学习与神经形态计算提供了关键的优化理论基石，具有极高的借鉴与落地价值。