The Sign Code: The Hidden Binary Nature of Deep Networks¶

会议: NeurIPS 2026
arXiv: 2610.23616
OpenReview: https://openreview.net/forum?id=4WN4vV8RCR
论文: https://arxiv.org/abs/2610.23616
领域: 其他
关键词: 符号编码, 门控主导, 神经网络泛化, 边缘分解, 二进制决策

一句话总结¶

论文揭示了深度网络背后的离散二进制本质：对于所有保号激活函数（ReLU/SiLU/GELU/tanh），神经元激活可精确分解为符号与幅度两部分；在过参数化体系下，仅凭末层离散符号编码（Sign Code）构建的无权重最近邻分类器便足以匹敌完整网络精度，因果干预证明分类决策完全由符号路由主导而对幅度噪声高度免疫。

研究背景与动机¶

经典深度学习理论中，ReLU 神经网络因其分段线性特性而拥有清晰的组合几何解释：每个隐藏层神经元由超平面划分输入空间，激活模式指示样本落在哪个多胞形线性区域内，进而催生了线性区域计数、样条解释和基于激活路径的容量控制理论。然而，现代前沿架构普遍采用平滑非线性函数（如 SiLU/Swish、GELU）或双曲正切（tanh），这些激活函数不再具备严格的分段线性结构，导致围绕 ReLU 门控建立的传统离散几何分析工具陷入失效窘境，理论界不得不将关注点重新退回连续权重范数、损失曲面平坦度或神经崩溃等连续表征视角。

这一现状背后的核心矛盾在于：连续权重空间与平滑激活虽然阻断了显式分段线性划分，但并未消除神经元对特征空间超平面两侧的选择性偏好。对于任何保号激活函数，输出值在穿过零点时依然发生离散的符号跳变。学术界面临的关键困惑在于：现代网络在复杂分类任务中的卓越泛化能力，究竟主要依赖于激活值的连续精确幅度（Magnitude），还是深藏于神经元激活超平面两侧的离散二进制路由模式（Sign Code）？如果分类信号本质上被离散符号编码承载，那么持续在连续参数空间寻找泛化解释就可能错失了最自然的分析单元。

针对这一核心问题，本文从保号激活函数的符号-幅度精确分解切入，系统考察了离散符号编码在表征充分性、因果主导性以及泛化几何上的角色。核心 idea：将网络神经元输出严格拆解为二元符号与非负幅度两个正交通道，证明在过参数化机制下分类计算被离散符号编码完全主导，幅度残差随网络宽度呈 $\sqrt{d}$ 均值化衰减，同类样本自发凝聚于连贯的汉明符号邻域中。

方法详解¶

整体框架¶

本文提出的分析体系围绕深度前馈网络、残差网络（ResNet）及视觉 Transformer（ViT）展开。对于任意采用保号激活函数 $\varphi$ 的网络，每层神经元前激活 $z_j^{(\ell)} = \mathbf{w}_j^\top \mathbf{h}^{(\ell-1)} + b_j$ 与后激活 $h_j^{(\ell)} = \varphi(z_j^{(\ell)})$ 均可严格分解为二元符号 $S_j^{(\ell)} \in \{-1, +1\}$ 和非负幅度 $M_j^{(\ell)} = |h_j^{(\ell)}| \ge 0$。整体分析流程分为四个递进阶段：首先提取单层或全网络离散符号编码并验证其表征充分性；随后执行非对称的通道隔离因果干预；接着设计类内斥力正则化检验符号几何对泛化的必要性；最后通过规范规范（Canonical Gauge）与边缘分解给出过参数化下符号主导的严格理论证明。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本 x"] --> B["符号-幅度分解与符号编码提取<br/>h = S ⊙ M, 记录超平面路由"]
    B --> C["通道隔离因果干预<br/>符号翻转崩溃 vs 投影幅度随机化"]
    C --> D["类别连贯符号几何与类内斥力正则<br/>LOO 纯度与同类符号斥力损失"]
    D --> E["规范规范与门控主导证明<br/>条件均值分解与 √d 宽度抑制残差"]
    E --> F["分类决策输出<br/>二进制符号编码主导全模型泛化"]

关键设计¶

1. 符号-幅度分解与符号编码提取：解耦超平面二元路由与连续幅度位移 针对平滑激活函数缺乏分段线性几何工具的痛点，论文利用保号性质 $\text{sgn}(\varphi(z)) = \text{sgn}(z)$（对所有 $z \ne 0$ 成立，包括 ReLU、SiLU、GELU 和 tanh），将任意神经元输出表示为： $$h_j^{(\ell)}(\mathbf{x}) = S_j^{(\ell)}(\mathbf{x}) \cdot M_j^{(\ell)}(\mathbf{x}), \quad S_j^{(\ell)}(\mathbf{x}) = \text{sgn}(h_j^{(\ell)}(\mathbf{x})) \in \{-1, +1\}, \quad M_j^{(\ell)}(\mathbf{x}) = |h_j^{(\ell)}(\mathbf{x})| \ge 0$$ 全网各层符号拼接即构成网络符号编码 $\mathbf{S}(\mathbf{x}) \in \{-1, +1\}^D$。对于卷积层，采用 $2 \times 2$ 空间网格多数表决压缩空间维度；对于残差块，同时提取分支内隐藏符号 $\mathbf{S}_{\text{int}}$ 与残差相加后的块输出符号 $\mathbf{S}_{\text{out}}$。为检验符号编码的信息充分性，构建了仅依赖末层符号编码 $\mathbf{S}^{(L)}(\mathbf{x})$ 的无参数分类器 sign-$k$NN：在归一化汉明距离 $d_H(\mathbf{S}, \mathbf{S}') = \frac{1}{d_L}\sum_{j=1}^{d_L} \mathbf{1}[S_j \ne S_j']$ 下进行近邻投票。当模型进入过参数化区域时，sign-$k$NN 与全模型测试误差之差（符号间隙 $\Delta_{\text{sgn}}$）单调收敛至 0.03 以下。

2. 通道隔离因果干预：通过符号翻转与投影幅度随机化判定计算主导权 为证明符号编码并非模型前向计算的无关副产物，论文设计了两种非对称的通道隔离因果干预实验。干预 1（破坏路由、保留幅度）以概率 $\alpha \in [0, 1]$ 随机翻转各层神经元的符号位，同时严格保留其原始绝对幅度 $|-m| = |m|$，允许损坏信号向后自由传播；干预 2（破坏幅度、保留路由）首先在前向传播中缓存样本真实的各层符号编码 $\mathbf{S}^{(\ell)}(\mathbf{x})$，随后以概率 $\alpha$ 将神经元幅度替换为与输入无关的标准半高斯白噪声 $|\eta|$（$\eta \sim \mathcal{N}(0, 1)$），并在每一后续隐藏层投影强制恢复缓存的干净符号位，仅重新计算幅度。这种投影机制有效阻断了幅度噪声诱发次级符号翻转的级联效应。实验发现仅翻转 20% 符号位就会导致模型准确率断崖式跌落至随机猜测水平（~10%），而在 $\alpha = 1.0$（所有隐藏层幅度全部置换为纯随机噪声）时，ResNet-18 依然奇迹般地保持 93%~95% 的测试准确率。

3. 类别连贯符号几何与类内斥力正则：揭示同类符号聚集对泛化的因果必要性 针对符号编码如何支撑网络泛化能力的问题，论文提出了汉明空间下的留一法（Leave-One-Out, LOO）类别纯度指标 $\pi_k(\mathbf{x}_i) = \frac{1}{k}\sum_{j \in N_k^{\setminus i}(\mathbf{x}_i)} \mathbf{1}[y_j = y_i]$，发现高测试准确率模型均具备高度集中的同类符号近邻（Spearman 相关系数 $\rho = 0.834$）。为了建立因果联系，论文构造了类内符号斥力正则项 $\mathcal{L}_{\text{rep}}$，主动离散同类样本的路由重叠： $$\mathcal{L}_{\text{rep}} = \frac{1}{|\mathcal{P}|}\sum_{(i,j) \in \mathcal{P}} \left( \mathbf{g}(\mathbf{x}_i)^\top \mathbf{g}(\mathbf{x}_j) \right)^2, \quad \mathcal{P} = \{(i,j): i \ne j, y_i = y_j\}$$ 其中 $\mathbf{g}$ 为温度缩放的平滑门控代理（ReLU/SiLU/GELU 采用 Sigmoid 门控 $g_j = \sigma(z_j/\tau)$，tanh 采用 $g_j = \tanh(z_j/\tau)$）并经 $\ell_2$ 归一化。在联合损失 $\mathcal{L}_{\text{CE}} + \lambda(t)\mathcal{L}_{\text{rep}}$ 约束下，网络依然能够凭借庞大容量强行记忆所有训练数据（训练准确率 $\ge 97\%$），但同类样本在符号空间中被彻底打散，导致测试准确率暴跌至 ~40%，确证了类别连贯符号几何是泛化的必要前提。

4. 规范规范与门控主导证明：Logit 的 $\sqrt{d}$ 宽度均值化与深度投票偏置 为从数学上解释符号主导现象，论文基于最小均方误差（MMSE）估计选取条件均值 $\mu_j(s) = \mathbb{E}[M_j \mid S_j = s]$ 作为规范规范（Canonical Gauge），将类别 $c$ 的输出 logit 精确分解为仅取决于符号编码的纯符号分量 $\tilde{f}_c(\mathbf{x})$ 与幅度残差 $R_c(\mathbf{x})$： $$f_c(\mathbf{x}) = \underbrace{\sum_{j=1}^d w_{cj} S_j(\mathbf{x}) \mu_j(S_j(\mathbf{x})) + b_c}_{\tilde{f}_c(\mathbf{x}): \text{ 纯符号 logit}} + \underbrace{\sum_{j=1}^d w_{cj} S_j(\mathbf{x}) \left[ M_j(\mathbf{x}) - \mu_j(S_j(\mathbf{x})) \right]}_{R_c(\mathbf{x}): \text{ 幅度残差}}$$ 定义双类纯符号间隔 $\widetilde{M}_{a,c}(\mathbf{x}) = \tilde{f}_a(\mathbf{x}) - \tilde{f}_c(\mathbf{x})$ 与门控主导度得分 $Z_1(\mathbf{x}) = \min_{c \ne \hat{y}} \frac{|\widetilde{M}_{\hat{y},c}(\mathbf{x})|}{r_c(\mathbf{x})}$（其中 $r_c^2(\mathbf{x})$ 为条件残差二阶矩）。论文严格证明了门控主导定理（Theorem 6.1）：两分类器预测分歧率满足 $\varepsilon_1 \le (C-1) \mathbb{E}[Z_1^{-2}(\mathbf{x})]$。当残差方差受限时，门控主导度满足： $$Z_1(\mathbf{x}) \ge \left( \min_{c \ne \hat{y}} \frac{|m_c(\mathbf{x})|}{\bar{\sigma}_c(\mathbf{x})} \right) \sqrt{d}$$ 该式深刻揭示了过参数化模型的内在机制：网络深度负责在隐藏层逐层复合出对目标类有正向偏好倾向的平均单神经元投票偏置 $m_c > 0$（纯符号间隔随宽度 $d$ 呈 $\mathcal{O}(d)$ 线性放大），而网络宽度通过中心极限定理使非相关幅度残差涨落仅按 $\mathcal{O}(\sqrt{d})$ 缓慢增长，使得信噪比 $Z_1$ 随 $\sqrt{d}$ 爆发式提升，彻底压制幅度波动。此外，激活函数的不对称性偏移 $\bar{\delta} = d_L^{-1}\sum_j \frac{\mu_j(+1) - \mu_j(-1)}{\mu_j(+1) + \mu_j(-1)}$ 进一步解释了 SiLU/GELU 相比 tanh 能提供更宽符号间隔的物理机理。

损失函数 / 训练策略¶

基础模型采用交叉熵损失 $\mathcal{L}_{\text{CE}}$，优化器选用 SGD（动量 0.9，余弦退火学习率）或 AdamW。在符号几何因果验证实验中引入类内斥力损失，总目标函数定义为： $$\mathcal{L} = \mathcal{L}_{\text{CE}} + \lambda(t) \mathcal{L}_{\text{rep}}$$ 其中 $\lambda(t)$ 采用线性预热调度（前 50 个 epoch 权重为 0，随后在 200 个 epoch 内线性爬升至 $\lambda_0 = 500$），温度系数设定为 $\tau = 0.005$。模型最大训练 2500 epochs 且禁用早停，确保网络在类内符号排斥的强约束下仍有充分容量实现训练集过拟合拟合。

实验关键数据¶

主实验¶

论文在 MNIST、CIFAR-10、CIFAR-100 以及 SVHN 上对多达 540 个独立模型（覆盖 FFNN、ResNet-18、ViT，以及 ReLU、SiLU、GELU、tanh 四种激活函数）进行了全面评估。下表总结了过参数化状态下末层符号 sign-$k$NN（仅含二元符号位，无权重/无幅度/无 logit）与完整模型的测试准确率及符号间隙对比。

模型架构	激活函数	数据集	完整网络精度 (%)	Sign-$k$NN 精度 (%)	符号间隙 $\Delta_{\text{sgn}}$
FFNN (w=1024, d=6)	SiLU	CIFAR-10	58.42	57.18	0.0124
FFNN (w=1024, d=6)	GELU	CIFAR-10	58.15	56.90	0.0125
FFNN (w=1024, d=6)	ReLU	CIFAR-10	57.30	55.82	0.0148
FFNN (w=1024, d=6)	Tanh	CIFAR-10	56.70	55.45	0.0125
ResNet-18	SiLU	CIFAR-10	95.12	94.38	0.0074
ResNet-18	GELU	CIFAR-10	94.88	94.10	0.0078
ResNet-18	ReLU	CIFAR-10	94.65	93.85	0.0080
ResNet-18	Tanh	CIFAR-10	93.90	93.05	0.0085
ViT (w=256, d=6, h=8)	SiLU	CIFAR-10	79.45	78.20	0.0125
ViT (w=256, d=6, h=8)	GELU	CIFAR-10	79.10	77.92	0.0118
FFNN (w=1024, d=8)	SiLU	SVHN	82.60	80.90	0.0170

消融实验¶

论文设计了两个核心维度的关键实验：通道隔离因果干预评估（符号翻转 vs 投影幅度随机化）以及理论门控主导度 $Z_1$ 的跨激活函数诊断。

表 1：因果干预下模型测试性能衰减对比（CIFAR-10 / SVHN）

模型架构	激活函数	原始基线精度 (%)	符号翻转 ($\alpha = 0.2$)	投影幅度噪声化 ($\alpha = 1.0$)	表现说明
ResNet-18	SiLU	95.12	~10.0 (随机概率)	94.80	幅度全置换为随机高斯噪声几乎无损
ResNet-18	GELU	94.88	~10.0 (随机概率)	94.25	残差连接在投影下完美保留符号路由
ResNet-18	ReLU	94.65	~10.0 (随机概率)	93.60	符号翻转极其致命，幅度极度冗余
ResNet-18	Tanh	93.90	~10.0 (随机概率)	93.10	四类激活均呈现极度不对称的因果敏感性
FFNN	Tanh	80.20	~10.0 (随机概率)	78.15	奇函数无偶对称分量，符号完全主导
FFNN	SiLU	82.60	~10.0 (随机概率)	50.40	偶分量存在致 FFNN 幅度部分损失，但远高于翻转
FFNN	GELU	81.90	~10.0 (随机概率)	48.20	幅度破坏损失约为 34 百分点，仍远超符号崩溃
FFNN	ReLU	80.50	~10.0 (随机概率)	44.30	损失幅度与非线性函数偶分量大小严格吻合

表 2：SiLU 与 Tanh 在不同模型规模下的门控主导诊断指标对比（FFNN, CIFAR-10）

宽度 $w$	深度 $d$	SiLU 幅度不对称度 $\bar{\delta}$	SiLU 符号间隔 $\tilde{\gamma}$	SiLU 主导度 $Z_1$	Tanh 幅度不对称度 $\bar{\delta}$	Tanh 符号间隔 $\tilde{\gamma}$	Tanh 主导度 $Z_1$
64	6	0.94	1.46	~4.0	0.007	0.86	~0.6
64	12	0.93	1.44	~6.0	0.003	1.00	~0.5
256	6	0.86	1.40	~5.0	0.000	1.26	~0.6
256	12	0.71	2.53	~9.0	0.001	1.17	~0.5
1024	6	0.55	2.08	~7.0	0.001	0.98	~0.5
1024	12	0.41	3.01	~10.0	0.001	0.85	~0.5
4096	12	0.66	2.89	~10.0	0.000	0.95	~0.4

关键发现¶

离散符号编码表征充分性呈现清晰的相变边界：在浅层或极窄网络中，符号间隙 $\Delta_{\text{sgn}}$ 显著；而随着宽度与深度跨过特定相变界限，$\Delta_{\text{sgn}} < 0.03$ 在各架构与激活函数上普遍成立。这表明符号充分性并非架构先验，而是过参数化学习涌现出的统计规律。
符号通道与幅度通道具有不可逆转的因果非对称性：在所有测试模型中，仅破坏 20% 的符号路由就足以让残差网络和全连接网络彻底瘫痪；然而即使将全部各层幅度替换为完全无意义的独立高斯随机变量，只要投影锁定真实符号轨迹，ResNet 便几乎无损保留全部分类功能（保持 93%~95% 准确率）。
非线性偶分量解释了全连接网络对幅度噪声的敏感性梯度：激活函数的不对称性决定了幅度剥离后的性能保留度。奇函数 tanh 的输出完全受符号控制，在幅度随机化下几乎无性能下降；而具备正值偏置的 ReLU、GELU、SiLU 在点 $z=1$ 处的偶分量值分别为 0.50、0.34 和 0.23，精确对应了它们在 FFNN 下的精度衰减阶梯（ReLU 降 ~36 pp，GELU 降 ~34 pp，SiLU 降 ~32 pp）。
该现象与神经崩溃（Neural Collapse）正交：实测表明即便在未发生神经崩溃的欠训练阶段（$NC_1 > 1$，$NC_3 < 0.4$，最近类均值分类精度仅 60%~70%），汉明空间下的同类符号纯度早已接近饱和。符号编码机制早在连续特征收缩之前便已确立。

亮点与洞察¶

解构前向计算的因果支柱：跳出了传统将神经元输出视作不可分割标量的思维定势，巧妙地通过“投影幅度置换”证明了深度网络前向计算的核心是离散超平面决策树的级联，而非连续幅度的精密微调。
建立符号主导与宽度缩放的严格数学联结：通过提出条件均值规范（Canonical Gauge），不仅将 logit 分解为无偏的纯符号项与残差项，还给出了信噪比随宽度呈 $\sqrt{d}$ 缩放的严格下界，清晰阐明了过参数化为何会让模型表现得“如同纯二进制分类器”。
为 Transformer 门控激活函数的主导地位提供了理论解释：SiLU、SwiGLU 和 GELU 在现代大型语言模型中的压倒性优势，从符号编码视角得到了合理解释：其显著的正向幅度不对称性（$\bar{\delta} \gg 0$）能够内生地扩大符号间隔 $\tilde{\gamma}$，从而为离散二进制决策通道提供充沛的抗噪裕量。

局限与展望¶

理论推导局限于前馈网络与末层边缘：定理 6.1 的严格宽度缩放与门控主导证明基于前馈网络最后一层，尽管实验表明 ResNet 与 ViT 在因果干预下同样展现符号主导性，但残差跳连与多头自注意力的多层复合数学证明仍有待建立。
任务谱系仅覆盖小规模图像分类：核心实验主要在 CIFAR-10、CIFAR-100、SVHN 和 MNIST 上完成。该二进制符号编码主导规律是否能完整推广至大规模自回归语言模型生成任务、多模态对比学习或连续回归预测，尚缺乏直接验证。
计算复杂度与离散哈希化未来工作：既然模型分类本质依赖末层离散二进制编码，未来可进一步探索在训练中直接优化符号码本，将全精度浮点计算直接编译为超低功耗的硬件汉明查找表（LUT）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙跳出连续权重与欧氏特征分析定势，在平滑激活函数上建立了普适的符号-幅度因果解耦框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 540+ 个跨架构、跨激活函数、跨尺度的模型，包含无参数 kNN、投影噪声干预、类内斥力破坏等多重严密因果实验。
写作质量: ⭐⭐⭐⭐⭐ 叙述流畅生动，理论推导严密自洽，直觉阐述与数学定理解释相得益彰。
价值: ⭐⭐⭐⭐⭐ 为深度学习过参数化泛化本质提供了全新范式，对模型离散化量化、可解释性及高效推理架构设计具有重大启示。