The Symmetries of Three-Layer ReLU Networks¶

会议: NeurIPS 2026
arXiv: 2605.18319
OpenReview: https://openreview.net/forum?id=jEWygfjB4I
论文: https://arxiv.org/abs/2605.18319
领域: 其他
关键词: ReLU网络、参数对称性、参数纤维、可识别性、热带多面体几何

一句话总结¶

本文基于热带多面体几何与平衡复形理论，首次完整刻画了三层瓶颈ReLU网络（$n_1 \le d$）在泛型参数下的参数纤维结构，揭示了由层复合引发的跨层连续平移与离散符号翻转新对称性，给出了符号模式决定的可识别性充要条件、多项式时间函数等价性判定算法，并阐明了这些对称性对梯度流局部守恒律的影响。

研究背景与动机¶

深度神经网络的参数化具有内在的冗余性：不同参数配置 $\theta$ 往往能够实现完全相同的输入-输出函数 $f_\theta$。这种实现同一函数的参数集合被称为参数纤维（Parameter Fiber）$\mathcal{S}(\theta) = \{\eta \mid f_\eta = f_\theta\}$。在单隐藏层浅层ReLU网络中，参数对称性已被较为透彻地研究（Petzka et al., 2020; Ramakrishnan, 2026; Dereich & Kassing, 2022），已知泛型参数下的纤维在神经元置换和正缩放（Permutation and Positive Scaling）意义下是平凡的。然而，在两层及以上隐藏层的深度架构中，复合机制（Layer Composition）带来了几何特征的折叠与隐藏，使得可识别性（Identifiability）呈现出高度非均匀性。

现有的理论探索虽然在非降维架构（Phuong & Lampert, 2020）或宽度不小于输入维度的开集上建立了局部可识别性（Rolnick & Kording, 2020; Grigsby et al., 2023; Stock & Gribonval, 2023），但一旦离开可识别集合，参数纤维在深层网络中究竟具备怎样的代数与几何拓扑结构、层与层之间如何相互抵消或耦合产生冗余，学术界此前完全缺乏系统性的刻画。更关键的矛盾在于：参数纤维的对称性不仅直接决定了网络参数的本质自由度，还在训练动力学中诱导能量或权重的守恒律，直接约束梯度流（Gradient Flow）的探索空间与隐式偏差；但深层网络中跨层交互诱导的纤维是否可以被局部化分解、能否在多项式时间内判定两组参数的函数等价性，一直悬而未决。

本文的切入角度是结合热带几何（Tropical Geometry）中的平衡加权多面体复形（Balanced Polyhedral Complex）与折弯超平面安排（Bent Hyperplane Arrangements），首先将单隐藏层网络在非负象限 $\mathbb{R}_{\ge 0}^d$ 上的纤维完全分解为有限个半代数集族，进而剖析后序隐藏层如何“锚定（Anchor）”或“隐藏（Hide）”前序超平面。核心 idea：三层瓶颈ReLU网络（$n_1 \le d$）的泛型参数纤维完全由第二层权重与偏置的符号模式决定；当几何超平面未被隐藏时第一层完全刚性，而当第一层超平面被第二层抑制时，将产生跨层连续平移对称性以及在 $n_2=1$ 时由有限阿贝尔群控制的离散符号翻转对称性，从而在瓶颈泛型域内实现纤维的完整半代数解析并导出多项式时间等价性判定算法。

方法详解¶

整体框架¶

本文构建了一个从单层非负输入到多层跨层复合的渐进分析几何框架。对于输入维度为 $d$、输出维度为 $m$ 的三层网络架构 $\mathcal{A} = (d, n_1, n_2, m)$，网络实现为连续分段线性（CPWL）映射 $f_\theta(x) = W^{(3)}[W^{(2)}[W^{(1)}x + b^{(1)}]_+ + b^{(2)}]_+ + b^{(3)}$。分析流程分为四个核心阶段： 1. 多面体超平面表示与正交象限单隐藏层纤维分类：利用梯度跳跃向量权重定义超平面表示，将非负象限上的映射拆解为非线性断点超平面定向选择与线性神经元的半代数非负矩阵分解； 2. 断点超平面可见性与锚定刚性定理：证明只要第一层超平面与第二层非线性活跃区相交，该超平面在整个纤维内即刚性锁定（Rigid）； 3. 隐藏超平面诱导的跨层连续平移与离散翻转对称性：当第二层神经元抑制第一层某超平面时，建立跨层参数补偿变换 $T_j(\theta)$ 与阿贝尔翻转群 $\mathcal{G}_j$； 4. 瓶颈架构完整纤维分类、可识别性与动力学守恒律：在 $n_1 \le d$ 瓶颈条件下综合非隐藏与隐藏情况，给出纤维闭式、多项式判定算法，并分析梯度流沿各对称轨道的局部守恒律与更深网络的不可局部化性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：网络架构 A=(d,n1,n2,m) 与参数 θ"] --> B["多面体超平面表示与正交象限单层分类<br/>提取断点超平面集 H、权重 c(i) 及基区仿射映射"]
    B --> C{"第二层权重偏置符号模式检查<br/>是否存在被隐藏的超平面 j？"}
    C -->|非隐藏参数: 第一层刚性锁定| D["瓶颈架构泛型纤维完整解析<br/>第一层固定，等价于正交象限单层映射纤维"]
    C -->|隐藏参数: 隐藏超平面 j| E["跨层连续平移与离散翻转对称性<br/>偏置补偿 Tj(θ) 及 n2=1 时的群 Gj 作用"]
    D --> F["可识别性充要判据与多项式时间等价性判定<br/>三类符号禁用条件，O(poly) 线性系统检验"]
    E --> F
    F --> G["深层不可局部化性与梯度流守恒律判别<br/>线性神经元诱导矩阵守恒量，隐藏对称性不守恒"]

关键设计¶

1. 多面体超平面表示与正交象限单隐藏层纤维分类：将局部断点与全局仿射分解为显式半代数族 在多层网络中，除首层外所有隐藏层的输入均为上一层的 ReLU 激活值，其值域天然位于非负正交象限 $\mathbb{R}_{\ge 0}^d$ 中。针对单隐藏层网络 $f: \mathbb{R}_{\ge 0}^d \to \mathbb{R}^m$，本文引入了“超平面表示”（Hyperplane Representation）四元组 $(\mathcal{H}, A_R, b_R, c)$，其中 $\mathcal{H}=\{H_1,\dots,H_k\}$ 是覆盖所有可见断点的超平面安排，$R$ 是无断点的一致全维参考区域且满足 $f(x)=A_R x + b_R$，$c: [k] \to \mathbb{R}^m$ 记录各断点超平面处的梯度跳跃跃度向量（Gradient Jump）。定理 1 保证该表示在全局仿射变换意义下唯一确定函数。

在泛型且极小（Minimal）的参数假设下，隐藏神经元严格划分为两组：$k$ 个非线性神经元与 $n-k$ 个在 $\mathbb{R}_{\ge 0}^d$ 上处处非负的线性神经元（$J = [n] \setminus [k]$）。参数纤维的冗余来源于两种机制： - 离散定向选择：每个非线性神经元可在两个法向量方向间抉择，由子集 $S \subseteq [k]$ 编码在参考区 $R$ 上处于激活状态的非线性神经元集合。 - 连续非负矩阵因式分解：一旦非线性神经元的定向 $S$ 发生改变，其在区域 $R$ 上造成的仿射线性偏差必须由其余线性神经元精确补偿： $$A_S := A_R + \sum_{i \in S} c(i) a_i^\top = W^{(2)}_{:, J} W^{(1)}_J, \quad b_S := b_R + \sum_{i \in S} c(i) t_i = W^{(2)}_{:, J} b^{(1)}_J + b^{(2)}$$ 其中 $(W_i^{(1)}, b_i^{(1)}) \ge 0$ 且 $\|W_i^{(1)}\|_2 = 1$。这一分解直接联系到矩阵的“非负列秩”（Nonnegative Column Rank, $\text{rank}_{\text{col},+}(A_S)$）。定理 6 证明了纤维分量 $V_S$ 的精确维数： - 当 $n - k < \min\{d, m\}$ 时，仅当 $S = S_\theta$ 时分量非空，维数为 $(n-k)^2$； - 当 $n - k = d \le m$ 时，对所有 $2^k$ 种子集 $S$，维数均为 $(n-k)^2$； - 当 $n - k = m < d$ 时，维数为 $(n-k)^2$ 当且仅当列锥 $\text{cone}(A_S)$ 尖锐（Pointed）； - 当 $n - k = m + 1 \le d$ 时，维数跃升为 $m^2 + m + d$。

2. 隐藏超平面诱导的跨层连续平移与离散符号翻转对称性：揭示层复合引入的非平凡冗余 在深层网络中，某些特征之所以在最终函数中消失，是因为后续层在几何上“掩盖”了前序层的超平面。定义 7 形式化了“隐藏”概念：若第二层的神经元 $i \in [n_2]$ 满足 $W_{i, j}^{(2)} > 0$、$W_{i, k}^{(2)} \le 0$（$\forall k \ne j$）且偏置 $b_i^{(2)} \le 0$，则称该神经元隐藏了第一层的第 $j$ 个超平面；若第二层所有神经元均满足此条件，则称 $\theta$ 隐藏了超平面 $j$。这触发了两种全新的跨层对称性： - 连续平移对称性（Continuous Translation Symmetry）：沿超平面 $j$ 的法向移动第一层偏置 $b_j^{(1)} \to b_j^{(1)} + t$，导致激活值 $a_j^{(1)}$ 产生平移；只要平移参数 $t$ 满足 $t \ge \max_{i \in [n_2]} \frac{b_i^{(2)}}{W_{ij}^{(2)}}$，通过令第二层偏置反向补偿 $b^{(2)} \to b^{(2)} - t (W_{:, j}^{(2)})^\top$，第二层各神经元的预激活差值满足 $W_{ij}^{(2)}([y+t]_+ - [y]_+ - t)$。在不同激活区域的细致四分法分析下，该差值在预激活为正时严格恒等于零，负值区域保持负激活，从而使输出函数保持严格不变（引理 8）。 - 离散符号翻转对称性（Discrete Sign-Flipping Symmetry）：当第二层仅由单神经元构成（$n_2 = 1$）且隐藏第 $j$ 个超平面时，网络还存在一个由有限阿贝尔群 $\mathcal{G}_j \cong (\mathbb{Z}_2)^{n_1 - 1}$ 诱导的离散对称性。对于任意子集 $I \subseteq [n_1] \setminus \{j\}$，定义矩阵： $$M_I = I_{n_1} - \sum_{k \in I} e_j e_k^\top - 2 \sum_{k \in I} e_k e_k^\top \in \mathbb{R}^{n_1 \times n_1}$$ 该变换不仅将集合 $I$ 中神经元的法向翻转（反号），同时将其线性投影分量转移累加至被隐藏的神经元 $j$ 的权重中。命题 9 严密证明了对于归一化参数，整个群轨道 $\mathcal{G}_j \cdot \theta$ 全部落在参数纤维 $\mathcal{S}(\theta)$ 之内。

3. 三层瓶颈架构泛型纤维的完整解析与多项式时间等价性判定：符号模式分类与多项式复杂度边界 在瓶颈网络设定下（$n_1 \le d$ 且参数泛型），第一层隐藏神经元的映射满射到非负象限 $\mathbb{R}_{\ge 0}^{n_1}$ 上。本文定理 2 首先建立了超平面的“锚定刚性（Anchoring Rigidity）”：若第一层超平面 $H$ 与第二层某个神经元的正激活区相交，则在全纤维内 $H$ 的位置和方向完全刚性不变。由此，瓶颈网络的泛型纤维被完全划分为两相： - 非隐藏情形（Non-Hiding）：第一层的所有参数在置换与正缩放意义下完全固定，整体纤维等价同构于由后两层在 $\mathbb{R}_{\ge 0}^{n_1}$ 上诱导的单隐藏层网络纤维 $\tilde{\mathcal{S}}(\theta')/\sim$（命题 10）。 - 隐藏情形（Hiding）：当 $n_2 \ge 2$ 时，由引理 45 可知，第二层在只有神经元 $j$ 激活的区域内至少形成两个平行的断点面，其法向严格锁定了第一层隐藏超平面的方向，因此纤维仅包含一维连续平移自由度 $T_j(\theta)$（命题 11）；当 $n_2 = 1$ 时，由于仅存在一个第二层折弯超平面，纤维由离散群与连续平移的半直积复合构成：$\tilde{\mathcal{S}}(\theta)/\sim = \bigcup_{I \subseteq [n_1]\setminus\{j\}} (T_j(M_I \cdot \theta) \cap \tilde{\Theta}_\mathcal{A})/\sim$（命题 12）。

由此，定理 13 得出了极为优美的“参数可识别性充要符号判据”：一个瓶颈泛型参数 $\theta$ 是不可识别的，当且仅当第二层扩增矩阵 $[W^{(2)}, b^{(2)}]$ 的行符号模式满足以下三者之一： 1. 存在一行全为负（产生死神经元）； 2. 存在一行全为正（产生恒为线性的神经元，引发正维数纤维）； 3. 存在一列 $j$ 全为正，且其余所有列和偏置全为负（满足隐藏超平面条件）。

基于该封闭分类，命题 14 提出了判定任意两组泛型参数是否实现同一函数的多项式时间算法：先通过行符号判定类别，若非隐藏则比较第一层超平面几何并验证单层加权复形；若隐藏则先对齐非隐藏超平面，并在 $O(1)$ 自由度的一维线性不等式系统上直接求解平移标量 $t$。

4. 深层不可局部化性与梯度流局部守恒律判别：连接动力学守恒与深层复杂性 论文进一步将纤维几何连接至训练优化动力学与更深网络架构。 - 守恒律分析：在参数空间中神经元集合 $J$ 保持线性激活的某个正交象限 $\mathcal{O}$ 内，由 $\text{GL}^+$ 群作用引发的连续对称性导出了沿梯度流 $\dot{\theta} = -\nabla_\theta \mathcal{L}$ 的局部矩阵守恒量（定理 17）： $$(W_{:, J}^{(\ell)})^\top W_{:, J}^{(\ell)} - W_J^{(\ell-1)} (W_J^{(\ell-1)})^\top - b_J^{(\ell-1)} (b_J^{(\ell-1)})^\top = \text{常数矩阵}$$ 相反，命题 52 证明了层复合产生的连续隐藏平移对称性 $T_j(\theta)$ 不诱导任何梯度流守恒律。这是因为该对称性要求 $\nabla_{W^{(2)}} C = 0$，但偏置变分却给出 $\frac{\partial C}{\partial b_i^{(2)}} = -W_{ij}^{(2)} \ne 0$，二阶混合偏导数连续性必然矛盾。 - 不可局部化性（Non-Localizability）：命题 16 构造了 4 层网络反例 $\mathcal{A} = (n_0, n_1, n_2, n_3, m)$，使得两两相邻层的复合映射 $f_2 \circ f_1$ 与 $f_3 \circ f_2$ 均是可识别的，但三层级联 $f_3 \circ f_2 \circ f_1$ 却不可识别（因为前两层的有界紧致像使第三层整体落入线性区）。这证明了深层 ReLU 网络的对称性是全局复合现象，无法通过逐对检查相邻层而局部化求解。

实验关键数据¶

主实验：三层瓶颈架构泛型参数纤维的完整拓扑与维数分类¶

论文的核心贡献是关于参数纤维结构、维数及可识别性边界的数学定理。下表汇总了在不同网络架构设定下，三层泛型瓶颈网络 $\mathcal{A}=(d, n_1, n_2, m)$（满足 $n_1 \le d$）中各类参数配置所对应的纤维结构、纤维维数与等价性判定的计算复杂度。

网络配置与参数类别	适用条件 / 符号模式特征	参数纤维 $\mathcal{S}(\theta)/\sim$ 的解析表达	纤维分量维数 $\dim(V)$	等价性判定复杂度
单层/非隐藏基线 (Petzka et al.)	无死/线性神经元，单层输入为 $\mathbb{R}^d$	置换与正缩放的离散平凡轨道	$0$ (离散点)	$O(d n \log n)$ 多项式时间
正交象限非隐藏 (本文定理 6-1)	$n_2 - k < \min\{n_1, m\}$，无隐藏超平面	单一分量 $K_{S_\theta}$，第一层完全刚性锁定	$(n_2 - k)^2$	$O(\text{poly}(d, n_1, n_2, m))$
正交象限满维 (本文定理 6-2)	$n_2 - k = n_1 \le m$，无隐藏超平面	$2^k$ 个半代数分量 $\bigcup_{S \subseteq [k]} K_S$	$(n_2 - k)^2$	$O(\text{poly}(d, n_1, n_2, m))$
正交象限尖锐锥 (本文定理 6-3)	$n_2 - k = m < n_1$，$\text{cone}(A_S)$ 尖锐	满足尖锐条件的 $S$ 对应的有限个 $K_S$	$(n_2 - k)^2$	$O(\text{poly}(d, n_1, n_2, m))$
正交象限过完备 (本文定理 6-4)	$n_2 - k = m + 1 \le n_1$	所有 $2^k$ 个子集 $S$ 对应的 $K_S$ 全非空	$m^2 + m + n_1$	$O(\text{poly}(d, n_1, n_2, m))$
隐藏超平面且 $n_2 \ge 2$ (本文命题 11)	第 $j$ 列为正，其余列及偏置为负	连续平移射线族 $T_j(\theta) \cap \tilde{\Theta}_\mathcal{A}$	$1$ (一维射线)	$O(\text{poly}(d, n_1, n_2, m))$
隐藏超平面且 $n_2 = 1$ (本文命题 12)	单神经元第二层，隐藏第 $j$ 个超平面	阿贝尔群作用与平移交织 $\bigcup_{I} T_j(M_I \cdot \theta)$	$1$ (共 $2^{n_1-1}$ 条一维射线)	$O(\text{poly}(d, n_1, n_2, m))$

理论性质对比与可识别性体积消融分析¶

下表对比了各对称性机制在参数空间所占体积占比（推论 15）、是否诱导梯度流局部守恒律，以及超越瓶颈架构或放弃泛型性后的复杂度跳变（附录 G）。

对称性机制 / 问题设定	几何表现机制	理论体积占比（或测度界限）	是否诱导梯度流守恒律	判定问题计算复杂度
全网络可识别参数集 $\mathcal{I}$	第二层符号模式排除全正、全负及隐藏列	$[1 - n_2 2^{-n_1} - n_1 2^{-n_2 n_1}, (1 - 2^{-(n_1+1)})^{n_2}]$	保持平凡尺度平衡	属于 $\text{P}$ (多项式时间)
死神经元 (Dead Neurons)	第二层某行全为负数	单行概率 $2^{-(n_1+1)}$，上界 $n_2 2^{-(n_1+1)}$	否（权重失活）	属于 $\text{P}$ (直接置零消去)
线性神经元 (Linear Neurons)	第二层某行全为正数	单行概率 $2^{-(n_1+1)}$，上界 $n_2 2^{-(n_1+1)}$	是（诱导矩阵平衡量）	属于 $\text{P}$ (线性空间因式分解)
跨层隐藏 (Hiding Hyperplane)	某列为正，其余非正且偏置非正	整体概率界 $\le n_1 2^{-n_1 n_2}$	否（二阶导数矛盾，命题 52）	属于 $\text{P}$ (一维线性系统)
非瓶颈架构 ($n_1 > d$, 附录 G.1)	第一层像为 $O(n_1^d)$ 个多胞体并集	泛型参数下开集非空	取决于线性子空间	coNP-hard (Multicolored Clique 归约)
非泛型瓶颈架构 (Non-generic, 附录 G.3)	超平面重合、退化或秩亏损	测度为零的代数闭集	存在退化多维平衡态	coNP-hard (Froese et al. 归约)

关键发现¶

可识别性占据绝对主导测度：随着网络宽度 $n_1, n_2$ 增长，不可识别参数在参数空间的相对体积以指数级衰减（$O(n_2 2^{-n_1} + n_1 2^{-n_1 n_2})$）。在绝大部分参数空间中，瓶颈三层网络是完全可识别的。
隐藏对称性打破了 Noether 守恒律常识：通常人们认为连续参数对称性必然对应梯度流守恒量（如神经机械学中的权重平衡量），但隐藏超平面诱导的一维连续平移对称性 $T_j(\theta)$ 是一个严格的反例——其切向量场无法表示为任何标量势函数的梯度，因而并不在梯度流下保持守恒。
可计算性边界极其陡峭：三层瓶颈架构的泛型参数等价性恰好处在多项式时间可解的“复杂度悬崖边缘”——一旦放宽瓶颈条件（$n_1 > d$）或者引入非泛型代数退化，函数等价性判定瞬间从 $\text{P}$ 跃升为 $\text{coNP-hard}$。

亮点与洞察¶

多面体几何与热带平衡复形的严密结合：巧妙利用平衡复形在断点处的权向量跳跃唯一确定 CPWL 函数的经典定理，将原本高维连续且非线性的神经网络参数等价性完全离散化为加权多面体复形的组合匹配问题。
跨层相互作用产生质变的新对称性：发现了单层网络中绝不可能出现的“跨层平移补偿”与“阿贝尔群离散翻转”。这表明深度网络的参数冗余绝非各层的简单笛卡尔积，而是层复合对几何结构掩盖的内生产物。
给出了非线性激活分析的“正交象限”理论基石：将后续隐藏层的分析严格建立在 $\mathbb{R}_{\ge 0}^d$ 域上的单层网络半代数因式分解上，打通了后续分析任意深度前馈网络分段行为的标准技术路径。

局限与展望¶

受限于三层瓶颈与泛型假设：作者在文末明确指出，论文的完整刻画依赖于 $n_1 \le d$（保证第一层像覆盖整个非负象限）以及泛型参数假设。对于过宽网络（$n_1 > d$）以及深层网络（$L \ge 3$），第一层的像变成高维多胞体构成的复杂组合体，存在指数级的激活胞腔。
复杂度硬度障碍：附录 G 指出宽网络或非泛型网络的等价性判定是 coNP-hard，这意味着想要将该完整分类直接推广至任意深度和任意宽度的通用网络，在计算复杂性理论上存在根本障碍。
未来方向：探索纤维的拓扑性质（如连通分支数）、在典型初始化分布下的退化概率，以及如何将该分析扩展至残差连接（ResNet）或注意机制架构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次打破了深层ReLU网络参数纤维缺乏系统描述的长期空白，发现了全新的跨层平移与离散翻转对称性。
实验充分度: ⭐⭐⭐⭐⭐ 作为纯数学与计算理论论文，定理证明体系严谨完备，涵盖显式纤维方程、维数定理、算法复杂度与硬度分析。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，几何图解直观，从浅层到深层、从可见到隐藏的推导层层递进。
价值: ⭐⭐⭐⭐⭐ 为深入理解深度学习损失曲面、隐式偏差、模型可识别性与逆向工程奠定了重要的理论基础。

网络配置与参数类别	适用条件 / 符号模式特征	参数纤维 \(\mathcal{S}(\theta)/\sim\) 的解析表达	纤维分量维数 \(\dim(V)\)	等价性判定复杂度
单层/非隐藏基线 (Petzka et al.)	无死/线性神经元，单层输入为 \(\mathbb{R}^d\)	置换与正缩放的离散平凡轨道	\(0\) (离散点)	\(O(d n \log n)\) 多项式时间
正交象限非隐藏 (本文定理 6-1)	\(n_2 - k < \min\{n_1, m\}\)，无隐藏超平面	单一分量 \(K_{S_\theta}\)，第一层完全刚性锁定	\((n_2 - k)^2\)	\(O(\text{poly}(d, n_1, n_2, m))\)
正交象限满维 (本文定理 6-2)	\(n_2 - k = n_1 \le m\)，无隐藏超平面	\(2^k\) 个半代数分量 \(\bigcup_{S \subseteq [k]} K_S\)	\((n_2 - k)^2\)	\(O(\text{poly}(d, n_1, n_2, m))\)
正交象限尖锐锥 (本文定理 6-3)	\(n_2 - k = m < n_1\)，\(\text{cone}(A_S)\) 尖锐	满足尖锐条件的 \(S\) 对应的有限个 \(K_S\)	\((n_2 - k)^2\)	\(O(\text{poly}(d, n_1, n_2, m))\)
正交象限过完备 (本文定理 6-4)	\(n_2 - k = m + 1 \le n_1\)	所有 \(2^k\) 个子集 \(S\) 对应的 \(K_S\) 全非空	\(m^2 + m + n_1\)	\(O(\text{poly}(d, n_1, n_2, m))\)
隐藏超平面且 \(n_2 \ge 2\) (本文命题 11)	第 \(j\) 列为正，其余列及偏置为负	连续平移射线族 \(T_j(\theta) \cap \tilde{\Theta}_\mathcal{A}\)	\(1\) (一维射线)	\(O(\text{poly}(d, n_1, n_2, m))\)
隐藏超平面且 \(n_2 = 1\) (本文命题 12)	单神经元第二层，隐藏第 \(j\) 个超平面	阿贝尔群作用与平移交织 \(\bigcup_{I} T_j(M_I \cdot \theta)\)	\(1\) (共 \(2^{n_1-1}\) 条一维射线)	\(O(\text{poly}(d, n_1, n_2, m))\)

对称性机制 / 问题设定	几何表现机制	理论体积占比（或测度界限）	是否诱导梯度流守恒律	判定问题计算复杂度
全网络可识别参数集 \(\mathcal{I}\)	第二层符号模式排除全正、全负及隐藏列	\([1 - n_2 2^{-n_1} - n_1 2^{-n_2 n_1}, (1 - 2^{-(n_1+1)})^{n_2}]\)	保持平凡尺度平衡	属于 \(\text{P}\) (多项式时间)
死神经元 (Dead Neurons)	第二层某行全为负数	单行概率 \(2^{-(n_1+1)}\)，上界 \(n_2 2^{-(n_1+1)}\)	否（权重失活）	属于 \(\text{P}\) (直接置零消去)
线性神经元 (Linear Neurons)	第二层某行全为正数	单行概率 \(2^{-(n_1+1)}\)，上界 \(n_2 2^{-(n_1+1)}\)	是（诱导矩阵平衡量）	属于 \(\text{P}\) (线性空间因式分解)
跨层隐藏 (Hiding Hyperplane)	某列为正，其余非正且偏置非正	整体概率界 \(\le n_1 2^{-n_1 n_2}\)	否（二阶导数矛盾，命题 52）	属于 \(\text{P}\) (一维线性系统)
非瓶颈架构 (\(n_1 > d\), 附录 G.1)	第一层像为 \(O(n_1^d)\) 个多胞体并集	泛型参数下开集非空	取决于线性子空间	coNP-hard (Multicolored Clique 归约)
非泛型瓶颈架构 (Non-generic, 附录 G.3)	超平面重合、退化或秩亏损	测度为零的代数闭集	存在退化多维平衡态	coNP-hard (Froese et al. 归约)