Most ReLU Networks Admit Identifiable Parameters¶

会议: NeurIPS 2026
arXiv: 2605.03601
OpenReview: https://openreview.net/forum?id=K82GYaldLY
领域: 优化/理论
关键词: 深度ReLU网络、参数可辨识性、函数维度、加权多面体复形、深度分离

一句话总结¶

本文引入加权多面体复形与依赖图框架，证明了所有输入与隐藏层宽至少为2的深度ReLU网络架构均存在参数可辨识的开集，彻底解决了该类架构的函数维度问题，并揭示出极小表示下非平凡冗余依然存在及基于层级刚性的通用深度分离。

研究背景与动机¶

深度神经网络的研究核心之一在于参数空间与其所实现的连续分段线性（CPWL）函数空间之间的映射几何关系。对于给定网络架构，实现映射将权重和偏置分配给实际计算出的预测函数。由于神经元置换对称性以及层间正缩放对称性等平凡对称性的存在，该实现映射本质上非单射。在商去此类平凡对称性后，一个关键的基础理论问题是参数是否具备可辨识性——即其在商空间中的纤维是否仅由单点构成。可辨识性直接决定了网络实际能表达的独立函数自由度（即函数维度），并深刻塑造了损失曲面几何形态与基于梯度的隐式正则化行为。

尽管先验研究在特定结构上取得了突破，但通用架构的可辨识性理论长期面临瓶颈。Phuong 与 Lampert（2020）仅对层宽单调递减的金字塔网络证明了通用参数间的可辨识性；Grigsby 等人（2023）与 Rolnick 和 Kording（2020）则依赖隐藏层宽不小于输入维度的强几何假设，且其依赖的反向工程理论往往仅在预设几何条件的狭窄参数子集内部成立，无法推广到无条件参数空间。更本质的困境在于，ReLU 激活函数在原点非微且在负半轴完全置零，导致实现映射的雅可比矩阵及其经验神经正切核（NTK）高度依赖局部半代数激活模式，使得刻画函数维度的极大秩变得极其困难。

在此背景下，学界长期悬而未决的根本矛盾在于：究竟哪些深度 ReLU 架构能达到预期的函数维度？非可辨识性是否仅仅源于架构非极小（即可被更小子网络无损替代）？本文的核心 idea 是：将网络内部预激活符号划分的潜在几何（规范多面体复形）与最终函数真正外显的非线性几何（断点复形及其热带权重）显式解耦，通过多面体板层构建在通用位置消除梯度抵消与可见性坍塌，从而证明所有宽不小于 2 的架构均存在可辨识开集，并构造出极小网络依然拥有正维非平凡冗余的确定性反例。

方法详解¶

整体框架¶

论文建立了一套统一的几何拓扑分析流程，其核心是将抽象网络参数映射转化为带有热带权重的多面体复形，并从中提取出纯粹由函数本身决定的拓扑不变量。整个推演体系包含从几何结构刻画、依赖图构建、逐层板层归纳构造到全空间维度升格四个核心阶段。

输入为一个任意深度的前馈 ReLU 神经网络架构 \(\mathcal{A}=(n_0,n_1,\dots,n_L,n_{L+1})\)，其中要求各隐藏层和输入层宽度满足 \(n_\ell \ge 2\)。方法首先在输入空间中构建记录所有神经元预激活符号变化的规范多面体复形，并提取各神经元符号反转的弯曲超平面；随后筛选出在函数输出端诱导实际非线性梯度跳变的断点复形，在每个余维 1 的面元上赋以热带权重。通过分析余维 2 脊处的局部折叠几何，算法构建出唯一确定神经元层级先后次序的有向无环依赖图。最后，通过在紧致多胞体上自底向上递归设计具有严格连通横截性与透明性的定向板层结构，构造出满足可辨识性的开放参数区域。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["网络参数 θ 与几何设定<br/>输入/隐藏层宽 n_ℓ ≥ 2"] --> B["1. 加权多面体复形与断点提取<br/>规范复形与热带权重 c_θ"]
    B --> C["2. 依赖图拓扑排序与反向工程升格<br/>弯曲脊识别严格层级次序"]
    C --> D["3. 有向板层归纳构造与 cTPIC 保证<br/>有界多胞体紧致拉回与透明性"]
    D --> E["4. 纤维降维论证与函数维度确立<br/>代数簇余维排除非通用纤维"]
    E --> F["输出：全参数空间可辨识开集<br/>函数维度 dim=∑n_ℓ n_{ℓ-1}+n_{L+1}"]

关键设计¶

1. 规范多面体复形与加权断点几何：解耦潜在参数与外显函数特征

针对 ReLU 网络的非光滑分段线性本质，传统分析常常混淆内部激活区域与最终函数的线性区域。论文严格区分了规范多面体复形 \(\mathcal{C}_\theta\) 与断点复形 \(\mathcal{B}_\theta\)。规范复形记录网络各层神经元预激活 \(z_j^{(\ell)}(x)=0\) 所诱导的多面体细分；而断点复形仅保留那些在网络输出端具有非零梯度跳变的几何面元。对断点复形中的每一个余维 1 面元 \(\sigma \in \mathcal{C}_\theta^{d-1}\)，论文利用热带几何定义其热带权重向量 \(c_\theta(\sigma) \in \mathbb{R}^m\)：

\[ c_\theta(\sigma) := (A_P - A_Q) e_{P/\sigma} = \left\|(W^{(1)})^\top D_{S_1}\cdots (W^{(\ell-1)})^\top D_{S_{\ell-1}} (W^{(\ell)})^\top e_i\right\|_2 W^{(L+1)} D_{S_L} \cdots W^{(\ell+1)} e_i \]

其中 \(A_P, A_Q\) 为相邻极大区域上的线性斜率矩阵，\(e_{P/\sigma}\) 为单位法向量。该权重精准量化了跨越激活边界时函数梯度的跃变幅度。论文证明，在通用参数集下，网络满足超横截性与无抵消性，从而保证断点复形及其热带权重是纯粹由函数 \(f_\theta\) 本身决定的内禀几何不变量，不受具体参数化表述的干扰。

2. 弯曲脊局部几何与依赖图构建：实现网络层级拓扑的刚性重构

在获得外显的断点复形后，核心难点在于如何不依赖具体参数，直接从函数的几何折痕中判定不同断点面元属于哪一层。论文深入考察断点复形中余维 2 的“脊”（Ridge）\(\tau \in \mathcal{B}_\theta^{d-2}\)。当两个分别来自第 \(k\) 层和第 \(\ell\) 层（\(k < \ell\)）的弯曲超平面横截相交于脊 \(\tau\) 时，论文严格证明该脊必然呈现“弯曲”特征：较早层的超平面在穿过相交线时保持局部的仿射平直，而较晚层的超平面则因输入端受较早层非线性折叠的影响，在法向量方向上发生显式偏折。

借助这一几何非对称性，论文定义了候选弯曲超平面集合 \(V_{f_\theta}\)，并构建了有向依赖图 \((V_{f_\theta}, E_{f_\theta})\)：每当候选超平面 \(w\) 沿 \(v\) 发生几何弯折时，便连入一条有向边 \((v, w)\)。论文证明，对于实现同一函数的任意通用参数 \(\eta\)，候选超平面到实际神经元的映射必定严格保序（即层索引 \(\ell_{\phi(v)} < \ell_{\phi(w)}\)）。这一拓扑不变量不仅消除了跨层置换的可能性，更为后续将 Rolnick-Kording 反向工程算法从受限几何子类推广至全通用参数空间提供了严格的传递桥梁。

3. 定向板层与连通横截性归纳构造：在有界多胞体上锁定可见性

为了在无需任何宽度大于维度的限制下构造出满足条件的可辨识参数，论文摒弃了以往使用无界正轴超平面的发散构造法，提出了一种基于紧致有界多胞体 \(P \subset \mathbb{R}^d\) 的定向板层（Oriented Slab Layer）归纳机制。在一个有界多胞体 \(P\) 内，一层板层由一组相互平行且完全横截穿过 \(P\) 的超平面构成，各超平面将 \(P\) 切分为连续的条带区域，并赋予激活模式对称差交替变化的定向性质。

在归纳步骤中，论文证明可以在第 \(\ell-1\) 层的像空间多胞体中，选取一个特定的仿射超平面 \(H'\)，使得其拉回的原像在前序层像空间中保持连通，且与前一层的每一个超平面均发生横截相交。通过连续性扰动定理，论文将该超平面微扰为下一层的定向板层，同时通过保证层间透明性（即在紧致多胞体上每一点至少有一个神经元处于激活状态），杜绝了后续隐藏层将前序层断点完全清零的现象。这种设计确保了连通横截成对相交条件（cTPIC）与线性区域假设（LRA）在整个前馈链条中逐层传递，最终在输入空间 \(P\) 上稳定成立。

4. 纤维降维与全空间升格：确立极小表示冗余与最终可辨识性

当网络在通用参数集 \(\widetilde{\Theta}_{\mathcal{A}}\) 内满足 cTPIC 与 LRA 时，定理 3.31 证明其在通用参数间具备唯一可辨识性（模去置换与正缩放）。然而，这尚未排除非通用参数（即落在代数簇超曲面上的奇异参数）实现相同函数的可能。论文利用半代数几何与商映射投影，证明非通用参数集 \(N = \Theta_{\mathcal{A}} \setminus \widetilde{\Theta}_{\mathcal{A}}\) 在商空间中的像 \(q(N)\) 维度严格小于商参数空间总维度 \(\dim(\overline{\Theta}_{\mathcal{A}})\)。由于实现映射在通用可辨识开集上达到全秩，非通用函数集在函数空间中的像必为低维闭集的真子集，从而在测度与拓扑上成功抠除潜在的非通用干扰，确立了无条件可辨识开集的存在性。

基于该框架，论文进一步在最后一层隐藏层引入恒处于激活状态的 2 神经元线性子块，巧妙构造出商空间局部纤维维度严格为 2（对应于保持严格正偏置的 \(GL_2(\mathbb{R})\) 局部群变换）的参数族。由于该参数族所实现的函数空间维度恰好比原架构全维度低 2，而任何剥离 1 个神经元的严格子架构函数维度至少下降 3，论文通过子模型维数跳跃论证，首次在严格数学意义上确立了：一个网络即使无法剔除任何单一神经元（严格极小），其内部依然可以保有正维数的非平凡连续参数冗余。

实验关键数据¶

作为纯粹的数学物理与理论深度学习工作，本文不包含传统经验数据集（如 ImageNet、CIFAR）的数值调优实验，其“实验”完全体现为严密的构造性数学反例验证、理论维度边界定理与几何病态情形的参数消融分析。

主实验：不同架构类别的函数维度与可辨识性理论判决¶

论文对前馈深度 ReLU 网络的参数空间与函数空间维数关系进行了彻底判定，将前人受限的充分条件扩展到了理论极限。

架构设定	宽度约束条件	可辨识开集存在性	函数空间维度 \(\dim(\mu_{\mathcal{A}}(\Theta_{\mathcal{A}}))\)	理论依据与状态
金字塔型网络 (Phuong & Lampert 2020)	\(n_0 \ge n_1 \ge \cdots \ge n_L \ge 2\)	仅在通用参数间成立	\(\sum_{\ell=1}^{L+1} n_\ell n_{\ell-1} + n_{L+1}\)	仅限层宽单调递减子类
宽隐藏层网络 (Grigsby et al. 2023)	\(n_\ell \ge n_0 \ge 2 \ (\forall \ell \in [L])\)	存在局部反向工程几何集	\(\sum_{\ell=1}^{L+1} n_\ell n_{\ell-1} + n_{L+1}\)	依赖无界正轴超平面假定
任意深层网络 (本文 Theorem 4.11 / 4.13)	\(n_\ell \ge 2 \ (\forall \ell \in \{0,\dots,L\})\)	全参数空间无条件存在开集	\(\sum_{\ell=1}^{L+1} n_\ell n_{\ell-1} + n_{L+1}\)	彻底解决，达到理论下界极限
含极窄瓶颈网络 (本文 Conjecture 1 讨论)	存在某隐藏层 \(\exists \ell \le L, n_\ell = 1\)	猜想不存在严格可辨识集	上界为参数量减隐藏神经元数	激活像降为一维，cTPIC 结构性失效

消融实验：极小性与结构假设对参数纤维几何的影响¶

论文通过一系列精确设计的代数构造（Example 6.2 与 Section 5 构造），对可辨识性核心判据进行了充分的必要性与边界分析。

模型配置 / 构造变体	局部纤维维度 \(\dim(\overline{\mu}^{-1}(f_\theta))\)	架构极小性判定	依赖图层级保序性	理论推论与几何病态机制说明
标准通用配置 (cTPIC + LRA)	0 (单点纤维，完全可辨识)	必然极小	严格保序 (\(\ell_{\phi(u)} < \ell_{\phi(v)}\))	几何折痕完全外显，无任何内部抵消
含线性块配置 (本文 Theorem 5.4)	\(\ge 2\) (正维连续流形)	严格极小 (不可约简)	严格保序 (前序层保持刚性)	证明极小性 \(\neq\) 可辨识性，揭示内部 \(GL_2\) 自由度
非透明网络 (图2(a) 退化消融)	不确定（部分层参数丢失）	可能非极小	局部断裂（丢失部分节点）	较晚层在相交区域完全失活，破坏 LRA 假设
非通用退化网络 (Example 6.2 构造)	离散多重解（非平凡置换）	极小	出现逆序/同一层误判	三条射线可由 3 种完全不同层级分配的参数精确生成

关键发现¶

极窄瓶颈是可辨识性的硬边界：只要任意隐藏层出现宽度 \(n_\ell = 1\)，该层的激活特征值域退化为一维射线，后续隐藏层的预激活完全共线，使得后续超平面无法形成余维 2 的横截相交，cTPIC 必然失效。
极小表示无法杜绝内生参数冗余：深度网络中恒激活神经元构成的仿射子空间可以在不引入任何外显断点的情况下，吸收高达 2 个自由度的连续变换。通过严格维数对比证明，该函数无法被任何更小网络表示，从而彻底否定了“非可辨识性仅由过参数化非极小引起”的传统直觉。
深度换宽度的通用不可行性：在通用参数开集上，依赖图包含长度为 \(L\) 的刚性有向链，任何层数 \(L' < L\) 的较浅网络在通用参数下绝不可能实现该函数，给出了独立于宽度规模的纯几何通用深度层次分离定理。

亮点与洞察¶

引入带权多面体复形与依赖图拓扑工具：将分段线性神经网络的分析从单纯的超平面代数方程提升至现代组合几何高度，利用热带权重与脊处的折叠非对称性，直接从纯函数输出逆向重构计算图的先后因果结构。
定向紧致板层的逐层归纳设计：摆脱了以往必须借助无穷远边界与正轴超平面强加假定的桎梏，通过在有界凸多胞体内部建立仿射拉回与微扰开集，极其优雅地攻克了层宽小于输入维度时的分析壁垒。
理论成果具有高度的普适迁移性：所建立的断点复形粗糙化定理（Coarsest Complex on Support）与多胞体透明性判据，可直接推广应用于分析连续分段线性系统的隐式表达容量、神经正切核在有限样本下的本质秩、以及网络架构剪枝极限。

局限与展望¶

作者承认的理论局限：定理仅证明了可辨识参数集合在参数空间中构成非空开集，但该开集在全局参数空间中的相对测度、体积比例以及在不同初始化分布下的碰撞概率仍属未知；同时，对于含宽度为 1 的隐藏层架构，是否能放宽至有限可辨识性（Finite Identifiability）仍悬而未决。
理论分析与经验设定的鸿沟：实际深度学习中常采用随机正态初始化与大批量 SGD 优化，网络极易收敛至大量神经元死亡（Dying ReLU）或高度低秩退化的退化鞍点，在此类非通用参数区域，本文的超横截性与无抵消性假设将大面积失效。
后续改进方向：可进一步探索在有限离散输入数据集（而非全空间连续函数值）观测下参数的可恢复性边界；此外，将加权多面体复形分析拓展至 LeakyReLU、GELU 等平滑激活函数及残差连接（ResNet）结构亦是极具价值的理论课题。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 彻底打破长期存在的层宽约束，创立了基于热带加权多面体复形与依赖图的可辨识性全新数学框架。
理论深度: ⭐⭐⭐⭐⭐ 构造性证明极其严密，层层推进，完备解决了长期悬置的 ReLU 网络函数空间维度基础猜想。
写作质量: ⭐⭐⭐⭐⭐ 几何直观极其清晰，概念抽象严谨，反例与核心机制的引申剖析透彻深刻。
价值: ⭐⭐⭐⭐⭐ 奠定了深度 ReLU 神经网络参数空间几何学、模型压缩可约简性与深度分离理论的重要里程碑。