Diagonalizing the Softmax: Hadamard Initialization for Tractable Cross-Entropy Dynamics¶

会议: NeurIPS 2026
arXiv: 2512.04006
领域: 优化与动力学
关键词: 交叉熵动力学, 神经坍缩, 隐式偏置, 哈达玛初始化, 非凸优化

一句话总结¶

本文通过发现西尔维斯特-哈达玛矩阵能精确对角化非线性 Softmax 算子，首次将精确动力学分析拓展至多分类交叉熵非凸优化，构建显式 KL 散度李雅普诺夫函数证明了梯度流全局收敛至神经坍缩几何结构，并揭示了 $K \ge 8$ 时欧氏距离指标非单调演化与指数级鞍点减速等全新现象。

研究背景与动机¶

现代过参数化分类神经网络在训练末期普遍展现出高度对称的几何结构，即神经坍缩（Neural Collapse, NC）：同一类别内的特征表示坍缩至其均值，各类别均值向量构成单纯形等角紧框架（Simplex ETF），且末层线性分类器权重与该特征框架完美对齐。这种现象在多样化的架构与数据集上普遍存在，然而标准交叉熵训练目标中并未包含任何显式鼓励此类几何结构的正则项。这引发了深度学习理论的核心追问：在存在无穷多训练损失为零的经验解空间中，基于梯度的优化算法究竟通过何种隐式偏置机制精确锁定了神经坍缩构型？

现有关于隐式偏置与神经坍缩的理论研究面临根本性的瓶颈。在经典逻辑回归与二分类场景中，梯度流向最大间隔解的收敛性已获证明，但该框架无法捕捉多类别交互以及深度网络非凸曲面的本质特征。针对非约束特征模型（UFM），先验工作虽然证明了交叉熵梯度流收敛至某个非凸最大间隔问题的 KKT 点，但无法区分全局极小点（对应神经坍缩）与鞍点，且对有限时间内的轨迹演化与收敛速率完全缺失刻画。另一方面，Saxe 等人开创的精确学习动力学框架能够给出参数奇异值的全轨迹解析解，但其理论推导严重依赖均方误差（MSE）损失函数下标签矩阵与网络权重的联合对角化；在实际分类网络主导的交叉熵损失下，Softmax 的列向非线性映射破坏了矩阵对角结构并引入复杂的非线性耦合，致使精确动力学分析长期难以突破二分类范畴。

本文切入的角度是寻找能够与非线性 Softmax 算子发生代数共振的特殊谱结构。作者敏锐地发现西尔维斯特-哈达玛矩阵（Sylvester-Hadamard Matrix）具备逐行元素积的异或群同构与 Softmax 置换等变性，从而在谱初始化下实现了 Softmax 映射的精确对角化。核心 idea：利用西尔维斯特-哈达玛初始化在非约束特征模型中完全对角化 Softmax 算子并冻结权重奇异向量，将矩阵交叉熵梯度流降维为对数几率奇异值的向量常微分方程，并构造显式 KL 散度李雅普诺夫函数首次严格证明了多分类交叉熵下对神经坍缩几何的全局收敛性。

方法详解¶

整体框架¶

在具有 $K$ 个类别、每类 $n$ 个样本的分类问题中，非约束特征模型（UFM）将深度网络抽象为两层线性结构 $Z = WH \in \mathbb{R}^{K \times Kn}$，其中第一层特征矩阵 $H \in \mathbb{R}^{d \times Kn}$ 视为自由优化的参数，第二层分类头为 $W \in \mathbb{R}^{K \times d}$，输入数据为标准基向量。未正则化的交叉熵损失定义为： $$\mathcal{L}(W,H) = \sum_{c=1}^K \sum_{i=1}^n \log\Big(1 + \sum_{c' \neq c}^K \exp\big((Wh_{ic})_{c'} - (Wh_{ic})_c\big)\Big)$$ 对应的连续时间梯度流方程为 $\frac{dW}{dt} = (Y - P(WH))H^T, \frac{dH}{dt} = W^T(Y - P(WH))$，其中 $Y = I_K \otimes 1_n^T$ 为独热标签矩阵，$P(\cdot)$ 为逐列 Softmax 运算。

在一般正交基下，$WH$ 与非线性项 $P(WH)$ 无法同时对角化，导致奇异向量随时间剧烈漂移。本文的关键突破在于设定类别数 $K = 2^m$，并采用归一化的西尔维斯特-哈达玛基 $U = \frac{1}{\sqrt{K}}\Phi$ 对权重进行谱初始化。定理 1 严格证明了在该基底诱导的空间中，Softmax 算子被完备对角化，从而使得 $W$ 与 $H$ 的左、右奇异向量在整个训练流中严格冻结不动，矩阵动力学精确约简为对数几率奇异值的向量微分方程，进而通过归一化分析建立全局收敛定理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["两层非约束特征模型 UFM<br/>Z = WH 且无正则化交叉熵损失"] --> B["哈达玛初始化对角化 Softmax<br/>利用异或群与置换等变性实现谱对齐"]
    B --> C["奇异向量全时域冻结<br/>参数自由度约简为 K-1 个非平凡奇异值"]
    C --> D["约简向量常微分方程<br/>对数几率奇异值非线性耦合演化"]
    D --> E["基于 KL 散度的李雅普诺夫函数<br/>单调递减证明全局收敛至神经坍缩"]
    E --> F["单纯形 ETF 全局极限<br/>W·W^T ∝ S 且 H^T·H ∝ S"]

关键设计¶

1. 哈达玛初始化对角化 Softmax：消除奇异向量漂移的代数基底

为了在非线性交叉熵损失下实现类似于 MSE 框架的谱解耦，必须保证标签矩阵 $Y$、对数几率矩阵 $WH$ 以及 Softmax 矩阵 $P(WH)$ 在整个优化轨迹上始终相互可对角化。对于阶数为 $K=2^m$ 的西尔维斯特-哈达玛矩阵 $\Phi$，其行向量在逐元素积下构成闭合有限阿贝尔群，满足 $\phi_i \odot \phi_j = \phi_{i \oplus j}$（其中 $\oplus$ 代表按位异或运算）。由此可得关键矩阵恒等式：右乘对角阵 $\Phi \operatorname{diag}(\phi_i)$ 等价于对 $\Phi$ 进行行置换 $\Pi_i \Phi$。结合列向 Softmax 算子对置换矩阵的天然等变性 $P(\Pi v) = \Pi P(v)$，可以推导出对任何形式为 $Z = \frac{1}{K}\Phi \operatorname{diag}(a) \Phi^T$ 的矩阵，施加 Softmax 后得到的矩阵具有二元循环（dyadic）结构，即 $[P(Z)]_{ij} = c_{i \oplus j}$。由于所有二元循环矩阵均能被西尔维斯特-哈达玛矩阵精确对角化，本文得出核心恒等式： $$P(U \operatorname{diag}(a) U^T) = U \operatorname{diag}(U P(U a)) U^T$$ 通过选择 $U = V = \frac{1}{\sqrt{K}}\Phi$，系统在初始化时刻的奇异向量在随后的梯度流中永久保持不变，参数演化完全收敛到对角线上各个奇异值的变化。

2. 约简非线性动力学：对数几率奇异值的耦合演化系统

在奇异向量保持冻结的前提下，由于全 1 向量所对应的常数模式在交叉熵反向传播中梯度严格为零（$b_1 = 0$），可以无损剔除该平凡分量，将注意力集中在剩余的 $K-1$ 个非平凡奇异值 $a_i = \alpha_i \beta_i$ 上。通过守恒量分析与尺度吸收，全系统的矩阵梯度流被精确坍缩为如下自洽标量耦合微分方程： $$\frac{da_i}{dt} = \frac{1}{D} b_i a_i, \quad b_i = \sum_{j=1}^{K-1} \Psi_{ij} e^{-(\Psi a)_j}, \quad D = 1 + \sum_{j=1}^{K-1} e^{-(\Psi a)_j}$$ 其中 $\Psi = 1_{K-1}1_{K-1}^T - \Phi[2:K,2:K]$ 为移除第一行第一列后哈达玛核心矩阵的舒尔补结构。与 MSE 动力学中奇异值各自独立遵循 S 型曲线演化根本不同，交叉熵系统中的有效收益系数 $b_i / D$ 显式依赖于所有奇异值的整体分布，各模式之间通过间隔项 $(\Psi a)_j$ 紧密交织。这种动力系统在能量泛函 $E(a) = \log\big(1 + \sum_{j=1}^{K-1} \exp(-(\Psi a)_j)\big)$ 下具有镜像流（Mirror Flow）诠释，其对偶势函数对应负熵 $\phi(a) = \sum_i a_i \log a_i$。

3. 基于 KL 散度的李雅普诺夫函数：跨越非凸鞍点的全局收敛保证

随着训练推进，对数几率奇异值的范数 $\|a\|_1$ 趋于发散，因此需要研究归一化变量 $\hat{a}_i = a_i / \|a\|_1$ 的演化。该系统等价于演化博弈论中的复制子动力学（Replicator Dynamics）：$\frac{d}{dt}\hat{a}_i = \frac{\hat{a}_i}{D}[b_i - \bar{b}]$，其中 $\bar{b} = \sum_j \hat{a}_j b_j$。为了证明系统必然收敛至代表神经坍缩的均匀分布 $\hat{a} = \frac{1}{K-1}1_{K-1}$，本文引入均匀参考分布与当前归一化奇异值之间的 Kullback-Leibler 散度作为李雅普诺夫候选函数： $$D_{\mathrm{KL}}\Big(\frac{1}{K-1}1_{K-1} \,\Big\|\, \hat{a}\Big) = -\log(K-1) - \frac{1}{K-1}\sum_{i=1}^{K-1}\log(\hat{a}_i)$$ 对其求导并代入边际变量 $x_i = (\Psi a)_i$，利用代数恒等式将其导数化简为双重对称和： $$\frac{d}{dt} D_{\mathrm{KL}} = \frac{1}{2(K-1)D\|a\|_1} \sum_{i=1}^{K-1}\sum_{j=1}^{K-1} (x_i - x_j)\big(e^{-x_i} - e^{-x_j}\big)$$ 因为指数函数单调递减，对任意非相等的实数对 $(x_i, x_j)$，两项差值必异号，从而求和式内部的每一项均恒非正，仅在所有边际完全相等 $x_i = x_j$ 时取得零值。由于 $\Psi$ 是可逆矩阵且 $1_{K-1}$ 为其特征向量，该状态充要等价于 $\hat{a} = \frac{1}{K-1}1_{K-1}$。此证明彻底排除了轨迹被卡在低秩虚假驻点或鞍点处的可能性，建立了多分类交叉熵隐式偏置导向神经坍缩的完备数学闭环。

4. 多分类维度诱导的非单调动力学与鞍点驻留

尽管 KL 散度保证了全局单调下降，但文献中广泛采用的传统欧氏几何距离指标 $M = \frac{1}{2}\sum_i (\hat{a}_i - \frac{1}{K-1})^2$ 却呈现出截然不同的图景。理论分析表明，$M$ 的单调性由类别总数 $K$ 敏感决定：对于二分类与四分类（$K \in \{2, 4\}$），所有稳定点在非零支撑集上均具备均匀对称性，$M$ 保持单调递减；但对于 $K \ge 8$，矩阵 $\Psi$ 的非均匀离散结构催生了大量非均匀低秩稳定点。轨迹在初始阶段会被局部非均匀低秩鞍点强烈吸引，导致度量均匀度的距离 $M$ 呈现先上升后下降的反常非单调行为。此外，在高对数几率范数区域，更新项 $\frac{b_i}{D} \sim \mathcal{O}(\|a\|_1 e^{-C \|a\|_1})$ 呈现指数级衰减，引发严重的“懒惰训练”（Lazy Training）平台期，使得网络在远离全局神经坍缩的低秩构型附近极度缓慢地漂移。

一个完整示例¶

考虑 $K=8$ 类别、由 $a(0) = [1, 1, 1, 1, 0.001, 0.001, 0.001]^T$ 出发的不平衡初始化轨迹：在前 4 个奇异值占主导的初始阶段，系统演化受到对应子维度的非均匀约束。代入矩阵 $\Psi \in \mathbb{R}^{7 \times 7}$，前 4 个模式所贡献的边际 $x_i = (\Psi a)_i$ 并不均衡，部分边际迅速增长至数倍于其他边际，从而在非对齐的方向上形成非均匀低秩亚稳态吸引子。在此过程中，归一化奇异值向量 $\hat{a}$ 的前 4 个分量持续分化，导致欧氏距离指标 $M$ 突破常规直觉——从接近 0.1 显著上升，并在长达 $10^5$ 迭代步的平台期内居高不下，造成模型“远离神经坍缩”的表象。然而，李雅普诺夫函数 $D_{\mathrm{KL}}$ 的微分核中每一对 $(x_i - x_j)(e^{-x_i} - e^{-x_j}) < 0$ 持续提供严格负向耗散，迫使后 3 个微小奇异值缓慢吸收能量并指数增长。最终当对数几率范数突破临界阈值后，所有 7 个非平凡奇异值协同趋同向 $\frac{1}{7} \approx 0.1428$，指标 $M$ 骤跌至零，完整复现了由局部低秩鞍点向单纯形 ETF 跃迁的全过程。

损失函数 / 训练策略¶

整个动力学过程可精确表述为非正则化交叉熵在特征表示极限下的变分问题。在实现数值验证时，由于发散的范数项使得直接计算指数项 $e^{-(\Psi a)_j}$ 极易出现下溢或上溢，算法采用归一化梯度流（Normalized Gradient Flow）进行时间重整化： $$\frac{da}{dt} = \frac{a \odot \hat{b}}{\|a \odot \hat{b}\|_2}, \quad \hat{b}_i = \sum_{j=1}^{K-1} \Psi_{ij} \exp\big(-(m_j - m_{\min})\big)$$ 其中 $m_j = (\Psi a)_j$，$m_{\min} = \min_j m_j$。通过减去全局最小边际，所有指数阶数被限制在非正数区间且至少有一项严格为零，确保了在大范数极限下的绝对数值稳定性。

实验关键数据¶

主实验¶

在 $K=4, d=4, n=1$、学习率 $\eta=0.01$ 的配置下，对比哈达玛初始化（Hadamard Init）、标准高斯随机初始化（Random Init, $\epsilon = e^{-6}/\sqrt{K} \approx 10^{-3}$）以及根据定理 2 求解的理论向量常微分方程（Reduced ODE）数值解，全过程追踪各个关键物理量。

实验配置 / 初始化方案	初始残差能量 (Residual Energy)	稳态残差能量 (t > 10⁴)	终态归一化奇异值 $\hat{a}_i$	神经坍缩欧氏指标 $M$ 单调性	李雅普诺夫 KL 单调性
哈达玛初始化 (Hadamard Init)	0.0000 (严格对齐)	0.0000 (零漂移)	0.3333, 0.3333, 0.3333	严格单调递减 ($\le 0$)	严格单调递减 ($\le 0$)
理论标量 ODE (Theoretical ODE)	不适用 (直接求解谱)	不适用	0.3333, 0.3333, 0.3333	严格单调递减 ($\le 0$)	严格单调递减 ($\le 0$)
高斯随机初始化 (Random Init)	0.8241 ± 0.015	0.0000 ± 0.000 (退火至零)	0.3333, 0.3333, 0.3333	单调递减	初始阶段非单调震荡后收敛

消融与扩展实验¶

分析不同类别数 $K$ 及多种收敛度量指标在非对称初值下的动力学行为：

类别数 $K$	欧氏指标 $M$ 单调性	反向 KL 散度 $\tilde{D}_{\mathrm{KL}}$	极差比对数 $M_{\mathrm{LR}}$	逆向伪鞍点存在性	理论支撑与反例导数
$K = 2$	单调递减	单调递减	单调递减	不存在 (平凡解)	唯一非平凡奇异值，二分类退化
$K = 4$	单调递减	单调递减	单调递减	不存在 (对称点)	定理 4：全部稳定点支撑集结构均一
$K = 8$	非单调	非单调	单调递减	存在 (4维主导鞍点)	反例初值下 $\frac{d\tilde{D}_{\mathrm{KL}}}{dt} \approx 0.0037 > 0$
$K = 16$	非单调	非单调	非单调	存在 (多级交错鞍点)	附录 B.3：$M_{\mathrm{LR}}$ 构造性反例

关键发现¶

两阶段动力学与燃烧期（Burn-in Phase）：在随机初始化下，系统首先经历特征子空间搜索与对齐阶段（$t < 10^3$），残差能量快速衰减，交叉熵损失保持平坦；随后在 $t > 10^3$ 时进入对数几率范数快速增长与奇异值均衡收敛的阶段。哈达玛初始化从初始时刻即消除了第一阶段的对齐成本。
高维分类下的度量奇异性：在 $K \ge 8$ 时，传统用于度量神经坍缩进程的欧氏指标 $M$、Frobenius 范数距离 $\tilde{M}$ 以及反向 KL 散度均无法保证单调性，唯有正向 KL 散度 $D_{\mathrm{KL}}(\frac{1}{K-1}1_{K-1} \,\|\, \hat{a})$ 在任意 $K=2^m$ 下作为全局李雅普诺夫函数始终严格单调下降。
随机初始化的天然单纯形偏置：定理 8 揭示对于极小尺度的高斯初始化，在 $t^* = \frac{1}{2\sqrt{n}}\log(1/\epsilon)$ 处，对数几率矩阵的一阶渐近展开直接投影至单纯形 ETF 空间 $Z(t^*) \sim \frac{1}{2\sqrt{n}}\epsilon^2 e^{2t^*\sqrt{n}}(S \otimes 1_n^T)$。这一固有机制解释了为何实际神经网络鲜少陷于理论上的非单调鞍点区。

亮点与洞察¶

Softmax 对角化技巧：发现并证明了西尔维斯特-哈达玛矩阵乘法与 Softmax 运算之间的对换恒等式，为非线性注意力机制或分类器动力学提供了前所未有的显式分析工具。
打破 MSE 对精确动力学的垄断：过去十余年文献普遍认为精确奇异值动力学仅属于 MSE 损失的特权，本文首次在保留纯正交叉熵非线性耦合的前提下给出了非凸多分类动力学闭环。
可复用的归一化梯度流数值稳定技巧：在处理边际发散导致的数值溢出时，提出的“提取最小边际 + 消除分母”重标度算法，可直接移植至任何具有指数对偶特性的隐式偏置数值模拟管线。

局限与展望¶

类别规模的代数限制：当前证明依赖西尔维斯特型哈达玛矩阵，要求类别数严格满足 $K = 2^m$。对于任意整数 $K$ 的广义循环哈达玛矩阵或近似对角化性质仍待进一步探索。
非约束特征模型（UFM）的理想化：模型假设特征表示层具备无限表达能力，尚未显式刻画卷积、残差连接或自注意力模块在中间层引入的归纳偏置。
类别不平衡与权重衰减：分析限定在平衡样本与无正则化设定下；在长尾分布与显式权重衰减共存时，最优几何会向非对称紧框架偏转，对应的动力学收敛路径有待拓展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (巧妙发现哈达玛矩阵可对角化 Softmax，打破交叉熵无精确动力学分析的理论壁垒)
实验充分度: ⭐⭐⭐⭐⭐ (严谨的理论解析与高精度数值模拟相互印证，涵盖消融、反例构造与尺度极限分析)
写作质量: ⭐⭐⭐⭐⭐ (数学结构严整，从代数结构、动力系统到博弈论镜面流的阐述一气呵成)
价值: ⭐⭐⭐⭐⭐ (奠定了多分类交叉熵隐式偏置的非凸动力学分析基石，理论启发意义深远)

类别数 \(K\)	欧氏指标 \(M\) 单调性	反向 KL 散度 \(\tilde{D}_{\mathrm{KL}}\)	极差比对数 \(M_{\mathrm{LR}}\)	逆向伪鞍点存在性	理论支撑与反例导数
\(K = 2\)	单调递减	单调递减	单调递减	不存在 (平凡解)	唯一非平凡奇异值，二分类退化
\(K = 4\)	单调递减	单调递减	单调递减	不存在 (对称点)	定理 4：全部稳定点支撑集结构均一
\(K = 8\)	非单调	非单调	单调递减	存在 (4维主导鞍点)	反例初值下 \(\frac{d\tilde{D}_{\mathrm{KL}}}{dt} \approx 0.0037 > 0\)
\(K = 16\)	非单调	非单调	非单调	存在 (多级交错鞍点)	附录 B.3：\(M_{\mathrm{LR}}\) 构造性反例