Learning Reveals Invisible Structure in Low-Rank RNNs¶

会议: NeurIPS 2026
arXiv: 2605.04115
代码: https://github.com/yoavger/learning_reveals_invisible_structure_lr_rnns
领域: 学习理论
关键词: 低秩循环神经网络、重叠动力学、学习隐式结构、简并性、退火漂移与记忆

一句话总结¶

本文将低秩循环神经网络分析框架从稳态表征扩展至梯度下降学习动力学，推导出低维重叠空间的解析常微分方程，揭示出决定功能的损失可见重叠与影响学习轨迹及编码历史记忆的损失不可见重叠之间的内在解耦。

研究背景与动机¶

在神经计算与生物智能研究中，学习本质上源于突触权重的微观可塑性改变，这种改变重塑了支持行为与表征的内部神经回路动力学。然而，由于突触连接参数通常处于高维空间（过参数化权重空间），而网络所执行的任务或行为输出维度往往极低，这种悬殊的尺度错配导致从功能到网络连接的映射存在固有的病态不确定性与严重简并性。以往的低秩循环神经网络理论虽然成功将高维神经激活与稳态计算映射到少数宏观标量重叠变量上，但其分析始终局限于固定权重下的活动动力学，学习过程在重叠空间中如何闭合演化一直缺乏严格的理论描述。

这种理论盲区的核心矛盾在于：具有完全相同输入输出映射与隐藏层表征的两个循环网络，其内部连接参数可能截然不同，常规的静态观测或输入噪声扰动均无法区分这些简并状态；此外，过参数化网络在经历多任务连续训练后是否会在零空间中留下不可磨灭的历史记忆印记，现有基于输出函数的理论亦无法解析。过去对循环网络学习动力学的分析大多依赖于任务特征模态分解、对称权重或时间尺度分离假设，无法同时捕捉所有微观参数在梯度流下的协同演变。

本文的切入角度是直接利用低秩参数化几何对梯度流算子进行精确投影，建立学习动力学在标量重叠空间中的封闭常微分方程。核心 idea：将低秩网络全部微观参数的内积空间解耦为决定当前输出与损失的“损失可见重叠”与在当前功能下静默但定义学习度规张量的“损失不可见重叠”，通过学习过程作为动态扰动来探测连接简并性并承载历史训练记忆。

方法详解¶

低秩循环神经网络通过低秩因子分解约束循环连接矩阵，使得高维神经状态轨迹天然被约束在由输入向量与循环左向量张成的低维子空间内。在此几何约束下，反向传播或梯度流引起的参数更新能够通过链式法则精确投射到由所有微观向量内积构成的标量重叠空间中。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入信号 x(t) 与 目标输出 y*(t)"] --> B["低维有效动力学投影<br/>隐状态约束在 span{m, u} 子空间"]
    B --> C["重叠空间二元分解<br/>区分损失可见重叠 σ 与损失不可见重叠 σ~"]
    C --> D["预条件度规矩阵 G(θ) 诱导<br/>参数空间梯度流投影至重叠流 σ_dot"]
    D -->|激活函数线性 / erf 非线性| E["动力学闭合与守恒律分析<br/>不变量约束或对称性破缺"]
    E --> F["学习扰动与历史记忆解码<br/>揭示连接简并性与多任务训练轨迹记忆"]

整体框架¶

对于一个 \(N\) 维神经元的 rate-based 循环网络，在 rank-1 设定下，循环连接权重矩阵表示为 \(\bm{W}=\frac{1}{N}\bm{u}\bm{v}^{\top}\)，网络由输入权重 \(\bm{m}\)、循环模式向量 \(\bm{u},\bm{v}\) 以及线性读出权重 \(\bm{z}\) 共同参数化。在零初始状态下，网络活动轨迹 \(\bm{h}(t)\) 严格限制在二维子空间 \(\mathrm{span}\{\bm{m},\bm{u}\}\) 中，即 \(\bm{h}(t)=\kappa_m(t)\bm{m}+\kappa_u(t)\bm{u}\)。因此，网络在任务内的输出与端到端损失仅由少数标量重叠变量完全决定。

然而在跨回合的学习维度上，参数空间中的梯度流 \(\dot{\bm{\theta}}=-\nabla_{\bm{\theta}}\mathcal{L}\) 通过参数到重叠的雅可比矩阵 \(\bm{D}(\bm{\theta})=\partial\bm{\sigma}/\partial\bm{\theta}\) 投射到重叠空间，诱导出的重叠更新并非重叠损失梯度的简单下降，而是受度规预条件矩阵 \(\bm{G}(\bm{\theta})=\bm{D}(\bm{\theta})\bm{D}(\bm{\theta})^{\top}\) 调控：\(\dot{\bm{\sigma}}=-\bm{G}(\bm{\theta})\nabla_{\bm{\sigma}}\mathcal{L}\)。这一度规矩阵必然依赖额外的不可见重叠与向量模长，从而将整个学习动力学闭合成一个紧致的宏观常微分方程系统。

关键设计¶

1. 重叠空间的可见与不可见二元分解：厘清功能等价与学习差异的结构来源

在传统的神经动力学分析中，只要网络具有相同的输入输出响应，内部参数的冗余往往被视作无关噪声。在线性 rank-1 网络中，网络输入输出映射仅由 4 个标量内积确定：输入-读出重叠 \(\sigma_{zm}=\frac{1}{N}\bm{z}^{\top}\bm{m}\)、循环-读出重叠 \(\sigma_{zu}=\frac{1}{N}\bm{z}^{\top}\bm{u}\)、输入-反馈重叠 \(\sigma_{vm}=\frac{1}{N}\bm{v}^{\top}\bm{m}\) 和循环增益重叠 \(\sigma_{vu}=\frac{1}{N}\bm{v}^{\top}\bm{u}\)。这 4 个变量构成损失可见重叠集合 \(\bm{\sigma}\)。

然而，计算重叠更新时出现的度规张量 \(\bm{G}(\bm{\theta})\) 引入了其余 6 个独立的二次标量：交叉内积 \(\sigma_{mu}=\frac{1}{N}\bm{m}^{\top}\bm{u}\)、\(\sigma_{zv}=\frac{1}{N}\bm{z}^{\top}\bm{v}\)，以及四个参数向量的二范数平方 \(\|\bm{m}\|^2, \|\bm{u}\|^2, \|\bm{v}\|^2, \|\bm{z}\|^2\)。这 6 个量构成了损失不可见重叠集合 \(\tilde{\bm{\sigma}}\)。虽然它们在当前任务测试中对输出没有任何贡献，但它们决定了度规矩阵中各维度的尺度与相互耦合强度，从根本上规定了梯度下降在可见重叠流形上的演化速度与转向路径。

2. 闭合重叠 ODE 系统与参数度规张量诱导：解析参数流向重叠流的几何投影

直接在 4 维重叠空间中对损失进行朴素梯度下降优化会导致与真实物理学习过程完全不符的虚假动力学。本文通过全参数雅可比算子，严格推导了 10 维重叠变量 \((\bm{\sigma}, \tilde{\bm{\sigma}})\) 的常微分演化方程：

\[\dot{\bm{\sigma}}=-\bm{G}(\bm{\theta})\nabla_{\bm{\sigma}}\mathcal{L},\qquad \dot{\tilde{\bm{\sigma}}}=-\tilde{\bm{G}}(\bm{\theta})\nabla_{\bm{\sigma}}\mathcal{L}\]

度规矩阵 \(\bm{G}(\bm{\theta})\) 在线性系统中显式写为：

\[\bm{G}(\bm{\theta})=\frac{1}{N}\begin{bmatrix}\|\bm{m}\|^{2}+\|\bm{z}\|^{2}&\sigma_{mu}&\sigma_{zv}&0\\ \sigma_{mu}&\|\bm{u}\|^{2}+\|\bm{z}\|^{2}&0&\sigma_{zv}\\ \sigma_{zv}&0&\|\bm{m}\|^{2}+\|\bm{v}\|^{2}&\sigma_{mu}\\ 0&\sigma_{zv}&\sigma_{mu}&\|\bm{u}\|^{2}+\|\bm{v}\|^{2}\end{bmatrix}\]

该矩阵具有非平凡的非对角耦合项（例如 \(\sigma_{mu}\) 和 \(\sigma_{zv}\)）。这意味着输入模式与循环左模式之间的微观对齐程度（\(\sigma_{mu}\)）会直接作为交叉项加速或阻碍输出增益与反馈强度的学习速率。当两个网络具有完全一致的损失可见重叠但不可见重叠不同时，相同的梯度信号在 \(\bm{G}\) 的调制下产生不同的瞬态轨迹，使学习行为本身成为一种非破坏性的“动态探针”，能够区分静态记录完全相同的简并网络。

3. 梯度流守恒律与矩阵分解不变性：阐明线性网络中记忆缺失的物理机理

在考察不可见重叠能否记录先前训练历史（即作为隐式记忆变量）时，在线性 rank-1 网络采用连续梯度流的理想情况下，出现了一个惊人的反直觉现象：在 A–B–A 序贯学习协议下，当网络重新在任务 A 上收敛时，不仅可见重叠恢复，不可见重叠也严格回退至初始状态，表现出“历史记忆缺失”。

本文证明，低秩线性网络等价于双线性矩阵分解形式 \(\mathcal{L}(\bm{\theta})=\mathcal{L}\left(\frac{1}{N}\bm{A}^{\top}\bm{B}\right)\)，其中 \(\bm{A}=[\bm{z},\bm{v}]\)，\(\bm{B}=[\bm{m},\bm{u}]\)。在连续梯度流下，高维对称矩阵差分量具有严格守恒性：

\[\frac{d}{d\tau}\bm{K}=\frac{d}{d\tau}\left(\bm{z}\bm{z}^{\top}+\bm{v}\bm{v}^{\top}-\bm{m}\bm{m}^{\top}-\bm{u}\bm{u}^{\top}\right)=\bm{0}\]

该守恒矩阵 \(\bm{K}\) 的迹及其幂次提供了 4 个强标量约束：例如 \(\mathcal{C}_1=\mathrm{Tr}(\bm{K})=\|\bm{z}\|^2+\|\bm{v}\|^2-\|\bm{m}\|^2-\|\bm{u}\|^2=\text{const}\)。这些约束将 10 维重叠空间限制在一个由初始化条件严格锚定的 6 维固定流形上。若要打破此几何禁锢并在不可见重叠中存储训练历史，必须破坏该对称性。途径包括：在优化器中引入随机标签噪声导致定向漂移、使用非纯梯度流优化器（如 Adam 自适应动量），或者引入神经元非线性激活函数。

4. 动力学均值场与非线性边界迁移：激活饱和对可见集合的动态重构

当引入非线性饱和激活函数 \(\phi(\bm{h})=\mathrm{erf}(\frac{\sqrt{\pi}}{2}\bm{h})\) 时，在 \(N\to\infty\) 极限与高斯均值场理论（DMFT）假设下，隐藏层输入方差 \(\Delta(t)=\frac{1}{N}\bm{h}(t)^{\top}\bm{h}(t)=\kappa_m^2\|\bm{m}\|^2+\kappa_u^2\|\bm{u}\|^2+2\kappa_m\kappa_u\sigma_{mu}\) 决定了平均增益 \(\langle\phi'\rangle=(1+\frac{\pi}{2}\Delta(t))^{-1/2}\)。

由于平均增益显式进入了有效神经活动方程 \(\dot{\kappa}_u=-\kappa_u+(\sigma_{vm}\kappa_m+\sigma_{vu}\kappa_u)\langle\phi'\rangle\)，原本在线性系统中属于不可见的三个量——\(\sigma_{mu}\)、\(\|\bm{m}\|^2\) 和 \(\|\bm{u}\|^2\)——被直接卷入到系统输出与损失计算中，从而发生了可见性跃迁。此时可见重叠扩充至 7 维，不可见重叠缩减为 3 维 \((\sigma_{zv}, \|\bm{v}\|^2, \|\bm{z}\|^2)\)。这种跃迁打破了原有的双线性矩阵分解形式，破坏了守恒量 \(\bm{K}\) 的守恒条件，使得非线性循环网络在 A/B \(\to\) C 迁移学习下，不可见重叠能够鲁棒地保留历史任务独特的残留表征，真正发挥出历史记忆变量的作用。

实验关键数据¶

主实验¶

论文在两类典型神经动力学任务中系统对比了全参数高维模拟与低维重叠理论 ODE 的匹配精度，并量化了在 A/B \(\to\) C 序贯训练范式下从可见与不可见重叠中解码历史任务的准确率（50 次随机划分交叉验证，加入 \(\mathcal{N}(0, 0.1)\) 重叠扰动以模拟真实生物生理噪声）。

任务 / 评估场景	核心评估指标	本文理论 ODE 预测	真实高维 RNN 模拟	吻合度 / 增益
线性 Rank-1 滤波任务 (\(N=500\))	训练损失收敛值 \(\mathcal{L}\)	\(1.2 \times 10^{-4}\)	\(1.2 \times 10^{-4}\)	轨迹完全精确贴合 (误差 \(<10^{-4}\))
线性 Rank-1 滤波任务	矩阵 \(\bm{K}\) 守恒误差	\(0.000\)	\(< 2.1 \times 10^{-5}\)	严格守恒于初始化超曲面
1-bit Flip-Flop 非线性任务 (\(N=1000\))	稳态输出预测相关系数 \(r\)	\(0.999\)	\(0.998\)	高斯假设成立 (\(r \geq 0.998\))
1-bit Flip-Flop 非线性任务	参数边际分布正态检验 \(p\) 值	\(> 0.10\)	保持高斯性	梯度流小学习率下无显著漂移
A/B \(\to\) C 历史任务解码 (含噪声 \(\sigma=0.1\))	不可见重叠分类准确率 (%)	100.0%	100.0%	保持绝对可分性 (误差 \(\pm 0.0\))
A/B \(\to\) C 历史任务解码 (含噪声 \(\sigma=0.1\))	可见重叠分类准确率 (%)	50.0%	51.2%	退化至随机猜测基线 (\(\pm 3.5\))
Rank-2 阻尼谐振滤波任务 (\(N=500\))	21 维重叠动力学匹配度	完全一致	完全一致	推广至高秩高维重叠完全有效

消融实验¶

针对预条件矩阵 \(\bm{G}(\bm{\theta})\) 的几何结构及不同优化条件对守恒律与记忆性质的影响，论文设计了详尽的消融与变体对比。

配置 / 实验变体	核心现象 / 关键指标	说明与机制分析
完整模型 (参数诱导流 \(\dot{\bm{\sigma}}=-\bm{G}\nabla_{\bm{\sigma}}\mathcal{L}\))	损失演化与全网络一致	预条件度规矩阵 \(\bm{G}\) 正确折射参数空间的各向异性与耦合
移除度规预条件 (朴素重叠流 \(\dot{\bm{\sigma}}=-\nabla_{\bm{\sigma}}\mathcal{L}\))	动力学发生本质偏离	损失曲线收敛速度与瞬态平台完全错位，无法复现真实网络学习
线性 RNN + 纯梯度流 (Vanilla GD)	守恒量 \(\bm{K}\) 严格不变	A–B–A 训练后不可见重叠恢复原值，历史记忆完全丢失 (0% 留存)
线性 RNN + 标签噪声 (SGD 随机性)	\(\bm{K}\) 守恒被打破，产生定向漂移	噪声驱使不可见重叠朝解流形平坦/低范数区域移动 (\(\\|\bm{u}\\|^2\) 持续降低)
线性 RNN + 自适应优化器 (Adam)	\(\bm{K}\) 守恒破坏，不可见重叠产生偏移	自适应步长打破梯度流时间可逆与双线性正交性，自发产生历史依赖
非线性 RNN (增大学习率 \(\eta=0.5\) 或 Adam)	参数高斯分布破缺 (\(r \ll 0.99\))	高阶突触关联累积导致 DMFT 均值场截断失效，重叠 ODE 预测出现偏差

关键发现¶

学习过程可作为无创结构探针（Perturbation-by-Learning）：对于两组具有完全相同可见重叠 \(\bm{\sigma}\)（静态下输入响应和神经放电完全一致，甚至输入白噪声微扰也无法区分）的线性网络，由于其初始化赋予了不同的不可见重叠 \(\sigma_{mu}\) 和 \(\|\bm{u}\|^2\)，一旦开启学习，其损失轨迹展现出截然不同的行为（其中一个出现漫长的瞬态平局 plateau，另一个则单调快速下降）。
优化几何的各向异性导致解选择差异：在平衡初始条件下，度规矩阵 \(\bm{G}\) 近似为各向同性单位阵的标量倍数，此时参数诱导流与直接重叠优化路径几何相同仅相差时间重标定；但在高度非平衡或存在显著模式相关性（\(\|\bm{u}\|\gg\|\bm{v}\|\) 或 \(\sigma_{mu}>0\)）时，\(\bm{G}\) 会引导网络收敛到简并全局极小值流形上的完全不同解。
历史记忆在不可见重叠中的鲁棒隔离：在非线性 twin networks 实验中，网络先分别经受任务 A（Flip-Flop 双稳态记忆）或任务 B（刺激积分决策），再共同适应任务 C（拟合固定 Teacher 响应）。在任务 C 收敛后，网络输出完全一致，可见重叠差异缩小至数值微差（在弱噪声下解码率掉至 50% 随机几率），而不可见重叠保留了显著且稳定的多维几何差异，分类器能以 100% 精度完美解码该网络先前的训练历史。

亮点与洞察¶

将低秩重叠方法学拓展至非稳态学习域：过去神经科学与深度学习交叉研究中，低秩分解主要用于表征稳态吸引子与任务子空间，本文首次通过严格的几何投影微分方程，实现了连续梯度下降学习全轨迹的低维解析闭环。
发现“损失可见”与“损失不可见”重叠的双重功能分离：指出了神经网络参数空间中功能等价流形的几何构造机制——不可见分量虽不产生行为动作，却主宰了未来的可塑性方向与学习阻抗，为生物脑中“行为静默突触”或“残余神经动力学”提供了深刻的数学解释。
解析了矩阵分解模型在梯度流下的对称守恒约束：通过构建高维不变量矩阵 \(\bm{K}\) 及其 4 个标量迹不变量，从理论上严密给出了为何线性系统在纯梯度流下必定遗忘训练历史的代数证明，澄清了随机噪声与非线性激活在记忆涌现中的催化本质。

局限与展望¶

高斯先验假设在剧烈学习条件下的脆弱性：非线性推导依赖于权向量分量服从联合高斯分布的假设（通过 Stein 引理化简平均增益）。当采用较大退火步长、稀疏正则化或 Adam 等非线性优化器时，突触权重的经验分布会显著偏离高斯分布，导致均值场 ODE 出现漂移。
高秩扩展带来的重叠维度二次爆炸：尽管该框架在理论上可推广至任意 rank-\(r\) 线性及多输入多输出系统（论文附录 D 推导了 rank-2 系统的 21 维闭合形式），但重叠变量数量随秩以 \(\mathcal{O}((2r+m_{\text{in}}+z_{\text{out}})^2)\) 增长，高秩非线性网络的闭合均值场求解复杂度极高。
全秩随机背景连接（Random Bulk）的缺失：当前模型假设循环矩阵严格由低秩向量外积构成，而实际皮层神经网络通常表现为全秩高斯随机连接背景上叠加微弱的低秩结构，如何将随机背景引起的混沌涨落无缝耦合进重叠学习度规仍待深入探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立低秩 RNN 梯度流在重叠空间的闭合解析学习动力学，提出损失可见与不可见重叠的全新认知视角。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖线性/非线性模型、单任务/多任务 A–B–A 与 A/B \(\to\) C 协议、多种优化器与高秩扩展，微观仿真与理论 ODE 吻合极其严密。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨精炼，概念阐释透彻生动，从线性解析直觉平滑过渡至非线性均值场，结构层层递进。
价值: ⭐⭐⭐⭐⭐ 为解释生物突触可塑性与行为解耦、非侵入式网络结构探测以及连续学习中的历史印记提供了坚实的理论基石。