Sparse Koopman Autoencoders Identify Local Dynamical Regimes in Multibasin Systems¶

会议: NeurIPS 2026
arXiv: 2608.29057
OpenReview: https://openreview.net/forum?id=oenYjKFj4D
代码: https://github.com/aidanmrli/skae
领域: 其他
关键词: 库普曼算子, 稀疏自编码器, 多吸引子动力系统, LISTA, 机制可解释性

一句话总结¶

针对多吸引子动力系统无法用单一全局连续变换线性化的理论瓶颈，本文提出稀疏库普曼自编码器（SKAE），利用稀疏编码的离散激活支撑作为无监督动力学机制变量，在无需吸引子标签的前提下实现了高精度多步预测与局部动力学机制的无监督发现。

研究背景与动机¶

学习非线性动力系统的低维或等效线性表示是机器学习、科学计算与现代控制理论的核心任务之一。库普曼算子（Koopman operator）理论通过将状态空间中的非线性演化提升（lifting）到无限维可观测量空间，使得系统状态变换转化为线性的算子作用，进而能够直接结合成熟的模型预测控制（MPC）与线性二次型调节（LQR）等方法。然而，从理论存在性走向实用的数据驱动近似（如库普曼自编码器 KAE）时，真实物理与工程系统往往具有多稳定性（multistability）——存在多个平衡点、极限环或混沌吸引子（如多势阱机械振动、化学反应平衡态网络等）。

经典动力系统理论已严格证明，对于包含多个不相交极限集或吸引子（multibasin）的非线性系统，在通常的连续编码器-解码器假设下，数学上不存在单一有限维的全局线性化嵌入。若强行使用全局稠密隐空间自编码器拟合整个状态空间，不同吸引盆内互不兼容的局部线性动力学律会被迫挤入同一空间，导致全局变换发生严重扭曲与预测崩塌。现有局部建模工作通常依赖先验的流形划分或显式吸引盆标签，而实际未知动力系统中这类区域标注极难获取。

本文的切入视角是：不应强求全局单一连续线性化，而应寻求一种天然能够产生“子空间并集”（union-of-subspaces）结构的归纳偏置，让模型自发将不同空间区域指派给不同的离散正交坐标集。核心 idea：利用基于阈值收缩的稀疏编码器（如 LISTA）诱导隐空间的离散激活支撑（latent support），在仅学习单一全局线性转移矩阵的前提下，将非零系数值作为盆内连续线性坐标，并将离散激活索引作为无监督的局部动力学机制变量。

方法详解¶

整体框架¶

稀疏库普曼自编码器（SKAE）旨在无监督轨迹数据上同时学习状态观测空间的局部线性化与全局区域划分。模型由稀疏编码器、单位范数约束的线性解码器以及单一全局潜在转移矩阵 $K$ 构成。在演化过程中，模型通过周期的“前向演化-解码-重编码”（periodic re-encoding）循环，使轨迹在穿越不同吸引盆或状态空间区域时动态切换激活支撑，从而在全局非线性流形上实现分段局部线性的连续长时程预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["状态观测序列 x_t ∈ R^dx"] --> E["1. LISTA 稀疏编码器<br/>多步阈值收缩生成稀疏隐码 z_t"]
    E --> Sup["2. 隐空间支撑与机制变量<br/>非零系数表征坐标，激活索引充当机制标签"]
    Sup --> KMat["3. 全局潜在线性转移矩阵<br/>z_hat_(t+1) = K · z_t 驱动隐状态线性外推"]
    KMat --> Dec["4. 单位范数约束线性解码器<br/>x_hat = D · z，支撑显式选择激活字典列"]
    Dec --> ReEnc["5. 周期性重投影机制<br/>每隔 m 步解码重编码，动态刷新激活支撑"]
    ReEnc --> Out["长时程轨迹预测与吸引盆划分"]

关键设计¶

1. LISTA 稀疏编码器：通过迭代阈值收缩显式产生精确零元素 针对稠密多层感知机在隐空间无法产生稳定稀疏解的问题，SKAE 采用可学习迭代收缩阈值算法（LISTA）作为核心编码架构。编码器首先通过双层 ReLU MLP 计算稠密预编码 $c_t = f_\theta(x_t)$，随后进行 $Q=2$ 轮参数化的迭代收缩优化： $$u_t^{(0)} = \operatorname{shrink}(c_t, \tau), \quad u_t^{(q+1)} = \operatorname{shrink}(S u_t^{(q)} + c_t, \tau), \quad z_t = u_t^{(Q)}$$ 其中收缩算子 $\operatorname{shrink}(a, \tau) = \operatorname{sign}(a) \max(|a| - \tau, 0)$ 在元素级截断小幅值分量，参数 $S$ 经数据驱动更新，截断阈值 $\tau$ 控制稀疏尺度。这种显式截断使得隐状态具有结构化稀疏性，自然将状态空间划分为具有相同活跃维度的局部超平面。

2. 隐空间支撑作为动力学机制变量：解耦局部几何坐标与离散区域标识 在传统 KAE 中，隐向量 $z$ 仅充当连续数值嵌入。而在 SKAE 中，隐向量被显式解耦为双重语义角色：非零系数的连续数值代表该区域内的局部局域线性坐标，而活跃索引集合构成的二值掩码支撑 $m(x) \in \{0, 1\}^{d_z}$ 则充当离散的机制变量（regime variable）。解码时，仅有被选中的字典列参与状态重构： $$x \approx D z = \sum_{i \in S(x)} D_{:, i} z_i$$ 在全局转移矩阵 $K$ 作用下，支撑集合实际上自适应切分了 $K$ 的有效作用子块，使同一套线性变换在不同活跃维度上表达异构的局部吸引子动力学。

3. 层次化支撑族聚类：消除连续空间摄动带来的边界碎片化 由于状态在微小扰动下其绝对阈值掩码 $m_{\rm abs}(x) = \mathbf{1}\{|z_i| > 10^{-3}\}$ 可能出现个别维度的临界闪烁，直接使用原始索引集合容易导致吸引盆内部出现碎片化。为此，设计了一种基于 Jaccard 相似度的无监督领导者聚类算法，将空间重叠度高的支撑聚合成支撑族 $F_{\rm abs}$。对任意两个支撑掩码计算交并比： $$J(m_{\rm abs}, r_f) = \frac{\sum_i \mathbf{1}\{m_{{\rm abs}, i} = 1 \land r_{f, i} = 1\}}{\sum_i \mathbf{1}\{m_{{\rm abs}, i} = 1 \lor r_{f, i} = 1\}}$$ 当新掩码与现有支撑族代表向量的最大 Jaccard 相似度大于固定阈值 $\tau = 0.5$ 时即归入该族，否则自立为新族。支撑族作为更粗粒度的结构化宏观状态，在远离分界线的深层吸引盆内展现出与真实动力学吸引盆几乎完全重合的一对一对应关系。

4. 周期性重投影循环：沿轨迹自适应更新有效子空间 在长时间预测任务中，纯线性的隐式外推 $\hat{z}_{t+h} = K^h z_0$ 无法改变初始激活的坐标子集。当真实动力学系统轨迹跨越鞍点或沿瞬态轨道进入新的吸引区时，初始支撑便会失效。模型引入参数化的重编码周期 $m$：每演化 $m$ 个离散步长，就通过解码器重构出状态估计 $\tilde{x}_{k+m} = D \tilde{z}_{k+m}$，并重新送入稀疏编码器 $z_{k+m} = E_\theta(\tilde{x}_{k+m})$。这种闭环重投影让模型能够沿时间序列依据预测轨迹的物理位置动态切换激活支撑，从而在跨越不同动力学分区时平滑切换局部线性法则。

损失函数 / 训练策略¶

模型端到端联合优化四项核心损失，在保证拟合精度的同时施加稀疏诱导约束： $$\mathcal{L} = \lambda_{\rm pred} \mathcal{L}_{\rm pred} + \lambda_{\rm rec} \mathcal{L}_{\rm rec} + \lambda_{\rm lin} \mathcal{L}_{\rm lin} + \lambda_{\rm sp} \mathcal{L}_{\rm sp} + \mathcal{L}_{\rm struct}$$ 其中预测损失 $\mathcal{L}_{\rm pred}$ 约束开环线性推演经过解码后在观测空间的 $L_2$ 误差，重构损失 $\mathcal{L}_{\rm rec}$ 保持单步编解码一致性，隐层线性损失 $\mathcal{L}_{\rm lin} = \frac{1}{L} \sum_{t=1}^L \|\hat{z}_t - z_t\|_2$ 强化转移矩阵 $K$ 的演化自洽性，而 $\ell_1$ 正则项 $\mathcal{L}_{\rm sp} = \frac{1}{L} \sum_{t=1}^L \|z_t\|_1$ 则为激活系数值提供稀疏惩罚。在结构化转移矩阵消融中，针对软块对角变体额外加入惩罚块外非对角项的 $\mathcal{L}_{\rm struct} = \lambda_{\rm off} \sum_{g(i) \neq g(j)} |K_{ij}|$。所有神经网络模型隐空间维度设为 $d_z = 256$，解码器字典列均强制归一化以防止尺度平凡解。

实验关键数据¶

主实验¶

评估在两套具有挑战性的基准系统上展开：包含 15 个复杂多势阱动力系统的 Procedural Multibasin 基准（均值吸引盆数 4.2）以及包含 10 个典型混沌流系统的 Dysts 基准。测试集均使用独立抽样轨迹，报告各系统在 15 个独立随机种子下四分位均值（IQM）的跨系统算术平均均方误差（MSE）。

| 模型架构 | Multibasin H=100 ↓ | Multibasin H=500 ↓ | Multibasin H=1000 ↓ | Dysts H=100 ↓ | Dysts H=2000 ↓ | Dysts H=4000 ↓ | 条件熵 $H(B \mid F_{\rm abs})$ ↓ | 支撑族数 $|\overline{F_{\rm abs}}|$ | |---|---|---|---|---|---|---|---|---| | LISTA (SKAE, 本文) | 0.0292 | 0.0895 | 0.106 | 7.59×10⁻⁵ | 0.339 | 1.27 | 0.0348 | 4.3 | | LISTA-BD | 0.0359 | 0.109 | 0.125 | 8.64×10⁻⁵ | 0.341 | 1.29 | 0.0560 | 4.2 | | LISTA-SB | 0.0348 | 0.102 | 0.119 | 8.47×10⁻⁵ | 0.359 | 1.30 | 0.0326 | 4.3 | | Sparse MLP-BD | 0.0283 | 0.0881 | 0.104 | 2.15×10⁻⁴ | 0.467 | 1.53 | 0.102 | 3.9 | | Sparse MLP | 0.0269 | 0.0784 | 0.0897 | 2.25×10⁻⁴ | 0.526 | 1.60 | 0.0679 | 4.0 | | Dense MLP (基线) | 0.654 | 2.54 | 2.91 | 6.17×10⁻³ | 0.851 | 1.97 | 1.31 | 1.0 | | DMD (经典) | 1.77 | 2.81 | 2.97 | 0.747 | 3.01 | 3.21 | – | – | | Poly. EDMD (Re-lifted) | 1.73 | 2.71 | 2.86 | 1.64×10⁻³ | 0.964 | 1.85 | – | – | | RBF EDMD (Re-lifted) | 1.58 | 2.52 | 2.64 | 1.71×10⁻³ | 1.00 | 2.00 | – | – |

消融实验¶

为验证隐空间支撑在机制层面的因果必要性，在多势阱系统上进行隐状态坐标干预实验（预测视界 $H=21$）。干预仅修改初始隐编码 $z_0$，保持演化过程中不重新编码，检验扰乱激活集合对动力学外推的破坏程度。

干预配置	累计 MSE (均值 ± 标准差) ↓	累计 MSE (中位数 [IQR]) ↓	相对标准外推劣化倍数	说明
标准外推 (Standard Rollout)	0.0112 ± 0.0140	0.00735 [0.00488, 0.0122]	1.0×	保持模型自主诱导的正常激活支撑
强制抹除 Top-1 激活分量	0.670 ± 0.639	0.542 [0.189, 0.700]	~60×	将绝对值最大的非零系数强制置零
强制抹除 Top-2 激活分量	1.02 ± 0.625	0.922 [0.605, 1.19]	~91×	将前 2 个最大非零系数强制置零
强制抹除 Top-3 激活分量	2.04 ± 1.49	1.67 [1.30, 2.02]	~182×	将前 3 个最大非零系数强制置零
强制抹除 Top-5 激活分量	4.07 ± 3.82	2.33 [1.77, 4.48]	~363×	将前 5 个最大非零系数强制置零
强制抹除 Top-10 激活分量	10.5 ± 5.67	8.41 [6.22, 13.3]	~937×	移除前 10 个主导激活坐标
随机支撑重排 (Random Support)	2060 ± 2590	1100 [482, 2610]	>180,000×	保留非零系数值，但随机挪动到原本静默的坐标位置

关键发现¶

稀疏隐编码对多吸引子预测带来阶跃式提升：在多势阱基准长视界（$H=1000$）下，Dense MLP 误差高达 2.91，而各类稀疏自编码器维持在 0.0897 ~ 0.125，预测均方误差降低了 23 到 32 倍；在混沌流预测中，LISTA 在 $H=4000$ 步下同样显著领先 dense 基线（1.27 vs 1.97）。
坐标干预证明支撑具有功能必要性：随机重排激活坐标（保持数值完全不变）导致预测误差直接暴增超过 5 个数量级（累计 MSE 飙升至 2060），证明稀疏编码器学到的活跃维度并非数值伪影，而是与全局转移矩阵列向量高度协同的特异性动力学通道。
无监督涌现动力学吸引盆机制变量：在深层吸引盆测试样本中，LISTA 学习到的支撑族与真实吸引盆标签的条件熵仅为 0.0348（Dense MLP 则完全坍缩为一个单一支撑族，条件熵高达 1.31）。在 225 个系统-种子评估单元中，LISTA 实现了 175 次与真实吸引盆的一对一完美映射。

亮点与洞察¶

离散支撑与连续坐标的优雅统一：通过在连续线性算子框架下引入稀疏编码归纳偏置，巧妙地利用离散的活跃索引作为局部动力学机制判别器，无需离散采样或混合高斯等显式聚类假设。
反直觉的单一转移矩阵适应多动力学律：仅依赖单一全局可学习矩阵 $K$，凭借稀疏激活对矩阵列的子集选择机制，便足以支撑互不相容的多稳态局部线性演化，模型参数极其简洁高效。
机制可解释性的因果级检验：论文没有停留在“相关性可视化”的浅层解释，而是设计了针对隐层支撑的因果干预实验，严密证明了支撑索引直接决定了物理轨迹的演化方向。

局限与展望¶

分界线（Separatrix）附近的敏感脆弱性：在接近吸引盆分界线或鞍点的不稳定流形区域，极小的观测空间扰动就会引发激活支撑的剧烈跳变与碎片化，模型尚无法作为全域高可靠的吸引盆判别器。
低维确定性系统的实验边界：验证主要基于低维合成多势阱与经典常微分方程混沌流系统，对于高维偏微分方程、带有强测量噪声或部分可观测的时序系统，稀疏支撑机制的鲁棒性尚待深入检验。
后验聚类规则依赖启发式超参数：目前的支撑族构建依赖固定的 Jaccard 相似度阈值（$\tau=0.5$）与贪心贪婪聚类，未来工作若能将离散支撑族的正则化直接融入端到端训练目标将更为优雅。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将 LISTA 稀疏编码的活跃支撑严密形式化为多稳态动力系统的无监督机制变量，立意极为深刻。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 15 个多势阱系统与 10 个混沌系统，配合详实的统计检验与深度的因果干预分析，论证极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 数学推导清晰严谨，从动力学系统理论瓶颈自然引出稀疏归纳偏置，逻辑链条一气呵成。
价值: ⭐⭐⭐⭐⭐ 为非线性非平稳动力系统、切换系统控制及物理驱动的 AI 建模提供了极具启发性的统一分析工具。