Universal Approximation Theorems for Dynamical Systems with Infinite-Time Horizon Guarantees¶

会议: NeurIPS 2026
arXiv: 2602.08640
OpenReview: https://openreview.net/forum?id=JFUIDA4w6C
代码: https://github.com/Asagodi/uap-infinite-time-code
领域: 优化/理论
关键词: 动力系统、神经ODE、通用近似定理、结构稳定性、多稳态

一句话总结¶

针对现有动力系统逼近理论局限于有限时间域或单吸引子衰减记忆系统的理论空白，本文基于拓扑结构稳定性理论建立了首个多稳态连续动力系统的无限时间域通用近似框架，提出了精度与可靠性解耦的 \(\varepsilon\)-\(\delta\) 逼近度量，并在固定点、极限环和连续吸引子三类动力学基元上证明了有限规模神经ODE的无限时间轨迹保真性。

研究背景与动机¶

循环神经网络（RNN）和神经普通微分方程（Neural ODE）已被广泛用作神经计算和复杂时序动态的建模工具，经典理论亦证明了它们在紧致时间区间上的通用逼近能力。然而，现有的理论保证与实际物理和生物神经系统的计算需求之间存在巨大鸿沟。传统的有限时间逼近界高度依赖 Grönwall 不等式，其误差随时间呈指数爆炸，导致模型在较长或无限时间跨度上的行为完全失控；而少数扩展到无限时间跨度的理论又严格要求系统具备“衰减记忆特性”（Fading Memory Property, FMP）或全局渐近稳定平衡点，即所有轨迹最终必须遗忘历史并收敛到唯一的稳态。

这种对单稳态的严苛限制直接排除了“多稳态”（Multistability）现象，而多稳态正是认知计算与动态物理系统的核心动力学基元——例如工作记忆依赖于自持的多个稳态吸引子，决策机制依赖于不同吸引盆（Basins of Attraction）之间的选择竞争，而节律性运动控制则依赖于极限环振荡。若将有限时间训练的模型直接外推至无限时间，模型必然遭遇三种根本性的拓扑失效模式：一是分界线附近的微小扰动导致轨迹落入错误吸引盆的吸引盆失配（B-type）；二是极限环周期的微小偏差导致相位随时间单调发散累积的相位漂移（P-type）；三是连续吸引子流形因非结构稳定而在摄动下坍缩为孤立点的离散化坍缩（D-type）。

为了打破长期动态逼近的理论壁垒，本文转向拓扑动力系统的结构稳定性理论，发现在光滑紧致流形上占据主要地位的 Morse-Smale 系统对小幅度 \(C^1\) 扰动具备拓扑等价不变性，为控制长程演化提供了结构锚点。核心 idea：通过引入将轨迹精度与失配容差解耦的 \((\varepsilon, \delta)\) 逼近度量，利用 Morse-Smale 系统的结构稳定性限制吸引盆误差，结合局部周期精确匹配与网格平铺离散化技术，首次证明了有限尺寸 Neural ODE 在无限时间域 \([0,\infty)\) 内对多稳态固定点、极限环及正规双曲连续吸引子的通用逼近定理。

方法详解¶

整体框架¶

本方法的研究对象为紧致有界开集 \(\mathcal{X} \subset \mathbb{R}^n\) 上内向指向的光滑向量场 \(f \in \mathfrak{X}^1(\mathcal{X})\)，目标是用具备 \(C^1\) 通用逼近性质的假设空间（如具有光滑激活函数的 Neural ODE 向量场 \(\hat{f}\)）在无界时间域 \([0,\infty)\) 内逼近目标流 \(\varphi(t, x_0)\)。整个分析框架围绕三种目标动力学类展开：纯双曲固定点系统 \(\mathcal{F}_{\mathrm{FP}}\)、含双曲极限环系统 \(\mathcal{F}_{\mathrm{LC}}\)、以及正规双曲连续吸引子系统 \(\mathcal{F}_{\mathrm{CA}}\)。

为了度量无界时间跨度上的逼近效果并合理容纳分界线附近的拓扑跳变，本文定义了 \(\varepsilon\)-\(\delta\) 接近度（\((\varepsilon, \delta)\)-closeness）：在排除测度小于 \(\delta\) 的异常初值集合后，其余所有初值生成的全时间轨迹误差上确界均严格小于 \(\varepsilon\)。针对固定点系统，利用双曲吸引子局部的指数收缩性与鞍点稳定流形的测度为零特性；针对极限环系统，设计基于局部隆起函数（bump function）的伴随相位校正机制以彻底消除相位漂移；针对连续吸引子系统，构造紧致网格代理场将连续流形转化为密集的离散双曲吸引子骨架。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["目标系统 f 与误差容差 (ε, δ)"] --> B["动力学基元类型判定<br/>固定点 / 极限环 / 连续吸引子"]
    B --> C["C¹ 向量场逼近<br/>确立结构稳定性半径 η₀ 与有效域"]
    C --> D["时序误差消除机制<br/>局部周期校正 / 密集网格平铺"]
    D --> E["生成有限规模 Neural ODE f_hat<br/>全域满足 (ε, δ) 逼近条件"]

关键设计¶

1. \((\varepsilon, \delta)\)-接近度量与拓扑空间诱导：解耦轨迹精度与吸引盆失配

在多稳态系统中，不同吸引盆的分界线（Separatrix，即鞍点或不稳定极限环的稳定流形）是测度为零的光滑子流形。但只要逼近场 \(\hat{f}\) 与真实场 \(f\) 存在任何无穷小扰动，分界线就会发生几何位移，导致夹在两者分界线之间的微小初值区域产生发散：真实轨迹流向吸引子 \(A_i\)，而逼近轨迹流向不同的吸引子 \(A_j\)，使得长期轨迹误差必定达到吸引子间距 \(\|A_i - A_j\|\)，从而使经典的全局一致范数或 \(L^\infty\) 范数失效。针对这一拓扑障碍，论文提出了 \(\varepsilon\)-体积误差与 \((\varepsilon, \delta)\)-接近度：

\[ \|\varphi-\hat{\varphi}\|_{\varepsilon} \coloneqq \frac{1}{\operatorname{vol}(\mathcal{X})}\int_{\mathcal{X}}\mathbb{I}\left[\sup_{t\geq 0}\|\varphi(t,x_{0})-\hat{\varphi}(t,x_{0})\|\geq\varepsilon\right]dx_{0} < \delta. \]

该度量将问题解耦为两个明确的物理指标：精度参数 \(\varepsilon\) 控制占绝大多数体积的有效初值集上的轨迹追踪精度，可靠性参数 \(\delta\) 则直接度量发生吸引盆错误分配（B-type 错误）的临界失配体积。在拓扑学上，论文严格证明了以该邻域构成的集合族在动力系统空间上构成拓扑基，且与基于轨迹上确界范数的测度收敛拓扑（Ky Fan 度量）严格等价。

2. 双曲固定点系统的收缩性积分控制：用全局稳定性化解长程误差

针对由双曲固定点构成的 Morse-Smale 系统 \(\mathcal{F}_{\mathrm{FP}}\)，传统微分方程数值解法的 Grönwall 误差界为 \(\frac{\|f-\hat{f}\|_{C^0}}{L}(e^{Lt}-1)\)，随时间呈指数发散。论文的关键突破在于将演化过程严格划分为“瞬态接近期”与“渐近线性化期”。由于吸引子局部的 Jacobian 矩阵特征值均具有负实部，设最慢收缩率为 \(\lambda = \min_i |\operatorname{Re}(\mu_i)| > 0\)，流的变分方程解满足指数衰减。在剔除分界线附近测度小于 \(\delta\) 的管状邻域后，有效初值区域 \(\mathcal{V}\) 内的轨迹在有限时间 \(T^*(\eta)\) 内必然进入各吸引子的局部双曲线性化区域。通过常数变易法（Variation of Constants），全时程轨迹误差被严格定界为：

\[ \sup_{t \ge 0}\|\varphi(t,x_0) - \hat{\varphi}(t,x_0)\| \le \int_0^t \|D\varphi_{s,t}\| \cdot \|f - \hat{f}\|_{C^0} ds \le \frac{K \nu}{\lambda}, \]

其中 \(K \ge 1\) 为瞬态增长常数，\(\nu = \|f-\hat{f}\|_{C^0}\)。当所选取的 \(C^1\) 扰动小于结构稳定半径且满足 \(\nu < \min(\eta, \lambda\varepsilon/K)\) 时，全局轨迹误差在无限时间跨度内一致保持在 \(\varepsilon\) 以内，彻底阻断了误差随时间的扩散。

3. 局域伴随周期匹配：消除极限环振荡的相位漂移失效

对于包含双曲极限环的系统 \(\mathcal{F}_{\mathrm{LC}}\)，即使向量场在 \(C^1\) 范数下极其接近，由 Fenichel 定理保证生成的极限环 \(\tilde{\gamma}_i\) 其固有周期 \(\tilde{T}_i\) 与真实周期 \(T_i\) 仍会存在 \(|T_i - \tilde{T}_i| = O(\|f-\hat{f}\|_{C^1})\) 的微小残差。由于相位沿轨道以角速度 \(\omega = 2\pi/T\) 积分演化，周期残差会在 \(t \to \infty\) 时引发无界的相位漂移，轨迹误差必然周期性达到极限环直径（P-type 错误）。

针对单极限环，论文证明通过全局标量缩放因子 \(c^* = \tilde{T}/T\) 重新缩放网络场 \(\hat{f} = c^* \tilde{f}\) 即可完美校准周期；而针对 \(N\) 个互相分离的共存极限环，论文在各极限环互不相交的管状邻域 \(N_i\) 内构造具有紧支集的平滑隆起函数 \(\psi_i\)，并通过隐函数定理求解多维周期匹配方程：

\[ \hat{f}(x) = \tilde{f}(x) + \sum_{i=1}^N \alpha_i^* \hat{\mathbf{\Phi}}_i(x). \]

利用极限环伴随方程（Adjoint/Phase Response Curves, PRC）解向量 \(Z_i(t)\)，论文证明当离轨串扰上界满足 \(\nu + (N-1)\zeta < \frac{1}{C_Z}\)（\(C_Z = \max_i \sup_t \|Z_i(t)\|\)）时，周期关于校正权重的 Jacobian 矩阵呈严格对角占优，从而保证多周期同步校正的可逆性。校正后的极限环周期严格匹配，将无限时间的相位漂移彻底冻结在瞬态阶段的极小几何邻域内。

4. 连续吸引子的正规双曲离散网格平铺：以有界结构化坍缩对抗结构不稳定性

神经生物学中用于编码空间朝向或连续变量的线吸引子和环状吸引子（Continuous Attractors）在动力学上具有零特征值，因而不具备结构稳定性，任何通用的网络摄动均会打破连续流形使其退化（D-type 错误）。论文指出，虽然真正的连续平衡态无法在扰动下保持，但可以通过人为构造的致密双曲吸引子网格来近似实现。

论文首先在连续流形 \(\mathcal{M}\) 上引入微弱的高频 Morse 势场扰动 \(f^\dagger(x) = f(x) - \eta_{\mathrm{tile}} \nabla V(x)\)，构造一个由有限个双曲稳定固定点（间距小于 \(\varepsilon/6\)）与交替鞍点组成的代理系统 \(f^\dagger\)。该代理系统由于固定点皆为双曲型而具备强结构稳定性，且法向具有正规双曲收缩率 \(\lambda_\perp > 0\)。随后将全时程误差精确分解为横截流形误差、纵向网格间距误差以及瞬态变易积分三项，单项各自分配 \(\varepsilon/3\) 预算。对于振荡型连续吸引子流形，论文进一步证明只要满足流形各处轨道周期一致的“等时性”（Isochronous）条件，即可结合周期匹配技术消除频率梯度引起的非均匀相位解耦，从而在工程上以极其密集的离散状态完美逼近连续记忆行为。

损失函数 / 训练策略¶

本文属于纯数学理论与分析框架，其理论保证适用于任何具备 \(C^1\) 通用逼近性质的架构（包括多层感知机 MLP、循环神经场及径向基网络 RBF）。在数值验证中，模型通过对向量场及其空间 Jacobian 联合回归的方式进行拟合，训练目标函数为：

\[ \mathcal{L}(\theta) = \frac{1}{B}\sum_{k=1}^B \left( \|\hat{f}_\theta(x_k) - f(x_k)\|^2 + \beta \|\nabla \hat{f}_\theta(x_k) - \nabla f(x_k)\|_F^2 \right). \]

采用双精度浮点数与固定步长常微分方程求解器进行轨迹积分，通过在相空间密集采样初值统计经验 \(\hat{\delta}(\varepsilon)\) 分布曲线。

此外，论文建立了拓扑保证与机器学习经验风险之间的关键桥梁——时序泛化界（Temporal Generalization Bound）。定义无限时间平均 \(L^p\) 误差为 \(\mathcal{E}_{p,\infty}(\varphi,\hat{\varphi}) \coloneqq \frac{1}{\operatorname{vol}(\mathcal{X})}\int_{\mathcal{X}} \left( \limsup_{T\to\infty} \frac{1}{T}\int_0^T \|\varphi(t,x_0) - \hat{\varphi}(t,x_0)\|^p dt \right) dx_0\)。定理证明：

\[ \mathcal{E}_{p,\infty}(\varphi,\hat{\varphi}) \le \varepsilon^p + \delta \cdot D^p, \qquad \mathrm{MSE}_\infty \le \varepsilon^2 + \delta \cdot D^2, \]

其中 \(D\) 为相空间直径。这证明了在 \((\varepsilon, \delta)\) 拓扑度量下的逼近能够直接控制训练中的长期均方误差（MSE）。

实验关键数据¶

主实验¶

论文在典型的双稳态 Duffing 系统、单/多极限环系统、连续环吸引子以及任务训练的实际循环神经网络上进行了全面的数值验证。下表展示了不同动力学基元在对应代表系统下的核心逼近性能与失配率：

动力学类型 / 系统	状态空间	理论保证分类	逼近误差范数 / 周期误差	吸引盆吻合率 / 稳态继承	经验失配率 \(\hat{\delta}(\varepsilon)\)
阻尼 Duffing 双稳态系统	2D 连续相空间	\(\mathcal{F}_{\mathrm{FP}}\)（双稳态固定点）	\(\\|f-\hat{f}\\|_{C^0} = 9.4\times 10^{-3}\)	99.96% 吸引盆吻合	\(\hat{\delta}(0.1)=0.007\), \(\hat{\delta}(0.2)=0.004\)
3D 8-固定点立方系统	3D 连续相空间	\(\mathcal{F}_{\mathrm{FP}}\)（8个双曲吸引子）	\(\\|f-\hat{f}\\|_{C^1} < 10^{-2}\)	100% 恢复 8 个稳态	\(\hat{\delta}(0.3) \le 6\times 10^{-3}\)
Van der Pol 极限环振子	2D 连续相空间	\(\mathcal{F}_{\mathrm{LC}}\)（极限环未校正）	残差周期误差 \(\\|T-\hat{T}\\|=1.25\times 10^{-3}\)	几何形态高度重合	\(t \approx 6.4\times 10^3\) 时相位漂移达全直径 \(D=5.66\)
双同轴极限环系统	2D 连续相空间	\(\mathcal{F}_{\mathrm{LC}}\)（经局部周期校正）	消除周期残差	两稳定轨与一鞍轨拓扑对齐	漂移消除，\(\hat{\delta}(0.1)\) 由 \(\approx 1.0\) 骤降至 \(0.015\)
3-bit Flip-Flop 门控 RNN	64D 隐藏状态	\(\mathcal{F}_{\mathrm{FP}}\)（真实网络重构）	连续流匹配残差场	自主状态 99.8% 盆吻合	逐位读取准确率达到 99.2%
头向角速度积分网络	64D 神经回路	\(\mathcal{F}_{\mathrm{CA}}\)（环状吸引子连续流形）	离散化为 12 汇点 + 12 鞍点	22/24 个极点位置吻合 (<0.15 rad)	时间平均 \(L^2\) 误差稳定在 \(8\times 10^{-2}\)

消融实验¶

为了验证网络规模、逼近精度与不同失败模式在各个机制下的响应行为，论文对双同轴极限环的周期校正机制以及双稳态参数反比例尺度进行了系统消融：

模型机制与实验配置	考察指标 / 现象	实验测得数值	理论机制验证说明
同轴双极限环：无周期校正	相位漂移影响比例	\(\hat{\delta}(0.5) \approx 1.0\)	未消除周期的极限环在长期演化下初值全部发散
同轴双极限环：实施周期匹配	坏集初值坍缩收敛	\(\hat{\delta}(0.05)=0.026, \hat{\delta}(0.1)=0.015\)	彻底消除相位漂移，异常集仅限中间鞍点分界线极薄区域
向量场逼近精度幂律拟合	\(\eta_0 \propto \varepsilon^a \delta^b\) 幂指数	\(a = 0.94, b = 1.02\)	验证了理论预测 \(\eta_0 = \Theta(\varepsilon\delta)\)，精度与容错呈线性对称乘积
隐层宽度规模依赖	宽度需求 \(W\) 缩放阶数	\(W \sim (\varepsilon\delta)^{-1/p}, p \in [1.1, 1.35]\)	有限宽度神经网络具有多项式参数复杂度，不需无限规模
架构无关性消融（MLP vs RNN vs RBF）	3D 立方吸引子恢复率	三种架构均达 \(\hat{\delta}(0.3) \le 6\times 10^{-3}\)	证实只要满足 \(C^1\) 通用逼近性，理论结论完全超越特定网络结构

关键发现¶

B-type 吸引盆误差严格局域化：在阻尼 Duffing 实验中，8100 个网格初值中仅有 33 个初值跨越吸引盆，且误差严格集中在鞍点稳定流形构成的超薄分界带上；一旦偏离分界带，轨迹误差迅速压低至 \(10^{-3}\) 数量级。
有限时间验证对 P-type 相位漂移完全盲目：在 Van der Pol 实验中，仅 \(1.25\times 10^{-3}\) 的周期残差在 45 个振荡周期窗口内几乎检测不到偏差，但演化至 \(t \approx 2641\)（与理论预测 \(t^*=2657\) 吻合）时误差突然攀升并最终达到全极限环直径 \(5.66\)；这揭示了常规短程基准测试对振荡动力学模型评测的虚假安全性。
连续记忆天然离散化：连续吸引子在有限神经元网络中会被自发离散化为交替的汇点与鞍点（如环吸引子被自发切分为 12 汇点与 12 鞍点），神经 ODE 能够忠实继承这种离散骨架，从动力学机制上解释了生物工作记忆与朝向积分的微小阶梯漂移。

亮点与洞察¶

拓扑结构稳定性破解长程误差发散：突破了传统动力系统逼近依赖局部 Grönwall 引理导致误差随时间指数爆炸的百年范式，首次巧妙借用 Palis-Smale 结构稳定性定理，把无限时间轨迹的一致保真性锚定在拓扑等价不变性上。
\((\varepsilon, \delta)\) 测度拓扑的理论自洽性：诚实承认多稳态动力系统在分界线处存在物理上不可避免的跳变失效，发明了解耦“高精度”与“低失配测度”的概率测度拓扑，并将其同经典泛函分析中的 Ky Fan 度量建立同构，理论构建极为严密。
跨学科诊断工具箱的建立：将时序模型的长期失效明确划分为“吸引盆失配（B-type）”、“相位漂移（P-type）”与“离散化坍缩（D-type）”，为计算神经科学与动力系统机器学习提供了统一的错误归因诊断语言。

局限与展望¶

存在性与可学习性之间的鸿沟：定理给出了理想逼近场 \(\hat{f}\) 的存在性证明，但实际中利用反向传播端到端训练长序列 Neural ODE 极易遭遇梯度消失与梯度爆炸，如何设计具备强归纳偏置的稳定优化算法仍有待探索。
混沌系统的天然排除：受限于一致轨迹跟踪的度量定义，具有正 Lyapunov 指数的混沌吸引子（如 Lorenz 吸引子）对初值高度敏感，任何微小的逼近均会导致轨迹指数级分离，因而被本框架明确排除。
非自自治与随机系统的扩展挑战：当前定理主要建立在自治光滑常微分方程之上，而实际生物神经网络普遍受到时变外部感知输入驱动且伴随膜电位随机噪声，将保证推广至非自自治拉回吸引子（Pullback Attractors）及随机微分方程具有重要理论价值。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立多稳态动力系统的无限时间域通用逼近框架，彻底填补了该领域的长期理论空白。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖解析低维系统、经典物理振子以及真实任务训练的高维循环神经网络，理论推导与数值检验高度自洽。
写作质量: ⭐⭐⭐⭐⭐ 数学严密，拓扑概念与物理直觉阐述清晰，结构层次极其规范。
价值: ⭐⭐⭐⭐⭐ 为计算神经科学、神经动力学模型以及类脑计算的机制可解释性提供了里程碑式的理论支撑。