Learning Provable Neural Network Observer for Uncertain Dynamical Systems¶

会议: NeurIPS 2026
arXiv: 2609.30819
OpenReview: https://openreview.net/forum?id=yy5SiFn9vr
代码: https://github.com/Berry-Myon/LearningNeuralNetworkObserver
领域: 优化/理论
关键词: 神经网络观测器, 李雅普诺夫稳定性, 线性矩阵不等式, 不确定动态系统, 两阶段优化

一句话总结¶

针对高维复杂不确定动态系统下神经网络观测器求解李雅普诺夫线性矩阵不等式（LMI）存在的可扩展性瓶颈，提出“采样点引导李雅普诺夫预训练 + 轻量化 LMI 微调”两阶段框架，在保持严格全局稳定性证书的同时实现 2.5 倍训练加速，显著提升无人机地面效应与水下航行体涡流扰动下的跟踪精度。

研究背景与动机¶

在航空航天、等离子体控制及水下航行等安全攸关领域，动态系统普遍受到外界扰动与未建模非线性特性的严重干扰。精确估计未测系统状态及未知扰动，是实现闭环稳定与高精度轨迹跟踪的前提。滑模观测器（SMO）、扩张状态观测器（ESO）及 $H_{\infty}$ 滤波等传统方法虽然具备严密理论证明，但通常依赖局部线性化或对不确定性结构的先验假设，在面对强非线性与宽频多变扰动时估计性能明显衰退。深度神经网络具备极强的拟合能力，可用于建模复杂的黑盒不确定性，然而将深度网络引入反馈控制闭环，必须提供严格的李雅普诺夫稳定性保证。

当前保证神经网络观测器稳定性的主流途径，是通过扇区有界条件将李雅普诺夫递减条件松弛为线性矩阵不等式（LMI）约束，并求解相应的半定规划（SDP）。然而，LMI 矩阵维度随着神经网络隐藏层数与神经元数量的增加呈级数扩张。传统内点法求解器在深层高容量网络上直接计算不可行或数值崩溃；若在梯度下降训练过程中全程端到端施加全局 LMI 谱投影或高额特征值惩罚，会导致高度非凸受限优化陷入停滞或耗时极长。这导致实际应用中只能退守到表达能力受限的极微型网络，形成高拟合容量与可计算稳定性证明之间的核心矛盾。

为解决这一矛盾，本文提出解耦表达力拟合与全局认证的两阶段学习框架。核心 idea：将观测器学习拆分为两阶段，前期通过采样点引导的李雅普诺夫代理损失在紧致误差空间内快速捕获局部稳定性结构并提供优质热启动，后期从近似可行点出发进行轻量级 LMI 惩罚微调以严格满足全局稳定性证书，以极低计算代价兼顾大网络高精度估计与严格李雅普诺夫证明。

方法详解¶

整体框架¶

本文针对含非线性项与外部扰动的动力系统 $\dot{x}=Ax+Bu+B_{\omega}\mathcal{K}(x,d,t)$，构建基于残差神经网络 $\pi_{\theta}$ 的增广状态观测器，同时重构系统状态与总扰动。方法整体分为两个串行阶段：阶段 I（点引导李雅普诺夫预训练）在预设紧致误差域内抽取误差样本，最小化带有边界松弛的单点李雅普诺夫递减上界损失，使网络快速收敛到局部稳定区域；阶段 II（LMI 约束微调）利用预训练参数作为热启动，通过最大特征值惩罚优化确保网络权值全局满足线性矩阵不等式 $\mathcal{H}(\theta)\prec 0$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["不确定动力系统状态输出<br/>测量值 y 与输入 u"] --> B["增广误差反馈残差架构<br/>状态-扰动联合估计网络"]
    B --> C["阶段 I：点引导李雅普诺夫预训练<br/>紧致误差域采样 + 递减上界惩罚"]
    C --> D["阶段 II：轻量化 LMI 谱微调<br/>最大特征值软惩罚 + 全局稳定性恢复"]
    D --> E["可证明稳定的神经网络观测器<br/>输出在线扰动补偿控制指令"]

关键设计¶

1. 增广误差反馈残差架构：分离扰动估计与状态重构

针对传统观测器难以解耦高频不确定性的问题，本文采用含前馈残差连接的深度网络参数化非线性注入项 $\nu(\eta,\theta)=[\pi_{\theta_{1}}(\eta_{1})^{\top}, \pi_{\theta_{2}}(\eta_{1})^{\top}]^{\top}$。以尺度化状态估计误差 $\eta_{1}=\epsilon^{-1}(x-\hat{x}_{1})$ 与扰动误差 $\eta_{2}=\mathcal{K}(x,d,t)-\hat{x}_{2}$ 构成增广误差系统 $\dot{\eta}=A_{\epsilon}\eta-\nu(\eta,\theta)+\epsilon w(t)$。残差网络在每层神经元间引入跨层直连线性项 $W^{[L+2]}$，使观测器退化时可自然退火为传统线性极点配置观测器，并在激活项引入双曲正切 $\tanh$ 算子，为后续构建扇区有界矩阵 $\Psi$ 和构造矩阵隔离关系奠定结构基础。

2. 阶段 I：点引导李雅普诺夫预训练：免除全局 SDP 的局部稳定域拓展

全局 LMI 约束优化在随机初始化阶段由于矩阵高度不可行，会导致梯度优化极度困难且计算昂贵。阶段 I 摒弃耗时的全矩阵判定，转而基于二次李雅普诺夫候选函数 $V(\eta)=\eta^{\top}P\eta$ 导出可计算的逐点时间导数上界 $F_{V}(\eta,\theta)$。在紧致误差状态域 $\mathcal{X}$ 内随机抽取批量样本 $\mathcal{D}=\{\eta_{i}\}_{i=1}^{N}$，构建点引导铰链损失： $$ \mathcal{L}{\mathrm{point}}(\theta)=\frac{1}{N}\sum $$ 其中 }^{N}\big[F_{V}(\eta_{i},\theta)+\xi\big]_{+}+\gamma|\theta|^{2$F_{V}(\eta,\theta)=\eta^{\top}(A_{\epsilon}^{\top}P+PA_{\epsilon}+\rho P)\eta-2\nu(\eta,\theta)^{\top}P\eta+2\epsilon M_{w}\|P\eta\|$，$\xi>0$ 为严格衰减裕度。当数据驱动项收敛为零时，理论保证各采样点严格满足导数负定性。该阶段完全通过标准随机梯度下降进行，摆脱半定规划束缚，让高容量深度网络快速学习动力学并收敛至可行解邻域。

3. 连续性扩张与概率覆盖保证：从离散采样到稠密稳定

仅在离散点处强制李雅普诺夫递减可能在未采样区域产生不稳定空隙。本文在网络满足李普希茨连续性条件 $\|\nu(\eta_{1})-\nu(\eta_{2})\|\le L_{\nu}\|\eta_{1}-\eta_{2}\|$ 的假设下，从理论上推导了由离散样本点衍生出的连续局部稳定球半径 $r_{s}$。对任意成功采样的样本点 $\eta_{s}$，当 $C_{2}=\|Q\|+2\|P\|L_{\nu}>0$ 时，稳定半径由二次方程确定： $$ r_{s}=\frac{-C_{1}(\eta_{s})+\sqrt{C_{1}(\eta_{s})^{2}-4C_{2}F_{V}(\eta_{s},\theta)}}{2C_{2}} $$ 其中 $C_{1}(\eta_{s})$ 在紧致域 $\mathcal{X}$ 上有确界。由此进一步导出全域统一最小稳定半径下界 $r_{\min}\ge \underline{r}>0$。在满支撑采样分布下，由 $T$ 个独立成功样本构成的稳定集合 $U_{T}=\bigcup_{i=1}^{T}(\mathcal{B}(\eta_{i},r_{i})\cap\mathcal{X})$ 完全覆盖紧致域 $\mathcal{X}$ 的概率满足： $$ \mathbb{P}(\mathcal{X}\subset U_{T})\ge 1-N_{\mathrm{cov}}(1-q)^{T} $$ 当采样数 $T\to\infty$ 时覆盖概率趋向于 1，从几何上解释了点引导预训练能够有效压制非可行区并平滑参数曲面的内在机理。

4. 阶段 II：轻量化 LMI 谱微调：快速收敛至全局可证明稳定

在阶段 I 获得具有优良几何特性的热启动参数 $\theta_{\mathrm{pre}}$ 后，阶段 II 引入全局矩阵隔离形式构造矩阵 $\mathcal{H}(\theta)$，将李雅普诺夫全局递减条件映射为矩阵负定判定 $\mathcal{H}(\theta)\prec 0$。微调阶段将约束构造为关于最大特征值的罚函数目标： $$ \min_{\theta}\ \mathcal{L}{\mathrm{LMI}}(\theta)=\phi\big(\lambda $$ 其中惩罚函数定义为阶梯式强惩罚项 }(\mathcal{H}(\theta))\big)+\beta|\theta|^{2$\phi(\lambda)=10^{5}\lambda$（当 $\lambda>0$）和 $0$（当 $\lambda\le 0$）。由于阶段 I 已将参数置于近似可行域，阶段 II 仅需极少量迭代步即可消除谱违例，消除从随机初始化开始优化导致的发散风险，使高容量神经网络顺利获得全局严格证书。

损失函数 / 训练策略¶

训练过程采用 Adam 优化器。阶段 I 采用截断正态分布在预设误差域内生成采样集，以学习率 $0.01$ 迭代 $50,000 \sim 100,000$ 步，损失函数为带有 $\ell_{2}$ 正则化的 $\mathcal{L}_{\mathrm{point}}(\theta)$；阶段 II 继承 $\theta_{\mathrm{pre}}$，设置增益 $\epsilon=0.01$，通过特征值惩罚函数 $\mathcal{L}_{\mathrm{LMI}}(\theta)$ 优化 $10,000 \sim 15,000$ 步，直至最大特征值降至 0 以下。

实验关键数据¶

主实验¶

在 X-29 飞行动力学基准、四旋翼无人机（Quad-UAV）近地面效应着陆/起飞、以及自主水下航行器（AUV）穿过卡门涡街复杂流场三大任务中全面评测。在 Quad-UAV 实验中对比基础 PID 与需要大量数据重新训练的 Neural Lander；在 AUV 水下仿真中对比基础非线性模型预测控制（NMPC）与扩张状态观测器（ESO）。

任务场景	控制方案	数据/训练需求	轨迹跟踪误差 (m)	扰动估计稳态 RMSE
Quad-UAV 着陆	Basic PID	无需训练	$2.2006 \pm 0.1456$	—
Quad-UAV 着陆	PID + Neural Lander (Shi et al., 2019)	40,000 点 / 每任务 88.2 s	$0.5732 \pm 0.1188$	$1.7295^{\dagger}$
Quad-UAV 着陆	PID + 本文神经观测器 (Ours)	离线单次训练 233.8 s	$\mathbf{0.1471 \pm 0.0602}$	$\mathbf{0.02788 \pm 0.01144}$
Quad-UAV 起飞	Basic PID	无需训练	$0.1255 \pm 0.0266$	—
Quad-UAV 起飞	PID + Neural Lander (Shi et al., 2019)	环境变动需重新采集训练	$0.2444 \pm 0.0297$	$0.1815 \pm 0.0257$
Quad-UAV 起飞	PID + 本文神经观测器 (Ours)	一次训练跨任务直接泛化	$\mathbf{0.0002 \pm 0.0000}$	$\mathbf{(2.588 \pm 0.638) \times 10^{-7}}$
AUV 卡门涡街	Basic NMPC	无扰动补偿	$1.4932 \pm 0.0199$	—
AUV 卡门涡街	NMPC + ESO (Guo & Zhao, 2011)	在线参数调节	$0.0959 \pm 0.0088$	$0.12520 \pm 0.01238$ ($d_v$)
AUV 卡门涡街	NMPC + 本文神经观测器 (Ours)	离线两阶段训练	$\mathbf{0.0499 \pm 0.0019}$	$\mathbf{0.04993 \pm 0.01238}$ ($d_v$)

注：$^{\dagger}$ Neural Lander 在着陆时的均值为 1.7295，中位数 0.4507，误差范围高达 [0.2534, 13.3322]。

消融实验¶

在 X-29 飞机大网络观测器（8 层 ResNet，576 个隐藏神经元）上对比训练策略，验证阶段 I 预训练与阶段 II 微调的互补性。同时对比了不同网络容量在极端结构扰动（$\sigma=0.5$）下的鲁棒性表现。

评估维度	策略 / 网络架构	优化耗时 (s)	跟踪 RMSE / 误差 (m)	稳定性成功率	备注说明
训练策略消融	仅点引导预训练 (Point-Only)	99.53	1.0317	—	训练极快，但缺少全局 LMI 认证，稳态误差大
训练策略消融	纯 LMI 梯度下降 (LMI-Only)	2210.39	0.2659	满足证书	从随机初值冷启动，高维特征值惩罚优化缓慢
训练策略消融	本文两阶段框架 (Ours)	895.31	0.2234	满足证书	获得 2.5× 训练加速，同时取得最低估计误差
结构扰动测试 ($\sigma=0.5$)	Linear Baseline (极点配置)	<1	$0.2052 \pm 0.0402$	0.49	传统线性观测器在大模型失配下抗扰急剧恶化
结构扰动测试 ($\sigma=0.5$)	Tiny NN (9 神经元)	<1	$0.2056 \pm 0.0402$	0.49	容量过低，性能与线性基线持平
结构扰动测试 ($\sigma=0.5$)	Small NN (128 神经元)	传统求解不可行	$0.0558 \pm 0.0312$	0.52	随容量增加抗扰能力逐步显现
结构扰动测试 ($\sigma=0.5$)	Large NN (576 神经元, Ours)	895.31	$\mathbf{0.0118 \pm 0.0028}$	0.56	保持高成功率同时将失配误差压低一个数量级

关键发现¶

阶段解耦显著平滑优化曲面：对于 576 神经元深层观测器，商用半定规划求解器（如 feasp）直接崩溃或不可行；直接运行 LMI 惩罚耗时超过 2210 秒。本文阶段 I 仅用 99.5 秒即建立全局大致轮廓，使阶段 II 微调总耗时缩减至 895.3 秒（加速 2.5 倍），且最终 RMSE 从 0.2659 m 进一步优化至 0.2234 m。
任务泛化性完胜前馈数据驱动拟合：Neural Lander 在起飞任务中因环境改变出现过拟合退化（误差 0.2444 m，甚至劣于基线 PID 的 0.1255 m）；而基于状态误差反馈的神经观测器仅需一次离线训练，在起飞中取得 0.0002 m 的近乎零跟踪误差。
复杂流场高频抗扰优势明显：在非稳态卡门涡街流场中，神经观测器相比于传统高阶 ESO 展现出更低的速度与扰动估计方差，使闭环 NMPC 的轨迹跟踪误差进一步下降 48.0%。

亮点与洞察¶

采样导向与谱证明解耦机制：巧妙将极其笨重的连续全局 LMI 约束分解为“非凸连续曲面上的逐点松弛拟合”和“近可行域中的凸谱微调”，兼顾了经验训练效率与形式化证明的严肃性。
李普希茨局部半径与覆盖概率闭环推导：不依赖二次光滑等严苛假设，仅利用连续李普希茨性建立局部稳定性球的代数解，并用有限覆盖定理严密建立了样本数量与紧致域全覆盖概率之间的定量关系。
具备向通用神经控制器外推的统一潜力：不仅适用于观测器，附录展示了该范式可无缝拓展至循环神经网络（RNN）鲁棒控制器合成，为学习控制系统中 SDP 维数灾难提供了通用破局思路。

局限与展望¶

紧致域假设与域外越界风险：理论局部覆盖及稳定半径推导严格限定于预设紧致域 $\mathcal{X}$。若系统遭受超预期冲击使状态跳出覆盖域，阶段 I 的概率保障将不再成立。
名义模型保真度依赖：框架依赖较为精确的名义系统矩阵 $A, B, C$。若名义结构发生极端突变或存在不可忽略的时滞，离线 LMI 证书的先验有效性可能会减弱。
未来方向：探索与在线运行时监控（Runtime Monitoring）及安全防护回退机制结合；放宽保守的扇区有界松弛，并推进针对多智能体协同系统的分布式可证明观测器设计。

评分¶

新颖性: ⭐⭐⭐⭐☆ 创造性地通过两阶段解耦方案突破深层神经网络 LMI 求解维度瓶颈，理论分析严谨。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖飞控、无人机地面效应、水下航行体涡流等多物理场高保真验证，包含完备的对比基线与消融。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰，控制理论数学推导与深度学习实验流程交待翔实，逻辑自洽。
价值: ⭐⭐⭐⭐⭐ 为安全攸关领域部署高容量深度学习模型提供了极具实用价值的计算与验证范式。