PAC-Bayesian Bounds for Learning Partially Observed Stochastic Linear Time-Invariant State-Space Systems with Inputs and Sub-Gaussian Noise¶

会议: NeurIPS 2026
arXiv: 2609.08740
OpenReview: https://openreview.net/forum?id=FpjDuXISKf
领域: 学习理论
关键词: PAC-Bayes bounds, Linear Time-Invariant Systems, System Identification, Sub-Gaussian Noise, Generalization Gap

一句话总结¶

针对带外生输入和亚高斯无界噪声的部分可观测随机线性时不变状态空间系统，本文建立了首个关于泛化差距为 $\mathcal{O}\big(\frac{(\ln N)^r}{\sqrt{N}}\big)$ 且对置信度呈对数依赖 $\mathcal{O}(\ln(1/\delta))$ 的算法无关 PAC-Bayes 上界，并导出了 MEP、MAP 和 Gibbs 采样的参数估计与 $H_2$ 传递函数有限样本误差界。

研究背景与动机¶

线性时不变（LTI）系统辨识与动态预测是现代控制理论与时间序列学习的基石。在经典学习理论中，概率近似正确（PAC）及 PAC-Bayesian 分析通常假设训练样本满足独立同分布（i.i.d.）。然而在实际物理动力系统与循环神经网络（RNN）场景下，观测数据通常来源于单条连续时间序列，其内部存在强烈的动态时间相关性，且系统内部状态无法被直接完全观测。尽管自回归模型（AR / ARMA）已有部分 PAC 理论探索，但实际工程中最普遍的状态空间模型（包含潜在状态、控制输入与观测方程）仍缺乏通用的泛化保证工具。

现有针对动态系统 PAC-Bayes 界的研究面临着显著的理论瓶颈。早期针对 LTI 系统的结果往往仅适用于无控制输入的自主系统，或者严苛依赖于噪声与信号严格有界以及 Lipschitz 损失函数的假设；而在实际控制和系统辨识中，最标准的评价准则往往是无界的二次损失（均方误差），且系统通常受到广泛存在的亚高斯无界扰动影响。此外，近期基于 Rényi 散度建立的界对置信水平的依赖退化为较差的 $\mathcal{O}(1/\delta)$，而非理想的对数依赖 $\mathcal{O}(\ln(1/\delta))$；而控制领域基于最小二乘的有限样本参数辨识工作又绑定于特定具体算法，无法提供算法无关的泛化差距保证。

解决这一困境的关键在于如何克服单轨迹非 i.i.d. 观测、状态截断瞬态偏差以及亚高斯重尾与二次损失无界性这三重挑战。本文立足于系统理论的弱相关马尔可夫参数衰减性质，通过引入无限历史代理误差并对亚高斯噪声做对数级阈值截断，成功在一般先验与后验测度下建立了统一的高概率泛化与参数收敛保证。核心 idea：利用稳态卡尔曼形式构建无限历史代理误差以消除瞬态初始状态偏差，结合马尔可夫参数弱相关混合衰减与亚高斯噪声对数截断技术，建立收敛率为 $\mathcal{O}\big(\frac{(\ln N)^r}{\sqrt{N}}\big)$ 且置信度为 $\mathcal{O}(\ln(1/\delta))$ 的 PAC-Bayes 泛化界与参数估计界。

方法详解¶

整体框架¶

本文考虑由未知随机稳态 LTI 系统生成的数据序列 $\mathcal{D} = \{(\mathbf{y}(t), \mathbf{u}(t))\}_{t=0}^{N-1}$，其中 $\mathbf{y}(t)$ 为输出向量，$\mathbf{u}(t)$ 为外生输入，新息过程 $\mathbf{e}_g(t)$ 为均值为零的独立同分布亚高斯向量。学习的目标是从参数族 $\Theta$ 中寻找最优预测器 $\hat{\mathbf{y}}_\theta(t|0)$，使其在长期部署下的真实稳态风险 $\mathcal{L}(\theta) = \lim_{t_0 \to -\infty} \mathbf{E}[\ell(\mathbf{y}(t), \hat{\mathbf{y}}_\theta(t|t_0))]$ 最小。整个理论框架从动力学系统建模出发，构建无限过去代理经验误差解耦瞬态误差，利用混合参数与截断技术控制矩母函数，最终推导任意后验分布的泛化差距与特定估计器（MAP/MEP）的参数收敛界。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单轨迹动态数据输入<br/>y(t), u(t) 及亚高斯噪声 e_g(t)"] --> B["无限历史代理分解<br/>真实误差与有限历史经验误差解耦"]
    B --> C["弱相关混合与亚高斯截断<br/>利用马尔可夫参数衰减与对数截断控界"]
    C --> D["二次损失等价转化<br/>高概率误差一致包络与 Lipschitz 映射"]
    D --> E["PAC-Bayes 统一泛化界<br/>O( (ln N)^r / sqrt(N) ) 及对数置信度"]
    E --> F["特定估计器参数误差转化<br/>基于强凸性与持续激励导出收敛界"]

关键设计¶

1. 无限历史代理分解：消除有限观测序列的初始状态瞬态偏差 在实际系统部署中，预测器从零时刻 $t_0=0$ 开始启动且初始状态设为零，即 $\hat{\mathbf{x}}(0)=0$；然而真实物理数据生成器处于已运行无限时间的稳态。直接比较真实风险 $\mathcal{L}(\theta)$ 与有限历史经验风险 $\hat{\mathcal{L}}_N(\theta)$ 会导致由于初始状态未知而产生的瞬态衰减偏差与动态随机依赖纠缠在一起。为此，本文构造了一个理想的无限历史辅助经验误差： $$V_N(\theta) = \frac{1}{N}\sum_{t=0}^{N-1} \ell(\mathbf{y}(t), \hat{\mathbf{y}}_\theta(t)), \quad \hat{\mathbf{y}}_\theta(t) = \lim_{t_0 \to -\infty} \hat{\mathbf{y}}_\theta(t|t_0)$$ 由于平稳性满足 $\mathbf{E}[V_N(\theta)] = \mathcal{L}(\theta)$，泛化差距被精确分解为两个独立部分： $$\epsilon(\mathcal{L}(\theta) - \hat{\mathcal{L}}_N(\theta)) = \epsilon(\mathcal{L}(\theta) - V_N(\theta)) + \epsilon(V_N(\theta) - \hat{\mathcal{L}}_N(\theta))$$ 其中第二项为纯瞬态误差，其总和受制于预测器马尔可夫参数的弱相关混合系数 $\theta_\infty(\alpha_\theta) = \sum_{k=0}^\infty k \|\alpha_\theta(k)\|_2$；第一项则是平稳弱相关序列的均值偏差。该解耦使得对瞬态偏差的处理转变为对确定性卷积核衰减的解析控制。

2. 弱相关混合与亚高斯截断：攻克单轨迹非 i.i.d. 与无界噪声的集中不等式瓶颈 数据沿时间轴的高度自相关性以及噪声 $\mathbf{e}_g(t)$ 的无界亚高斯性，使得传统依赖样本独立性或有界信号的 McDiarmid 不等式完全失效。本文利用系统矩阵 Schur 稳定时马尔可夫参数的指数衰减特性，引入弱相关混合系数 $G_e, G_{e,1}$ 来量化输入输出过程对过去的记忆衰减速率。针对亚高斯无界扰动，设计了关于样本规模对数增长的截断阈值： $$C = \frac{2\ln(N)}{K \|\alpha_g\|_{\ell_1}}, \quad K = \min\{1, \|\bar{\alpha}\|_{\ell_1}\}$$ 将噪声过程分解为有界截断主干 $\bar{\mathbf{e}}_g(t) = \mathbf{e}_g(t) \chi(\|\mathbf{e}_g(t)\| \le C)$ 与小概率尾部扰动。通过精确控制截断引起的一致经验误差扰动矩母函数，结合 Rio 针对弱依赖过程的集中不等式，克服了由于单轨迹长时间自相关引起的方差膨胀，证明了即使在无界亚高斯噪声下，依然能保持 $\mathcal{O}(\ln(1/\delta))$ 的高置信度指数型集中。

3. 二次损失等价转化与参数估计误差转化：从泛化差距到系统矩阵与传递函数恢复 系统辨识中最关键的评估准则是二次均方误差损失 $\ell(y, \hat{y}) = \|y - \hat{y}\|_2^2$，但二次损失非 Lipschitz 且在无界噪声下可能任意大。本文证明了在至少 $1 - \frac{2\delta}{3}$ 的高概率下，预测残差在时间轴上满足一致包络界： $$\max_{0 \le t < N} \|\mathbf{y}(t) - \hat{\mathbf{y}}_\theta(t)\|_2 \le C_{qd} = 6 G_e \|\mathbf{e}_g\|_{\psi_2} \sqrt{\ln\left(\frac{3N^2}{2\delta}\right)}$$ 由此将全局二次损失等价转化为一个等效截断阈值为 $C_{qd}^2$ 的局部 Lipschitz 损失，其有效 Lipschitz 常数按 $L_{qd} = \mathcal{O}(\sqrt{\ln(N^2/\delta)})$ 缩放，从而将速率推演收敛为 $r=3/2$。进一步，当真值存在且真实风险强凸（曲率下界为 $m_\Theta$）以及输入信号满足持续激励条件（谱密度满足 $\Phi_{\mathbf{w}}(iz) \succeq m_{\mathbf{w}} I$）时，利用强凸性梯度下界与频域 Parseval 等式，将泛化界无缝桥接为系统参数与 $H_2$ 传递函数误差： $$\|\theta_\star - \theta_{true}\|_2^2 \le \frac{\mathcal{L}(\theta_\star) - \mathcal{L}(\theta_{true})}{m_\Theta}, \quad \|H_{\theta_{true}} - H_{\theta_\star}\|_{H_2}^2 \le \frac{\mathcal{L}(\theta_\star) - \mathcal{L}(\theta_{true})}{m_{\mathbf{w}}}$$

损失函数 / 训练策略¶

在学习算法选择上，理论结果覆盖了基于 Gibbs 后验的统一类族： $$\rho_{\text{Gibbs}}(\theta) = \frac{\pi(\theta)\exp(-\lambda_N \hat{\mathcal{L}}_N(\theta))}{\int_\Theta \pi(\theta')\exp(-\lambda_N \hat{\mathcal{L}}_N(\theta')) d\theta'}, \quad \lambda_N = \frac{\sqrt{N}}{2L(\ln N)^r}$$ 具体估计准则包含： - 最大后验估计（MAP）：$\theta_{\text{MAP}} = \arg\min_{\theta \in \Theta} \big(\hat{\mathcal{L}}_N(\theta) - \frac{1}{\lambda_N}\ln \pi(\theta)\big)$，直接对应于经典的带正则化预测误差法（Regularized PEM）和最大似然估计。 - 后验均值估计（MEP）：$\theta_{\text{MEP}} = \mathbf{E}_{\theta \sim \rho_{\text{Gibbs}}} [\theta]$，通过贝叶斯马尔可夫链蒙特卡洛（MCMC）进行后验期望采样。 - 单次后验抽样（Single Draw）：从 $\rho_{\text{Gibbs}}$ 中直接随机抽取单一假设模型。

实验关键数据¶

主实验¶

论文通过严格数学证明确立了不同噪声假设与损失函数下 PAC-Bayes 上界的渐近收敛率，并与已有文献的泛化与参数界进行了全方位对比。

场景 / 损失类型	噪声假设	本文 PAC-Bayes 泛化界	经典/已有 PAC-Bayes 界	置信度依赖	适用算法范围
有界噪声 / 任意损失	有界 $\\|e_g(t)\\|_\infty \le c_e$	$\mathcal{O}\big(\frac{1}{\sqrt{N}}\big)$	$\mathcal{O}\big(\frac{1}{\sqrt{N}}\big)$ (Eringis 2024a)	$\mathcal{O}(\ln(1/\delta))$	任意后验分布
Lipschitz 损失	亚高斯无界噪声	$\mathcal{O}\big(\frac{\ln N}{\sqrt{N}}\big)$	未知 / 无界下无有效保证	$\mathcal{O}(\ln(1/\delta))$	任意后验分布
二次损失 (Quadratic)	亚高斯无界噪声	$\mathcal{O}\big(\frac{(\ln N)^{3/2}}{\sqrt{N}}\big)$	$\mathcal{O}\big(\frac{1}{\delta \sqrt{N}}\big)$ (Eringis 2024b, Rényi)	$\mathcal{O}(\ln(1/\delta))$	任意后验分布
参数估计 (MAP/MEP)	亚高斯 + 二次损失	$\mathcal{O}\big(\frac{(\ln N)^{5/2}}{\sqrt{N}}\big)$	$\mathcal{O}\big(\frac{\ln N}{\sqrt{N}}\big)$ (最小二乘专属)	$\mathcal{O}(\ln(1/\delta))$	PEM/MAP/MEP 等泛算法

消融实验¶

消融分析集中在不同学习算法（单次抽样、后验均值 MEP、最大后验 MAP）在泛化差距、Oracle 超额风险以及参数空间欧氏距离与传递函数 $H_2$ 范数界上的常数膨胀与概率失败率对比。

估计准则	评估目标	误差上界阶数	额外假设需求	成立概率下界
Gibbs 单次抽样 (Single Draw)	经验泛化差距 (11)	$\mathcal{O}\big(\frac{(\ln N)^{r+1}}{\sqrt{N}}\big)$	紧致/高斯先验 + Lipschitz 模型	$1 - (2 + r_{\text{Lip},1})\delta$
Gibbs 单次抽样 (Single Draw)	超额真实风险 (12)	$\mathcal{O}\big(\frac{(\ln N)^{r+1}}{\sqrt{N}}\big)$	紧致/高斯先验 + Lipschitz 模型	$1 - 2\delta$
后验均值 (MEP)	参数误差 $\\|\theta_\star - \theta_{true}\\|_2^2$	$\mathcal{O}\big(\frac{(\ln N)^{r+1}}{m_\Theta \sqrt{N}}\big)$	强凸性 (SConv)	$1 - 2\delta$
最大后验 (MAP)	参数误差 $\\|\theta_\star - \theta_{true}\\|_2^2$	$\mathcal{O}\big(\frac{(\ln N)^{r+1}}{m_\Theta \sqrt{N}}\big)$	强凸性 (SConv)	$1 - (2 + r_{\text{Lip},1})\delta$
全部三类准则	$H_2$ 传递函数误差	$\mathcal{O}\big(\frac{(\ln N)^{r+1}}{m_{\mathbf{w}} \sqrt{N}}\big)$	可实现性 (Real) + 持续激励 (PE)	$1 - 2\delta$ (MEP/抽样) / $1 - (2+r_{\text{Lip},1})\delta$ (MAP)

关键发现¶

对数置信度改善：相比于基于 Rényi 散度的次优界（置信度为多项式级 $\mathcal{O}(1/\delta)$），本文界完全恢复了指数级集中度的 $\mathcal{O}(\ln(1/\delta))$，在严格置信需求（如 $\delta = 10^{-4}$）下理论保证紧致了数个数量级。
系统稳定性与范数依赖：上界常数单调递增于噪声的亚高斯范数 $\|\mathbf{e}_g\|_{\psi_2}$ 以及数据生成器与预测器的马尔可夫参数 $\ell_1$ 范数与混合系数；谱半径越远离单位圆（系统阻尼越强），瞬态与自相关记忆衰减越快，界越紧致。
通用性与收敛代价权衡：在参数估计上，本文得到的率 $\mathcal{O}((\ln N)^{r+1}/\sqrt{N})$ 比专为普通最小二乘定制的 $\mathcal{O}(\ln N/\sqrt{N})$ 多出轻微的对数因子，但换取了对任意正则化项、非线性先验以及一般 MAP/PEM 辨识算法的普适支持。

亮点与洞察¶

无限历史代理构造巧妙解耦瞬态干扰：通过在理论层面引入 $t_0=-\infty$ 的理想平稳输出预测过程，把非平稳的零状态启动瞬态误差转化为收敛的卷积余项，使得非独立平稳过程的中心极限技术得以平滑切入。
重尾亚高斯在动力系统中的首个完整闭环：摆脱了动力系统学习理论中长期依赖“信号严格有界”或“人工投影硬截断”的脱离实际假设，首次将自然满足物理热噪声的亚高斯过程无缝嵌入状态空间理论。
理论成果直接支撑 RNN 泛化拓展：由于线性时不变状态空间系统本质上是线性激活下的循环神经网络（Linear RNN），本文给出的 PAC-Bayes 框架为进一步攻克非线性循环网络在单轨迹动态序列下的泛化界提供了明确的路线图。

局限与展望¶

收敛速率对数因子偏保守：在二次损失无界噪声情况下，泛化界阶数为 $\mathcal{O}((\ln N)^{3/2}/\sqrt{N})$，参数界为 $\mathcal{O}((\ln N)^{5/2}/\sqrt{N})$，理论分析中的多次截断与一致并集界引入了额外的对数因子，未来或可通过链式法则（Chaining）或精细的 Dudley 熵积分进一步收敛。
强凸性与可实现性约束：参数误差界要求系统满足可实现性假定（真值位于模型类内）且真实风险强凸；在模型欠拟合或严重过参数化的非线性深度动力系统场景下，强凸性并不成立。
计算实现与高维扩展：高维矩阵参数空间下的 Gibbs 后验采样（MCMC）面临严重的维数灾难，未来亟需研究变分推断（Variational Inference）与 PAC-Bayes 界的联合优化算法。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立了带输入及亚高斯噪声的部分可观测 LTI 状态空间系统的 PAC-Bayes 上界，彻底解决了无界二次损失与对数置信度难题。
实验充分度: ⭐⭐⭐⭐☆ 作为纯理论突破论文，数学推导极为严谨，提供了涵盖定理、引理、推论及详细常数刻画的完备理论框架。
写作质量: ⭐⭐⭐⭐⭐ 符号系统高度规范，数学表述流畅且系统理论动机与直觉阐述清晰到位。
价值: ⭐⭐⭐⭐⭐ 为控制系统辨识与循环神经网络建立了一流的统计学习理论保证基石，打通了控制理论与现代机器学习泛化界的壁垒。

场景 / 损失类型	噪声假设	本文 PAC-Bayes 泛化界	经典/已有 PAC-Bayes 界	置信度依赖	适用算法范围
有界噪声 / 任意损失	有界 \(\\|e_g(t)\\|_\infty \le c_e\)	\(\mathcal{O}\big(\frac{1}{\sqrt{N}}\big)\)	\(\mathcal{O}\big(\frac{1}{\sqrt{N}}\big)\) (Eringis 2024a)	\(\mathcal{O}(\ln(1/\delta))\)	任意后验分布
Lipschitz 损失	亚高斯无界噪声	\(\mathcal{O}\big(\frac{\ln N}{\sqrt{N}}\big)\)	未知 / 无界下无有效保证	\(\mathcal{O}(\ln(1/\delta))\)	任意后验分布
二次损失 (Quadratic)	亚高斯无界噪声	\(\mathcal{O}\big(\frac{(\ln N)^{3/2}}{\sqrt{N}}\big)\)	\(\mathcal{O}\big(\frac{1}{\delta \sqrt{N}}\big)\) (Eringis 2024b, Rényi)	\(\mathcal{O}(\ln(1/\delta))\)	任意后验分布
参数估计 (MAP/MEP)	亚高斯 + 二次损失	\(\mathcal{O}\big(\frac{(\ln N)^{5/2}}{\sqrt{N}}\big)\)	\(\mathcal{O}\big(\frac{\ln N}{\sqrt{N}}\big)\) (最小二乘专属)	\(\mathcal{O}(\ln(1/\delta))\)	PEM/MAP/MEP 等泛算法

估计准则	评估目标	误差上界阶数	额外假设需求	成立概率下界
Gibbs 单次抽样 (Single Draw)	经验泛化差距 (11)	\(\mathcal{O}\big(\frac{(\ln N)^{r+1}}{\sqrt{N}}\big)\)	紧致/高斯先验 + Lipschitz 模型	\(1 - (2 + r_{\text{Lip},1})\delta\)
Gibbs 单次抽样 (Single Draw)	超额真实风险 (12)	\(\mathcal{O}\big(\frac{(\ln N)^{r+1}}{\sqrt{N}}\big)\)	紧致/高斯先验 + Lipschitz 模型	\(1 - 2\delta\)
后验均值 (MEP)	参数误差 \(\\|\theta_\star - \theta_{true}\\|_2^2\)	\(\mathcal{O}\big(\frac{(\ln N)^{r+1}}{m_\Theta \sqrt{N}}\big)\)	强凸性 (SConv)	\(1 - 2\delta\)
最大后验 (MAP)	参数误差 \(\\|\theta_\star - \theta_{true}\\|_2^2\)	\(\mathcal{O}\big(\frac{(\ln N)^{r+1}}{m_\Theta \sqrt{N}}\big)\)	强凸性 (SConv)	\(1 - (2 + r_{\text{Lip},1})\delta\)
全部三类准则	\(H_2\) 传递函数误差	\(\mathcal{O}\big(\frac{(\ln N)^{r+1}}{m_{\mathbf{w}} \sqrt{N}}\big)\)	可实现性 (Real) + 持续激励 (PE)	\(1 - 2\delta\) (MEP/抽样) / \(1 - (2+r_{\text{Lip},1})\delta\) (MAP)