End-to-End Identifiable and Consistent Recurrent Switching Dynamical Systems¶

会议: NeurIPS 2026
arXiv: 2605.06315
领域: 学习理论
关键词: 循环切换动力系统, 可辨识性理论, 正规化流, 极大似然估计, 解缠表示

一句话总结¶

针对非平稳时序中机制切换动力学可辨识性理论与估计器近似鸿沟难题，本文首次建立了可逆生成映射下非线性循环切换动力系统的端到端可辨识性理论，并提出基于流模型与期望最大化的精确似然估计器 $\Omega\text{SDS}$，实现了渐近一致且强解缠的动力学表征学习。

研究背景与动机¶

现实世界的复杂时序数据（如气象季节变换、人类复杂舞蹈动作模式与物理系统碰撞）普遍具有非平稳与动态机制切换的本质属性。机制切换状态空间模型（Switching Dynamical Systems, SDS）通过引入离散切换变量与连续隐状态协同建模，为捕捉多模态动力学机制提供了高度契合的归纳偏置。然而，在基于深度生成模型的无监督表示学习中，模型的“可解释性”在根本上依赖于可辨识性（Identifiability）。若无法在理论上保证从观测数据分布能够唯一确定（在置换、缩放等可接受等价类下）真实的隐空间结构与转移机制，模型学得的所谓“机制”就可能只是任意参数化的经验拟合，甚至在相同观测分布下推导出截然相反的潜在动态，导致科学解释与长期外推彻底失效。

在非线性潜变量模型的无自由午餐定理制约下，现有 SDS 可辨识性研究陷入了两难妥协：要么假定分段线性等极其受限的观测生成映射以换取隐层非线性切换动力学的可辨识性（如 iSDS），要么在通用可逆映射下仅能退化假定平稳且线性的离散隐机制（如 SNICA）。更严重的是，以往工作普遍将离散切换假定为独立于连续隐状态的自主马尔可夫链（Autonomous Switching），无法建模物理碰撞等由连续状态反馈触发离散模式跃迁的真实“循环切换（Recurrent Switching）”机制。与此同时，在算法估计层面，现有深度非线性 SDS 几乎清一色依赖变分自编码器（VAE）或折叠变分推断（Collapsed-Switching Inference），变分近似分布与真实后验之间的界限差距（Approximation Gap）严重阻碍了潜在连续坐标的精准解缠与恢复。

本文的核心切入点在于打通非线性循环切换动力学在通用可逆映射下的端到端可辨识性证明链路，并彻底摒弃变分后验近似以拥抱精确似然估计。本文的核心 idea 是：在通用可逆发射映射下，利用状态粘滞性与转移似然分离性构建多条历史轨迹的满秩线性系统，证明隐空间连续变量具有仿射等价可辨识性，结合解析性与机制差异方差将等价类进一步缩减为置换与缩放，并提出基于正规化流与前后向精确推断的估计器 $\Omega\text{SDS}$ 实现参数一致估计与高维解缠。

方法详解¶

整体框架¶

模型建模由连续隐状态 $\bm{z}_{1:T} \in \mathbb{R}^m$ 与离散切换变量 $\bm{s}_{1:T} \in \{1,\dots,K\}^T$ 驱动的时序生成过程。在生成端，每一时刻的观测 $\bm{x}_t \in \mathbb{R}^n$ 通过可逆正规化流映射 $f_{\bm{\theta}_f}$ 由连续动力学特征 $\bm{z}_t$ 与外生噪声 $\bm{\varepsilon}_t \sim \mathcal{N}(\bm{0}, \sigma_{\bm{\varepsilon}}^2 \bm{I})$ 联合变换生成；在潜变量先验层，采用一阶循环马尔可夫切换模型（rMSM），离散模式转移矩阵 $Q(\bm{z}_{t-1})$ 显式依赖前一时刻的连续隐变量 $\bm{z}_{t-1}$，而连续状态转移则服从由离散机制 $s_t$ 控制的非线性高斯自回归分布 $\mathcal{N}(\bm{z}_t; \bm{m}_{s_t}(\bm{z}_{t-1}), \bm{\Sigma}_{s_t})$。

在推断与估计阶段，由于 $f$ 具备解析可逆性，编码器直接由逆映射 $f^{-1}(\bm{x}_t) = (\bm{z}_t, \bm{\varepsilon}_t)$ 精确给出，完全剥离了外生非动力学扰动；隐层序列的精确边际似然则利用离散状态的前后向动态规划算法（Forward-Backward Recursion）进行精确解析边际化，并借助期望最大化（EM）梯度上升优化整体参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["观测时序 x_1:T"] --> FExt["可逆流特征分离<br/>z_t, ε_t = f⁻¹(x_t)"]
    FExt --> RecTrans["循环转移似然分离<br/>由 z_t-1 计算 Q_lk(z_t-1) 与 m_k(z_t-1)"]
    RecTrans --> FBInfer["精确前后向平滑算法<br/>计算边际后验 γ_t,k 与二步后验 ξ_t,k,l"]
    FBInfer --> ExactEM["精确似然期望最大化梯度更新<br/>对齐 PCA 热启动与端到端 MLE 优化"]
    ExactEM --> Out["解缠隐动力学与长期外推预测"]

关键设计¶

1. 可逆映射下循环隐变量的仿射可辨识性推导 针对观测生成过程缺乏真实连续标签的本质困难，推导首先通过外生高斯噪声与可逆映射的变量代换，建立观测条件分布关于潜变量机制成分推进测度（Pushforward Measure）的混合表达： $$p_{\bm{\theta}}(\bm{x}_{t+1} \mid \bm{x}_{1:t}) = \sum_{k=1}^K p(s_{t+1}=k \mid \bm{x}_{1:t})\, \phi_k(\bm{x}_{t+1} \mid \bm{x}_t)$$ 在此基础上，设计了基于“机制粘滞性（Sticky Switching, 对角元优势）”与“转移似然分离度（Likelihood Margin $\ell^*$）”的历史轨迹构造引理。通过选取终点一致但前序历史相异的 $K$ 条观测轨迹，构造出严格对角占优的滤波后验转移矩阵，使得混合权重系统线性无关且可逆。再借助高斯测度渐近占优条件与解析函数的零测集性质，证明了跨模型间的转移混合分量对应矩阵 $\bm{\Pi}(\bm{x}_t)$ 处处为常数置换矩阵。最终利用混合对数梯度的二阶雅可比交叉项分析，不仅精确锁定了隐变量维度 $m=m'$，更证明了连续隐状态在通用可逆映射下可辨识至仿射变换等价类：$\bm{z}'_t = \bm{A}\bm{z}_t + \bm{b}$。

2. 循环先验转移与状态依赖切换过程的置换可辨识性 在固定隐变量仿射等价后，进一步解决循环切换动力学的唯一性问题。对于连续自回归函数 $\bm{m}_k(\bm{z}_{t-1})$，基于多元实解析函数的恒等定理以及高斯混合分量参数唯一性，证明了任意两个参数化模型之间的均值转移函数在全空间上重合，其机制索引仅相差一个全局固定的离散置换 $\pi \in S_K$。针对状态依赖的转移矩阵函数 $Q(\bm{z}_{t-1})$，本文突破了传统自主马尔可夫链独立于状态的简化假设，在相同端点 $\bm{z}_t = \bm{\beta}$ 周邻构建了利用前述滤波后验优势的线性方程组 $\bm{B}(\bm{z}) = \bm{A}(\bm{z}) Q(\bm{z})$。由于矩阵 $\bm{A}(\bm{\beta})$ 满足列严格对角占优，其逆矩阵处处存在；结合实解析性在开集上的重合可延拓至全空间，从而完成了整个循环切换机制 $Q_{jk}(\bm{z}_{t-1})$ 达到置换等价的可辨识性封闭证明。

3. 机制方差多样性消解仿射不确定性与严格解缠 为进一步将仿射等价矩阵 $\bm{A}$ 约束为非线性独立成分分析（Nonlinear ICA）所要求的平凡置换缩放矩阵（Permutation & Scaling），本方法深入挖掘了多机制方差结构的正则约束。对于对角协方差矩阵，定义不同机制间的方差比值矩阵 $\bm{R} \in \mathbb{R}^{\binom{K}{2} \times m}$，其元素对应成对机制方差比对数。当系统满足机制方差充分多样性假设（即方差比矩阵没有两列完全相等）时，成对机制的协方差逆乘积变换 $\bm{M}_i = \hat{\bm{\Sigma}}_{k_2}^{-1} \hat{\bm{\Sigma}}_{k_1} = \bm{A}^{-\top} \bm{D}_i^2 \bm{A}^\top$ 具有公共的特征向量基底。通过联立所有机制对的对角化特征方程，强制仿射重参数化矩阵 $\bm{A}$ 与对角矩阵对易： $$(d_{i,k}^2 - d_{i,j}^2)\, S_{kj} = 0 \quad (\forall i, k \neq j) \implies \bm{S} = (\bm{A}')^{-1}\bm{A} = \bm{P}\bm{D}$$ 这彻底消解了非对角耦合混叠，严格证明了隐变量解缠等价类仅包含坐标轴置换与各分量独立缩放，且机制数量越多、方差模式越丰富，高维特征的解缠鲁棒性越强。

4. 基于流模型与前后向算法的 $\Omega\text{SDS}$ 精确似然估计器 为将上述理论严格落地并消除 VAE 近似后验的泛化界隙，所提 $\Omega\text{SDS}$ 采用多层 TarFlow（针对一维时序向量）或多尺度 Glow（针对高维图像视频）作为可逆发射映射，显式计算雅可比行列式 $\log |\det J_{f^{-1}}(\bm{x}_t)|$。隐序列精确对数似然 $\log p(\bm{z}_{1:T})$ 则无需抽样逼近，而是将梯度转化为在隐变量后验下的完全解析数学期望： $$\nabla_{\bm{\theta}} \log p(\bm{z}_{1:T}) = \sum_{t=2}^T \sum_{k=1}^K \sum_{l=1}^K \xi_{t,k,l}(\bm{z}_{1:T}) \nabla_{\bm{\theta}} \log Q_{lk}(\bm{z}_{t-1}) + \sum_{t=2}^T \sum_{k=1}^K \gamma_{t,k}(\bm{z}_{1:T}) \nabla_{\bm{\theta}} \log p(\bm{z}_t \mid \bm{z}_{t-1}, s_t=k) + \dots$$ 其中边缘后验 $\gamma_{t,k}(\bm{z}_{1:T}) = p(s_t=k \mid \bm{z}_{1:T})$ 和两步联合后验 $\xi_{t,k,l}(\bm{z}_{1:T}) = p(s_t=k, s_{t-1}=l \mid \bm{z}_{1:T})$ 在对数空间下通过数值稳定的前后向平滑算法（Forward-Backward Recursion）递归计算。同时，针对非线性转移中多机制容易发生的“模式坍缩（State Collapse）”，引入基于 PCA 的隐状态初始对齐机制，在训练前若干 epoch 稳定特征解构，确保了在常规 MLE 正则条件下收敛至理论保证的可辨识等价类。

损失函数 / 训练策略¶

整个模型以端到端精确对数边际似然为优化目标，在训练集中对时序轨迹做梯度上升： $$\mathcal{L}(\bm{\theta}) = \sum_{t=1}^T \log |\det J_{f^{-1}}(\bm{x}_t)| + \log p(\bm{z}_{1:T}) - \frac{1}{2\sigma_{\bm{\varepsilon}}^2} \sum_{t=1}^T \|\bm{\varepsilon}_t\|_2^2 - \frac{T(n-m)}{2}\log(2\pi\sigma_{\bm{\varepsilon}}^2)$$ 在优化策略上，使用 Adam 优化器，学习率设为 $10^{-4} \sim 5\times 10^{-3}$ 并配合阶段衰减。在前 10 轮 epoch 中冻结或分离转移切换网络 $Q$ 的权重以避免早期随机梯度扰乱机制划分；在噪声增强与高维设置下引入 PCA 投影对齐辅助损失，使可逆流提取的深层动力学分量 $\bm{z}$ 快速贴合主要方差流形，随后完全转由前后向期望梯度驱动。

实验关键数据¶

主实验¶

在非线性物理动力学基准 2D 弹跳小球视频（$32\times 32$ 像素，4 类由墙壁碰撞状态反馈触发的速度机制 $K=4$）上，以观测输入序列机制识别 $F_1$、外推预测机制 $F_1$ 以及长程外推图像感知质量 LPIPS（5 帧上下文外推 20 步与 500 步）为指标，对比主流时序深层生成模型与 SDS 基线：

模型	输入机制 $F_1 \uparrow$	预测机制 $F_1 \uparrow$	LPIPS@20 $\downarrow$	LPIPS@500 $\downarrow$
VRNN	–	–	0.014	0.028
KVAE	0.105	0.105	0.053	0.324
iSDS	0.819	0.345	0.111	0.106
REDSDS	0.655	0.580	0.073	0.135
SNLDS	0.998	0.913	0.007	0.059
$\Omega\text{SDS}$ (自主切换变体 A)	0.867	0.362	0.110	0.092
$\Omega\text{SDS}$ (循环切换完整版 R)	1.000	0.932	0.003	0.027

在受控合成实验（$m=10, K=4$）中对比后验推断参数化形式对隐空间解缠均值相关系数（MCC）与机制识别的影响：

推断估计架构方案	机制识别 $F_1 \uparrow$	隐表征解缠 MCC $\uparrow$	说明
折叠变分分解 $\prod_t q(\bm{z}_t \mid \bm{x}_t) p(\bm{s} \mid \bm{z})$	0.995	0.621	机制恢复完备但隐空间表征严重纠缠
折叠变分分解 + IWAE (10 样本)	0.998	0.621	重要性重采样未能打破均场变分界隙
折叠变分分解 (双向 RNN + 前向因果 RNN)	0.990	0.622	增强后验容量对连续解缠仍无实质改善
全摊销变分后验 $q(\bm{z} \mid \bm{x}) q(\bm{s} \mid \bm{x})$ (双向 RNN)	0.757	0.629	结构学习与机制推断双重退化
$\Omega\text{SDS}$（本文流模型精确似然 + 前后向 EM）	0.993	0.977	直接优化真实似然，彻底克服变分瓶颈

消融实验与多维扩展¶

在合成数据上随着隐空间维度 $m \in \{3, 5, 10, 20\}$ 递增的深入分析表明： - 无外生噪声场景（$n=m$）：所有基于 VAE 的非线性 SDS 基线（如 NCTRL, CtrlNS, TDRL, iVAE）的解缠 MCC 随着维度上升呈断崖式下跌（$m=20$ 时大多滑落至 0.6 以下）；而 $\Omega\text{SDS}$ 在 $m=3$ 到 $m=20$ 全程保持 MCC $> 0.92$ 的高水准解缠质量。 - 循环机制消融（R vs A）：对比 $\Omega\text{SDS}$ 循环版 (R) 与自主马尔可夫版 (A)，两者在已有观测轨迹上的机制恢复 $F_1$ 分别为 1.000 和 0.867；但在未来外推 $t=65 \sim 100$ 步时，自主版跌落至 0.362，而循环版保持 0.932。这证实了连续状态反馈至离散切换对非平稳长期预测具有不可替代的决定性作用。

关键发现¶

推断方式比模型假设更致命：理论上具备可辨识性保证的模型若搭配变分推断，因后验逼近界隙与摊销误差，连续解缠性能仍会严重受损；$\Omega\text{SDS}$ 通过可逆映射与精确边际化，直接在经验数据上释放了理论可辨识性的真实上限。
循环反馈是精准长程外推的核心动力：在真实舞蹈视频（AIST Dance）与物理弹跳中，缺乏连续隐变量反馈的自主马尔可夫切换在面对边界碰撞和动作衔接时无法自发切换机制，产生严重的模态外推漂移或模糊；引入循环依赖后不仅动作模式切分高度语义化（如“向上跳跃/下蹲屈膝”），外推 500 步图像仍保持清晰锐利。

亮点与洞察¶

理论体系完备闭环：首次在通用可逆非线性发射映射下，严格推导出非线性循环切换系统的隐空间仿射可辨识性、转移模式置换可辨识性与协方差解缠充分条件，打破了过去必须牺牲观测灵活性（限制分段线性）或牺牲切换灵活性（限制自主平稳）的壁垒。
算法设计直击痛点：以正规化流的严格变量代换代替编码器后验分布假设，以解析前后向算法的期望替代离散蒙特卡洛抽样或松弛采样，实现了深层非线性 SDS 领域罕见的无近似界隙极大似然估计。
泛化潜力广阔：利用“时间连续状态约束离散切换、机制间方差多样性消解线性混叠”的方法论，可直接平移到非平稳因果表征学习、带碰撞约束的具身智能世界模型构建等更广泛的时序表征场景。

局限与展望¶

假设条件的适用边界：理论证明依赖机制分离度假定（A5）与对角方差多样性（A8），虽然可以通过状态粘滞性（A4）做折中放宽，但对于连续转移函数极端重叠或方差完全同质的系统，理论保证仍有拓宽空间。
计算复杂度与高维时序扩展：TarFlow 等自回归流模型在极长序列与极高特征维度上的自回归求逆与因果 Transformer 注意力开销较大；未来可探索块独立或基于连续时间流（Flow Matching / ODE）的高效可逆架构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立可逆发射下循环非线性切换动力系统端到端可辨识性理论并提出无变分近似的精确流估计器。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖高维多维受控合成基准、2D 碰撞物理仿真及真实人类复杂舞蹈视频，验证了理论、解缠与预测多维优势。
写作质量: ⭐⭐⭐⭐⭐ 理论推导层层推进、主定理与附录引理脉络极为清晰，动机鲜明有力。
价值: ⭐⭐⭐⭐⭐ 为非平稳复杂时序建模、可解释动力学解析与深度生成模型可辨识性研究提供了里程碑式的工作。

推断估计架构方案	机制识别 \(F_1 \uparrow\)	隐表征解缠 MCC \(\uparrow\)	说明
折叠变分分解 \(\prod_t q(\bm{z}_t \mid \bm{x}_t) p(\bm{s} \mid \bm{z})\)	0.995	0.621	机制恢复完备但隐空间表征严重纠缠
折叠变分分解 + IWAE (10 样本)	0.998	0.621	重要性重采样未能打破均场变分界隙
折叠变分分解 (双向 RNN + 前向因果 RNN)	0.990	0.622	增强后验容量对连续解缠仍无实质改善
全摊销变分后验 \(q(\bm{z} \mid \bm{x}) q(\bm{s} \mid \bm{x})\) (双向 RNN)	0.757	0.629	结构学习与机制推断双重退化
\(\Omega\text{SDS}\)（本文流模型精确似然 + 前后向 EM）	0.993	0.977	直接优化真实似然，彻底克服变分瓶颈