Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts¶
会议: NeurIPS 2026
arXiv: 2606.28228
领域: 学习理论
关键词: 因果表示学习, 随机微分方程, 可辨识性, 扩散漂移, 连续时间动力学
一句话总结¶
本文证明了在未知非线性微分同胚观测下，当两个连续时间加性噪声随机微分方程（SDE）环境共享漂移项且具备坐标方差比互异的对角扩散协方差时，隐动力学坐标系在单项式仿射变换（置换、坐标缩放与常数平移）下可辨识，并可由两阶段估计器精确恢复瞬时漂移雅可比因果图。
研究背景与动机¶
时间序列因果表示学习旨在从未经解耦的纠缠观测中恢复潜变量及其因果关系。现有面向时序数据的非线性因果表示学习理论大多建立在离散时间假设之上，严重依赖有限步滞后转移、自回归机制或规则时间网格上的时序上下文；与此同时，连续时间连续动力学中的 SDE 辨识与因果发现工作，则普遍假设潜动力学状态可被直接观测，无法应对复杂非线性混叠过程。现实中很多物理、生物与工程系统（如悬索桥结构振动、心血管调控或电网负载）内禀连续、存在不规则采样且受随机扰动驱动，观测变量往往仅是潜因果因子的非线性变换。
这种跨时空尺度表征学习的核心矛盾在于：连续时间扩散协方差在非线性坐标变换下不是不变量，观测轨迹局部的二次变差会被观测映射的未知雅可比矩阵严重扭曲；单环境下的扩散几何根本无法约束旋转与混合自由度，导致潜在动力学因果坐标轴不可辨识。此外，在不假设隐漂移函数具备稀疏性或预设特殊参数形式的前提下，仅凭观测空间数据解耦时空连续动力学极其困难。
本文的切入角度是利用多环境间的扩散转移作为自然侧信息：系统的确定性运动定律（漂移）跨环境保持稳定，而随机激励（扩散）发生环境诱导的异质性变化。核心 idea：利用两个共享隐漂移但具备坐标方差比互异的对角扩散环境，通过二次变差在非线性同胚下的协同代数约束消除正交混叠模糊，无须漂移稀疏性即可实现隐坐标系与瞬时漂移因果图的严格可辨识。
方法详解¶
整体框架¶
本文考虑两个环境 \(e \in \{1, 2\}\) 中的加性噪声潜 SDE 系统：\(dz_t^{(e)} = f(z_t^{(e)}) dt + G_e dW_t^{(e)}\)，观测方程为 \(x_t^{(e)} = g(z_t^{(e)})\)，其中 \(g\) 为未知非线性微分同胚，\(f\) 为跨环境共享的确定性漂移，\(G_e\) 为对角扩散矩阵（协方差 \(\Sigma_e = G_e G_e^\top\)）。两阶段估计框架首先利用短时高斯转移伪似然解耦坐标系，随后利用稀疏正则回归重构漂移雅可比图。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多环境连续轨迹观测<br/>x_t^(1), x_t^(2) 来自未知非线性映射 g"] --> B["阶段 1：短时转移拟合与体积修正<br/>联合学习编码器 h_θ 与对角扩散参数"]
B --> C["二次变差与简单谱约束<br/>对角方差比消解旋转自由度至单项式仿射映射"]
C --> D["隐空间状态解耦<br/>z~_t = h_θ(x_t) 恢复真实坐标（排列/尺度/平移）"]
D --> E["阶段 2：速度目标与稀疏漂移回归<br/>冻结编码器，拟合带有雅可比 L1 惩罚的漂移模型"]
E --> F["因果图提取<br/>阈值化平均绝对雅可比矩阵提取瞬时因果骨架"]关键设计¶
1. 扩散转移代数白化与单项式约束：利用对角扩散方差比消除非线性混叠 在单环境下观测到的局部二次变差为 \(D\varphi(z) \Sigma_e D\varphi(z)^\top = \tilde{\Sigma}_e\)，存在正交旋转不确定性。本文引入第一环境扩散进行空间白化构造正交矩阵场 \(M(z) := \tilde{\Sigma}_1^{-1/2} D\varphi(z) \Sigma_1^{1/2}\)，进而第二环境引入共轭约束： $\(M(z) K M(z)^\top = \tilde{K}, \quad K := \Sigma_1^{-1/2} \Sigma_2 \Sigma_1^{-1/2} = \operatorname{diag}\left(\frac{\sigma_{2,1}^2}{\sigma_{1,1}^2}, \dots, \frac{\sigma_{2,d}^2}{\sigma_{1,d}^2}\right)\)$ 当两个环境的坐标方差比互不相同时（假设 S4，简单谱条件），正交共轭保持对角性的矩阵必然退化为带符号置换矩阵 \(M(z) = \Pi S\)。结合流形连通性与伊藤半鞅漂移匹配，保证坐标变换 \(\varphi(z) = \tilde{g}^{-1} \circ g(z)\) 恒等于常数单项式矩阵 \(L = \Pi \Lambda\) 加上常数平移 \(c\)。
2. 开放集正度提升：将样本轨线恒等式无条件拓扑推广至全隐空间 针对非高斯转移密度的非线性通用漂移，沿局部轨线成立的二次变差恒等式无法直接外推至全空间。本文通过 Girsanov 测度变换构造 Novikov 局部停止时间鞅，证明在非退化加性噪声下，任意弱解对于任意正时间 \(t_\star > 0\) 和任意非空开集 \(V \subset \mathbb{R}^d\) 均有 \(\mathbb{P}(z_{t_\star} \in V) > 0\)。该性质将基于轨道样本的代数恒等式拓扑提升为全实空间上的逐点连续恒等式，从而摆脱了平稳分布假定和闭式转移密度限制。
3. 短时转移高斯拟合与编码器雅可比对数行列式惩罚 在估计的第一阶段，基于欧拉-马山离散近似，时间步长 \(\Delta t\) 内的扩散项扰动幅度为 \(O(\sqrt{\Delta t})\)，在二阶统计量上严格压制 \(O(\Delta t)\) 的漂移项。观测空间的目标函数综合了隐空间对角方差负对数似然以及观测映射体积修正项： $\(s_e(x_t, x_{t+\Delta t}) = \frac{1}{2}\sum_{i=1}^d \log \tilde{\sigma}_{e,i}^2 + \frac{1}{2}\sum_{i=1}^d \frac{(\tilde{z}_{t+\Delta t, i} - \tilde{z}_{t,i} - \tilde{f}_{\psi,i}(\tilde{z}_t)\Delta t)^2}{\tilde{\sigma}_{e,i}^2 \Delta t} - \log \left| \det D h_\theta(x_{t+\Delta t}) \right|\)$ 局部体积修正项 \(-\log |\det D h_\theta|\) 防止编码器雅可比矩阵发生退化塌缩，迫使模型寻找能使两环境残差方差对角化的坐标基准。
4. 步长平滑速度目标与雅可比稀疏因果图提取 在解耦得到隐坐标后，若需重构瞬时因果图，算法冻结编码器 \(h_\theta\)，以步长 \(\Delta t' = s \Delta t\) 构造经验速度目标 \(\hat{v}_t = (h_\theta(x_{t+s\Delta t}) - h_\theta(x_t)) / (s\Delta t)\)，并引入雅可比矩阵 \(L_1\) 稀疏惩罚优化独立漂移网络 \(\tilde{f}_\psi\)： $\(\mathcal{L}_{\mathrm{S2}}(\psi) = \frac{1}{2} \sum_{e=1}^2 \mathbb{E}\left[ \|\tilde{f}_\psi(\tilde{z}_t) - \hat{v}_t\|^2 \right] + \lambda_{\mathrm{sparse}} \mathbb{E}_{\tilde{z} \sim \mathcal{Z}} \sum_{i,j} \left| \frac{\partial \tilde{f}_{\psi,i}}{\partial \tilde{z}_j}(\tilde{z}) \right|\)$ 通过在经验状态分布上计算平均绝对雅可比 \(\overline{|D\tilde{f}_\psi|}\) 并以固定阈值 \(\tau\) 截断，严格提取置换对齐后的瞬时有向因果图。
损失函数 / 训练策略¶
阶段 1 联合优化编码器参数 \(\theta\)、共享漂移 \(\psi\) 以及对角扩散方差对数 \(\{\log \tilde{\sigma}_{e,i}^2\}\)，采用 Adam 优化器，学习率 \(10^{-3}\)，批量大小 4,096，优化步数 20,000 步。阶段 2 冻结编码器，重新初始化漂移网络，在步长 \(s=1\)、学习率 \(5 \times 10^{-4}\) 下训练 20,000 步（非线性情况），稀疏权重 \(\lambda_{\mathrm{sparse}}\) 取 0.3~0.5，二值化截断阈值 \(\tau = 0.05\)。
实验关键数据¶
主实验¶
在 3 层 leaky-tanh MLP（\(C^\infty\) 微分同胚）观测映射下，\(d=5\) 维度系统的主要评估指标对比如下（对比条件：Distinct ratios 具备方差比互异对角扩散；One regime 仅单环境；Proportional diffusions 双环境但方差比恒为 2）：
| 漂移族 (Drift Family) | 机制配置 (Regime Condition) | MCC ↑ | 单项式得分 (Mon.) ↑ | 图匹配率 (GMR) ↑ |
|---|---|---|---|---|
| 稠密线性 (Dense linear) | Distinct ratios (本文) | 0.9976 ± 0.0001 | 0.8697 ± 0.0027 | – |
| 稠密线性 (Dense linear) | One regime (对照) | 0.7819 ± 0.0160 | 0.4750 ± 0.0253 | – |
| 稠密线性 (Dense linear) | Proportional diffusions (对照) | 0.8087 ± 0.0428 | 0.4940 ± 0.0344 | – |
| 稀疏线性 (Sparse linear) | Distinct ratios (本文) | 0.9976 ± 0.0002 | 0.8920 ± 0.0038 | 1.0000 ± 0.0000 |
| 稀疏线性 (Sparse linear) | One regime (对照) | 0.7206 ± 0.0382 | 0.4131 ± 0.0349 | 0.5760 ± 0.0784 |
| 稀疏线性 (Sparse linear) | Proportional diffusions (对照) | 0.7018 ± 0.0367 | 0.4061 ± 0.0269 | 0.6400 ± 0.0566 |
| 非线性稀疏 (Nonlinear) | Distinct ratios (本文) | 0.9977 ± 0.0001 | 0.8924 ± 0.0035 | 1.0000 ± 0.0000 |
| 非线性稀疏 (Nonlinear) | One regime (对照) | 0.7331 ± 0.0232 | 0.4234 ± 0.0280 | 0.6800 ± 0.0506 |
| 非线性稀疏 (Nonlinear) | Proportional diffusions (对照) | 0.7531 ± 0.0141 | 0.4386 ± 0.0248 | 0.7840 ± 0.0742 |
消融实验¶
为了检验超出平滑同胚假定（非 \(C^2\) 条件）下的稳健性，在 3 层 LeakyReLU 分段线性混叠函数下进行消融评测（\(d=5\)）：
| 漂移族 (Drift Family) | 混叠与机制配置 | MCC ↑ | 单项式得分 (Mon.) ↑ | 图匹配率 (GMR) ↑ | 说明 |
|---|---|---|---|---|---|
| 稀疏线性 (Sparse linear) | LeakyReLU (Distinct ratios) | 0.9979 ± 0.0003 | 0.8667 ± 0.0088 | 1.0000 ± 0.0000 | 超出平滑假设仍完美恢复因果图 |
| 稀疏线性 (Sparse linear) | LeakyReLU (One regime) | 0.7364 ± 0.0491 | 0.4129 ± 0.0273 | 0.5840 ± 0.0543 | 缺乏扩散多样性导致图解耦失败 |
| 稀疏线性 (Sparse linear) | LeakyReLU (Proportional) | 0.7153 ± 0.0600 | 0.4081 ± 0.0375 | 0.5680 ± 0.0588 | 方差比相同时单项式性丧失 |
| 非线性稀疏 (Nonlinear) | LeakyReLU (Distinct ratios) | 0.9979 ± 0.0002 | 0.8660 ± 0.0068 | 1.0000 ± 0.0000 | 非线性动力学下仍保持精确图推断 |
| 非线性稀疏 (Nonlinear) | LeakyReLU (One regime) | 0.7387 ± 0.0647 | 0.4269 ± 0.0332 | 0.6160 ± 0.0650 | 混叠导致出现大量虚假/遗漏边 |
此外，在 Hardanger 大桥实测传感器加速度数据（16 传感器通道映射到 \(d=5\) 隐动力学）中，基于湍流强度（TI）划分的双机制方案取得了最高的跨随机种子可复现性（MCC 达到 0.806，GMR 达到 0.877），显著优于合并机制（MCC 0.660）与打乱标签对照（MCC 0.601）。
关键发现¶
- 异质方差比是可辨识性的分水岭：仅有双环境但方差比成比例时，MCC 暴跌至 0.70 左右，GMR 大幅退化至 0.56~0.64，与单环境表现几乎无异，严格印证了谱简单性（Assumption S4）是破除非线性混叠旋转对称性的充要杠杆。
- 漂移稀疏性对坐标解耦非必要：在稠密线性 OU 系统中，尽管完全没有图稀疏性先验，Distinct ratios 条件下 MCC 仍高达 0.9976，单项式得分达到 0.8697，证明坐标解耦由二次变差完全决定，无需漂移图稀疏性作为先决假设。
- 对非光滑映射具有高稳健性：在分段线性的 LeakyReLU 逆映射下，系统仍能达成 1.0000 的因果图恢复率与接近 0.998 的 MCC，证明算法在实际非严格平滑同胚场景下仍具高可用性。
亮点与洞察¶
- 将二次变差确立为连续时间因果表示学习的自然指纹：利用布朗运动短时二次变差在非线性变换下的雅可比协变性，将时序微分方程的随机涨落转化为约束观测变换的代数方程组。
- 两阶段解耦与图重构的解耦式架构：第一阶段完全专注于坐标轴定向，第二阶段根据需要灵活选用稀疏雅可比回归恢复有向图，避免了将因果图结构先验错误用于坐标系定位。
- 通用弱解环境下的严格测度论提升：借助 Girsanov 变换建立了非退化 SDE 的全实空间开放集正度引理，突破了以往理论高度依赖高斯闭式转移密度的瓶颈。
局限与展望¶
- 可逆微分同胚强假设：理论严格要求观测映射 \(g\) 为同维可逆的微分同胚，排除了部分可观测、不可逆投影或观测维数远大于隐状态维数的欠定流形情形。
- 状态无关加性噪声：理论目前局限于常数对角扩散矩阵 \(G_e\)，尚未覆盖状态相关（乘性）扩散项或非对角耦合噪声。
- 完美环境标签依赖：假定观测样本准确标记所属机制，对实际工程中连续演变或混合未知的环境转移仍需扩展模糊机制识别。
相关工作与启发¶
- vs 离散时间时序因果表示学习 (TDRL, NCTRL, CtrlNS)：离散时间方法严重依赖多步自回归转移、稀疏时滞机制或时间网格上下文；本文从连续时间微分同胚出发，利用局部二次变差的代数对称性破除旋转模糊，无需时间延迟和多步马尔可夫阶数假设。
- vs 连续时间直接因果发现 (SCOTCH, Manten et al.)：现有连续时间因果发现假设隐状态直接可见，侧重于路径空间条件独立性检验；本文针对不可见隐空间，解决了从非线性纠缠观测中恢复潜变量坐标系这一底层核心难题。
- vs 独立机制分析 (IMA)：IMA 要求混合映射的雅可比矩阵列正交；本文对观测同胚 \(g\) 完全无正交性限制，正交性仅作为代数白化后的中间结构自然涌现。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次建立连续时间潜 SDE 在非线性同胚下的严格可辨识性理论。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖线性/非线性漂移、平滑/非平滑同胚、高维扩展及真实悬索桥传感器轨迹。
- 写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨完整，Girsanov 开集提升与正交共轭推导逻辑高度清晰。
- 价值: ⭐⭐⭐⭐⭐ 为物理规律挖掘、机器人连续控制及真实工程监测的因果表征奠定了扎实的理论基石。