Extracting Governing Equations from Latent Dynamics via Multi-View Contrastive Learning¶

会议: NeurIPS 2026
arXiv: 2606.13260
代码: https://github.com/braingirl/dysco
领域: 自监督学习
关键词: 自监督学习, 对比学习, 动力系统辨识, 符号回归, 神经动力学

一句话总结¶

提出多视角时间对比学习框架 DYSCO，利用同一底层动力过程的多个独立噪声观测实现去噪并重构潜状态轨迹与向量场，理论证明了仿射规范下的动力系统辨识保证，并支持下游符号回归方程提取。

研究背景与动机¶

从高维、强噪声且经过未知非线性观测通道扭曲的实验测量数据（如大脑神经元群体脉冲发放或复杂物理系统）中逆向推导其底层演化所遵循的动力学方程，是计算神经科学、表示学习与数据驱动科学发现领域长期悬而未决的圣杯难题。经典 Marr 三层计算框架清晰区分了物理实现层、算法层与计算目标层；尽管近年的深度表征学习与时序自编码器已经能够将实现层的高维神经脉冲活动有效压缩进低维流形潜空间，但在无监督且强噪声环境下原则性提取其算法层——即掌控流形演化规律的显式动力学方程——依然困难重重。现有基于稀疏回归（如 SINDy）的动力学发现框架高度依赖对状态变量的直接测量或高信噪比低维观测，一旦系统潜藏在高维非线性观测之后便极易退化；而基于变分自编码器（VAE）的端到端框架缺乏理论可辨识性保证，且往往陷于复杂多任务损失权重的精细调优泥潭。

近期以 DYNCL 为代表的时间对比学习虽然从理论上建立了潜动力系统在仿射不确定性下的辨识性，但其理论框架严格立足于“无噪声非线性观测”的理想化假设。在真实神经科学或物理测量场景中，观测噪声不可避免且非线性观测通道会严重撕裂这一辨识性基础：单视角观测中噪声与真实信号在时空上高度缠结，对比目标极易过拟合观测噪声中的虚假相关，导致编码器学到的潜空间严重失真、流场辨识彻底失效。同时，传统动力系统重建方法往往采用黑盒神经网络或切换线性系统（SLDS）对潜动力学建模，缺乏显式符号结构，限制了机理可解释性与对未知演化规律的外推能力。

面对噪声观测破坏辨识性与黑盒模型缺乏显式符号规律的核心矛盾，本文的切入视角是利用真实实验中广泛存在的“独立多视角/多重复试验（multi-view / multi-trial）”物理先验：虽然单次观测受独立噪声污染，但同一底层过程在各视角上的真实潜状态演化是完全一致的。核心 idea：利用多视角独立噪声观测构建跨视角与跨时间的多步对比学习目标 DYSCO，利用跨视角一致性强制编码器滤除独立观测噪声并逆映射出潜轨迹，同时将潜动力学显式参数化为预定义函数基的线性组合，在理论上建立强噪声非线性观测下的仿射可辨识性保证，并借由仿射轨道的稀疏性恢复显式支配方程。

方法详解¶

整体框架¶

DYSCO 的输入为同一未知潜动力过程的多个独立高维噪声观测视角，输出为重构的去噪潜状态轨迹、参数化流场以及提取出的显式符号微分方程。系统首先通过参数化编码器将各视角的高维观测非线性投影到低维潜空间；随后以潜状态为初始条件，利用参数化动力系统沿流场进行显式正向与反向时间积分推演（rollout）；最后利用多视角时序对比损失同时对齐跨视角与跨演化步长的一致性，驱动编码器完成观测通道的逆映射并收敛到真实动力系统。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角高维噪声观测<br/>y_t^a = g(x_t) + xi_t^a"] --> B["多视角独立编码解耦<br/>h(y_t^a) -> 潜状态表征"]
    B --> C["函数基参数化潜动力学<br/>f(z) = Theta * Xi(z)"]
    C --> D["双向自适应时间积分推演<br/>Phi_f^(+/-k) 状态轨迹演化"]
    D --> E["跨视角多步时序对比目标<br/>InfoNCE 联合优化与去噪"]
    E --> F["仿射轨道稀疏回归约束<br/>极小化 L0 范数提取符号方程"]

关键设计¶

1. 多视角独立编码解耦：利用跨视角一致性滤除测量噪声 单重视角下的非线性观测将信号流形与噪声混叠在一起，传统的单流对比学习无法区分潜变量变化与观测噪声扰动。针对这一痛点，DYSCO 将系统设计为同时接收 $V \ge 2$ 个独立的观测通道 $\bm{y}_t^a = g(\bm{x}_t) + \bm{\xi}_t^a$（其中 $a \in \{1,\dots,V\}$），并在潜空间层面施加摊销推断。每个视角的观测独立送入共享权重的非线性编码器 $h_\theta: \mathbb{R}^D \to \mathbb{R}^d$，强制模型只保留不同视角之间共享的时序因果动力学信号 $g(\bm{x}_t)$，并将均值为零且相互独立的观测噪声 $\bm{\xi}_t^a$ 作为扰动剔除。针对神经脉冲序列中常见的泊松采样噪声（其均值与方差强耦合，违背传统高斯加性假设），DYSCO 在编码器前端设计了专门的输入标准化复合层，顺序级联 Freeman-Tukey 方差稳定变换、时间平滑卷积核与批归一化（Batch Normalization），在输入特征层有效抑制泊松散粒噪声的方差漂移。

2. 函数基参数化潜动力学：赋予潜空间解析可解的几何结构 黑盒连续动力学（如通用神经常微分方程 Neural ODE）虽然表达能力强，但由于参数空间完全非结构化，不仅难以解释，更无法与后续符号回归有效对接。DYSCO 将潜流场 $\hat{f}_\Xi$ 显式参数化为一组预定义标量候选函数基 $\Xi(\bm{z}) = [f_1(\bm{z}), \dots, f_n(\bm{z})]^\top$ 的线性组合，即： $$\hat{f}_\Xi(\bm{z}) = \bm{\Theta} \Xi(\bm{z}) = \sum_{k=1}^n \bm{\theta}_k f_k(\bm{z})$$ 在实际构建中，选取特定最高阶数（如 $\delta=2$）的多项式单项式基 $\Xi^{(\delta)}$。流场系数矩阵 $\bm{\Theta} \in \mathbb{R}^{d \times n}$ 作为一个紧凑的参数矩阵参与整个微分系统的演化，直接决定了潜状态的瞬时速度场。多项式基的封闭代数特性不仅能够灵活逼近广泛的非线性动力学，而且在后续仿射变换下具有闭合传输性质，为消除仿射不定性提供了严格的几何载体。

3. 双向自适应时间积分推演与跨视角对比学习：构建强辨识性学习信号 为了在潜空间中实现长程演化的一致性，DYSCO 放弃了仅依赖单步差分的局部优化，而是利用 Runge-Kutta 4（RK4）数值积分器实现可微分的状态前向与后向推演 $\Phi_{\hat{f}}^{\pm k}$。针对视角 $a$ 在时刻 $t$ 的观测与视角 $b$ 在时刻 $\tau$ 的观测，定义对称时空匹配打分函数： $$\psi_{ab}(\bm{y}_t^a, \bm{y}_\tau^b) = - \left\| \Phi_{\hat{f}}^{\pm k_1}(h(\bm{y}_t^a)) - \Phi_{\hat{f}}^{\mp k_2}(h(\bm{y}_\tau^b)) \right\|_2^2 - \alpha(h(\bm{y}_\tau^b))$$ 其中 $k_1, k_2 \in \{0, 1, \dots, \kappa\}$ 为自适应演化步长，$\alpha$ 为潜状态标量势能项。通过将正样本构造为同一真实轨迹上经历动力学演化匹配的跨视角观测对，并将负样本取为批次内不同时间或不同轨迹的观测，模型联合最小化多步多视角 InfoNCE 目标。跨时间推演促使学得的流场与物理规律一致，跨视角配对则迫使编码器在潜空间中完成去噪，形成双重正则化。

4. 仿射轨道稀疏回归约束：破除仿射规范恢复真实物理方程 理论证明对比学习在理想收敛下只能将潜状态和动力学确定到仿射等价类（即存在可逆仿射变换 $\bm{z} = L \bm{x} + \bm{b}$，使得学到的流场为真实流场的仿射共轭 $\hat{f}(\bm{z}) = L f(L^{-1}(\bm{z}-\bm{b})) + \bm{b}$）。这一仿射自由度导致系数矩阵 $\bm{\Theta}$ 并非唯一。利用预选多项式单项式基在仿射坐标变换下保持封闭的代数特征，坐标变换 $\mathcal{A}: \bm{x} \mapsto L\bm{x}+\bm{b}$ 诱导了系数矩阵沿群轨道的显式线性传输：$\bm{\Theta}' = L \bm{\Theta} T_{\mathcal{A}^{-1}}^{(\delta)}$。基于物理系统普遍满足的符号稀疏性奥卡姆剃刀先验，DYSCO 将控制方程的符号精确提取转化为在全仿射群轨道上搜索最稀疏系数矩阵的优化问题： $$\bm{\Theta}^\star = \arg\min_{L, \bm{b}} \left\| L \bm{\Theta} T_{\mathcal{A}^{-1}}^{(\delta)} \right\|_0$$ 通过下游 $L_1$ 代理松弛与迭代硬阈值剪枝，算法得以从仿射模糊的潜动力学中精确还原出具有物理坐标系意义的显式非线性微分方程。

损失函数 / 训练策略¶

模型端到端训练的总体优化目标为跨视角、跨时间步与跨积分视界期望下的多视角 InfoNCE 负对数似然损失： $$\mathcal{L}[\psi] = \mathbb{E}_{a,b,c} \mathbb{E}_{k_1,k_2} \mathbb{E}_{t,\tau} \left[ -\log \frac{\exp(\psi_{ab}(\bm{y}_{t \mp k_1}^a, \bm{y}_{t \pm k_2}^b))}{\exp(\psi_{ab}(\bm{y}_{t \mp k_1}^a, \bm{y}_{t \pm k_2}^b)) + \sum_{\bm{y}_\tau^c \in \mathcal{N}} \exp(\psi_{ac}(\bm{y}_{t \mp k_1}^a, \bm{y}_\tau^c))} \right]$$ 在训练策略上，针对神经网络隐藏层权重矩阵采用最新提出的正交优化器 Muon，其余参数（包括函数基系数、标量偏置及线性层）采用 AdamW 优化器，学习率统一设为 $3 \times 10^{-4}$，权重衰减为 $10^{-4}$。最大数值积分推演视界设为 $\kappa=8$，批量大小设定为 4096，在单块 NVIDIA RTX A4000 GPU 上训练 200 个 epoch（耗时约 2 小时）。

实验关键数据¶

主实验¶

论文在包括混沌吸引子（Lorenz）、强迫非线性振荡器（Duffing、FitzHugh-Nagumo、Stuart-Landau）、亚稳态/分岔系统（Double-Well、Heteroclinic）以及竞争抑制系统（Winner-Take-All）在内的 7 种经典非线性动力学系统中进行了广泛评测，高维非线性观测空间维度设为 $D=256$。评测指标为经过最佳仿射对齐后的轨迹拟合决定系数 $R^2$ 以及流场向量场重构精度 $\mathrm{dyn}R^2$。

动力系统	外力驱动 $\bm{u}_t$	高斯噪声 ($\sigma$)	高斯 $R^2$ (%)	高斯 $\mathrm{dyn}R^2$ (%)	泊松 $R^2$ (%)	泊松 $\mathrm{dyn}R^2$ (%)
Duffing	是	0.1	99.1 ± 0.9	97.8 ± 2.6	98.6 ± 0.6	94.4 ± 4.6
Lorenz	否	1.0	93.5 ± 2.1	75.9 ± 6.6	94.4 ± 1.1	82.3 ± 3.8
FitzHugh–Nagumo	是	0.2	99.7 ± 0.1	93.8 ± 0.8	99.7 ± 0.1	89.1 ± 2.9
Winner–Take–All	是	0.2	95.1 ± 1.7	70.0 ± 5.4	97.4 ± 0.9	72.4 ± 3.1
Double–Well	是	0.2	99.3 ± 0.5	93.8 ± 4.0	99.3 ± 0.4	92.7 ± 1.0
Stuart–Landau	否	0.2	96.6 ± 0.8	78.4 ± 4.8	98.0 ± 1.4	83.1 ± 2.2
Heteroclinic	是	0.2	99.6 ± 0.2	97.5 ± 0.8	99.6 ± 0.1	84.1 ± 5.5
平均值 (Average)	-	-	97.6 ± 2.6	87.4 ± 11.2	98.0 ± 2.0	85.4 ± 7.8

与前序 SOTA（单视角 DYNCL）对比及消融实验¶

为了严格验证多视角一致性去噪机制的不可替代性，在无外力驱动系统（Lorenz 和 Stuart-Landau）上将 DYSCO 与假设无噪声观测的单视角基线 DYNCL（ICLR 2025）进行了头对头定量评测。

动力系统	对比方法	高斯 $R^2$ (%)	高斯 $\mathrm{dyn}R^2$ (%)	泊松 $R^2$ (%)	泊松 $\mathrm{dyn}R^2$ (%)	说明
Lorenz	DYNCL	71.6 ± 9.8	33.5 ± 12.3	90.1 ± 2.2	0.0 ± 0.0	单视角假设无噪声，噪声下流场彻底崩溃
Lorenz	DYSCO (本文)	93.5 ± 2.1	75.9 ± 6.6	94.4 ± 1.1	82.3 ± 3.8	多视角去噪，泊松流场精度反超高斯
Stuart–Landau	DYNCL	99.8 ± 0.1	12.9 ± 6.9	83.1 ± 0.8	0.0 ± 0.0	潜轨迹尚存但动力学完全失真
Stuart–Landau	DYSCO (本文)	96.6 ± 0.8	78.4 ± 4.8	98.0 ± 1.4	83.1 ± 2.2	稳定恢复极限环动力学结构

此外，针对视角数量 $|V| \in \{1, 2, 4, 8\}$ 与观测噪声强度 $\sigma \in [0, 3.0]$ 的消融实验显示： 1. 视角数量影响：轨迹 $R^2$ 与流场 $\mathrm{dyn}R^2$ 均随着可用视角数 $|V|$ 的增加呈单调上升，在 $|V| \ge 4$ 后渐进饱和；甚至在极端单视角 $|V|=1$ 条件下，由于混沌吸引子自身的遍历性，模型依然保留了一定程度的轨迹重构能力。 2. 积分视界消融：积分步长 $\kappa$ 从 2 增大到 8 时，流场辨识精度显著攀升，但在 $\kappa=10$ 时计算耗时大幅增加 2.8 倍且容易产生初期训练数值不稳定性，证明 $\kappa=8$ 是精度与稳定性的最佳平衡点。

关键发现¶

多视角一致性是突破噪声壁垒的决定性机制：在非独立单视角下（DYNCL），观测噪声会直接穿透进对比打分，导致泊松噪声下 $\mathrm{dyn}R^2$ 跌落至 0.0%；而 DYSCO 凭借跨视角条件互信息最大化，在强高斯噪声（$\sigma=1.0$）和非齐次泊松噪声下流场重构精度均维持在 75%–85% 以上。
轨迹可重构性与流场可重构性的阈值分离：在噪声强度递增实验中发现，当信噪比下降到临界点（$\mathrm{SNR} \approx 4\text{dB}$，$\sigma \approx 1.0$）以下时，系统进入一个微妙的过渡区间——潜轨迹 $R^2$ 依然能维持在 80% 以上，但流场 $\mathrm{dyn}R^2$ 急剧下降。这表明表征学习的逆映射容忍度显著高于精确微分规律的提取，解释了为何通用自监督对比模型容易学到好特征却无法进行动力学外推。
神经科学泊松噪声的非凡适应性：尽管泊松噪声具有均值相关的方差特性、理论上严格违背独立亚高斯加性假设，但配备专门的 Freeman-Tukey 变换层后，DYSCO 在泊松场景下的平均轨迹 $R^2$（98.0%）和流场 $\mathrm{dyn}R^2$（85.4%）甚至略优于高斯噪声场景。

亮点与洞察¶

多视角对比学习与动力系统辨识理论的深度融合：严格建立了首个面向非线性高维观测且包含加性/次高斯噪声的潜动力系统仿射辨识性定理（Theorem 1），将非线性 ICA 与对比学习逆映射理论推进到了非理想物理测量区间。
多项式代数封闭性与规范轨道极值化的精妙衔接：巧妙利用多项式基在仿射坐标变换下的线性闭包传输矩阵 $T_{\mathcal{A}^{-1}}^{(\delta)}$，将不可避免的仿射自由度转化为在仿射群轨道上优化 $L_0$ 稀疏度的明确代数问题，打通了从黑盒自监督表示到白盒符号控制方程的通路。
Muon + AdamW 混合正交优化在微分方程学习中的实践：将专门针对权重正交约束设计的 Muon 优化器应用于编码器隐层矩阵，与处理标量系数的 AdamW 协同工作，显著缓解了高阶数值积分回传梯度的弥散与爆炸问题。

局限与展望¶

基函数完备性与潜维度依赖：当前框架假设潜空间维度 $d$ 与动力学基函数库 $\Xi$ 预先已知；若实际物理系统的微分项包含复杂有理式、超越函数或未知的延迟项，多项式基的截断误差将直接影响流场重构精度。
符号恢复对流场残差的极度敏感性：虽然在仿射轨道上极小化系数稀疏度在数学上十分优雅，但在附录 Lorenz 概念验证中，微弱的流场逼近残差仍会导致逆优化产生若干小于 1.0 的虚假小耦合项，目前尚缺乏抗残差干扰的鲁棒规范感知稀疏回归算法。
纯模拟基准向真实湿实验数据的跨越：所有验证均在合成 ODE 经非线性 MLP 混叠的仿真基准上进行，真实活体大规模脑电极记录（如 Neuropixels）中视角间的非稳态漂移与试次间非平稳性仍有待进一步实测验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次在非线性强噪声观测下建立多视角对比学习辨识潜动力系统的理论保证，并打通仿射轨道符号回归通道]
实验充分度: ⭐⭐⭐⭐☆ [覆盖 7 大非线性动力系统、两种噪声类型及丰富消融，遗憾在于缺乏真实在体神经脉冲数据验证]
写作质量: ⭐⭐⭐⭐⭐ [数学推导清晰严密，从连续流形、数值微分到对比对齐的叙述逻辑高度自洽]
价值: ⭐⭐⭐⭐⭐ [为计算神经科学与物理 AI 领域从海量噪声高维测量中自动化发现底层微分规律提供了强有力的端到端工具]