StreamPhy: Streaming Inference of High-Dimensional Physical Dynamics via State Space Models¶
会议: NeurIPS 2026
arXiv: 2605.07384
OpenReview: https://openreview.net/forum?id=ng9cOq8Ghi
代码: 待确认
领域: 其他
关键词: 状态空间模型, 物理场流式推断, 功能张量, FiLM特征调制, 不规则稀疏观测
一句话总结¶
针对科学与工程中高维时空物理场在非均匀、时变稀疏测量下的实时重构难题，本文提出端到端框架 StreamPhy，融合注意力观测编码器、HiPPO 状态空间演化以及表达能力严格超越功能 Tucker 模型（FTM）的功能张量 FiLM 解码器，实现高精度且比扩散基线快 20–100 倍的在线全场流式推断。
研究背景与动机¶
从流式传感数据中实时推断高维时空物理场（如环境监测、湍流涡旋演化、海洋声速场分布及结构健康监测）是物理计算与工程领域的关键需求。然而在实际工程部署中，传感器采集到的观测数据往往具备极高的不规则性与时变稀疏性——空间采样位置动态跳变、各时间步有效观测数量不固定，且时间间隔可能非均匀。构建能够在流式输入下即时吸收新观测、维持长时间时序一致性并外推输出全场连续物理量的算法模型面临极大挑战。
现有主流路线在应对这一流式任务时均存在明显瓶颈。以潜在扩散模型（Latent Diffusion）为代表的生成范式，通常依赖离线多阶段训练，在推断时必须预先获取完整的全时序观测并依赖反复迭代的反向采样（如 DPS 机制），这导致极高的推断计算开销与二次方乃至四次方阶的序列复杂度，难以满足即时流式需求；而传统的时空张量分解与隐式神经表示（INR）方法虽然能较好地保留物理场的多线性连续坐标结构，但大多基于单条连续序列进行无监督拟合，在稀疏极端观测下缺乏泛化能力，且在线更新往往依赖重放缓存机制，内存与泛化开销巨大。另一方面，现代结构化状态空间模型（SSM）凭借 HiPPO 正交多项式历史压缩理论展现出卓越的线性时间序列记忆与非均匀步长自适应能力，但既有 SSM 均假定输入为规整时序向量，既无法直接接纳时变点集维度的稀疏物理测量，也缺乏针对高维连续场的高容量函数解码算子。
本文的核心矛盾在于：如何在无需离线全时序缓冲的严苛流式设定下，设计一种既能对任意空间稀疏分布与时变点数自适应编码、又能借助线性复杂度 SSM 高效递推更新隐状态，并以高保真函数解码器重构连续全场物理动态的端到端框架。核心 idea：将任意稀疏空间测量通过共享查询的交叉注意力编码为结构化紧凑潜向量，借助 HiPPO 离散化状态空间矩阵进行 \(O(T)\) 复杂度的动态记忆演化，并设计表达能力致密覆盖紧集连续函数空间的功能张量线性特征调制（FT-FiLM）解码器，实现连续高维物理场的高速在线流式推断。
方法详解¶
整体框架¶
StreamPhy 的端到端数据流包含三步串联处理：首先在时刻 \(t\)，观测编码器接收该时刻采样的任意数量、空间非规整物理观测集合 \(\mathcal{O}_t\)，提取坐标隐式特征并利用可学习 Query 进行交叉注意力聚合，生成与观测点数无关的结构化潜在向量 \(\mathbf{z}_t\)；随后，通过双线性变换离散化的 HiPPO 状态矩阵 \(\bar{\mathbf{A}}\) 与输入矩阵 \(\bar{\mathbf{b}}\)，将 \(\mathbf{z}_t\) 与上一时刻系统隐状态 \(\mathbf{X}_{t-1}\) 进行外积增量演化，在线推进系统状态 \(\mathbf{X}_t\)；最后，将当前状态 \(\mathbf{X}_t\) 与输入潜在向量 \(\mathbf{z}_t\) 联合调制出仿射缩放矩阵与平移向量，配合连续坐标的隐式神经表达输入至 FT-FiLM 模块，直接查询并连续输出全空间任意坐标点处的物理场重构值。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["稀疏时变观测集合<br/>O_t = {(i_n, y_t,i_n)}"] --> Enc["任意采样模式观测编码器<br/>坐标INR + Cross-Attention聚合"]
Enc --> Trans["HiPPO 结构化状态空间递推<br/>X_t = A X_{t-1} + b (x) z_t"]
Trans --> Dec["功能张量特征线性调制解码器<br/>(FT-FiLM) 条件仿射调制"]
Dec --> Out["连续全场物理动力学输出<br/>y_t(i) 在线连续重构"]关键设计¶
1. 任意采样模式观测编码器：消除非均匀稀疏空间点集对时序模型的维度依赖 现实物理系统中每个时刻采集的测点坐标与样本总数 \(N\) 往往随时间剧烈波动，经典时序网络与 SSM 无法直接接收变长点集输入。为消除点数依赖并捕获空间特征，编码器首先将 \(K\) 维空间连续坐标 \(\mathbf{i}_n=(i_1,\dots,i_K)\) 经过正弦/余弦周期编码与 MLP 处理映射为各模态的潜在表征向量，拼接构成功能张量坐标嵌入 \(\mathbf{u}_n \in \mathbb{R}^{\sum_k R_k}\)。将各测点的测量标量 \(y_{t,\mathbf{i}_n}\) 与 \(\mathbf{u}_n\) 拼接后经线性投影得到单点特征矩阵 \(\mathbf{D}_t \in \mathbb{R}^{N \times D}\)。为避免简单均匀平均丢失关键区域变化，模块引入时间步间全局共享的可学习查询向量 \(\mathbf{q} \in \mathbb{R}^D\)（及多头扩展），以 \(\mathbf{q}\) 为 Query、测点特征投影矩阵为 Key 和 Value 执行交叉注意力池化，将变长集合自适应压缩为定长潜在向量 \(\mathbf{z}_t \in \mathbb{R}^P\)。训练阶段还引入随机丢弃测点的随机掩码（Stochastic Masking）策略，大幅提升模型应对极端遮挡模式的鲁棒性。
2. HiPPO 结构化状态空间递推：线性复杂度的长程动力学流式记忆保持 面对流式在线更新的要求，传统 Transformer 的全时序注意力具有 \(O(T^2)\) 复杂度，而扩散模型重构复杂度更高达 \(O(T^4)\)，均不满足实时计算约束。StreamPhy 基于连续线性动态系统，借助 HiPPO-LegS 正交多项式投影算子构造转移矩阵 \(\mathbf{A}\) 与输入投影向量 \(\mathbf{b}\)： $\(\mathbf{A}_{lk}=-\begin{cases}\sqrt{(2l+1)(2k+1)}&\text{if }l>k,\\l+1&\text{if }l=k,\\0&\text{if }l<k\end{cases};\quad\mathbf{b}_{l}=\sqrt{2l+1}\)$ 针对非均匀时间步长 \(\Delta t\)，采用 Tustin 双线性变换将其解析离散化为转移阵 \(\bar{\mathbf{A}}=(\mathbf{I}-\frac{\Delta t}{2}\mathbf{A})^{-1}(\mathbf{I}+\frac{\Delta t}{2}\mathbf{A})\) 与 \(\bar{\mathbf{b}}=(\mathbf{I}-\frac{\Delta t}{2}\mathbf{A})^{-1}\Delta t\mathbf{b}\)。将一维标量驱动推广为 \(P\) 维潜在变量 \(\mathbf{z}_t\)，通过外积张量积更新隐状态矩阵 \(\mathbf{X}_t \in \mathbb{R}^{L \times P}\)： $\(\mathbf{X}_{t}=\bar{\mathbf{A}}\mathbf{X}_{t-1}+\bar{\mathbf{b}}\circ\mathbf{z}_{t}\)$ 该设计使模型不仅能在 \(O(T)\) 线性时间与 \(O(1)\) 显存空间内完成流式推进，而且天然适应任意异步与非均匀时间采样间隔。
3. 功能张量特征线性调制（FT-FiLM）解码器：打破传统张量低秩逼近瓶颈的高容量表示 既有张量解码常采用功能 Tucker 模型（FTM），依赖核张量与基函数的多线性交互，要获得复杂物理动态的高逼近精度必须急剧扩大张量秩，带来极大的显存开销与潜空间运算延迟。受 FiLM 仿射调制启发，StreamPhy 提出了 FT-FiLM 结构：利用网络根据当前状态 \(\mathbf{X}_t\) 与即时编码 \(\mathbf{z}_t\) 动态生成特征级缩放矩阵 \(\boldsymbol{\Gamma}_t \in \mathbb{R}^{V \times \sum_k R_k}\) 和偏置向量 \(\boldsymbol{\beta}_t \in \mathbb{R}^V\)，并在任意连续查询坐标对应特征 \(\mathbf{u}_n\) 上执行仿射调制，最后通过通用连续读出函数 \(f_{\boldsymbol{\varphi}}\) 映射输出物理标量： $\(y_{t}(\mathbf{i}_{n})=f_{\boldsymbol{\varphi}}\!\left(\boldsymbol{\Gamma}_{t}\mathbf{u}_{n}+\boldsymbol{\beta}_{t}\right)\)$ 文中从数学上严密证明了 FT-FiLM 的通用逼近性质（定理 1）：当宽度 \(V \ge K\) 时，FT-FiLM 在紧集连续函数空间 \(C(\Omega)\) 上具备一致逼近致密性（\(\overline{\mathcal{F}_{\mathrm{FT\text{-}FiLM}}}=C(\Omega)\)），而有限秩 FTM 的闭包为其真子集（\(\overline{\mathcal{F}_{\mathrm{FTM}}(\mathbf{R})} \subsetneq C(\Omega)\)），从理论上打破了 FTM 由张量秩施加的表达能力上限。
损失函数 / 训练策略¶
模型采用端到端联合训练策略。在每个训练 epoch 中，按时间顺序遍历时间步 \(t_1, \dots, t_M\)，在每步从均匀分布 \(U[0.1, 1]\) 随机采样掩码比例丢弃部分观测，以此模拟恶劣稀疏工况。优化目标为全场重构预测值与真实物理场之间的均方根误差（RMSE），通过 Adam 优化器沿时间步反向传播梯度： $\(\mathcal{L}_{\mathrm{RMSE}} = \sqrt{\frac{1}{N_{\mathrm{train}}} \sum_{n=1}^{N_{\mathrm{train}}} \left( y_t(\mathbf{i}_n) - \hat{y}_t(\mathbf{i}_n) \right)^2}\)$ 模型默认超参数设置为：SSM 隐状态维度 \(L=32\)，注意力头数 \(H=4\)，嵌入维度 \(D=512\)，潜在观测向量维度 \(P=64\)。学习率在 \(\{5\times 10^{-4}, 1\times 10^{-3}, 5\times 10^{-3}, 1\times 10^{-2}\}\) 范围内调优。
实验关键数据¶
主实验¶
论文在三个代表性物理数据集上评测了模型性能：(1) Turbulent Flow（湍流速度场）；(2) Ocean Sound Speed（海洋声速场）；(3) Active Matter（活性物质流体动力学）。测试了均匀采样（Uniform Sampling）与极具挑战性的条带片状采样（Slab Sampling，模拟无人机穿越连续采样切片）两种模式，评价指标为方差归一化均方根误差（VRMSE，越低越好）。下表展示了多头版本 StreamPhy (MH) 与主要基线的对比：
| 数据集 | 采样模式与采样率 | StreamPhy (MH) | 次优基准模型 | 相对误差降低 |
|---|---|---|---|---|
| Turbulent Flow | Uniform (\(\rho=3\%\)) | 0.0935 | 0.2779 (Senseiver) | 66.4% |
| Turbulent Flow | Uniform (\(\rho=5\%\)) | 0.0696 | 0.2361 (Senseiver) | 70.5% |
| Turbulent Flow | Slab (\(\rho=3\%\)) | 0.1067 | 0.3052 (Senseiver) | 65.0% |
| Turbulent Flow | Slab (\(\rho=5\%\)) | 0.0978 | 0.2578 (Senseiver) | 62.1% |
| Ocean Sound Speed | Uniform (\(\rho=1\%\)) | 0.0628 | 0.0941 (CATTE) | 33.3% |
| Ocean Sound Speed | Uniform (\(\rho=3\%\)) | 0.0562 | 0.0850 (CATTE) | 33.9% |
| Ocean Sound Speed | Slab (\(\rho=1\%\)) | 0.0692 | 0.1225 (CATTE) | 43.5% |
| Ocean Sound Speed | Slab (\(\rho=3\%\)) | 0.0634 | 0.1187 (CATTE) | 46.6% |
| Active Matter | Uniform (\(\rho=1\%\)) | 0.0752 | 0.1581 (CATTE) | 52.4% |
| Active Matter | Uniform (\(\rho=3\%\)) | 0.0732 | 0.1567 (CATTE) | 53.3% |
| Active Matter | Slab (\(\rho=1\%\)) | 0.0905 | 0.1960 (CATTE) | 53.8% |
| Active Matter | Slab (\(\rho=3\%\)) | 0.0866 | 0.1920 (CATTE) | 54.9% |
消融实验¶
消融实验深入验证了状态空间演化骨干（SSM）、观测编码器掩码机制（Masking）以及 FT-FiLM 解码器对系统性能的支撑作用（均基于多头观测编码器）：
| 配置 | 湍流 (Uniform 3%) | 湍流 (Slab 3%) | 海洋 (Uniform 1%) | 海洋 (Slab 1%) | 活性物质 (Uniform 1%) | 活性物质 (Slab 1%) |
|---|---|---|---|---|---|---|
| StreamPhy (完整模型) | 0.0935 | 0.1067 | 0.0628 | 0.0692 | 0.0752 | 0.0905 |
| w/o SSM (去除时序记忆) | 0.8537 | 0.8598 | 0.3935 | 0.3966 | 0.9023 | 0.9115 |
| w/o mask (关闭随机掩码) | 0.2420 | 0.2841 | 0.0899 | 0.2030 | 0.0898 | 0.2401 |
| with FTM (替换为功能Tucker) | 0.1435 | 0.1731 | 0.1054 | 0.1202 | 0.1279 | 0.1522 |
此外在单条序列推断时延对比中，StreamPhy (MH) 在湍流数据集上单步推理仅需 0.0419s（参数量 10.3M），而基于扩散采样的 SOTA 方法 SDIFT 耗时达 5.14s（参数量 15M），实现了 120× 以上的推断加速。
关键发现¶
- SSM 时序递推是核心生命线：一旦移除 SSM 状态演化（直接将 \(\mathbf{X}_t\) 置零），模型 VRMSE 发生剧烈灾难性退化（例如在湍流与活性物质上误差从 0.07~0.09 恶化至 0.85~0.91），证明单步空间观测严重欠定，长程连续时序记忆是维持动态自洽的根本支柱。
- 随机掩码是抵御非均匀极端采样的关键归纳偏置：关闭训练期掩码后，模型在均匀采样下误差翻倍（0.0935 降至 0.2420），而在空间聚集、缺乏局部信息的片状 Slab 采样下性能衰退更为剧烈（0.1067 跌至 0.2841），表明掩码训练迫使 Cross-Attention 聚合学习真正的全局拓扑关联而非过拟合特定采样拓扑。
- FT-FiLM 的理论优势直接转化为重构保真度：将 FT-FiLM 替换为传统功能 Tucker 模型（FTM）后，各基准下误差出现 30%~70% 的稳定上升，实证呼应了定理 1 关于低秩核张量表达瓶颈的结论。
亮点与洞察¶
- 将 HiPPO 状态空间优雅嫁接到连续物理流式观测：常规 SSM 依赖规整的网格时序输入，而本文通过“坐标 INR + 共享 Query 交叉注意力”构筑了阻断空间不规则维度的缓冲池，既保留了正交多项式记忆投影在长程建模与时间非均匀插值上的理论优势，又天然兼容时变点集。
- 超越功能张量低秩分解的 FT-FiLM 表达机制：跳出经典 Tucker 分解中核张量与基函数直接内积的低秩桎梏，引入特征级自适应仿射缩放和平移，从测度与泛函一致逼近层面严格证明了通用性，在大幅压缩潜在维度的同时增强了非线性物理场的表征容量。
- 卓越的计算性价比与落地可行性：将基于两阶段迭代采样的扩散方法的高昂复杂度从 \(O(T^4)\) 压降至状态空间模型的 \(O(T)\)，推断速度实现 1–2 个数量级的飞跃，为数字孪生与边缘无人机自主实时流式同化提供了轻量化方案。
局限与展望¶
- 物理守恒律先验缺失：模型目前完全依赖纯数据驱动机制与函数通用逼近能力，未显式注入动量守恒、质量连续性方程（如不可压缩流的散度约束）等经典偏微分方程硬先验，在极端超分辨率外推时可能产生细微违背守恒律的高频伪影。
- 预设固定的 SSM 转移矩阵架构：转移矩阵 \(\mathbf{A}\) 严格受限于 HiPPO-LegS 构造，参数化空间未被充分探索，未来可探索引入数据自适应选择性机制（如 Mamba 机制）进一步提升动力学适应性。
- 大规模三维复杂几何边界扩展：现有评测主要覆盖二维平面或规整三维块状流体，针对真实工业 CAE 中复杂非结构化网格及移动曲面边界的流式同化仍待进一步实证验证。
相关工作与启发¶
- vs SDIFT (Chen et al., 2025c)：SDIFT 采用功能 Tucker 潜空间并在该空间构建两阶段扩散生成先验，依赖 MPDPS 机制且推理必须拥有全时段时序回放，单帧存在高斯过程 \(O(T^3)\) 复杂度，整体推理时延达秒级；StreamPhy 采用因果单向状态空间演化，实现了单步约 0.04s 的极速在线流式推断，同时精度显著领先。
- vs OFTD (Zhang et al., 2025)：OFTD 是少数支持流式在线更新的张量分解工作，但其基于在线持续学习（CP 分解 + 记忆回放微调），面对局部聚集的非均匀采样（如 Slab 采样）容易发生拟合失真且单步需要迭代优化；StreamPhy 以前向推理方式直接在线吸收测量，在多样采样模式下均保持高度稳健。
- vs Senseiver (Santos et al., 2023)：Senseiver 采用 Perceiver-style 交叉注意力架构重构稀疏场，但缺乏显式的长时序多项式记忆状态空间累积，在复杂时变涡旋演化下易丢失深层时空连贯性；StreamPhy 融合 HiPPO 动力学使得 VRMSE 相对 Senseiver 下降了 60% 以上。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将 HiPPO 结构化状态空间模型与功能张量 FiLM 结合，优雅攻克了时空物理场不规则点集的在线流式重构难题，并给出了严格的函数逼近理论证明。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖湍流、海洋与活性物质三大连续介质物理数据集，全面对比了张量、注意力与扩散生成基线，并在均匀与严苛切片采样下进行了深入消融与速度测评。
- 写作质量: ⭐⭐⭐⭐⭐ 问题阐述清晰，数学推导严密自洽，框架与理论证明配合得当，图表信息表达紧凑。
- 价值: ⭐⭐⭐⭐⭐ 针对流式传感物理动态重建这一工业界与科学界核心痛点，提供了精度更高、推断提速百倍且内存占用极其轻量的端到端实用方案。