LogSig-SSM: Time-Series Modelling with Multi-Scale Log-Signature Compression for State-Space Models¶

会议: NeurIPS 2026
arXiv: 2610.05051
代码: https://github.com/felix-oury/LogSigSSM
领域: 时间序列
关键词: 状态空间模型, 对数签名, 粗糙路径理论, 长序列建模, 不规则采样

一句话总结¶

针对长序列多元时间序列中选择性状态空间模型（SSM）计算内存开销大且单层无法捕捉跨通道高阶几何相互作用的问题，本文提出 LogSig-SSM，结合多尺度窗口截断对数签名进行序列压缩，并在选择性 SSM 主干上实现高精度、低显存且对不规则采样鲁棒的高效建模。

研究背景与动机¶

时间序列建模在医疗生理监测、金融高频交易以及气象预测等领域扮演着核心角色。然而，现实世界的传感信号通常具有高采样频率、超长上下文跨度以及严重的不规则采样与缺失等特征。以神经受控微分方程（NCDE）和神经粗糙微分方程（NRDE）为代表的连续时间模型天然适应不规则采样，但受制于数值微分方程求解器的步长限制，在面对长序列时训练和推理代价极其昂贵。

近年来，以 Mamba 为代表的结构化选择性状态空间模型（SSM）因具备线性时空复杂度与恒定推理显存而备受关注。然而，近期研究揭示了 Mamba 的两个基本瓶颈：一方面，在超长序列（如数万步长）下，选择性状态衰减会导致记忆衰退且上下文过长引发显存激增；另一方面，Mamba 的对角状态转移矩阵在单个块内无法实现跨通道隐藏维度的相互混合。从连续时间受控微分方程（CDE）的角度来看，单层对角 Mamba 块的闭包仅能表示各个通道标量泛函的总和，对于跨通道的联合几何结构（如 Lévy 面积）具有理论表达盲区，必须堆叠大量深层网络或引入高复杂度的非对角稠密转移矩阵才能恢复。

为了在保留对角 SSM 极高计算效率的同时解决跨通道非交换积分表达与长序列瓶颈，本文从路径签名理论出发寻找解法。对数签名能够紧凑编码路径的多阶迭代积分，对单调时间重参数化具备天然的不变性，从而天然抵抗不规则时间采样。核心 idea：利用多尺度滑动窗口截断对数签名在输入端对多元长序列进行离线显式几何压缩，将高阶跨通道相互作用直接注入紧凑的 token 流中，再由选择性对角 SSM 高效处理压缩后的时间步，实现多尺度几何表达与长程选择性传播的优势互补。

方法详解¶

整体框架¶

LogSig-SSM 采用双阶段建模流水线：输入是一段可能包含不规则时间戳的长多元时间序列，首先在固定步长的锚点上，基于多个尺度的滑动窗口提取多尺度截断对数签名坐标并拼接，形成紧凑的 token 序列；随后通过可学习的线性投影映射至模型维度，输入到堆叠的对角选择性 SSM（Mamba）块中进行高效的时序聚合与特征传播；最后由任务输出头完成分类、回归或预测任务。

整个计算流水线及连续时间驱动机制如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入多元时间序列<br/>x ∈ R^{d_x × T}"] --> B["多尺度滑动窗口对数签名提取<br/>跨尺度拼接生成压缩Token序列 U_τ"]
    B --> C["线性投影嵌入<br/>W_in U_τ 映射至扫描维度 d"]
    C --> D["选择性状态空间模型主干<br/>基于内容自适应分配内部时间尺度"]
    D --> E["任务预测输出<br/>分类 / 回归 / 预测"]

关键设计¶

1. 多尺度窗口对数签名 token 化：将超长序列无损提炼为低频几何 token

针对超长序列导致的选择性扫描计算与显存瓶颈，以及单层对角 SSM 无法计算通道间迭代积分的理论局限，LogSig-SSM 在输入层构建了基于粗糙路径理论的特征提取器。设输入信号为 \(x \in \mathbb{R}^{d_x \times T}\)，给定步长 \(s\)，模型在降采样后的锚点 \(\tilde{t}_\tau = t_{\tau s}\) 处定义一系列不同时间跨度的滑动窗口。对于尺度 \(k \in \{1,\dots,K\}\)，其窗口长度为 \(L_k\)、截断深度为 \(m_k\)。在局部窗口内对离散点做分段线性插值得到连续有界变差路径 \(\mathcal{W}_k(x)_\tau\)，并计算其步长截断自由李代数内的对数签名：

\[u_{\tau,k} = \phi_{m_k}\Big(\mathrm{LogSig}_{m_k}\big(\mathcal{W}_k(x)_\tau\big)\Big) \in \mathbb{R}^{D_k}\]

对数签名通过李括号消除了张量代数中普通路径签名的代数冗余，是相同截断阶数下表达信息的极小坐标系。将 \(K\) 个尺度的坐标向量拼接得到综合 token \(U_\tau = \mathrm{concat}(u_{\tau,1}, \dots, u_{\tau,K}) \in \mathbb{R}^{D_{\mathrm{tot}}}\)，再经线性矩阵 \(W_{\mathrm{in}} \in \mathbb{R}^{d \times D_{\mathrm{tot}}}\) 映射为 \(\widetilde{U}_\tau\)。该设计将序列长度直接由 \(T\) 压缩至 \(T' \approx T/s\)，将单步扫描的复杂度削减为原来的 \(1/s\)，且由于对数签名预计算为单次离线完成、不参与反向传播，极大地降低了端到端显存占用。

2. 深度-截断权衡定理：单层对角 SSM 破除跨通道盲区

在理论层面，经典理论已证明单层对角 Mamba 块的函数闭包 \(\mathcal{F}_{\mathrm{Mamba}}^{(1)}\) 严格由单通道标量门控与驱动项的加性组合构成，无法表示两个不同通道间的反对称 Lévy 面积 \(A^{12}_t = \frac{1}{2}\int_0^t (X_s^1 dX_s^2 - X_s^2 dX_s^1)\)。若直接使用原始路径作为输入，Mamba 必须堆叠多层非线性块并在块间进行全通道线性混合，随着层数线性增长才能逐渐逼近高阶交互。

LogSig-SSM 证明了深度与截断阶数之间的等价转换定理（Proposition 4.1）：只要 token 中包含截断深度 \(m_k \ge m\) 的对数签名分量，单个 LogSig-SSM 块后接一个浅层 MLP 就能在紧集上一致逼近任意连续的 \(m\) 阶窗口对数签名泛函。换言之，该设计将原本需要在网络深层通过多次循环迭代才能隐式学习的非交换路径几何特征，直接由对数签名在前端显式解析，使轻量单层或浅层对角架构即可达到深层复杂模型的多元交互表达力。

3. 连续时间受控微分方程视角与内容自适应时间重标定

LogSig-SSM 不仅是离散层面的结构压缩，还严格继承并拓展了选择性 SSM 的连续时间受控微分方程（Linear CDE）解释。在零阶保持（ZOH）插值下，隐藏状态演化可形式化为由对数签名驱动向量驱动的线性 CDE：

\[dH^{\widetilde{U}}_{i;t} = A_i H^{\widetilde{U}}_{i;t} d\omega^{\widetilde{U}}_{i;t} + W_B d\xi^{\widetilde{U}}_{i;t}\]

其中驱动路径 \(\omega^{\widetilde{U}}_{i;t}\) 与 \(\xi^{\widetilde{U}}_{i;t}\) 由输入对数签名经过非线性激活积分得到。在离散区间 \([r_{\tau-1}, r_\tau)\) 内，状态增量可以写为类似神经粗糙微分方程（NRDE）的积分形式：

\[H^{\widetilde{U}}_{i;t} = H^{\widetilde{U}}_{i;r_{\tau-1}} + \int_{r_{\tau-1}}^t [A_i H^{\widetilde{U}}_{i;s}, W_B] \frac{1}{\Delta r_\tau} \Lambda^{\widetilde{U}}_{i,\tau} ds\]

与经典 NRDE 采用固定时间增量不同，LogSig-SSM 的内部驱动增量 \(\Delta \omega^{\widetilde{U}}_{i,\tau} = \sigma(\widetilde{\alpha}_i^\top \widetilde{U}_\tau + \widetilde{\beta}_i) \Delta r_\tau\) 取决于对数签名 token 的内容。这意味着模型能够根据当前局部的几何特征自适应地缩放内部演化时间，在包含关键信息的区间减缓时间流速以细粒度记忆，在平缓噪声区间加速跳过，实现了连续时间框架下的内容自适应选择性机制。

4. 局部时间重参数化不变性：免对齐抗不规则采样

在真实临床监测等场景中，数据采样极度不规则且伴随大量缺失。路径签名与对数签名的核心数学性质在于其对单调时间重参数化具有不变性，即对于任意连续非降满射 \(\gamma: [a,b] \to [a,b]\)，有 \(\mathrm{LogSig}_M(X)_{a,b} = \mathrm{LogSig}_M(X \circ \gamma)_{a,b}\)。在 LogSig-SSM 中，只要任意两次观测在窗口内部的连续插值轨道在几何上互为重参数化等价，其生成的离散 token \(U_\tau\) 就会完全严格相等。这种局部几何守恒性使得模型无需复杂的插补或密集对齐模块，即可天然免疫高稀疏度、非均匀时间漂移对序列建模的扰动。

实验关键数据¶

主实验¶

论文在四类极具代表性的高难度基准上进行了系统评测：UEA 长序列多元时间序列分类、PPG-DaLiA 高频可穿戴心率回归（序列长达 49,920）、天气预测（预测未来 720 步）以及 PhysioNet Sepsis 早期败血症预测（观测值仅占 10.3% 的极不规则临床数据）。

主结果对比表明，LogSig-SSM 在综合表现与长序列极值场景中均大幅刷新基准指标：

任务 / 数据集	评估指标	LogSig-SSM (本文)	强基线 (Mamba / SOTA)	优势对比 / 提升幅度
UEA 长序列分类 (6个超长集)	平均准确率 (%) / 平均排名 (↓)	71.7% / 2.7	Mamba: 58.6% (12.5) / D-LinOSS: 68.0% (3.7)	相比原始 Mamba 提升 +13.1 pp；排名第 1
UEA - EigenWorms (\(T=17,984\))	准确率 (%)	95.3%	Mamba: 70.9% / LinOSS-IM: 95.0%	相比 Mamba 提升 +24.4 pp
UEA - EthanolConcentration	准确率 (%) (4分类机率 25%)	51.4%	对角 SSM: <30% / 最佳非SSM基线: 40.5%	破除对角 SSM 盲区，大幅领先 +10.9 pp
PPG-DaLiA 心率回归 (\(T=49,920\))	MSE \(\times 10^{-2}\) (↓)	4.46	Mamba: 10.65 / D-LinOSS: 6.16	相比 Mamba 误差下降 58%，比 SOTA 降 28%
Weather 多元预测 (720步)	MAE (↓)	0.432	D-LinOSS: 0.486 / S4: 0.578 / Informer: 0.731	相对先前最优模型误差降低 11.1%
PhysioNet 败血症 (极稀疏不规则)	AUROC (有/无观测指示器)	90.4 / 87.4	Neural CDE: 88.0 / 77.6; GSDE: 90.9 / 88.4	逼近专用连续随机微分方程，远超标准 NCDE

在超长序列 EigenWorms（\(T=17,984\)）上的运行效率与硬件开销对比展示出巨大的系统优势：

模型架构	显存占用 (MB)	每 1000 步训练耗时 (s)	测试准确率 (%)	综合效率表现
NCDE	2,484	24,595	75.0	求解器计算极慢
NRDE	2,506	5,386	83.9	粗糙微分方程较慢
Log-NCDE	2,510	1,956	85.6	步数减少但仍耗时
Mamba (原始输入)	13,486	122	70.9	序列过长导致显存暴涨
S5	6,646	31	81.1	线性时间不变 SSM
LinOSS-IM	3,488	14	95.0	振荡 SSM 显存较高
LogSig-SSM (本文)	362	4	95.3	显存缩减 37×，速度提升 30×

消融实验¶

论文在 UEA 数据集上固定搜索预算与评估协议，从 token 描述符与循环主干两个维度对各模块贡献进行了详尽分解（表 4 与表 7）：

实验配置类别	配置细节	平均分类准确率 (%)	相比原始 Mamba 增益 (\(\Delta\))	核心机制作用说明
基线模型	Mamba (原始点输入)	58.6	—	无序列压缩，单层无通道混合
窗口描述符 (固定 Mamba 主干)	Catch24 窗口统计特征	58.9	+0.3 pp	抛弃路径几何，仅保留一阶二阶统计量
窗口描述符 (固定 Mamba 主干)	Depthwise 深度可分离卷积	60.1	+1.5 pp	仅压缩序列，各通道相互独立无混合
窗口描述符 (固定 Mamba 主干)	Standard 标准 1D 卷积	62.9	+4.3 pp	引入线性跨通道混合
窗口描述符 (固定 Mamba 主干)	小波散射变换 (Wavelet)	67.6	+9.0 pp	多尺度频域能量特征，缺乏跨通道几何
窗口描述符 (固定 Mamba 主干)	对数签名 (截断深度 \(m=1\))	69.5	+10.9 pp	仅包含多尺度位移增量，无跨通道相互作用
完整配置	对数签名 (截断深度 \(m=2\))	71.7	+13.1 pp	二阶项捕获跨通道几何与 Lévy 面积
主干替换 (固定对数签名 token)	LogSig-S5 (LTI 循环)	63.0	+4.4 pp	无输入自适应选择性机制
主干替换 (固定对数签名 token)	LogSig-Transformer (自注意力)	65.4	+6.8 pp	仅依赖注意力聚合，无状态递推记忆

此外，在对数签名截断阶数 \(m=1\) 与 \(m=2\) 的对比中发现，在通道数较少（几何交互最明显）的 EigenWorms、SCP1 和 SCP2 数据集上，\(m=2\) 相比 \(m=1\) 分别显著提高 +7.2 pp、+4.3 pp 与 +2.8 pp，强力证明了二阶项跨通道非交换几何信息的关键性。而在离线 token 化耗时方面，全套 UEA 6 个数据集 CPU 预计算仅需 6.07 秒，不足单次训练时长的 1%。

关键发现¶

二阶非交换几何是质变关键：消融表明，从深度 1（单纯位移增量）升级至深度 2（引入 Lévy 面积与李代数交叉项），准确率直接跃升 2.2 个百分点，且这种优势在跨通道相互作用决定模式性质的数据集（如 EigenWorms 和吸收光谱 EthanolConcentration）上尤为显著。
选择性循环机制与几何特征协同增强：在固定对数签名 token 的前提下，采用具有输入选择性门控的 Mamba 主干（71.7%）显著优于线性时不变的 S5（63.0%）和标准 Transformer（65.4%），证实了连续时间自适应内部时间标定在处理压缩 token 时的必要性。
显存与训练时间的非对称压缩：通过将步长设为 \(s\)，选择性扫描的激活显存和反向传播路径以 \(\approx s\) 倍数缩减，使得即使面对近 5 万步长的极端连续信号，模型也能够在单张 RTX 4090 上以不到 400MB 显存超轻量训练。

亮点与洞察¶

解耦高阶几何与长程传播：将对角 SSM 无法表达跨通道迭代积分的理论短板前置给计算开销极小的离线对数签名算子，既避免了深层堆叠的参数膨胀，又绕过了密集矩阵 SSM（如 PD-SSM）的高昂计算代价。
连续时间理论与现代离散 SSM 的桥接：将离散选择性步长参数化严格映射为带内容自适应内部时间缩放的 Linear CDE/NRDE 系统，赋予了离散模型坚实的几何控制论基础与抗重参数化扰动能力。
无搜索规则化配置展现强泛化性：论文证明即使不进行昂贵的 Optuna 超参数网格搜索，仅凭序列长度经验规则设定步长与窗口（\(s=T/100\)），LogSig-SSM 仍能达到 64.0% 准确率，大幅领先全量搜索后的原始 Mamba 与 S5。

局限与展望¶

高维通道下的坐标爆炸：步长截断阶数为 \(m\) 的对数签名坐标维数随通道数以 \(\mathcal{O}(d_x^m / m)\) 呈指数级增长。在数十至上百通道的高维序列（如 Heartbeat、MotorImagery）中，输入映射层参数量激增，二阶项信息出现欠拟合。
单通道退化为普通增量：在单变量时间序列中，对数签名退化为平凡的路径位移差分，丧失了跨通道非交换几何优势，必须显式拼接时间通道才能恢复部分结构。
窗口与步长超参仍需手工或经验指定：目前的窗口划分方案仍依赖预设尺度或离线搜索，未来若能将多尺度窗口的选择机制与神经网络可微自适应学习相融合，将进一步释放端到端建模能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙结合粗糙路径理论中的对数签名与选择性 SSM，理论严谨地解决了对角 SSM 缺乏通道内混合的根本缺陷。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖分类、超长回归、天气预测和稀疏不规则临床四大场景，对比了连续时间模型、SSM 和 Transformer 等 16 种基线，消融完备。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备（提供单层逼近与重参数化不变性证明），方法图表生动直观，实验分析鞭辟入里。
价值: ⭐⭐⭐⭐⭐ 为超长多元时间序列与不规则信号建模提供了兼具极低硬件门槛与极强高阶交互能力的标杆范式。