Continuity Laws for Sequential Models¶

会议: NeurIPS 2026
arXiv: 2605.08539
代码: https://github.com/AnnanYu/ContinuousLaws
领域: 学习理论
关键词: 状态空间模型, 时间连续性, 归纳偏置, 阶段式训练, 长序列建模

一句话总结¶

本文将时间连续性确立为序列模型的重要归纳偏置，提出时间细化收敛性框架与数据驱动任务连续性度量，揭示 S4 具备稳定连续性而 S6 对输入幅度高度敏感，并基于连续性提出阶段式时间下采样训练策略显著提升训练效率与精度。

研究背景与动机¶

近年来序列建模在自然语言、时间序列与科学计算等领域取得了长足进展，基于 Transformer 和状态空间模型（SSM）的新架构层出不穷并在各类基准测试上刷新纪录。然而，单纯的基准性能只能展示模型在特定尺度和训练配方下的表现，无法回答模型为何奏效、何时会泛化失效，更难以解释模型是否真正捕捉到了数据中的内在时序结构。在经典数值分析中，算法评价依赖于稳定性、收敛性及离散化敏感度等严密性质，而现存深度序列模型大多仅依赖神经标度律（Scaling Laws），关注模型和数据规模扩增时的性能变化，却无法评估架构本身与任务时间结构之间的先验匹配度。

这种认知局限的核心矛盾在于：以 S4、S5 和 S6（Mamba 核心）为代表的状态空间模型虽然均以连续时间微分方程作为理论出发点，常被冠以“连续时间模型”之名，但一旦通过离散化（如零阶保持 ZOH 或双线性变换）转化为离散计算图后，它们在时间轴上的实际连续行为却大相径庭；与此同时，领域内长期缺乏定量刻画任务本身“连续程度”的数学准则，导致无法系统评估模型连续归纳偏置与任务时间属性之间的适配机理。

本文的切入角度是将数值分析中的“时间细化收敛性”引入序列架构分析，从理论与经验双重视角严格界定模型连续性，并设计无须预设标签的数据驱动任务连续性度量，进而将连续性转化为高效训练的算法杠杆。核心 idea：将模型时间连续性严格定义为时间细化下离散预测向连续轨迹的一阶收敛稳定性，提出基于局部时间相似度衰减的数据连续性指标，证明 S4 保持稳定连续性而 S6 因选择性机制呈现显著数值不连续，并提出自粗到细的阶段式时间下采样训练策略大幅压缩训练开销。

方法详解¶

本文构建了一套自洽的“连续性定律”理论与算法体系，涵盖模型端的时间细化收敛判定、数据端的任务连续性量化指标，以及基于时间连续性的阶段式分级训练算法。

整体框架¶

整体框架由理论分析、任务刻画与算法应用三个串联递进阶段组成：首先针对状态空间模型的常微分方程建立时间细化离散化分析，推导出误差收敛界并区分 S4 与 S6 的连续性预因子；其次在数据侧构建排除全局背景相似度干扰的局部时序相似度核度量，对连续到离散任务进行连续统排序；最后针对具备时间连续稳定性的模型设计多阶段时间下采样与时间尺度重标定训练流程。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入时序信号与连续动态系统表征"] --> S1["时间细化收敛性分析<br/>离散步长 τ 缩减与误差界推导"]
    S1 --> S2["任务连续性度量<br/>局部相似度与全局背景解耦"]
    S2 --> S3["阶段式时间下采样训练<br/>步长分级收缩与时间尺度重标定"]
    S3 --> Out["高效收敛的高精度序列模型"]

关键设计¶

1. 时间细化收敛性分析：理论解耦连续动机与离散实际行为 现有研究普遍默认具有连续时间动机的 SSM 在离散实现后依然具备连续特性，忽略了离散化逼近误差常数对输入状态的敏感依赖。本文将模型连续性形式化为时间网格细化（$\tau \to 0^+$）下离散输出序列向连续真解轨迹 $y(t)$ 逼近的速度与稳定性。针对受控动力系统： $$x'(t) = \Delta(u(t))\bigl(\mathbf{A}x(t) + \mathbf{B}(u(t))u(t)\bigr), \quad y(t) = \mathbf{C}(u(t))x(t) + Du(t)$$ 通过 Grönwall 不等式精确控制分段常数逼近误差，证明了当采样步长缩减为 $\tau$ 且离散步长调整为 $\tau \Delta(u)$ 时，ZOH 和双线性离散化均具有一阶收敛界 $|y_k^\tau - y(\tau k)| \le \mathcal{O}(\tau)$。然而两者的误差预因子存在本质差异：对于线性时不变系统 S4，参数 $(\mathbf{A}, \mathbf{B}, \mathbf{C}, \Delta)$ 为常数，Lipschitz 常数全部为零，误差界预因子仅取决于固定的系统范数与输入的时间光滑度 $L_u$，与输入振幅完全无关： $$|y_k^\tau - y(\tau k)| \le \frac{\|\mathbf{C}\|_2 \|\mathbf{B}\|_2 L_u \left(e^{\Delta \|\mathbf{A}\|_2} - 1\right)}{\|\mathbf{A}\|_2} \tau + \mathcal{O}(\tau^2)$$ 相反，S6 的输入选择性机制引入了依赖输入的投影矩阵与步长函数 $\Delta(u) = \text{softplus}(w_\Delta u + b_\Delta)$，使得误差预因子不仅包含输入幅值平方项 $M_u^2 = \sup \|u(t)\|^2$，还引入了放大指数因子 $e^{M_\Delta \|\mathbf{A}\|_2}$。一旦输入振幅放大或选择性权重 $|w_\Delta|$ 增加，收敛误差界剧烈发散，使得 S6 在实际计算中表现出强烈的数值不连续性。

2. 任务连续性度量：解耦局部光滑性与几何背景关联 为了定量验证“连续模型更适合连续任务”的假说，不能简单依赖“文本是离散的、时序是连续的”这类直觉标签，而需要从数据内部时序结构中提炼连续性标尺。针对序列分布 $\mathcal{D}$ 中长度为 $L$ 的样本，直接计算点对点 Lipschitz 常数极易受局部噪声扰动，而全局相似度又会混淆序列本身的几何嵌入形状。本文设计了带远距离解耦项的归一化局部时序相关度量 $\mu_t$： $$\mu_t := \frac{\mathbb{E}_{\mathbf{u}\sim\mathcal{D}, k}[K(\mathbf{u}_k, \mathbf{u}_{k+t})] - \beta}{\mathbb{E}_{\mathbf{u}\sim\mathcal{D}, k}[K(\mathbf{u}_k, \mathbf{u}_k)] - \beta}, \quad \beta = \mathbb{E}_{\mathbf{u}\sim\mathcal{D}, |k-k'| > \varrho}[K(\mathbf{u}_k, \mathbf{u}_{k'})]$$ 其中 $K(\mathbf{x}, \mathbf{y}) = (1 + \mathbf{x}^\top \mathbf{y}/(\|\mathbf{x}\|_2\|\mathbf{y}\|_2))/2$ 为余弦核，$t$ 为局部滞后步长，$\varrho \gg t$ 为远距离间隔。关键设计在于引入背景相关项 $\beta$，彻底剥离与时间位置无关的全局平均表征相似度，使分子分母严格聚焦于时间邻域内相关性的相对衰减程度。整体连续性分数通过前 $T$ 步单调衰减加权求和 $\mu = \sum_{t=1}^T w_t \mu_t$ 获得。该度量对序列长度完全不变，跨越不同表征维度具有良好的一致性。

3. 阶段式时间下采样训练：将时序连续性转化为计算加速杠杆 现有关于状态空间模型计算优化的工作大多聚焦于模型降阶（压缩隐状态维度 $n$），无法缩短长序列早期的训练墙上时钟时间。本文利用 S4 在不同时间分辨率下能够无缝迁移连续动态的特性，提出沿时间轴压缩的阶段式训练算法（Stage-wise Training via Temporal Subsampling）。给定一系列递减的下采样步幅 $r_1 > r_2 > \dots > r_S = 1$ 与对应阶段训练轮数 $E_s$：在初始阶段 $s=1$，通过时间步跨步采样 $\mathbf{u}^{(i, 1)} = (\mathbf{u}_0^{(i)}, \mathbf{u}_{r_1}^{(i)}, \mathbf{u}_{2r_1}^{(i)}, \dots)$ 构建粗粒度输入序列，同时将连续时间离散化步长按比例缩放 $\Delta \leftarrow \Delta \cdot (r_s / r_{s-1})$ 以保持底层物理动态与有效感受野严格对齐；在训练完 $E_s$ 轮后，逐步缩小采样步长并继续热启动微调，直至全分辨率 $r_S = 1$。对于具有离散倾向的任务，则采用时间窗口均值池化替代点下采样。该机制使模型在廉价的粗分辨率下预先掌握全局粗粒度结构，充当隐式正则化，随后在精细网格上微调细节，实现了训练加速与泛化精度的双赢。

一个完整示例¶

以具备时间连续结构的图像分类任务（LRA Image / sCIFAR-10，序列长度 $L=1024$）为例，设定初始下采样比例为 $1/8$（即初始步幅 $r_1=8$），总训练分为 3 个阶段： 1. 阶段 1（$r_1=8$，序列长度缩短至 128）：将连续步长参数重标定为 $\Delta^{(1)} = 8 \Delta_0$，单 step 计算量与显存占用显著下降，模型在极短时间内完成低分辨率粗粒度轮廓的学习。 2. 阶段 2（$r_2=4$，序列长度扩大至 256）：步长自动调整为 $\Delta^{(2)} = \Delta^{(1)} \cdot (4/8) = 4 \Delta_0$，直接继承前一阶段训练好的动力学矩阵与隐藏状态映射。由于 S4 的时间细化收敛性，阶段切换瞬时验证准确率几乎不发生跌落（相比之下 S6 出现灾难性精度崩塌）。 3. 阶段 3（$r_3=1$，全分辨率 1024）：步长回归原始 $\Delta_0$，模型微调高频细节。整个训练过程在达到 80% 目标准确率时仅耗费常规训练 71% 的时间，最终测试精度超越标准训练基线。

实验关键数据¶

主实验¶

在受控动力系统预测任务中，通过连续与离散基底插值参数 $\eta \in [0, 1]$ 调节任务连续性（$\eta=0$ 为纯离散量化任务，$\eta=1$ 为平滑连续任务），各模型相对于最优模型的归一化相对误差差距（Normalized Relative Gap）如下所示：

模型架构	$\eta=0$ (完全离散)	$\eta=0.25$	$\eta=0.5$	$\eta=0.75$	$\eta=1.0$ (完全连续)	表现趋势
S4	0.630	0.418	0.000	0.000	0.000	随着任务连续性增强迅速跃居最优
DeltaNet	0.494	0.271	0.033	0.098	0.083	连续任务中表现稳健次优
Transformer	0.299	0.319	0.064	0.140	0.169	中等离散任务占优，高连续性下退化
Linear Attention	0.029	0.256	0.261	0.127	0.209	各阶段波动，连续极限下较差
S6 (Mamba)	0.137	0.335	0.105	0.203	0.253	离散下优于 S4，连续极限下劣于 S4
Mamba-3	0.000	0.000	0.281	0.387	0.553	离散域极强，连续域差距大幅拉大

在 LRA 基准的各任务连续性实测中，从离散到连续排序依次为 ListOps ($\mu=0.08$)、Retrieval ($\mu=0.15$)、Text ($\mu=0.18$)、Pathfinder ($\mu=0.32$)、PathX ($\mu=0.36$)、Image ($\mu=0.54$)，S4 的相对优势与 $\mu$ 呈现严格的正相关。

消融实验¶

在 Long-Range Arena (LRA) 上评估基于连续性的阶段式下采样训练策略相比标准 Vanilla S4D 的加速与最终收敛效果。表内数字为下采样训练相比原始训练达到目标测试精度所需墙上时钟时间的比值（Ratio $< 1.0$ 表示加速）：

任务名称	初始密度	下采样策略	目标准确率与耗时比 (低精度目标)	目标准确率与耗时比 (高精度目标)	最终测试精度对比 (Vanilla vs Ours)
Retrieval	1/4	pooling	Acc 81%: 0.15	Acc 90%: 0.10	保持同等精度，全程节省 85-90% 时间
Text	1/4	pooling	Acc 77%: 0.49	Acc 86%: 0.59	保持同等精度，节省 40-50% 时间
Image	1/8	indexing	Acc 40%: 0.18	Acc 85%: 0.57	87.2% vs 88.5% (+1.3%) 精度反超
Pathfinder	1/2	pooling	Acc 59%: 0.35	Acc 95%: 0.43	94.8% vs 95.6% (+0.8%) 精度反超
PathX	1/4	pooling	Acc 51%: 0.16	Acc 96%: 0.19	96.2% vs 96.9% (+0.7%) 精度反超
ListOps	1/4	pooling	Acc 42%: 5.60 (前期慢)	Acc 60%: 0.80 (后期追平)	59.8% vs 60.1% (离散任务收益有限)

关键发现¶

模型连续性与任务连续性的精准对齐：在动力学系统受控试验中，当连续性参数 $\eta \ge 0.5$ 时，S4 的相对误差差值迅速缩减为 0.000 成为全场最优；而在 $\eta=0$ 时 Mamba-3 独占鳌头。这证明模型与任务在连续维度上的匹配度直接主导了最终泛化上限。
S6 选择性机制导致的时间不连续失效：在四类动力系统（Van der Pol、阻尼谐振子、OU 过程、Duffing 振子）的推理测试中，在缩减采样步长 $\tau$ 时，S4 的预测误差保持稳定，而 S6 的误差随着网格细化剧烈上升；当离散化规则由 ZOH 切换为双线性时，S6 甚至在原始步长下也出现严重精度退化，证明其并未真正内化连续时间动力学。
阶段式训练的双重效益与适用边界：阶段式训练在高度连续的任务（Image、Pathfinder、PathX）上展现出最强优势，不仅达成特定精度所需的训练时间缩短至 1/5 至 1/2，且最终精度均超越全分辨率训练基线；而在偏离散的 ListOps 上，由于阶段切换时精度损失严重，加速效果较弱。将该训练策略直接移植给 S6 时（如 sCIFAR-10 任务），由于 S6 缺乏时间细化不变性，每次分辨率翻倍都会出现灾难性遗忘，导致阶段式训练完全失效。

亮点与洞察¶

重新审视连续时间模型的数学本质：打破了“由连续微分方程推导出的模型在离散后必定具备连续行为”的惯性思维。通过严谨的误差界推导揭示出 S6 的输入依赖系数会导致离散近似在振幅放大或选择性极强时丧失收敛性，为理解 Mamba 与经典线性 SSM 的差异提供了全新的数值分析维度。
解耦背景偏置的任务连续性量化度量：提出的 $\mu_t$ 指标通过引入远距离样本相似度基底 $\beta$，巧妙去除了嵌入表征空间维度的几何背景偏移，使得学术界首次拥有了一个无需人工语义标签即可量化任意序列数据时序连续程度的实用工具。
将分析型先验转化为计算加速算法：没有停留在理论诊断层面，而是利用 S4 的时间细化稳定性反向推导出“自粗到细”的分阶段训练算法，在保持模型结构与推理成本完全不变的前提下，实现了大幅度训练时钟加速与精度正则化增强。

局限与展望¶

理论分析范围局限于常微分状态空间模型：当前的时间细化收敛界主要基于一阶常微分方程构建，未涵盖注意力机制（Transformers）等纯离散映射在连续时间极限下的形式化收敛性分析。
连续性度量对初始嵌入表征存在轻微依赖：计算 $\mu_t$ 指标时需要先将离散序列投射至连续隐空间，尽管作者验证了 S4 与 S6 编码器给出的得分高度一致，但在完全无编码器的极限场景下仍需更稳健的原始空间核定义。
未来方向：探索连续性归纳偏置与频率偏置、局部性偏置及上下文长度缩放之间的交互规律；针对混合架构设计能够动态调节时间连续稳定性的混合离散-连续注意力算子。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从数值分析的时间细化收敛性严格刻画序列模型的连续归纳偏置，开辟了全新的评估视角。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 类微分动力系统、理论误差数值仿真、LRA 全套 6 大基准及 6 类主流序列模型对比。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰严密，实验设计层层递进，概念抽象与直觉解释结合出色。
价值: ⭐⭐⭐⭐⭐ 既澄清了 SSM 基础理论认知，又提供了可落地的阶段式训练加速算法，对时序科学计算和长序列建模均有重要参考价值。