对齐归纳偏置以实现状态空间模型的数据高效泛化 (Aligning Inductive Bias for Data-Efficient Generalization in State Space Models)¶
会议: NeurIPS 2026
arXiv: 2509.20789
代码: https://github.com/Criticality-Cognitive-Computation-Lab/Aligning-Inductive-Bias-for-State-Space-Models
领域: LLM 预训练
关键词: 状态空间模型, 归纳偏置, 核谱分析, 谱对齐, 任务自适应初始化
一句话总结¶
本文从核理论视角证明了线性时不变状态空间模型（LTI SSM）的归纳偏置谱由其频率响应主导，并据此提出任务相关初始化（TDI），在不增加推理与模型参数负担的前提下，通过使初始 SSM 频响对齐任务特征谱，显著提升小样本低数据量场景下的泛化效率。
研究背景与动机¶
现代深度学习与大语言模型的快速发展在很大程度上依赖扩展定律（Scaling Laws），即通过持续堆叠参数量、计算量与预训练数据规模获得可预测的性能提升。然而在科学计算、医疗健康、工业时序以及长尾专业领域中，高质量标注数据与领域序列样本极为稀缺且收集成本高昂，使得以更少数据实现更优泛化的“数据效率”（Data Efficiency）成为前沿核心命题。决定有限样本泛化能力的关键杠杆是模型的归纳偏置（Inductive Bias）：当模型的内在结构假设与目标任务的统计特征相互契合时，样本复杂度会大幅降低；反之若初始偏置发生错配，模型必须消耗额外样本和梯度更新去克服自身先验带来的阻力。
状态空间模型（SSMs，如 S4、S4D 乃至 Mamba 的底层卷积核）因其对长序列建模的高效线性复杂度而备受关注。然而，现有的连续系统离散化与初始化方案（例如基于正交多项式投影的 HiPPO 或标准对角初始化）本质上都是任务不可知（Task-Agnostic）的，在训练前强加了固定的谱先验。参数级理论分析揭示，S4D 等经典初始化极易将模型绝大部分频响变异性集中在狭窄的低频区间；一旦下游任务的关键判别特征位于中高频带，固定的低频偏置就会沦为数据效率的严重瓶颈。
面对这一挑战，本文的核心切入点是将序列卷积映射与核泛化理论相结合，首次形式化刻画了 LTI SSM 卷积算子所诱导的再生核希尔伯特空间（RKHS）谱分布。核心 idea：将 LTI SSM 视为卷积特征映射并证明其诱导核谱由频率响应严格决定，进而提出任务相关初始化（TDI），在训练前将 SSM 的初始极点和频响快速对齐至任务统计谱，实现有限样本下的数据高效学习。
方法详解¶
整体框架¶
本文构建了一套“理论刻画诱导核谱 → 任务谱估计 → 频响几何对齐”的完整自适应初始化框架。整个流程分为三个阶段：首先，将输入序列经离散 LTI SSM 卷积所得的输出显式表示为特征映射 \(\Phi_{\mathrm{SSM}}(\boldsymbol{u}) = \frac{1}{\sqrt{L}}\boldsymbol{T}_h \boldsymbol{u}\)，并基于 Toeplitz 卷积矩阵证明其诱导核的特征值与 SSM 频率响应模长平方渐近等价；随后，基于少量带标签训练样本提取任务谱特征（理论上采用输入-输出互协方差交叉谱，分类任务中采用基于类别的 Fisher 对数功率谱）；最后，通过极点配置（Peak Initialization）及可选的谱匹配损失梯度微调，将 SSM 初始极点安置在任务主频处。
在下游训练阶段，模型完全遵循标准架构、监督目标与优化超参，不引入任何额外的模型参数或推理开销。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["训练序列数据与标签<br/>D = {(u, Y)}"] --> B["任务谱估计<br/>Fisher对数功率谱 / 交叉谱"]
B --> C["频域极点共振初始化<br/>主频峰值映射至稳定极点"]
C --> D["谱匹配损失优化<br/>最小化 L_spec 进一步微调"]
D --> E["标准监督微调与推理<br/>零额外参数 / 零推理开销"]关键设计¶
1. SSM 诱导核与频率响应对齐理论：将时域状态转移映射至核谱空间
针对传统分析难以直接度量 SSM 在小样本下优先学习哪些时序模式的问题，本文将离散 LTI SSM 的因果 Toeplitz 卷积矩阵 \(\boldsymbol{T}_h \in \mathbb{R}^{L \times L}\) 视作确定性特征变换，定义诱导核为 \(K_{\mathrm{SSM}}(\boldsymbol{u}, \boldsymbol{u}') = \frac{1}{L}(\boldsymbol{T}_h \boldsymbol{u})^\top (\boldsymbol{T}_h \boldsymbol{u}')\)。在白化输入假设下，对 \(\boldsymbol{T}_h\) 作奇异值分解 \(\boldsymbol{T}_h = \sqrt{L}\boldsymbol{U}\boldsymbol{S}\boldsymbol{V}^\top\)，其诱导核特征值恰为奇异值平方 \(\eta_\rho = s_\rho^2\)。进一步借助 Gray 渐近等价定理，当序列长度 \(L \to \infty\) 时，下三角 Toeplitz 矩阵渐近等价于循环矩阵，各离散频率 \(\omega_j = 2\pi j / L\) 对应的奇异值满足 \(\tilde{s}_j \sim |H(\omega_j)|/\sqrt{L}\)，由此严格推导得出：
这证明了 SSM 诱导核的谱偏置完全由系统冲激响应的离散时间傅里叶变换 \(H(\omega) = \sum_{n=0}^\infty h_n e^{-i\omega n}\) 决定。根据 Mercer 核回归理论，特征值越大的模式在有限样本下被拟合收敛得越快。若目标任务的高能量模式落在频响较小的区域，模型就会遭遇严重的样本效率瓶颈。
2. 任务谱估计：提取标签引导的判别性频域统计量
为使初始频响具有针对性，必须从极少量训练样本中可靠提取出任务判别性谱信息。在理论层面，利用输入与标签的中心化互协方差矩阵 \(\mathbf{C}_{\boldsymbol{u}\boldsymbol{Y}} = \frac{1}{P} \sum_{\mu=1}^P (\boldsymbol{u}^\mu - \bar{\boldsymbol{u}})(\boldsymbol{Y}^\mu - \bar{\boldsymbol{Y}})^\top \in \mathbb{R}^{L \times d}\)，定义交叉谱 \(S_{\mathrm{cross}}(\omega_j) = \frac{1}{d} \sum_{r=1}^d \left|\mathcal{F}[\mathbf{C}_{\boldsymbol{u}\boldsymbol{Y}}^{(:, r)}](\omega_j)\right|^2\)。而在实际分类任务中，针对时序信号常具有相位平移不变性与能量区分性的特点，设计了 Fisher 对数功率谱 \(S_{\mathrm{FLP}}(\omega_k)\)。
对每个样本提取实数傅里叶变换模长平方的对数特征 \(z^\mu(\omega_k) = \log(|\mathrm{rFFT}(\boldsymbol{u}^\mu)(\omega_k)|^2 + \epsilon)\)，并计算类间方差与类内方差之比：
其中 \(\pi_j\) 为类别先验，\(\mu_j(\omega_k)\) 与 \(\sigma_j^2(\omega_k)\) 为第 \(j\) 类在频率 \(\omega_k\) 上的对数功率均值与方差。该统计量天然抑制了与标签无关但背景功率高的频段，精准凸显区分标签的关键频带。
3. 频域极点共振初始化与谱匹配损失：参数级精准对齐
在获得归一化任务谱 \(S_{\mathrm{task}}\) 后，TDI 采用两步法重塑 SSM 初始状态动态。第一步是峰值极点构造（Peak Initialization）：对于复对角 SSM（如 S4D），选择 \(S_{\mathrm{task}}\) 中的显著主频 \(f_j\)（归一化循环频率），并构造连续稳定极点 \(A_j = -\gamma_j - i 2\pi f_j / \Delta\)，阻尼因子 \(\gamma_j > 0\) 控制共振峰带宽，\(\Delta\) 为时间离散化步长；对于实数 SSM，则填入 \(2 \times 2\) 的实数反对称共振块。第二步可选采用归一化谱匹配损失（Spectral Matching Loss）进行微调：
理论证明，最小化 \(\mathcal{L}_{\mathrm{spec}}\) 严格等价于最大化投影能量目标 \(J = \frac{1}{L}\|\boldsymbol{T}_h \mathbf{C}_{\boldsymbol{u}\boldsymbol{Y}}\|_F^2 = \sum_{\rho=1}^L \eta_\rho \bar{w}_\rho^2\)。依据重排不等式，该过程迫使任务目标函数在特征基上的投影系数 \(\bar{w}_\rho^2\) 与大特征值 \(\eta_\rho\) 精准配对，从而驱动累积能量曲线 \(C(\rho)\) 极速上升，在根本上加快有限样本下的学习动态。
损失函数 / 训练策略¶
初始化流程完成后，在下游监督学习阶段直接丢弃 \(\mathcal{L}_{\mathrm{spec}}\)，采用标准任务交叉熵或均方误差损失端到端训练。在深层 SSM（如多层 S4D）中，作者证明仅需对第一层 SSM 注入 TDI 构造性极点配置即可发挥显著增益，后续层保持默认初始化且不进行梯度微调，兼顾了算法的高效性与鲁棒性。
实验关键数据¶
主实验¶
论文在可训练单层 SSM（7 个数据集，sweep 训练比例 \(0.01 \sim 1.0\)）和深层多层 S4D SSM（8 个基准任务，sweep 训练比例 \(10^{-3} \sim 1.0\)）上开展了系统性评测。下表分别展示了单层 SSM 和深层 S4D 在低数据区间与高数据区间的最终测试准确率对比（数据取自原文 Table 1 与 Table 3）。
| 模型架构 | 评估数据集 | 低数据Base Acc. | 低数据TDI Acc. | 高数据Base Acc. | 高数据TDI Acc. |
|---|---|---|---|---|---|
| 单层 SSM | ECG5000 | 62.9 ± 11.8% | 72.8 ± 14.0% | 90.2 ± 1.6% | 90.5 ± 1.1% |
| 单层 SSM | sMNIST | 61.1 ± 13.3% | 78.4 ± 11.5% | 79.3 ± 26.5% | 88.2 ± 6.2% |
| 单层 SSM | Wafer | 79.8 ± 9.5% | 87.4 ± 6.2% | 94.9 ± 2.9% | 95.5 ± 3.3% |
| 单层 SSM | FordA | 52.2 ± 3.5% | 56.8 ± 7.7% | 68.9 ± 5.6% | 70.4 ± 5.1% |
| 深层 S4D | sMNIST | 56.3 ± 42.2% | 67.4 ± 38.1% | 99.1 ± 0.2% | 99.0 ± 0.2% |
| 深层 S4D | Freq. Cls. | 88.1 ± 18.9% | 91.1 ± 11.5% | 99.2 ± 0.4% | 98.9 ± 0.5% |
| 深层 S4D | Speech Commands | 51.8 ± 31.5% | 55.7 ± 29.7% | 87.3 ± 1.6% | 87.9 ± 2.2% |
| 深层 S4D | SC10 | 49.2 ± 31.8% | 52.8 ± 31.9% | 92.4 ± 1.1% | 92.7 ± 0.7% |
消融与配对增益分析¶
为探究谱匹配机制的有效性，作者在单层 SSM 上针对匹配的数据集-比例-随机种子三元组计算了成对百分点提升（Table 2(a)），并对比了不同数据比例下最终准确率及前 5/10 个 Epoch 的早期收敛表现：
| 训练集比例 \(r\) | 最终准确率提升 \(\Delta\)Acc. (%) | 前5轮平均提升 Early-5 \(\Delta\)Acc. (%) | 前10轮平均提升 Early-10 \(\Delta\)Acc. (%) | 说明 |
|---|---|---|---|---|
| 0.01 | +5.4 [+1.8, +10.3] | +3.5 [-0.7, +9.7] | +3.2 [+0.8, +6.1] | 极小样本下增益显著 |
| 0.02 | +7.5 [+0.9, +15.1] | -0.2 [-2.7, +3.1] | +2.1 [-0.4, +5.1] | 提升达到峰值 |
| 0.04 | +6.5 [+2.3, +11.2] | +3.2 [-1.5, +9.0] | +3.6 [+1.2, +6.8] | 持续显著正增益 |
| 0.08 | +7.3 [+4.0, +10.8] | +2.7 [+0.4, +5.3] | +4.7 [+3.2, +6.1] | 早期与终态均稳定领先 |
| 0.16 | +5.6 [+1.5, +10.0] | +1.7 [-1.2, +4.6] | +2.7 [-0.1, +5.7] | 显著优于 baseline |
| 0.32 | +2.3 [+0.7, +4.0] | +1.5 [+0.0, +3.1] | +1.3 [-0.1, +2.9] | 增益逐渐收敛 |
| 0.64 | -1.2 [-6.7, +2.3] | -1.2 [-4.3, +1.6] | -0.6 [-2.2, +1.0] | 置信区间包含 0 |
| 1.00 | -2.3 [-14.1, +7.3] | -0.6 [-4.4, +3.0] | -1.6 [-7.8, +3.3] | 大数据下基线追平 |
关键发现¶
- 增益集中于有限样本区间：在数据量受限（\(r \le 0.16\)）时，TDI 表现出极强的泛化提升；当数据极度充裕（\(r \ge 0.64\)）时，模型在充分梯度更新后可以自发学习到合适的频偏，基线与 TDI 性能趋近。
- 早期收敛速度大幅提升：在 sMNIST（2.15% 训练集）上，TDI 达到 80% 测试准确率仅需 20.0 个 epoch，而基线需要 34.2 个 epoch；在深层 SSM 中，TDI 在 45/70 个测试条件下的 Early-10 指标上均优于基线。
- 适用边界明晰：对于 ListOps（离散符号树）和 PathFinder（二维空间连通性迷宫），TDI 未见明显收益（ListOps 低数据下 \(\Delta\)Acc 为 -0.4%），原因在于一维实数傅里叶谱无法有效表征非欧空间与离散语法关系。
亮点与洞察¶
- 从频域冲激响应直通再生核希尔伯特空间：巧妙利用 Toeplitz 矩阵与循环矩阵的渐近等价性，给出了离散 LTI SSM 诱导核特征值与 \(|H(\omega)|^2\) 严格对应的解析证明，建立了连续控制理论、时序卷积与统计学习理论的桥梁。
- 纯粹的“零成本”自适应偏置：TDI 仅在初始化阶段通过快速的频域分析（FFT + 方差统计）调整极点分布，后续完全沿用原有网络架构与推理图，真正做到了“训前一步自适应，推理零开销”。
- 实事求是的泛化认知：作者明确指出了 TDI 不是在所有数据量下均能提升天花板的灵丹妙药，而是针对“默认初始化谱错配且样本极有限”场景的针对性解法。
局限与展望¶
- 理论局限局限于 LTI 框架：目前严格数学推导基于线性时不变假设；对于以 Mamba、Mamba-2 为代表的时变选择性状态空间（Selective SSM），非线性输入依赖动态目前只能通过局部摄动展开进行近似。
- 一维实数谱统计对复杂多维结构感知不足：对于二维高阶空间关系（PathFinder）或离散序列结构（ListOps），一维频域统计量无法提供有效指导，亟需探索图谱理论或张量积层面的高维频域拓展。
- 极小样本下的谱估计噪声：当标注样本极度稀疏（如 \(r < 0.001\)）时，Fisher 对数功率谱自身方差较大，难以稳定识别主频。
相关工作与启发¶
- vs. S4 / S4D 初始化 (Gu et al., 2022)：S4D 采用固定的 HiPPO 极点离散化方案，施加了强烈的先验低频偏置；本文揭示了这一固定偏置在非低频任务下的样本效率惩罚，并通过任务谱自适应修正了极点。
- vs. 谱频偏经验调节 (Yu et al., 2025)：Yu 等人通过缩放时间步长 \(\Delta\) 或乘系数经验性调整全局高低频权重；TDI 则是基于严格的核谱对齐目标 \(\mathcal{L}_{\mathrm{spec}}\) 和数据驱动的任务谱统计，实现精确的多共振峰靶向配置。
- vs. 自相关初始化 (Liu & Li, 2025)：以往基于输入自相关的方法未考虑监督标签信息；TDI 引入类间方差主导的 Fisher 对数功率谱与互协方差交叉谱，有效排除了大能量但无判别力的背景噪声干扰。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次完整建立 LTI SSM 卷积诱导核谱与频率响应的理论等价性]
- 实验充分度: ⭐⭐⭐⭐☆ [跨核回归、单层可训练 SSM 到深层多层网络，配对 bootstrap 统计显著]
- 写作质量: ⭐⭐⭐⭐⭐ [理论推导严谨自洽，实证分析与适用边界讨论深刻客观]
- 价值: ⭐⭐⭐⭐☆ [为序列建模在极低标注数据场景下的冷启动与快速收敛提供了切实可行的理论工具]