Rethinking State Tracking in Recurrent Models Through Error Control Dynamics¶

会议: NeurIPS 2026
arXiv: 2605.07755
OpenReview: https://openreview.net/forum?id=WUTtJ13Ih0
领域: 其他
关键词: 循环神经网络, 状态空间模型, 状态追踪, 误差控制动力学, 符号子空间

一句话总结¶

本文从误差控制动力学视角重新审视循环模型的状态追踪问题，证明了仿射循环模型（含 SSM 与线性注意力）在保持状态表示时对符号区分子空间具有严格的中性性而无法纠偏，进而建立了可辨识度比率与有限泛化视界的定量预测理论。

研究背景与动机¶

循环架构在序列建模与形式语言状态追踪任务中的理论研究长期由表达能力（Expressive Capacity）主导。经典文献主要探究特定架构在原则上能否构造出实现离散符号转移转移规则的连续隐状态映射，例如利用电路复杂度证明对角状态空间模型（SSM）无法求解 NC¹ 难度的排列组合追踪，或者通过引入复数特征值与酉矩阵拓展对阿贝尔群和可解群的表征边界。然而在实践落地与长度外推中，模型的理论表达容量与真实状态追踪鲁棒性之间存在严重的断层：即使理论上两层复对角 SSM 即可完美表征对称群 $S_3$，在反复自回归推进下其追踪精度仍会迅速瓦解；宣称能通过单位模旋转精准模拟阿贝尔群的 AUSSM，在循环群 $C_2$ 和 $C_6$ 上的外推表现亦参差不齐。

这一现象暴露出的核心矛盾在于，干净轨迹上的精确符号实现并不等于长序列自回归滚动中的稳定状态维持。真实输入序列中不可避免地伴随数值噪声、舍入误差与模型近似残差，一个鲁棒的状态追踪器必须具备将偏离的隐状态拉回正确符号吸引子的纠偏机制，而不仅仅是在零误差假设下维持平衡。现有文献往往将长程外推失败归因于优化不充分或架构表达上限，忽视了循环更新算子在状态流形微扰下的动力系统行为。

本文的切入视角是跳出纯粹的代数表达力框架，将隐状态在符号区分方向上的漂移动力学作为决定状态追踪成败的核心维度。核心 idea：证明仿射循环模型在精确保持符号状态的同时在数学上必然丧失对符号区分子空间的收缩能力，其失败本质上是由残差线性累积导致的有限视界可读性崩溃，而状态依赖型非线性是实现选择性局部纠偏的充要几何机制。

方法详解¶

整体框架¶

本文构建了统一的循环算子动力学分析框架，研究模型在接收离散输入序列 $x_1, \dots, x_L$ 并在线维护有限群状态 $g_t = g_{t-1} \cdot x_t$ 过程中的隐状态演化。整个分析流线涵盖三个递进阶段：首先，通过状态保持序列的返回映射建立符号子空间上的代数中性定理；其次，引入类内发散与类间间距的可辨识度比率，导出无纠偏动力学下的有限视界崩溃标度定律；最后，通过状态依赖雅可比矩阵的谱分解，界定非线性激活函数对符号误差实现选择性局部收缩的充要条件。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入序列与群状态演化<br/>g_t = g_{t-1} · x_t"] --> B["符号子空间仿射中性分析<br/>保持符号状态导致 A_s|_U = I"]
    B --> C["误差累积与有限视界推导<br/>可辨识度比率 q(t) = R(t)/M(t) 线性攀升"]
    C --> D["状态依赖雅可比局部收缩<br/>非线性激活提供 ||J(c_g)|_U|| < 1 吸引子"]
    D --> E["下游解码可读性判定与长度外推"]

关键设计¶

1. 符号子空间仿射中性分析：证明精确仿射模型无法纠正状态漂移

针对状态空间模型（S4、Mamba、Mamba-3、AUSSM）和线性注意力等广泛使用的仿射循环架构，其隐状态转移算子可抽象为 $h_t = A(x_t) h_{t-1} + b(x_t)$，其中状态雅可比 $\partial h_t / \partial h_{t-1}$ 完全独立于当前状态 $h_{t-1}$。对于任意能够让符号状态复原的序列 $s = x_1 \dots x_T$（即满足符号恒等映射 $\mathcal{T}_s(g) = g$），诱导出的复合返回映射为仿射变换 $F_s(h) = A_s h + b_s$。若该模型在干净状态下精确实现了符号追踪，意味着每一个离散状态的典型隐状态表示 $c_g \in \mathbb{F}^d$ 均是返回映射的不动点，即 $F_s(c_g) = c_g$。

区分不同符号状态的关键方向构成了符号子空间 $\mathcal{U} := \operatorname{span}\{c_g - c_{g'}: g, g' \in G\}$。根据定理 1（仿射中性定理），由于对任意状态对均有 $A_s(c_g - c_{g'}) = F_s(c_g) - F_s(c_{g'}) = c_g - c_{g'}$，这意味着线性算子 $A_s$ 限制在整个符号区分子空间 $\mathcal{U}$ 上必须退化为严格的单位算子： $$A_s|_{\mathcal{U}} = I$$ 该性质直接导致了微扰中性结果：若隐状态沿符号子空间受到微扰 $\delta \in \mathcal{U}$，返回映射后的误差位移 $F_s(c_g + \delta) - F_s(c_g) = A_s \delta = \delta$。这意味着仿射模型陷入了根本性的内在冲突——只要它精确保留了离散状态的几何构型，它就必然丧失沿符号区分方向耗散误差的一切自由度，无法在符号维度构建任何具有吸引力的纠偏流形。

2. 误差累积与有限视界推导：建立可读性阈值与崩溃预测标度

由于仿射模型缺乏在 $\mathcal{U}$ 上的纠偏能力，实际训练出的模型并非因为无法表达状态转移而崩溃，而是在有限序列视界内被逐步累积的残差所吞噬。设训练得到的实际循环步包含微小逼近误差 $\tilde{F}_s = F_s + \varepsilon$。将偏差沿符号子空间做正交投影 $e_{\mathcal{U}}(t) := P_{\mathcal{U}}(h_t - c_{g_t})$，由推论 1 可得误差递推式： $$e_{\mathcal{U}}(t) = e_{\mathcal{U}}(0) + \sum_{j=0}^{t-1} \eta_j, \quad \eta_j := P_{\mathcal{U}} \varepsilon(h_j)$$ 当残差存在非零的相干平均漂移 $\bar{\eta} := \frac{1}{t}\sum_{j<t} \eta_j \neq 0$ 时，符号子空间内的误差不再扩散抵消，而是随时间步 $t$ 线性增长：$e_{\mathcal{U}}(t) \approx e_{\mathcal{U}}(0) + t \bar{\eta}$。

为了定量描述线性解码器 $W_{\text{out}}$ 对状态的可读性，本文定义了两个核心几何量：解码空间内的类内发散 $R(t) := \mathbb{E}[\|W_{\text{out}}(h_t - c_{g_t}(t))\|_2]$ 和最小类间间距 $M(t) := \min_{g \neq g'} \|W_{\text{out}}(c_g(t) - c_{g'}(t))\|_2$。二者的比值构成可辨识度比率 $q(t) := R(t) / M(t)$。根据最近质心判定准则，当 $q(t) < \tau = 0.5$ 时状态保持可读。随着类内误差沿相干方向累积，可辨识度比率呈现线性增长 $q(t) \approx \frac{t \|W_{\text{out}} \bar{\eta}\|}{M}$，从而预测出模型可读性崩溃的时间尺度： $$T_{\text{cross}} \approx \frac{\tau M}{\|W_{\text{out}} \bar{\eta}\|}$$ 这从理论上刻画了仿射模型的两类外推崩溃轨迹：饱和型（初始化阶段 $R(0)/M(0)$ 即过大，初始步便越过阈值）与攀升型（初期处于安全阈值内，随自回归步数增加线性累积至 $T_{\text{cross}}$ 跨越阈值后失效）。

3. 状态依赖雅可比局部收缩：揭示非线性激活选择与子空间误差抑制原理

与仿射模型的代数禁锢不同，具备状态依赖转移的非线性模型（如 Elman RNN 和状态门控 RNN）其更新形式为 $h_t = \phi(W_h h_{t-1} + W_x x_t + b)$。其局部微扰动力学由状态依赖的雅可比矩阵支配： $$J_\phi(c_g) = \left. \frac{\partial \phi}{\partial p} \right|_{p_t(c_g)} W_h$$ 只要各状态质心处的雅可比在符号子空间上的算子范数严格小于 1，即 $\|J_\phi(c_g)|_{\mathcal{U}}\| < 1$，符号子空间内的微扰就会经历指数级收缩，使得每个离散符号状态 $c_g$ 成为局部渐近稳定的吸引子。

论文进一步通过算子分解揭示了不同非线性激活函数的本质差异：逐点标量激活函数（如 $\tanh$ 的 $\operatorname{diag}(1-\tanh^2(p_t))$ 与 ReLU 的 $\operatorname{diag}(\mathbf{1}[p_t > 0])$）以及离散配对排序算子（GroupSort、$\max/\min$）能够提供具有状态依赖特性的对角缩放或置换矩阵，从而在不同质心处对 $\mathcal{U}$ 中的特定方向实现差异化收缩。相反，全向量归一化算子（如 LayerNorm 与球面投影 $h/\|h\|$）在符号子空间诱导的雅可比本质上退化为各向同性的标量缩放叠加上 $O(1/d)$ 的秩一修正，当隐状态维度 $d \gg |G|$ 时无法提供针对符号方向的定向收缩流，因而在长程状态追踪上与线性仿射模型一样走向崩溃。

损失函数 / 训练策略¶

所有模型均在长度为 $T \in [2, 60]$ 的课程学习阶段进行训练，序列输入为从有限群 $G$ 的生成元集合中均匀采样的离散 token，每个时间步要求网络通过线性输出头 $W_{\text{out}}$ 预测当前累积的群乘积 $g_t = x_1 \dots x_t$。损失函数采用标准多分类交叉熵损失： $$\mathcal{L} = - \frac{1}{T} \sum_{t=1}^T \sum_{g \in G} \mathbf{1}[g_t = g] \log \operatorname{softmax}(W_{\text{out}} h_t)_g$$ 优化算法采用 AdamW（权重衰减 0.01，批大小 256）。当模型在当前序列长度上连续 5 个 epoch 的测试准确率达到 95% 时，训练长度翻倍递增直至 $L_{\max} = 60$。训练完成后固定模型权重，在外推评估集 $\{100, 200, \dots, 1000\}$ 上测试泛化性能，以准确率保持 $\ge 90\%$ 的最大长度作为评估指标 $\text{mp}$。

实验关键数据¶

主实验¶

主实验在单层（L1）与双层（L2）配置下评估各类循环架构在阶数递增的群状态追踪任务（奇偶校验 $C_2$、阿贝尔循环群 $C_6$、非阿贝尔对称群 $S_3$）上的最大通过长度 $\text{mp}$（训练最大长度为 60；数值 60 表示仅能拟合训练长度无法外推，✗ 表示课程学习未收敛）。

模型类别	架构模型	动力学类型	$C_2$ (L1 / L2)	$C_6$ (L1 / L2)	$S_3$ (L1 / L2)
对角 SSM	Mamba	仿射 (Affine)	✗ / 60	✗ / 60	✗ / ✗
对角 SSM	Negative Mamba	仿射 (Affine)	1000 / 1000	100 / 200	100 / 200
复数 SSM	Mamba-3	仿射 (Affine)	200 / 300	100 / 100	✗ / 60
复数 SSM	AUSSM	仿射 (Affine)	1000 / ✗	200 / 100	✗ / ✗
复数 SSM	Simple AUSSM	仿射 (Affine)	300 / 400	100 / 100	60 / 100
稠密线性	Linear RNN	仿射 (Affine)	✗ / 100	✗ / 60	✗ / ✗
仿射门控	Token-gated RNN	仿射 (Affine)	1000 / 700	300 / 400	500 / 1000
状态依赖 RNN	tanh RNN	状态依赖 (State-dependent)	1000 / 1000	1000 / 1000	1000 / 1000
状态依赖 RNN	State-gated RNN	状态依赖 (State-dependent)	1000 / 1000	1000 / 1000	1000 / 1000

消融实验¶

消融实验分为两部分：其一为探究非线性激活算子类型对单层 RNN 在非阿贝尔群 $S_3$ 追踪任务上的外推影响；其二为在评估步 $t_{\text{eval}}$ 处度量各架构在符号子空间内的归一化发散 $r_{\text{err},\mathcal{U}}/r_{\text{sep}}$ 与外加微扰恢复比率 $\|e\|/\|e_{t_0}\|$（注入方差 $\sigma=10^{-2}$）。

表 1：激活函数与归一化算子对单层 RNN 在 $S_3$ 追踪外推能力的影响

算子类型	算子实例 $\phi$	最大通过长度 $\text{mp}$ ($S_3$)	说明
无激活	Identity (Affine)	✗	纯仿射退化，无法纠偏
向量归一化	LayerNorm	✗	秩一修正无法提供定向收缩流
向量归一化	Sphere Projection ($h/\\|h\\|$)	✗	各向同性投影，保留仿射中性阻碍
标量非线性	$\tanh$	1000	对角元素依赖状态，实现稳定吸引子
标量非线性	ReLU	1000	分段线性截断，提供单向收缩能力
配对排序	Pointwise $\max / \min$	1000	依赖状态的排列矩阵，无增益饱和
配对排序	GroupSort ($k=2$)	1000	1-Lipschitz 分段正交收缩

表 2：代表性架构在 $S_3$ 上的符号子空间误差分布与微扰恢复响应（中位数 [Q1, Q3]）

模型架构	动力学性质	评估步 $t_{\text{eval}}$	符号误差比 $r_{\text{err},\mathcal{U}}/r_{\text{sep}}$	微扰恢复比 $\\|e\\|/\\|e_{t_0}\\|$
Mamba	仿射 (饱和型)	60	1.69 [1.20, 2.27]	0.26 [0.25, 0.26]
Mamba-3	仿射 (饱和型)	60	9.62 [7.04, 11.92]	0.94 [0.94, 0.94]
Negative Mamba	仿射 (攀升型)	100	3.55 [2.79, 6.03]	0.47 [0.43, 0.50]
Token-gated RNN	仿射 (放大发散型)	500	1.39 [1.00, 2.00]	$4.0 \times 10^{11}$
tanh RNN	状态依赖 (纠偏型)	1000	0.65 [0.55, 0.83]	$4.9 \times 10^{-6}$
State-gated RNN	状态依赖 (纠偏型)	1000	0.67 [0.52, 0.87]	$3.9 \times 10^{-5}$

关键发现¶

仿射与状态依赖的鸿沟跨越表达能力：除普通 Mamba 表达力不足外，绝大多数仿射模型在两层设置下理论上均具备求解 $S_3$ 的表达容量，但在长程外推时全部表现脆弱；而带有状态依赖的简单 Elman RNN 和状态门控 RNN 则在全部测试任务上均轻松达到 1000 的最大评测上限。
可读性阈值精确预测外推失效点：在 113 个 $S_3$ 实验模型上，理论预测的可辨识度穿越步数 $T_{\text{cross}}$（即 $q(t)$ 首次突破 0.5）与真实下游最大通过长度 $\text{mp}$ 在双对数坐标下展现出高度强相关（Pearson 相关系数 $r = +0.87, p < 10^{-30}$），而在实际失效点 $t = \text{mp}$ 处的中位数比率 $q_t$ 恰好收敛在 0.91（95% 置信区间 [0.83, 1.07]），证实了解码器在类内发散接近类间间距时崩溃的动力学机理。
符号子空间误差漂移是崩溃的直接根源：对类内发散进行子空间正交投影分析表明，仿射模型在初期误差主要集中于非符号子空间 $\mathcal{U}^\perp$；但随着推进接近其失效步数 $\text{mp}$ 时，符号子空间误差比 $q_{\mathcal{U}}$ 发生反超并成为主导。状态依赖模型则自始至终将 $q_{\mathcal{U}}$ 强烈压制在低位。
奇偶校验 $C_2$ 的对合陷阱掩盖了纠偏缺失：仿射模型（如 Negative Mamba 与 Token-gated RNN）在 $C_2$ 上表现优异并非因为存在误差纠正，而是利用了仿射对合 $F_a^2 = \operatorname{id}$ 的中性振荡；由于二分类决策边界容限极大（容许误差高达 $\pi r / 2$），中性振荡误差未越界。随着群阶数增加至 $C_6$（容限缩小为 $\pi r / 6$）和非阿贝尔群 $S_3$，无纠偏机制的本质缺陷立即暴露无遗。

亮点与洞察¶

跳出静态表达力，引入动态误差控制：论文首次将循环架构的理论分析从单纯的“能否表征（Expressivity）”推进到“自回归推进下能否抗漂移（Error Control）”，用动力系统视角完满解释了长程序列建模中“理论能解但实操崩塌”的长期疑团。
代数中性定理的优雅证明：定理 1 仅凭借“状态保持”与“仿射性”两个前提，便无可辩驳地推导出算子在符号子空间必须为恒等映射 $A_s|_{\mathcal{U}} = I$，建立了结构性不可能定理。
非线性本质认知的深化：澄清了并非只要引入非线性就能消除仿射中性障碍，明确区分了逐点局部激活（提供定向雅可比收缩流）与全局向量归一化（各向同性退化，无法抑制特定符号维度漂移）的动力学本质。

局限与展望¶

基准局限于有限离散群：论文将实验严格限定在有限群（$C_2, C_6, S_3, C_2 \times C_4, A_4$）的状态追踪范式中，尚未直接涵盖连续动态系统建模、自然语言常识推理或长上下文实体追踪等复杂高维场景。
未探讨混合与外挂纠偏机制：分析主要针对纯循环更新结构，未涵盖类似注意力机制（Attention）、外部显式记忆缓存（Memory Augmentation）或周期性离散重投影对仿射误差累积的阻断效果。
改进方向：探索在保持状态空间模型并行扫描（Parallel Scan）计算优势的前提下，引入弱状态依赖调节或轻量化流形投影算子，以在不破坏硬件加速友好的前提下恢复符号子空间收缩能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 突破性地提出误差控制动力学作为循环状态追踪的全新理论维度，证明了仿射中性定理。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 9 大类代表性架构、5 个代数群任务、严格的网格搜索与多维度动力学探针（微扰恢复、子空间投影、外推时间标度）。
写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨，叙述逻辑层层递进，动机与机理解释透彻深入。
价值: ⭐⭐⭐⭐⭐ 为新一代长上下文状态空间模型（Mamba 系列、线性 Transformer）的理论边界与架构演化提供了至关重要的指导意义。