跳转至

Selective State-Space Adaptation and Retrieval for Language Model Reasoning

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/atahandokme/malora-mara
领域: LLM推理 / 选择性状态空间适配
关键词: 状态空间模型, 参数高效微调, 多跳推理, 检索适配器, Mamba

一句话总结

论文提出了一种双层选择性状态空间适配机制,在 token 粒度利用带有跨位置递归记忆的 Mamba 模块动态调制 LoRA 缩放因子(MaLoRA),在 context 粒度利用段落级 Mamba 递归解码冻结基座隐状态中的支撑证据(MaRA),在参数量仅增微小比例的前提下将多跳推理 F1 相对基线提升 10.0%。

研究背景与动机

参数高效微调(PEFT)技术中,低秩自适应(LoRA)已成为调整冻结大语言模型以适配下游任务的标准范式。然而,经典 LoRA 的本质是在训练后对所有输入施加完全相同的静态低秩权重更新。在面对需要复杂步骤推导的多跳问答与逻辑推理任务时,模型在前向生成中会经历多个潜在的状态转移,静态更新只能依靠整个训练集聚合的全局模式,缺乏根据当前输入以及生成轨迹中的实时状态进行动态自适应调节的能力。

尽管近期部分工作尝试通过输入相关的调节机制来打破静态限制(如 TopLoRA),但它们普遍采用无状态的逐 token 对角变换,每个位置的调节因子仅取决于当前 token 本身,序列前后位置之间不存在显式的记忆传递。更关键的是,作者在深入分析后发现了一个本质瓶颈:token 级别的动态调制虽然能敏锐区分提示词中的结构角色(如格式分隔符、问题与段落正文),但在段落内部,支持性证据段落与干扰段落所分配到的调制强度差异极小(均值差异小于 0.002)。这意味着证据检索与过滤这一核心决策无法在 token 粒度单靠局部调制完成,必须上升至上下文段落级别进行显式建模。

针对这种粒度错位与状态缺失的矛盾,本文提出了一种在 token 级与 context 级协同控制的双层选择性状态空间适配家族。其切入角度在于:利用具备亚二次方序列建模与输入依赖状态转移特性的 Mamba 模块,既在 token 粒度跟踪历史生成轨迹以控制 LoRA 的更新幅度,又在 context 粒度串联各段落的表征以递归筛选推理所需的多跳链条证据。核心 idea:利用选择性状态空间模型(Mamba)分别在 token 粒度提供具备历史序列记忆的动态 LoRA 标量调制(MaLoRA),以及在 context 粒度直接从冻结基座隐状态中递归解码并检索支撑段落(MaRA),实现端到端推理性能的双重正交累加。

方法详解

整体框架

整个系统围绕一个参数完全冻结的语言模型主干展开,分为前置的段落级检索(MaRA)与生成时的 token 级低秩自适应调制(MaLoRA)两个互补阶段。在推理开始前,包含问题与候选段落的输入首先输入给段落检索适配器 MaRA,MaRA 提取基座前 \(K\) 层的中间隐状态,经注意力池化后输入段落级 Mamba 递归模块,以链式多轮决策选出最相关的 top-\(k\) 个段落。随后,由筛选出的精简上下文与问题组合成的新输入送入主干模型,在自回归生成过程中,MaLoRA 利用另一个 token 级 Mamba 模块累积位置轨迹信息,输出动态标量因子 \(\lambda(x_t)\) 实时缩放低秩适配分支的增量权重。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询 Q 与候选段落集合 C"] --> B["前 K 层冻结表征提取与注意力池化"]
    B --> C["段落级 Mamba 递归交互与证据选择"]
    C -->|输出 Top-k 支撑段落| D["精简上下文与查询拼接"]
    D --> E["Token 级 Mamba 轨迹状态建模"]
    E --> F["动态标量调制低秩生成"]
    F --> G["最终多跳推理答案"]

关键设计

1. 前 K 层冻结表征提取与注意力池化:零新增编码器开销的段落表征沉淀 外部检索器通常需要单独维护数亿至数十亿参数的独立文本编码器,且其通用表征往往无法对齐具体生成模型的内部隐空间。MaRA 摒弃了独立编码器架构,直接复用下游冻结主干的前 \(K\) 层 Transformer 作为特征提取器。对于查询 \(Q\) 与每个候选段落 \(C_i\),将其拼接后前向通过前 \(K\) 层得到查询条件化的隐状态序列 \(H_i \in \mathbb{R}^{T_i \times d}\)。为了将变长序列聚合为紧凑的段落向量,设计了可学习查询驱动的加性注意力池化层,利用参数 \(W_k \in \mathbb{R}^{d_p \times d}\) 与池化查询向量 \(q_a\) 计算权重,自适应提炼段落语义:

\[p_i = \sum_{j=1}^{T_i} \text{softmax}_j\left(q_a^\top \tanh(W_k H_{i,j})\right) H_{i,j}\]

这一设计既让段落隐状态天然包含与查询的深层交互信息,又把可训练参数控制在极低水平,避免了外部检索器带来的额外推理与显存负担。

2. 段落级 Mamba 递归交互与证据选择:以段落为状态演化单元的多跳链条追溯 在多跳推理中,支撑证据往往呈链式依赖分布,单独看后续段落往往因缺乏实体桥接而无法与原始查询直接建立相似度。MaRA 在池化段落向量序列 \((p_1, \dots, p_N)\) 之上构建了一个双层选择性状态空间模块(Mamba),将状态转移的物理颗粒度由 token 放大至段落。投射后的段落序列经过因果 Mamba 递归,生成依序融合了前序所有段落语义的隐状态 \(s_i\)。在训练阶段,联合局部线性评分头 \(r_i = w_\ell^\top s_i\) 与读取最终整合状态 \(g = s_N\) 的全局评分头 \(\tilde{r} = W_g g\),通过加权二元交叉熵和支持/干扰段落间的成对间隔损失进行联合监督:

\[\mathcal{L} = \sum_i \text{BCE}(r_i, y_i) + \beta \sum_{i: y_i=1} \sum_{j: y_j=0} \max(0, m - (r_i - r_j)) + \gamma \sum_i \text{BCE}(\tilde{r}_i, y_i)\]

在推理时,执行 \(N_p=4\) 轮链式选择(Chained Selection),每一轮重新评分并锁定一个最高分段落进入锚点集合,下一轮以此锚点为条件继续追索下一跳证据,彻底突破单次打分难以解决的隐式实体跳跃瓶颈。

3. Token 级 Mamba 轨迹状态建模:打破无状态假设的自适应记忆流 现有的动态 LoRA 适配器大多仅根据当前单个 token 的投影生成变换矩阵,使得处于长序列不同位置或特定推导路径下的 token 无法感知历史轨迹。MaLoRA 在每个被适配模块(包括注意力与 MLP 投影)中引入了专用的单层 Mamba 状态空间单元。将前向激活 \(x_t\) 通过低秩矩阵 \(P \in \mathbb{R}^{r \times d_{in}}\) 投影后,状态空间模块维护内部状态 \(s_t \in \mathbb{R}^{d_s}\),通过输入相关的离散化矩阵 \(\bar{A}_t, \bar{B}_t, \bar{C}_t\) 持续累积前向序列的历史信息:

\[s_t = \bar{A}_t s_{t-1} + \bar{B}_t P x_t, \quad o_t = \bar{C}_t s_t\]

这种机制让参数高效微调适配器内部首次拥有了真正的时间维度递归记忆,使模型能在长推导序列中感知当前 token 所处的推导阶段,而不仅仅依靠基座模型的自注意力机制提供上下文感应。

4. 动态标量调制低秩生成:兼具抑制与放大能力的轻量输出约束 对于状态空间输出 \(o_t\),MaLoRA 通过微型线性头与 Softplus 激活函数将其映射为单一标量因子 \(\lambda(x_t) = \text{softplus}(\phi(o_t))\),直接作用于 LoRA 的中间低秩表示:

\[h_t = \left(W_0 + B \lambda(x_t) A\right) x_t\]

相比于 TopLoRA 学习的高维对角矩阵,标量输出极大地提升了数值稳定性与可解释性。使用 Softplus 激活使调制因子既能取小于 1 的值实现对先验权重的抑制,又能取大于 1 的值实现动态放大。实证分析表明,MaLoRA 展现出显著的“抑制主导”(61%~84% 的 token 表现为 \(\lambda < 1\))和“角色敏感”特征:对结构性分隔符与问题 token 进行强力抑制,而为核心正文内容保留较高适配强度,重塑了低秩梯度的实际更新分布。

损失函数 / 训练策略

系统采用解耦的分阶段训练策略(Staged Training),无需对两套模块进行复杂的端到端联合反向传播: - 第一阶段:在下游多跳问答任务上对冻结基座联合微调 LoRA 矩阵与 token 级 MaLoRA 调制器,优化器为 AdamW,有效批大小为 4(MuSiQue)或 8(2WikiMultihopQA),学习率设为 \(2 \times 10^{-4}\),在 9,998 条规范化样本上微调 2 个 epoch; - 第二阶段:将主干模型重新锁定,仅针对包含 2.9M~3.1M 参数的 MaRA 检索模块,利用带有二元支持标签的数据集训练 2 个 epoch,学习率 \(5 \times 10^{-4}\)。损失函数中正类 BCE 权重设为 8.0 以平衡类别不平衡,成对间隔权重 \(\beta=0.5, m=1.0\),辅助全局头权重 \(\gamma=0.5\)。

实验关键数据

主实验

在 MuSiQue(2~4 跳,20 个候选段落)与 2WikiMultihopQA(10 个候选段落)两个严苛的多跳推理基准上,跨越 Qwen-2.5-7B、Llama-3.1-8B 与 Gemma-2-9B 三款代表性主流开源大模型,评估 Exact Match (EM) 与 F1 指标:

主干基座 适配方法 MuSiQue (EM / F1) 2WikiMultihopQA (EM / F1)
Qwen-2.5-7B Base(无适配,全上下文) 5.1 / 14.4 15.3 / 26.0
Qwen-2.5-7B LoRA (Hu et al., 2022) 38.4 / 51.1 71.7 / 77.3
Qwen-2.5-7B TopLoRA (Li et al., 2025) 41.5 / 55.6 72.6 / 77.9
Qwen-2.5-7B MaLoRA (Token 级调制) 42.6 / 56.4 73.7 / 79.3
Qwen-2.5-7B LoRA + MaRA 42.2 / 55.6 75.4 / 81.0
Qwen-2.5-7B MaLoRA + MaRA (全系统) 44.9 / 58.9 77.9 / 83.3
Llama-3.1-8B Base(无适配,全上下文) 6.0 / 17.4 20.3 / 31.9
Llama-3.1-8B LoRA (Hu et al., 2022) 41.8 / 54.4 72.9 / 78.5
Llama-3.1-8B TopLoRA (Li et al., 2025) 47.3 / 61.4 75.1 / 80.4
Llama-3.1-8B MaLoRA (Token 级调制) 48.1 / 62.3 78.1 / 83.3
Llama-3.1-8B LoRA + MaRA 43.4 / 55.8 75.7 / 81.2
Llama-3.1-8B MaLoRA + MaRA (全系统) 48.2 / 62.5 79.9 / 85.1
Gemma-2-9B Base(无适配,全上下文) 13.8 / 25.3 17.9 / 34.2
Gemma-2-9B LoRA (Hu et al., 2022) 45.4 / 59.8 71.5 / 77.2
Gemma-2-9B TopLoRA (Li et al., 2025) 43.8 / 59.4 73.5 / 79.2
Gemma-2-9B MaLoRA (Token 级调制) 48.7 / 63.7 77.1 / 82.2
Gemma-2-9B LoRA + MaRA 43.8 / 57.9 74.6 / 80.3
Gemma-2-9B MaLoRA + MaRA (全系统) 46.9 / 61.9 80.1 / 85.2

消融实验

在无额外生成适配器的基座模型上,对段落级检索架构进行消融对比(单轮评分,Recall@4 指标):

检索架构配置 可训练参数量 MuSiQue (Qwen / Llama) R@4 2Wiki (Qwen / Llama) R@4 核心说明
MLP(无跨段交互) 13.4M 20.6 / 19.6 93.8 / 95.3 缺乏段落间交互,多跳识别崩溃
LastTok(仅末尾token) 3.6k 30.1 / 32.3 84.8 / 83.7 单token承载信息极度受限
TokenMamba(token级展开) 2.0M 61.4 / 54.8 82.5 / 76.1 粒度不匹配,较段落级低19~29点
PoolOnly(仅池化无mixer) 1.8M 57.3 / 58.2 90.0 / 94.7 证明跨段落建模模块的必要性
LSTM(双层经典递归) 2.9M 58.6 / 58.6 94.9 / 93.5 缺乏选择性状态机制,落后>20点
GRU(双层经典递归) 2.6M 60.2 / 58.7 94.8 / 93.8 同样落后选择性状态空间架构
Transformer(标准注意力) 3.4M 63.8 / 60.5 95.5 / 95.2 注意力权重分散,落后近20点
MeanPool + Mamba 2.9M 73.8 / 76.8 98.6 / 98.1 去除注意力池化导致7点下降
Mamba (MaRA 完整设计) 2.9M 80.6 / 84.1 99.2 / 99.5 在所有配置中均取得最佳表现

关键发现

  • 两层机制高度正交且几乎完全线性可加:在 6 个主实验测试单元中,MaLoRA 带来 +2.0 到 +7.9 F1 的稳定正向增益;MaRA 上下文过滤带来 -1.9 到 +4.5 F1 变化。二者重叠率均值仅 6%,说明 Token 级结构角色再分配与 Context 级干扰项剥离分工清晰、无缝互补。
  • 未微调模型的潜层空间已富集推理证据:仅 14.4~25.3 F1 的原始基座,其浅层中间表示配合 2.9M 的 MaRA 即可达到 80.6~99.5% 的 Recall@4,甚至超越 8B 规模的专用检索大模型 Qwen3-Embedding-8B(75.5%)。微调的意义很大程度在于释放与解码模型已具备的潜在感知。
  • 状态空间的粒度对齐至关重要:在 token 级,Mamba 与 LSTM/GRU 的差异并不显著(差距在 seed 方差内);但在段落级,以段落为状态演进单元的选择性 Mamba 相比 LSTM 领先超 20 个百分点,表明状态空间的设计必须与任务的内在语义转换粒度相匹配。

亮点与洞察

  • 将同一状态空间算子(Mamba)嵌套复用于两套不同时空尺度:在序列生成微观尺度,利用状态转移控制 LoRA 权重动态幅度;在输入上下文宏观尺度,利用状态更新实现实体跳转与证据打分。不仅构思精巧,而且极大统一了模型设计范式。
  • 揭示了 Token 级调制与 Context 级检索的功能边界:定量证明了单纯 token 级调制因无法区分支撑段落与干扰段落(均值差异 \(\le 0.002\)),必然无法单独胜任长文本推理的证据精选,为后续适配器研究划清了职责分工界线。
  • 模型内生隐状态解码优于独立外置检索器:利用下游模型自身前 \(K\) 层特征进行轻量交互检索,不仅避免了部署两套独立大模型的巨大开销,更避免了外部检索器与生成器表征空间错位导致的次优检索。

局限与展望

  • 目前仅局限于具备明确段落边界的多跳问答任务:在数学推导(GSM8K)等单上下文任务中,缺乏自然的“段落分割”,尝试以解题步骤为段落维度的扩展未能取得稳定收益。如何泛化定义非检索任务的段落/状态单元仍是开放问题。
  • 推理期 Chained Pre-pass 引入了显式延迟开销:\(N_p=4\) 轮的段落链式重评分需要在生成前多跑数次前 \(K\) 层前向传递,在推理时带来了 2.1~5.6 秒/样本的预处理耗时,构成了整体吞吐的主要瓶颈。
  • 训练流程为分阶段而非全链路端到端联合反传:目前两阶段分离训练牺牲了两者潜在的端到端协同演进能力,未来探索在调制状态反馈下的端到端可微检索将是极具前景的方向。

相关工作与启发

  • vs LoRA / TopLoRA: 经典 LoRA 施加全输入一致的静态权重偏移;TopLoRA 引入无状态的逐 token 独立对角缩放;本文通过引入状态空间递归流,使适配器首次获得了感知历史前向轨迹的能力,并证明了标量调制比高维对角调制更稳定。
  • vs READ / SSMLoRA: READ 与 SSMLoRA 选择将状态转移建立在 Transformer 的“层与层之间”(横跨模型深度);而 MaLoRA 则将 Mamba 的递归轴牢牢锚定在“序列的前后 token 位置”(沿着时间维度),更贴合序列推导的动态决策特征。
  • vs 外部 Dense Retriever (如 BGE / Contriever / Qwen3-Embedding): 传统外挂检索器独立于生成主干,存在领域漂移和表征失配问题;MaRA 作为“模型附着型”轻量检索适配器,直接从生成器浅层隐状态解码相关性,以极低参数量实现了超越 8B 检索专有模型的效果。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 将选择性状态空间分别在 Token 与 Context 双尺度复用,兼顾参数高效与结构设计,切入点非常独到。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 大主流开源系列模型、全维度架构消融、显存/时延开销分析与深入的注意力/状态机理探究。
  • 写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣,从发现 Token 调制的段落盲区自然引申出 Context 级适配器,叙述极其清晰严谨。
  • 价值: ⭐⭐⭐⭐⭐ 为长上下文推理、参数高效微调以及轻量级模型内生检索提供了极具落地可行性的新范式。