MARS: Multi-Resolution Adaptive Routing for Sequential Recommendation¶

会议: NeurIPS 2026
arXiv: 2610.07505
代码: https://github.com/reczoo/Datasets/tree/main/Amazon/AmazonElectronics_x1
领域: 推荐系统
关键词: 序列推荐, 长序列建模, 多分辨率记忆, 自适应路由, 紧凑用户表征

一句话总结¶

针对长序列推荐中紧凑记忆压缩造成的时序混叠与近期兴趣遗忘痛点，MARS 提出将完整交互序列写入多个按半衰期先验锚定的循环状态轨道，并通过稀疏路由将多分辨率动态读入固定数量的种子向量，在保留高效候选打分接口的同时显著提升推荐精度与行为迁移鲁棒性。

研究背景与动机¶

现代数字推荐平台依赖长历史交互序列捕捉用户复杂的演化兴趣，以优化用户留存率与点击率（CTR）。现有的长序列推荐架构主要遵循三种范式：全序列自注意力模型（如 HSTU）保留全部历史但计算开销随序列长度爆炸，难以在严格的时延预算下在线部署；基于目标项采样的检索模型（如 SIM、TWIN）虽能提取候选相关的子序列，但打分开销与候选池大小紧密绑定且破坏了全局时序上下文；以 VISTA 为代表的基于记忆摘要（summarization-based）的方案将全历史压缩为少量候选无关的固定种子向量（seed memory），仅在用户交互更新时离线刷新并缓存复用，使得候选打分阶段的计算开销完全独立于原始交互长度。

然而，现存的记忆摘要机制过度关注压缩率与检索接口，忽视了用户历史在时间尺度上的固有组织结构。真实场景中，用户的行为轨迹呈现出多尺度语义共存的特征：单次会话内转瞬即逝的即时意图、数天到数周的周期性主题兴趣，以及贯穿数月甚至更久的稳定底层偏好在单一序列中交织。现有的单体式（monolithic）压缩将这些异构尺度的交互不加区分地混叠进同一组种子向量中，导致下游候选打分网络难以精准重构特定尺度的时序信号。实验探针表明，现存单体记忆存在严重的“时序混叠”（temporal aliasing）缺陷：线性探测器从 VISTA 缓存中重构最近 30 步交互语义的 \(R^2\) 仅为 0.04，而重构 200 步以前的长期交互时 \(R^2\) 高达 0.31，近期瞬时信号在紧凑记忆中几乎被彻底抹平。

单纯采用硬性滑动窗口切分不仅会破坏跨窗口的连续关联，还因离散边界导致截断误差。本文的切入角度是：解耦时间尺度的建模应当融入连续循环状态的设计中，在写入阶段利用平滑衰减的动力学系统构建多分辨率基底，在读取阶段交由轻量路由自适应选择。核心 idea：构建由对数间隔半衰期先验锚定的多轨道循环记忆写入器，并配合历史条件自适应稀疏路由读取器，将多尺度时序状态动态投射进固定容量的种子记忆中，在严格维持常数级打分时延的前提下消除单体压缩的时序混叠。

方法详解¶

整体框架¶

MARS 的整体架构分为三个解耦的阶段：多分辨率记忆写入（Memory Write）、基于稀疏路由的记忆读取（Memory Read）以及候选感知打分（Target-Conditioned Scoring）。模型由 \(N_{\mathrm{mem}}\) 个写入-读取层级联构成。在每一层中，相同的全量交互嵌入序列 \(\mathbf{x}_{1:L}\) 被写入 \(M\) 个独立的循环状态轨道中；各个轨道分别固定了由短至长的基准半衰期衰减先验，在连续时间轴上覆盖从快速遗忘到长期持久的平滑感受野。读取模块维护 \(J\) 个虚拟查询种子向量（seeds），通过轻量级稀疏路由为每个种子自适应选出 Top-\(k\) 个时序轨道进行内容读取与残差更新。更新后的种子表征递进传递至深层路由，形成输入自适应的层次化表征。最终输出的紧凑记忆矩阵 \(\mathbf{H} \in \mathbb{R}^{J \times D}\) 缓存在特征存储中，候选打分网络直接对 \(\mathbf{H}\) 进行交互打分，打分复杂度完全与历史长度 \(L\) 解耦。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    In["用户交互序列嵌入 x_1:L"] --> Tracks
    subgraph Tracks["半衰期锚定循环状态轨道 (Memory Write)"]
        direction TB
        T1["轨道 1: 极短半衰期 H_1<br/>即时瞬时意图 (快速遗忘)"]
        T2["轨道 2: 中短半衰期 H_2<br/>近期局部兴趣"]
        T3["轨道 3: 中长半衰期 H_3<br/>跨周期主题偏好"]
        T4["轨道 4: 极长半衰期 H_4<br/>全局稳定基础偏好"]
    end
    Tracks --> Router["稀疏种子-轨道路由与残差读取 (Memory Read)<br/>Gumbel-Softmax 直通估计 & 层次化残差更新"]
    Seeds["可学习虚拟种子 q_j (1:J)"] --> Router
    Router --> Cache["最终紧凑种子记忆缓存 H (J x D)"]
    Cache --> Scorer["目标项交互打分 (Target Scorer)<br/>候选无关缓存复用, 仅计算 e_v 与 H 交叉注意力"]
    Item["候选物品特征 e_v"] --> Scorer
    Scorer --> Out["预估点击率 y_hat_v"]

关键设计¶

1. 半衰期锚定循环状态轨道：以平滑动力学构建连续多分辨率时序基底

为了打破单体压缩对时序尺度的无差别混叠，同时规避离散滑动窗口带来的边界截断与历史断裂，MARS 在每个记忆层维护 \(M\) 个一阶门控循环状态矩阵 \(\mathbf{S}_t^{(i)} \in \mathbb{R}^{D \times D}\)。对于序列中第 \(t\) 步的物品交互 \(\mathbf{x}_t\)，系统首先通过共享投影矩阵映射得到各轨道的键向量 \(\mathbf{k}_t^{(i)}\) 和值向量 \(\mathbf{v}_t^{(i)}\)。不同轨道的核心区别在于其遗忘门控 \(\mathbf{g}_t^{(i)} \in \mathbb{R}^D\) 的衰减率。模型并不从零学习非约束门控，而是预先将 \(M\) 个轨道的基准半衰期 \(\{H_i\}_{i=1}^M\) 在目标区间 \([H_{\min}, H_{\max}]\) 内按对数均匀间隔锚定。由于常数门控 \(\bar{g}_i\) 在经过 \(H_i\) 步后的保留比例满足 \(\bar{g}_i^{H_i} = 1/2\)，系统直接将门控偏置初始化为固定先验：

\[\mathbf{b}_g^{(i)} = \operatorname{logit}\left(2^{-1/H_i}\right) \mathbf{1}_D\]

在训练过程中该偏置被显式冻结以锁定各轨道的尺度分工，并引入轻量前馈网络 \(\mathbf{F}_g(\mathbf{x}_t)\) 输出输入自适应的局部偏移。循环状态按如下秩一更新演进：

\[\mathbf{S}_t^{(i)} = \left(\mathbf{g}_t^{(i)} \mathbf{1}^\top\right) \odot \mathbf{S}_{t-1}^{(i)} + \mathbf{k}_t^{(i)} \left(\mathbf{v}_t^{(i)}\right)^\top, \quad \mathbf{S}_0^{(i)} = \mathbf{0}\]

这种设计赋予每个轨道跨越全序列的平滑软性感受野，短半衰期轨道聚焦捕捉突发、突变的行为信号，长半衰期轨道沉淀全局长期偏好，从数据流源头阻断了时序混叠。

2. 稀疏种子-轨道路由与直通估计：实现尺度解耦的紧凑记忆实例化

写入阶段构建的 \(M\) 个状态矩阵蕴含了全尺度的历史信息，但直接将所有状态全部暴露给打分层会导致缓存占用与打分延迟过大。MARS 采用 \(J\) 个可学习的虚拟查询种子向量 \(\{\mathbf{q}_j^{(\ell)}\}_{j=1}^J \subset \mathbb{R}^{1 \times D}\)，在第 \(\ell\) 层通过参数化路由网络 \(\operatorname{Router}^{(\ell)}(\mathbf{q}_j^{(\ell)})\) 预测该种子对各时序轨道的匹配偏好分 \(\mathbf{z}_j^{(\ell)} \in \mathbb{R}^M\)。为了防止多轨道内容再度退化为全局稠密平均，前向计算采用严格的 Top-\(k\) 离散选择（通常 \(k=2\)），将路由权重离散归一化：

\[\pi_{j,i}^{(\ell)} = \frac{1}{k} \mathbf{1}\left[i \in \operatorname{TopK}\left(\mathbf{z}_j^{(\ell)} + \boldsymbol{\epsilon}\right)\right]\]

未被选中的轨道前向权重严格置零，从而保证了被提取表征在时序尺度上的纯度。在训练阶段，模型引入 Gumbel 噪声 \(\boldsymbol{\epsilon} \sim \operatorname{Gumbel}(0, 1)\) 促进对不同轨道组合的探索，并在反向传播时使用平滑温度参数 \(\tau\) 的 Gumbel-Softmax 构造直通估计器（Straight-Through Estimator），让梯度顺利回传至路由器。最终读出的特征 \(\mathbf{r}_j^{(\ell)} = \sum_{i=1}^M \pi_{j,i}^{(\ell)} (\mathbf{q}_j^{(\ell)} \mathbf{S}_L^{(i,\ell)})\) 经由门控残差前馈网络输出并更新种子表征：\(\mathbf{q}_j^{(\ell+1)} = \mathbf{q}_j^{(\ell)} + \operatorname{Out}^{(\ell)}([\mathbf{q}_j^{(\ell)}; \mathbf{r}_j^{(\ell)}])\)。

3. 层次化历史条件路由：从静态偏置向动态上下文感知的平滑过渡

初始第 1 层的种子向量 \(\mathbf{q}_j^{(1)}\) 是与用户行为无关的可学习全局参数，因此第 1 层的轨道路由体现为种子先天的功能性分工（例如某些种子专司长程背景，某些种子专司近期细节）。随着读取与残差更新的逐层推进，包含用户个性化历史轨迹的信息被注入到种子隐状态中。进入深层（如第 2、3 层）后，路由器的输入已经转化为富含上下文特征的个性化表征，使得深层的 Top-\(k\) 选择能够根据当前用户的动态漂移程度和行为模式进行自适应调度。实验测得第 1 层的跨用户路由方差为 0，而第 3 层的路由方差上升至 0.1670，证实了路由器成功演化出高度依赖用户历史的自适应决策能力。

一个完整示例¶

以一位在短视频平台（KuaiRec）拥有 1,500 步交互历史的用户为例：该用户长期偏好科技数码类内容，但在最近 20 步交互中集中密集浏览了露营与户外装备。 1. 多轨道并行演进：极短半衰期轨道（\(H_1=5\)）在最近 20 步被露营内容强力刷新，早期科技内容衰减殆尽；而极长半衰期轨道（\(H_4=625\)）衰减缓慢，依然稳固积累着过去数百步沉淀的科技与电子产品偏好。 2. 种子动态路由分工：在第 3 记忆层，专职捕获突发漂移的种子向量被路由器赋予极高的 \(H_1, H_2\) 权重（Top-2 选中轨道 1 与 2），将露营相关的高频偏好注入种子；而专职捕获基底偏好的种子向量则选用了 \(H_3, H_4\) 轨道（权重分配给轨道 3 与 4）。 3. 紧凑缓存生成与打分：最终输出 \(128 \times 32\) 的矩阵 \(\mathbf{H}\)，其中部分向量精准表征露营即时意图，部分向量保留长期数码偏好。当候选池中同时出现无人机（长期数码）和帐篷（即时露营）时，目标打分网络无需重新扫描 1,500 条原始日志，直接通过对 \(\mathbf{H}\) 的交叉注意力即可在 0.05 毫秒内分别匹配到对应的特征槽位，做出高置信度召回与排序。

损失函数 / 训练策略¶

模型采用标准点击率预估二值交叉熵损失进行端到端优化：

\[\mathcal{L} = -\frac{1}{|\mathcal{D}|} \sum_{(u, v, y) \in \mathcal{D}} \left[ y \log \hat{y}_v + (1 - y) \log (1 - \hat{y}_v) \right]\]

在训练加速方面，尽管式 (3) 形式上为循环递归，但得益于门控衰减项在列维度的广播特性，状态递推可解耦为各个特征行维度的标量更新。MARS 借鉴门控线性注意力（Gated Linear Attention, GLA）算法，在对数空间将累乘门控转化为前缀和之差：

\[\log \prod_{n=m+1}^t \mathbf{g}_n^{(i)} = \operatorname{CumSum}(\log \mathbf{g}^{(i)})_t - \operatorname{CumSum}(\log \mathbf{g}^{(i)})_m\]

结合分块大小 \(C=64\) 的 chunk-wise 硬件高效并行前缀扫描算子，将原本严格串行的 \(O(L)\) 训练过程并行化，以线性计算复杂度高效支持 \(L=3,000\) 级别的超长序列训练。

实验关键数据¶

主实验¶

在 Amazon-Electronics、KuaiRand-1K 和 KuaiRec 三个具有不同历史长度特征的公开 CTR 数据集上进行对比实验，评测指标采用 AUC（越大越好）与归一化交叉熵 NE（越小越好），结果为 3 次随机实验的均值与标准差。

数据集	指标	MARS (本文)	VISTA (接口匹配SOTA)	HSTU (全序列SOTA)	相对 VISTA 提升
Amazon-Elec. (平均长度 8.9)	AUC ↑ NE ↓	0.887 ± 0.001 0.618 ± 0.002	0.886 ± 0.002 0.621 ± 0.003	0.884 ± 0.001 0.628 ± 0.001	+0.001 -0.003
KuaiRand-1K (平均长度 957)	AUC ↑ NE ↓	0.748 ± 0.001 0.857 ± 0.002	0.744 ± 0.001 0.863 ± 0.003	0.743 ± 0.001 0.863 ± 1e-5	+0.004 -0.006
KuaiRec (平均长度 1,721)	AUC ↑ NE ↓	0.804 ± 0.002 0.791 ± 0.003	0.793 ± 0.002 0.819 ± 0.003	0.801 ± 0.001 0.795 ± 0.002	+0.011 -0.028

消融实验¶

在具备最长交互历史且诊断性最强的 KuaiRec 数据集上进行系统性组件解耦与结构消融（Top-\(k\) 取 \(k=2\)）：

配置 / 变体	AUC ↑	NE ↓	说明与结论
MARS (完整模型: 多分辨率轨道 + Top-\(k\) 路由)	0.804	0.791	表现最优，兼具尺度多样性与离散路由选择性
w/o 多分辨率 (单分辨率轨道 \(M=4\) + Top-\(k\) 路由)	0.797	0.804	保持参数容量但消除半衰期差异，AUC 暴跌 0.007，退化严重
w/o 稀疏路由 (多分辨率轨道 + 均匀平均读取)	0.797	0.806	拥有多尺度状态但无选择性盲目混合，AUC 下降 0.007
单轨道基线 (单状态 \(M=1\))	0.794	0.812	缺乏多轨道容量与尺度划分，接近单体压缩基线
全局稠密 Softmax 读取 (多分辨率 + 稠密加权)	0.802	0.795	软性权重破坏了尺度的离散解耦，导致性能下降 0.002
用户无关路由 (Top-\(k\) 仅依赖种子索引)	0.799	0.801	缺少深层历史条件自适应调度，无法响应个性化漂移
无输入自适应门控偏置 (\(\mathbf{g}_t = \sigma(\mathbf{b}_g)\))	0.803	0.793	固定衰减率略微损失局部适应性 (AUC -0.0009)

关键发现¶

历史越长，增益越显著：在短序列数据集 Amazon-Electronics 上，MARS 相对 VISTA 的增益较为微弱（AUC +0.001）；而随着平均历史长度扩展到 KuaiRand-1K（957）与 KuaiRec（1,721），AUC 收益迅速拉大到 +0.004 与 +0.011（NE 降低 0.028）。对 KuaiRec 进一步按序列长度切分评估，\(S < 500\) 时 AUC 增益仅为 +0.0005，而在 \(S \ge 1500\) 的超长序列用户群上增益急剧攀升至 +0.0114。
时序混叠的定量修复：线性探测（Ridge Probing）实验证实，VISTA 缓存对最近 30 步交互的重构得分仅为 \(R^2=0.04\)，而长期交互高达 0.31（跨频段极差达 0.27）；MARS 将近期、中期、远期的重构 \(R^2\) 均衡为 0.14、0.12 和 0.19，跨频段极差压缩至 0.07，证明短程信息被有效救回。
用户行为突变下的鲁棒性提升：在对 4,000 名经历显著兴趣漂移的用户进行的切分点评估中，行为突变前 MARS 对 VISTA 的 AUC 优势为 +0.006，而在突变发生后优势急剧扩大到 +0.017（优势扩大了近 3 倍）；且高漂移用户在最终路由中向短半衰期轨道的容量倾斜比例显著高于低漂移用户（+0.055 vs. +0.047），定量印证了自适应路由对行为突变的高效响应。
高吞吐低时延工程可行性：在 NVIDIA A100 上评测，当候选集达到工业实战精排标准的 1,000 个物品时，MARS 端到端单批次推理耗时为 15.48 ms，对比 VISTA 的 15.15 ms 仅增加了约 1.02 倍（吞吐量达每秒 1650 万次候选评估）；单纯参数扩容（如 4 头 VISTA、两倍宽/两倍深 VISTA）即便增加 3.9 倍 FLOPs，AUC 也仅停留在 0.7949，证明增益源自时序架构革新而非单纯的模型容量膨胀。

亮点与洞察¶

半衰期先验显式锚定：巧妙地将对数空间均匀间隔的物理半衰期通过 logit 变换固化为门控偏置先验，无需复杂的正则化或对抗约束，自然在训练全程强制维持单调有序的连续多分辨率时序基底，彻底避免了多尺度门控坍塌。
稀疏路由维持尺度正交性：采用前向离散 Top-\(k\) 均值与反向直通 Gumbel-Softmax 的组合，使得紧凑种子在提取信息时保持尺度的纯净度，避免了稠密 Softmax 带来的跨尺度信息污染。
无损适配现有工业 Serving 体系：候选打分接口与单体记忆缓存格式（\(J \times D\)）完全保持一致，增量事件更新时仅需单次秩一状态步进计算与轻量路由重构，完美兼容现有大规模两阶段推荐/精排基础设施。

局限与展望¶

冷启动与短历史场景增益有限：在历史极短（如 Amazon-Electronics）或新用户场景下，多分辨率轨道的容量优势无法完全展开，甚至引入了冗余的参数开销。
离线与单指标局限：目前评测全部基于离线公开数据集与离线工业脱敏日志的静态 CTR/NE 评估，尚未开展大规模线上 A/B 测试，且未探索序列推荐中的多样性、长期探索与反向强化指标。
半衰期范围依赖人工设定超参：虽然模型对超参在宽幅区间内表现稳健，但最佳 \([H_{\min}, H_{\max}]\) 仍需结合具体业务域的交互频率先验进行标定，未来可探索自适应学习时序边界或频域连续谱表示。

评分¶

新颖性: ⭐⭐⭐⭐ [针对长序列记忆压缩中时序混叠这一隐性痛点，设计了半衰期锚定轨道与自适应稀疏路由的优雅架构]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖三大公开集与工业任务，提供了严格的组件消融、探针可解释性分析、A100 时延实测及行为突变验证]
写作质量: ⭐⭐⭐⭐⭐ [论证逻辑极其严密，从问题诊断、数学推导到工程落地层层递进，实验设计极具说服力]
价值: ⭐⭐⭐⭐⭐ [直击工业界长序列模型落地时存储与时延的死结，兼顾极高精度与工程可行性，借鉴意义极强]