UxSID: Semantic-Aware User Interests Modeling for Ultra-Long Sequence¶

会议: NeurIPS 2026
arXiv: 2605.09040
代码: https://github.com/HonghuiBao2000/LETTER/tree/master
领域: 其他
关键词: 超长序列建模, 推荐系统, 语义ID, 点击率预估, 层次化注意力

一句话总结¶

UxSID 提出利用语义 ID（SID）作为高密度语义探针来引导超长用户行为序列压缩，通过无目标兴趣压缩模块提取正交兴趣锚点，并结合分层门控双阶段注意力实现目标感知兴趣路由，在保障在线常数级推理耗时的同时显著提升长序列点击率预估精度。

研究背景与动机¶

在现代短视频与电商平台（如快手、TikTok、Instagram）中，活跃用户的交互序列随着时间急剧膨胀，单周产生上万条行为记录已成常态。超长序列建模（ULSM）对于捕捉用户长期演化的深层兴趣偏好、桥接嘈杂的即时反馈与稳定的长程意图至关重要。然而，工业级推荐系统面临极为严苛的毫秒级在线服务时延约束，标准自注意力架构与生成式序列模型的二次方计算复杂度使其无法直接处理数千乃至上万长度的全量序列，迫使系统必须在长程建模能力与计算效率之间做出妥协。

为打破超长序列的在线扩展瓶颈，工业界以往主要演进出两条技术路径：一是以 SIM、TWIN 为代表的“检索型”（Search-based）两阶段范式，依赖第一阶段轻量全局检索单元（GSU）粗筛出候选相关的 Top-K 子序列，但离散硬匹配或浅层软检索受限于预定义键空间表达力，极易因启发式筛选丢失表面相关度低但具有深层互补意图的历史行为；二是以 MIMN、PinnerFormer、C-Former 为代表的“压缩型”（Compression-based）范式，将全量历史离线蒸馏为若干个与候选无关的静态用户兴趣记忆，在线时直接读取紧凑表征，但这犹如一个低通滤波器，仅保留全局粗粒度趋势，完全丧失了针对具体候选物品的高频目标敏感性。

这两条技术路径分别走向了“完全候选特定”与“完全候选无关”两个极端，而二者之间存在一条尚未被充分探索的折中路径：在保持超长序列离线高效压缩的同时，引入有限但语义密集的候选属性信号指导压缩方向。基于此，本文打破传统基于随机离散物理 ID（PID）的匹配局限，转而利用深度量化生成的语义 ID（SIDs）作为语义交互介质。核心 idea：将离散多模态语义 ID（SID）作为紧凑的高密度探针，通过无目标兴趣正交压缩与层次化门控语义探测两阶段架构，在离线阶段实现兼顾全局行为覆盖与目标语义敏感性的兴趣路由，从而在严格保持在线恒定推理时间的同时释放超长序列的排序增益。

方法详解¶

整体框架¶

UxSID 围绕“以语义 ID 指导高效兴趣蒸馏与在线恒定服务”展开，整体流程包含三个核心模块：首先通过目标 SIDs 生成器将候选物品的多模态属性量化映射为多层离散语义编码；接着在无目标兴趣压缩（IAIC）模块中，利用一组可学习兴趣查询通过交叉注意力与逐词元前馈网络将原始长行为序列浓缩为多维正交兴趣锚点；最后在层次化语义探测模块中，以目标第一层 SID 为探针，分别执行对原始序列的显式语义查询以及对正交锚点的门控隐式探测，拼接生成最终的用户-目标交互表征。

离线预计算完成后，UxSID 将用户 ID 与目标 SID 进行哈希组合作为键，生成的紧凑表征直接存入分布式向量检索引擎（Embedding Server）；在线推理阶段通过 $O(1)$ 单点读取后接入浅层排序网络，彻底摆脱序列长度对在线时延的束缚。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    subgraph Preprocess["多模态语义离散化"]
        direction TB
        RawAttr["候选物品多模态属性<br/>(文本描述 + 视频帧)"] --> MLLM_Enc["MLLM 编码器<br/>连续语义向量 z_i"]
        MLLM_Enc --> Quant["Res-KmeansFSQ 层次量化<br/>提取首层核心码 c_target"]
    end

    subgraph IAIC_Module["无目标兴趣压缩 (IAIC)"]
        direction TB
        UserSeq["原始长行为序列 E<br/>(L 个历史交互项)"]
        AncQuery["可学习兴趣查询 Q_anc<br/>(K 个语义锚点)"]
        CrossAttn["交叉注意力特征汇聚<br/>Softmax(Q_anc W^Q (EW^K)^T / sqrt(d)) EW^V"]
        PFFN["逐词元前馈网络 (PFFNs)<br/>独立映射各兴趣子空间"]
        OrthoConstraint["正则化正交约束<br/>L_ortho 强制锚点表征多样性"]
        UserSeq --> CrossAttn
        AncQuery --> CrossAttn
        CrossAttn --> PFFN
        PFFN --> OrthoConstraint
        PFFN --> FinalAnchors["正交兴趣锚点 P"]
    end

    subgraph Probing_Module["层次化语义探测"]
        direction TB
        Quant -->|注入首层 SID 探针| Stage1["显式全局探测<br/>c_target 对全量序列 E 计算注意力"]
        UserSeq --> Stage1
        Stage1 --> GlobalResp["全局兴趣响应 e_global"]
        GlobalResp --> GatingNet["门控上下文计算<br/>g_ctx = σ(GatedNet(e_global))"]
        GatingNet --> ModQuery["调制查询向量<br/>q_ref = c_target ⊙ g_ctx"]
        FinalAnchors --> Stage2["隐式局部探测<br/>q_ref 对锚点 P 进行注意力检索"]
        ModQuery --> Stage2
        Stage2 --> LocalResp["局部意图响应 e_local"]
    end

    subgraph Serving["模型训练与在线部署"]
        direction TB
        GlobalResp --> Concat["拼接生成最终表征<br/>E^UxSID = [e_global ; e_local]"]
        LocalResp --> Concat
        Concat --> OfflineCache[("离线分布式 KV 缓存<br/>Key: Hash(UID ⊕ SID)")]
        OfflineCache -->|在线 O(1) 点查| Downstream["下游 CTR / CTCVR 预估网络<br/>多任务预测与联合优化"]
    end

关键设计¶

1. 基于多模态量化的语义 ID（SID）生成：突破离散符号壁垒的高维语义探针 传统的推荐模型高度依赖基于哈希或 Embedding Lookup 的随机物理 ID（PID），这类 ID 仅能建立孤立的表征索引，不同物品之间无法共享深层语义先验，在超长序列的稀疏检索中极易产生严重的召回偏置。为此，UxSID 引入多模态大语言模型（MLLM）对物品的多模态内容（视频帧、标题、多级标签等）进行统一编码，生成对齐业务语义的连续向量 $\mathbf{z}_i = \text{Enc}_{\text{MLLM}}(\text{Attributes}_i)$。为了兼顾工业级海量存储与推理吞吐，模型采用 Res-KmeansFSQ 混合残差量化算法，将高维连续空间分层量化为 $M$ 级离散语义码： $$\mathbf{z}_i \approx \sum_{m=1}^{M} \mathcal{C}_m(k_m), \quad k_m = \arg\min_j \|\mathbf{r}_{m-1} - \mathbf{c}_{m,j}\|_2$$ 其中 $\mathbf{r}_m = \mathbf{z}_i - \sum_{l=1}^m \mathcal{C}_l(k_l)$ 为第 $m$ 层的量化残差。在工业部署中，仅提取第一级顶层编码 $k_1$ 作为目标语义探针 $c_{\text{target}}$。这种设计既天然保留了物品的多模态层级聚类信息，又将单用户关联的语义键数量从海量物品级别大幅收敛至可枚举的语义簇级别，为后续离线批量预计算奠定了可行性基础。

2. 无目标兴趣压缩与正交正则化：保留多样化长程偏好的解耦表征空间 面对长达数千乃至上万的原始行为序列 $\mathbf{E} \in \mathbb{R}^{L \times d}$，静态压缩模型常因单一瓶颈向量导致多峰兴趣发生表征坍缩。UxSID 设计了无目标兴趣压缩（IAIC）模块，预设 $K$ 个可学习的兴趣查询锚点 $\mathbf{Q}_{\text{anc}} \in \mathbb{R}^{K \times d}$（$K \ll L$，工业实践中取 $K=16$），通过标准交叉注意力汇聚行为特征： $$\mathbf{H} = \text{Softmax}\left(\frac{(\mathbf{Q}_{\text{anc}}\mathbf{W}^Q)(\mathbf{E}\mathbf{W}^K)^\top}{\sqrt{d}}\right)(\mathbf{E}\mathbf{W}^V)$$ 随后引入逐词元前馈网络（PFFNs），为每个汇聚后的锚点向量 $\mathbf{h}_k$ 配置独立的非线性变换子网络及残差归一化层，使各个锚点能够在独立的子空间内自主提炼特异性偏好。为了彻底避免不同锚点收敛至同质化的高频模式，模型引入严格归一化的正交损失 $\mathcal{L}_{\text{ortho}}$： $$\mathcal{L}_{\text{ortho}} = \left\| \frac{\mathbf{P}\mathbf{P}^T}{\|\mathbf{P}\|_2^2} - \mathbf{I} \right\|_F$$ 该约束迫使任意两个不同兴趣锚点之间的内积趋近于零，使得压缩后的兴趣基底矩阵 $\mathbf{P} \in \mathbb{R}^{K \times d}$ 展现出高度正交的几何分布，全面锁定了用户跨越长生命周期的复合意图。

3. 层次化门控语义探测：兼顾全局序列细节与局部意图聚合的自适应路由 单纯依赖压缩锚点容易平滑掉细粒度的高频激活性信号，而仅保留粗筛序列又无法建立长时上下文依赖。UxSID 提出了显式全局与门控局部相结合的双阶段探测架构。在显式探测阶段，目标语义探针 $c_{\text{target}}$ 直接对未压缩的原始交互序列 $\mathbf{E}$ 执行全局注意力，提取目标物品与用户历史的直接语义共鸣向量 $\mathbf{e}_{\text{global}}$。随后，在第二阶段引入两层轻量 MLP 构建门控网络，将全局上下文信息转化为调节因子 $\mathbf{g}_{\text{ctx}} = \sigma(\text{GatedNet}(\mathbf{e}_{\text{global}}))$，进而通过阿达马积调制初始目标探针： $$\mathbf{q}_{\text{ref}} = c_{\text{target}} \odot \mathbf{g}_{\text{ctx}}$$ 最后，以动态调制后的细化查询 $\mathbf{q}_{\text{ref}}$ 检索正交兴趣锚点 $\mathbf{P}$，输出局部特异性响应 $\mathbf{e}_{\text{local}}$。最终输出表征 $\mathbf{E}^{\text{UxSID}} = [\mathbf{e}_{\text{global}}; \mathbf{e}_{\text{local}}]$ 同时封装了底层细粒度交互激活性与顶层解耦全局偏好，实现了高精度目标感知路由。

损失函数 / 训练策略¶

UxSID 采用端到端联合监督训练。模型将离线生成的交互表征 $\mathbf{E}^{\text{UxSID}}$ 与目标特征 $\mathbf{E}^t$、用户画像 $\mathbf{E}^u$、场景上下文 $\mathbf{E}^c$ 以及短期行为序列 $\mathbf{E}^{\text{short}}$ 进行拼接，通过深层 MLP 产出最终点击率预测标量 $p(x)$。整体优化目标由主任务的二元交叉熵损失与正交正则项共同构成： $$\mathcal{L} = -\frac{1}{N}\sum_{n=1}^N \left[ y_n \log(p(x_n)) + (1-y_n)\log(1-p(x_n)) \right] + \lambda \mathcal{L}_{\text{ortho}}$$ 其中超参数 $\lambda$ 平衡主排序任务与表征多样性。在生产部署流水线中，针对快手 4 亿日活场景，预计算的 $\mathbf{E}^{\text{UxSID}}$ 按键值 Hash(UID ⊕ SID) 缓存至分布式 Embedding Server，单用户平均覆盖约 100 个有效活跃 SID，全量存储占用仅 2.56 TB。在线请求时仅需执行耗时 $O(1)$ 的内存哈希点查，相比无超长序列模型仅增加 0.16 ms 时延。

实验关键数据¶

主实验¶

论文在公开基准数据集（XLong 序列长 1k、KuaiRec-Big 序列长 2k）以及快手超大规模短视频广告工业数据集（序列长 1k 至 10k）上开展了系统性评估，主要对比指标包含 AUC、UAUC 和加权 UAUC（WUAUC）。

数据集	评估指标	DIN	SIM-Soft	TWIN	C-Former	UxSID (本文)	相对最优基线提升
XLong	AUC	0.7889	0.7971	0.8154	0.8135	0.8408	+0.0254
KuaiRec-Big	AUC	0.8181	0.8279	0.8269	0.8276	0.8348	+0.0069
工业数据集	CTR AUC	-	0.8711	0.8712	-	0.8728	+0.0016
工业数据集	CTR UAUC	-	0.6084	0.6093	-	0.6125	+0.0032
工业数据集	CTCVR AUC	-	0.8608	0.8609	-	0.8626	+0.0017
工业数据集	CTCVR UAUC	-	0.6228	0.6232	-	0.6269	+0.0037

消融实验¶

在工业数据集与公开数据集上针对各个核心架构组件进行了剥离分析，消融指标包含预估 AUC 以及衡量语义激活精度的目标意图召回率（Interest Recall@50，Int.R@50）。

实验变体配置	工业 CTR AUC	工业 CTCVR AUC	工业 Int.R@50	XLong AUC	KuaiRec-Big AUC	KuaiRec-Big Int.R@50	关键结论与说明
完整模型 (UxSID)	0.8728	0.8626	0.1488	0.8408	0.8348	0.2071	完整双阶段门控架构与正交约束
将 SIDs 替换为类别 Tag	0.8707	0.8605	0.0543	-	0.8261	0.0916	粗粒度标签严重损失语义分辨率，召回率骤降
移除显式全局 $\mathbf{e}_{\text{global}}$	0.8714	0.8615	-	0.8370	0.8302	-	缺失细粒度序列直接共鸣导致显著掉点
移除局部锚点 $\mathbf{e}_{\text{local}}$	0.8719	0.8618	0.1454	0.8375	0.8314	0.2009	缺乏结构化压缩锚点导致抗噪能力减弱
移除门控机制 (w/o Gate)	0.8723	0.8623	0.1467	0.8376	0.8342	0.2044	未融合全局上下文的探测易受噪声干扰
移除正交正则 (w/o $\mathcal{L}_{\text{ortho}}$)	0.8725	0.8624	0.1471	0.8385	0.8344	0.2063	锚点产生表征坍缩，降低复合偏好捕获能力

关键发现¶

SIDs 探针是驱动语义精确召回的决定性因素：当将离散 SIDs 替换为粗粒度类别属性（Tag）时，工业数据集的 Int.R@50 暴跌近 63.5%（从 0.1488 降至 0.0543），KuaiRec-Big 的 AUC 下降 0.0087。这证实了连续语义离散化生成的结构化 SIDs 具备高密度信息表征力，能够精准穿透超长历史并定位同质语义簇。
万级超长序列的优异扩展能力：在序列长度从 1k 逐步拉长至 10k 的压力测试中，检索型模型（SIM、TWIN）因固定窗口截断导致收益增长迅速钝化，静态压缩模型（C-Former）在短序列下欠拟合且抗噪性差；而 UxSID 在 10k 长度下的 AUC 领先优势持续扩大，同时在线打分复杂度保持 $O(Bcd)$ 不变，证明了该架构在终身序列建模上的实用性。
工业生产 A/B 测试的实质性业务转化：在快手短视频信息流广告场景为期一周的真实流量实验中，UxSID 实现了 +0.111% 的曝光提升、+0.231% 的消耗增长以及高达 +0.337% 的总广告收入跃升，体现了精准意图路由引导的高转化价值。

亮点与洞察¶

开创性地将语义 ID 引入超长序列兴趣路由：以往 SIDs 主要用于生成式推荐中的 Next-Token 生成或静态物品增强，UxSID 首次将其作为动态条件查询引入超长序列压缩，巧妙填补了“全量检索”与“无目标静态压缩”之间的技术鸿沟。
正交正则化与逐词元 FFN 的多兴趣解耦设计：通过让每个可学习锚点经过独立的参数化前馈网络，并施加归一化 Frobenius 范数正交惩罚，有效防止了深度注意力网络向优势单峰兴趣的过早坍缩，机制优雅且易于工程复现。
工业落地中存储与算力的极限平衡：利用 SIDs 在单用户交互中高度聚类的天然统计特性，将原本爆炸式的“用户×物品”对转换为可控的“用户×有效SID”点查表，以 2.56 TB 内存开销和仅 0.16 ms 在线时延换取了万级序列在生产线的直接落地。

局限与展望¶

冷启动与 SIDs 动态漂移挑战：系统强依赖多模态内容生成的 SIDs 码本质量；对于新上传的冷启动短视频或缺乏丰富多模态特征的轻量物料，初始 SIDs 的聚类偏差可能传递至下游探测模块。
存储规模随活跃 SID 扩增的潜在风险：虽然目前单用户仅覆盖约 100 个活跃 SID，但若进一步拓展至全站泛内容场景或全生命周期（Lifelong）跨域建模，用户历史覆盖的 SID 集合规模将显著增加，对分布式 KV 存储的容量与周级定时更新策略提出更高要求。
未来改进方向：可进一步探索层次化 SIDs 的细粒度残差码（如第 2、3 层 SIDs）在重排阶段的渐进式激活机制，以及无需周期全量重算的增量离线更新策略。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出以候选语义 ID 为探针的超长序列压缩与路由架构，打破了传统检索与静态压缩的两极分化。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖双公开数据集、工业亿级样本离线实验、超长序列扩展曲线、细粒度消融以及严格的生产环境在线 A/B 测试。
写作质量: ⭐⭐⭐⭐⭐ 架构逻辑严密清晰，动机陈述切中工业痛点，图表与数学公式推导自洽规范。
价值: ⭐⭐⭐⭐⭐ 成功落地于日活数亿的工业级短视频平台并创造了显著的商业营收增益，对大模型时代的工业序列建模具有极高的参考价值。