SAILRec: Steering LLM Attention to Dual-Side Semantically Aligned Collaborative Embeddings for Recommendation¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/XuPhoenixyear/SAILRec
领域: 安全
关键词: 推荐系统, 大语言模型, 协同过滤, 语义对齐, 分层注意力引导
一句话总结¶
针对大语言模型推荐中协同特征与文本语义空间割裂且浅层推理易受早熟干扰的问题,提出 SAILRec 框架,通过双侧语义对齐(用户端代码本画像与物品端文本对齐)及跨 Transformer 层级的注意力引导(浅层抑制、深层增强),显著提升点击率预估与个性化排序性能。
研究背景与动机¶
大语言模型凭借强大的世界知识与上下文理解能力为个性化推荐注入了全新范式,但其纯文本架构天然缺失协同过滤隐空间中沉淀的高阶用户行为与交互统计模式。为弥补纯文本推荐在交互模式捕获上的短板,近期研究(如 CoLLM、LLaRA)普遍采用投影器将矩阵分解(MF)或图协同模型学习到的协同表征作为软提示词(Collab. tokens)注入 LLM 输入端。然而,仅仅在输入层拼入外源向量并不能确保模型在复杂自注意力推理机制中合理吸收这些信号;协同嵌入与语言模型本体语义空间长期处于未对齐的割裂状态,极易导致协同信号在文本自注意力流中沦为无序扰动。
注意力诊断实验揭示出更为严峻的层级利用矛盾:通过探测 LLM 生成答案位置对各类 token 的注意力分布发现,大语言模型对协同信息的利用展现出显著的“深度依赖性”(depth-dependent)与“对齐敏感性”(alignment-sensitive)。在标准 Transformer 架构中,浅层主要负责低级词法与局部句法编码,若过早、无节制地暴露连续协同向量,会破坏 LLM 对历史交互文本的自然理解;而决策关键的深层网络才真正承载高维偏好匹配与意图判决,此时协同表征的注意力权重却往往缺乏针对性强化。现有方法要么忽略表征空间鸿沟直接暴力注入,要么局限于物品单侧蒸馏(如 SeLLa-Rec),均忽视了网络内部各深度层级对协同信号的接纳节奏。
基于此,大模型推荐迫切需要回答两个协同利用的核心命题:协同嵌入如何在语义上被大模型真正理解,以及它们应在推理的何时介入 Transformer 计算。核心 idea:构建双侧语义对齐机制(结合风格/情感/主题三维代码本与轻量 C-QFormer)桥接表征鸿沟,并在 LLM 内部引入分层注意力引导(浅层负偏置抑制、中层自由交互、深层正偏置增强),使协同知识在正确的决策深度发挥最大判决效能。
方法详解¶
整体框架¶
SAILRec 的整体运行流水线由离线协同构建、双侧语义映射预热和层级引导推荐推理三阶段构成。首先利用传统矩阵分解学习底层用户与物品协同向量;接着通过协同 Q-Former(C-QFormer)分别建立用户侧与物品侧的高维语义桥接;最后将混合文本与协同标记送入主干 LLM(Qwen2-7B),通过显式干预注意力矩阵实现分层推理控制并输出 Yes/No 推荐概率。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入数据<br/>交互历史与候选物品"] --> B["阶段1:传统协同模型构建<br/>冻结 MF 提取底层交互嵌入"]
B --> C["阶段2:双侧语义对齐<br/>C-QFormer 映射代码本画像与文本"]
C --> D["输入重构<br/>Prompt 嵌入与协同 Token 拼接"]
D --> E["阶段3:分层注意力引导<br/>浅层抑制 · 中层直通 · 深层增强"]
E --> F["输出预测<br/>二值分类 Logits 计算点击率"]
关键设计¶
1. 基于三维语义代码本的用户侧协同对齐:解决匿名 ID 语义缺失与偏好单调性
针对匿名用户 ID 缺乏自然语言含义且用户综合偏好往往跨越风格形式、情感基调与价值主张等多个抽象层面的痛点,SAILRec 引入基于三类词组级代码本的结构化画像生成机制。系统构建包含风格(Style)、情感(Emotion)与主题(Theme)的代码本集合 \(C_r\)(\(r \in \{A, B, C\}\)),利用冻结的 LLM 语义编码器与轻量级物品-标签选择器,为历史交互序列中的每件物品打上各维度的最优语义标签。通过结合位置衰减与时间衰减的双重权重 \(\tilde{w}_j\),在历史序列上执行加权投票聚合,提炼出用户三维显式语义画像 \(P_u = \{p^A_u, p^B_u, p^C_u\}\)。在对齐阶段,设计协同 Q-Former(C-QFormer)利用三组可学习 Query 与冻结 MF 向量 \(e^c_u\) 进行交叉注意力交互,映射得到高维用户协同嵌入 \(Z_u = [z^A_u, z^B_u, z^C_u] \in \mathbb{R}^{3 \times d_L}\),并与画像经 LLM 编码的目标向量 \(T_u\) 在批量内计算槽位级 InfoNCE 对比损失:
$\(L^r_u = -\frac{1}{|B|} \sum_{u \in B} \log \frac{\exp(\text{sim}(z^r_u, t^r_u)/\tau)}{\sum_{v \in B} \exp(\text{sim}(z^r_u, t^r_v)/\tau)}\)$
该设计使无序的协同统计向量成功投影并解耦为大模型内部空间中对应风格、情绪和价值观的三组具象化协同 Token(<User_ID1>, <User_ID2>, <User_ID3>),建立稳固的用户侧偏好锚点。
2. 物品端单 Query 语义蒸馏与对齐:弥补物品跨模态表示鸿沟
相较于复杂抽象的用户隐式偏好,物品端由于天然伴随丰富的元数据标题,其真实语义已被预训练大模型充分建模。针对物品协同向量与语言模型文本表示不互通的问题,SAILRec 为物品端构建单 Query 的 C-QFormer 模块。该模块以冻结的物品 MF 嵌入 \(e^c_i\) 为键值输入,通过单个可学习 Query 进行交叉注意力变换,映射出物品侧单一协同 Token 嵌入 \(z_i \in \mathbb{R}^{d_L}\)(对应占位符 <Item_ID>)。随后直接以冻结 LLM 对目标物品标题文本生成的表示 \(t_i = E_{\text{LLM}}(\text{title}_i)\) 为正样本监督,在批次内施加对称 InfoNCE 对比损失。通过此举,物品协同表征被强制对齐到语言模型原生的概念空间中,不仅保留了全局共现拓扑,且具备与文本 Prompt 无缝融合的表征连续性。
3. 深度感知的分层注意力引导:规避浅层语义早熟干扰并强化深层判决证据
针对模型自注意力利用协同信号时存在的深度敏感性与早熟干扰痛点,SAILRec 将主干 LLM 的 \(L\) 个 Transformer 层显式切分为浅层(Shallow,前 30%)、中层(Middle,中间 50%)和深层(Deep,后 20%)三段区间,并在计算注意力权重矩阵时对指向协同 Token 键(Key)位置 \(C\) 的注意力 Logits 注入阶段化偏置矩阵 \(\Delta^\ell\): $\(A^\ell = \text{softmax}\left(\frac{Q^\ell (K^\ell)^\top}{\sqrt{d_h}} + M + \Delta^\ell\right)\)$ 在浅层网络中,为避免外源协同嵌入打乱模型对用户历史标题及指令上下文的局部语法和语义编码,设置恒定负偏置 \(\Delta^\ell_{q, k} = b_s < 0\)(默认 \(b_s = -1.0\)),显式压制对协同标记的过度关注;在中层网络中置偏置为 0,使文本语义特征与协同特征在平稳的隐层状态中自然流动与融合;在接近最终预测输出的深层网络中,设置正向渐变偏置 \(\Delta^\ell_{q, k} = b_d(\ell) > 0\)(采用三角调度曲线,峰值设为 \(+2.0\)),在偏好判决的关键阶段主动提升协同证据的聚合权重。
损失函数 / 训练策略¶
SAILRec 采用清晰的解耦三阶段训练方案: 1. 阶段 1(协同基线预训练):在交互日志上端到端训练 256 维的矩阵分解(MF)模型,收敛后完全冻结其参数作为协同信号源。 2. 阶段 2(双侧语义对比预热):分别在用户侧与物品侧利用 InfoNCE 对比损失(温度系数 \(\tau=0.07\),学习率 \(1 \times 10^{-3}\),Batch Size 128)对用户端和物品端 C-QFormer 进行预热训练,使其输出向量分别逼近代码本用户画像与物品标题的 LLM 嵌入。 3. 阶段 3(端到端有监督微调 SFT):保持 MF 模型冻结,将 C-QFormer 与挂载在 Qwen2-7B 主干上的 LoRA 权重进行联合微调。采用二值交叉熵损失优化预测概率 \(\hat{y}_{u,i}\): $\(L_{\text{rec}} = -y_{u,i} \log \hat{y}_{u,i} - (1 - y_{u,i}) \log (1 - \hat{y}_{u,i})\)$ 其中预测分数直接由输出端 Yes 与 No 两个词表的 Logits 通过二元 Softmax 归一化计算得出。
实验关键数据¶
主实验¶
在代表高交互密度的 MovieLens-1M 与高稀疏性、长尾分布显著的 Amazon-Book 两个公开基准上,SAILRec 均大幅超越协同过滤模型、纯 LLM 推荐模型及已有协同增强型 LLM 基线。
| 数据集 | 模型 | AUC | UAUC | NDCG | MAP |
|---|---|---|---|---|---|
| MovieLens-1M | MF | 0.6429 | 0.6126 | 0.8422 | 0.7093 |
| MovieLens-1M | LightGCN | 0.5831 | 0.6493 | 0.8532 | 0.7320 |
| MovieLens-1M | SASRec | 0.7010 | 0.6742 | 0.8581 | 0.7411 |
| MovieLens-1M | TALLRec | 0.7039 | 0.6837 | 0.8701 | 0.7598 |
| MovieLens-1M | GDRT | 0.7249 | 0.6871 | 0.8689 | 0.7537 |
| MovieLens-1M | HatLLM | 0.7330 | 0.7058 | 0.8762 | 0.7645 |
| MovieLens-1M | CoLLM | 0.7137 | 0.6850 | 0.8757 | 0.7647 |
| MovieLens-1M | BinLLM | 0.7271 | 0.6980 | 0.8833 | 0.7779 |
| MovieLens-1M | CoRA | 0.7284 | 0.6956 | 0.8744 | 0.7614 |
| MovieLens-1M | CKF | 0.7320 | 0.7120 | 0.8884 | 0.7830 |
| MovieLens-1M | TokenRec | 0.7272 | 0.7036 | 0.8798 | 0.7702 |
| MovieLens-1M | SeLLa-Rec (最强基线) | 0.7428 | 0.7133 | 0.8885 | 0.7825 |
| MovieLens-1M | SAILRec (本文) | 0.7571 | 0.7410 | 0.8985 | 0.7999 |
| Amazon-Book | MF | 0.7098 | 0.5630 | 0.8221 | 0.7420 |
| Amazon-Book | LightGCN | 0.7001 | 0.5608 | 0.8218 | 0.7415 |
| Amazon-Book | SASRec | 0.6646 | 0.5629 | 0.8208 | 0.7393 |
| Amazon-Book | TALLRec | 0.7198 | 0.6524 | 0.8624 | 0.7959 |
| Amazon-Book | GDRT | 0.7607 | 0.6280 | 0.8505 | 0.7800 |
| Amazon-Book | HatLLM | 0.7397 | 0.6147 | 0.8475 | 0.7754 |
| Amazon-Book | CoLLM | 0.7924 | 0.7197 | 0.8896 | 0.8351 |
| Amazon-Book | BinLLM | 0.8031 | 0.7234 | 0.8922 | 0.8384 |
| Amazon-Book | CoRA | 0.8156 | 0.7201 | 0.8930 | 0.8393 |
| Amazon-Book | CKF | 0.8048 | 0.7246 | 0.8929 | 0.8398 |
| Amazon-Book | TokenRec | 0.7975 | 0.6027 | 0.8360 | 0.7603 |
| Amazon-Book | SeLLa-Rec (最强基线) | 0.8191 | 0.7310 | 0.8940 | 0.8419 |
| Amazon-Book | SAILRec (本文) | 0.8393 | 0.7506 | 0.9017 | 0.8524 |
消融实验¶
为验证各模块的必要性,论文构建了针对注意力引导(S)、双侧对齐(UI)、代码本(C)及联合微调策略的系统消融测试。
| 配置 | 变体说明 | MovieLens-1M AUC | MovieLens-1M UAUC | Amazon-Book AUC | Amazon-Book UAUC |
|---|---|---|---|---|---|
| Full-SAILRec | 完整模型配置 | 0.7571 | 0.7410 | 0.8393 | 0.7506 |
| SAIL-w/o-S | 移除分层注意力引导 | 0.7546 | 0.7268 | 0.8220 | 0.7194 |
| SAIL-w/o-UI | 移除双侧语义对齐(直接拼接未对齐 MF) | 0.7322 | 0.7236 | 0.8116 | 0.7391 |
| SAIL-w/o-I | 仅移除物品侧语义对齐 | 0.7346 | 0.7277 | 0.8267 | 0.7441 |
| SAIL-w/o-U | 仅移除用户侧语义对齐 | 0.7434 | 0.7205 | 0.8288 | 0.7369 |
| SAIL-w/o-C | 移除三维代码本(以整段历史文本编码代替) | 0.7475 | 0.7295 | 0.8310 | 0.7367 |
| SAIL-LoRA | 阶段3仅微调 LoRA(冻结已对齐 C-QFormer) | 0.7283 | 0.7116 | 0.7649 | 0.6928 |
| SAIL-LoRA-Map | 微调 LoRA 且更新 Mapper 但未联合协同优化 | 0.7507 | 0.7225 | 0.8301 | 0.7375 |
关键发现¶
- 双侧对齐是表征基石,注意力引导是释放上限的关键:消融数据显示,移除双侧语义对齐(SAIL-w/o-UI)会导致 AUC 发生最大幅度滑落(MovieLens-1M 下降 0.0249,Amazon-Book 下降 0.0277);而移除层级注意力引导(SAIL-w/o-S)则直接破坏用户级个性化判别力,在 Amazon-Book 上导致 UAUC 暴跌 3.12 个百分点,表明仅有对齐向量仍不足以抵消推理阶段的跨层注意力冲突。
- 用户侧对齐对长尾个性化具有决定性影响:移除用户侧对齐(SAIL-w/o-U)相比移除物品端对齐在 UAUC 指标上下跌更明显(MovieLens-1M 下降至 0.7205),这证明匿名用户 ID 的语义拓扑必须依赖显式结构化锚点(风格/情感/主题代码本)进行语义拉齐,单一的整段序列摘要向量(w/o-C)无法承载足够细腻的偏好表征。
- 分层引导节奏与极值敏感性:调度测试证实,默认的浅层抑制-中层直通-深层增强(S1E2,即浅层 -1.0、深层 +2.0)表现最稳健。全层抑制(SAIL-S)或全层增强(SAIL-E)均导致指标严重劣于分层配置;若取消浅层抑制(S0E2),UAUC 显著受损;若取消中层过渡(如 80% 抑制或 70% 增强),性能急剧下滑,说明在深浅极端之间保持足够厚度的“自然语义交互层”至关重要。
- 推理期掩码干预揭示非对称依赖机制:在 Amazon-Book 上施加渐进式负偏置 \(\lambda \in \{-1, -2, -5, -8, -10\}\) 进行推理压力测试发现,抑制用户侧协同路径会导致 AUC 从 0.8393 剧烈下坠至 0.6080(\(\lambda=-5\)),而抑制物品侧路径对全局 AUC 影响较为温和、但会持续损伤 UAUC(0.7506 降至 0.7220)。
亮点与洞察¶
- 基于注意力探测的架构针对性改良:不再盲目跟随前人将协同向量当作黑盒输入,而是通过统计答案位置向各类 Token 的注意力质量分布,确诊出“浅层早熟干扰、深层利用受限”的核心病灶,以此反推层级引导架构。
- 三维情感与价值解耦的用户建模代码本:摆脱传统推荐仅关注“物品类别与主题”的狭隘视角,创新性地把用户品味解构为风格样式、情感共鸣与深层主题三类正交代码本,不仅极易实现跨领域迁移(如从电影向图书复用达 93.9%),更为黑盒的协同 ID 注入了坚实的语义可解释抓手。
- 极简即插即用的无参数/轻量引导偏置:注意力引导机制无需为中间层增加昂贵的自注意力重参数化模块,仅需在推理计算 Attention Logits 时施加结构化的阶段常量与三角缩放偏置,以极低显存代价撬动了高阶协同推理性能。
局限与展望¶
- 硬编码层级切分与偏置函数的泛化边界:当前浅中深层 30%-50%-20% 的划分及 -1.0/+2.0 的偏置幅度为固定先验超参,对于不同深度架构或非 Qwen 系的 LLM 主干可能并非全局最优;未来可探索样本自适应与层自适应的连续可微偏置函数。
- 代码本的领域适应依赖人工校验:从电影领域向图书迁移时仍需进行小规模词汇增删;未来工作需探索利用 LLM 自动聚类交互语料、零样本生成面向垂类领域推荐任务自适应代码本的技术。
- 冷启动场景对协同引导的敏感性:冷启动实验表明在极低交互样本下协同信号本身具有噪声,分层引导可能会错误放大这种不确定性,需要探索协同置信度自适应衰减策略。
相关工作与启发¶
- vs CoLLM / BinLLM (协同特征直接注入):CoLLM 仅利用简单映射层将协同嵌入作为 Soft Prompt 输入,BinLLM 将协同表征转换为文本化二进制编码;SAILRec 则指出了这种未对齐特征在进入 LLM 后的“语义排异反应”,并通过 C-QFormer 双侧对比对齐与注意力引导彻底解决了语义隔阂与注意力错配。
- vs SeLLa-Rec (单侧协同语义蒸馏):SeLLa-Rec 关注到了表征鸿沟但仅对物品端实施语义蒸馏,忽视了匿名用户 ID 端的巨大语义真空与推理内部的多层利用不均;SAILRec 补充了基于代码本的三维用户画像对齐,并在注意力层级上施加深度控制。
- vs HatLLM / CTR-Sink (推荐注意力调整机制):HatLLM 对纯文本交互序列施加分层掩码,CTR-Sink 引入汇聚 Token 吸收超长序列;SAILRec 则首次将注意力引导应用于外部注入的连续多模态协同向量上,明确了文本与协同特征在不同模型深度下的分工协同规律。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 提出注意力深度敏感性诊断视角,结合代码本双侧对齐与分层注意力引导。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖点击率预估主流指标、温冷启动切分、层级与偏置消融、推理期渐进掩码压力测试以及跨主干(Qwen3-8B)泛化测试。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层次严密,机理图表详尽自洽,实验细节与附录支撑扎实。
- 价值: ⭐⭐⭐⭐☆ 为多模态协同表征与大语言模型自注意力机制的深度融合提供了清晰的方法论指导。