跳转至

Illuminating the Path: Reachability-Aware Supervision Curation for LLM-Based Recommendation

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/venzino-han/GEARec
领域: 推荐系统
关键词: 推荐系统、序列推荐、大语言模型、上下文利用偏差、可达性路由

一句话总结

GEARec 针对大语言模型在序列推荐中因「上下文利用偏差」强行拟合历史噪声以及海量候选池中探索奖励极度稀疏的困境,提出由双视角锚点提取、可达性感知轨迹路由与动态微调对齐构成的离线数据精选框架,使小参数量模型在全库真实检索与长尾推荐上显著超越强化学习及更大规模语言模型基线。

研究背景与动机

将大语言模型(LLM)引入序列推荐系统,旨在利用其深厚的开放世界先验与语义推理能力捕捉用户复杂的演进意图。然而在真实的在线推荐场景中,用户的历史行为序列往往充斥着偶然点击、探索性浏览以及与当前购买动机无关的随机噪声。面对这种高度非平稳且充满噪声的长序列交互,现有 LLM 表现出根深蒂固的「上下文利用偏差」(Context-Utilization Bias)——模型有一种将输入提示中出现的所有历史上下文全部强行建立因果逻辑联系的内在倾向。当把用户长篇的点击历史喂给模型时,这种偏差迫使模型捕风捉影地为偶发噪声编造虚假的购买动机,生成看似逻辑自洽实则与真实意图完全脱节的幻觉推理轨迹。

这种上下文利用偏差在传统单点评分预测任务(如 1-5 星打分)中往往被掩盖,因为狭窄的动作空间使得模型即使胡乱猜测也有极高的命中概率。但当迁移至包含数万乃至数百万物品的真实序列推荐全局候选池时,依赖自主探索的强化学习(如 GRPO 框架下的 Rec-R1)或拒绝采样策略便遭遇灾难性的「奖励稀疏」(Reward Sparsity)与探索崩溃。过度拟合噪声的推理轨迹在全库检索中几乎无法命中真实目标物品(GT),导致有效学习信号匮乏;而未经筛选的监督微调(SFT)则会将这些听起来头头是道却根本检索不到目标物品的「不可达」幻觉轨迹喂给模型,不仅造成误差级联放大,更因标准 Teacher-Forcing 梯度的奖励偏置导致严重的灾难性遗忘。

解决这一瓶颈的关键不在于下游如何设计更复杂的检索融合策略,而在于从数据生成的源头上回答一个更本原的问题:究竟什么样的推理轨迹才足够可信,能够作为大模型对齐的监督信号?本文认为,用户的真实购买动机往往由历史交互中的少数决定性「核心锚点」所驱动,且高质量的推理轨迹必须在经验上具备在全量候选库中精确锁定目标物品的「可达性」(Reachability)。核心 idea:构建基于锚点驱动与可达性验证的监督数据精选框架 GEARec,通过融合 LLM 语义推理与协同过滤(CF)统计先验提取历史关键锚点,并以全库 Top-K 检索为硬性门控剔除不可达幻觉轨迹,最后结合逆概率动态微调与语义-协同投影对齐,使轻量化语言模型在单次前向推理下实现高质量、抗偏差的精准推荐。

方法详解

整体框架

GEARec(Grounded REasoning Curation for Anchor-based Recommendation)是一个端到端贯通数据精选、策略对齐与全库检索的框架。其核心思想是将昂贵的多视角探索与目标指导限制在离线监督数据构造阶段,而在在线部署时仅需单次前向推理。整个离线管线分为三个严密承接的阶段:第一阶段为「双视角锚点提取」,结合 LLM 的纯语义推理与预训练协同过滤(SASRec)的统计关联,从用户历史中提取最具因果支配力的关键锚点并生成候选轨迹;第二阶段为「可达性感知轨迹路由」,利用稠密检索器对候选推理轨迹进行全库检索检验,只有能在全局 Top-K/Top-M 内成功命中真实目标物品的轨迹才被保留,从源头切断不可达噪声;第三阶段为「精选轨迹对齐与表征投影」,采用动态微调(DFT)中和 SFT 的梯度偏置,并通过对比学习将文本语义表征投影至协同潜空间。在线推理时,模型无需真实标签与多重采样,直接自主生成锚点与推理文本,完成向量化全库检索。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户交互历史<br/>海量物品候选池"] --> B["双视角锚点提取<br/>前缀强制语义候选 + CF统计隐式回退"]
    B --> C["可达性感知轨迹路由<br/>全库Top-K检索门控过滤不可达路径"]
    C --> D["动态微调平滑优化<br/>Token级逆概率加权SFT"]
    D --> E["语义-协同对比对齐<br/>共享映射与InfoNCE对比学习"]
    E --> F["部署端单阶段推理<br/>自主锚点生成与实时向量检索"]

关键设计

1. 双视角锚点提取:破解上下文利用偏差与无约束探索坍塌

针对大模型在长序列中抓不住核心驱动、胡乱关联历史噪声的痛点,GEARec 摒弃无约束全局发散生成,显式约束模型必须从历史序列 \(\mathcal{H}_u\) 中锚定单个核心物品 \(a^*\)。为兼顾高阶语义理解与全局协同关联,框架设计了双重轨迹生成路径:首先是面向纯语义推断的「目标屏蔽 LLM 路径」,从最近 \(N\) 个交互中选取候选锚点 \(c_k\),通过在前缀硬性强制填充 <key_item>[c_k]</key_item>,强迫冻结的大模型生成仅基于该锚点的推理,并借助稠密检索器挑选出对隐藏目标物品 \(i^+\) 检索排名最好的锚点 \(a_{\text{LLM}}\),进而执行 Best-of-N 采样生成候选集 \(\mathcal{T}(a_{\text{LLM}})\);其次是面向非直觉全局消费模式的「协同过滤(CF)回退路径」,通过预训练 SASRec 向量计算历史物品与真实目标的内积余弦: $\(a_{\text{CF}} = \arg\max_{j \in \mathcal{H}_u} \langle e_j^{\text{CF}}, e_{i^+}^{\text{CF}} \rangle\)$ 并在 prompt 中同时显式暴露 \(a_{\text{CF}}\) 与目标物品 \(i^+\),迫使 LLM 扮演翻译器将隐式协同关联显式阐释为结构化语义因果文本 \(\tau_{\text{CF}}\)。由于 CF 路径利用了目标信息,它仅在离线阶段充当高价值特权教师,绝不在测试时泄漏。

2. 可达性感知轨迹路由:阻断不可达幻觉推理的误差传递

针对现有生成管线中充斥着「语言听起来极其合理、但在全量物品池中根本检索不到真实目标」的不可达伪轨迹痛点,GEARec 引入全库检索作为经验过滤硬门控。利用预训练稠密文本检索器(如 BGE/mxbai-embed-large-v1)将推理文本转化为查询向量 \(q \in \mathbb{R}^d\),并按严格的级联优先级决策最终轨迹: $\(\tau_{\text{final}} = \begin{cases} \tau_{\text{LLM}}, & \text{if } i^+ \in \text{Top-}K(q_{\text{LLM}}) \\ \tau_{\text{CF}}, & \text{else if } i^+ \in \text{Top-}M(e_{a_{\text{CF}}}^{\text{CF}}) \\ \text{Discard}, & \text{otherwise} \end{cases}\)$ 优先保留模型自主生成的语义路径 \(\tau_{\text{LLM}}\) 以维护其原始推理泛化力;仅在自主语义检索未命中 Top-\(K\)(如 \(K=20\))时,才回退至 CF 协同解释路径 \(\tau_{\text{CF}}\)。更关键的是,回退必须受制于 CF 锚点本身在协同空间中与目标的邻近度校验(\(i^+ \in \text{Top-}M(e_{a_{\text{CF}}}^{\text{CF}})\),如 \(M=100\)),防止模型在不相关的物品间强行编造牵强附会的因果链接。双重校验均失败的样本直接被物理剔除(Discard),从而从源头净化监督数据集 \(\mathcal{D}_{\text{SFT}}\)。

3. 动态微调平滑优化:中和标准SFT奖励偏置以防止灾难性遗忘

针对标准 Teacher-Forcing SFT 在长序列生成中内隐编码了倾斜奖励结构、容易扼杀模型泛化性并导致预训练通用知识灾难性遗忘的缺陷,GEARec 放弃了高开销且易崩溃的强化学习(RL),转而采用动态微调(Dynamic Fine-Tuning, DFT)。DFT 引入重要性采样的逆概率重加权机制,对监督目标序列 \(y^* = \tau_{\text{final}}\) 中的每个 token 计算模型生成概率 \(p_t = \pi_\theta(y^*_t \mid y^*_{<t}, x)\),并使用截断梯度的逆概率作为平滑惩罚项: $\(\mathcal{L}_{\text{DFT}}(\theta) = \mathbb{E}_{(x, y^*) \sim \mathcal{D}_{\text{SFT}}} \left[ -\sum_{t=1}^{|y^*|} \frac{1}{\text{sg}(p_t)} \log p_t \right]\)$ 其中 \(\text{sg}(\cdot)\) 为 stop-gradient 算子。该机制动态压制高置信度容易 token 的梯度垄断,补偿低概率探索路径,从而在无需运行昂贵策略 Rollout 的前提下,赋予了模型比肩强化学习的探索稳健度与迁移泛化性。

4. 语义-协同对比对齐:跨模态投影打通文本推理与全库向量检索

针对语言模型生成的长文本语义表征与推荐系统原生协同向量空间存在模态鸿沟、无法直接执行高效向量化召回的问题,GEARec 构建了一个两端对齐的轻量级检索投影架构。将精选轨迹 \(\tau_{\text{final}}\) 输入冻结的稠密编码器得到文本向量,同时提取物品池的基础嵌入 \(h_i\),经由共享可学习线性投影层 \(W \in \mathbb{R}^{d \times d_c}\) 分别映射为用户查询向量 \(q_u\) 与物品表征 \(e_i\): $\(q_u = W \cdot \text{Encoder}(\tau_{\text{final}}), \quad e_i = W \cdot h_i\)$ 随后通过批内负采样结合显式难负样本,使用温度系数为 \(T\) 的 InfoNCE 对比损失函数独立优化投影矩阵 \(W\): $\(\mathcal{L}_{\text{NCE}} = -\log \frac{\exp(\langle q_u, e_{i^+} \rangle / T)}{\exp(\langle q_u, e_{i^+} \rangle / T) + \sum_{j^-=1}^B \exp(\langle q_u, e_{j^-} \rangle / T)}\)$ 通过拉近精选推理表征与真实目标物品在联合潜空间的距离,模型在推理时可直接将生成的锚点因果推论映射为全局最近邻搜索查询,实现毫秒级快速检索。

一个完整示例

以 Beauty 数据集中一名真实用户的交互历史为例: 1. 输入历史与噪声干扰:该用户近期依次购买了「Suave 洗发水」、「去角质浴巾」、「微针滚轮(Derma Roller)」、「平头歌舞伎粉底刷(Kabuki Brush)」、「维生素C精华」及「顺发梳」。此时真实的下一目标物品为「Beauty Blender 美妆蛋 4 件套」。传统模型(如 Rec-R1)受上下文利用偏差驱动,罗列了从洗发水到抗衰老微针的所有历史,生成极其发散的杂合推理;而无约束的 GT 解释模型则强行将微针滚轮与美妆蛋连接,产生虚假因果。 2. 双视角锚点定位与可达性校验:GEARec 对最近窗口内的候选物品执行前缀强制生成。以「Kabuki Brush」为锚点的候选路径 \(\tau_{\text{LLM}}\) 输出核心因果:“用户近期购买重点展示了对底妆上妆工具的浓厚偏好……此前购买的歌舞伎粉底刷旨在提升底妆均匀度,下一步自然倾向于互补的美妆蛋海绵套组”。稠密检索器全库召回显示目标物品在 Top-20 内,命中 Top-K,因此系统直接采纳该自主纯语义路径,标记为高质量精选样本并路由至 \(\mathcal{D}_{\text{SFT}}\)。 3. 在线单阶段推理:微调后的 Gemma-3-1B 面对该测试历史,不再需要 GT 或多候选搜索,单次前向直接生成以「Kabuki Brush」为锚点的高保真意图描述,经投影层变换为 \(q_u\),仅耗时 44.1ms 即在 12,101 个全量候选物品中以 Top-1 命中目标美妆蛋。

损失函数 / 训练策略

离线训练分两阶段解耦执行: 1. 生成器微调:采用 AdamW 优化器,学习率设为 \(1\times 10^{-6}\),Batch Size 为 4,在精选的 \(\mathcal{D}_{\text{SFT}}\) 上运行 DFT 损失优化,训练 1 个 epoch,最大步数严格限制在 3,000 步以内(单张 A6000 耗时不到 30 分钟)。 2. 检索投影层对齐:固定文本编码器(mxbai-embed-large-v1),隐藏层维度为 1024,学习率为 \(1\times 10^{-4}\),Batch Size 为 128,负样本数 \(B=99\),运行 20 个 epoch 优化 InfoNCE 损失。

实验关键数据

主实验

评估在四个公开基准数据集(Sports、Beauty、Toys、Yelp)上展开,严格遵循 Leave-One-Out 协议,并在未做任何采样的全量物品池(候选物品数超过 10,000)中计算 Hit Rate (H@10) 和 NDCG@10 (N@10)。

类别 模型 Sports H@10 Sports N@10 Beauty H@10 Beauty N@10 Toys H@10 Toys N@10 Yelp H@10 Yelp N@10
传统协同模型 (CRM) GRU4Rec 0.0204 0.0110 0.0283 0.0137 0.0176 0.0084 0.0263 0.0134
SASRec 0.0350 0.0192 0.0605 0.0318 0.0675 0.0374 0.0390 0.0194
BERT4Rec 0.0191 0.0099 0.0347 0.0170 0.0203 0.0099 0.0090 0.0045
FDSA 0.0288 0.0156 0.0407 0.0208 0.0381 0.0189 0.0544 0.0293
S3-Rec 0.0385 0.0204 0.0647 0.0327 0.0700 0.0376 0.0341 0.0168
LLM 嵌入方法 (LLM-EM) AlphaRec (MLP) 0.0268 0.0135 0.0456 0.0238 0.0407 0.0221 0.0073 0.0034
AlphaRec (LGCN) 0.0328 0.0177 0.0432 0.0242 0.0179 0.0091 0.0070 0.0031
LEARN 0.0188 0.0098 0.0286 0.0136 0.0349 0.0181 0.0096 0.0042
SLMRec 0.0425 0.0209 0.0757 0.0390 0.0759 0.0399 0.0572 0.0354
DLLM2Rec 0.0292 0.0143 0.0496 0.0242 0.0589 0.0315 0.0224 0.0112
LLMEmb 0.0389 0.0205 0.0754 0.0398 0.0838 0.0458 0.0205 0.0103
LLM-SRec 0.0429 0.0171 0.0767 0.0358 0.0682 0.0327 0.0588 0.0267
LLM 生成方法 (LLM-GM) BIGRec (SFT) 0.0110 0.0059 0.0280 0.0151 0.0425 0.0241 0.0146 0.0100
SLIM (Distillation) 0.0403 0.0210 0.0664 0.0354 0.0758 0.0408 0.0558 0.0437
Rec-R1 (RL) 0.0171 0.0089 0.0523 0.0291 0.0702 0.0389 0.0185 0.0103
RecZero (RL) 0.0283 0.0154 0.0585 0.0337 0.0842 0.0478 0.0156 0.0089
本文方法 GEARec 0.0450 0.0247 0.0833 0.0487 0.0909 0.0520 0.0755 0.0613
相对最强基线提升 — +4.90% +17.62% +8.60% +22.36% +7.96% +8.79% +28.40% +40.27%

消融实验

为系统解构核心机制的作用,作者在四大基准上对模块消融、骨干模型替换及模型规模扩展进行了严谨评估:

配置 / 变体 Sports N@10 Beauty N@10 Toys N@10 Yelp N@10 机制解析与核心现象
GEARec (完整模型) 0.0247 0.0487 0.0520 0.0613 整合双视角锚点、全库路由校验与 DFT 动态微调的最佳方案
w.o. LLM reasoning 0.0095 0.0182 0.0215 0.0110 性能降幅最大;直接预测物品元数据(标题/品牌)丧失了语义推理优势
w.o. anchor 0.0162 0.0315 0.0340 0.0224 不指定锚点直接从 GT 推理;模型陷入事后合理化幻觉,泛化能力崩塌
w.o. LLM anchor 0.0194 0.0388 0.0412 0.0365 仅依赖 CF 锚点;协同统计偏好虽强,但丢失了细粒度自然语言语义线索
w.o. CF anchor 0.0215 0.0421 0.0450 0.0512 仅依赖纯语义锚点;无法捕捉全局反直觉大众共现消费模式
w.o. verification 0.0185 0.0360 0.0395 0.0310 移除 Top-K/M 检索校验;保留不可达伪轨迹直接污染 SFT 训练信号
骨干替换: S3-Rec 0.0220 0.0450 0.0513 0.0584 CF 骨干从 SASRec 替换为 S3-Rec,性能依然大幅领先各路基准
骨干替换: Qwen3.5-0.8B 0.0246 0.0479 0.0540 0.0560 LLM 从 Gemma-3-1B 换为更小参数量的 Qwen3.5-0.8B,效果保持鲁棒
规模对比: Qwen3-80B (Zero-Shot) 0.0194 0.0306 0.0358 — 80B 超大模型因上下文利用偏差,效果被精选训练的 1B 模型全面碾压
规模对比: GPT-5.1 (Frontier API) 0.0196 0.0334 0.0354 — 商业前沿旗舰模型亦无法依靠通用智力在全库候选中战胜精选数据

关键发现

  • 上下文利用偏差的几何印证:几何距离分析显示,未经微调的基座 LLM 偏离逃逸分数(BES)趋近于零(Beauty 上仅 0.014),其表征几何中心完全陷在历史均值中心 \(h_{\text{mean}}\) 中;而 GEARec 的 BES 高达 0.318,且在最难的 Q4 分组(目标距离历史均值极远)上 Hit@10 领先强化学习基线达 +14%,证明精选数据切断了对随机历史的死板依赖。
  • 高质量精选击败暴力参数规模:1B 参数量的 GEARec 全面超越 12B、27B、80B 开源模型及 GPT-5.1 闭源 API(在 Toys 数据集上 NDCG@10 达 0.0540 vs 80B 的 0.0358),证实序列推荐中的核心瓶颈是监督信号的「可达性质量」,而非语言模型的基础参数规模。
  • 长尾推荐能力显著增强:在流行度处于后 80% 的长尾物品评估中,GEARec 性能大幅跃升,克服了传统协同过滤高度过拟合头部爆款、忽视长尾个性化需求的固有缺陷。
  • 路由数据过滤比例严谨:在全库检索门控下,四大数据集的平均样本剔除率为 17.35%(从 Toys 的 11.98% 到 Sports 的 19.51%)。在保留轨迹中,目标屏蔽的纯语义视角贡献了主体(Beauty 达 81.3%,Yelp 达 69.5%),CF 回退仅作为安全兜底网,保证了生成机制的自主性。

亮点与洞察

  • 将下游检索可达性前置为数据清洗准则:巧妙打破了传统 NLP 生成与推荐检索的壁垒,不再盲目相信大模型自说自话的流利文本,而是用稠密检索器对长序列推理做全库压力测试,不可达即剔除,思想极具启发性。
  • 双视角前缀强制与协同解耦:利用前缀硬性填充强制 LLM 在受限空间内逐个检验候选锚点,避免了大模型自由生成时的发散与胡编乱造,同时将 CF 统计隐式知识翻译成显式文本因果。
  • DFT 逆概率加权替代强化学习:规避了在海量候选池中执行 RL Exploration 的灾难性奖励稀疏与昂贵 Rollout 开销,以轻量监督微调实现了可比甚至超越 RL 的策略泛化能力。
  • 工业部署级推理时效:测试阶段彻底剥离 GT 引导与 Best-of-N 搜索,单次前向配合稠密向量库索引,单用户端到端延迟仅 44.1ms,为学术界 LLM 推荐落地工业界提供了高可行性范式。

局限与展望

  • 推理期 LLM 生成开销依旧存在:虽然 44.1ms 的延迟远快于多轮 CoT 与复杂采样,但相较于纯双塔/SASRec 级别的微秒级纯向量打分,在大规模高并发在线信息流场景中仍显厚重。
  • 对底层协同过滤质量的隐式依赖:CF 锚点回退机制依赖预训练 SASRec 嵌入的准确性;在极致冷启动或极端数据稀疏场景下,协同信号失真可能导致 CF 锚点失效。
  • 重度依赖丰富的物品文本元数据:当物品仅由不透明的 ID 编码表示、缺乏详尽的标题、品类或属性描述时,语义推理通路将退化,难以发挥大模型的常识先验优势。

相关工作与启发

  • vs Rec-R1 / RecZero: 后者采用强化学习(GRPO 等)试图在无约束大空间中直接靠检索奖励引导策略,但在数万级全库候选下遭遇毁灭性奖励稀疏与探索崩溃;GEARec 通过离线锚点提取与可达性路由过滤,将高质量轨迹固化为 SFT 数据,以平滑微调绕开了 RL 的优化死穴。
  • vs BIGRec / TALLRec: 传统 SFT 推荐仅让模型直接拟合目标物品文本或 ID,未挖掘因果解释,极易丧失语义推理空间并退化为过拟合记忆;GEARec 强迫模型经由锚点生成结构化意图描述,保持了推理深度。
  • vs SLIM / DLLM2Rec: 知识蒸馏方案往往将大模型的推理知识压缩至小推荐模型中,但由于大模型教师自身充斥着上下文利用偏差,蒸馏存在噪声级联风险;GEARec 站在上游数据控制视角,为任意下游蒸馏或微调提供了纯净可信的监督源。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统诊断并用几何距离量化推荐中的上下文利用偏差,创新性提出以全库可达性作为推理轨迹清洗的硬门控准则。
  • 实验充分度: ⭐⭐⭐⭐⭐ 坚持拒绝负采样、坚持全量物品池评测;从四大基准对比、五项消融、几何偏差量化到跨模型/跨规模验证与双裁判 LLM-as-a-Judge,证据极其坚实。
  • 写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻,问题界定严密,散文叙事一气呵成,实验图表信息密度极高。
  • 价值: ⭐⭐⭐⭐⭐ 兼具理论洞察与工程实效,代码完全开源,对 LLM 赋能工业推荐系统具有重要的参考与借鉴价值。