Bridging Textual Profiles and Latent User Embeddings for Personalization¶

会议: NeurIPS 2026
arXiv: 2605.06981
OpenReview: https://openreview.net/forum?id=Q8GtLJQni3
领域: 推荐系统
关键词: 个性化推荐, 用户画像, 隐式用户嵌入, 强化学习, 序列推荐

一句话总结¶

提出了强化学习框架 BLUE，通过大模型生成自然语言用户画像，并联合利用隐式嵌入空间的双向对比对齐奖励与文本空间的下一个交互预测奖励优化生成策略，在无需人工金标画像的情况下实现了兼具高可解释性与强判别检索能力的双重表征。

研究背景与动机¶

个性化系统依赖用户表征来连接历史交互行为与下游推荐决策。在现有实践中，用户表征主要存在两条割裂的技术路线：一类是基于序列推荐或双塔编码器学到的隐式用户嵌入（latent user embeddings），这类稠密向量在商品检索与排序阶段计算高效且命中率极高，但本质上是不可解释的黑盒，压缩历史时容易混淆长期稳定偏好与偶发行为噪声，也无法直接服务于基于大语言模型的生成式个性化任务；另一类是利用大语言模型（LLM）生成的自然语言用户画像（textual user profiles），这类文本画像直观透明、易于人类审查和编辑，并且具有丰富的语义理解能力，然而受限于缺乏唯一的标准答案（Ground Truth），传统的提示词生成或纯文本摘要监督很难直接面向下游推荐指标进行端到端效用优化。

这种割裂导致两类表征陷入了两难困境：隐式嵌入擅长精准检索却缺乏语义透明度，文本画像具备可解释性却难以针对下游检索效用进行有效优化。现有的画像调优方法要么依赖手工设计规则与特定模板，要么仅从单一语言模型反馈（如 RLAIF、RLPF）进行弱监督，生成的文本画像往往停留在表层语言流畅性，难以与实际排序系统的向量空间直接对齐。

本文的切入角度是打破文本画像与隐式嵌入的孤立状态，将二者在强化学习框架下紧密耦合：让 LLM 生成的文本画像充当行为提炼与语义载体，同时让冻结或微调的检索嵌入模型提供判别性反馈。核心 idea：提出强化学习框架 BLUE，以群体相对策略优化（GRPO）训练生成式画像 LLM，将嵌入空间中的双向对比对齐奖励与文本空间中的下个交互预测奖励联合作为监督信号，使学到的文本画像既具备语言理解的语义真实性，又能在隐式空间中有效拉近正例商品、推远负例商品。

方法详解¶

整体框架¶

BLUE 建立在生成式画像模型与下游判别嵌入模型协同工作的双轨架构之上。输入为用户的原始历史交互序列 $\mathcal{H}_u$，画像 LLM $\pi_\theta$ 首先生成候选自然语言用户画像 $p_u$。该画像一方面直接作为紧凑上下文输入给通用语言模型执行下游问答或偏好推测，另一方面与近期行为拼接或独立输入给嵌入模型 $\mathrm{Emb}_\phi(\cdot)$ 生成用户向量，用于与候选商品嵌入计算余弦相似度并完成检索排序。

为了解决缺乏金标画像的问题，BLUE 在训练阶段冻结嵌入模型，采用群体相对策略优化（GRPO）对画像 LLM 展开强化学习优化。奖励信号由两部分构成：来自隐式嵌入空间的双向 InfoNCE 对比奖励（引导画像表征在向量空间拉近正样本商品并推开负样本），以及来自文本空间的下个商品多项选择题判别准确率奖励（保证画像在自然语言推理中的语义信息量与真实性）。此外，在进阶阶段还可以利用优化后的高质量文本画像作为去噪监督信号，以有监督对比学习（SCL）进一步微调嵌入模型自身。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：用户历史交互序列 <br/> $\mathcal{H}_u = \{h_u\}^{\leqslant t}$"] --> P1["多候选用户画像生成<br/>采样多组候选自然语言偏好画像"]
    P1 --> Split{"双空间协同奖励评估"}
    Split --> P2["双重视角隐式嵌入对比奖励<br/>长短期视角联合双向 InfoNCE"]
    Split --> P3["文本空间下个交互预测奖励<br/>多项选择题二元分类正确性评估"]
    P2 --> P4["群体相对策略优化<br/>组内优势归一化与 KL 散度约束"]
    P3 --> P4
    P4 --> Out1["策略迭代收敛：生成高质量可解释画像"]
    Out1 --> P5["可选进阶：有监督对比微调嵌入模型<br/>利用高质量画像优化共享向量空间"]
    Out1 --> Out2["下游双重应用：零样本序列推荐 / 个性化问答"]
    P5 --> Out2

关键设计¶

1. 多候选用户画像生成：从行为序列提炼结构化自然语言偏好 为了让模型摆脱机械分类标签并保留丰富上下文，画像策略模型 $\pi_\theta$（基于开源大模型如 Gemma3-1B-it 或 Qwen3-1.7B）接收格式化后的交互序列历史（含商品标题与评分），通过生成提示词 $\mathcal{P}_{\mathrm{Gen}}(\mathcal{H}_u)$ 采样输出描述用户兴趣、核心偏好与行为模式的自然语言文本 $p_u \sim \pi_\theta(\cdot \mid \mathcal{P}_{\mathrm{Gen}}(\mathcal{H}_u))$。为了支持后续的强化学习优化，模型对每个输入序列并行采样生成一组包含 $G$ 个候选画像的集合 $\{p_u^{(i)}\}_{i=1}^G$，为探索不同的偏好抽象粒度提供基础。

2. 双重视角隐式嵌入对比奖励：将向量检索判别力转化为策略梯度 该模块旨在利用检索嵌入模型提供直接的优化牵引力。为了兼顾用户长期稳定偏好与近期行为动态，论文构造了两种用户嵌入视图：第一种视图 $e_u^{(1)} = \mathrm{Emb}_\phi(\mathcal{H}_u' \parallel p_u)$ 将最近 10 次交互 $\mathcal{H}_u'$ 与生成画像拼接编码，捕获上下文连贯性；第二种视图 $e_u^{(2)} = \mathrm{Emb}_\phi(p_u)$ 仅编码生成画像，迫使画像本身尽可能独立承载完备的偏好信息。对于每个视图 $e_u^{(k)}$（$k \in \{1, 2\}$），计算用户到商品（$U \to I$）与商品到用户（$I \to U$）的双向 InfoNCE 对比奖励均值： $$R_{\mathrm{avg}}(e_u^{(k)}) = \frac{1}{2}\left(R_{U \to I}(e_u^{(k)}) + R_{I \to U}(e_u^{(k)})\right) = \log \frac{\exp(\mathrm{sim}(e_u^{(k)}, h_{v^+})/\tau)}{\sqrt{Z_U(e_u^{(k)}) \cdot Z_I(e_u^{(k)})}}$$ 其中 $h_{v^+}$ 为用户接下来真实交互的正样本商品嵌入，$\mathcal{V}^-$ 为随机负样本商品集合，$\mathcal{U}^-$ 为批次内其他用户负例，$Z_U$ 和 $Z_I$ 分别为归一化配分函数。总嵌入奖励定义为两个视图之和：$R_{\mathrm{emb}}^u = R_{\mathrm{avg}}(e_u^{(1)}) + R_{\mathrm{avg}}(e_u^{(2)})$。这一机制直接促使画像生成器调整用词与语义重心，使其映射在向量空间后最大化正例召回率。

3. 文本空间下个交互预测奖励：防止语义漂移与对抗性退化 如果仅以嵌入模型相似度作为奖励，画像生成器可能退化出欺骗向量编码器的高频关键词堆砌，从而丧失语言层面的可读性与推理价值。为此，BLUE 引入了文本空间硬约束：将预测用户下一个交互商品转化为四选一选择题，构造提示词 $\mathcal{P}_{\mathrm{pred}}(p_u)$，将生成的画像 $p_u$ 单独作为背景上下文输入回同一个 LLM 中，由模型推理输出预测选项 $\hat{y}_u \sim \pi_\theta(\cdot \mid \mathcal{P}_{\mathrm{pred}}(p_u))$。当且仅当预测命中真实下一个交互商品 $v_u^+$ 时给予正奖励： $$R_{\mathrm{text}}^u = \mathbb{I}(\hat{y}_u = v_u^+)$$ 该奖励迫使画像在文字层面上必须具备充分的排他性证据与决定性偏好，确保画像在脱离嵌入模型后依然可作为下游自然语言任务（如个性化对话或推荐理由阐释）的高质量事实依据。

4. 群体相对策略优化：低方差无 Critic 的画像策略更新 总奖励直接融合两部分信号：$R_{\mathrm{final}}^u(p_u^{(i)}) = R_{\mathrm{text}}^u(p_u^{(i)}) + R_{\mathrm{emb}}^u(p_u^{(i)})$。为了稳定训练过程并避免训练额外的 Value Critic 网络，BLUE 采用群体相对策略优化（GRPO）。针对同一历史序列采样的 $G$ 个候选画像，在组内计算优势值 $\hat{A}_{u,i} = (R_{\mathrm{final}}^u(p_u^{(i)}) - \mu_u) / (\sigma_u + \epsilon)$，其中 $\mu_u$ 和 $\sigma_u$ 分别是该组奖励的均值和标准差。目标函数结合重要性权重截断与参考策略 $\pi_{\mathrm{ref}}$ 的 KL 散度约束： $$\mathcal{J}_{\mathrm{GRPO}}(\theta) = \mathbb{E}_u \left[ \frac{1}{G}\sum_{i=1}^G \left( \min(r_{u,i}\hat{A}_{u,i}, \mathrm{clip}(r_{u,i}, 1-\epsilon, 1+\epsilon)\hat{A}_{u,i}) - \beta \mathbb{D}_{\mathrm{KL}}(\pi_\theta \parallel \pi_{\mathrm{ref}}) \right) \right]$$ 该设计使模型能够在同一次历史生成的多个回答间做相对优劣比较，显著降低优化方差，稳定收敛于高信息量且对齐向量目标的优质画像。

5. 可选进阶：有监督对比微调嵌入模型（BLUE+SCL） 在允许调整嵌入模型的场景下，学得的优质文本画像不仅是输入特征，更能反哺检索模型训练。冻结训练好的画像生成器，将由“近期交互 + 高质量文本画像”生成的用户表征与正例商品向量作为配对样本，利用双向有监督对比损失（SCL）微调嵌入模型： $$\mathcal{L}_{\mathrm{emb}} = \mathcal{L}_{U \to I} + \mathcal{L}_{I \to U}$$ 由于文本画像已滤除偶发性消费噪声并强化了跨领域的品类抽象意图，用其微调出的共享嵌入空间在跨领域零样本迁移下表现出更强的泛化边界。

损失函数 / 训练策略¶

模型训练采用两阶段解耦方案： 1. 画像策略强化学习阶段：采用 Amazon Clothing 训练集，优化器学习率设为 $1\times 10^{-6}$，批大小为 64，训练 1 个 epoch。GRPO 采样温度设为 1.0，每个用户展开 $G=8$ 个 rollout 候选画像，负样本商品数采样 128 个以提供充足反向推力。KL 正则系数 $\beta = 0.01$，截断阈值 $\epsilon = 0.2$，对比温度 $\tau = 0.07$。 2. 嵌入模型对比微调阶段（可选）：微调 Qwen3-Embedding-0.6B 时批大小设为 512，学习率 $1\times 10^{-6}$，对比温度 $\tau = 0.07$，同样在 Amazon Clothing 上训练 1 个 epoch，防止源领域过拟合并保持通用语言特征的零样本泛化能力。

实验关键数据¶

主实验¶

实验基于 Amazon Reviews 2023（涵盖 Clothing、Books、Electronics、Sports 四大类目）和 Google Local Reviews（纽约州数据集）。所有模型均仅在 Amazon Clothing 领域训练，在其余领域进行零样本跨领域迁移评估。检索评估在 1 个正样本和 99 个负样本组成的候选集上计算 NDCG@10（N@10）与 Recall@10（R@10）。

下表展示了冻结嵌入模型条件下的跨领域推荐检索表现（基线为最近 10 次交互拼接相应画像，与纯画像对比）：

数据集	指标	10 History	10H+Base Profile	10H+RLPF Profile	10H+LangPTune	10H+BLUE Profile (本文)
Amazon Clothing (源域)	N@10 R@10	0.085 0.168	0.137 0.255	0.128 0.244	0.153 0.269	0.173 (+13.1%) 0.306 (+13.8%)
Amazon Books (跨域)	N@10 R@10	0.109 0.215	0.277 0.442	0.244 0.401	0.279 0.453	0.329 (+17.9%) 0.516 (+13.9%)
Amazon Electronics (跨域)	N@10 R@10	0.086 0.177	0.114 0.237	0.129 0.246	0.123 0.247	0.143 (+10.9%) 0.267 (+6.8%)
Amazon Sports (跨域)	N@10 R@10	0.125 0.246	0.180 0.345	0.177 0.331	0.187 0.363	0.198 (+5.9%) 0.376 (+3.6%)
Google Reviews (跨域)	N@10 R@10	0.197 0.342	0.226 0.387	0.234 0.394	0.250 0.415	0.264 (+5.6%) 0.436 (+5.1%)

下表展示了在个性化问答（Personalized QA）任务中，以最近 10 次交互与不同画像作为上下文输入给 Gemma3-12B-it 时的效果（下一项商品预测准确率 Next Item $\uparrow$，评分预测平均绝对误差 Rating MAE $\downarrow$）：

评估领域	指标	10 History	10H+Base	10H+RLAIF	10H+RLPF	10H+BLUE (本文)
Amazon Clothing	Next Item $\uparrow$ Rating MAE $\downarrow$	0.430 1.263	0.504 1.236	0.493 1.409	0.526 1.240	0.557 1.020
Amazon Books	Next Item $\uparrow$ Rating MAE $\downarrow$	0.595 1.026	0.602 1.237	0.598 1.308	0.612 1.164	0.669 0.867
Amazon Electronics	Next Item $\uparrow$ Rating MAE $\downarrow$	0.423 1.238	0.483 1.351	0.498 1.484	0.521 1.326	0.545 1.093
Amazon Sports	Next Item $\uparrow$ Rating MAE $\downarrow$	0.460 1.210	0.532 1.192	0.547 1.378	0.564 1.152	0.592 0.876
Google Reviews	Next Item $\uparrow$ Rating MAE $\downarrow$	0.283 1.075	0.386 1.547	0.385 1.737	0.369 1.532	0.510 1.109

消融实验¶

在固定使用最近 10 次历史与生成画像的设定下，对 BLUE 的关键模块在各领域上的检索（冻结嵌入模型）与问答效果进行消融分析：

配置	Clothing N@10	Books N@10	Google Reviews N@10	Clothing Next Item $\uparrow$	Books Next Item $\uparrow$	Google Reviews Next Item $\uparrow$	说明
Full BLUE	0.173	0.329	0.264	0.557	0.669	0.510	完整模型
w/o $R_{\mathrm{emb}}$	0.136	0.252	0.230	0.501	0.619	0.405	去除隐式嵌入对比奖励，检索指标急剧滑坡（Books 跌 23.4%）
w/o $R_{\mathrm{text}}$	0.172	0.329	0.265	0.510	0.633	0.484	去除文本分类奖励，问答能力显著退化，检索影响微弱
w/o $e_u^{(1)}$	0.171	0.323	0.253	0.534	0.635	0.466	去除“历史+画像”混合编码奖励，短序感知受损
w/o $e_u^{(2)}$	0.161	0.292	0.253	0.529	0.628	0.421	去除纯画像嵌入奖励，画像独立信息量削弱
w/o $R_{U \to I}$	0.134	0.252	0.230	0.515	0.628	0.441	去除用户对正负商品的定向牵引，对检索损害最大
w/o $R_{I \to U}$	0.162	0.285	0.241	0.524	0.634	0.451	去除商品对批次内用户的排他判别力
w/ REINFORCE++	0.176	0.326	0.249	0.542	0.632	0.493	替换策略优化算法，问答指标与跨域泛化均略微落后

关键发现¶

隐式嵌入奖励是检索增益的核心引擎：消融 $R_{\mathrm{emb}}$ 后，所有数据集的 N@10 与 R@10 均发生崩塌式下滑（例如在 Books 上 N@10 从 0.329 暴跌至 0.252），证明将稠密向量检索能力作为奖励反哺 LLM 是提升推荐命中的关键源泉。
文本奖励构筑语义锚点：去除 $R_{\mathrm{text}}$ 对向量检索的分数影响极小（在 Google Reviews 上甚至由 0.264 微增至 0.265），但在问答任务中全面掉点（如 Books 上 Next Item 准确率从 0.669 降至 0.633），说明单纯的对比损失可能导致模型偏向于有利于特定向量空间的对抗性短语，而文本奖励有效保留了对用户行为逻辑的真实语言推理能力。
双重用户表征互补：$e_u^{(1)}$ 维持了近时序依赖，而 $e_u^{(2)}$ 强迫模型用有限词句总结核心风格，缺少任意一种均会导致综合判别性能降低。
帕累托前沿占优：在推理时间与总体质量评分的权衡中，BLUE 仅需单次画像前向推断，与传统 RLAIF/RLPF 耗时持平，但生成质量跨越式领先，形成卓越的综合能效比。

亮点与洞察¶

将下游嵌入模型的判别力反哺上游生成式画像：传统方法将生成模型与检索模型单向串联或分别孤立训练，本文巧妙利用冻结检索模型的 InfoNCE 对比损失构建标量奖励，解决了“文本用户画像缺乏金标微调监督”的领域根本痛点。
双向对齐设计兼顾多视角对比：在奖励中不仅计算用户对正负商品的区分度（$U \to I$），同时融入目标商品在批次用户维度上的排他性（$I \to U$），有效防止多候选生成模式下的局部语义塌缩。
可复用的跨模态/跨空间强化学习思路：该方法范式不仅适用于个性化推荐，还可广泛迁移至“自然语言描述与稠密表征协同检索”的场景（如个性化搜索 Agent、跨模态图文对齐生成、代码理解与向量索引对齐等）。

局限与展望¶

下游场景集中在交互历史推断：作者承认目前实验聚焦于 Amazon 与 Google Local Reviews 上的序列推荐与单轮个性化问答，尚未拓展至多轮长期对话系统、具身智能体记忆或多模态用户行为分析。
奖励设计的粒度仍有改进空间：文本空间监督目前依赖离散的四选一选择题二元反馈，对复杂长文本事实一致性、校准度（calibration）以及用户细粒度心理偏好未提供细粒度的稠密打分。
强化学习阶段的多轮 Rollout 带来训练开销：虽然推理时仅需单次生成，但在策略优化阶段每个用户需要生成 8 个候选画像并检索 128 个负例，对算力资源（如实验采用的 64 块 TPU v6e）有一定要求，未来可探索脱机对比蒸馏等轻量化训练方案。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次提出联合利用向量空间对比奖励与文本预测奖励、通过 GRPO 优化生成式用户画像，架构优雅清晰。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 个跨领域数据集、冻结与可微调双设定、推荐与问答双任务，包含详尽消融与 T-SNE 聚类可视化。
写作质量: ⭐⭐⭐⭐⭐ 结构逻辑严密，数学符号与流程图统一，深入揭示了显式画像与隐式表征的互补机制。
价值: ⭐⭐⭐⭐☆ 解决了推荐系统兼顾检索准确度与可解释性的长期痛点，对大模型时代个性化系统设计极具参考价值。

评估领域	指标	10 History	10H+Base	10H+RLAIF	10H+RLPF	10H+BLUE (本文)
Amazon Clothing	Next Item \(\uparrow\) Rating MAE \(\downarrow\)	0.430 1.263	0.504 1.236	0.493 1.409	0.526 1.240	0.557 1.020
Amazon Books	Next Item \(\uparrow\) Rating MAE \(\downarrow\)	0.595 1.026	0.602 1.237	0.598 1.308	0.612 1.164	0.669 0.867
Amazon Electronics	Next Item \(\uparrow\) Rating MAE \(\downarrow\)	0.423 1.238	0.483 1.351	0.498 1.484	0.521 1.326	0.545 1.093
Amazon Sports	Next Item \(\uparrow\) Rating MAE \(\downarrow\)	0.460 1.210	0.532 1.192	0.547 1.378	0.564 1.152	0.592 0.876
Google Reviews	Next Item \(\uparrow\) Rating MAE \(\downarrow\)	0.283 1.075	0.386 1.547	0.385 1.737	0.369 1.532	0.510 1.109