跳转至

CURP: Codebook-based Continuous User Representation for Personalized Generation with LLMs

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/RaidonWong/CURP_code
领域: NLP 生成
关键词: 大语言模型个性化、原型码本、连续用户表征、双路聚合、LaMP 基准

一句话总结

提出基于离散原型码本与双路聚合器的连续用户表征框架 CURP,将用户交互历史解耦为低维子空间原型并分别提取查询自适应动态偏好与稳定内在特质,在仅引入 28M 可训练参数(底座模型参数量的 0.36%)的前提下,实现即插即用且强鲁棒的高保真个性化生成。

研究背景与动机

大语言模型(LLM)的个性化生成旨在模拟不同个体的语言风格、偏好倾向与行为模式,在个性化对话、推荐系统、辅助写作以及群体社会模拟等任务中展现出重要应用价值。现有 LLM 个性化范式主要分为基于个性化提示(Personalized Prompts)与基于个性化参数(Personalized Parameters)两类:提示驱动方法直接将用户的历史文本行为或预构建画像拼接入上下文,虽轻量通用,但原始文本往往充斥着冗余词汇与偶然噪声,过长的上下文不仅显著增加计算开销,还容易导致模型产生刻板印象或幻觉;参数微调方法则针对每个用户单独微调 LoRA 模块或重构模型参数,虽然个性化忠实度较高,但面对海量用户时单人单模型的参数存储与动态调度开销在工程落地中几乎不可承受。

这种分歧暴露了个性化生成中计算效率与保真度之间的核心矛盾。在社会心理学中,自我归类理论(Self-Categorization Theory, SCT)指出人类的个体身份认同并非孤立不变的绝对自概念,而是在特定情境下对一系列共享社会原型(如“青少年”、“体育迷”、“忠诚粉丝”)的连续柔性融合。如果能在隐式空间中构建一套覆盖群体行为模式的离散原型集合,既能通过群体行为聚合缓解数据稀疏性、过滤表面词汇扰动,又能通过原型的多维组合灵活逼近复杂多变的用户特质。

本文的切入角度是将用户历史投影并量化到共享的离散原型码本空间,再通过显式解耦的动态与稳定双路聚合器提取用户表征,以连续嵌入前缀的形式指导冻结的解码器生成。核心 idea:基于自我归类理论构建解耦子空间的离散原型码本,并通过双路聚合器将历史行为显式分解为查询自适应动态偏好与长程稳定内在特征,以仅 28M 参数的轻量连续软前缀实现高效、抗噪且可解释的 LLM 即插即用个性化生成。

方法详解

整体框架

CURP 由四个核心组件协同构建:预训练双向用户编码器(User Encoder \(E\))、离散原型码本(Prototype Codebook \(C\))、双路聚合器(Dual-Aggregator \(A\))以及生成解码器(Decoder LLM \(D\))。在整体管线中,用户历史行为首先经过冻结的双向编码器编码为稠密向量,通过乘积量化映射到离散子空间原型码本中获得去噪的原型组合;随后,双路聚合器分别利用多头交叉注意力(融合当前任务查询)与多层 Q-Former(融合可学习查询)抽取出动态表征与稳定表征;最后经由轻量 MLP 投影层映射至解码器隐空间,与当前查询嵌入拼接后引导冻结的 LLM 完成端到端个性化生成。整体流程分为两阶段训练:原型码本构建(PCC)阶段与用户行为对齐(UBA)阶段。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户交互历史<br/>与当前任务查询"] --> B["用户编码与子空间量化<br/>Contriever 稠密编码与乘积量化"]
    B --> C["离散原型码本构建<br/>均衡 K-Means 与多样性正则"]
    C --> D["双路聚合器表征解耦<br/>MHCA 动态偏好与 Q-Former 稳定特质"]
    D --> E["隐空间投影与行为对齐<br/>轻量 MLP 映射与自回归生成"]
    E --> F["个性化响应输出"]

关键设计

1. 离散原型码本构建:高维语义解耦与均衡子空间聚类 针对直接拼接原始文本带来的表面词汇噪声和上下文膨胀问题,CURP 采用乘积量化(Product Quantization, PQ)将连续行为嵌入抽象为共享的原型组合。具体而言,冻结的 Contriever 编码器先将大规模用户行为池转化为稠密向量,每个嵌入向量 \(e \in \mathbb{R}^d\) 被均匀切分为 \(L\) 个正交子空间 \(e = [e^{(1)}, \dots, e^{(L)}]\),并在每个子空间中维护一个包含 \(K\) 个原型的独立码本 \(C_l\)。为避免向量量化中常见的多质心坍缩或“死码”问题,初始化采用带基数约束的均衡 K-Means(Balanced K-Means)算法,确保每个码本条目负责大致相等的数据点。在阶段一(PCC)的码本优化中,损失函数综合了重构误差、多样性惩罚与利用率约束:

\[ \mathcal{L}_{\text{PCC}} = \alpha \mathcal{L}_{\text{reconstruction}} + \beta \mathcal{L}_{\text{diversity}} + \gamma \mathcal{L}_{\text{usage}} \]

其中重构损失利用直通估计器(Straight-Through Estimator, STE)保留梯度流动,多样性损失通过平滑双曲正切函数拉大质心间最小间距,利用率损失则联合惩罚批次使用方差、最大化活跃码字基数与利用率分布的归一化信息熵。通过该设计,单一行为被压缩为 \(L\) 个离散索引组合,不仅大幅压缩特征维度,还天然过滤了拼写、错别字等浅层干扰。

2. 双路聚合器:解耦动态情境偏好与稳定长程特质 用户在实际场景中的表达往往由两股力量共同塑造:一方面是跨任务、跨时段依然恒定的稳定内在偏好(如语言修辞习惯、打分基准尺度),另一方面是受当前输入情境驱动的动态意图(如面对特定主题电影或新闻时的即时态度)。单向量建模极易造成两类信息的相互纠缠与稀释。CURP 引入双路聚合器架构分别捕获这两种特征: 动态分支采用 8 头多头交叉注意力机制(MHCA),以当前查询的编码向量 \(E(Q_i)\) 作为 Query,量化后的行为原型序列 \(BP_i\) 作为 Key 和 Value,计算与当前任务强相关的动态表征 \(R_{\text{dyn}} = \text{MHCA}(BP_i, E(Q_i))\); 稳定分支则采用 2 层 Q-Former 结构,配置 \(M=4\) 个全局可学习的查询向量 \(Q_{\text{learned}}\),与用户的全量原型序列做交互压缩,生成表征用户长程内在习惯的固定长度向量 \(R_{\text{stb}} = \text{Q-Former}(BP_i, Q_{\text{learned}})\)。当当前输入脱离历史分布时,稳定分支能够充当先验锚点,有效抑制动态匹配失效造成的模式崩溃。

3. 用户行为对齐与连续隐空间注入:免微调底座的即插即用生成 在阶段二(UBA)中,为实现与底座解码器的高效协同并免去繁重的单用户微调成本,系统将量化生成的动态与稳定表征输入轻量级多层感知机(MLP,由 768-3584-3584 两层线性变换及 GELU 构成),投影至解码器 LLM(Qwen-2.5-7B-Instruct)的输入词嵌入空间,直接前置于任务查询嵌入之前组成完整序列:

\[ x_{\text{in}} = [f(R_{\text{dyn}}, R_{\text{stb}}); \mathcal{D}_{\text{Emb}}(Q_i)] \]

整个 UBA 阶段仅更新用户聚合器与投影 MLP(总参数量约 28M),解码器底座全程保持冻结。模型通过标准自回归交叉熵损失最大化目标个性化文本的似然概率:

\[ \mathcal{L}_{\text{UBA}} = -\sum_{t=1}^{|Y_i|} \log P(y_t \mid x_{\text{in}}, y_{<t}; \theta) \]

这种设计使 CURP 具备优异的模块化与跨底座通用性:当更换解码器时仅需重新运行开销极小的 UBA 对齐,而在云端-边缘协同部署场景下,计算密集的用户历史量化与聚合可卸载至端侧,有效保护用户行为隐私。

损失函数 / 训练策略

阶段一码本训练在 100k 条用户行为样本上展开,设置 \(L=4\) 个子空间,每个子空间包含 \(K=1,000\) 个原型条目,损失权重设为 \(\alpha=1.0, \beta=0.1, \gamma=0.3\),采用 AdamW 优化器(批大小 1,024)。阶段二用户行为对齐在全量用户交互历史下进行,在 8 张 NVIDIA RTX 4090 GPU 上利用 DeepSpeed ZeRO Stage 2 实施分布式训练,学习率设为 \(1 \times 10^{-4}\),权重衰减 0.01,梯度累积步数为 4,共训练 3 个 epoch。

实验关键数据

主实验

在 LaMP 基准的 6 个任务(涵盖分类、回归与文本生成)上评估 CURP,对比零样本(ZS)、少样本上下文学习(ICL)、检索方法(BM25、Dense)、链式思考(CoT)、画像生成(PAG)等提示类基线,以及 DiffMean、PROPER、Soft Prompt(SP)、PPlug 等参数/隐空间类基线。主要性能指标对比如下:

任务 评估指标 Zero-Shot ICL BM25 Dense PROPER PPlug CURP (本文)
LaMP-1 (引用识别) Acc ↑ 0.514 0.557 0.579 0.555 - 0.502 0.518
LaMP-2 (电影打标) Acc ↑ 0.345 0.445 0.431 0.448 0.587 0.565 0.629
F1 ↑ 0.191 0.291 0.281 0.300 0.504 0.485 0.547
LaMP-3 (商品评分) MAE ↓ 0.502 0.368 0.314 0.284 0.284 0.258 0.276
RMSE ↓ 0.839 0.714 0.651 0.604 0.597 0.567 0.585
LaMP-4 (新闻标题生成) R-1 ↑ 0.138 0.160 0.168 0.177 0.191 0.190 0.194
R-L ↑ 0.119 0.140 0.151 0.159 0.171 0.168 0.173
BERTScore (Sim) ↑ 0.845 0.852 0.854 0.855 0.858 0.857 0.859
LaMP-5 (学术标题生成) R-1 ↑ 0.411 0.432 0.440 0.435 0.469 0.500 0.505
R-L ↑ 0.338 0.360 0.371 0.364 0.399 0.444 0.449
BERTScore (Sim) ↑ 0.876 0.884 0.885 0.884 0.890 0.897 0.898
LaMP-7 (推文改写) R-1 ↑ 0.457 0.428 0.446 0.447 - 0.536 0.543
R-L ↑ 0.401 0.375 0.390 0.392 - 0.477 0.483
BERTScore (Sim) ↑ 0.903 0.894 0.898 0.898 - 0.909 0.911

消融实验

通过对核心模块逐一剥离,在 LaMP-2(分类)、LaMP-3(回归)、LaMP-4(生成)与 LaMP-7(生成)上验证架构设计的必要性:

模型配置 LaMP-2 Acc ↑ LaMP-2 F1 ↑ LaMP-3 MAE ↓ LaMP-3 RMSE ↓ LaMP-4 R-1 ↑ LaMP-4 R-L ↑ LaMP-7 R-1 ↑ LaMP-7 R-L ↑
CURP (完整模型) 0.629 0.547 0.276 0.585 0.194 0.173 0.543 0.483
w/o Quantize (连续表征) 0.634 0.548 0.275 0.601 0.198 0.177 0.544 0.483
w/o Dynamic (移除动态分支) 0.474 0.367 0.290 0.596 0.191 0.170 0.538 0.480
w/o Stable (移除稳定分支) 0.539 0.436 0.287 0.607 0.188 0.168 0.528 0.469
w/o Q-Former (改为均值池化) 0.590 0.541 0.290 0.620 0.192 0.171 0.536 0.477
Dual MLP (分立投影层) 0.604 0.558 0.282 0.605 0.194 0.175 0.545 0.485

关键发现

  • 双路表征强互补:同时移除动态分支或稳定分支均造成显著性能滑坡,其中移除动态分支在 LaMP-2 分类任务上导致准确率暴跌 15.5%(从 0.629 降至 0.474),移除稳定分支也使准确率下跌 9.0%,印证了查询敏感偏好与全局长期特质缺一不可。
  • 离散量化带来优异的抗噪鲁棒性:虽然未经量化的连续表征(w/o Quantize)在干净测试集上由于信息未压缩而微幅领先(如 LaMP-4 R-1 高 0.004),但在针对用户画像的重写扰动实验中,CURP 的性能下降近乎 0%,而连续表征下降约 2.7%;改用更强量化器(如残差量化 RQ 或优化乘积量化 OPQ)后,LaMP-2 准确率进一步攀升至 0.655 与 0.649,超越了连续版本。
  • 高效与高并发优势:对比单人单模型参数微调的 PROPER(需为单用户维护 8M 参数,训练总耗时约 57 分钟,推理耗时高达 1056 分钟),CURP 仅需 28M 共享参数,推理时间仅 4 分 28 秒,吞吐效率高出两个数量级。

亮点与洞察

  • 社会学理论与向量量化的优雅结合:将自我归类理论(SCT)中的社会原型概念巧妙落地为可学习的乘积量化离散码本,使复杂个体行为能够被分解为有限原型条目的稀疏正交基组合,既兼顾了泛化能力又保留了特异性。
  • 语义子空间的可解释性解耦:事后分析证实码本在无监督训练下自发形成了层级语义分工:例如在政治新闻任务中,子空间 2 与 3 的特定码字组合固定锚定“特朗普与禁令”的核心主题,子空间 1 负责区分“司法诉讼与媒体报道”等内容载体,子空间 4 则对应“抗议抵抗与宪法挑战”等叙事视角。
  • 跨底座解耦迁移能力:码本与底座大模型完全解耦,固定码本后仅需极低开销重新微调 UBA 阶段,即可在 Contriever/RoBERTa 编码器与 Qwen/LLaMA 解码器之间自由切换,具备优异的工业部署价值。

局限与展望

  • 作者指出的局限性:LaMP 基准主要依赖用户历史交互文本,缺乏显式的情感、性格画像;此外离散量化丢弃了原始文本中的细粒度语言特征(如特定罕见高频词、标点习惯),对于偏离原型中心的罕见偏好可能存在重构不可逆问题。
  • 评测指标局限:基于 ROUGE 与 BERTScore 的重合度度量更偏向参考答案的字面匹配;在用户案例中,当用户有固定的数字标题写作习惯而标准答案未加数字时,正确体现用户习惯的输出反而会受到 ROUGE 惩罚,呼吁建立更深度的个性化专有评估机制。
  • 未来方向:探索在更大规模跨领域真实多模态行为流中的原型演进机制,以及针对罕见特质自适应扩展动态码本容量的方法。

相关工作与启发

  • vs. Prompt-based 方法(ICL / BM25 / PAG):提示方法通过输入拼接直接暴露给 LLM,容易引入长文本词汇噪声且极度消耗推理窗口;CURP 通过原型量化将历史压缩进紧凑隐空间,抗噪能力和效率均显著占优。
  • vs. Parameter-based 方法(PROPER / DiffMean):PROPER 针对每个用户微调专属 LoRA,参数量随用户数线性暴涨,极难在大规模线上系统服务;CURP 保持大模型完全冻结,所有用户共享 28M 聚合模块,实现了效率与保真度的理想平衡。
  • vs. 单路软提示注入(PPlug):PPlug 仅靠查询注意力将全量历史融合成单个 Token,面对冷启动或无匹配历史时容易退化甚至产生严重幻觉(如输出大量虚构的社交 @handle);CURP 的稳定分支由 Q-Former 提供稳固的全局先验,有效规避了无匹配情况下的生成失控。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [将自我归类理论成功引入 LLM 个性化,设计了正交子空间原型码本与动静双路聚合机制]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 LaMP 六大任务,提供严密的消融、量化器替换、语义子空间可解释性及扰动抗噪验证]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑严谨清晰,系统架构与理论动机高度呼应,图表直观且案例剖析极具说服力]
  • 价值: ⭐⭐⭐⭐⭐ [提出了一种极具工程落地潜力的轻量即插即用个性化新范式,彻底摆脱单用户私有权重的维护包袱]