MoF: Preference-Aware Mixture Modeling for Black-Box LLM Personalization¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/hoonpak/Mixture-of-Facets
领域: NLP 理解
关键词: 黑盒大模型个性化、混合面模型、稀疏自编码器、偏好感知路由、聚类采样
一句话总结¶
针对黑盒大模型个性化中用户专属评分头导致参数随用户规模线性膨胀且无法泛化至冷启动用户的问题,MoF 提出了基于共享隐式偏好面(latent preference facets)的混合建模架构,结合稀疏自编码器(SAE)与聚类采样(CBS)实现免微调的即插即用个性化生成与检索。
研究背景与动机¶
近年来,商用专有大语言模型在自然语言理解与复杂推理任务中取得了突破性进展,并在智能个人助手场景中广泛落地。然而,现行大语言模型普遍依托海量数据进行下一词预测预训练,并在后训练阶段对齐通用人类群体的平均偏好,这种“千人一面”的范式导致模型输出高度趋同于大众化标准,难以迎合不同用户在风格、语气、评判尺度及特定领域倾向上的异质性偏好需求。
在无法直接修改商用 API 参数的黑盒设定下,早期的检索增强(RAG)与提示词微调方法受限于上下文窗口,且极易被历史交互中的无关噪声干扰。为此,前沿基线(如 HYDRA)引入了“重排序器(Reranker)+ 适配器(Adapter)”的双阶段候选决策框架,通过构建用户历史上下文并打分筛选最佳输出。然而,HYDRA 强依赖于为每位用户维护独立的专属评分头,导致系统的可训练参数量和持久化存储成本随着注册用户规模 \(N\) 呈 \(O(N)\) 线性爆炸;更关键的是,每当新用户进入系统时,必须针对其历史记录执行额外的拟合微调阶段(fit stage),这使得在线高并发与冷启动服务变得不可承受。
解决上述瓶颈的核心挑战在于:如何在固定且轻量的参数量预算下,统一表征具有高度主观性与发散性的用户多维偏好,并在推理时根据历史行为动态自适应激活。本文的切入视角是摒弃“为每个用户分配孤立参数”的传统思路,将复杂多元的用户偏好抽象为可复用的共享隐式基底。核心 idea:将用户偏好解构为多维共享隐式偏好面(latent preference facets)的加权组合,通过稀疏自编码器提取行为历史的持久偏好表征并执行 top-\(k\) 稀疏路由,配合促使面分工特化的聚类采样策略,实现存储开销恒定 \(O(1)\) 且无需二次微调即可无缝泛化至未知用户的黑盒个性化大模型对齐。
方法详解¶
整体框架¶
MoF 构建在黑盒大模型的“重排序器(Reranker)+ 适配器(Adapter)”流程之上。给定用户 \(u\) 的交互历史 \(H_u = \{(q_1^u, y_1^u), \dots, (q_T^u, y_T^u)\}\) 以及当前目标输入查询 \(q_u\),系统首先利用重排序模块从候选历史池中检索并筛选出最能表征偏好的精选上下文子集 \(H_u^*\);黑盒大模型据此生成一组多样化候选回复 \(O_u = \{o_1^u, \dots, o_B^u\}\);最后适配器模块对候选回复进行偏好一致性打分,输出综合得分最高的回复 \(\hat{y}_u\)。
在上述重排序与适配评分的核心打分结构中,MoF 均采用了相同的混合偏好面架构:输入文本对(查询与历史项,或查询与候选回复)首先经由共享的 BERT 编码器提取特征,并并行输入到 \(F\) 个轻量级共享偏好面网络(Facet Heads)中计算各自维度的偏好分值;与此同时,偏好感知路由器(Preference-Aware Router)利用稀疏自编码器(SAE)将用户长程历史嵌入转化为解耦的稀疏表征,并通过 top-\(k\) 机制计算路由权重,对偏好面进行凸组合加权输出。在训练阶段,为了打破传统检索样本聚集于单一样本模式的局限,聚类采样(CBS)策略将历史数据分簇采样,强制各偏好面感知更广泛的偏好分布并形成功能特化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入查询与交互历史<br/>Query q + History H"] --> B["聚类采样构建训练对<br/>Cluster-Based Sampling"]
B --> C["共享偏好面评分矩阵<br/>Shared Facet Heads"]
A --> D["稀疏偏好表征提取<br/>Sparse User Representation (SAE)"]
D --> E["偏好感知稀疏路由<br/>Preference-Aware Router (Top-k)"]
C --> F["自适应加权偏好输出<br/>Mixture-of-Facets Prediction"]
E --> F
F --> G["个性化上下文选择与回复决策<br/>Reranker Selection / Adapter Scoring"]
关键设计¶
1. 共享偏好面网络:消除线性参数增长并建立跨用户可复用表征基底
以往方法为每个用户维护专属分类头导致参数规模与用户量严格绑定。MoF 彻底废除专属头,预设一组数量为 \(F\) 的共享偏好面网络 \(\{\psi_f\}_{f=1}^F\)。每个偏好面采用极轻量的两层多层感知机(MLP)实现,避免引入复杂结构干扰机理分析。给定重排序输入 \(x^R=(q_u, h_{u,m}')\) 或适配器输入 \(x^A=(q_u, o_b^u)\),共享编码器提取文本的 \([CLS]\) 特征向量 \(z_x = \delta(x)_{[CLS]} \in \mathbb{R}^d\),各个偏好面据此并行映射出隐式偏好分值: $$ \psi_f(z_x) = W_f^{(2)} \tanh\left(W_f^{(1)} z_x + b_f^{(1)}\right) + b_f^{(2)} $$ 其中权重矩阵 \(W_f^{(1)} \in \mathbb{R}^{d \times d}\) 与 \(W_f^{(2)} \in \mathbb{R}^{o \times d}\) 在全局所有用户间完全共享。所有 \(F\) 个偏好面的输出拼接为面打分矩阵 \(\Psi(x) = [\psi_1(z_x), \dots, \psi_F(z_x)] \in \mathbb{R}^{F \times o}\)。通过固定面数量 \(F\),系统的可学习参数复杂度被严格锁定在 \(O(1)\),新注册用户无需增加任何专属参数。
2. 稀疏偏好表征提取:基于稀疏自编码器解离长程历史中的偏好信号与语义噪声
路由器的核心任务是从历史行为中解析出稳定的用户个性偏好,但历史文本的稠密向量往往混杂了与个性无关的常规语法和通用主题语义。MoF 首先利用冻结的共享文本编码器获取各历史项嵌入 \(e_t^u = \delta(h_t^u)_{[CLS]}\),经由序列 Transformer 编码及均值池化得到稠密用户向量 \(e_u' = \text{Mean}(\text{Encoder}(E_u))\)。为过滤冗余并提升特征可解释性,模型引入扩维倍率为 \(\tau\) 的稀疏自编码器(SAE)将 \(e_u'\) 映射至高维稀疏特征空间: $$ e_{\text{enc}}^u = \text{ReLU}\left(W_{\text{enc}} e_u' + b_{\text{enc}}\right), \quad e_{\text{dec}}^u = W_{\text{dec}} e_{\text{enc}}^u + b_{\text{dec}} $$ SAE 模块通过联合重构误差与 \(L_1\) 稀疏惩罚进行约束:\(\mathcal{L}_{\text{SAE}} = \|e_{\text{dec}}^u - e_u'\|_2^2 + \lambda_1 \|e_{\text{enc}}^u\|_1\)。在输入路由器时故意剥离当前查询 \(q_u\) 的表征,迫使稀疏表征 \(e_{\text{enc}}^u\) 专注于用户跨时序长期沉淀的本质兴趣模式,使稀疏激活的各维度能够精准对应到不同类型的偏好特征。
3. 偏好感知稀疏路由:动态凸组合与冷启动零样本即插即用泛化
为了根据提取的用户个性自适应组合共享偏好面,路由器基于线性映射预测各偏好面的亲和度打分 \(g_u = W_r e_{\text{enc}}^u + b_r \in \mathbb{R}^F\)。随后采用 top-\(k\) 稀疏门控策略挑选激活权重最高的 \(K\) 个面(索引集记为 \(K_u\)),并通过 Softmax 归一化计算混合权重 \(\alpha_{u,k}\): $$ \alpha_{u,k} = \frac{\exp(\tilde{g}{u,k})}{\sum}^K \exp(\tilde{g{u,j})}, \quad \text{MoF}(x, H_u) = \sum(x) $$ 由于路由权重直接通过前向计算由历史行为推导得出,对于未参与训练的新用户,无需更新任何模型参数,仅需前向传递提取历史特征即可立刻完成精准偏好定位。稀疏路由机制既抑制了非相关偏好面的噪声干扰,又保证了推理时的快速响应。}^K \alpha_{u,k} \psi_{K_{u,k}
4. 聚类采样数据构建:通过结构化多样性暴露打破单一偏好聚焦并促成偏好面分工特化
传统训练样本构建通常依托单一全局检索(如 BM25),这使得抽取出的历史样本高度局限于特定高频词或局部主题,无法展现用户多面向的真实偏好结构,容易导致多个偏好面退化同质。为了驱动 \(F\) 个偏好面各自负责不同维度的偏好模式,MoF 在构建重排序和适配器训练集时引入聚类采样(Cluster-Based Sampling, CBS)。该机制首先在用户历史嵌入集合 \(E_u\) 上运行 \(k\)-means 聚类算法将其划分为若干簇,在为当前查询选取历史训练样本时,脱离全局池,分别独立从每个簇中检索抽样。这种显式的多样性扰动迫使模型在反向传播中使不同的偏好面网络分担不同簇群的误差信号,从而在特征空间中建立起清晰的偏好面特化边界。
损失函数 / 训练策略¶
MoF 在重排序与适配器两个阶段均采用两阶段递进方案(全局训练与针对新用户的可选拟合)。在主训练阶段,采用端到端联合训练策略,总损失函数由二元交叉熵分类目标与稀疏自编码器重构正则项复合而成: $$ \mathcal{L} = \mathcal{L}{\text{MoF}} + \lambda \mathcal{L} $$ 其中分类概率由 Logit 经过 Sigmoid 激活得到:}\(p_i^u = \sigma(\text{MoF}(x_i^u, H_u))\),二元标签 \(r_i^u\) 在重排序阶段代表历史项是否引导生成标准回复,在适配阶段代表大模型候选是否与真实偏好完全一致(分类任务)或评估打分高于均值(生成任务)。优化器选用 AdamW,学习率设为 \(5.0 \times 10^{-5}\),权重衰减 0.01,损失权重参数设为 \(\lambda = 0.5, \lambda_1 = 8.6 \times 10^{-4}\),SAE 扩维比 \(\tau = 2\)。系统设置偏好面总数 \(F=7\),top-\(k\) 路由选取 \(K=3\)。
实验关键数据¶
主实验¶
实验基于标准 LaMP 个性化基准数据集展开,包含两项分类任务(LaMP-2 电影标签预测、LaMP-3 商品评分预测)及两项生成任务(LaMP-4 新闻标题生成、LaMP-5 学术论文标题生成),基座语言模型使用 gpt-3.5-turbo-1106,重排序与适配器底模采用 110M 参数量的 bge-base-en-v1.5。
下表摘录主要对比基线与本文方法的性能评估结果(取 3 次随机用户集划分的平均值):
| 方法 | LaMP-2 Acc ↑ | LaMP-2 F1 ↑ | LaMP-3 MAE ↓ | LaMP-3 RMSE ↓ | LaMP-4 R-1 ↑ | LaMP-4 R-L ↑ | LaMP-4 BLEU ↑ | LaMP-5 R-1 ↑ | LaMP-5 R-L ↑ | LaMP-5 BLEU ↑ | 全局平均排名 ↓ |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Zero-Shot | 0.420 | 0.257 | 0.500 | 0.777 | 0.147 | 0.129 | 0.891 | 0.446 | 0.375 | 5.822 | 13.5 |
| ICL (\(k=4\)) | 0.513 | 0.403 | 0.433 | 0.762 | 0.161 | 0.140 | 1.240 | 0.447 | 0.384 | 5.511 | 10.0 |
| RAG (\(k=4\)) | 0.547 | 0.409 | 0.440 | 0.765 | 0.176 | 0.148 | 1.456 | 0.457 | 0.395 | 5.888 | 6.9 |
| PAG (\(k=1\)) | 0.473 | 0.337 | 0.400 | 0.739 | 0.181 | 0.157 | 1.040 | 0.454 | 0.371 | 6.063 | 8.0 |
| CFRAG (\(k=4\)) | 0.593 | 0.447 | 0.440 | 0.780 | 0.176 | 0.151 | 0.966 | 0.456 | 0.392 | 5.748 | 7.4 |
| HYDRA (强基线) | 0.593 | 0.417 | 0.393 | 0.761 | 0.183 | 0.163 | 1.849 | 0.459 | 0.396 | 6.652 | 3.5 |
| MoF-Reranker | 0.600 | 0.451 | 0.407 | 0.724 | 0.177 | 0.154 | 1.502 | 0.456 | 0.390 | 7.421 | 4.2 |
| MoF-Adapter | 0.467 | 0.308 | 0.327 | 0.682 | 0.161 | 0.142 | 1.275 | 0.477 | 0.400 | 6.515 | 6.5 |
| MoF (完整模型) | 0.627 | 0.438 | 0.300 | 0.605 | 0.199 | 0.176 | 1.662 | 0.481 | 0.413 | 6.967 | 1.4 |
在跨模型验证中(以 gpt-4o-mini-2024-07-18 为底层黑盒 API),MoF 依然保持了领先优势,在 LaMP-2 上的 F1 达到 0.504(HYDRA 仅为 0.448),LaMP-4 的 R-1 达到 0.180(HYDRA 0.168),全局平均排名稳定在第一(Avg Rank 3.6)。
消融实验¶
为了严格检验 MoF 各模块的实际效能贡献,论文在三项代表性任务上进行针对性消融:
| 配置 / 变体 | LaMP-2 Acc ↑ | LaMP-3 MAE ↓ | LaMP-4 R-1 ↑ | LaMP-4 R-L ↑ | 结构影响说明 |
|---|---|---|---|---|---|
| MoF 完整模型 | 0.627 | 0.300 | 0.199 | 0.176 | 完整结合面架构、SAE、动态路由与 CBS 采样 |
| w/o CBS | 0.587 | 0.380 | 0.183 | 0.168 | 去除聚类采样,降幅最为显著,证实样本多样性是面特化的前提 |
| w/o Router | 0.600 | 0.360 | 0.184 | 0.161 | 去除动态路由(采用均等分配),丧失用户自适应组合能力 |
| w/o Multi-Facet | 0.607 | 0.353 | 0.183 | 0.160 | 将 \(F\) 个偏好面退化为单个评分头,难以刻画复合多维偏好 |
| w/o SAE | 0.607 | 0.333 | 0.188 | 0.165 | 移除稀疏自编码器,稠密向量中的语义杂质干扰了路由精准度 |
在未知冷启动用户泛化测试中(50 名测试用户): - HYDRA 因依赖专属参数,在无微调适配阶段(Fit ✗)时完全无法运行(性能为 —);在执行适配(Fit ✓)后在 LaMP-2/3/4 上分别取得 Acc 0.593、MAE 0.393、R-1 0.183。 - MoF 在完全不执行微调适配(Fit ✗)时,各指标分别达到 Acc 0.620、MAE 0.333、R-1 0.200,全面超越了经过二次拟合微调的 HYDRA。 - 在扩展到 1,000 名全新冷启动用户的超大规模测试中,免拟合的 MoF 仍取得 Acc 0.577、MAE 0.354、R-1 0.175,大幅碾压 RAG 基线(\(k=4\) 时 Acc 0.508、MAE 0.449、R-1 0.164)。
关键发现¶
- 聚类采样(CBS)是促成偏好面特化的核心基石:消融中移除 CBS 导致全模型性能暴跌(LaMP-2 Acc 由 0.627 跌至 0.587,LaMP-3 MAE 恶化至 0.380)。受控对比证明,单独给 HYDRA 引入 CBS 甚至会导致指标轻微下滑(Acc 0.593 降至 0.560),说明 CBS 并非通用的数据增强技巧,而是专门与 MoF 共享隐式面架构协同生效的特定设计。
- 存储开销恒定且实现零成本冷启动落地:HYDRA 为每个用户绑定评分头,人均存储占用增量约 2.26 MB,随用户规模线性增长。MoF 的参数复杂度为 \(O(1)\),总大小固定为单套共享模型,免除持久化数据库维护百万级参数文件的沉重负担。
- 偏好面数量与路由稀疏度存在黄金平衡点:敏感度分析表明,当总偏好面数 \(F\) 设定在 6–8 之间、top-\(k\) 选取 \(K=2 \sim 3\) 时模型表现最佳;盲目扩增偏好面数或扩大激活数量会引入冗余噪点,破坏表征的精炼度。
亮点与洞察¶
- 解构专属参数迷信:打破了“个性化必须依赖独立个性化参数(专属 LoRA / 专属 Head)”的固有定势,论证了用户间虽具个性,但基础偏好基底具有广泛共享性,个性化本质是多维共享因子的非线性凸组合。
- SAE 对行为表征的噪声剥离:巧妙利用稀疏自编码器作为用户历史向量的高维投影过滤器,成功在不使用查询指导的前提下提炼出反映长期稳定性格的解耦表征。
- 可复用的聚类采样范式:对于任何包含 Mixture-of-Experts (MoE) 架构的偏好建模系统,基于特征空间聚类的结构化采样策略均可作为防止专家崩溃(Expert Collapse)与促成功能特化的通用即插即用技术。
局限与展望¶
- 基准测试评估任务范围局限:受重排序与适配器结构的输入制约,当前验证仅覆盖了短程与表格化输入(LaMP-2 至 LaMP-5),尚未直接拓展至包含极长上下文与自由多轮对话的 LongLaMP 评测。
- 固定偏好面容量的潜在天花板:固定 \(F=7\) 个共享面在用户基数扩展到百万级时,可能面临偏好表达维度的表征瓶颈;未来应探索动态拓展隐式面容量或层级式自适应路由架构。
- 训练端用户多样性仍需扩大验证:尽管在推理端成功测试了 1,000 名冷启动用户,但训练集目前仅涵盖 100 名用户样本,未来需进一步研究在超大规模异质人群训练环境下的收敛与特化规律。
相关工作与启发¶
- vs HYDRA (Zhuang et al., NeurIPS 2024):HYDRA 开创了黑盒重排序与适配打分管线,但依赖为每个用户训练专属独立评分头,参数线性扩展且新用户必须经过二次拟合阶段;MoF 采用共享多面与稀疏自编码路由彻底替换了专属头,实现参数 \(O(1)\) 恒定且无需拟合即可超越 HYDRA 拟合后的性能。
- vs 白盒 MoE / PEFT 组合 (PROPER / PER-PCS):PROPER 与 PER-PCS 通过在模型内部拼接 LoRA 碎片实现白盒个性化微调,但必须获取模型内部权重梯度;MoF 完全面向黑盒 API 场景,仅在输入检索端与输出重排序端进行外置轻量插拔。
- vs 纯检索与 Prompt 增强 (LaMP / PAG / CFRAG):纯 Prompt 方案受限于黑盒模型上下文窗口长度且极易受无关检索项干扰,性能在不同任务上起伏剧烈;MoF 的重排序加评分双重过滤机制显著提升了个性化响应的稳定性与对齐度。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次将 MoE 混合建模与稀疏自编码器引入黑盒大模型个性化,以共享隐式面取代独立参数头构思精巧。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 LaMP 四大核心任务、双黑盒模型验证、1000 人冷启动规模测试、详尽消融与主题聚类可视化。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑闭环严密,方法推导清晰,理论复杂度分析与实证分析相互佐证。
- 价值: ⭐⭐⭐⭐⭐ 解决了商业大语言模型 API 个性化服务中参数线性膨胀与冷启动无力适应的致命落地难题。