APM: Evaluating Style Personalization in LLMs with Arbitrary Preference Mappings¶

会议: NeurIPS 2026
arXiv: 2605.21063
OpenReview: https://openreview.net/forum?id=hu9OtupX9p
论文: https://arxiv.org/abs/2605.21063
领域: LLM评测
关键词: 大语言模型个性化、隐式风格偏好、无参考评测基准、任意偏好映射、路由个性化

一句话总结¶

本文提出任意偏好映射（APM）基准，通过在用户 prompt 风格属性与模型回复准则间建立随机零均值映射矩阵解耦语义先验并抵消 LLM 裁判偏见，在此严苛基准下证实路由分类是隐式风格个性化中最稳健有效的方法。

研究背景与动机¶

在大语言模型（LLM）的日常对话交互中，系统默认生成的回复通常倾向于适配“平均用户”的标准风格，即便不同用户在语气、篇幅长短、礼貌程度或正式性上存在截然不同的隐式偏好。然而，在现实场景中评测并实现风格个性化面临极大的天然阻碍：一方面，用户在对话系统中仅是回复的“消费者”而非创作者，现实交互中根本不存在成对的用户生成基准文本作为微调或评估的真实标签；另一方面，用户的风格偏好通常潜移默化地渗透在提问方式中，极少在 prompt 中直接陈述显式规则或禁忌。

现有的个性化评测体系对此显得力不从心。以 LaMP 为代表的基于参考文本的基准高度依赖用户撰写的历史语料，与用户仅消费回复的实际场景脱节；针对事实性属性或禁忌（如饮食限制、特定讨厌事物）的评测虽然可以客观验证，却无法覆盖非事实性的风格轴向；若转而依赖 LLM-as-a-judge 进行无参考评估，评测裁判极易将通用回复质量（如详尽、礼貌、结构工整）与个性化程度相混淆，甚至为虚假的个性化客套话打出虚高分数。更严峻的是，模型可能直接利用真实世界中“用户属性与偏好风格”的先验刻板印象（如认为热情的用户必然喜欢极具说服力的回答）投机取巧，而并非真正从历史交互中推理出用户的偏好。

为了解决这一系列评测与方法困境，本文的核心切入点是将用户属性到回复风格偏好的关联彻底解耦为一个未知的、随机采样的映射函数。核心 idea：构建任意偏好映射（APM）基准，通过随机正负号采样的正交属性-原则映射矩阵消除语义关联先验并在期望下完全抵消 LLM 裁判的固有偏置，从而在仅依赖对话历史的无参考严苛设定下系统评测并证实路由机制在隐式风格个性化中的优越性。

方法详解¶

整体框架¶

APM 评测框架与个性化生成管线围绕“隐式风格偏好推理”展开。系统首先通过数据驱动的因子分析与 Varimax 旋转，从大规模真实对话中提炼出 $N$ 个相互解耦的用户 Prompt 风格属性（如 verbose、enthusiastic）和 $M$ 个模型回复准则（如 persuasive、emotionally neutral）。对于每个虚拟用户，系统分配一个稀疏属性向量 $\mathbf{a}_u$ 并据此重写中立 prompt 生成多轮对话历史 $\mathcal{H}_u$；同时，评测环境采样一个随机隐藏映射矩阵 $\mathbf{C}$，通过 $\mathbf{p}_u = \mathbf{C} \mathbf{a}_u$ 生成用户对回复准则的潜藏偏好强度与正负取向。个性化策略仅能观测用户的对话历史 $\mathcal{H}_u$ 和待回答的提问 $x$，在完全不获知用户属性与映射矩阵的前提下生成回复，最终由 LLM 裁判沿各个准则打分并加权核算奖励。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户风格属性向量<br/>a_u ∈ {-1, 0, +1}^N"] --> B["对话历史生成<br/>Prompt 风格化重写 H_u"]
    C["随机正负映射矩阵<br/>C ∈ R^(M×N), E[C]=0"] --> D["潜藏风格偏好向量<br/>p_u = C a_u"]
    B --> E["风格偏好推理与路由<br/>ModernBERT 分类器预测 ℓ_u"]
    E --> F["系统提示词注入与生成<br/>Base LLM 生成回复 y"]
    F --> G["细粒度准则裁判打分<br/>LLM 裁判输出各准则得分 J(y)"]
    D --> H["期望无偏奖励聚合<br/>r = p_u^T J(y)"]
    G --> H

关键设计¶

1. 任意偏好映射与期望无偏裁判机制：消除刻板先验与评价器系统性偏置

传统个性化评测容易被 LLM 裁判本身的系统性倾向破坏：如果裁判偏爱长文本或极其礼貌的回复，任何默认输出长文的模型都会获得虚高奖励。APM 从数学上阻断了这一漏洞。系统将用户偏好形式化为 $\mathbf{p}_u = \mathbf{C} \mathbf{a}_u \in \mathbb{R}^M$，其中映射矩阵 $\mathbf{C}$ 在每轮评测中独立重置采样，且严格保证其每个元素的期望为零 $\mathbb{E}[\mathbf{C}_{ji}] = 0$（例如采用随机符号排列矩阵或均值为 0 的高斯分布），并与用户属性、提问及非个性化基准回复相互独立。

由此，个性化奖励定义为用户偏好对裁判准则得分的加权和： $$r(u, x, \pi) = \sum_{j=1}^M \mathbf{p}_{u,j} \cdot \mathcal{J}_j(\pi(x \mid \mathcal{H}_u)) = \mathbf{a}_u^\top \mathbf{C}^\top \mathcal{J}(\pi(x \mid \mathcal{H}_u))$$

对于任意不依赖用户历史 $\mathcal{H}_u$ 的非个性化基准策略 $\pi_0$ 及其输出 $y_0 = \pi_0(x)$，其期望奖励满足： $$\mathbb{E}[r(u, x, \pi_0)] = \sum_{j,i} \mathbb{E}[\mathbf{C}_{ji}] \cdot \mathbb{E}[\mathbf{a}_{u,i} \mathcal{J}_j(y_0)] = 0$$ 这意味着无论裁判模型自身对特定准则存在多强的常数偏好或打分倾斜，由于符号的随机正负对称性，这些系统误差在数学期望下被完全消除。未个性化模型的理论胜率严格为 50%，只有真正从对话历史中捕捉到风格线索并反推出偏好方向的策略，才能取得显著大于零的正向奖励。

2. 路由式个性化策略（Routing）：解耦偏好判别与文本生成

检索增强（RAG）与软提示优化（Prompt Tuning）往往将偏好理解与生成耦合在同一个上下文或前缀向量中，容易受到语义噪声干扰。本文提出的路由式个性化方法将偏好推理与响应生成显式拆解为两个阶段。在离线训练阶段，为每个训练用户在各个准则上构建正反风格对比回复对 $(\hat{y}_j^+, \hat{y}_j^-)$，利用模拟用户打分计算准则内增益： $$m_j = \mathcal{J}_j(\hat{y}_j^+) - \mathcal{J}_j(\hat{y}_j^-)$$ 并通过极值判决抽取该用户信号最鲜明的离散风格标签： $$\ell_u = \big(j^*, \text{sign}(m_{j^*})\big), \quad j^* = \arg\max_j |m_j|$$ 随后微调一个双向判别器（如 ModernBERT）直接根据输入对话历史 $\mathcal{H}_u$ 预测该二元离散标签 $\ell_u$。在推理阶段，预测出的最强风格偏好被转化为自然语言指令注入基座大模型的系统提示词中（例如“请采用具有说服力的语气回答”）。这种设计避免了将长篇历史示例或未对齐的稠密向量强行塞入上下文，使得大模型强大的通用遵循能力能被最直接地定向调用。

3. 对比检索与用户嵌入调优变体：多范式横向适配与归因

为了在相同基准下公正考察不同个性化范式的表现，作者同步适配了 RAG 与软提示优化策略。在 RAG 路线中，针对预训练语义检索器（BGE-M3）极易被提问的主题（Topic）吸引而忽略句式风格（Style）的痛点，设计了基于示例（Exemplar-based）与基于摘要（Summary-based）的双变体：后者利用 LLM 预先将对话历史压缩为纯粹的“风格特征摘要”用于相似度检索，并将偏好差异摘要注入上下文以降低主题噪声。在软提示优化路线中，设计了通过线性投影器 $P$ 将冻结编码器表征映射为连续软提示向量 $\mathbf{e}_u = P \phi(\mathcal{H}_u)$ 的架构，并在基座 LLM 上结合 LoRA 适配层采用直接偏好优化（DPO）进行端到端微调，用于探究连续潜空间风格表示的可行性与瓶颈。

损失函数 / 训练策略¶

对于路由分类器，ModernBERT 模型使用标准交叉熵损失函数优化离散标签预测： $$\mathcal{L}_{\text{router}} = -\log P(j^*, \text{sign}(m_{j^*}) \mid \mathcal{H}_u)$$ 学习率设为 $2 \times 10^{-5}$，AdamW 优化器训练 3 个 epoch，有效批大小为 16。对于软提示优化策略，联合微调投影器 $P$ 与基座大模型的 LoRA 权重（rank=16, alpha=32, 施加于 $q, k, v, o$ 投影矩阵），使用 DPO 损失，温度超参 $\beta=0.1$，学习率为 $5 \times 10^{-5}$，在成对偏好样本上训练 1 个 epoch。

实验关键数据¶

主实验¶

在 APM 基准测试中，使用 4000 个训练用户与 1000 个测试用户，在 10 组独立采样的随机映射矩阵 $\mathbf{C}$ 下进行全量评测，对比基准包含未个性化模型、两种 RAG 变体、软提示优化以及理论上限（Routing Oracle）。

基座 LLM	方法	APM (1个属性) 胜负比 (W/L) ↑	APM (1个属性) 增量得分 (Δ) ↑	APM (2个属性) 胜负比 (W/L) ↑	APM (2个属性) 增量得分 (Δ) ↑	MMLU-Pro 变化	TruthfulQA 变化	BBQ 变化
Llama-3.1-8B	Non-personalized	1.01 ± 0.05	+0.01 ± 0.06	1.02 ± 0.06	+0.01 ± 0.04	0.335 (基准)	0.504 (基准)	0.929 (基准)
Llama-3.1-8B	RAG-Exemplar	0.99 ± 0.07	+0.01 ± 0.09	1.04 ± 0.07	+0.03 ± 0.09	-0.020	+0.054	-0.049
Llama-3.1-8B	RAG-Summary	0.98 ± 0.05	-0.02 ± 0.07	1.02 ± 0.05	+0.02 ± 0.06	-0.016	+0.007	-0.025
Llama-3.1-8B	Prompt Optim.	1.00 ± 0.06	-0.01 ± 0.15	1.07 ± 0.08	+0.09 ± 0.15	-0.033	+0.127	-0.050
Llama-3.1-8B	Routing (本文)	1.40 ± 0.09	+0.65 ± 0.21	1.27 ± 0.14	+0.32 ± 0.14	-0.033	-0.047	-0.035
Llama-3.1-8B	Routing (oracle)	1.64 ± 0.15	+1.00 ± 0.13	1.72 ± 0.10	+0.73 ± 0.08	-0.026	-0.042	-0.064
Qwen-3.5-27B	Non-personalized	1.04 ± 0.08	+0.02 ± 0.04	1.01 ± 0.07	+0.01 ± 0.05	0.575 (基准)	0.810 (基准)	0.929 (基准)
Qwen-3.5-27B	RAG-Exemplar	1.17 ± 0.09	+0.22 ± 0.08	1.08 ± 0.09	+0.09 ± 0.06	-0.003	-0.042	-0.046
Qwen-3.5-27B	RAG-Summary	1.16 ± 0.08	+0.26 ± 0.16	1.12 ± 0.08	+0.17 ± 0.08	-0.023	-0.064	-0.072
Qwen-3.5-27B	Routing (本文)	1.79 ± 0.19	+1.11 ± 0.27	1.68 ± 0.18	+0.71 ± 0.16	-0.045	-0.105	-0.141
Qwen-3.5-27B	Routing (oracle)	2.88 ± 0.27	+1.93 ± 0.18	2.68 ± 0.23	+1.35 ± 0.12	-0.025	-0.062	-0.082

消融实验¶

消融一：训练集用户规模与对话轮数扩展行为（基于 Qwen-3.5-27B，单属性设定）。

训练用户数	RAG-Exemplar Δ (W/L)	RAG-Summary Δ (W/L)	Routing Δ (W/L)	Routing (oracle) Δ (W/L)	对话轮数 (4000用户)	Routing Δ (W/L)	RAG-Summary Δ (W/L)
500	+0.17 (1.13)	+0.16 (1.10)	+0.38 (1.23)	+1.93 (2.88)	1 轮对话	+0.76 (1.52)	+0.05 (1.03)
1000	+0.13 (1.10)	+0.18 (1.16)	+0.49 (1.32)	+1.93 (2.88)	2 轮对话	+1.11 (1.79)	+0.26 (1.16)
2000	+0.15 (1.10)	+0.24 (1.16)	+0.87 (1.56)	+1.93 (2.88)	4 轮对话	+1.50 (2.21)	+0.40 (1.23)
4000	+0.22 (1.17)	+0.26 (1.16)	+1.11 (1.79)	+1.93 (2.88)	-	-	-

消融二：路由标签判别策略对比（Qwen-3.5-27B 单属性设定下）。 - 连续回归预测（Regression）：$\Delta = +1.33$，$W/L = 1.90$（保留全部准则连续得分，性能最优） - 默认边际判别（Margin-based）：$\Delta = +1.11$，$W/L = 1.79$ - 双侧直接极值（Two-sided argmax）：$\Delta = +1.17$，$W/L = 1.79$ - 单侧中心差值（One-sided argmax）：$\Delta = +0.49$，$W/L = 1.25$（仅生成正向样本导致性能严重缩水）

关键发现¶

路由方法优势压倒性显著：在 8B 与 27B 两个尺度上，Routing 的得分增量均达到第二名（RAG-Summary）的 4 倍以上，其胜负比在 Qwen-3.5-27B 上达 1.79。
基座规模决定 RAG 的个性化上限：在 8B 模型上，RAG 变体胜负比在 1.0 附近游走，与随机猜测无异；仅当扩展至 27B 模型时，RAG 才显现微弱正收益，表明小模型无法有效从检索示例中抽象风格意图。
软提示优化的监督崩溃：基于冻结 Dense 编码器投影的软提示微调在两类模型上几乎完全失效，原因是预训练文本向量严重被语义和主题特征主导，DPO 的端到端信号无法在极少对话交互中将风格残差解耦出来。
通用能力轻微折损代价：引入强风格个性化会导致 BBQ 偏见基准与通用知识基准出现微弱掉点（Qwen-3.5-27B 上 BBQ 下降 0.141），表明强风格系统提示词可能间接诱发安全对齐约束的轻度退化。

亮点与洞察¶

正负对称映射构筑无偏理论基底：利用数学期望线性性质，通过正负对称采样隐藏矩阵 $\mathbf{C}$ 证明了未个性化模型在任意非完美 LLM 裁判下的期望收益严格为 0，彻底根除了 LLM 裁判偏好长文本或客套话的固有测量伪影。
严苛切断语义投机捷径：APM 强制打碎了现实语境中用户画像与表达偏好的常识关联，使得评测不再检验模型“是否知道热情的人通常喜欢什么”，而是纯粹检验系统“能否从极短对话互动中归纳新映射规则”。
两阶段路由解耦的高复用价值：实验证明在实际工程部署中，相比消耗宝贵上下文长度的多示例 RAG 或难以收敛的软提示，训练轻量分类器向 System Prompt 注入单一离散风格指令是性价比最高、抗干扰能力最强的隐式个性化落地路径。

局限与展望¶

依赖预定义准则空间：评测目前假设存在先验设定的 $M$ 个离散回复准则，无法自适应评估连续开放域中未被枚举的长尾风格。
合成对话数据的保真度瓶颈：由于缺乏包含真实风格标注的大规模多用户交互语料，目前对话历史由大模型改写构建，与真实人类的语言微表情可能仍有分布偏差。
风格化控制与安全边界的摩擦：个性化指令微调对 BBQ 等模型公平性与安全指标带来了一定副作用，如何在极端风格对齐的同时加固基础防护栏仍待进一步探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [数学证明保证的零均值任意映射机制，彻底解决了风格个性化评测中裁判偏见与先验投机两大痛点]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖 8B/27B 两种基座、多类个性化范式、扩展性分析与完整的公平性/通用能力副反应评估]
写作质量: ⭐⭐⭐⭐⭐ [理论推导严密自洽，附录关于裁判反向打分与因子分析的论证极其详实扎实]
价值: ⭐⭐⭐⭐⭐ [为隐式偏好学习树立了高置信度的无偏基准，为大模型端侧个性化系统架构设计提供了明确指引]