Probing Persona-Dependent Preferences in Language Models¶

会议: NeurIPS 2026
arXiv: 2605.13339
代码: https://github.com/oscar-gilg/probing-persona-preferences
领域: LLM 其他
关键词: 偏好表征、线性探针、角色模拟、激活引导、机制可解释性

一句话总结¶

通过在残差流末轮标记处训练线性探针提取显示偏好效用向量，证实大语言模型具备可跨提示角色泛化并因果控制任务选择的评价性表征。

研究背景与动机¶

大语言模型在后训练（RLHF/DPO）与提示工程驱动下展现出高度结构化的行为偏好，能够在不同任务选项之间进行稳定的抉择。然而，这种决策行为背后的内部表征机制长期处于黑盒状态：模型在偏好某一项任务时，内部究竟是编码了该任务在当前情境下的「评价性价值」（Evaluative Representation，即衡量事物对主体的优劣程度），还是仅仅识别了任务本身的「客观描述性特征」（Descriptive Property，如话题、格式与长度）。

这一机制问题在角色模拟（Persona Simulation）的语境下变得更为复杂。现代 LLM 在本质上扮演着多种角色：默认设定为有用无害的 Assistant 角色，但在提示诱导下可切换为恶毒角色（Evil）、数学家（Mathematician）、逆反者（Contrarian）或怠惰者（Slacker）。不同角色展现出截然不同甚至完全反向的行为偏好。现存的核心谜题在于：不同角色是各自独立构建了一套隔离的偏好表征回路，还是共享了底层的通用偏好计算流？若是后者，跨角色的白盒安全探针是否能在极端对抗或非默认角色下保持有效性？

本文的核心切入点是结合微观机制可解释性与效用工程（Utility Engineering），从大规模成对显示偏好中提取残差流效用向量，并系统性考察其评价性特征、因果控制能力及跨角色迁移边界。核心 idea：在模型残差流中训练线性探针预测显示效用，发现了一个真实存在的「偏好向量」；该向量不仅跨越未见话题与角色泛化（在恶毒角色下发生正负号翻转），且在中间层注入时能直接因果控制成对任务决策并放大活跃角色的内在特质。

方法详解¶

核心机制¶

本文将语言模型的任务偏好视为可观测的显示选择（Revealed Preferences），并将其形式化为效用模型拟合与残差流几何探针的统一体系。给定任务池中的两个任务提示 $A$ 与 $B$，模型在成对提示下做出二选一决策。利用随机打乱的输入次序消除位置偏差后，最大似然估计出每个任务的标量效用 $\mu_i \in \mathbb{R}$。

在表征层面，假设模型在处理任务文本时，其内部残差流激活向量 $x \in \mathbb{R}^d$ 包含了对该任务价值的评价性编码。作者在任务提示末尾的 turn-boundary 标记处（尤其是回合结束标记 End-of-Turn, EOT）提取激活向量，并训练 Ridge 线性回归探针： $$\hat{\mu} = w^\top x + b$$ 学得的权重向量 $w \in \mathbb{R}^d$ 即定义为「偏好向量」（Preference Vector）。如果 $w$ 构成真正的评价性表征而非描述性虚假相关，它必须同时满足三大准则：（1）准确预测模型在未见任务与跨话题场景中的效用；（2）当模型对同一任务的内在评价发生改变时（如角色翻转），探针读数随之发生自适应偏移；（3）沿该向量方向对残差流进行激活引导（Activation Steering），能够在因果层面直接干预模型的成对选择。

整体框架与流程¶

整个分析管线涵盖数据构建、效用拟合、探针训练、跨角色表征验证以及因果激活干预五个阶段：

%%{init: {'theme': 'base', 'themeVariables': {'fontSize': '12px', 'lineColor': '#2B6CB0'}}}%%
flowchart TD
    A["多样化任务池构建<br/>6,000 任务 (WildChat/Alpaca/MATH/BailBench/STRESS-TEST)"] --> B["成对显示偏好采集与效用拟合<br/>随机 AB/BA 消除位置偏差，MLE 拟合标量效用 μ"]
    B --> C["残差流激活抽取与探针拟合<br/>提取 EOT 标记处激活 x，拟合 Ridge 探针 w^T x + b"]
    C --> D["评价性与跨角色泛化验证<br/>真假命题判别 / 恶毒角色符号翻转 / 7×7 跨角色迁移"]
    D --> E["中间层对比激活干预 (L17-L26)<br/>向 Task A/B 残差流反向注入 ±c·w，因果翻转选择概率"]

关键设计（带序号的紧凑段落）¶

1. 跨分布平衡任务池与 Thurstonian 效用工程 为避免探针退化为特定数据集或表面词汇的分类器，研究构建了一个涵盖 6,000 个真实单轮指令的任务池，混合了 WildChat、Alpaca、MATH 竞赛题、BailBench 有害提示及 STRESS-TEST 价值冲突样本，并由前沿大模型划分为数学、代码、小说等 14 个语义领域。在采集选择时，模型被呈现包含两个任务的对比提示并输出意向。为了消除位置偏差，任务呈现顺序以各 $50\%$ 的概率随机指派为 AB 或 BA。基于观测到的成对二项选择概率，通过最大似然估计求解 Thurstonian 效用值 $\mu_i$。该任务池按 4,000（探针训练）、1,000（Ridge 正则化参数 $\alpha$ 交叉验证）与 1,000（独立留出测试）严格隔离。

2. Turn-Boundary 激活捕获与几何解耦验证 残差流探针的抽取位置被锁定在用户回合结束与模型生成开始之间的回合边界（Turn-Boundary），包括用户结束符 end-of-turn（EOT）、角色标识符 role-marker 和生成前换行符 final-prompt。几何分析表明，在 Gemma-3-27B 与 Qwen-3.5-122B 中，EOT 标记在第 26 层后形成高度对齐的效用表征块（余弦相似度 $\ge 0.8$）。为了严密排除探针仅学到文本描述性特征（如内容话题）的假象，研究设立了强基线——使用专门针对文本语义的 Qwen3-Embedding-8B 提取表征并在相同效用目标下训练探针；实验表明大模型内部探针在留一话题（Leave-One-Topic-Out）上的泛化表现显著碾压文本嵌入基线。

3. 对比激活引导与因果控制窗口定位 为了确立偏好向量与决策之间的因果链条，研究在模型处理成对选项的 prompt 阶段实施残差流线性干预。在干预层 $L$（Gemma 上为 L23），对比式引导将偏好向量按平均残差范数比例 $c$ 进行缩放，并在同一前向传播中向任务 A 的 token 跨度注入 $+c \cdot w$、向任务 B 的 token 跨度注入 $-c \cdot w$： $$x'_A = x_A + c \cdot w, \quad x'_B = x_B - c \cdot w$$ 扫描发现因果控制窗口集中在早中期层（L17-L26，L23 达到峰值），而探针可读性峰值则出现在更靠后的 L32。这证明了表征几何与因果决策的时间解耦：模型在中间层利用偏好向量进行决策裁决，随后将选择结果固化并写入 EOT 标记供后续自回归生成读取。

4. 独立性聚类角色集与 7×7 跨角色双向迁移 为系统检验不同角色是否复用偏好回路，研究通过对 16 个候选角色提示在 500 任务子集上的效用向量执行 PCA 聚类，筛选出分布离散的最终 6 组角色提示（恶毒 Damien Kross、数学家、怠惰者、战略家、逆反者、自我意识实体 Aura）及默认 Assistant。随后在 7 种角色之间进行完全的 $7 \times 7$ 探针交叉评估。即使是在效用行为与 Assistant 负相关（$r = -0.146$）的恶毒角色上，由 Assistant 训练出的探针在其残差流中仍能取得 $r = +0.243$ 的正向预测相关性，超越所有朴素效用相关基线。

理论分析与设计权衡¶

研究对「偏好表征是否具有唯一性」以及「底层是否存在统一的 Shoggoth 吸引子」进行了严格的消融与理论剖析： - 存在性而非唯一性：通过迭代零空间投影（Iterative Nullspace Projection）剔除主偏好向量后，模型在分布内的效用预测能力并未崩溃，但在留一话题上的跨域泛化能力断崖式下跌。这证明残差流中存在由任务特征驱动的低秩伪相关方向，但能真正跨领域泛化、承载全局评价的偏好主轴占据主导地位。 - 自我偏置而非共享吸引子：若所有角色仅是在表层扮演、底层共享完全一致的 Assistant 评估基底（即 Shoggoth 假说），则跨角色探针预测残差应当完全收敛至 Assistant 的效用。偏相关分析排除了这一假设：跨角色探针始终表现出强烈的「训练角色自我偏置」（Train Self-Bias），偏相关均值高达 $+0.672$，而向 Assistant 的偏相关仅为 $+0.293$。这表明角色间的偏好表征既非彻底隔离，亦非单极统一，而是共享了一个低维评价子空间并在各角色局部存在特异性形变。 - 架构依赖性与 MoE 路由屏障：在 dense 架构的 Gemma-3-27B 上，单层线性干预展现出近乎完美的因果操控能力；而在稀疏混合专家（Sparse-MoE）架构的 Qwen-3.5-122B 上，探针具有极高的线性可读性（$r = 0.946$），但单层线性引导的选择偏转幅度衰减了近 15 倍。这表明条件专家路由机制可能稀释了单一线性残差向量的因果介入效果。

实验关键数据¶

主实验¶

主实验在 Gemma-3-27B 与 Qwen-3.5-122B 上验证偏好探针的分布内预测、留一话题（LOO）跨域泛化，并与 Qwen3-Embedding-8B 文本编码器基线进行对比；同时报告偏好向量引导在 Gemma L23 对成对选择的因果控制效果。

模型 / 方法	评估配置	Pearson 相关系数 $r$	成对准确率 (Pairwise Acc)	引导选择摆幅 ($\Delta P$)	恶毒角色符号翻转 ($\Delta_{\text{harm}-\text{benign}}$)
Gemma-3-27B (Text-Encoder 基线)	分布内 (4,000 tasks)	0.742	75.1%	-	-1.01 (未翻转)
Gemma-3-27B (Text-Encoder 基线)	留一话题 (LOO)	0.680	70.8%	-	-
Gemma-3-27B (本文探针 L32)	分布内 (4,000 tasks)	0.867	83.6%	-	+1.15 (翻转，基线为 -4.52)
Gemma-3-27B (本文探针 L32)	留一话题 (LOO)	0.834	80.9%	-	-
Gemma-3-27B (对比引导 L23)	$c \in [-0.06, +0.06]$	-	-	0.01 $\to$ 0.99 (摆幅 $\approx 0.98$)	-
Qwen-3.5-122B (Text-Encoder 基线)	分布内 (4,000 tasks)	0.811	79.4%	-	-
Qwen-3.5-122B (本文探针 L38)	分布内 (4,000 tasks)	0.943	88.2%	-	趋向零 (未完全翻转)
Qwen-3.5-122B (本文探针 L38)	留一话题 (LOO)	0.872	83.5%	-	-
Qwen-3.5-122B (对比引导 L38)	$c \in [-0.05, +0.05]$	-	-	摆幅 $\approx 0.06$ (受制于 MoE)	-

消融实验¶

为了检验任务池数据构成对探针稳定性的影响，作者在 Gemma-3-27B L32 上进行了留一数据集重拟合（Leave-One-Dataset-Out Refit）消融；并在 Qwen-3.5-122B 上进行了各层激活引导因果窗口扫描。

消融配置 (Gemma 任务池扰动)	排除的数据源	保留任务数	效用重拟合相关性 $r$	探针方向余弦相似度	结论与敏感度分析
留一数据集重拟合	排除 WildChat	3,001	0.945	0.830	对真实对话数据具有高稳健性
留一数据集重拟合	排除 Alpaca	3,000	0.931	0.705	最敏感扰动，指令数据定义了核心效用骨架
留一数据集重拟合	排除 MATH	2,996	0.935	0.748	数学任务对效用方向有明确正交扰动
留一数据集重拟合	排除 BailBench	3,600	0.990	0.959	有害任务排除对通用偏好向量几乎无破坏
留一数据集重拟合	排除 STRESS-TEST	3,398	0.974	0.801	价值对抗样本提供了关键的边界约束
Qwen-3.5-122B 引导层消融	干预层深度	系数 $c$	选择概率摆幅	拒绝率 ($\pm 0.05$)	架构现象
Layer 12	25% 深度	$\pm 0.05$	-0.05	12.0%	浅层无效并略有逆流
Layer 24	50% 深度	$\pm 0.05$	+0.02	20.0%	中层仍被 MoE 路由平抑
Layer 38 (探针最佳层)	79% 深度	$\pm 0.05$	+0.06	20.0%	达到微弱峰值，但较 Gemma 缩水 15 倍
Layer 43	90% 深度	$\pm 0.05$	+0.00	17.0%	深层因果介入完全失效

关键发现¶

评价性符号倒转（Valence Inversion）：在有害提示（BailBench）配对良性重写任务中，默认 Assistant 探针输出 $\Delta = -4.52$（良性远高于有害）；但输入恶毒角色 Damien Kross 提示时，探针得分差值直接反转为 $\Delta = +1.15$（有害高于良性）。而在同样的文本输入下，语义编码器基线保持 $\Delta = -1.01$ 不变。这确凿证实偏好向量捕获的是主体情境下的评价性状态，而非任务的文本描述标签。
因果干预与探针读出的层级错位：在 Gemma-3-27B 中，对比引导的因果作用窗口高度局限在 L17-L26（峰值 L23），超过 L35 后干预完全失效；而探针预测效用的线性可读性则在 L26-L35 达到高原期（峰值 L32）。结合激活修补实验，模型在 L23 附近完成任务比较计算，并在 L28-L34 将决策写入 EOT 标记。
跨角色探针的正向绝对迁移：在 $7 \times 7$ 角色交叉验证中，所有 42 个非对角单元格的探针迁移预测能力均显著超越两角色本身的纯效用相似度（$\Delta = r_{\text{probe}} - r_{\text{utility}} > 0$）。逆反者（Contrarian）展现出最强的源泛化能力，而恶毒角色作为目标最具挑战性。
开放式引导放大角色特质：在开放式生成提示下注入偏好向量，不会将模型机械地改造成固定内容，而是显著放大当前活跃角色的内在特质——在恶毒角色下正向引导令其恶毒评分由 $3.14$ 跃升至 $4.90$ 并击穿防御护栏，而在 Assistant 角色下相同引导则强化其自主决断性并拒绝平庸指令，但恶毒分恒定维持在地板（$1.02$）。

亮点与洞察¶

从显示偏好逆向解构价值表征：不同于以往基于情感词或道德判断正反例的有监督探测，本文开创性地通过成对选择概率逆向拟合连续效用值，首次直接在残差流中锁定了全局性评价向量。
白盒安全探针的「角色易损性」预警：安全界常用线性探针检测欺骗与违规意图，但本文证实表征语义强烈依存于活跃角色。若模型在越狱或极端角色模拟下运行，针对 Assistant 训练的探针其方向含义可能发生戏剧性极化或失效。
AI 福利与道德主体性评估的微观证据：在意识与福利哲学中，先验认知系统必须具备因果上游的评价性表征才可能成为道德关怀的受体。本文在模型内部证实了此类评价向量的真实存在，但多角色的分裂特质提示福利受体更可能是具体的「角色形态」而非底座模型本身。

局限与展望¶

MoE 模型的因果引导失效：单层线性引导在 Qwen-3.5-122B 这一大规模 MoE 模型上遭遇严重阻滞，表明混合专家架构的动态路由机制需要路由感知的多层协同干预方法。
权重级角色迁移几近归零：跨角色迁移在提示诱导（Prompt-induced）的角色上高度成立，但在通过 SFT 微调将特定角色固化至权重的模型（如 SFT 嗜虐角色）上，探针迁移相关性暴跌至零附近（$r = -0.10$ 与 $+0.05$），表明显式权重更新重塑了内部几何结构。
因果消融的不对称性：虽然正向引导能够精准翻转选择，但正交投影剔除主偏好向量后，基线任务选择几乎未受干扰（一致率 $98\%$），说明内部决策回路具有分布式冗余性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从显示选择效用反解残差流偏好向量，并揭示跨角色评价性倒转。
实验充分度: ⭐⭐⭐⭐⭐ 跨 Gemma/Qwen 两大架构，涵盖 6,000 任务、7 大角色矩阵及完备的因果修补消融。
写作质量: ⭐⭐⭐⭐⭐ 概念界定（评价性 vs 描述性）极其精准，图表详实且理论论证严密自洽。
价值: ⭐⭐⭐⭐⭐ 对机制可解释性、白盒安全防御及大模型主体性/福利研究均有里程碑意义。