Bouba Beats Kiki, and Other Regularities in the Subjective Preferences of LLMs¶

会议: NeurIPS 2026
arXiv: 2610.37692
论文: arXiv
领域: 其他
关键词: 主观偏好、LLM-as-a-Judge、认知偏差、心理物理学、提示词敏感性

一句话总结¶

本文针对大模型在无客观胜负的主观选择任务中的决策机理，通过构建跨数字、人名与虚构城市的29项外生特征与50种语义等价提示词的成对比较实验，揭示了大模型存在高度稳定且可复现的主观偏好（如偏好圆润发音的“Bouba”词汇、偏好大数与素数），并证明细微提示词措辞能动态激活或抑制特定偏好维度，同时候选生成阶段的主题聚合会系统性溢出并驱动最终的裁决排序。

研究背景与动机¶

当前大语言模型的评测与对齐范式高度依赖“客观正确性”的反馈信号，涵盖代码单测验证、数学定理形式化证明（如 Lean）、基于正确答案的强化学习（RLVR），以及高质量标注对齐。在具备明确胜负标准的任务中，模型能力已取得长足进步。然而，人类用户与大模型的日常交互广泛存在于纯主观或半主观任务中，例如为新生儿起名、撰写引人入胜的社交媒体简介、或者在头脑风暴中筛选最具创意的商业构想。对于这类开放性任务，根本不存在放之四海而皆准的客观真理，传统的准确率（Accuracy）评估指标在此彻底失效。

为了弥补主观评估的方法论空白，研究社区尝试引入领域专家评分或 LLM-as-a-Judge 框架，但这些做法往往面临高昂成本或内生偏差的干扰。更为关键的认知盲区在于：当面对两个同样合理且并无优劣之分的选择时，大模型究竟依赖何种隐式逻辑进行取舍？在认知心理学中，人类在处理主观抉择时会表现出诸如首因效应、锚定效应和构音感知偏好等经典认知偏差。大模型在海量语料预训练与对齐后，是否也内化了一套独特的“机器主观偏好规律”？

由于长文本生成受到多重复杂风格与长程依赖的严重干扰，极难剥离出独立的因果影响因子。为此，本文将研究切口严格约束在结构清晰、特征完备的短文本领域（数字、美国人口普查姓名、虚构城市名称）。核心 idea：采用心理物理学与计量经济学的配对比较范式，通过定义多维语法/语义外生特征、扩展同义提示词池并追踪生成到排序的双阶段溢出，系统解构大模型在无客观标准主观决策中的内在偏好规律与脆弱性。

方法详解¶

整体框架¶

本文的研究流水线分为三个核心模块：标准化比较实体构建、提示词语义空间扩展，以及心理物理学成对比较与因果建模。输入为选定领域的短文本实体对，通过包含50种不同措辞的标准化模板向被测大模型发起成对偏好询问，最后通过统计检验、多项逻辑回归与因果最小配对评估各项特征与提示词对偏好输出的调节机制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["标准化实体采样<br/>数字(200) / 姓名(200) / 虚构城市(199)"] --> B["双向成对构建<br/>随机哈密顿环采样 + (a,b)/(b,a) 双向排列"]
    B --> C["提示词空间扩展<br/>50种同义偏好提问(语法/语气/语义域标签)"]
    C --> D["心理物理学实验范式<br/>20,000次LLM成对偏好零样本裁决"]
    D --> E["双重计量建模<br/>边际胜率分析 + 消除共线性的多项逻辑回归"]
    E --> F["双阶段溢出分析<br/>生成阶段主题聚类 → 排序裁决偏好溢出"]

关键设计¶

1. 随机哈密顿环成对配对与位置对称消除：构建低偏差的比较图拓扑

直接穷举 \(N=200\) 个实体之间的全部无序对需要 \(\binom{200}{2} = 19,900\) 对，叠加多次测试计算开销巨大，且各节点在网络中的局部度数容易不均。作者采用随机置换打乱实体序列并构建首尾闭合的环形拓扑（Random Cycle），确保每个实体恰好出现在 2 个无序对中，共产生 200 个紧凑配对。对于每个无序对 \(\{a, b\}\)，均以 \((a, b)\) 和 \((b, a)\) 两种呈现顺序进行完全对称测试，从而严格剥离大模型固有存在的前序位置偏差（First Presented Bias）。这一设计在大幅压缩计算量的同时，消除了实体间度数不均造成的统计偏倚。

2. 29维语法与语义特征空间定义：涵盖物理感知、构音联觉与统计属性

为了全面捕获影响模型选择的特征，作者系统构建了覆盖跨领域与领域专有的29项外生指标。在通用与文本领域，引入长度、字母排序、元音占比、首末元音等结构特征；特别引入了构音联觉指标“Bouba 分数”（Higher Bouba Frac），量化圆润辅音/元音与尖锐辅音（Kiki 对应硬辅音如 k, t, p）的比例；在姓名领域，结合 2020 年美国人口普查与社会保障局历史年代流行度（1960、1980、2000、2020年代婴儿频率）；在数字领域，定义数值大小、数量级、素数（Prime）、回文数、10/5/2的倍数、数字递增/递减排序及重复数字等数学结构。

3. 提示词语义空间泛化与双重计量统计建模：分离共线性与提示敏感性

使用大模型以种子提问“Which of these two names do you prefer?”为基准进行5轮迭代扩展，生成50种在人类看来意图完全等价的提示词，并依据句法形态（条件句、倒装句、祈使句、前置短语、插入语等）和语义语气（审美、决断、评判、心理）构建标签。针对多特征之间的强共线性（例如数字大小与数位和高度正相关），作者不仅评估单个特征在优势对决中的边缘胜率，还拟合多项逻辑回归模型：设二值特征向量为 \(w\)，待学习系数向量为 \(\beta\)，每个候选项胜出的赔率正比于 \(e^{w \cdot \beta}\)。为了将回归系数与边缘胜率直接对齐，转换为标准化边际效应：

\[\Delta P_i = \frac{e^{\beta_i}}{1 + e^{\beta_i}} - 0.5\]

这一建模将各特征从混杂背景中解耦，确保观察到的主观偏好具备因果解释力。

4. 列表生成与筛选排序的双阶段内生溢出：揭示序列自回归的主题聚集效应

当大模型既作为候选生成器（List Creation，头脑风暴200个虚拟城市）又作为评估裁判（Comparison）时，生成过程中的自回归隐式注意力会导致输出呈现出连续的局部语义聚集（例如连续生成以四季命名的城市、连续生成与《模拟人生4》世界观相关的城市）。作者证实这种在生成阶段自发形成的内生类别（Endogenous Categories），会在后续成对裁决中转化为极度不对称的主观分类偏爱：模型系统性重度偏爱古代历史与神话类城邦，而极端厌恶中世纪职业与国际象棋策略命名的城镇。

心理物理学实验范式与评估度量¶

在度量系统一致性上，作者将成对裁决结果建模为有向多重图（Directed Multigraph），边的方向由胜者指向败者。若模型具备绝对理性的传递性偏好，则图为有向无环图（DAG）。对于包含循环偏好的非完全一致判断，采用反馈弧集（Feedback Arc Set, FAS）量化其非一致性比例：

\[\text{Inconsistency} = \frac{|\text{FAS}|}{|E|}\]

其中 \(|\text{FAS}|\) 表示为了消除图中所有有向环最少需要反转或移除的边数。\(|\text{FAS}|\) 越小代表模型在主观选择上的逻辑一致性越高，越接近全序排列。

实验关键数据¶

主实验¶

实验涵盖 Gemini 2.5 Flash、Gemini 3 Flash、Claude Haiku 4.5、GPT-5 Mini 和 Qwen 3.5 35B 等主流先进模型。所有模型在20,000次配对实验中均表现出高度显著且跨模型一致的主观偏好。

下表摘录数字与人名领域核心特征在主流模型下的边际胜率（胜率期望基线为 0.50，使用 Bonferroni 校正 \(m=183\)）：

领域	特征名称	Gemini 2.5 Flash	Gemini 3 Flash	Claude Haiku 4.5	GPT-5 Mini	Qwen 3.5 35B	随机基准 1	显著性
数字	数值更大 (Higher)	0.70	0.78	0.79	0.76	0.72	0.48	***
数字	数量级更大 (Higher Order Mag)	0.58	0.74	0.75	0.60	0.59	0.54	***
数字	素数 (Prime)	0.64	0.60	0.62	0.73	0.72	0.50	***
数字	10的倍数 (Mult 10)	0.52	0.43	0.37	0.37	0.48	0.48	*** (Haiku/GPT5)
人名	罕见字母比例更高 (Rare Letters)	0.82	0.97	0.68	0.94	0.78	0.50	***
人名	元音开头 (Starting Vowel)	0.76	0.74	0.60	0.74	0.75	0.48	***
人名	2020年代高频婴儿名 (2020 Babies)	0.72	0.75	0.65	0.67	0.75	0.51	***
人名	1960年代高频婴儿名 (1960 Babies)	0.40	0.34	0.42	0.34	0.37	0.48	*** (显著负偏好)
人名	Bouba 圆润发音比例高 (Bouba Frac)	0.60	0.59	0.53	0.62	0.60	0.58	/ *

消融与稳健性分析¶

为了排查上述偏好是否仅为提示词采样噪声或隐式位置伪影，作者利用最小配对因果分析（Minimal Pairs）与广义线性混合效应模型（GLMM）进行了严格方差分解，并对城市类别的生成顺序进行了打乱洗牌（Shuffling）重测。

下表展示了广义线性混合模型（GLMM）下的方差分解与 Levene 检验统计量：

数据集	评测模型	提示词方差 \(\sigma_{\text{prompt}}^2\) (%)	实体配对方差 \(\sigma_{\text{pair}}^2\) (%)	残差噪声 (%)	Levene 统计量 \(W\)	显著性 (\(p\)-value)
数字	Gemini 2.5 Flash	0.006 (10.2%)	0.003 (4.4%)	0.051 (85.4%)	120.82	< 0.001 (***)
数字	Claude Haiku 4.5	0.010 (19.5%)	0.005 (9.9%)	0.036 (70.5%)	200.09	< 0.001 (***)
人名	Gemini 2.5 Flash	0.003 (4.8%)	0.002 (3.2%)	0.059 (92.0%)	27.99	< 0.001 (***)
人名	Claude Haiku 4.5	0.004 (6.7%)	0.026 (42.2%)	0.031 (51.1%)	19.02	< 0.001 (***)
城市	Gemini 2.5 Flash	0.002 (3.0%)	0.004 (5.6%)	0.059 (91.4%)	11.25	< 0.001 (***)
城市	Claude Haiku 4.5	0.011 (16.2%)	0.012 (17.0%)	0.045 (66.8%)	116.17	< 0.001 (***)

关键发现¶

Bouba 效应与元音执念：人类语言学中将圆润形状与“bouba”发音关联、尖锐形状与“kiki”发音关联的“Bouba-Kiki效应”，在大语言模型的纯主观偏好中被显著复现。大模型展现出对元音开头、高元音比例及高 Bouba 辅音（b, m, l 等）的强烈偏好，对生僻字母（Q, X, V）也展现出惊人的选择倾向（胜率最高达 0.97）。
时代现代性偏好：对于人名选择，所有模型均表现出“喜新厌旧”的统一特征——2020年代流行的名字胜率超过 0.70，而1960年代的名字胜率跌破 0.40，反映了预训练语料的时间分布特征或微调偏好的印记。
提示词对偏好维度的开关效应：微小的提示词句式变化能够剧烈改变偏好分布。例如 Prompt 23（“关于这两个，你把哪个排在最前面？”）会全面激活字典字母序或数值递增序的偏好；使用祈使句（Imperative）时首位偏见增强，而包含括号修饰语（Parenthetical）时次位偏见增强；决策风格（Decisive）词汇激发的偏好显著强于审美（Aesthetic）词汇。
一致性与传递性差异：在全提示词“群体智慧”（Wisdom of crowds）聚合下，人名与城市域的非一致反馈弧集极小（仅 7% 与 9% 的矛盾环），呈现极强的准全序特征；而单提示词测试中，非一致性比例大幅上升，极端提示词（如使用“fancy”或“personally endorse”）可导致高达 28%~33% 的循环矛盾。

亮点与洞察¶

将心理物理学引入大模型主观评测：跳出传统的真/假判定，通过成对比较、随机哈密顿环拓扑与反馈弧集分析，为缺乏基准真相（Ground Truth）的开放主观场景提供了严谨的量化度量基准。
发现“生成-排序”双阶段的内生偏好溢出：揭示了由自回归模型先生成选项列表、再让模型自行筛选修剪时的隐蔽缺陷——模型在序列生成中自发形成的主题聚类，会不可逆地扭曲后验排序裁决，导致某些类别的候选项遭受隐式系统性歧视。
提示词表面中立下的偏好操控隐患：即使含义看似等价的提示词，其句法与动词风格也会作为隐式触发器，动态激活或抑制不同的内在偏好维度。这提示在设计 LLM 裁判或推荐系统时，单一提示词极易引入隐蔽的人工偏见，必须采用异构提示词集成。

局限与展望¶

实体形式局限于短文本：本研究所采用的短文本（数字、姓名、城市名）便于精准提取音韵与结构特征，但真实世界的主观任务往往包含长文本、多段落论述或多模态属性，长文本中的词际交互使此类因果解耦更加困难。
模型体量主要覆盖轻量端侧模型：出于大规模（数万次推理）调用的成本考虑，测试主要覆盖各家 Flash、Mini 与中端模型（如 Gemini 2.5/3 Flash、Claude Haiku 4.5、GPT-5 Mini、Qwen 3.5 35B），更大体量推理旗舰模型的内在偏好强度与一致性仍待验证。
启发未来研究构建提示词鲁棒性防御：后续研究可针对提示词引发的偏好剧烈漂移，探索基于提示语义聚类的去偏加权算法，以及防范黑客利用特定句式操纵裁判模型偏好的安全防御机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统开辟大模型纯主观无对错偏好的心理物理学实证研究范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖5大主流模型、3大异构数据集、29维特征、50类提示词与25,000次置换检验。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，统计推断扎实，叙事逻辑层次极为分明。
价值: ⭐⭐⭐⭐⭐ 对 LLM 评测裁判设计、生成式头脑风暴工具以及偏好操控防御具有重大指导意义。