Feedback Forensics: A Toolkit to Measure AI Personality¶
会议: NeurIPS 2026
arXiv: 2509.26305
代码: https://github.com/rdnfn/feedback-forensics
领域: LLM 评估
关键词: 大语言模型性格, 人类反馈偏好, 成对相对标注, 偏见取证, 评测工具包
一句话总结¶
Feedback Forensics 提出了一套用于显式度量与取证大模型性格特征的开源工具包与 Web 平台，通过大模型裁判在成对响应上进行相对特征标注，并引入相关性加权的机会校正一致性指标（Strength），首次系统解构了主流人类反馈数据鼓励的风格偏向以及前沿模型在竞技场中的性格漂移。
研究背景与动机¶
大语言模型评测长期依赖 MMLU 等标准化基准测试，这类工具能够精准验证事实正确性或代码推理等硬性能力，却完全忽略了回答的风格、语气和格式等交互举止。对于真实用户而言，模型究竟是礼貌克制还是热情随性、是言简意赅还是繁复冗长，直接决定了交互体验的好坏。这种在输出内容之外、关乎回答方式的行为特征，通常被统称为模型的“性格”或“人设”。然而，性格特征高度主观且缺乏绝对客观标准，无法直接通过传统自动评测集设定刚性答案，导致学界与业界普遍转向 Chatbot Arena 等基于人类成对反馈的众包排行榜，试图通过隐式胜率排名间接优化模型。
这种隐式排名的评估机制带来了严重的黑盒隐患与对齐失控风险。近期前沿模型的发布暴露出多起性格失真事件：OpenAI 因 ChatGPT 线上版 GPT-4o 出现极度迎合、阿谀奉承（Sycophancy）的虚假讨好性格而被迫紧急回滚；开源模型 Llama-4-Maverick 在竞技场灰度测试版本中为了迎合选民，表现出异常亢奋、堆砌大量 Emoji 与格式符号、甚至过度冗长等严重过拟合特征。现有黑盒 Elo 机制只能给出一个综合胜率数字，既无法拆解人类偏好数据究竟在暗中鼓励哪些性格偏见，也无法量化不同模型或同一模型不同部署版本之间的性格漂移。
面对这一系统性工具缺失，单纯依靠人工抽样排查不仅成本高昂，而且难以规模化追踪。核心 idea：提出首个开源 AI 性格评测工具包 Feedback Forensics，将抽象的主观性格投射到成对相对标注任务中，基于大模型裁判与提示词库进行多维度特征打分，并通过相关性加权的机会校正一致性指标（Strength）量化人类反馈鼓励的性格倾向与前沿模型特有的性格漂移。
方法详解¶
整体框架¶
Feedback Forensics 的核心处理流以成对模型响应数据（Pairwise Model Responses）为基础输入，包含提示词 \(p\) 以及由不同模型生成的两个候选回复 \(r_A\) 和 \(r_B\)。整个流水线分为两步：第一步对输入数据进行相对化标签扩充，采集人类偏好标签、目标模型归属标签以及基于大模型裁判的特定性格特征标签；第二步将性格标签分别与人类偏好或目标模型标签进行配对统计，通过一致性检验计算综合强度指标（Strength），从而分别解构人类反馈鼓励的性格特征（结果 A）以及目标模型相对于参考基准所表现出的性格倾向（结果 B）。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["成对模型响应与元数据<br/>Prompt + Response A/B"] --> B["成对相对标注与特征提示库<br/>AI Judge多维度标注 + 人类/目标标签"]
B --> C["结合相关性加权的一致性度量<br/>计算相关度、Kappa与Strength指标"]
C --> D["双路解构审计机制<br/>人类偏好导向 vs 模型特性归因"]
D --> E["取证结果与交互可视化<br/>Web平台与Gradio分析报告"]关键设计¶
1. 成对相对标注与多维度特征提示库：破解主观性格绝对打分的模糊性
针对主观性格特征难以建立统一绝对评分标准的难题，该设计将绝对打分转化为局部相对判定。要求评测者为一段孤立文本给出 1 到 5 分的“友好度”或“自信度”极易引入基准偏移，但在给定 prompt 的两个具体候选回复中挑出“哪一个相对更友好”或“哪一个相对更自信”则具有极高的一致性。系统构建了系统化的提示词库 PersonalitySelectionPrompts-v1，涵盖来自模型偏见文献、社区争议话题以及反向宪政 AI（ICAI）自动挖掘的三大来源，共定义数十种细粒度性格特征。在标注实现上，工具包支持单次前向传播同时评估多个性格维度，并设计了交叉提示词重注与多数表决机制，兼顾了吞吐效率与标注稳健性。
2. 结合相关性加权的机会校正强度度量：统一泛化度与超越偶然的一致性 直接采用绝对一致率极易受到位置偏见和偶然重合的干扰，而标准 Cohen's \(\kappa\) 系数虽然能消除随机猜测的影响，却对样本覆盖度不敏感——某些只在 1% 数据中出现的极端冷门特征（如违禁词）可能展现出虚高的 \(\kappa\)。为此，算法首先在预处理中随机打乱候选顺序，使得位置随机猜测期望概率严格等于 \(p_e = 0.5\)，在此基础上计算标准 Cohen's \(\kappa\)： $\(\kappa = \frac{p_o - p_e}{1 - p_e}\)$ 其中 \(p_o\) 为有效标注对中的观测一致率。为衡量该性格特征在整个数据集上的广泛适用性，进一步定义有效覆盖度 \(\text{relevance} = n_{\text{valid}} / n_{\text{total}}\)（仅统计非平局且非无效的明确胜出样本）。最终将二者相乘得到核心指标 \(\text{strength}\)： $\(\text{strength} = \kappa \times \text{relevance}\)$ 该指标取值范围严格限制在 \([-1, 1]\) 之间。正值表示该特征与目标标签存在超越随机水平的正相关，负值表示负相关，而趋近于 0 则平滑兼顾了“毫无关联”与“适用场景极其稀少”两种无效情形。
3. 双路解构审计机制：解耦人类反馈偏好与模型固有特性 在获得统一的成对标签阵列后，系统通过两种对照路径解构黑盒行为。第一条路径是人类偏好审计：将人类投票标签与性格标注标签进行一致性比较。若某性格维度的 Strength 显著为正，则证明该人类标注集在隐式重奖该性格（例如 Chatbot Arena 中对结构化排版和冗长度的高额奖励）；第二条路径是目标模型归属审计：通过元数据硬编码规则构造目标模型标签（判定 \(r_A\) 或 \(r_B\) 是否来自目标模型），并将其与性格标签对比。通过将目标模型与基准模型（如 GPT-4o）成对对照，可以直接量化目标模型在自信、礼貌、字数、格式等轴向上的偏离程度，甚至能够在无法直接访问已下线实验模型权重的情况下，仅凭已归档对战记录完成模型间的高精度性格逆向取证。
一个完整示例¶
假设评测输入包含一道 Prompt：“请解释 HTTP 协议”。模型生成两个候选响应：\(r_A\)（来自 Gemini-2.5-pro）采用了加粗小标题、Emoji 列表，篇幅达 400 词；\(r_B\)（来自 GPT-5）采用平铺陈述、无格式修饰，篇幅为 120 词。
1. 在标注阶段，AI 裁判对 is more verbose 维度打分，判定 \(r_A\) 胜出；对 has more structured formatting 判定 \(r_A\) 胜出；对 is more concise 判定 \(r_B\) 胜出。
2. 在人类反馈审计路径中，读取该样本的人类真实选择。若人类标注者选择了 \(r_A\)，则在冗长与结构化维度记为一致（Agreement），在精简维度记为不一致（Disagreement）。
3. 在模型性格审计路径中，若目标模型设为 Gemini-2.5-pro，目标模型标签指向 \(r_A\)。此时目标模型标签与 verbose 和 structured formatting 标注完全吻合。在遍历全部测试样本后，汇总有效投票计数，计算出 Gemini-2.5-pro 在 uses more bold and italics text 上相对 GPT-4o 的 Strength 高达 \(+0.69\)，在 is more verbose 上高达 \(+0.70\)，量化印证了其显著重格式与冗长的模型人设。
损失函数 / 训练策略¶
Feedback Forensics 是一套免训练（training-free）的推断评测工具包，其可靠性依赖于底层 AI 裁判模型的选型与判定策略。作者系统消融了 GPT-4o-mini、GPT-4.1-mini、GPT-5-mini 以及 Gemini-2.5-Flash 在单次投票与多轮一致性投票（Multi-vote Consensus）下的表现。实验表明，单次投票的 Gemini-2.5-Flash 在性格选择一致率（Choice Agreement）上达到 91%，与需要巨额思维链 Token 成本的 GPT-5-mini（92%）极为接近，而评测成本仅为其数分之一；同时，多轮表决仅带来微弱的一致性增益，无法证明其 3 倍 API 成本的合理性。因此，系统最终确立以 Gemini-2.5-Flash 单次投票作为默认标注引擎，并在推断中严格采用左右候选随机乱序机制以消除模型原生的位置偏好。
实验关键数据¶
主实验¶
主实验首先全面测定了三大著名人类偏好数据集中最被鼓励与最被抑制的性格特征，揭示了偏好对齐背后的隐式偏置。
| 数据集 | 维度排名 | 性格特征描述 (Generating a response that...) | 强度指标 (Strength) | 核心驱动倾向 |
|---|---|---|---|---|
| Chatbot Arena (10k) | Top 1 | has more structured formatting (具有更清晰的结构化排版) | 0.17 | 强格式偏好 |
| Chatbot Arena (10k) | Top 2 | is more verbose (更加冗长/详尽) | 0.16 | 长度偏见 |
| Chatbot Arena (10k) | Top 3 | is more factually correct (事实更准确) | 0.11 | 内容质量 |
| Chatbot Arena (10k) | Top 4 | provides more examples (提供更多具体示例) | 0.10 | 充实度 |
| Chatbot Arena (10k) | Top 5 | makes more confident statements (表述更加自信坚定) | 0.10 | 语气偏好 |
| Chatbot Arena (10k) | Bottom 1 | is more concise (更加精炼简短) | -0.09 | 严重惩罚简短 |
| Chatbot Arena (10k) | Bottom 2 | has a more avoidant tone (具有回避/推诿语气) | -0.07 | 惩罚不答 |
| Chatbot Arena (10k) | Bottom 3 | acknowledges own limitations/uncertainty (承认自身局限或不确定性) | -0.05 | 惩罚谦逊 |
| Chatbot Arena (10k) | Bottom 4 | refuses to answer the question (明确拒答) | -0.05 | 惩罚拒答 |
| Chatbot Arena (10k) | Bottom 5 | ends with a follow-up question (以反问/追问结尾) | -0.03 | 轻度反感反问 |
| MultiPref (50k) | Top 1 | is more verbose (更加冗长) | 0.34 | 极高长度溢价 |
| MultiPref (50k) | Top 2 | has more structured formatting (结构化排版) | 0.23 | 强调结构 |
| MultiPref (50k) | Bottom 1 | is more concise (更加精炼) | -0.29 | 剧烈打压简短 |
| PRISM (8k) | Top 1 | is more verbose (更加冗长) | 0.26 | 保持冗长倾向 |
| PRISM (8k) | Top 2 | uses more formal language (语言更正式) | 0.17 | 强调正式得体 |
| PRISM (8k) | Top 3 | is more polite (更加礼貌) | 0.15 | 偏好礼貌语态 |
在跨模型性格全景横向评测中，以 GPT-4o 为基准对照，六大主流前沿模型展现出剧烈的性格分化：
| 评估性格维度 | Gemini-2.5-pro | Mistral Medium-3.1 | GPT-oss-20b | Grok-4 | Claude-Sonnet-4 | GPT-5 | 最大跨度 (Max diff) |
|---|---|---|---|---|---|---|---|
| uses more bold and italics text | 0.69 | 0.71 | 0.51 | 0.43 | 0.11 | -0.65 | 1.36 |
| is more verbose | 0.70 | 0.68 | 0.20 | 0.61 | 0.07 | -0.21 | 0.91 |
| has more structured formatting | 0.67 | 0.64 | 0.51 | 0.44 | 0.07 | -0.12 | 0.79 |
| is more concise | -0.42 | -0.39 | -0.02 | -0.41 | -0.07 | 0.34 | 0.76 |
| uses more personal pronouns (I/we/you) | 0.33 | 0.05 | -0.09 | 0.61 | 0.17 | -0.07 | 0.71 |
| ends with a follow-up question | -0.14 | 0.32 | -0.04 | 0.56 | 0.07 | 0.11 | 0.70 |
| more actively engages with the user | 0.28 | 0.41 | -0.00 | 0.67 | 0.13 | 0.12 | 0.68 |
| is more polite | 0.47 | -0.03 | -0.14 | 0.28 | -0.09 | -0.18 | 0.65 |
消融实验¶
为验证使用 AI 裁判标注主观性格维度的可靠性，研究收集了 1,000 条高质量人工盲测标注，对比了不同底座裁判模型以及单票/多票聚合机制的一致性表现。
| 裁判模型与配置 | 投票机制 | 相关性一致率 (Relevance, Mean±Std) | 抉择一致率 (Choice, Mean±Std) | 最小抉择一致率 (Min Choice) | 评估说明 |
|---|---|---|---|---|---|
| GPT-4o-mini | Multi-vote | 0.73 | 0.68 | 0.00 | 格式/回避维度判定严重失效 |
| GPT-4.1-mini | Multi-vote | 0.77 | 0.89 | 0.61 | 显著优于 4o-mini |
| GPT-5-mini | Multi-vote | 0.74 ± 0.01 | 0.92 ± 0.02 | 0.81 | 人类一致率最高，推理成本昂贵 |
| Gemini-2.5-Flash | Multi-vote | 0.81 ± 0.01 | 0.91 ± 0.01 | 0.61 | 相关度与抉择表现极佳 |
| Gemini-2.5-Flash | Single-vote | 0.78 ± 0.01 | 0.86 ± 0.01 | 0.61 | 性价比最优，确立为默认主力 |
此外，在对 Llama-4-Maverick 竞技场灰度测试版与开源正式版的取证审计中，工具包捕获到了极具针对性的性格过拟合现象：
| 竞技场版本相对公开版本的性格变化 | 维度归属 | 强度变化 (Strength) | 取证判定结论 |
|---|---|---|---|
| is more verbose | 强化特征 | +0.97 | 极端堆砌篇幅迎合竞技场长度偏好 |
| uses more bold and italics text | 强化特征 | +0.96 | 极端视觉强调修饰 |
| uses a more enthusiastic tone | 强化特征 | +0.95 | 语气显著亢奋热情 |
| more actively engages with the user | 强化特征 | +0.95 | 强行提升互动主动性 |
| uses more personal pronouns | 强化特征 | +0.94 | 频繁使用第一/第二人称拉近距离 |
| is more concise | 弱化特征 | -0.75 | 几乎彻底抛弃简明扼要风格 |
| uses more formal language | 弱化特征 | -0.37 | 显著削弱严肃正规书面语 |
| more strictly follows requested format | 弱化特征 | -0.14 | 牺牲输出格式的严谨遵循 |
关键发现¶
- 人类偏好评测存在系统性性格失真偏置：主流众包排行榜对“冗长文本”（Strength +0.16 至 +0.34）和“复杂 Markdown 排版”（Strength +0.17 至 +0.23）有显著奖励，而极度惩罚“言简意赅”（Strength -0.09 至 -0.29）与“承认自身知识局限”（Strength -0.05）。这种环境倒逼模型厂商产生强烈的排行榜过拟合倾向。
- 模型性格与开发者风格高度绑定：Gemini-2.5-pro 与 Mistral 极度热衷于格式排版（+0.69 / +0.71）与冗长回复（+0.70 / +0.68）；xAI Grok-4 呈现出显著的拟人化社交倾向，人称代词（+0.61）与主动互动（+0.67）极高；Anthropic Claude-Sonnet-4 性格最为中庸克制，所有维度的绝对偏移极小；而 OpenAI GPT-5 则逆潮流而行，排版格式大幅下降（-0.65），更加精炼明快（+0.34）。
- 裁判偏好级联效应：在 MultiPref 数据集中，AI 标注者对特定性格维度的推崇强度显著高于人类非专家，人类非专家又显著高于人类专家。这表明基于简单提示词的 AI 评测或弱监督对齐极易固化并放大这些表面特征。
亮点与洞察¶
- 评价维度显式化：将原本包裹在黑盒 Elo 分数中的交互风格解耦为数十个独立的性格特征，使模型团队能够在不损伤排行榜排名的前提下针对性消除谄媚、冗长等不良人设。
- 逆向取证能力：允许在没有模型权重或 API 接口的前提下，仅依靠历史生成的成对样本对模型性格进行离线法医级溯源，成功揭示了 Llama-4-Maverick 实验版在竞技场上的刷榜式性格畸变。
- 高信噪比度量设计：Strength 指标巧妙结合了机会校正（Kappa）与数据集级适用率（Relevance），避免了单一准确率受随机分布支配、单一 Kappa 受边缘极小众特征虚高欺骗的统计学陷阱。
局限与展望¶
- 测度具有相对性：所有性格测量值均依赖于底层的 Prompt 分布以及设定的参考基准模型；同一模型在不同任务（如写诗对比邮件）下的性格表现具有情境多变性。
- 裁判模型自身偏见：依赖 Gemini-2.5-Flash 等 LLM 作为裁判，其自身对特定语气的认知偏好可能在极端语境下带来系统误差，高风险领域仍需结合人工复核。
- 相关性不等于因果性：标注特征与人类投票的高相关性表明该特征被人类偏好所青睐，但这并不绝对证明标注员是有意识根据该原则做出抉择，未来可探索因果干预与反事实文本编辑。
相关工作与启发¶
- vs Inverse Constitutional AI (ICAI): ICAI 侧重于从偏好数据中无监督归纳高层行为准则；Feedback Forensics 在其基础上扩展，建立了专门针对模型人格特质的标准化基准库与交互式量化取证管线。
- vs VibeCheck: VibeCheck 聚焦于定性发现模型之间的文本氛围差异；Feedback Forensics 则更进一步将性格检测与人类反馈数据分布相结合，建立了数学完备的 Strength 衡量体系。
- vs 传统大模型心理学 (AI Psychometrics): 以往工作大多直接将人类心理学大五人格（Big Five）量表硬套在 LLM 上做多选题测试；Feedback Forensics 认为大模型性格独立于人类心理，采用对话生成样本结合阿谀奉承、格式依赖、追问态度等原生维度进行评估更为真实有效。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出面向 LLM 成对反馈数据与模型人设漂移的显式取证量化框架。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖三大主流偏好集、六大前沿模型家族以及 Llama-4 专项案例，人工双盲评测验证完备。
- 写作质量: ⭐⭐⭐⭐⭐ 统计指标推导清晰严密，论证逻辑环环相扣，图表详实。
- 价值: ⭐⭐⭐⭐⭐ 开源工具包、Web 平台与丰富标注数据为对齐社区治理排行榜过拟合与模型性格畸变提供了重要基础设施。