Value Portrait: Assessing Language Models' Values through Psychometrically and Ecologically Valid Items¶

会议: ACL 2025
arXiv: 2505.01015
代码: 无
领域: LLM/NLP
关键词: 价值观评估、心理测量学、Schwartz价值理论、LLM对齐、人口统计偏见

一句话总结¶

提出Value Portrait基准，通过心理测量学验证（每个测试项与真实人类价值观得分的相关性）和生态效度设计（基于真实用户-LLM交互场景），系统评估44个LLM的价值取向，发现模型普遍优先仁慈、安全和自我导向价值，同时揭露了模型对不同人口群体的价值认知偏见。

研究背景与动机¶

领域现状：随着LLM在日常生活中的广泛使用，评估其承载和表达的价值观变得越来越重要。价值观不仅影响模型回答的倾向性，还关系到模型与人类价值的对齐（alignment）。已有工作如ValueBench、ETHICS benchmark等尝试通过人工或自动标注的场景来测试LLM的价值取向。

现有痛点：现有基准存在两个核心问题：(1) 标注偏见——依赖人工或机器标注来确定"正确"的价值立场，但标注者自身的价值观偏见会污染数据。谁来决定什么回答体现了"仁慈"、什么体现了"成就"？不同文化背景的标注者可能有截然不同的判断。(2) 场景脱离现实——测试场景通常是人为构造的道德困境或假设情境，与用户实际使用LLM的场景差距很大。模型在假设道德困境中的表现不一定反映其在日常交互中的价值表达。

核心矛盾：想要评估LLM的"价值观"，需要一个既没有标注者偏见、又贴近真实使用场景的评估工具。传统心理学有成熟的价值观测量方法论（如Schwartz价值理论），但直接将人类量表应用于LLM会遇到"模型会伪装/迎合"的问题。需要一种新的方法论将心理测量学的严谨性与LLM评估的特殊需求结合。

本文目标：构建一个(1) 心理测量学有效——每个测试项与特定价值维度有统计验证的相关性；(2) 生态有效——测试场景来自真实的用户-LLM交互的价值观评估基准。

切入角度：从Schwartz的十大基本价值理论出发，收集真实的用户-LLM对话内容作为测试项，让大量人类被试对这些对话内容进行评分，建立对话内容与人类价值观得分之间的统计相关性。只有与特定价值维度高度相关的对话项才被纳入基准。

核心 idea：不直接标注"哪个回答是正确的"，而是通过人类被试的心理测量学验证，让数据自己说话——如果一个对话项与高仁慈得分的人高度关联，那它就是测量仁慈的可靠项目。

方法详解¶

整体框架¶

Value Portrait的构建分为四个阶段：(1) 项目收集——从真实用户-LLM交互中提取候选测试项；(2) 人类评分——招募大量被试评价每个项目与自身想法的相似度，并用标准心理量表测量被试的价值观得分；(3) 心理测量学验证——计算每个项目的人类相似度评分与被试实际价值观得分的相关性，筛选高相关项目；(4) LLM评估——让44个LLM给每个项目打分，计算其在各个价值维度上的得分。输入为一个体现特定价值倾向的陈述（来自真实LLM交互），LLM输出该陈述与其"想法"的相似度评分。

关键设计¶

基于真实交互的项目收集（生态效度）:
- 功能：确保测试项反映LLM实际使用场景中的价值表达
- 核心思路：从大量真实用户与LLM的对话记录中提取候选测试项。每个项目是一段自然语言陈述，内容涉及观点、建议或判断——这些都是LLM在日常使用中实际会产生的回答类型。例如，"在做决定时应该优先考虑大多数人的福祉"这类陈述来源于真实对话。选取标准是该陈述需要体现某种可辨识的价值倾向，且表述自然、无明显教条色彩。
- 设计动机：传统心理量表的题目（如"帮助周围的人对我很重要"）虽然经过验证，但不是LLM日常会输出的内容。只有基于真实交互场景的项目，才能反映LLM"在野外"的价值表达模式。
心理测量学验证框架（心理测量效度）:
- 功能：确保每个测试项确实能可靠地测量特定价值维度
- 核心思路：招募大量人类被试（确保人口多样性），每人完成两项任务——(a) 对候选测试项评分：对每个陈述打分表示"这与我的想法有多像"（6分制）；(b) 完成标准价值观量表（如Schwartz的PVQ-RR）获得其在十个基本价值维度上的真实得分。然后计算每个测试项的人类相似度评分与被试各价值维度得分之间的Pearson相关系数。只有与某一价值维度显著正相关的项目才被确认为该维度的有效测量项。例如，如果对某陈述打高分的被试恰好在"仁慈"维度上得分也高，则该项目被认定为仁慈的有效测量工具。
- 设计动机：这种"让数据说话"的方法避免了人工标注的主观偏见。不需要任何人判断"这个回答体现了什么价值"——统计相关性客观地建立了项目与价值维度的联系。
多模型多维度评估与偏见分析:
- 功能：全面揭示LLM群体的价值取向分布和人口认知偏见
- 核心思路：对44个主流LLM（包括不同规模、不同厂商、开源和闭源模型），让每个模型对所有验证通过的项目进行自评打分。根据打分结果，计算每个模型在Schwartz十大基本价值维度（仁慈、普遍主义、自我导向、刺激、享乐主义、成就、权力、安全、从众、传统）上的得分，形成该模型的"价值画像"。进一步分析不同人口设定（如指定模型"假设你是一个XX群体的成员"）下模型回答的变化，揭示模型对不同人口群体的价值认知偏见——即模型"认为"某群体应该有什么样的价值观。
- 设计动机：单独评估一个模型的价值观意义有限，横向比较44个模型可以揭示行业整体趋势。人口偏见分析则警示了LLM可能强化社会刻板印象的风险。

损失函数 / 训练策略¶

本文是评测基准工作，不涉及模型训练。使用的是各模型的既有版本进行评估。

实验关键数据¶

主实验¶

价值维度	LLM群体得分趋势	与人类数据比较
仁慈（Benevolence）	高 — 几乎所有LLM优先	与人类趋势一致
安全（Security）	高 — 普遍重视	与人类趋势一致
自我导向（Self-Direction）	高 — 普遍重视	与人类趋势一致
普遍主义（Universalism）	中等偏高	大致一致
享乐主义（Hedonism）	中等	接近人类
传统（Tradition）	低 — 不重视	与人类差异大
权力（Power）	低 — 不重视	与人类差异大
成就（Achievement）	低 — 不重视	与人类差异大
刺激（Stimulation）	中低	略低于人类
从众（Conformity）	中等	接近人类

消融/分析实验¶

分析维度	关键发现
开源 vs 闭源	闭源模型（如GPT系列）价值表达更"政治正确"，仁慈/普遍主义得分更高
大模型 vs 小模型	较大模型的价值表达更一致、更偏向安全和仁慈
人口偏见测试	LLM对不同年龄/性别/文化群体存在系统性价值认知偏差
与人类分布比较	LLM过度压缩价值多样性，倾向于"安全"的中间立场
心理测量可靠性	通过验证的项目在人类被试中Cronbach's α达到可接受水平

关键发现¶

LLM普遍展现出"仁慈-安全-自我导向"为核心的价值画像：几乎所有44个模型都优先这三个维度，而传统、权力和成就则受到忽视。这一模式高度一致，暗示可能是RLHF对齐训练的共同结果
LLM的价值表达缺乏多样性：与人类群体相比，LLM的价值取向明显更集中，缺少人类社会中自然存在的价值观多元性
人口群体偏见显著：当要求LLM"代入"不同人口群体时，模型表现出与真实人口数据不符的偏见——例如可能高估某些群体对传统价值的偏好或低估其对自我导向的追求
心理测量学验证确保了评估的可靠性：通过与人类被试实际价值得分的统计关联来验证测试项，比直接标注更加客观可靠
模型规模和开源/闭源状态影响价值表达：较大的闭源模型往往表达更"安全"的价值观，可能与更严格的安全训练有关

亮点与洞察¶

心理测量学验证方法是本文最大创新——不依赖主观标注，而是通过统计关联客观地建立测试项与价值维度的联系。这一方法论可以迁移到任何需要评估LLM主观属性的场景（如性格、态度、政治倾向等）
生态效度的坚持具有重要意义——只有在真实使用场景中测量的价值观才有参考意义。在假设的道德困境中表现出仁慈，不代表在日常对话中也会如此
44个模型的横向比较揭示了一个令人担忧的现象：RLHF对齐可能在无意中消除了价值多样性，使所有模型趋向于同一种"安全"的价值画像

局限与展望¶

所有测试项和人类被试评分主要基于英文场景，不同语言和文化背景下的价值表达可能有显著差异
Schwartz的十大基本价值虽然是心理学中最广泛使用的价值理论，但也有其局限——实际的"AI价值观"可能需要额外的维度来描述
LLM的"自评"可能不可靠——模型可能倾向于给出"社会期望"的答案。虽然心理测量学验证缓解了这一问题，但并不能完全消除
人口偏见测试中使用的prompt（如"假设你是XX群体"）本身可能引入额外偏差
未来可以将框架扩展到多语言和多文化场景，也可以尝试设计更隐蔽的价值探测方法来避免模型的"伪装"行为

评分¶

新颖性: ⭐⭐⭐⭐⭐ 心理测量学验证+生态效度的双重设计在LLM评估领域非常新颖
实验充分度: ⭐⭐⭐⭐⭐ 44个模型的大规模评估、人口偏见分析、心理测量可靠性验证，实验极为充分
写作质量: ⭐⭐⭐⭐ 方法论严谨但部分心理学概念可能对NLP读者不够友好
价值: ⭐⭐⭐⭐⭐ 为LLM价值对齐研究提供了方法论标杆，人口偏见发现具有重要的社会意义