跳转至

PsyAgent: Constructing Human-like Agents Based on Psychological Modeling and Contextual Interaction

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/HKUST-FintechLab/PsyAgent
领域: LLM 其他
关键词: 大语言模型, 拟人化智能体, 大五人格建模, 多场景交互, 可控文本生成

一句话总结

PsyAgent 提出了一个显式结合大五人格个体结构(IS)与八大多场景交互规范(MSC)的架构范式,通过两阶段 SFT+DPO 参数高效微调,在保持跨场景规范适应的同时大幅提升了紧凑模型的长程人格保真度与行为一致性。

研究背景与动机

构建具备高度社会适应性与类人特质的智能体,核心难点在于如何让智能体在遵循不同社交场景的角色规范与权力关系的同时,持续表达稳定一致的人格特质。心理学中的大五人格(Big Five)模型已广泛用于刻画人类认知的稳定倾向,然而在现有角色扮演与大语言模型对话系统中,基于简单单次 Prompt 注入的人格极易在多轮交互、长上下文和场景迁移中发生严重漂移、人格坍塌,甚至在模型安全对齐先验的作用下退化回千篇一律的通用助手腔调。

这种特质表现与情境适应性割裂的核心矛盾在于,现存方法要么将人格刻画简化为扁平的自述标签或人口统计学属性(极易引发刻板印象偏差),要么缺乏系统化的社会场景结构约束机制,导致模型在面临复杂的社交规则与角色冲突时无所适从。此外,在紧凑模型规模下,既缺少富含具体社会互动与情境决策的高质量监督数据,也缺乏统一且抗标度偏差的标准化心理测量评估基准,使得小模型在拟人化角色任务中往往显著落后于超大参数通用模型。

为了从根本上解耦人格先验与情境约束,PsyAgent 提出以显式图式(schema-first)为核心的设计路径,将个体心理特质与外部情境场域的交互界面形式化为两套结构化资源:一方面由个体结构(Individual Structure, IS)沉淀稳定的生命历程、受教育背景与文化资本,另一方面由多场景情境库(Multi-Scenario Contexting, MSC)提供涵盖八大日常场域的角色、规范与风险框架。本文的核心 idea 是:将大五人格先验显式映射为高维解耦的个体生活史与八大场域社会规范框架,构建合成监督语料并在统一百分位数空间进行 SFT 与 DPO 偏好对齐,使紧凑端侧模型在保持长期人格保真度的同时精准契合场景规范。

方法详解

整体框架

PsyAgent 的整体架构由三大模块紧密协同构成:个体结构(Individual Structure, IS)画像表征、多场景情境库(Multi-Scenario Contexting, MSC)图式规范库,以及两阶段参数高效微调(SFT 与 DPO)对齐流水线。给定目标大五人格百分位向量,系统首先通过 IS 将数值特质扩展为具象化的个人成长史与社会资本背景,随后与 MSC 的八大场域框架交叉组合生成结构化交互 Prompt,最后驱动微调后的紧凑基座模型在各种情境中输出一致且符合规范的第一人称行为与决策。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["目标大五人格向量<br/>OCEAN 百分位设定"] --> B["个体结构画像构建<br/>解耦四大领域背景"]
    A --> C["多场景情境库匹配<br/>八大场域角色与规范"]
    B --> D["统一情境提示组装<br/>绑定控制标记与指令"]
    C --> D
    D --> E["两阶段适配器训练<br/>LoRA SFT 与 DPO 偏好对齐"]
    E --> F["受控情境生成与评估<br/>角色扮演及 IPIP-NEO-120 测试"]

关键设计

1. 个体结构(Individual Structure, IS):基于社会学与心理学维度的去刻板印象画像表征

针对传统 Persona 依赖人口统计学标签导致泛化脆弱且易强化群体刻板印象的痛点,IS 设计了一套结构化的四域多维图式。该图式涵盖四大核心领域:(1)受教育轨迹(Educational Trajectory,记录各阶段学业专长、教学风格与转折点);(2)生活阅历(Life Experience,记录成长起源、关键事件节点、社会交往模式与长程兴趣);(3)社会经济背景(Socioeconomic Context,涵盖家庭文化氛围、网络资本与阶层流动轨迹);(4)文化资本(Cultural Capital,细分为身体化资本、客观化艺术偏好与制度化资质)。IS 将静态的 Big Five 分数转化为高信息密度的自传体记忆线索,由专用编码器进行文本序列化,在赋予模型具象背景的同时严格剥离可能引发人口统计学偏见的直接标签。

2. 多场景情境库(Multi-Scenario Contexting, MSC):八大日常场域的角色规范约束框架

针对模型在面对陌生场景切换时容易丢失角色认知或机械回复的问题,MSC 构建了涵盖人类日常生活的八大互动场域(Arena):工作职场(Working)、家庭互动(Family)、朋友交往(Friendship)、陌生人/公众交往(Strangers)、独处反思(Solitary)、亲密与恋爱关系(Romantic)、求知与学习(Learning)以及公共表达(Public)。每个场域都严格定义了七元组结构: $\(\langle\text{arena}, r, c, n, s, \text{subskills}, \text{template}\rangle\)$ 其中包含具体角色关系 \(r\)、互动对象权力/亲和力结构 \(c\)、核心社交规范 \(n\)(如礼貌度、保密性、对等性)、交互风险代价 \(s\) 以及对应子技能(如谈判、积极倾听、情绪调节)。MSC 框架为模型提供了行动约束与社会容许度边界,使同一人格向量在不同社会场域中能够展现符合情境的动态行为,实现“特质稳定而举止得体”。

3. 两阶段适配微调与硬负例偏好对齐(PEFT SFT & DPO):兼顾风格保真与行为纠偏

为证明结构化图式能突破 Prompt 工程的上限并赋予轻量小模型卓越的拟人能力,PsyAgent 利用 IS 与 MSC 的笛卡尔积全组合合成了包含自我陈述、多轮角色对话以及附带推理链的情境决策探针数据。在训练阶段,基座模型被冻结并挂载 LoRA/QLoRA 适配器。第一阶段在 IS×MSC 示范数据上最小化掩码交叉熵损失,仅针对回复部分计算损失: $\(\mathcal{L}_{\text{SFT}}(\theta) = -\frac{1}{|\tilde{y}|}\sum_{t=1}^{|\tilde{y}|}\log p_\theta(\tilde{y}_t \mid x, \tilde{y}_{<t})\)$ 第二阶段引入直接偏好优化(DPO)。针对同一个情境 Prompt,以高质量 SFT 产物作为胜者样本 \(y^+\),并通过预置规则采样五种硬负例(包含分数泄露与列表化风格、助手腔调元回复、跨场景串扰、特质翻转、极短敷衍回复)构建败者样本 \(y^-\): $\(\mathcal{L}_{\text{DPO}} = -\log \sigma\left(\beta\left(\ell_\theta(y^+ \mid x) - \ell_\theta(y^- \mid x)\right) - \beta\Delta_{\text{ref}}\right)\)$ 两阶段对齐不仅抑制了模型自曝 AI 身份或罗列人格分数的伪拟人行为,更显著增强了决策对齐的确定性。

损失函数 / 训练策略

在 SFT 阶段,模型仅对 <RESP> 标记之后的回复 Token 计算长度归一化负对数似然损失,Prompt 部分与前缀元数据被完全遮蔽。在 DPO 偏好对齐阶段,采用基于长度归一化对数似然 \(\ell_\theta(y \mid x)\) 的偏好损失以消除输出长度偏差,超参数 \(\beta\) 控制隐式奖励的灵敏度。推理评测全程采用确定性贪心解码(do_sample=False),并在评测阶段利用两阶段协议:先依据目标向量生成第一人称描述段落,再将其植入系统提示中驱动模型独立完成 IPIP-NEO-120 心理测量量表测试,得分映射至 \([0, 100]\) 的百分位数空间。

实验关键数据

主实验

论文在完全受控的统一百分位数评估协议下,对装备 PsyAgent 的模型与未经调优的各类基线模型进行了严格对比,主要指标包括五维度平均绝对误差(MAE5)、均方根误差(RMSE5)、轮廓准确度(ProfileAcc = 100 - MAE5)以及余弦相似度 \(\cos(p, t)\)。

模型 方法配置 RMSE5 ↓ MAE5 ↓ ProfileAcc ↑ \(\cos(p, t)\) ↑
Llama-3.2-1B Baseline (w/o PsyAgent) 58.72 49.88 50.12 0.84
Llama-3.2-1B PsyAgent (with) 45.22 38.19 61.81 0.81
Llama-3.2-3B Baseline (w/o PsyAgent) 33.52 28.75 71.25 0.84
Llama-3.2-3B PsyAgent (with) 31.68 27.82 72.18 0.85
Vicuna-7B Baseline (w/o PsyAgent) 46.27 38.99 61.01 0.83
Vicuna-13B Baseline (w/o PsyAgent) 32.12 27.35 72.65 0.86
Qwen3-4B Baseline (w/o PsyAgent) 39.84 32.91 67.09 0.75
Gemma-4B Baseline (w/o PsyAgent) 34.94 29.48 70.52 0.83
OLMo-32B Baseline (w/o PsyAgent) 39.73 32.92 67.08 0.82

消融实验

在 Llama-3.2-3B 基座上对 PsyAgent 各组成模块开展逐一剥离消融与长度匹配负控制分析:

模块配置 移除组件 / 控制实验 ProfileAcc 说明
IS+MSC (Full) 完整模型配置 72.18 基准性能
IS 组件消融 −受教育轨迹 (Educational Trajectory) 65.12 性能下降 7.06
IS 组件消融 −生活阅历 (Life Experience) 64.20 性能下降 7.98
IS 组件消融 −社会经济背景 (Socioeconomic Context) 57.87 下降最为显著 (-14.31)
IS 组件消融 −文化资本 (Cultural Capital) 65.77 性能下降 6.41
MSC 场域消融 −工作职场互动 (Working) 68.37 缺失职场权力与规范约束
MSC 场域消融 −恋爱与亲密沟通 (Romantic) 63.71 显著降低细腻情感特质拟合
MSC 场域消融 −求知与学习互动 (Learning) 62.32 MSC 模块中单项下降最大
语义错位控制 长度匹配不匹配 IS (Mismatched donor) 55.73 证明语义对齐而非 Prompt 长度起效

关键发现

  • 紧凑模型飞跃式提升:装备 PsyAgent 后,Llama-3.2-1B 的 ProfileAcc 从 50.12 跃升至 61.81(净胜 +11.69),甚至超越了未经调优的 Vicuna-7B 与 OLMo-1B;3B 模型亦达到 72.18,媲美 13B 乃至更大规模通用微调基线。
  • 反向标度律现象:在 Baseline 设置下,超大参数模型(如 Qwen3-30B、Gemma-27B)的表现反而劣于较小模型,主要根源在于大模型在长提示下更倾向于输出过度保守、中庸防卫或助手式套话,从而稀释了纯粹的人格特质信号。
  • 社会经济背景与深层场域是拟人基石:消融表明,去掉社会经济背景(Socioeconomic Context)使 ProfileAcc 暴跌 14.31 点;在情境场域中,求知(Learning)与亲密沟通(Romantic)对真实特质激活的贡献最大。

亮点与洞察

  • 心理学与社会学的双轨结合:创造性地将稳定的五大人格特质与具象的生命历程(IS)及八大多场景角色规范(MSC)解耦建模,解决了单靠 Prompt 无法维持长期人格一致性的困境。
  • 精巧的长度匹配负控制实验:通过注入结构相同但人格错位的 Donor IS 控制组(Prompt 长度差异仅 0.35 token),有力证实性能增益来源于真实社会学语义对齐,彻底排除了长提示充当注意力缓冲器的偶然性解释。
  • 可迁移的拟人对齐协议:其构造硬负例(过滤分数泄露、套话和越界场景)结合 DPO 微调的范式,可直接复用于各类 NPC 对话、智能客服及数字孪生交互系统。

局限与展望

  • 合成数据的领域泛化瓶颈:IS×MSC 语料主要由 LLM 规则模板与生成合成,缺乏真实人类有机对话中常见的语用模糊、情绪反讽与偶发意外,迁移至未见极端领域可能面临表征偏差。
  • 心理测量代理的有效性局限:主指标依赖模型自填 IPIP-NEO-120 问卷,其读出结果虽然严格受控,但本质上融合了指令遵循与格式解析能力,不能直接等同于现实人类心理临床评估。
  • 跨文化规范适用性待检验:MSC 中定义的权力差距与交往规范主要反映西方与通用主流文化语境,对强调高语境或差异化集体主义文化的场景仍需重新标定与本土化重构。

相关工作与启发

  • vs Big5-Chat (Li et al., 2024):Big5-Chat 侧重于单一人格维度的单维高低极值调控;PsyAgent 实现了 5 维连续百分位向量与现实场景规范的端到端联合建模,头对头实验中在多维度人格准确率上更具优势(+1.12)。
  • vs Character-LLM (Shao et al., 2023):Character-LLM 侧重于针对特定历史或虚拟名人做整套记忆记忆体训练;PsyAgent 提出了更通用的心理学图式化规范,无需为单个具体角色耗费独立拟合成本。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出显式解耦大五人格与八大社会场域的 schema-first 拟人框架,概念极其清晰。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1000 组受控配置、完整消融、严格长度匹配控制、PersonaGym/ConvAI2 外部验证与人工盲评。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨自洽,形式化表述与方法推导极为详实完整。
  • 价值: ⭐⭐⭐⭐⭐ 为轻量级边缘端模型实现高保真、得体规范的社会化 Agent 提供了坚实可靠的工程与理论范式。