Improving General Role-Playing Agents via Psychology-Grounded Reasoning and Role Identity Anchoring¶

会议: NeurIPS 2026
arXiv: 2606.27025
领域: LLM Agent
关键词: 角色扮演 Agent, 思维链 (CoT), 强化学习, 心理学推理, 策略优化

一句话总结¶

针对通用角色扮演 Agent 易陷入表面模仿与模板化泛化退化的问题，本文提出融合心理学理论的三步思维链框架 Psy-CoT，并结合基于人设-词元互信息的非对称强化学习优化器 RAPO，显著增强了多样角色设定下的拟真度与一致性。

研究背景与动机¶

构建能够依据任意自然语言人设（Profile）忠实演绎角色的通用角色扮演智能体（General-purpose Role-Playing Agents, RPA），在虚拟陪伴、互动叙事以及游戏 NPC 等领域具有广泛的应用价值。然而，当前构建此类 Agent 的主流范式依赖于在大规模角色扮演语料库上的有监督微调（SFT）。这种范式往往诱导模型进行浅层行为模仿，而非深层次的角色理解：模型虽记住了常见的对话模板与表层模式，但在面对分布外的新角色时，极易退化为千篇一律、平庸泛化的普通助手式回复。

这种退化的深层瓶颈在于模型缺乏从角色特质出发的动态心理推演。虽然引入前置思维链（Chain-of-Thought, CoT）是一种自然的推理增强手段，但通用的 CoT 机制倾向于引导模型寻找客观、理性和全局最优的解题路径；相比之下，真实且鲜活的角色在决策时往往受限于自身认知背景、主观情绪、甚至冲动偏见。进一步地，即使在思维链中注入心理学结构，常规的强化学习（如 GRPO）在优化策略时对所有生成词元（Tokens）一视同仁，导致角色特定表达与通用的模板化安全表达获得相同的奖励梯度信号。这不仅诱发了严重的奖励黑客（Reward Hacking）现象，还使得策略在早期发生严重的策略熵塌缩，丧失了探索角色独特表达的空间。

本文的切入角度是将心理学认知与情绪调控理论显式内化为角色的前置思考流程，并重新审视强化学习优化中每个词元与角色设定的信息耦合度。核心 idea：通过解耦交互感知、心理共情与逻辑构建三阶段心理学思维链（Psy-CoT）实现动态主体推演，并利用人设-词元互信息构建非对称梯度调控优化器（RAPO），在正向优势下放大角色特异性词元梯度、在负向优势下衰减惩罚，从而在强化学习中持续锚定角色身份。

方法详解¶

整体框架¶

本文框架涵盖推理机制（Psy-CoT）与训练优化（RAPO）两个核心组成部分。给定包含角色人设 $P$、初始场景与对话历史上下文 $x$ 的输入，模型在生成最终回答前，首先在 <system_think> 块中执行心理学思维链推演，随后在 <answer> 块中交织生成内心独白（Thought [...]）、外显举止（Action (...)）与对白（Dialogue）。在训练阶段，通过双路前向传播测算含人设与去除人设条件下的词元级互信息，利用非对称策略优化器更新模型参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入上下文 (P, x)<br/>角色人设 P + 场景历史 x"] --> B["阶段 1：心理学思维链 Psy-CoT<br/>交互感知 → 心理共情 → 逻辑构建"]
    B --> C["阶段 2：复合结构化响应生成<br/>内心独白 [...] + 动作 (...) + 对白"]
    C --> D["阶段 3：人设-词元互信息量化<br/>对比消融人设前后条件熵 It = H(yt|x) - H(yt|P,x)"]
    D --> E["阶段 4：非对称策略优化 RAPO<br/>正优势放大角色梯度，负优势衰减探索惩罚"]
    E --> F["更新策略网络 πθ<br/>平衡角色特异性与探索多样性"]

关键设计¶

1. 心理学接地的三步思维链（Psy-CoT）
为打破传统思维链的理性客观定式，Psy-CoT 基于经典社会心理学理论将前置思考拆解为三个环环相扣的步骤： - 交互感知（Interaction Perception）：以心智理论（Theory of Mind, ToM）为理论基础，模型首先纵览场景全局（物理环境、社交格局与在场主体），继而审视当下的即时交互，精准解析对话对手的字面表述、语调线索、潜在意图与真实心智状态。 - 心理共情（Psychological Empathy）：基于认知评价理论（Cognitive Appraisal Theory）与情绪调节理论（Emotion Regulation Theory），模型将感知到的情境置于角色独有的成长经历、世界观与性格缺陷中过滤，推演角色的原发性情绪反应，并根据其一贯应对机制决定对该情绪是坦率宣泄、极力掩饰还是转化为反制武器。 - 逻辑构建（Logical Construction）：汲取目标导向行为理论（Goal-Directed Behavior Theory）思想，模型整合角色知识边界与既定信息，设定符合其性格动机的短期行动目标（哪怕该目标冲动或次优），并在角色社会规范约束下制定具体的应答策略。

2. 基于条件熵差的人设-词元互信息量化（Profile–Token Mutual Information）
为区分哪些词元真正由角色人设驱动、哪些仅是场景通用套话，RAPO 在生成完成项 $y$ 后，针对位置 $t$ 处的词元 $y_t$，计算有无角色人设 $P$ 时的条件熵： $$I_t = I(y_t; P \mid x) = H(y_t \mid x) - H(y_t \mid P, x)$$ 其中 $H(y_t \mid x)$ 表示在消融人设仅给对话上下文时的条件预测熵，而 $H(y_t \mid P, x)$ 为完整输入下的条件预测熵。当 $I_t > 0$ 时，表明人设降低了生成不确定性，模型正在利用确立的角色特征（如口头禅、专业术语）；当 $I_t < 0$ 时，表明人设提高了多样性，模型在跳出通用常规范式探索角色独特性；而 $|I_t| \approx 0$ 则对应受人设影响极微的通用虚词或套话。

3. 非对称词元级梯度调制（Asymmetric Token Weighting）
标准强化学习中，通用套话和高拟真表达在获得相同奖励时分配均等梯度。RAPO 引入阈值 $\delta$ 过滤噪声，并根据组相对优势（Advantage）$\hat{A}$ 的正负符号对 $|I_t| \ge \delta$ 的角色特异性词元施加非对称加权： $$w_t = \begin{cases} 1 + \operatorname{clamp}(|I_t| \cdot \lambda, 0, \mu_+) & \text{if } \hat{A} \ge 0 \text{ and } |I_t| \ge \delta, \\ 1 - \operatorname{clamp}(|I_t| \cdot \lambda, 0, \mu_-) & \text{if } \hat{A} < 0 \text{ and } |I_t| \ge \delta, \\ 1 & \text{if } |I_t| < \delta. \end{cases}$$ 该设计的非对称性在于：当模型生成了优质表现（$\hat{A} \ge 0$）时，主动放大角色特异词元的梯度更新权重（通过上界 $\mu_+$），使策略更快内化人设精髓；而当生成表现不佳（$\hat{A} < 0$）时，主动缩减对这些词元的惩罚力度（通过衰减界 $\mu_-$），避免模型因偶发负反馈而“因噎废食”，保护其表达角色鲜明个性的探索积极性，彻底防止了策略熵塌缩。

损失函数 / 训练策略¶

RAPO 建立在群组相对策略优化（GRPO）框架之上。对每个提示输入 $(P, x)$，采样 $G$ 条候选响应 $\{o_i\}_{i=1}^G$，计算各候选在复合奖励函数下的优势值 $\hat{A}_t^{(i)}$。最终的策略优化目标为： $$J(\theta) = \frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} w_t^{(i)} \min\left( \rho_t^{(i)}\hat{A}_t^{(i)}, \operatorname{clip}(\rho_t^{(i)}, 1-\epsilon, 1+\epsilon)\hat{A}_t^{(i)} \right) - \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}})$$ 其中 $\rho_t^{(i)} = \frac{\pi_\theta(y_t^{(i)} \mid \cdot)}{\pi_{\text{old}}(y_t^{(i)} \mid \cdot)}$ 为重要性采样比率。复合奖励函数解耦为三个维度： $$R(y) = \alpha R_{\text{fmt}}(y) + \beta R_{\text{think}}(y) + \gamma R_{\text{ans}}(y), \quad \alpha + \beta + \gamma = 1$$ $R_{\text{fmt}}$ 为严格的格式合规性硬约束（包括标签成对、思维链三阶段子标题匹配以及除指定标签外无冗余字符）；仅当 $R_{\text{fmt}} = 1$ 时，才激活由大语言模型裁判评估的思维链质量打分 $R_{\text{think}}$（涵盖 A1-A4：交互感知、心理共情、逻辑构建以及思行一致性）和回答质量打分 $R_{\text{ans}}$（涵盖 B1-B4：对话能力、角色一致性、人际互动与叙事推进）。

实验关键数据¶

主实验¶

论文在三个代表性通用角色扮演评测基准上进行了全面检验：多轮叙事综合基准 CoSER、英文多维度评测集 CharacterBench，以及验证跨语言能力的中文基准 CharacterEval。

下表展示了在 CoSER 基准上，RAPO 与多种通用模型、SFT 专业模型及其它主流强化学习算法（Qwen2.5-7B-Instruct 骨干）的对比：

模型 / 算法配置	剧情一致性 (Storyline)	拟人化程度 (Anthropomorphism)	角色保真度 (Fidelity)	剧情质量 (Quality)	平均分 (Avg.)
商用与通用开源模型
Doubao-1.5-Pro-Character	48.13	32.74	40.93	52.28	43.52
GPT-4o-mini	47.32	40.18	40.51	52.47	45.09
GPT-5-Chat	46.78	35.10	42.03	59.61	45.88
DeepSeek-V4-Flash	47.07	37.30	39.77	57.84	45.49
Qwen3-4B-Instruct	47.01	35.56	35.72	50.17	42.11
+ Psy-CoT + GRPO	55.60	41.00	34.64	50.44	45.42
+ Psy-CoT + RAPO (本文)	55.41	40.80	39.32	55.94	47.87
Qwen2.5-7B-Instruct	48.09	33.15	37.42	46.58	41.31
+ Psy-CoT + CPO	52.31	36.85	28.73	49.62	41.88
+ Psy-CoT + GSPO	51.84	37.66	32.18	48.78	42.61
+ Psy-CoT + DAPO	52.09	39.08	37.19	44.03	43.10
+ Psy-CoT + GRPO	53.27	42.52	34.45	52.04	45.82
+ Psy-CoT + RAPO (本文)	55.77	44.67	37.50	53.02	47.74
SFT 专业微调模型
Qwen2.5-7B-Instruct-CoSER	54.80	37.07	45.17	59.08	49.03
Qwen2.5-7B-Instruct-Crab	55.31	32.18	40.44	51.06	44.75

实验结果表明，在相同的 Psy-CoT 前置思考与奖励体系下，RAPO 在 Qwen2.5-7B-Instruct 上取得了 47.74 的平均得分，显著优于 GRPO（45.82）、DAPO（43.10）和 CPO（41.88）。尤其在表征角色灵魂的“拟人化程度”指标上，RAPO 达到 44.67，相比 GRPO 的 42.52 提升了 2.15。在 Qwen3-4B-Instruct 上，RAPO 驱动的模型（47.87）甚至全面超越了 GPT-5-Chat（45.88）和 DeepSeek-V4-Flash（45.49）。在 Llama-3.1-8B-Instruct 骨干上，RAPO 将基线模型从 31.69 大幅推升至 44.55，相对增益达 40.6%。

下表展示了在英文 CharacterBench 评测集上的细粒度表现（6 个维度总评）：

骨干模型及优化方案	记忆 (Memory)	知识 (Knowledge)	人格 (Person)	情绪 (Emotion)	道德 (Morality)	真实可信度 (Believability)	综合均分 (Avg.)
Qwen2.5-7B-Instruct (Base)	3.64	2.95	3.94	3.12	4.87	3.03	3.64
+ Psy-CoT + CPO	3.77	2.98	3.91	2.93	4.90	3.26	3.65
+ Psy-CoT + DAPO	3.67	3.08	3.95	3.04	4.94	3.25	3.70
+ Psy-CoT + GRPO	3.77	3.02	3.98	2.95	4.92	3.24	3.68
+ Psy-CoT + RAPO (本文)	3.77	3.03	4.07	3.07	4.92	3.34	3.75
Qwen2.5-7B-Instruct-CoSER (SFT)	4.02	2.94	3.67	2.86	4.69	2.95	3.50
Qwen2.5-7B-Instruct-Crab (SFT)	4.16	2.78	3.85	3.12	4.80	3.07	3.62

在 CharacterBench 上，SFT 模型（如 CoSER 仅 3.50、Crab 仅 3.62）因在非分布数据上的过拟合效应，得分甚至低于未微调的 Base 基础模型（3.64）。而 RAPO 取得了 3.75 的最优均分，在人格维度（Person, 4.07）与可信度维度（Believability, 3.34）上均表现优异。在中文 CharacterEval 基准中，RAPO 同样表现出优异的跨语言泛化性，行为（Behavior）子维度评分达到 3.81，大幅领先 GRPO 的 2.74。

消融实验¶

在 Qwen2.5-7B-Instruct 上对 Psy-CoT 与 RAPO 进行系统性消融，结果如下表所示：

训练配置与消融设置	CoSER 均分	CharacterBench 均分	CharacterEval 均分
Base 基础模型	41.31	3.64	3.09
+ No-CoT-SFT (直接 SFT)	45.71	3.57	3.10
+ No-CoT-RAPO (无 CoT 的 RAPO)	44.65	3.73	3.16
+ Psy-CoT-RAPO (完整模型)	47.74	3.75	3.33

消融数据清晰表明： 1. SFT vs. RL 的泛化性差异：No-CoT-SFT 虽在 CoSER 训练同域上得分达 45.71，但在 CharacterBench 上跌至 3.57（低于 Base 的 3.64）；相反，No-CoT-RAPO 在多基准上保持稳健提升（3.73 与 3.16）。 2. Psy-CoT 的协同增益：在 RAPO 训练中加入 Psy-CoT 之后，CoSER 从 44.65 跃升至 47.74（+3.09），CharacterEval 从 3.16 提升至 3.33（+0.17），证实心理学思维链提供了更丰富、更符合逻辑连贯性的优化轨迹。

在针对负向衰减系数 $\mu_-$ 的消融分析中（见原文图 6），当设置 $\mu_- = -0.2$（即反向加重惩罚）或 $\mu_- = 0$ 时，模型均遭遇单调的策略熵塌缩（熵值从 1.3 暴跌至 0.6 以下）；而设定合理的正向截断值 $\mu_- = 0.1$，策略熵能够平稳维持在 1.5~2.0 区间，维持了探索活性。

关键发现¶

熵崩溃是角色扮演强化的隐形杀手：GRPO 和 DAPO 因在序列所有词元上无差别广播优势，导致策略迅速收敛于狭隘的局部套话，策略熵单调归零。RAPO 通过对角色特异词元在负优势下的惩罚削弱机制，从数学机制上遏制了过早收敛。
表面高奖励不等于角色保真度：通用套话容易讨好传统的 LLM 裁判。RAPO 引入互信息动态分离通用词元与人设词元，使得策略在高奖励区间真正偏好人设强相关表达。
小模型推理遵循门槛：CoT 推理在 14B、70B 等强指令遵循模型上即插即用效果突出；而在 7B 及以下小模型中，单纯依靠提示词引入复杂 CoT 容易引发格式紊乱，必须借助 RAPO 等强化学习进行格式与逻辑闭环的内化训练。

亮点与洞察¶

心理学视角的思维建模：将“理性问题求解”的传统 CoT 范式，革新为融合心智理论、情绪调节与目标导向行为的“主观角色心理演绎”，从根本上解决了 AI 角色“过于理性客观、缺少人情味与偏见”的痼疾。
信息论视角的策略重权：跳出单纯在奖励函数（Reward Engineering）上修修补补的思路，创造性地通过有无角色的条件熵差定义“人设-词元互信息”，在梯度更新层面实现细粒度外科手术式的调控。
正向激励与负向宽容的非对称设计：好表现强化角色个性，差表现不惩罚角色表达。这种非对称机制兼顾了角色特征学习与生成分布熵值的稳定性，为文本生成式 RL 提供了极具价值的抗塌缩新范式。

局限与展望¶

算力开销翻倍：为了在训练期间实时计算词元级互信息，每个生成的序列均需执行两次前向传播（包含人设与消融人设），增加了约一倍的前向显存与时间开销。
模型规模覆盖：当前 RAPO 强化学习实验主要在 4B、7B 和 8B 规模的模型上展开验证，在 14B 以上以及 MoE 架构模型上的全量训练动态仍有待进一步实证。
评测协议的裁判偏置：虽然评估中综合了 GPT-4o-mini、专用奖励模型及人工评测，但基于提示词的打分裁判仍存在潜在的偏好偏差，未来可探索更加客观的无参考交互博弈评估。

评分¶

新颖性: 4.5 / 5.0（心理学理论与前置思维链结合深入，基于条件熵差非对称重权的策略优化思路极具原创性）
实验充分度: 4.5 / 5.0（涵盖英汉三大多轮对话基准、多种架构对比、细粒度消融、训练动态监测与严格的人工盲测）
写作质量: 4.8 / 5.0（结构清晰流畅，公式推导严密，案例剖析透彻，动机与理论背景论述极具说服力）
价值: 4.5 / 5.0（为大模型在虚拟角色、陪伴对话及具身情境交互中的深度对齐与强化学习提供了扎实的工程方法与理论范式）