Improving General Role-Playing Agents via Psychology-Grounded Reasoning and Role-Aware Policy Optimization¶

会议: NeurIPS 2026
arXiv: 2606.27025
OpenReview: https://openreview.net/forum?id=DF7xRhiXvd
代码: 待确认
领域: LLM Agent
关键词: 角色扮演智能体, 心理学链式思考, 角色感知策略优化, 互信息, 强化学习

一句话总结¶

针对通用角色扮演智能体在强化学习中易退化为模版化泛用表达的奖励黑客问题，本文提出基于心理学认知理论的三阶段思维链 Psy-CoT 与利用画像-词元互信息非对称重加权的策略优化算法 RAPO，显著提升角色一致性与跨基准泛化能力。

研究背景与动机¶

构建能够根据自然语言设定（Profile）动态演绎任意角色的通用角色扮演智能体（General Role-Playing Agents, RPAs），是虚拟陪伴、交互叙事以及游戏 NPC 等应用的核心支柱。然而主流的构建范式普遍依赖监督微调（SFT），例如在 ChatHaruhi、RoleLLM 或 CoSER 等角色扮演语料库上拟合回复。这种模式使得模型倾向于机械式模仿表层句式与特定话术，缺乏类似人类深层内部心理思考的推演过程，一旦面对分布外（OOD）的新角色设定便极易发生灾难性退化，产生毫无角色辨识度的泛化客套话。

为了让模型从被动模仿转向主动理解，直觉的做法是引入思维链（CoT）进行前置思考。但通用 CoT 的优化目标通常导向客观、理性和最优决策，而一个真实可信的角色往往具有主观偏见、情绪弱点甚至冲动非理性的决策倾向。更严峻的是，当尝试采用强化学习（RL）进一步对齐角色忠实度时，由于基于大模型的奖励模型（LLM Judge）通常只能给出标量打分，无论模型生成的是迎合判别偏好的通用泛化词句（如毫无特质的礼貌寒暄或格式模板），还是真正承载角色灵魂的专属词汇，它们在反向传播时获得的梯度信号都是完全相同的；长期的策略优化导致奖励黑客（Reward Hacking）现象持续累积，使模型难以真正感知角色设定的内在价值。

本文的切入角度是：必须将人类扮演角色时的内部心理认知机制系统化建模为思维链，同时在强化学习的梯度更新阶段打破 token 级别的无差别对待。核心 idea：提出基于心理学理论拆解的三阶段前置思维链 Psy-CoT（交互感知、心理共情、逻辑构建），并设计基于画像-词元互信息进行正负优势非对称梯度调制的角色感知策略优化算法 RAPO，在强化角色特质表达的同时避免探索崩溃。

方法详解¶

整体框架¶

RAPO 框架将角色扮演任务建模为基于自然语言画像和对话历史的多轮开篇演化过程。在每一轮交互中，模型首先在 <system_think> 标签内执行基于心理学三要素的显式思维链 Psy-CoT 推理，生成包含交互感知、心理共情与逻辑构建的内在推演；随后在 <answer> 标签内输出交织了内心独白 [...]、外在肢体动作 (...) 以及口头台词的正式角色回复。在离线强化学习优化阶段，算法针对同一输入提示采样多个生成轨迹，计算结构合规性与 LLM 评审综合奖励；核心机制在于引入包含画像与剥离画像的成对前向传播，计算每个 token 的画像-词元互信息，并据此在优势值正负方向上对策略梯度实施非对称重加权。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 角色画像 P + 场景与历史 x"] --> B["阶段 1: Psy-CoT 心理学思维链<br/>交互感知 → 心理共情 → 逻辑构建"]
    B --> C["阶段 2: 结构化动作/语言输出<br/>内心独白 + 肢体动作 + 台词"]
    C --> D["阶段 3: 多维度混合奖励判别<br/>格式奖励 + 思考评审 + 答复评审"]
    D --> E["阶段 4: RAPO 非对称策略梯度优化<br/>互信息定量计算与优势符号自适应调制"]

关键设计¶

1. 心理学链式思考（Psy-CoT）：将角色前置推演拆解为三个认知理论层级 通用思维链通常驱动模型追求客观最优解，背离了特定角色的性格缺陷与主观局限。Psy-CoT 借鉴人类认知与社会心理学理论，在生成最终回复前强制执行三个具有严格先后依赖的思维步骤： - 交互感知（Interaction Perception）：以心智理论（Theory of Mind, ToM）为根基，首先通览全局场景环境与当前在场的所有角色，捕捉最新轮次对话者的字面语义、情绪语调、隐藏诉求与当前心理状态，确保社交情境感知的连续性。 - 心理共情（Psychological Empathy）：依据认知评价理论（Cognitive Appraisal Theory）与情绪调节理论（Emotion Regulation Theory），将所处情境置于角色独有的经历、核心价值观、性格弱点及认知盲区中过滤，推演出角色的真实原发情绪，并进一步决策对该情绪是坦率表达、刻意隐藏还是作为社交武器加以利用。 - 逻辑构建（Logical Construction）：基于目标导向行为理论（Goal-Directed Behavior Theory），融合角色掌握的事实知识与世界观，制定出符合角色本能驱使的短期策略目标（如挑衅、转移话题、安抚、主导控制等），哪怕该目标在理性看来是冲动或次优的，从而确保推演行动真正源于角色动机。

2. 画像-词元互信息定量评估：精准分离角色特质表达与通用结构词汇 传统强化学习视所有生成 token 为同等重要，无法区分奖励增长到底是来自通用的模板拟合还是真正的角色刻画。RAPO 通过信息论中的条件熵差值衡量角色画像 $P$ 对生成位置 $t$ 处词元 $y_t$ 的干预强度。具体而言，模型对同一采样在完整提示 $(P, x)$ 以及剥离画像的通用提示 $x$ 下分别进行前向传播，计算画像-词元互信息： $$I_t = I(y_t; P \mid x) = H(y_t \mid x) - H(y_t \mid P, x)$$ 其中 $H$ 表示条件熵。$I_t > 0$ 表示引入画像降低了不确定性，代表模型正在利用已建立的角色特质生成代表性词句（Exploitation）；$I_t < 0$ 表示画像激发了多样性，促使模型打破通用规律尝试新的角色特化行为（Exploration）；而 $|I_t| \approx 0$ 则精确标识出那些与角色无关的通用语法词或过渡句。引入影响阈值 $\delta = 0.1$，过滤微弱噪声。

3. 非对称梯度重加权机制：放大正向特质学习并缓解负向惩罚导致的探索坍塌 在强化学习策略更新中，若回复获得负优势（$\hat{A} < 0$），常规算法会对该轨迹的所有 token 进行无差别打压，导致模型在角色探索失败后迅速退缩回最稳妥的通用平庸回复，引发策略熵崩塌。RAPO 设计了以优势符号为条件的非对称权重函数 $w_t$： $$w_t = \begin{cases} 1 + \operatorname{clamp}(|I_t| \cdot \lambda, 0, \mu_+) & \text{若 } \hat{A} \ge 0 \text{ 且 } |I_t| \ge \delta, \\ 1 - \operatorname{clamp}(|I_t| \cdot \lambda, 0, \mu_-) & \text{若 } \hat{A} < 0 \text{ 且 } |I_t| \ge \delta, \\ 1 & \text{若 } |I_t| < \delta. \end{cases}$$ 其中 $\lambda = 1.0$，正向上限 $\mu_+ = 0.2$，负向阻尼上限 $\mu_- = 0.1$。当轨迹表现出色时，放大角色特质词元的梯度，迫使模型更深地吸收角色专属行为模式；当轨迹表现不佳时，大幅削弱对特质词元的惩罚，承担失败代价的主要是通用逻辑成分，从而保护模型敢于展现个性化特质的探索空间。

损失函数 / 训练策略¶

RAPO 基于组相对策略优化（GRPO）构建训练目标，每个提示采样 $G=5$ 条补全，计算组内优势 $\hat{A}^{(i)} = (R(y^{(i)}) - \mu_R) / \sigma_R$。综合奖励函数解耦为确定性格式检查 $R_{\text{fmt}}$（标签存在性、三级子标题合规度以及无冗余内容，共 1.0 分）以及在格式满分时由大模型裁判（Qwen3-30B-A3B-Instruct-2507-FP8）给出的深层评审分 $R_{\text{think}}$ 与 $R_{\text{ans}}$。最终参数更新采用融入逐 token 权重 $w_t^{(i)}$ 的截断目标： $$J(\theta) = \frac{1}{G} \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} w_t^{(i)} \min \left( \rho_t^{(i)} \hat{A}_t^{(i)}, \operatorname{clip}(\rho_t^{(i)}, 1-\epsilon, 1+\epsilon) \hat{A}_t^{(i)} \right) - \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}})$$ 其中 $\rho_t^{(i)}$ 为重要性采样比率，$\epsilon = 0.2$。训练在 6 张高显存 GPU 上开展，并在答案区域施加 300–350 字符的线性软长度惩罚，避免冗长回复对大模型裁判产生格式膨胀幻觉。

实验关键数据¶

主实验¶

论文在 CoSER 评估基准上系统对比了专有闭源模型、开源大模型基线以及各类强化学习策略在角色扮演多维度的表现。

模型 / 算法	故事线一致性	拟人化程度	角色保真度	故事线质量	平均分
Doubao-1.5-Pro-Character	48.13	32.74	40.93	52.28	43.52
GPT-4o-mini	47.32	40.18	40.51	52.47	45.09
GPT-5-Chat	46.78	35.10	42.03	59.61	45.88
DeepSeek-V4-Flash	47.07	37.30	39.77	57.84	45.49
Qwen3-4B-Instruct (Base)	47.01	35.56	35.72	50.17	42.11
Qwen3-4B + Psy-CoT + GRPO	55.60	41.00	34.64	50.44	45.42
Qwen3-4B + Psy-CoT + RAPO	55.41	40.80	39.32	55.94	47.87
Qwen2.5-7B-Instruct (Base)	48.09	33.15	37.42	46.58	41.31
Qwen2.5-7B + Psy-CoT + CPO	52.31	36.85	28.73	49.62	41.88
Qwen2.5-7B + Psy-CoT + GRPO	53.27	42.52	34.45	52.04	45.82
Qwen2.5-7B + Psy-CoT + GSPO	51.84	37.66	32.18	48.78	42.61
Qwen2.5-7B + Psy-CoT + DAPO	52.09	39.08	37.19	44.03	43.10
Qwen2.5-7B + Psy-CoT + RAPO	55.77	44.67	37.50	53.02	47.74
Llama-3.1-8B-Instruct (Base)	37.39	25.78	30.22	33.36	31.69
Llama-3.1-8B + Psy-CoT + GRPO	52.99	37.57	35.08	47.64	43.32
Llama-3.1-8B + Psy-CoT + RAPO	53.94	41.34	33.99	48.95	44.55

消融实验¶

在 Qwen2.5-7B-Instruct 主干上逐步验证 Psy-CoT 与 RAPO 优化的有效性，并在 CoSER、CharacterBench（英文）和 CharacterEval（中文）三个跨语言基准上评估泛化性。

训练配置	CoSER 平均分	CharacterBench 平均分	CharacterEval 平均分	核心观察说明
Base (Qwen2.5-7B)	41.31	3.64	3.09	未经角色对齐的原始指令模型
+ No-CoT-SFT	45.71	3.57	3.10	SFT 存在明显的跨数据集过拟合，CharB 下降
+ No-CoT-RAPO	44.65	3.73	3.16	无 CoT 下 RAPO 跨基准泛化表现优于 SFT
+ Psy-CoT-RAPO (Full)	47.74	3.75	3.33	思维链与非对称优化协同，三项基准全线最优

此外，针对负优势抑制参数 $\mu_-$ 的策略熵动力学分析显示：当 $\mu_- = 0.1$ 时，策略熵平稳保持在 1.3 至 2.0 的健康探索区间；若设置 $\mu_- = -0.2$（即对负优势特质 token 加倍惩罚），策略熵在 50 步内迅速跌落至 0.6 以下，发生严重的策略崩塌。

关键发现¶

拟人化与行为逼真度显著跳升：RAPO 在衡量角色灵魂的关键细粒度维度表现尤为突出，CoSER 拟人化比 GRPO 提升 2.15 分，CharacterEval 行为一致性（Behavior）子项达到 3.81 分，相比 GRPO（2.74 分）实现了高达 39% 的飞跃。
开源小模型反超顶尖专有大模型：搭载 Psy-CoT + RAPO 的 Qwen3-4B（47.87）与 Qwen2.5-7B（47.74）在 CoSER 上的综合评分超越了 GPT-5-Chat（45.88）和 DeepSeek-V4-Flash（45.49），展现了后训练阶段精准奖励引导的高效能。
SFT 泛化瓶颈的实证破除：基于海量数据直接微调的模型（如 Crab、AdaMARP 系列）在同源分布上得分较高，但在 OOD 基准（如 CharacterEval）上得分全部跌破 2.87，甚至劣于 Base 未微调模型（3.09）；而 RAPO 的认知推演与偏好引导范式在中文基准上保持稳健提升（3.33）。

亮点与洞察¶

信息论赋能的 Token 级重要性归因：巧借引入/剥离画像带来的模型条件熵变动，以无监督方式实时量化任意 token 的角色依附度，摆脱了人工定义角色词典或额外训练敏感分类器的局限。
正负优势非对称调制的探索保护：发现并解决了大模型角色强化学习中的“惩罚导致平庸”悖论，通过在负反馈中保护特质词元，维持了策略熵水平，使代理在复杂社交博弈中敢于展现独特个性。
可复用的通用智能体调优思路：该方法可自然泛化至任何受系统提示（System Prompt / Constraints）强约束的任务，如具有特定代码风格约束的 Code Agent，或带有严苛合规限制的安全客服智能体。

局限与展望¶

计算开销翻倍：每个采样轨迹都需要分别执行带画像与无画像两次前向传播以计算互信息，在分布式训练与长上下文场景下大幅增加了计算与内存负载。
更大规模模型的验证尚待扩展：实验主要覆盖 4B 至 8B 参数级别，在 14B 以上及 MoE 架构上的互信息敏感度与优化稳定性仍需进一步评估。
提示敏感性：互信息的有效性高度依赖画像文本本身的质量与清晰度，若用户给出的角色描述极度模糊或存在内部事实矛盾，熵差信号可能会产生噪声偏差。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将心理学理论融入角色思考链，并以信息论互信息实现强化学习的词元级非对称梯度调制，极富创新性。]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖三个跨语言中英文评测基准、4 个模型家族、消融及熵动力学分析，附带细致人工盲测。]
写作质量: ⭐⭐⭐⭐⭐ [逻辑架构严整，理论背景与数学推导清晰，实验图表详实。]
价值: ⭐⭐⭐⭐⭐ [有效突破角色扮演智能体强化学习中泛化衰退与表层拟合的核心痛点，具有极高的工业与研究参考价值。]