Beyond Profile: From Surface-Level Facts to Deep Persona Simulation in LLMs¶

会议: ACL 2025
arXiv: 2502.12988
代码: https://github.com/CharacterBot
领域: LLM / 角色扮演
关键词: 深度人格模拟, CharLoRA, 鲁迅, 风格迁移, 多任务微调

一句话总结¶

提出 CharacterBot，通过 4 个训练任务（视角重建预训练 + 选择题/生成式QA/风格迁移微调）和 CharLoRA 参数更新机制，从鲁迅 17 部杂文集中学习其语言风格和深层思想模式，在语言准确性和观点理解上显著超越各基线。

领域现状：LLM 角色模拟主要通过记忆基础个人信息或利用对话数据微调来实现。提示工程方法动态注入角色描述但无法捕捉深层特质。

现有痛点：现有方法过度简化角色表示，局限于表面对话或基本属性描述。真正的角色模拟需要捕捉世界观、伦理框架、语境依赖的观点等深层身份要素。

核心矛盾："书是灵魂的镜子"——作家的作品本身蕴含着其信念、洞察和反应模式，比简历式描述更能反映角色本质，但如何从作品中提取这些深层特质？

本文目标 从作家全集中学习其语言风格和思想深度，构建超越表面模仿的深度角色模拟。

切入角度：以鲁迅为案例，设计预训练+3 任务微调的多任务框架，配合 CharLoRA 实现跨任务的角色一致性。

核心 idea：用作者视角重构预训练学风格，用选择题/问答/风格迁移微调学思想，用 CharLoRA 共享-专用参数机制保持角色一致性。

预训练阶段： - APR（作者视角重构）：将鲁迅第一人称杂文转为第三人称（"作者认为/批评"），让模型建立观点与作者的归属关系 - 在原文 + APR 版本上做 next-token prediction

微调阶段（3 个任务）： - 选择题 QA：从杂文出发设计 4 选 1 题目，测试对作者观点的理解 - 生成式 QA：开放式问答，产出需反映鲁迅的修辞和意识形态模式 - 风格迁移：将无风格文本改写为鲁迅风格，保持语义一致

CharLoRA:
- 功能：改造 LoRA 为角色模拟优化——预训练学到共享 \(\mathbf{A}_{pt}\) 编码通用风格，微调时各任务拥有独立 \(\mathbf{B}_i\) 编码任务特定模式
- 前向传播：\(\mathbf{h}_i = W_0 \mathbf{x} + \mathbf{B}_i \mathbf{A}_{pt} \mathbf{x}\)
- 微调时只更新活跃任务的 \(\mathbf{B}_i\) 和共享 \(\mathbf{A}_{pt}\)，其他任务矩阵冻结
- 设计动机：共享矩阵确保角色一致性（鲁迅的核心声音贯穿所有任务），专用矩阵允许任务适配
数据生成：GPT-4o 生成训练数据，638 篇杂文 × 每篇 3 组 QA + 3 条风格迁移对，人工验证质量

模型	选择题准确率	生成QA内容分	生成QA风格分	风格迁移BLEU	风格迁移ROUGE-1	风格匹配
Llama3.1-8B	0.614	2.370	1.354	0.113	0.264	0.267
Qwen2.5-7B	0.787	2.828	2.818	0.115	0.233	0.456
GPT-4o	0.734	3.214	2.542	0.088	0.196	0.471
通义星尘	0.788	3.172	2.823	0.101	0.187	0.534
CharacterBot	0.880	3.214	2.885	0.293	0.410	0.937