跳转至

Personas Differ from Native-Language Generation: Language Pathways Shape LLM Interpersonal Advice

会议: EMNLP 2026
论文: ACL Anthology
领域: 社会计算
关键词: 大语言模型, 角色预设, 母语生成, 人际建议, 行为支架

一句话总结

针对大语言模型在多语言人际建议中常用的“母语者角色预设”快捷方式,本文系统对比了母语生成后回译(NL)与英语母语者角色预设(NP),证明二者在语用风格、行为支架与行动推荐上存在系统性背离,角色预设虚增了表层亲和社交词汇却削弱了可落地的行为指导并更倾向直接冲突。

研究背景与动机

大语言模型正被日益广泛地应用于人际沟通咨询与社交行为决策辅助,涵盖职场冲突调解、边界设立、亲密关系维系以及家庭沟通等高度敏感的社交场景。在这些任务中,模型所扮演的绝非单纯的语言生成工具,而是实质性地向用户推荐针对特定对象的行为处事策略。尤其在跨文化或跨语言交往中,用户往往清楚自己的核心诉求,却难以把握目标语言文化在直接性、礼貌度、权力层级以及情感克制等方面的细微社交规范。然而,当前多语言大模型的评估长期锚定在机器翻译、事实问答、逻辑推理和通用指令遵循等客观基准上,这类任务存在唯一的标准答案,根本无法刻画人际建议中言语行为与社交意图密不可分、缺乏单一正确解且极度依赖语用权衡的复杂现实。

为了在跨语言与跨文化场景中激发模型的文化敏感性或群体特异性,学界和产业界普遍采用一种便捷的提示词策略,即通过指令设定“母语者角色”(Native-Speaker Persona),要求模型以目标语言母语者的身份用英语回答。这种做法隐含着一个未经检验的方法论假设:在英语提示词中附加母语者身份设定,等价于模型真正沉浸在目标语言内部进行语境理解与社会认知推理。然而,人际交往中的社交立场与行动决策是由特定语言社群的深层互动模式支撑的,简单的身份角色标注往往仅激活模型在英语预训练中习得的刻板印象或表层亲和模式,难以还原目标语言原生思维路径所承载的深层语用权衡与关系维护逻辑。

这就构成了多语言社交大模型研究中的核心方法论矛盾:大模型究竟是将角色预设当成了外在的面具表演,还是真正模拟了目标语言的社会行为认知机制?为了厘清这一混淆,本文的核心目标是系统解耦“生成语言路径”对模型人际决策的影响,检验英语角色预设与目标语言原生生成是否具有行为等价性。核心 idea:跨语言诱导策略不是中立的工程实现细节,通过严格控制人际困境语义并解耦语言路径,研究证实角色预设与母语生成不仅在词汇风格与语用姿态上存在显著分野,更在行为改变支架与实际行动推荐上产生系统性分流,角色预设无法替代母语原生生成。

方法详解

整体框架

本文构建了一个系统性解耦语言生成路径的人际建议评估框架。研究首先从真实人际技能问答社区中抽取职场、交友、恋爱和家庭四大核心维度的 600 个真实人际困境,利用语义控制的高质量翻译管线将其对齐至 12 种非英语目标语言。随后,研究系统比较五种语言生成路径:基线英语直接生成(English)、回译后生成(TTG)、母语生成后回译(NL)、单阶段跨语输入英语输出(OSP)以及母语者英语角色预设(NP)。最终,模型生成的建议与决策通过 LIWC 词汇分析、LLM 语用维度标注、行为改变技术分类学(BCT)行为支架量化,以及三分类强迫选择行动推荐任务进行多层级交叉评测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["人际困境输入<br/>600道日常关系冲突问答"] --> Des1["语义可控多语言困境构建<br/>NLLB采样与回译方差筛选"]
    Des1 --> Des2["语言生成路径解耦机制<br/>对比母语生成翻译与角色预设"]
    Des2 --> Des3["多层级语用与行为支架评估体系<br/>LIWC词汇+LLM语用+BCT支架+迫选决策"]
    Des3 --> Out["实证结论输出<br/>NP虚增表层亲和且减弱支架并偏好冲突"]

关键设计

1. 语义可控多语言困境构建:跨语言困境失真与翻译语义漂移 -> 基于 NLLB-200 的多候选采样与回译方差最小化筛选 -> 确保跨语言语义等价与情境保真 跨语言评估的前提是确保不同语言提示词在情境细节、困境张力及情感诉求上完全等价,避免机器翻译引入的歧义或信息缺失干扰下游生成。本文从 Interpersonal Skills Stack Exchange 挑选涵盖职场环境(150题)、朋友相处(150题)、亲密关系(150题)及家庭生活(150题)的 600 道高赞求助问题,剔除特定国别标签以聚焦普适性人际冲突。针对 12 种目标语言(覆盖东亚、中东/突厥、日耳曼及罗曼语族),使用 NLLB-200-distilled-1.3B 在温度 0.3 下为每个问题采样生成 32 个候选翻译;随后在温度 0.7 下对每个候选进行 4 次反向翻译回英语,利用 all-MiniLM-L6-v2 计算回译与英文原始问题的余弦相似度。算法最终在均值相似度前 5 的候选集中,选取回译方差最小的翻译作为基准输入。该策略实现了全语种平均 0.928 的高语义保真度(西班牙语达 0.976,最具翻译挑战的日语亦达到 0.876),确保跨语言差异归因于语言生成路径而非翻译噪声。

2. 语言生成路径解耦机制:角色扮演与母语认知机制混同 -> 对比母语生成翻译与英语角色预设并引入中介路径 -> 严格解耦表层提示与深层语言生成路径 研究的核心在于检验母语者角色预设(NP)能否复现母语生成后翻译(NL)的行为输出。为了精确定位差异发生于输入理解阶段还是输出生成阶段,研究设计了涵盖两步与单步的多路生成范式:在 NL 路径中,模型在目标语言提示下用目标语言独立生成长文建议,再由独立的翻译步骤转化为英文进行统一文本分析;而在 NP 路径中,模型直接接收原始英文问题,但在 Prompt 中强加“你是一位某语母语者(You are a native speaker)”的身份约束并直接输出英语。为排除输入语言翻译或单语输出的混杂效应,研究额外引入两项对照:其一是回译后生成(TTG),将目标语输入翻译回英语再由模型用英语生成,用以检验仅提示词翻译能否解释差异;其二是单阶段英语输出(OSP),即向模型输入目标语问题但要求其直接用英语输出,用以隔离目标语理解对跨语言思考的影响。

3. 多层级语用与行为支架评估体系:传统 NLP 测评无法度量复杂人际建言 -> 融合 LIWC 词汇特征、LLM 语用评分、BCT 行为技术与迫选行动决策 -> 深度揭示表层亲和与实操支架的背离 人际建议的质量既取决于言语表达的礼貌与温和程度,更取决于是否提供了切实可行的行动支架与合理的社交应对策略。本文设计了由表及里的四层评估维度:首先,利用 LIWC-22 提取包含亲和归属(affiliation)、权力(power)、正向情感(positive tone)、社交参照(social references)和亲社会语言等 12 项词汇心理特征;其次,利用 GPT-4o 评测直接性(directness)、正式度(formality)、情感表达(emotional expressiveness)、社交同理(social attunement)和具象度(concreteness)5 大语用维度;再次,将健康心理学中的行为改变技术分类学(BCT)引入人际建议评估,细分为目标设定、行动规划、社会支持、后果推理、自我监控、问题解决、认知重构与行为反馈 8 类行为支架指标;最后,构建独立的迫选任务,要求模型在完全相同的情境下从“直接冲突/对抗(Confrontation)”、“抽身脱离/回避(Disengagement)”与“重定向/调解折中(Redirection)”中做出唯一选择。

评估体系与实验设计

实验横跨 8 个代表性前沿大语言模型,包括 5 个开源模型(google/gemma-4-E4B-it、google/gemma-4-26B-A4B-it、google/gemma-4-31B-it、Qwen/Qwen3.6-27B、Qwen/Qwen3.6-35B-A3B)以及 3 个主流闭源商业模型(claude-opus-4.6、gpt-4o、gpt-5.5)。在数据统计上,研究以纯英文基线为参考,计算配对 prompt-model 下的标准化差异评分,利用单样本配对 t 检验及 Benjamini–Hochberg 假发现率(FDR, \(q < 0.05\))多重检验校正,确保跨语种、跨模型统计效应的严谨性。

实验关键数据

主实验

主实验在 600 道问题、12 种非英语目标语言及 8 个模型上全面展开。下表展示了核心语用特征与综合行为改变技术(BCT composite)在不同生成路径下的标准化效应值(以英文基线为零点),直接体现了母语生成(NL)与角色预设(NP)的显著分歧。

语用 / 行为评估维度 TTG-Eng NL-Eng OSP-Eng NP-Eng NP-NL 差值 统计检验与效应趋势
社交同理 (Social attunement) -0.07* -0.38* -0.12* -0.59* -0.21* NP 社交关注度显著低于 NL (\(q<0.05\))
情感表达 (Emotional expr.) -0.03* -0.30* -0.07* -0.48* -0.18* NP 情感细腻度与语境展现显著低于 NL
审慎犹豫 (Tentativeness) +0.01 -0.21* -0.03* -0.19* +0.01 二者审慎度差异不显著
积极色调 (Positive tone) +0.01* -0.03* +0.08* +0.18* +0.21* NP 表现出明显的表层亲和社会词汇通胀
行为支架综合分 (BCT composite) -0.09* -0.54* -0.32* -0.98* -0.44* NP 提供的可操作行动指导显著弱于 NL

在行为选择层面,强迫选择任务的分布揭示了角色预设与母语生成在实质性策略建议上的结构性偏移。下表汇总了跨语种全样本及四大代表性语族的具体选择百分比分布:

评估群体 / 语族 策略条件 直接对抗/冲突 (Confrontation, %) 重定向/折中 (Redirection, %) 回避/脱离 (Disengagement, %) 核心对比结论
全语种汇总 (Overall) 英文基准 (English) 34.1 52.0 13.9 基准倾向折中重定向
全语种汇总 (Overall) 回译后生成 (TTG) 35.4 50.3 14.3 与英文分布极接近
全语种汇总 (Overall) 母语生成回译 (NL) 28.8* 57.6* 13.5* 显著转向非对抗重定向
全语种汇总 (Overall) 单阶段英语 (OSP) 30.1* 54.6* 15.3* 介于 NL 与英文之间
全语种汇总 (Overall) 角色预设 (NP) 32.3 53.4 14.3 显著回弹向直接对抗冲突
东亚语族 (East Asian) 母语生成回译 (NL) 23.0* 61.2* 15.8* 极高比例倾向关系重定向
东亚语族 (East Asian) 角色预设 (NP) 28.0* 57.0* 15.0* 对抗率较 NL 激增 5.0 百分点
中东/突厥 (Mid. East/Turkic) 母语生成回译 (NL) 27.5* 58.7* 13.8* 对抗率显著偏低
中东/突厥 (Mid. East/Turkic) 角色预设 (NP) 31.5* 55.3* 13.2* 对抗率较 NL 升高 4.0 百分点
日耳曼语族 (Germanic) 母语生成回译 (NL) 34.1* 54.0* 11.9* 整体对抗率高于东亚语族
日耳曼语族 (Germanic) 角色预设 (NP) 37.0* 49.6* 13.5* 对抗率达全组最高 37.0%
罗曼语族 (Romance) 母语生成回译 (NL) 30.7* 56.7* 12.7* 保持平衡建议态势
罗曼语族 (Romance) 角色预设 (NP) 33.4 50.8 15.8 重定向率下降近 6 个百分点

消融与敏感性分析

为了验证 NP 与 NL 分野的鲁棒性,作者开展了三项深度消融与敏感性验证: 1. 角色提示词措辞敏感性:在保留原始 NP("You are a native speaker")基础上,测试增加背景约束的“成长背景”变体("who grew up using that language")与“当前使用”变体("who currently uses that language")。结果显示,在 17 个语言学维度中,有 14 个在三种表述下保持严格一致的效应方向;全部 8 个 BCT 行为支架维度在所有表述下均保持负向减弱;对抗率增加、重定向率减少的核心结论完全稳固。 2. 翻译质量子集筛选:仅保留回译余弦相似度 \(\ge 0.95\) 的高质量样本(保留率 55.8%,共 4,015 个样本对)。在此高纯度子集下,60 个语言-维度配对中有 59 个保持原有效应方向(平均 z-score 变动仅 0.03);全部 96 个语言-BCT 配对均维持负向减弱;迫选对抗率的上升趋势在所有 12 种语言中完全保留。 3. 评测裁判偏差检验:引入 claude-sonnet-5 作为独立第二裁判对 100 个提示词子集复评。在 5 个语用维度上两裁判在总体效应方向上达成 100% 一致(语言级相关系数 \(r = 0.89\));在 8 个 BCT 维度上 7 个完全一致;即使在 GPT-4o 自评自身生成内容时,两位裁判在 13 项指标中亦达成 12 项方向一致(\(r = 0.77\))。

关键发现

  • 表层亲和与实操支架的严重背离:NP 显著增加了积极情感词汇(+0.21)与归属社交标记,但在实际的行为改变支持上全面溃缩(BCT composite 下跌 -0.44)。NP 倾向于输出“要相互尊重、开诚布公”等宏观正确的漂亮话,但在问题拆解、行动步骤规划和对话阶段推进等关键实操细节上远不如 NL 充实。
  • 行动推荐的对抗化漂移:在三分类迫选任务中,NL 引导模型显著减少对抗(Confrontation 降至 28.8%),更倾向于采取换位思考、设立缓冲或引入第三方调解等重定向方案(Redirection 升至 57.6%);而 NP 显著逆转了这一趋势,将对抗率推高至 32.3%,更加契合美式英语语境下的直接面对风格。
  • 语际效应的不均匀性:NP 与 NL 之间的差距并非对所有语言等比例平移。在东亚语族(中、日、韩)中,NP 在社交同理与具象度上的跌幅小于罗曼和日耳曼语族,但东亚语言在 NL 下的重定向比例极高(61.2%),NP 会将其大幅拉向对抗,显示出角色设定在不同文化背景下的扭曲程度存在异质性。

亮点与洞察

  • 方法论层面的警钟:角色预设并非中立代理。在社会计算与跨文化 NLP 中,大量研究习惯性使用角色预设来“模拟跨文化人群”,本研究以坚实的实证数据证明角色预设本质上是戴着刻板面具的英语思维,绝不能作为非英语原生社会行为认知的替代品。
  • 从言语风格到行动落地的跨越。本研究跳出了以往纯文本词频或困惑度的浅层评测,创造性引入健康心理学成熟的 BCT 分类学与三分类行为决策框架,首次量化了“听起来很友善”与“能否有效指导解决冲突”之间的脱节。
  • 可复用的跨语言实验控制框架。论文提出的“NLLB 多采样 + 反向翻译方差最小化”构建流程,以及“TTG、OSP、NL、NP”四路解耦设计,为未来多语言人际互动与文化大模型研究树立了标杆范式。

局限与展望

  • 原始困境的西方语境偏差:研究的问题集源自英文 Stack Exchange 论坛,虽然剔除了明确的国别标签,但问题背后的家庭伦理观念和人际相处预设依然具有西方文化底色,未来需直接采集原生非英语社群的本土人际冲突议题。
  • 母语者标签的同质化概括:“某语母语者”这一粗粒度设定抹杀了该语言群体内部在年龄、阶层、性别和具体地域上的巨大差异,容易诱导模型输出基于统计先验的扁平化刻板人格。
  • 真实人群对齐验证的缺失:本研究揭示了 NP 与 NL 的显著差异,属于模型行为学研究,尚未引入目标语言社群真实人类受试者对两套建议的真实偏好盲测,未来需进一步探究 NL 与 NP 究竟哪一方更贴近本土人类社会的真实人际实践。

相关工作与启发

  • vs. XTREME / MEGA / Aya 等传统多语言基准:传统评测侧重在翻译、问答和代码推理等具有客观标准答案的任务上评估跨语言迁移;本文聚焦于主观人际建议与行为决策,首次系统探讨了语言路径对模型社会价值导向的干预。
  • vs. Argyle et al. / Hu & Collier 等角色模拟研究:既有工作发现角色设定会影响 LLM 的政治与人口统计学立场,但往往局限于英语单语环境;本文将角色研究拓展至跨语言语用学与行为改变支架,揭示了跨语种角色扮演的深层局限。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从语用学与行为决策维度全面解耦角色预设与母语生成,选题敏锐且具有极强的方法论批判性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 600 道问题、13 种语言条件、8 个主流模型以及 4 种生成路径,配合严谨的消融与跨裁判验证,实证结论坚不可摧。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进,实验设计清晰严谨,对复杂统计数据和语用学概念的阐释极为透彻。
  • 价值: ⭐⭐⭐⭐⭐ 对使用 LLM 进行计算社会科学模拟、多语言心理咨询与智能人际辅导的从业者提供了极具警示意义的标准指引。