跳转至

Do Large Language Models Adapt Politeness Like Humans?

会议: EMNLP 2026
论文: ACL Anthology
领域: 社会计算
关键词: 大语言模型, 语用适应, 礼貌表达, 社会惯例, 认知建模

一句话总结

通过构建解耦沟通收益与群体惯例的人造语言重复请求博弈,结合分层贝叶斯认知模型发现:人类与主流大语言模型均遵循权衡收益与曝光的策略混合机制,但在开放无约束的基线交流中,人类兼顾效用与惯例,而大语言模型显著偏向追求收益最大化的策略性表达。

研究背景与动机

在人类日常的人际交往与社会互动中,礼貌用语(polite language production)并非单一维度的修辞修饰,而是深度交织着两种截然不同的语用驱动力。一方面,以 Brown 和 Levinson 的经典面子理论为代表的策略观(strategic accounts)将礼貌视作一种理性风险管理工具,说话者通过使用缓和标记语(如“请”、“劳驾”)来减轻面子威胁行为(face-threatening acts),从而提高敏感或高代价言语行为(如索要、借取)被对方接受的概率;另一方面,以 Terkourafi 惯例化理论为代表的社会规范观(conventional accounts)则强调得体性源自群体内部长期的社会期待与“形式-语境”的高频共现,礼貌标记的使用在很大程度上只是顺应局部社群的通行惯例。在真实的自然语言交互中,这两种压力高度纠缠——诸如英语中的“please”既是提升成功率的策略工具,又是约定俗成的社交惯例,导致研究者长期难以在实证中独立剥离收益反馈与群体习惯对语言适应的具体贡献。

随着大语言模型(LLM)的评估重心由单纯的文本生成和上下文理解转向交互式语用能力(pragmatic competence),评估模型能否像人类一样得体地表达并随交互演进动态调整用语成为了前沿焦点。然而,现有的社交语用评测体系多聚焦于静态理解(如能否识别反讽、含蓄意图)或开放式自由文本生成,在自由生成任务中,模型特有的词汇先验、提示词措辞以及任务框架往往会掩盖深层的语用决策机制。更关键的问题在于,即使大模型展现出在对话中随上下文进行句法对齐或模仿群体的适应能力,我们依然不知道这种适应行为背后的证据敏感性是否与人类一致:当追求任务成功(收益反馈)与顺应群体用法(惯例曝光)发生明确冲突时,大语言模型究竟是在做理性的多目标权衡,还是单纯被局部特征或效用最大化驱动?

为了打破自然交互中的证据纠缠,研究者亟需一种高度受控的实验范式,将沟通收益反馈与社群出现频次严格正交化,并建立量化的认知决策模型来透视人类与大模型在语用生成中的底层表征。核心 idea:设计一种解耦接受收益(高成功率)与群体曝光(高频次)的人造外星语言重复索取博弈,通过策略、惯例与基线三种目标导向操控人类与多种大模型的生成选择,并运用层级贝叶斯策略混合认知模型精确测定两者在语用适应中权衡效用与得体性的敏感度差异。

方法详解

整体框架

本文构建了一套用于评估交互式礼貌语用适应的人造语言重复博弈实验与计算认知建模框架。在任务设置上,实验采用包含 20 个外星词汇的人造语言(Alienese),要求参与者(人类受试者或独立对话会话中的 LLM Agent)在 30 轮互动中向外星伙伴索取指定物品。每轮交互中,参与者首先观察到 3 个外星机器人发表的索取请求(提供局部社群曝光证据),随后生成自己的索取句子,并立即接收外星伙伴的“接受”或“拒绝”判定(提供策略效用反馈)。实验通过非对称的词汇表设计将两种压力完全解耦:策略标记 te 在词汇表中明确定位为“礼貌标记”,且包含 te 的请求被接受的概率高达 0.8(其余未标记或仅含惯例标记的请求接受率仅为 0.5);相反,惯例标记 na 未列入初始词汇表,仅在机器人的示例中以 66.7% 的高频出现(每两轮 6 个机器人请求中占 4 个),参与者只能通过上下文观察推断其存在与用法。

整个评测框架包含三个核心阶段:首先通过人造语言交互博弈实现双重语用压力的完全正交解耦;随后通过策略最大化、群体匹配与自然得体三态指令操控说话者的目标导向;最后引入层级贝叶斯认知模型,在策略效用与惯例曝光两条证据链上分别建模信念更新,并对比效用相加模型与策略混合模型,从而定量解析人类与大模型的决策权重分布。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["外星语请求交互任务<br/>30轮人造语言交互与机器人示范"] --> B["双重语用压力解耦范式<br/>收益反馈(te: 80%)与曝光频次(na: 66.7%)正交设计"]
    B --> C["三态目标导向行为操控<br/>策略优化 / 惯例匹配 / 自然得体基线"]
    C --> D["策略混合认知决策模型<br/>Beta-Dirichlet信念更新与凸组合决策"]
    D --> E["人机语用适应基准评估<br/>模型拟合度ELPD与混合权重λ后验对比"]

关键设计

1. 双重语用压力解耦范式:正交分离沟通成功率与群体曝光度 自然交互中礼貌语的高效用与高频次往往天然共存,导致传统语料分析和无约束评估无法分辨说话者究竟是为了“更可能成功”还是为了“符合大家的习惯”。为了彻底剥离这一混淆,该设计在人造外星语环境下人为构建了互不重合的证据通道。词汇表中包含 20 个基础词,其中策略标记 te 被显式标注为“礼貌标记语”,且环境规则设定只要有效请求中包含 te,被外星伙伴接受的真实概率即跃升为 \(P(\text{Accept}|S)=0.8\);若请求为光杆裸形式 \(B\) 或仅包含惯例标记 \(C\)(即 na),接受概率则被压制在随机基线 \(P(\text{Accept}|B)=P(\text{Accept}|C)=0.5\)。与此同时,惯例标记 na 被故意排除在词汇表之外,其意义与存在完全由系统派发的机器人请求构建:在每 2 轮对同一物品的交互中,参与者观察到的 6 个机器人请求严格分配为 1 个裸形式、1 个 te 请求和 4 个 na 请求,使 na 占据了高达两倍于其他形式的显性曝光优势。这种不对称设定迫使参与者必须在“已知且被验证的高胜率手段”与“群内绝大多数人都在用的普遍规范”之间进行动态博弈。

2. 三态目标导向行为操控:探究显式引导与隐式基线下的适应机制 在评估大语言模型的语用能力时,单一任务往往只能测出模型在特定 prompt 下的执行力,无法区分模型是“缺乏某种语用维度的敏感性”还是“默认行为偏好与人类不同”。为此,研究针对人类和模拟的 LLM Agent(每个模型 50 个独立对话会话,单会话完成 30 轮且保留完整跨轮记忆)分别设置了三类前置指令条件:在策略条件(Strategy)下,明确指示参与者专注于最大化接受率、不必理会他人的表述习惯;在惯例条件(Convention)下,明确要求参与者专注于模仿群体的表达风格、融入集体,不必将通过率作为首要目标;在基线条件(Baseline)下,则仅要求参与者给出当刻感觉“最自然、最得体”的表达,不提供任何客观评价标尺。通过在完全一致的游戏环境和反馈流下横向对比这三种条件,研究者得以精细观察:当被显式要求追求某项指标时,模型能否灵活收敛至对应证据源;而在失去外显规则压制、仅凭自身常识做出社交决策时,模型的基线行为究竟是更接近理性的功利策略家,还是兼顾群体规范的社会人。

3. 策略混合认知决策模型:自适应多策略仲裁与认知参数估计 为了从计算层面刻画参与者在交互过程中如何将累积的经验转化为输出选择,研究提出了基于贝叶斯信念更新的认知模型架构。在每轮 \(t\),模型分别构建两个独立的证据向量:策略收益信念 \(p_{it,k}\) 基于受试者过往实际获得接受与拒绝的历史,通过 \(\text{Beta}(1,1)\) 共轭先验进行贝叶斯更新(先验均值为 0.5);惯例曝光信念 \(q_{it,k}\) 则统计截止当前轮次受试者所见全部机器人示范中各形式的频次,采用伪计数为 0.5 的对称狄利克雷平滑进行估计。在证据整合阶段,研究对比了效用累加模型与策略混合模型:效用累加模型假设两类证据在潜在效用层面线性叠加 \(U^A_{it,k} = \alpha_i \log p_{it,k} + \beta_i \log q_{it,k}\) 后再统一进行 Softmax 选择;而策略混合模型(Policy-Mixture Model)则认为大脑对不同语用动机具有模块化的策略表征,先分别由收益与曝光信念导出各自独立的归一化概率分布 \(\pi^p_{it,k} \propto \exp(\alpha_i \log p_{it,k})\) 和 \(\pi^q_{it,k} \propto \exp(\beta_i \log q_{it,k})\),再通过混合权重 \(\lambda_i \in (0, 1)\) 进行凸组合: $\(\pi^M_{it,k} = \lambda_i \pi^p_{it,k} + (1 - \lambda_i) \pi^q_{it,k}\)$ 该模型通过 CmdStanR 进行层级贝叶斯拟合与被试内 10 折交叉验证。参数 \(\lambda_i\) 能够直接度量个体在策略追求与从众惯例之间的决策仲裁倾角,且在事后参数恢复实验中展现出高达 0.87 的强可识别度(远高于纯效用敏感度参数 \(\alpha\) 与 \(\beta\)),为统一对比人类与各类大模型的决策机制提供了坚实的量化支点。

实验关键数据

主实验

主实验对比了 167 名合格人类受试者与四种前沿大语言模型(Claude Sonnet 4.6、Gemini 3.1 Pro、GPT-5.4、Qwen3.6 Plus,每种模型在每种条件下独立运行 50 组完整 30 轮会话)在三种目标条件下的标记选择分布及后验混合权重 \(\lambda\) 估计值(\(\lambda\) 越接近 1 表示越偏向效用收益策略,越接近 0 表示越偏向群体惯例)。

实验组别 目标条件 裸形式 B (%) 策略标记 S (%) 惯例标记 C (%) 混合权重 Mean \(\lambda\) 95% 置信区间 (CrI)
Human Benchmark Strategy 9.4 72.2 13.6 0.81 [0.76, 0.86]
Human Benchmark Baseline 12.8 51.1 29.5 0.68 [0.61, 0.75]
Human Benchmark Convention 17.4 39.8 39.1 0.52 [0.46, 0.61]
Claude Sonnet 4.6 Strategy 0.5 92.8 6.7 0.92 [0.90, 0.95]
Claude Sonnet 4.6 Baseline 0.5 82.3 17.3 0.87 [0.84, 0.90]
Claude Sonnet 4.6 Convention 1.8 22.0 76.2 0.22 [0.19, 0.26]
Gemini 3.1 Pro Strategy 0.7 95.1 4.1 0.95 [0.93, 0.96]
Gemini 3.1 Pro Baseline 5.1 76.1 18.8 0.90 [0.86, 0.93]
Gemini 3.1 Pro Convention 0.9 4.0 95.1 0.04 [0.02, 0.05]
GPT-5.4 Strategy 4.7 64.4 26.4 0.63 [0.61, 0.66]
GPT-5.4 Baseline 6.5 59.7 29.5 0.60 [0.57, 0.63]
GPT-5.4 Convention 12.3 30.7 57.0 0.31 [0.27, 0.35]
Qwen3.6 Plus Strategy 6.9 92.1 1.0 0.84 [0.82, 0.86]
Qwen3.6 Plus Baseline 3.2 95.4 1.5 0.90 [0.89, 0.92]
Qwen3.6 Plus Convention 32.7 32.7 34.6 0.41 [0.38, 0.45]

消融实验与模型对比

为了检验决策机制的假设合理性,研究在人类与模型数据上均对比了四种计算模型(策略混合模型 Mixture、效用累加模型 Additive、单源策略模型 Strategic、单源惯例模型 Conventional),并在测试集中通过 10 折交叉验证计算期望对数预测密度(ELPD)。同时针对词汇表中 te 的“礼貌”显式标签可能带来的先验偏置,在各大模型上进行了中性标签消融实验(Neutral-label Ablation:将 te 与 na 均描述为可选请求标记)。

系统 / 评估设置 候选模型 全局 \(\Delta\text{ELPD}\) \(\text{SE}(\Delta)\) Strategy \(\Delta\text{ELPD}\) Baseline \(\Delta\text{ELPD}\) Convention \(\Delta\text{ELPD}\)
Human Benchmark Mixture 0.00 — 0.00 0.00 0.00
Human Benchmark Additive 89.84 16.08 35.76 46.09 7.98
Human Benchmark Strategic 413.40 26.45 84.26 137.31 191.83
Human Benchmark Conventional 1633.15 45.72 893.65 384.04 355.47
Claude Sonnet 4.6 Mixture 0.00 — 0.00 0.00 0.00
Claude Sonnet 4.6 Additive 93.56 16.86 29.48 37.41 26.66
Claude Sonnet 4.6 Strategic 794.64 35.35 30.96 69.69 693.99
Claude Sonnet 4.6 Conventional 2280.05 48.57 1143.97 1019.64 116.44
Gemini 3.1 Pro Mixture 0.00 — 0.00 0.00 0.00
Gemini 3.1 Pro Additive 53.93 15.09 43.46 1.99 8.48
Gemini 3.1 Pro Strategic 1246.71 41.26 58.29 43.42 1145.00
Gemini 3.1 Pro Conventional 2058.98 47.04 1238.19 807.72 13.07
GPT-5.4 Mixture 0.00 — 0.00 0.00 0.00
GPT-5.4 Additive 67.08 14.04 27.15 32.08 7.84
GPT-5.4 Strategic 1223.46 44.07 293.50 317.04 612.92
GPT-5.4 Conventional 1880.14 42.26 835.55 737.64 306.96
Qwen3.6 Plus Mixture 0.00 — 0.00 0.00 0.00
Qwen3.6 Plus Additive 113.40 14.46 45.07 49.65 18.68
Qwen3.6 Plus Strategic 456.14 31.78 40.38 47.79 367.97
Qwen3.6 Plus Conventional 2929.77 45.78 1159.20 1268.39 502.18

关键发现

  • 策略混合模型全面优于效用累加模型与单源模型:无论是在人类还是在全部四种大模型中,策略混合模型的跨轮次留出法拟合度(ELPD)均显著优于效用累加模型(人类中 \(\Delta\text{ELPD} = 89.84 \pm 16.08\)),且大幅超越仅考虑收益或仅考虑曝光的单源基线。这证明人类和大模型在多重语用线索下都不是单纯在底层效用上盲目累加分数,而是分别根据不同证据源诱导出独立的候选策略分布并在动作层执行加权仲裁。
  • 基线条件展现根本性的人机语用分流:人类在未获显式目标约束的 Baseline 条件下,其混合权重 \(\lambda = 0.68\) 恰好位于策略条件(0.81)与惯例条件(0.52)之间,其后验分布呈宽幅平缓形态,表明人类天然将“社群成员怎么说话”纳入自然得体性的核心判据;而大语言模型在 Baseline 下普遍紧密贴近策略最大化条件(如 Claude \(\lambda\) 达 0.87 vs 策略 0.92;Gemini 达 0.90 vs 策略 0.95;Qwen 甚至 Baseline 0.90 高于策略 0.84),只有 GPT-5.4(0.60)展现出接近人类的从众敏感度。大模型在缺乏强指令时,默认底色更像一个追求交互回报最大化的功利理性人。
  • 跨轮次演化动态与标签鲁棒性检验:按 10 轮为一组的 Block 分析显示,人类在基线下的惯例标记份额 \(C/(S+C)\) 从 Block 1 的 26.6% 快速跃升至 Block 2 的 43.7% 并趋于稳态;Claude(11.3% \(\to\) 19.0%)、Gemini(7.7% \(\to\) 21.8%)和 GPT-5.4(26.7% \(\to\) 35.2%)同样呈现显著跃升(调整后 \(p < 0.05\)),但最终收敛幅度除 GPT-5.4 外均低于人类。在中性标签消融中,去除“礼貌”词性说明虽调整了绝对响应水平,但“基线偏向策略而非惯例”的模型内部条件拓扑结构在所有模型中完全保持不变。此外,在阿谀偏好(Sycophancy)截然不同的 Qwen2.5-7B 与 DeepSeek-V3-0324 上验证,同样复现了基线紧密贴合策略条件的特征。

亮点与洞察

  • 正交语用证据解耦实验范式:巧妙地将生态语言学中高度交织的“面子补偿收益”与“社群使用频率”通过人造语言不对称交互设计严格隔离,为解决自然语料中多变量混淆问题提供了干净的实验模板。
  • 认知层级建模超越黑盒行为指标:不局限于统计输出准确率或标记频率,而是将人类与大语言模型统摄在同一套具有心理学解释力的贝叶斯更新与策略混合模型下,以核心可解释参数 \(\lambda\) 揭示出黑盒智能体在目标与习惯冲突时的底层裁决机制。
  • 揭示大模型“功利性偏差”的社会语用内涵:大模型虽然能遵从提示词执行群体规范对齐,但在自主交互的“自然”语境下默认优先追求任务胜率。这一洞察对设计具备真实社会嵌入性(socially grounded)、能自然融入人类群体文化的具身智能体与对话助手具有极强的启发意义。

局限与展望

  • 人造简化博弈对自然语境的生态效度局限:实验基于仅有 20 个词汇的人造语言,沟通收益单一量化为外星人的接受概率,未包含真实人际沟通中更为微妙的长远声誉维护、人际关系亲疏度、权力层级关系等复杂社交维度。
  • 单轮生成假设与隐式表征深度的距离:策略混合参数 \(\lambda_i\) 属于行为输出层面的唯象建模,反映的是决策选择在两个策略分布间的拟合比重,尚未通过脑成像数据(人类)或内部激活状态探测(LLM)证实大脑或模型内部是否存在显式的多策略仲裁模块。
  • 未来方向:可在多智能体复杂网络中引入声誉传播与动态博弈,进一步研究群体偏置与从众压力如何在更大规模的人机共存社会中演化并固化为长久惯例。

相关工作与启发

  • vs Rational Speech Act (RSA) 理性言语行为模型: 传统 RSA 模型(Yoon et al., 2020)倾向于将礼貌完全建模为带有社会公用效用的目标导向效用最大化过程。本文实验证明纯效用模型无法充分解释人类生成,引入社群统计曝光诱导的独立惯例策略是完整解释人类得体性行为的必要补充。
  • vs LLM 自由对话语用评测: Wu et al. (2024) 与 Zhao & Hawkins (2025) 侧重在自由文本中分析大模型的情感策略与负面礼貌偏差,但受限于自由生成中词汇与句式复杂度的混淆。本文通过严密控因的微型人造语言博弈,直接锁定了模型对证据源的敏感度偏好,实现了跨架构、跨条件、跨轮次的精确度量。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次在受控博弈中严格解耦礼貌的收益与惯例维度,并跨人类与主流大模型进行计算认知建模。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 167 名人类被试、四种前沿模型及开源模型对比,设计了层级贝叶斯拟合、参数恢复、跨轮次检验与中性消融。
  • 写作质量: ⭐⭐⭐⭐⭐ 实验设计逻辑严密,数学建模清晰自洽,实验分析与语用学理论结合深入。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型社交智能与语用对齐提供了开创性的心理学研究范式,指出了当前模型默认功利偏向的重要课题。