Psychologically Potent, Computationally Invisible: LLMs Generate Social-Comparison-Eliciting Posts They Fail to Detect¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/zhao4hua4/XHS-SCoRE
领域: 社会计算
关键词: 社交比较、小红书文本、大语言模型生成与检测不对称、读者视角评估、计算不可见性
一句话总结¶
本文提出面向小红书真实文本的读者视角社交比较基准 XHS-SCoRE,发现大语言模型具备生成足以显著改变人类相对地位感知与比较情绪的高心理效力帖子的能力,但在提示词分类下却频繁将比较帖中性化稀释或产生方向偏斜,揭示了“高生成效力与脆弱检测能力”的系统性解耦。
研究背景与动机¶
社交媒体已成为日常无休止展开社交比较的核心场域。用户通过对比他人的生活状态、外貌、学业与消费水平来推断自身的相对地位,由此频繁引发羡慕、焦虑、抑郁与负面情绪。在小红书(RedNote)等高度聚焦生活方式与视觉展示的平台上,比较线索往往高度隐晦地交织于日常叙事之中,而非通过显式的比较级句式表达。这种细微的语用与文化情境使得自然语言处理面临一个关键问题:计算模型能否从第一人称读者视角,准确捕捉自然帖文所引发的相对地位评价与社交比较方向?更紧迫的是,生成式 AI 已能大规模生产语言极具说服力且情感精细校准的社交媒体文本,并深度渗透到平台内容生态中。
然而,当前的 NLP 测量范式主要将心理与社会学属性作为作者中心或文本内生的静态标签来处理,忽视了社交比较本质上是“依赖读者群体画像的关系型评价”。大语言模型虽然日益被用作社会计算的无监督或提示词分类器,但面对依赖隐式语用、文化惯例和微妙叙事立场的读者体验信号时,其分类可靠性十分脆弱。这导致了一个潜在而严峻的系统性风险:生成模型能够轻易生产出针对特定受众、具有强烈心理诱导性的社交比较内容,但相应的审计与风控检测模型却无法在日常海量帖文中识别出这种关系型信号,从而造成平台监管与内容风控上的大面积漏检和失真。
针对这一生成与检测之间的鸿沟,本文首次将社交比较方向形式化为受众画像条件下的读者诱发任务,构建了覆盖向上比较(UPWARD)、向下比较(DOWNWARD)与中性/无清晰比较(NEUTRAL)的真实语料基准,并通过可控的人类被试实验验证了生成文本的实际心理效应。核心 idea:通过构建基于第一人称读者立场的真实小红书社交比较基准 XHS-SCoRE 与可控生成人类验证闭环,揭示 LLM 在生成高心理效力社交比较帖子的同时难以通过提示词分类稳定检测相同关系型信号的“生成-检测解耦”现象,并系统解构中性化坍缩与方向偏斜的计算不可见机制。
方法详解¶
整体框架¶
本文构建了一套涵盖“真实语料采集与受众校准”、“多维度分类器基准评测”、“语料特征驱动的可控文本生成”以及“受试者心理效应行为学验证”的端到端研究体系。整体流程首先通过严格的第一人称即时反应协议采集自然小红书纯文本帖子,构建标签严格平衡的 XHS-SCoRE 数据集,并在受众一致的独立标注者上完成重测信度与模糊性基线校准;随后对比前沿提示词驱动 LLM 与监督微调中文编码器的检测表现;接着基于语料库关键词与语义框架分析提取特征约束集,驱动 LLM 生成特定比较方向的诱发刺激物;最后在同质青年受众中通过随机对照心理学实验,闭环测量生成内容对被试主观地位与情绪维度的实际心理效力。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["自然小红书纯文本帖子"] --> B["读者视角第一人称即时反应标注协议"]
B --> C["XHS-SCoRE 语料库基准构建与信度校准<br/>UP / NEU / DOWN 各 4,632 篇均衡分布"]
C --> D["双轨分类器能力评测与错误拓扑剖析"]
D -->|语料库关键词与语义框架挖掘| E["基于语料约束的目标定向可控文本生成"]
E --> F["被试间双盲受控行为学实验验证<br/>相对地位评价、比较同化与负性情绪测量"]
F --> G["生成效力 vs. 检测可见性解耦机制确证"]
关键设计¶
1. 读者视角第一人称即时反应标注协议:锚定关系型受众感知而非作者意图
传统的文本分类标注通常假定存在跨人群一致的客观语义真相或直接判定作者意图,但社交比较的本质是读者与作者之间的相对社会地位推断,其方向高度依赖读者的社会背景与即时体验。为精确捕捉这一心理现实,本文设计了单人连续采集即时标注协议:招募 67 位来自中国香港公立大学、具有中国大陆成长背景、年龄在 18–24 岁的年轻活跃小红书女性用户(控制受众同质性以约束群体异质性噪音),在各自设备上连续 7 天浏览真实自然流,每天依据纯文本内容即时记录并提交自身产生向上比较(UPWARD,帖主比我更好/更成功/更有资源)、向下比较(DOWNWARD,帖主比我更糟/更挫败/更低能动性)或无清晰比较(NEUTRAL)的帖子各 10 篇。为确保基准对齐“纯文本可解析性”,所有依赖图片或视频的帖子均被严格排除。该协议构建了含 13,916 篇帖子(总字数超 245 万字)且类别严格平衡的 XHS-SCoRE 数据集。由两位同质独立标注员对 210 篇帖子的复核实验显示,群体内原始一致率为 63.2%–68.4%,24 小时以上延迟重测信度达 ~82%,并将人类在纯文本下将 UP/DOWN 降解为 NEU 的重测比例(分别为 20.4% 与 17.0%)确立为后续模型错误诊断的基线参照。
2. 双轨分类器能力评测与错误拓扑剖析:定位中性化坍缩与方向偏斜的计算不可见性
为了对比当前 NLP 范式在关系型社交线索上的捕获能力,本文设置了双轨评测体系:一轨为 4 种跨能力与参数梯度的代表性前沿 LLM(涵盖闭源前沿模型 GPT-5、开源大型混合专家模型 Qwen3-235B-A22B-Instruct、轻量级模型 Qwen3-30B-A3B-Instruct 以及兼顾部署成本与刺激生成的 GPT-4.1-nano),在零样本第一人称设定下输出严格 JSON 标签;另一轨为 3 种经典的预训练中文掩码语言模型(BERT-wwm-ext、RoBERTa-wwm-ext、MacBERT-base),在训练集上直接监督微调分类头。在主评测之外,进一步设计了角色设定提示(Persona-primed)、少样本示例提示(Few-shot)和融入语料库线索字典的显式线索提示(Cue-explicit)等稳健性探测方案。错误拓扑分析精确揭示了提示式 LLM 的系统性失灵:一是普遍的中性化(Neutralization),模型将大量本具有强烈比较刺激的帖子判定为 NEU,且判定为中性的比例远超人类基线(GPT-5 预测 NEU 比例达 60.1%,Qwen3-30B 达 65.9%);二是方向敏感度失衡,向下比较(DOWN)在提示式 LLM 下全面失守(召回率多在 0.179–0.402),且部分模型(如 Qwen3-235B)呈现出独特的向上比较过度归因(UP 预测占比达 42.5%,UP 召回达 0.670 而 DOWN 召回仅 0.282)。
3. 语料特征驱动的目标定向可控文本生成:解耦心理真实效力与提示检测脆弱性
为严谨检验“模型能否生成自身无法稳定检测的内容”,本文基于 Wmatrix 7 的关键词(keyness)、词性标注与语义域对数似然比统计,总结出 UP 与 DOWN 帖文的语用分布特征:UP 帖子集中在消费、出行、审美高光体验与“绝美/天花板”等极值词;DOWN 帖子高度富集原生家庭冲突、控制性言语(说/骂/逼)、被动受害者句式(被干涉/被收走)以及密集的否定词(不/没/从来不)。本文将这些提取出的形式与内容规则转化为结构化约束提示,驱动 GPT-4.1-nano 批量生成长度在 170–200 字的小红书风格纯文本刺激物(并故意保留轻微标点与口语语病以保证真实感)。随后在 29 名独立年轻活跃小红书用户中开展基于 jsPsych 的单盲、被试间随机对照实验(UP 组 N=10,DOWN 组 N=9,NEU 组 N=10)。被试阅读 7 篇随机呈现的所属组别帖子后,完成主观地位推断(操纵检验)、特异性社交比较情绪问卷与 PANAS 一般正负情绪量表测试。人类行为数据不仅从心理测量学上严谨验证了生成文本在激发受试者向上或向下地位判断与比较情绪上的心理真实性(Psychologically Potent),更与模型检测的疲软表现构成了决定性对照。
损失函数 / 训练策略¶
在监督编码器微调中,三个中文基座模型(Chinese-BERT-wwm-ext、Chinese-RoBERTa-wwm-ext、Chinese-MacBERT-base,每个模型具有 102,269,955 个可训练参数)均以交叉熵结合标签平滑(Label Smoothing 设定在 0.10–0.15)作为优化目标。训练在单张 24GB RTX 4090 D 上采用 FP32 精度串行运行,批大小为 16,梯度累积步数为 2(等效 batch size 32),序列最大截断长度 512,学习率分别设置为 \(2.0 \times 10^{-5}\)(BERT)、\(2.5 \times 10^{-5}\)(RoBERTa)和 \(3.0 \times 10^{-5}\)(MacBERT),配备线性学习率预热(warmup ratio 0.15–0.20)与权重衰减(weight decay 0.01)。模型训练 15 个 epoch,每轮在验证集上评估 Macro-F1 并保存最佳 checkpoint 用于测试集评测。
实验关键数据¶
主实验¶
在 XHS-SCoRE 测试集(2,783 篇平衡测试样本)上,主评测全面对比了零样本提示 LLM 分类器与领域内监督微调编码器基线的性能表现。
| 模型 | 模型类型 | 准确率 (Acc) | Macro-F1 | 召回率 UP | 召回率 NEU | 召回率 DOWN | 预测为 NEU 比例 |
|---|---|---|---|---|---|---|---|
| GPT-5 | 前沿闭源 LLM | 0.521 | 0.518 | 0.410 | 0.752 | 0.402 | 0.601 |
| Qwen3-235B-A22B | 开源大型 MoE | 0.491 | 0.480 | 0.670 | 0.522 | 0.282 | 0.425 |
| GPT-4.1-nano | 轻量级商业 LLM | 0.469 | 0.469 | 0.379 | 0.630 | 0.397 | 0.558 |
| Qwen3-30B-A3B | 轻量开源 MoE | 0.430 | 0.400 | 0.364 | 0.748 | 0.179 | 0.659 |
| CN-BERT-wwm | 中文编码器微调 | 0.670 | 0.671 | 0.666 | 0.636 | 0.708 | 0.360 |
| CN-RoBERTa-wwm | 中文编码器微调 | 0.680 | 0.679 | 0.695 | 0.585 | 0.759 | 0.307 |
| CN-MacBERT-base | 中文编码器微调 | 0.665 | 0.665 | 0.633 | 0.631 | 0.730 | 0.349 |
消融与稳健性实验¶
通过改变提示策略(零样本 ZS、角色锚定 PP、少样本 FS、显式线索 CE)探测 LLM 分类稳定度,并量化比较帖向中性坍缩(\(UP \to NEU\) 与 \(DOWN \to NEU\))的严重程度。
| 模型 / 基线 | 提示方案 | Macro-F1 | 预测总 NEU 比例 (%) | \(UP \to NEU\) 坍缩率 (%) | \(DOWN \to NEU\) 坍缩率 (%) |
|---|---|---|---|---|---|
| 人类重测基线 | 纯文本人工复查 | — | — | 20.4 | 17.0 |
| CN-RoBERTa-wwm | 监督微调 SFT | 67.9 | 30.7 | 18.6 | 15.1 |
| GPT-5 | Zero-Shot (ZS) | 51.8 | 60.1 | 53.3 | 51.8 |
| GPT-5 | Persona-Primed (PP) | 51.6 | 65.9 | 62.2 | 51.9 |
| GPT-5 | Few-Shot (FS) | 50.2 | 59.4 | 47.8 | 56.2 |
| GPT-5 | Cue-Explicit (CE) | 55.1 | 33.4 | 26.0 | 27.8 |
| GPT-4.1-nano | Zero-Shot (ZS) | 46.9 | 55.8 | 54.2 | 50.4 |
| GPT-4.1-nano | Persona-Primed (PP) | 38.0 | 77.4 | 79.9 | 65.8 |
| GPT-4.1-nano | Few-Shot (FS) | 38.1 | 69.8 | 62.0 | 72.0 |
| GPT-4.1-nano | Cue-Explicit (CE) | 44.9 | 68.2 | 68.6 | 57.8 |
| Qwen3-235B | Zero-Shot (ZS) | 48.0 | 42.5 | 29.6 | 45.8 |
| Qwen3-235B | Persona-Primed (PP) | 46.0 | 66.7 | 50.6 | 68.0 |
| Qwen3-235B | Few-Shot (FS) | 51.4 | 54.5 | 44.8 | 49.0 |
| Qwen3-235B | Cue-Explicit (CE) | 54.8 | 30.8 | 24.6 | 24.0 |
| Qwen3-30B | Zero-Shot (ZS) | 40.0 | 65.9 | 62.1 | 60.7 |
| Qwen3-30B | Persona-Primed (PP) | 47.8 | 49.1 | 40.6 | 46.1 |
| Qwen3-30B | Few-Shot (FS) | 46.9 | 39.7 | 31.2 | 36.5 |
| Qwen3-30B | Cue-Explicit (CE) | 53.7 | 28.0 | 25.7 | 19.5 |
关键发现¶
- 显著的生成与检测能力解耦:人类心理学实验表明,LLM 依语料约束生成的帖文能够极显著地诱发既定的相对地位推断(操纵检验调整后 \(R^2 = 0.570, p < 0.001\)),并在向下比较同化情绪上引发极显著激增(DOWN 组 \(M=6.33, SD=1.41\) 对比其他组 \(M=1.85, SD=1.90\),\(t(27)=6.312, p<0.001, d=2.534\));而生成这一内容的同系列模型(GPT-4.1-nano)及前沿模型在对自然帖文进行零样本检测时的 Macro-F1 仅有 0.469–0.518,落后监督编码器近 20 个百分点。
- 系统性中性化抹除比较信号:各提示 LLM 分类器将大量的比较邀请错误归类为 NEUTRAL。GPT-5、GPT-4.1-nano 与 Qwen3-30B 在零样本下对原始 UP 和 DOWN 帖子的中性化坍缩率超过 50%(高达 50.4%–62.1%),大幅超出人类在纯文本条件下的模糊重测基线(UP 为 20.4%,DOWN 为 17.0%),说明模型并非在做审慎判断,而是在功能层面对比较信息“视而不见”。
- 向下比较(DOWN)检测灵敏度极其低下:相较于充满消费和旅游词汇的 UP 帖子,DOWN 帖文(以家庭冲突、权力剥夺、受害者叙事为主)在提示模型中极难识别。Qwen3-30B 零样本下的 DOWN 召回率仅为 0.179,Qwen3-235B 仅为 0.282,这种不对称性将导致自动化心理健康审计系统系统性漏检因逆境叙事带来的心理冲击。
- 显式先验线索的诊断性增益:单纯增加角色设定(PP)或少样本示范(FS)并不能稳定遏制中性化坍缩,甚至在部分模型中加剧了向中性的聚拢;唯独融入语料库系统性语言学线索清单的显式提示(Cue-explicit)使 GPT-5 的 Macro-F1 显著提升至 0.551,并将预测中性比例拉回至 33.4%,证明比较信号在文本表征中实际存在且可学习,但通用提示范式缺乏对其语用机制的自主访问能力。
亮点与洞察¶
- 提出受众条件化的“读者视角诱发”评估范式:跳出了传统将情感或毒性视作文本封闭属性的局限,针对生活方式平台中高度依赖受众社会经济与心理背景的关系型信号,建立了首个基于纯文本即时第一人称反馈的大规模真实基准。
- 首创“生成心理效力与检测计算可见性”的非对称审计闭环:通过紧密结合计算语言学分类与受控真实受试者行为实验,不仅证明模型能够产生足以操纵人类地位感知与情绪的强效文本,更揭示了这种心理效力并不能自动迁移为其自身的分类识别能力。
- 揭示了“提示词安全幻觉”在内容风控中的潜在漏洞:许多平台治理与风险审计系统直接采用提示 LLM 进行情感与心理伤害监测,本研究表明模型在零样本或少样本提示下倾向于将具有显著心理冲击的内容标记为“中性无比较”,存在严重的系统性安全盲区。
局限与展望¶
- 模态局限性:XHS-SCoRE 目前仅涵盖纯文本帖子,而小红书作为强视觉生活方式平台,排版、滤镜、图像与短视频所承载的地位展示可能与文字产生交互或主导比较情绪,未来需扩展至多模态读者感知建模。
- 受众群体的同质性:为控制方差,基准标注者和验证被试均严格限制为中国香港高校具有内地成长背景的年轻女性群体,结论在跨年龄、性别、地域及社会经济地位人群中的泛化性仍有待进一步跨群体实证检验。
- 行为学实验的样本量:人类验证实验采用精简的实验室受控试点设计(N=29),旨在完成构念的效度落地(Construct Validation),未来仍需结合更大规模的线上真实动态暴露追踪以评估长期心理影响。
相关工作与启发¶
- vs. 传统 NLP 心理与情感测量(如 LIWC, Sap et al., 2020):传统方法侧重于作者层面的心理特征提取或语义维度的先验框架分析,而本文将任务定义为具体读者群体条件下的主观地位比较诱发,确立了读者中心(Reader-grounded)的关系型测量视角。
- vs. LLM 社会科学测量与分类器应用(Ziems et al., 2024):现有研究主要关注 LLM 在结构化社会学标签上的零样本分类准确率,本文则通过构念生成与分类的直接对比,确立了“高生成效力不等于高检测灵敏度”的核心评测原则,为 LLM-as-a-judge 工具在社会计算中的审慎采纳敲响了警钟。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性揭示 LLM 针对社交比较信号的生成心理效力与检测计算不可见性解耦,开创受众条件化读者诱发范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1.39 万篇大规模真实语料基准构建、多提示多模型分类评测、细粒度错误拓扑分析以及 29 人受控人类行为学实验闭环。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密,将复杂的社会心理学构念转化为严谨的计算语言学问题,术语精确且论证层层递进。
- 价值: ⭐⭐⭐⭐⭐ 对数字健康监测、社交媒体算法审计以及大模型在计算社会科学中的方法论反思具有深远指导意义。