跳转至

RedNote-Vibe: A Lifestyle Social Media Dataset for Detecting AI-Generated Text and Analyzing Its Impact

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/ydli-ai/RedNote-Vibe
领域: LLM Agent
关键词: AIGT检测, 社交媒体数据集, 心理语言学特征, 小红书用户互动, 跨模型泛化

一句话总结

构建首个跨越前大模型时代至 2025 年 7 月的小红书生活方式社交数据集 RedNote-Vibe(含 14.8 万篇笔记与 17 款大模型生成变体),并提出基于 31 维心理语言学特征的 PLAD 可解释检测框架,系统揭示了真实社交媒体中人机内容互动差异与策略性 AI 创作者现象。

研究背景与动机

大语言模型(LLM)的飞速迭代深刻重塑了数字化内容的生产范式,引发了社交媒体上人工智能生成文本(AIGT)的爆发式增长。然而,既有的 AIGT 检测基准与量化研究高度聚焦于正式文体与知识分享型语料(如学术论文、维基百科、新闻以及 Quora、Reddit 等以信息检索为主的论坛平台)。在这些场景中,文本的核心价值在于事实客观性与逻辑推理能力,模型生成的人工痕迹往往显著体现在表层统计异常上。相反,以小红书(RedNote)为代表的生活方式分享与兴趣社交电商平台拥有数亿级高活跃用户,其内容生态深度植根于第一人称个人体验、主观情绪共鸣、生活攻略与商业化种草推荐。在此类平台上,文本的目标并非传递绝对客观事实,而是最大化点赞、收藏与评论等用户深度参与度。大语言模型极易被引导用于生成煽动性或充满戏剧冲突的生活叙事,在严重污染社区信任生态的同时,形成了极其隐蔽的人机混杂文本。

更严峻的挑战在于,现有的 AIGT 数据集大多局限于静态时间切片,缺乏纵向追踪时间演进的能力,且未记录点赞、评论、收藏等细粒度用户互动元数据。一方面,随着大语言模型表达风格不断对齐人类口语与生活化表达,传统的浅层句法特征与 token 分布统计模式面临快速被中和甚至失效的困境;另一方面,黑盒微调探测器(如微调 BERT、RoBERTa)虽然在特定评测集上获得高准确率,但面对未见模型家族或全新推理模型时,其泛化能力会发生断崖式下跌,且无法解释模型决策背后的语言学根源。

针对生活方式社交媒体数据空白与表层黑盒检测脆弱的双重瓶颈,本文的核心着眼点在于:尽管表层词频与句法能够被提示工程轻易拟合,但人类在进行自传体叙事、情绪调节与社交对话时所蕴含的深层心理语言学规律,是大语言模型统计采样难以完美再现的认知印记。核心 idea:构建首个包含五年时间跨度与真实互动指标的小红书生活方式数据集 RedNote-Vibe,并提出心理语言学 AIGT 检测框架(PLAD),通过量化 4 个认知维度的 31 种可解释心理语言学特征,构建兼具强跨模型泛化性与社交互动解释力的高效分类模型。

方法详解

整体框架

RedNote-Vibe 数据集的构建与 PLAD 框架的处理流程形成了紧密的闭环。在数据集层面,研究团队采集了 2020 年 10 月至 2025 年 7 月期间小红书 10 大核心领域(职业、养生、旅游、健康、美食、宠物、教育、运动、穿搭、情感关系等)共 14.8 万篇笔记,严格过滤字数少于 100 字的纯图内容,并完整保留标题、正文、标签、发布时间戳及点赞、评论、收藏等互动元数据。数据被系统拆分为三部分:① 前大模型时代(2022 年 12 月之前发布)的 100% 确认人类创作基准集;② 以该时期人类笔记为种子、调用 6 大主流厂商(OpenAI、Google、Anthropic、DeepSeek、Qwen、Zhipu)共 17 款前沿大模型进行风格一致性变体改写生成的 100% 确认 AI 变体集;③ 包含 9 万篇 2023–2025 年后大模型时代的真实无标签探索集。

在检测方法层面,PLAD 摆脱了单纯端到端黑盒表征的局限,从人类语言表达的 4 个认知心理学维度构建了 31 维特征向量,涵盖统计量直算与基于提示工程的代理大模型语义特征打分,最后交由树模型进行监督分类与特征归因。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["小红书多领域帖子输入<br/>文本内容 + 发布时间 + 互动元数据"] --> B["数据集构建与人机变体对齐<br/>前LLM人类基准 / 17款大模型变体 / 探索集"]
    B --> C["心理语言学特征抽取体系<br/>4个认知维度量化共31维特征向量"]
    C --> D["代理大模型语义评分与统计抽取<br/>标准化JSON规则 + CoT元认知打分"]
    D --> E["树模型分层分类与特征解释<br/>二分类检测 / 厂商归属 / 17模型细粒度辨识"]

关键设计

1. 数据集构建与人机变体对齐:严格阻断污染的种子驱动生成与纵向探索

现有生成数据集多依赖无约束的直接提示词,导致 AI 生成文本在长度、排版与主题上与真实帖子脱节,形成易被简单分类器利用的虚假统计捷径。为了模拟真实世界对抗性条件,RedNote-Vibe 严格挑选 2022 年 11 月之前发布的真实人类帖子作为种子,确保训练基准集绝对不含任何 AI 污染。在生成 AI 变体时,设计了严格受控的种子改写 Prompt,要求各模型(涵盖 DeepSeek-R1、DeepSeek-V3、GPT-4o、Claude-3.7-sonnet、Gemini-2.5-flash 等):(1) 紧扣种子帖子的主题和生活领域,但严禁复制粘贴;(2) 深度拟合小红书独特的口语化口吻、非正式标点乃至社交网络常见的轻微语法不规范;(3) 维持与种子笔记相近的自然长度;(4) 严格输出 JSON 结构。此方案使得生成的 AI 变体在排版和语气上极度逼真人性化,构筑了高难度的对抗基准。

2. 心理语言学特征抽取体系:根植于认知心理学的四维特征空间

针对大模型不断迭代导致表层词法特征失效的问题,PLAD 提出以心理语言学理论为基石的 31 维特征空间,涵盖人类言语产生的四大核心支柱: - 情感与社会根基(Emotional & Social Grounding):评估情感深度、感觉细节与社交连接,包含情感强度(Gross 理论)、个人情绪根基(Conway 自传体记忆理论)、感官细节丰富度、社会连接感、同理心介入、对话协商姿态以及表情符号密度与独特度等; - 认知架构(Cognitive Architecture):刻画视角复杂性、反思性与叙事结构,包含视角复杂性(Baker-Brown 整合复杂性理论)、叙事结构灵活性(Labov 叙事分析理论)、图尔敏辩证论证强度、元话语自我修正度(Hyland 理论)、价值连贯性(Graham 道德基础理论)、时态整合性以及字句长度统计; - 词汇个性与文体签名(Lexical Identity & Stylistic Signature):捕捉个体方言习语、韵律节奏与自然瑕疵,包含文体个性化度、韵律节奏一致性、言语瑕疵与犹豫度(Clark 话语流利度理论)、格赖斯修辞精巧度、标点比例、数字比例、Type-Token Ratio(TTR 词汇多样性)、词频熵以及词语突发性(Word Burstiness); - 篇章衔接与文本流(Cohesion & Textual Flow):度量语义组织与递进模式,包含词汇衔接度(Halliday 理论)、句间语义相似度、即时重复密度、短语重复频率以及句子突发性(Sentence Burstiness)。 特征相关性分析(Pearson 相关系数绝对值均值仅为 0.1884,80% 的特征对绝对值小于 0.3)证实了该特征空间具有优异的正交性与互补性。

3. 代理大模型语义评分与统计抽取:少样本思维链驱动的客观心理测量

传统心理语言学文本分析工具(如 LIWC)仅依赖基于固定词表的词频匹配,无法理解语境、隐喻与复杂的认知修辞。PLAD 采取分流提取策略:对于 TTR、标点比例、表情符号统计等直算统计特征直接通过代码快速提取;对于深层心理语言学构念,则采用最先进的指令遵循模型(以 qwen-turbo 作为标准代理评测器)执行标准化打分。针对每个特征,研究团队设计了结构化的 JSON 评估规范,详细定义理论构念、锚定在 0.0 到 1.0 的行为量规、文本证据关键指示指标以及配对的人工校验 Few-shot 样例与链式思考(CoT)推理逻辑。实验证明,代理 LLM 在具象度、情感、正式度等维度与人类专家打分的斯皮尔曼相关系数达到 0.720–0.785,显著优于传统 LIWC 方法(0.429–0.570)。

4. 树模型分层分类与特征解释:可解释树模型与分层任务求解

提取得到的 31 维稠密特征向量 \(f(x) \in \mathbb{R}^{31}\) 直接输入至 CatBoost 或 XGBoost 等梯度提升决策树分类器中,通过最小化交叉熵损失进行训练: $$ \mathcal{L}{\text{CE}} = - \sum y_i \log(p_i) $$ 采用树模型而非黑盒多层感知机的关键在于:一方面在表格化心理特征上表现出卓越的非线性拟合与泛化能力;另一方面能够无缝结合 SHAP(Shapley Additive exPlanations)博弈论分析方法,精确量化各心理特征在区分人类与 AI 时的全局重要性,并进一步解码各特征对点赞、评论、收藏等平台互动行为的正负向因果影响,实现高保真度与强可解释性的统一。

实验关键数据

主实验

论文在 RedNote-Vibe 上定义了三种不同粒度的真实检测任务:二分类 AIGT 检测(Human vs. AI)、6 分类厂商识别(识别 OpenAI、Google、Anthropic、DeepSeek、Alibaba、Zhipu)以及 17 分类细粒度模型归因。将数据集按 8:1:1 划分为训练集、验证集与测试集,宏平均(Macro-average)评估指标如下表所示(节选自主论文 Table 4):

方法类别 检测方法 17 分类模型识别 Acc. (%) 17 分类 F1/Prec. (%) 6 分类厂商识别 Acc. (%) 6 分类 Prec. (%) 二分类 AIGT 检测 Acc. (%) 二分类 Prec. (%) 二分类 Recall (%)
统计基准 StyloAI (2024) 23.20 21.68 41.21 37.33 77.90 75.23 72.55
统计基准 Ullah et al. (2024) 26.01 23.83 46.41 41.05 78.59 75.91 73.83
统计基准 Binoculars (2024) 24.05 21.13 43.72 40.48 77.89 72.07 74.17
预训练模型 FT. BERT (2019) 33.76 32.97 50.47 44.38 88.24 85.91 88.29
预训练模型 FT. ALBERT (2019) 31.65 32.26 44.34 41.98 84.58 83.59 79.63
预训练模型 FT. RoBERTa (2019) 32.21 35.20 47.64 38.22 89.52 87.85 88.88
SOTA 流水线 Sniffer (2023) 30.04 30.63 45.65 44.39 84.45 82.55 81.30
SOTA 流水线 POGER (2024) 31.88 31.28 47.16 45.41 84.89 79.17 82.03
SOTA 流水线 LLM-Idiosyncrasies (2025a) 32.31 32.91 49.96 49.81 89.07 88.09 90.15
本文框架 PLAD-XGBoost 34.04 32.11 53.30 50.73 87.79 86.45 85.31
本文框架 PLAD-CatBoost 36.94 35.87 51.89 50.06 89.62 88.70 87.28

在最具挑战性的细粒度模型识别与厂商识别任务中,PLAD 均超越所有深度模型微调与嵌入表征基线;在二分类任务上,PLAD-CatBoost 取得了全场最高的准确率(89.62%)与精确率(88.70%)。

消融实验与未见模型泛化

为剖析各心理维度在检测中的有效性,论文在 CatBoost 分类器上进行了维度级消融实验(对应主论文 Table 6,宏平均 F1 值):

配置 / 移除维度 17 分类模型识别 F1 (%) 6 分类厂商识别 F1 (%) 二分类 AIGT 检测 F1 (%) 说明
CatBoost (Full 完整特征) 36.16 48.66 87.98 完整包含 31 维特征
w/o 情感与社会根基 (Emotional Dim.) 27.68 (-8.48) 43.22 (-5.44) 86.32 (-1.66) 细粒度模型判别剧烈受损
w/o 认知架构 (Cognitive Dim.) 31.40 (-4.76) 43.56 (-5.10) 86.44 (-1.54) 论证与叙事结构缺失
w/o 词汇与文体签名 (Lexical Dim.) 26.81 (-9.35) 38.66 (-10.00) 85.00 (-2.98) 全任务降幅最大,核心支柱
w/o 篇章衔接与文本流 (Cohesion Dim.) 32.29 (-3.87) 44.76 (-3.90) 86.57 (-1.41) 句间衔接模式缺失

为了检验对未见模型(Unseen Models)的零样本跨代识别能力,实验在训练集中剔除最新的 GPT-o3 与 Gemini-2.5,仅保留 OpenAI 与 Google 的旧版模型进行 6 分类训练,并在未见新模型上测试召回率(Table 5):

评估方法 已见模型准确率 Seen Acc. (%) GPT-o3 目标召回率 Unseen Recall (%) Gemini-2.5 目标召回率 Unseen Recall (%)
BERT-base 42.42 / 45.23 25.35 52.31
ALBERT-base 42.73 / 42.61 28.31 50.00
LLM-Idiosyncrasies 44.34 / 41.71 22.54 53.85
PLAD (本文) 46.46 / 43.72 56.34 (+31.0%) 58.46 (+4.6%)

PLAD 在面对具备全新推理链路的 GPT-o3 时召回率达到 56.34%,远超黑盒基线的 22.54%–28.31%,证明了心理语言学特征在捕捉厂商家族深层风格印记时的稳健性。

关键发现

  • 大模型文本的“过度完美”与“韵律平滑”构成关键破绽:SHAP 归因分析显示,前三大关键判别特征均为词汇文体维度的 Prosodic Rhythm Consistency(韵律节奏一致性)、Type-Token Ratio(词汇多样性) 与 Imperfection(言语瑕疵度)。大语言模型输出的节奏起伏呈现出极高且单调的规律性,且几乎不含人类真实的犹豫、笔误与口语自我纠错(Imperfection 偏高),而真实人类写作则伴随由于认知负荷引起的节奏破碎与局部瑕疵。
  • 互动层级越深,人类与 AI 内容的参与度差距越显著:在点赞这类低认知负荷的被动互动中,受众受排版与标题吸引,AI 内容尚能获得一定曝光;但在需要强烈情感共鸣的自传体领域(如旅游、职场、恋爱),人类创作在中位数互动上显著压制 AI 内容。更重要的是,AI 内容的互动分布呈现出缺乏极端爆款长尾的高同质化倾向。
  • AI-augmented(策略性人机协作)创作者斩获最高全域互动:对发帖量 \(\ge 4\) 的 829 位独立创作者的分析揭示了极具启示性的现象:纯粹依赖 AI 的作者(27.7%)互动表现低迷;完全不使用 AI 的传统创作者(68.7%)表现居中;而仅占 3.5%(29 人)的策略性人机结合创作者,其点赞、收藏与评论数均显著超越前两组,表明人类将审美、真实经验注入 AI 初稿能达到效率与互动的最佳平衡。

亮点与洞察

  • 将心理语言学深层理论系统转化为 AIGT 检测工程量规:不同于市面上依赖困惑度或统计特征的脆弱黑盒检测器,PLAD 首次系统整合了 Gross 情绪调节、Labov 叙事结构、Toulmin 论证与 Halliday 语法衔接等跨学科理论,通过结构化 JSON 提示词成功让轻量代理大模型输出高一致性的认知评分。
  • 打破“检测器在真实场景必虚高”的评测幻觉:过往基准常报告 98% 以上的虚高准确率,源于基准样本充斥着毫无防备的通用提示词输出。RedNote-Vibe 引入高度拟人化的生活化种子改写与口语化约束,将真实场景下的最强模型准确率拉回至 89% 左右,提供了极具实战价值的高对抗性检验基准。
  • 揭示了不同社交互动指标对应的语言学驱动力:通过 SHAP 分析证明,轻量级的“点赞”主要受标点比例与词频熵等表层排版韵律主导;深层次的“收藏”受文本价值连贯性(Axiological Coherence)与信息密度主导;而引发深入讨论的“评论”则强烈依赖个人风格化表达、同理心介入与对话姿态,为社交内容生态治理提供了细粒度依据。

局限与展望

  • 平台与语种生态单一:目前 RedNote-Vibe 专攻小红书单一中文平台,其生活方式叙事、图文强绑定特征和独特的种草黑话在其他跨语言跨文化社交平台(如 Instagram、Threads)上的迁移效果仍有待经验验证。
  • 两阶段代理大模型特征提取带来的推理延迟与计算成本:相比直接运行 RoBERTa 几毫秒的快速推理,PLAD 需要调用代理大模型执行思维链特征评估,在海量工业级高并发内容审核场景下的时延与 API 成本较为昂贵,亟需探索蒸馏至小参数模型的方案。
  • 多模态视觉信息的缺失:小红书作为高度视觉驱动的图文平台,封面图片美学、图文一致性对于帖子爆款与真实性具有决定性影响,当前数据集与检测框架仅局限在纯文本层面,未来需向多模态 AIGC 检测拓展。

相关工作与启发

  • vs SM-D (Sun et al., 2025b):SM-D 涵盖 Reddit 与 Quora 等英文社区讨论,侧重于知识问答;RedNote-Vibe 填补了中文生活方式分享与商业化社群的空白,提供了长达 5 年的连续时间戳与互动指标。
  • vs Sniffer / LLM-Idiosyncrasies (Li et al., 2023; Sun et al., 2025a):前人工作主要依靠神经模型隐层嵌入或自注意力异常来追踪模型指纹;PLAD 将判定依据解构为 31 维具有明确心理学定义的白盒特征,在面对 GPT-o3 等全新推理架构时表现出更优越的抗过拟合与零样本外推能力。
  • vs Binoculars / DetectGPT (Hans et al., 2024; Mitchell et al., 2023):无监督概率曲率方法依赖模型自身的困惑度分布,在经过人类口语化种子强约束的改写文本上极易失效;PLAD 从人类认知的深层自传体记忆与论证逻辑切入,构建了更为坚固的对抗防御面。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次建立中文生活方式社交媒体人机文本数据集,开创性地将深层心理语言学构念落地为可解释 AIGT 检测体系。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 17 款前沿模型、跨越 5 年纵向时间线,涵盖三级任务粒度、未见模型零样本迁移、消融实验与细粒度 SHAP 互动分析。
  • 写作质量: ⭐⭐⭐⭐⭐ 叙事宏大且条理清晰,从动机阐述、特征理论溯源到数据可视化分析均展现出极高的学术规范。
  • 价值: ⭐⭐⭐⭐⭐ 不仅为 AIGT 学术界提供了稀缺的动态社交媒体测试基准,其关于策略性人机协作的洞察对平台算法治理与创作者生态更具深远实践指导意义。