跳转至

CogniDir: Combating Cognitive Malicious Comments via Adaptive Distributional Learning for Robust Fake News Detection

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/tongzhaonlpr/CogniDir
领域: 社会计算
关键词: 虚假新闻检测、认知恶意评论、对抗鲁棒性、自适应分布学习、狄利克雷重采样

一句话总结

针对大模型时代深度认知与逻辑操控恶意评论导致检测器大幅退化的难题,CogniDir 基于认知心理学合成细粒度机理对抗评论,并提出耦合经验准确率与概率置信度的信息论脆弱性度量及狄利克雷期望自适应重采样机制,实现假新闻检测鲁棒性的闭环动态强化。

研究背景与动机

基于社交媒体评论辅助的假新闻检测已成为事实核查与内容安全领域的核心支柱,现有主流方法(如 dEFEND、GenFEND 等)通常融合大众评论中的群体智慧与反驳线索来判定新闻真伪。然而,大语言模型(LLM)的爆发彻底颠覆了对抗攻击的形态:攻击者不再依赖简单的词汇置换或字符级拼写噪声,而是能够自动生成高度贴合语境、具备深度心理学诱导与逻辑陷阱的恶意评论。这类恶意评论注入新闻讨论区后,直接利用人类认知与算法模型的双重视角盲区,导致最先进的检测模型在真实对抗场景中出现超过 18% 的剧烈性能崩塌。

深入剖析现有防御范式的失效根源,主要存在三层环环相扣的因果障碍。首先是机理同质化假设:现有研究普遍将恶意评论笼统视为无差别的文本干扰,无法解耦事实扭曲、逻辑混乱与情绪煽动等异质性心理干扰路径;其次是静态数据假说:由于缺乏细粒度认知机商标注的对抗语料,防御方案只能依赖固定的均匀数据混合进行静态对抗训练,难以适应攻击策略的动态演化;最后是均匀训练动态:在固定的数据配比下,优化过程默认所有攻击形式防御难度一致,导致模型迅速在易拟合的浅层表面特征上过拟合,对高脆弱性、高隐蔽性的攻击路径形成防御盲区,鲁棒性提升陷入瓶颈。

面对此类复杂的认知操控威胁,理想的检测系统必须能够自适应感知自身在不同对抗机理上的脆弱性短板,并建立反馈驱动的防御资源倾斜机制。核心 idea:将评论对抗防御重构为概率单纯形上的动态分布优化问题,先基于认知心理学范式以多尺度 LLM 协同合成细粒度机理对抗评论,再通过耦合准确率与预测置信度的信息论指标动态量化模型脆弱性,并依托狄利克雷期望参数化实现训练数据配比的平滑闭环重采样调度。

方法详解

整体框架

CogniDir 将面对异质对抗评论的鲁棒假新闻检测构建为一个三阶段闭环架构:第一阶段,建立基于认知心理学机理的恶意评论生成流水线,利用多尺度 LLM 生成事实扭曲、逻辑混乱和情绪操控三类对抗评论,构建覆盖细粒度机理的数据集;第二阶段,构建评论感知的基础检测器(基于 BERT 表征与自注意力交互)进行分类预测;第三阶段,引入基于群体动态反馈的 InfoDirichlet 重采样模块(IDR),在每个训练轮次结束后在各机理专用验证集上评估模型表现,计算耦合准确率与置信度的脆弱性得分,并通过狄利克雷均值参数化将得分映射为平滑的采样概率,在下一轮中优先增加脆弱攻击类型的曝光预算,直至模型收敛。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入新闻正文与原始评论集"] --> B["认知机理对抗评论生成<br/>CoT两步提示引导跨尺度LLM<br/>合成事实/逻辑/情绪异质对抗评论"]
    B --> C["基础检测器前向训练<br/>BERT多层交互编码与分类优化"]
    C --> D["信息论脆弱性度量<br/>子群验证集耦合准确率与对数似然<br/>计算伯努利交叉熵与KL散度分解"]
    D --> E["狄利克雷期望动态重采样<br/>映射浓度参数计算平滑期望均值<br/>闭环分配下一轮各机理采样配比"]
    E -->|自适应数据配比注入下轮训练| C
    C -->|收敛后输出| F["鲁棒假新闻检测器"]

关键设计

1. 认知机理对抗评论生成:针对细粒度对抗语料匮乏痛点,基于认知心理学三机理并依托思维链与跨尺度模型集成生成高保真恶意评论

真实社交环境中的恶意引导具备复杂的心理学归因,直接套用通用的数据增强方法无法捕获针对检测器的深层逻辑破坏。为此,本文结合认知心理学理论,将恶意评论形式化为互补的三种认知机理:事实扭曲(Fact Distortion,伪造具体数据、时间或机构声明,构建虚假可信度)、逻辑混乱(Logical Confusion,采用虚假归因、虚假二分法等谬误制造推导混乱)、以及情绪操控(Emotional Manipulation,运用恐惧煽动、阴谋论框架激发极端情绪,弱化理性证据审查)。为了保障评论的上下文相关性与真实用户口吻,设计了“先理解、后生成”的两阶段思维链(CoT)提示策略:先从新闻及原始评论中提取关键事实并确定误导切入点,再基于指定攻击类型合成自然文本。此外,为消除特定生成模型的文体与词汇偏差,系统性混配 Mistral-7B、Gemma-2B 与 Qwen-32B 三种不同参数量级的生成器并进行分层抽样,彻底阻断检测器依赖生成器风格捷径的问题。

2. 信息论脆弱性度量:针对单一准确率难以表征模型不确定性痛点,通过伯努利交叉熵耦合经验准确率与真实类置信度

当注入对抗评论后,新闻正文与评论之间产生语义矛盾,导致检测器即便预测正确也可能处于高度不确定状态;仅依据经验分类准确率无法洞察这种潜在的脆性崩塌。为此,本文从信息论视角出发,将正确性事件定义为伯努利变量 \(Z = [\hat{y} = y] \in \{0, 1\}\)。对于任意特定攻击类型 \(j \in \{F, L, E\}\),在仅包含该机理的验证子集 \(\text{val}_j\) 上评估检测器,记录经验准确率 \(a_j \triangleq m_{j,acc}\) 和平均交叉熵损失 \(m_{j,loss}\)。通过将负对数似然转化为几何平均置信度 \(q_j \triangleq \exp(-m_{j,loss})\),定义攻击机理群体的脆弱性得分 \(s_j\) 为经验参数 \(a_j\) 到模型隐含参数 \(q_j\) 的伯努利交叉熵:

\[s_j \triangleq -a_j \log q_j - (1 - a_j) \log(1 - q_j) = H(\text{Bern}(a_j)) + D_{KL}(\text{Bern}(a_j) \parallel \text{Bern}(q_j))\]

该公式具有清晰的物理意义:第一项香农熵刻画了经验分类正确性的固有不确定度;第二项 KL 散度定量度量了经验准确率与模型输出真实置信度之间的标定失配(Calibration Mismatch)。这一设计完全避免了人为调参的启发式加权,以严谨的信息论解析形式精准定位模型各维度的防御薄弱环节。

3. 狄利克雷期望动态重采样:针对静态对抗分配导致短板过拟合痛点,借助狄利克雷均值参数化实现闭环自适应预算调度

在获得脆弱性得分向量 \(\{s_F, s_L, s_E\}\) 后,核心挑战在于如何将其平滑、稳定地映射到概率单纯形 \(\Delta\) 上的采样比例向量 \(p\),以自适应调整下一轮训练中各类恶意评论的暴露预算。若直接使用激进的硬性重加权或未经正则化的贪婪选择,极易引发训练震荡并对特定类别过拟合。CogniDir 将采样分布建模为狄利克雷分布 \(p \sim \text{Dir}(\alpha)\),并构建平滑的线性参数映射 \(\alpha_j \triangleq s_j + 1\)(常数项 1 保证浓度参数 \(\alpha_j > 0\) 且概率质量处处严格大于零)。为规避随机抽样引入的高方差,采用狄利克雷分布的解析期望均值作为确定性分配规则:

\[\bar{p}_j \triangleq \mathbb{E}[p_j] = \frac{\alpha_j}{\sum_{k \in \{F, L, E\}} \alpha_k}\]

理论证明,该分配等价于在单纯形上最大化效用函数与香农熵的正则化优化问题 \(\arg\max_{p \in \Delta} [\sum_j p_j \log \alpha_j + H(p)]\),满足严格的单纯形可行性、处处正概率保证以及对单群脆弱性得分的单调正向响应(\(\frac{\partial \bar{p}_j}{\partial s_j} > 0\))。在总评论预算 \(M\) 下,每个样本按 \(M_j = \lfloor \bar{p}_j M \rfloor\) 及最大余数法分配实例数量,使整个训练动态演进为一套自我校准的对抗防御课程。

损失函数 / 训练策略

在第 \(t\) 轮训练中,对于每个新闻实例 \(x_i\),根据上一轮更新后的分配概率 \(\bar{p}^{(t)}\) 从统一对抗池中抽取由 \(M\) 条评论组成的混合评论集 \(C_i^{(t)}\)。通过共享的预训练 BERT 提取新闻与评论的高维语义表征,利用自注意力层实现跨上下文证据交互,经由多层感知机(MLP)输出真假新闻分类概率。模型通过最小化经验交叉熵损失进行全局参数更新:

\[\theta^\star = \arg\min_{\theta} \sum_{i=1}^N \mathcal{L}_{\text{CE}}(f_\theta(x_i, C_i^{(t)}), y_i)\]

首轮训练采用各类恶意评论的均匀先验初始化分布,后续轮次通过上述 IDR 闭环反馈迭代更新,直至跨机理验证性能与整体泛化指标达到均衡收敛。

实验关键数据

主实验

在两个中文基准(Weibo16、Weibo20)和一个英文基准(RumourEval-19)上系统评测。评估设定涵盖:原始未攻击性能(O)、未做鲁棒训练下的受攻击性能(A)、以及经过各防御算法训练后的鲁棒性能(R),指标统一采用 Macro-F1。

模型类型 模型 Weibo16 (O / A / R) Weibo20 (O / A / R) RumourEval-19 (O / A / R)
LLM-Only Gemma-2-2B 0.322 / 0.291 / 0.274 0.345 / 0.292 / 0.326 0.294 / 0.238 / 0.275
LLM-Only Mistral-7B 0.686 / 0.334 / 0.495 0.654 / 0.315 / 0.375 0.468 / 0.184 / 0.252
LLM-Only Llama-3-8B 0.598 / 0.324 / 0.408 0.582 / 0.363 / 0.408 0.377 / 0.219 / 0.276
LLM-Only Qwen2.5-32B 0.831 / 0.282 / 0.716 0.823 / 0.367 / 0.541 0.553 / 0.343 / 0.412
Deep-Learning dEFEND 0.902 / 0.727 / 0.745 0.884 / 0.557 / 0.585 0.648 / 0.407 / 0.687
Deep-Learning Dual-CAN 0.895 / 0.366 / 0.578 0.872 / 0.436 / 0.580 0.628 / 0.377 / 0.546
Deep-Learning GenFEND 0.915 / 0.578 / 0.867 0.892 / 0.640 / 0.761 0.662 / 0.456 / 0.606
Deep-Learning L-Defense 0.882 / 0.706 / 0.759 0.860 / 0.666 / 0.702 0.610 / 0.343 / 0.709
Deep-Learning ARG 0.884 / 0.619 / 0.820 0.812 / 0.576 / 0.803 0.712 / 0.440 / 0.609
Ours CogniDir 0.955 / 0.792 / 0.945 0.936 / 0.728 / 0.947 0.822 / 0.552 / 0.812
相对提升 \(\Delta \text{Improve}\) +4.4% / +8.9% / +9.0% +4.9% / +9.3% / +17.9% +15.5% / +21.1% / +14.5%

消融实验

为定量剥离各核心设计的独立贡献,作者对恶意评论生成(G)、脆弱性得分度量(VS)以及狄利克雷期望分配(DEA)进行了消融评估。其中 CogniDir-VS 将信息论脆弱性替换为随机得分,CogniDir-DEA 将狄利克雷均值分配替换为 Softmax 加权分配。

数据集 配置 / 变体 Macro-F1 准确率 (Acc.) F1-Real F1-Fake
Weibo16 CogniDir-G (去除对抗生成) 0.792 0.811 0.830 0.754
Weibo16 CogniDir-VS (随机脆弱性打分) 0.821 0.836 0.862 0.780
Weibo16 CogniDir-DEA (Softmax加权) 0.855 0.872 0.895 0.815
Weibo16 CogniDir (完整模型) 0.945 0.947 0.957 0.933
Weibo20 CogniDir-G 0.728 0.742 0.770 0.686
Weibo20 CogniDir-VS 0.792 0.807 0.825 0.759
Weibo20 CogniDir-DEA 0.834 0.848 0.872 0.796
Weibo20 CogniDir (完整模型) 0.947 0.947 0.951 0.943
RumourEval-19 CogniDir-G 0.552 0.574 0.620 0.484
RumourEval-19 CogniDir-VS 0.613 0.628 0.662 0.564
RumourEval-19 CogniDir-DEA 0.692 0.707 0.748 0.636
RumourEval-19 CogniDir (完整模型) 0.812 0.836 0.883 0.741

关键发现

  • 机理破坏力分异明显:在未经防御的基线模型上,三类攻击引发的平均攻击成功率(ASR)分别为事实扭曲 0.206、逻辑混乱 0.241、情绪操控 0.283。情绪操控利用恐惧与同理心框架,对分类边界产生最具破坏性的干扰;而事实扭曲虽然包含虚构细节,但相对容易被上下文逻辑纠偏。
  • 自适应重采样有效弥合脆弱性鸿沟:通过动态监测训练过程中各攻击类型的验证准确率,模型在情绪操控上的验证精度从最初的 0.59 显著提升至 0.82,事实扭曲从 0.82 提升至 0.90,逻辑混乱从 0.69 提升至 0.83。跨机理间最大的性能差距从初始的 0.23 剧烈压缩至 0.08,彻底消除了检测器在特定薄弱机理上的过拟合与防御死角。
  • 对抗样本注入量与防御收敛:随着单篇新闻注入的对抗评论数量从 0 条增至 3 条,未防御模型的平均 ASR 从 0.145 攀升至 0.287(增幅达 98%)。而在经过 CogniDir 训练后,平均 ASR 降至 0.116(降幅达 45%),且各类攻击间的方差从 0.07 降至 0.03 以下,表明模型学到了跨机理、跨密度的深层不变性表征。

亮点与洞察

  • 信息论视角下的脆弱性刻画:巧妙将经验准确率与模型输出的真实类似然整合为伯努利交叉熵,其分解出的熵与 KL 散度既约束了模型分类精度,又惩罚了高熵不确定性与置信度偏差,避免了手工设定损失加权超参的脆弱性。
  • 狄利克雷均值参数化保障训练稳定性:摒弃传统强化学习或贪婪在线硬采样的高方差缺陷,利用狄利克雷分布的解析均值实现对单纯形参数的连续平滑更新,为动态数据配比优化提供了稳健的闭环数学形式。
  • 跨任务迁移启发:该套“细粒度机理分类 \(\to\) 验证集信息论脆弱性度量 \(\to\) 狄利克雷期望自适应配比”闭环架构,可直接复用于 LLM 越狱防御、多模式多模态对抗鲁棒性训练、以及长尾异质数据流的持续学习场景中。

局限与展望

  • 合成评论与自然恶意生态的差异:虽然通过多尺度 LLM 混合生成与人工双盲抽样质检缓解了单一文体偏置,但合成对抗评论与真实社交网络中高度俚语化、多模态图文交织、或协同水军网络操纵的自然恶意评论仍存在一定域差。
  • 黑盒未知大模型泛化性检验:当前评估主要基于 Gemma、Mistral 与 Qwen 系列构建的攻击池,尚未穷尽测试基于封闭专有模型(如 GPT-4o、Claude 3.5 Sonnet)或更复杂对抗 Agent 诱导出的隐蔽攻击。
  • 未来改进方向:可进一步将 CogniDir 扩展至多模态图文虚假新闻检测场景,并将多智能体对话博弈机制引入对抗合成阶段,探索开放分布下的主动鲁棒防御边界。

相关工作与启发

  • vs dEFEND / Dual-CAN: 传统基于评论的虚假新闻检测器依赖静态注意力或共注意力机制建模新闻与评论的相关性,但未考虑评论本身可能被对抗性投毒。CogniDir 揭示了其在认知操控下的严重脆弱性,并通过对抗样本注入与重采样大幅刷新其鲁棒表现。
  • vs GenFEND / L-Defense: GenFEND 利用 LLM 生成辅助评论增强证据,L-Defense 提取辩论对抗线索,但均缺乏对攻击机理异质性的细粒度建模与动态采样调整。CogniDir 通过信息论度量实现定向补强,在对抗攻击下相比 GenFEND 取得 9.0%~17.9% 的显著 F1 提升。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [首次将认知心理学机理引入假新闻对抗攻击,并提出信息论度量与狄利克雷重采样的自适应防御框架]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖中英三大数据集、跨尺度多生成器消融、统计显著性检验与跨机理收敛性全方位验证]
  • 写作质量: ⭐⭐⭐⭐⭐ [理论推导严密自洽,因果叙事流畅连贯,图表与实验剖析扎实细致]
  • 价值: ⭐⭐⭐⭐⭐ [为防御 LLM 驱动的社交媒体深度认知操控提供了标准数据集基石与闭环自适应算法范式]