Evading Fake News Detection: Self-evolving Social Manipulation via LLM-driven Agent Orchestration¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 大模型安全
关键词: 虚假新闻检测规避, 社交图操纵, 大语言模型智能体, 自演化策略, 黑盒对抗攻击
一句话总结¶
针对基于传播拓扑与交互图的虚假新闻检测系统,本文提出首个基于大语言模型智能体编排的自演化社交操纵攻击框架 EvoSM,通过社交图接口联合感知与执行异构社交行为,并借助反思经验记忆库在黑盒环境中实现多阶段、自适应的检测规避。
研究背景与动机¶
虚假新闻在社交媒体生态中的野蛮滋长对公共舆论与社会信任构成了严重破坏。为了超越单纯依赖易受文本伪装影响的新闻文本分类,现代虚假新闻检测范式逐渐演进为基于传播特性的检测方法,主要涵盖基于消息传播树(Message Propagation Tree, MPT)的层级扩散建模以及基于新闻参与图(News Engagement Graph, NEG)的全局用户-新闻关联挖掘。这些检测器结合图神经网络(GNN)强大的结构表征与语义聚合能力,在真实世界的谣言识别任务中取得了显著优于纯文本分类器的判别性能。
然而,基于传播图的检测器依然面临着对抗性社交操纵(Adversarial Social Manipulation)的致命威胁。现有的对抗攻击技术往往高度局限:在行为维度上,它们通常仅针对孤立的单一社交行为进行扰动(例如仅编辑新闻正文、单一篡改评论、局部增删回复或盲目加边),缺乏对现实网络操纵中跨行为协同的建模;在策略维度上,既有方法严重依赖预设的启发式扰动规则或刚性的离散优化算法,无法根据异构图拓扑的演化动态与即时反馈调整攻击路径,因而极易被结构鲁棒防御机制拦截或过滤。
这种现实威胁与现有攻击技术之间的断层暴露出核心矛盾:复杂的社交操纵在真实场景中是一个涉及语义伪装、结构渗透、对话引导与噪音修剪的多步骤有机演化过程,但传统攻击方法缺乏对复杂社交图拓扑的认知推理能力与跨任务的经验沉淀机制。本文的切入角度是将具备自主感知、工具使用与反思进化能力的大语言模型(LLM)引入社交对抗领域,把被动的图扰动重构为主动的智能体对抗博弈。核心 idea:构建统一的社交图感知与执行接口,由大语言模型智能体担任操纵编排者,动态调度多维度社交行为,并结合基于替代模型反馈的反思经验记忆库,实现跨目标自演化的多阶段黑盒社交操纵攻击。
方法详解¶
整体框架¶
EvoSM(Self-evolving Social Manipulation)针对黑盒检测环境设计,攻击者无法获知目标检测器 \(f\) 的网络参数、梯度或中间置信度,仅能借助一个轻量级替代检测器 \(f_\theta\)(如 2 层 GCN)评估虚假概率置信度下降。框架由两大协同支柱构成:一是 LLM 驱动的社交操纵编排器(Social Manipulation Orchestrator, SMO),负责感知图上下文、制定战役级攻击策略,并将高维攻击意图映射为具体的图操作;二是 反思经验记忆库(Reflective Experience Memory, REM),在单次攻击中依据即时置信度反馈调整局部动作,在攻击结束后将轨迹蒸馏为经验元知识以指导未来攻击。整体流程通过纵向管道循环推进:
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["目标虚假新闻与传播图输入<br/>(MPT / NEG)"] --> B["双环认知感知与协同编排<br/>(全局拓扑探测与局部意图规划)"]
B --> C["异构社交行为落地执行<br/>(语义改写/增删评论/加减边)"]
C --> D["单步反馈反思与状态重调<br/>(替代检测器差分奖励分类)"]
D -->|未达终止条件 t < T| B
D -->|攻击成功或预算耗尽| E["跨目标经验记忆库蒸馏与检索<br/>(正向技能/反面教训/微技能)"]
E --> F["输出对抗图并在目标检测器评估"]
关键设计¶
1. 双环认知感知与协同编排:破解图拓扑与文本语义分离导致的盲目变异
传统图对抗攻击将图结构与节点文本割裂,无法理解社交语境。SMO 构建了统一的社交图接口(Social Graph Interface, SGI),提供观察工具集合 \(\mathcal{T}_{\text{obs}}\)(包含全局拓扑统计 GetGlobalStats、自我中心子图扫描 ScanEgoGraph、节点文本提取 ReadNode、度中心度度量 CheckInfluence 与关键词定位 Search)。智能体在决策时遵循认知双环机制:首先通过无消耗的环境感知获取当前状态 \(s_t\),在推理空间生成阶段性宏观战役计划 \(h_t \sim \text{LLM}_\theta(h \mid s_t, \mathcal{M}, \mathcal{E}_{\text{ret}})\);随后结合计划决定是继续观察深化认知,还是输出具体的执行动作 \(a_t \sim \text{LLM}_\theta(a \mid h_t, s_t, \mathcal{M}, \mathcal{E}_{\text{ret}})\)。这种两阶段解耦避免了无脑穷举,使智能体能够在修改图之前精准辨识权威节点、社区结构与传播瓶颈。
2. 异构社交行为落地执行:突破单点扰动易被结构滤波拦截的局限
针对单一扰动(如仅删减评论或仅文本重述)易被防御模型捕捉的痛点,执行工具集合 \(\mathcal{T}_{\text{exe}}\) 根据图形态(MPT 树状扩散或 NEG 共现网络)封装了语义和拓扑多维操作。在 MPT 场景下,工具涵盖修改根新闻 EditNews、注入评论 AddComment、重述评论 EditComment 与删除子树 DeleteComment;在 NEG 场景下,涵盖建立关联 AddEdge、发布伪装新闻 AddNews、修改内容 EditNews 与断开边 RemoveEdge。智能体兼顾真实社交平台约束(发布者角色保留核心事实主体与实体,仅调节语气与框架;普通用户角色限制为纯加性操作)。通过多步协同,攻击呈现出“宏观重塑扩散拓扑(如将广播扁平树拓宽为多分支有机讨论流,或渗透接入权威高信誉社群)+ 微观注入权威修辞”的立体打击。
3. 单步反馈反思与状态重调:解决黑盒环境下连续试错陷入死循环的问题 黑盒攻击缺乏显式梯度指导,盲目随机扰动容易浪费预算并引发结构突变。EvoSM 在攻击过程中接入替代模型 \(f_\theta\) 计算针对虚假类别(Class 1)的连续置信度差分奖励: $\(r_t = c_{f_\theta}(G_t) - c_{f_\theta}(G_{t+1})\)$ 若 \(r_t > 0.01\),表明该操作成功削弱了检测器对虚假信号的敏感度,智能体将状态判定为有效并顺势深入;若 \(r_t < -0.01\),判定为产生对抗逆效应,智能体立即反思失败原因并撤回或修正策略方向;若连续三次无明显收益,智能体判定陷入局部“死锁(Deadlock)”并主动跳出当前行为空间(例如从语义修改转向结构边拓展)。该即时反馈闭环将原本不可微的离散图扰动转换为由自然语言驱动的策略梯度微调。
4. 跨目标经验记忆库蒸馏与检索:弥补既有模型攻击经验无法跨实例迁移的缺陷 以往对抗方法对每个样本独立优化,每次攻击都需从头试错。REM 在单次攻击结束(替代模型翻转为真实类或达到最大预算 \(T=30\))后,自动对整条决策轨迹 \(\tau_i\) 与图特征轮廓 \(\phi(G_i)\) 进行结构化总结并存入经验库 \(\mathcal{E}\): $\(e_i = \text{Distill}(\tau_i, \phi(G_i), o_i)\)$ 其中,蒸馏出的元经验划分为三类:成功轨迹沉淀为“正向技能(Positive Skill)”,记录三阶段作战模式(侦察 \(\to\) 干预 \(\to\) 精修);失败轨迹提炼为“反面教训(Negative Lesson)”,警告盲目刷屏、缺乏全局侦察等反模式;局部带来显著增益的步骤归纳为“微技能(Micro-Skill)”。面对新目标时,系统基于离散图拓扑相似度规则(树规模、深度比、目标度等)检索匹配经验 \(\mathcal{E}_{\text{ret}}\),作为软先验(Soft Prior)注入系统提示词,大幅压缩新样本的收敛步数。
一个完整示例¶
以 Gossipcop 数据集中攻击被初始孤立的新闻节点 3533(关于格莱美奖的花边假新闻)为例:
1. 阶段 1(拓扑侦察):智能体调用 GetGlobalStats() 发现图含 22,140 节点但该节点度为 0;调用 Search("Grammy") 检索出候选权威新闻列表(4123, 4578, 6881 等);调用 CheckInfluence 与 ScanEgoGraph 发现这三个节点互为紧密连通团(度均为 2,高于全图平均度 0.23),判定其为高信誉真实新闻子图。
2. 阶段 2(外围试探与桥接):智能体执行 AddEdge(3533, 4123),置信度保持 0.3901(\(r_t=0\));智能体反思单点弱连接不足以改变拓扑势能,随即执行 AddEdge(3533, 4578),置信度小幅提升至 0.4235(\(r_t=+0.0334\))。
3. 阶段 3(核心浸润与标签翻转):智能体顺应增益信号,连接该团的第三个权威节点执行 AddEdge(3533, 6881),成功将孤立虚假节点深度锚定在真实新闻社群内,置信度瞬间跃升至 0.9619(\(r_t=+0.5718\)),检测器预测彻底翻转为真实新闻,以极小扰动代价在 9 步内完成规避。
实验关键数据¶
主实验¶
实验在四项公开基准数据集(MPT 树场景:Twitter、CED;NEG 关联网络场景:Politifact、Gossipcop)上展开,统一设定最大执行动作预算 \(T=30\),以 2 层 GCN 为替代模型评估向各类主流与前沿鲁棒检测器的攻击迁移效果。评估指标为攻击成功率(Attack Success Rate, ASR)与虚假类别置信度降幅(\(\Delta c\))。
| 数据集 | 目标检测器 | 之前最优基线 | 之前最优 ASR | \(\Delta c\) | EvoSM (本文) ASR | \(\Delta c\) | 性能增益 (ASR) |
|---|---|---|---|---|---|
| Twitter (MPT) | GAT | GAFSI | 0.34 | 0.30 | 0.36 | 0.32 | +0.02 |
| GCN | SALF | 0.20 | 0.15 | 0.48 | 0.40 | +0.28 | |
| GraphSAGE | GAFSI | 0.35 | 0.24 | 0.41 | 0.25 | +0.06 | |
| Bi-GCN | GAFSI | 0.17 | 0.11 | 0.21 | 0.12 | +0.04 | |
| SINCon (鲁棒防御) | SALF / GAFSI | 0.25 | 0.22 | 0.31 | 0.26 | +0.06 | |
| CED (MPT) | GAT | GAFSI | 0.33 | 0.29 | 0.42 | 0.38 | +0.09 |
| GCN | SALF | 0.53 | 0.39 | 0.73 | 0.61 | +0.20 | |
| GraphSAGE | SALF | 0.28 | 0.27 | 0.50 | 0.45 | +0.22 | |
| Bi-GCN | SALF | 0.45 | 0.39 | 0.52 | 0.49 | +0.07 | |
| SINCon (鲁棒防御) | HMIA-LLM | 0.52 | 0.47 | 0.58 | 0.52 | +0.06 | |
| Politifact (NEG) | GAT | SI2AF | 0.79 | 0.75 | 0.85 | 0.82 | +0.06 |
| GCN | Nettack | 0.66 | 0.64 | 0.79 | 0.76 | +0.13 | |
| GraphSAGE | SALF | 0.72 | 0.53 | 0.91 | 0.69 | +0.19 | |
| DECOR (鲁棒防御) | SI2AF | 0.36 | 0.42 | 0.77 | 0.75 | +0.41 | |
| LLM4RGNN (鲁棒防御) | MARL | 0.69 | 0.60 | 0.82 | 0.66 | +0.13 | |
| Gossipcop (NEG) | GAT | Rephrase | 0.43 | 0.37 | 0.45 | 0.37 | +0.02 |
| GCN | Rephrase | 0.38 | 0.33 | 0.46 | 0.41 | +0.08 | |
| GraphSAGE | Rephrase | 0.09 | 0.08 | 0.15 | 0.13 | +0.06 | |
| DECOR (鲁棒防御) | Nettack | 0.44 | 0.19 | 0.51 | 0.20 | +0.07 | |
| LLM4RGNN (鲁棒防御) | WTGIA | 0.34 | 0.15 | 0.41 | 0.19 | +0.07 |
消融实验¶
在受控环境下对 SMO 的感知、动作空间以及 REM 的反思与记忆模块进行系统消融(以 GCN 为目标检测器,抽样 100 样本跨 5 次随机运行平均):
| 模型配置 / 变体 | MPT-based (GCN) ASR | MPT-based (GCN) \(\Delta c\) | NEG-based (GCN) ASR | NEG-based (GCN) \(\Delta c\) | 变体说明与关键表现 |
|---|---|---|---|---|---|
| EvoSM (完整框架) | 0.61 | 0.51 | 0.61 | 0.57 | 完整协同多行为与经验反馈机制 |
| w/o Observation | 0.55 | 0.46 | 0.42 | 0.38 | 移除 SGI 观察工具,智能体缺乏拓扑定位 |
| EvoSMAdd (纯加性动作) | 0.37 | 0.32 | 0.37 | 0.33 | 仅允许增加评论/边,退化明显 |
| REM 变体: ReAct 替代 | 0.40 | 0.33 | 0.26 | 0.24 | 使用无领域经验的通用 ReAct 提示 |
| REM 变体: w/o Experience | 0.48 | 0.41 | 0.40 | 0.37 | 移除跨任务沉淀的历史经验库 |
| REM 变体: w/o Reflection | 0.42 | 0.36 | 0.41 | 0.38 | 移除单步置信度反馈与三态反思机制 |
关键发现¶
- 对结构防御模型的破防能力突出:在配备高级拓扑校准与自监督学习的鲁棒防御模型(如 DECOR 与 SINCon)上,既有基准攻击往往失效(例如 DECOR 在 Politifact 上将多数攻击抵御在 ASR 0.22-0.36 之间),而 EvoSM 取得了 0.77 的 ASR,展现了自适应跨模态攻击对硬编码防御规则的穿透力。
- 协同多行为胜过单点破坏:EvoSMAdd 纯加性消融表明,如果仅局限于加边或灌水式增发评论,ASR 从 0.61 断崖式跌落至 0.37。真实攻击的致命性恰恰来自“修改中枢语义 + 伪造有机讨论分枝 + 剔除反常激进化评论”的多步骤组合拳。
- 高隐蔽性与拓扑守恒:网络度分布检验显示,EvoSM 在幂律指数变化量(\(\Delta \alpha\))、KS 统计量与 JS 散度上均大幅优于基线(如 Twitter 上 \(\Delta \alpha\) 仅 0.34,而 HMIA-LLM 为 1.53,GAFSI 为 2.56),其操作紧密贴合良性新闻的扩散动力学,避免了激进扰动导致的拓扑异常。
- 高效收敛与有限开销:在实际执行中,EvoSM 并不需要耗尽 30 步预算,平均仅需 5.0 至 8.0 个执行动作(消耗约 19K-33K tokens)即可完成对抗翻转,多数样本在 8-10 步内便成功规避。
亮点与洞察¶
- 将图对抗重塑为多智能体演化博弈:摆脱了以往把 LLM 仅视作文本生成工具的局限,首次利用 LLM 智能体自主编排图结构遍历与变异,实现了认知图接口(SGI)与离散操作空间的无缝衔接。
- 置信度反馈与反思状态机结合:将不可导的黑盒黑天鹅探索转化为具象的 \(r_t\) 奖惩信号,并通过成功/失败/死锁三态转移驱动策略重构,使语言模型显式具备了图对抗博弈中的“长线大局观”而非贪心短视。
- 经验知识的跨目标轻量化转移:通过离散化图结构轮廓索引经验元库,实现了“攻陷一个类似拓扑后积累通用战法”的正向增量演进,对后续目标构建了自演化优势。
局限与展望¶
- 计算延迟与 Token 消耗较高:多轮感知调用与多智能体链式思考导致单条样本的推理成本远高于传统启发式算法;轻量化开源模型(如 Qwen3-4B-Instruct)虽然具备基本工具调用能力,但在高层战略推理上与顶级闭源模型仍存差距。
- 全图可观测假设的理想化:当前威胁模型设定攻击者拥有目标新闻扩散全貌的完全可观测性,而在真实开放社交平台上,API 限制与隐私沙盒使得拓扑往往呈部分可观测或延迟暴露状态。
- 防御协同演化的未决挑战:初步验证的意图感知护栏(Intent-Aware Guardrail)通过监控思考链路能拦截大量恶意动作,但攻击者若引入间接提示词隐藏、对抗混淆等欺骗手法,攻防两端的博弈边界将进一步升级。
相关工作与启发¶
- vs GAFSI / MARL (强化学习与启发式图攻击):传统方法在固定动作集上通过强化学习寻优,缺乏文本理解能力且难以动态生成贴合语境的高说服力评论;EvoSM 借助自然语言语义理解与推理闭环,实现了图拓扑与多模态语境的同步伪装。
- vs HMIA-LLM / SALF (单点 LLM 注入与改写):既有 LLM 攻击将大模型作为无状态的生成器,仅做单次静态的提示词改写或文本注入;EvoSM 则构建了有状态、有记忆、带工具反馈的自主智能体系统,攻击能力演进为连续动态的战役级编排。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出 LLM 驱动的自演化社交操纵攻击框架,开创了图-语言协同智能体对抗的新方向。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 4 个主流数据集、5 类代表性检测器(含多款顶尖鲁棒防御),包含消融、拓扑分布度量、意图护栏防御与完整案例追踪。
- 写作质量: ⭐⭐⭐⭐⭐ 框架定义清晰,问题建模严密,理论推演与图文案例映射详实连贯。
- 价值: ⭐⭐⭐⭐⭐ 揭示了现有基于传播的虚假新闻检测器面对自适应智能体操纵时的严重脆弱性,对设计下一代动态对抗安全防御机制具有重要的警示与指导意义。