Evading Fake News Detection: Self-evolving Social Manipulation via LLM-driven Agent Orchestration¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM推理
关键词: 虚假新闻检测对抗攻击, 大语言模型智能体, 社交图操纵, 反思经验记忆, 传播结构演化
一句话总结¶
本文提出面向基于传播的虚假新闻检测器的自演化社交操纵攻击框架 EvoSM,利用 LLM 驱动的社交操纵编排器协同结构与语义层面的异构社交行为,并借助反思经验记忆库在跨样本攻击中提炼与检索可复用策略,显著提升黑盒规避成功率与跨检测器迁移能力。
研究背景与动机¶
基于传播图拓扑与多级交互的虚假新闻检测技术已成为抵御虚假信息扩散的核心支柱,通过构建消息传播树(Message Propagation Tree, MPT)或新闻交互共现图(News Engagement Graph, NEG),这类检测器能够协同捕获文本语义内容与深层网络拓扑特征,性能显著超越传统仅依赖正文的纯文本检测器。然而,基于传播的检测器依然高度脆弱于对抗性社交操纵——恶意发布者能够通过在社交网络中注入对抗回复、增删评论或操纵传播连接来扭曲拓扑模式,从而逃避图神经网络模型的识别。现有针对图检测器的对抗攻击通常仅针对单一孤立的社交行为,例如纯粹的文本重写、随机噪声回复注入或固定的边缘扰动启发式规则,缺乏对复杂社交语境的感知与跨行为协同能力,因而极易被近期的鲁棒防御模型(如 SINCon 或 LLM4RGNN)有效拦截。
这种攻防失衡的深层矛盾在于:现实社交网络中的虚假信息操控本质上是一场动态编排的多阶段战略战役,攻击者需要依据当前传播拓扑和检测器反馈灵活调度语义改写、评论增删与拓扑桥接等异构动作,但现有攻击方法均局限于静态预定义的单步扰动脚本,无法模拟真实世界中的自适应协同对抗。通用 LLM 智能体架构虽然具备工具调用与环境交互能力,但直接应用存在巨大的领域鸿沟——图结构环境缺乏可被语言模型原生理解的直观交互协议,模型无法自主感知图拓扑瓶颈并将其转换为合法且低扰动的图编辑动作,更缺乏在连续对抗交互中总结成败经验以指导后续策略迭代的进化机制。
本文的切入角度是赋予大语言模型自主感知传播图拓扑与编排异构社交操作的战略决策能力,将对抗攻击从无状态的单步文本/图扰动转变为目标驱动的双循环自适应战役。核心 idea:构建统一的自演化社交操纵框架 EvoSM,由社交图接口(SGI)桥接高层意图与底层图操作,利用 LLM 编排器实现“感知-诊断-规划-执行”认知闭环,并引入反思经验记忆(REM)从历史攻击轨迹中提炼正向技能与失败教训,实现多异构社交行为的动态协同与跨目标策略自演化。
方法详解¶
整体框架¶
EvoSM 整体包含两大协同核心模块:LLM 驱动的社交操纵编排器(Social Manipulation Orchestrator, SMO)与反思经验记忆(Reflective Experience Memory, REM)。在严格的黑盒威胁模型下,攻击者无法获知目标检测器 \(f\) 的内部权重或梯度,而是依赖本地轻量替代检测器 \(f_\theta\)(2层 GCN)提供置信度反馈 \(r_t = c_{f_\theta}(G_t) - c_{f_\theta}(G_{t+1})\)。攻击过程采用解耦的双循环机制:观察循环调用无预算开销的信息感知工具 \(T_{obs}\) 获取全局统计与局部子图语义;执行循环调用消耗预算的图操纵工具 \(T_{exe}\) 执行具体的语义或拓扑编辑,并由替代模型反馈触发实时反思状态 \(z_t \in \{\text{Success}, \text{Failure}, \text{Deadlock}\}\)。战役终止后,经验蒸馏模块将完整轨迹提炼为紧凑的经验条目沉淀至经验库,供后续相似拓扑的目标检索复用。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["目标虚假新闻与传播图<br/>(MPT 或 NEG)"] --> B["社交图接口与拓扑感知<br/>无预算开销信息收集"]
B --> C["社交操纵编排器<br/>宏观战役诊断与动作规划"]
C --> D["异构图动作执行<br/>语义重写 / 评论增删 / 拓扑连边"]
D --> E["替代检测器置信度反馈<br/>计算瞬时奖励与反思状态"]
E -->|未达到置信度阈值且预算未耗尽| C
E -->|攻击终止| F["反思经验记忆提炼<br/>正向技能 / 失败教训 / 微观技能"]
F -.->|基于拓扑相似度检索软先验| C
E -->|最终对抗图 Gadv| G["目标黑盒检测器评估<br/>验证跨模型攻击成功率与转移性"]
关键设计¶
1. 社交图接口与拓扑感知:解决图拓扑与大模型符号空间语义失配问题
为了让 LLM 能够理解复杂的非欧几里得传播拓扑,社交图接口(SGI)将底层图结构抽象为一系列标准化的感知函数 \(T_{obs}\),包括全局统计信息汇总 GetGlobalStats()(返回节点数、边数、最大深度、平均度及连通性)、局部 \(k\)-跳邻域扫描 ScanEgoGraph(node_id, k)、特定节点文本读取 ReadNode(node_ids)、关键节点影响力估计 CheckInfluence(node_ids) 以及基于关键词定位权威节点簇的 Search(keywords)。该接口彻底解耦了信息收集与攻击预算,所有感知工具调用均不计入有限的执行步数预算(\(T=30\)),确保智能体在采取任何不可逆图编辑之前能够建立对全局传播模式与核心漏洞节点的充分认知。
2. 社交操纵编排器:解决异构行为孤立割裂与盲目贪婪决策问题
针对传统攻击无法协同跨模态社交操作的痛点,编排器(SMO)提供涵盖增、删、改的多维执行工具库 \(T_{exe}\)。对于消息传播树(MPT),支持根节点新闻改写 EditNews、评论内容精细调整 EditComment、新增级联评论注入 AddComment 以及恶意谣言分支剪枝 DeleteComment;对于新闻交互共现图(NEG),支持可信新闻节点注入 AddNews、新闻正文修改 EditNews、交互边添加 AddEdge 与异常关联断开 RemoveEdge。编排器遵循“诊断-规划-反思”的三阶段认知循环,优先通过全局与局部观察识别拓扑瓶颈(例如通过关键词搜索锁定权威媒体社群),再将高阶战略意图下发为参数化图操作 \(a_t = \langle \tau, p \rangle\)。实证分析表明,编排器并非贪婪选择单步奖励最高的操作,而是自主演化出多阶段战役模式:先进行基础语义脱敏,再构造多跳有机讨论链重构拓扑,最后微调关键节点达成攻击,兼顾单步扰动隐蔽性与全局协同效果。
3. 反思经验记忆:解决跨样本攻击策略无法迁移演化的冷启动痛点 传统对抗攻击在面对新样本时均从零优化,无法积累历史攻防经验。反思经验记忆(REM)包含两大联动机制:攻击过程中的即时反思与跨样本的经验蒸馏/检索。在单次攻击中,替代检测器的置信度变化 \(r_t = c_{f_\theta}(G_t) - c_{f_\theta}(G_{t+1})\) 被映射为反思状态(当 \(r_t > 0.01\) 时判定为正向推进,连续 3 次失败则触发死锁并主动切换攻击维度)。当攻击结束(成功或用尽 30 步预算),REM 将整条轨迹提炼为结构化紧凑经验: - 正向技能(Positive Skill):记录在特定图拓扑特征下的高收益行为模式(如“在树状中等规模图中,完成侦察后优先在中心节点执行改写,而非盲目在边缘刷评论”); - 失败教训(Negative Lesson):记录低收益或死锁反模式(如无感知时的连续评论注入,导致预算耗尽且置信度下降停滞); - 微观技能(Micro-skill):提炼失败轨迹中单步净收益 \(r_t > 0.01\) 的局部有效操作。 对于新目标图 \(G^{(i)}\),系统根据基于规则的离散结构特征向量 \(\phi(G)\)(涵盖图类型、规模等级、深度、宽度深度比及目标节点度)计算拓扑相似度 \(\text{sim}(\phi(G), \phi(e))\),检索 Top-3 正向技能、Top-1 失败教训与 Top-1 微观技能注入 Prompt 作为软先验指导,实现跨目标的经验终身演化。
损失函数 / 训练策略¶
在黑盒设定下,EvoSM 的攻击目标是在保持对抗扰动符合现实社交约束的集合 \(\mathcal{N}_A(G, v^*)\) 前提下,使得目标检测器 \(f\) 将真值标签为虚假的新闻 \(v^*\) 预测为真实新闻(类别 0): $\(f(v^*; G_{adv}) = 0, \quad \text{s.t.} \quad G_{adv} \in \mathcal{N}_A(G, v^*)\)$ 在中间决策阶段,LLM 策略完全由替代模型 \(f_\theta\) 计算的虚假类置信度下降量所驱动: $\(r_t = c_{f_\theta}(G_t) - c_{f_\theta}(G_{t+1})\)$ 式中 \(c_{f_\theta}(\cdot)\) 表示替代网络对虚假类别的 Softmax 输出概率。单次攻击的执行预算严格上限设为 \(T=30\)。为确保操纵的自然度与真实感,LLM 在改写文本时受到严格的操作约束:对于发布者角色,必须严格保留核心实体与客观事件框架,仅通过调整语气、修饰词及引入权威声明(如“official reports confirm”)降低虚假语义线索;在拓扑编辑上,仅能引用网络中客观存在的合法节点 ID,严格遵循社交平台的角色权限边界。
实验关键数据¶
主实验¶
实验在四个人类真实的虚假新闻基准数据集上展开:涵盖消息传播树(MPT)场景的 Twitter(60,409 节点)和 CED(1,277,842 节点),以及新闻交互共现图(NEG)场景的 Politifact 和 Gossipcop。对比基线包括文本注入攻击(HMIA-LLM、Generate)、文本改写与删除(SALF、Rephrase、Delete)、图拓扑扰动(GAFSI、MARL、SI2AF、WTGIA、Nettack)。攻击有效性采用攻击成功率(ASR)与虚假类平均置信度降幅(\(\Delta c\))衡量(基于 5 次随机种子独立训练检测器的均值评估)。
表 1:消息传播树(MPT)场景下的黑盒攻击性能对比(ASR | \(\Delta c\))
| 方法 | Twitter (GAT) | Twitter (GCN) | Twitter (SAGE) | Twitter (Bi-GCN) | Twitter (SINCon) | CED (GAT) | CED (GCN) | CED (SAGE) | CED (Bi-GCN) | CED (SINCon) |
|---|---|---|---|---|---|---|---|---|---|---|
| HMIA-LLM | 0.06 | 0.06 | 0.17 | 0.09 | 0.02 | -0.06 | 0.10 | 0.02 | 0.22 | 0.20 | 0.10 | 0.10 | 0.45 | 0.36 | 0.05 | 0.07 | 0.24 | 0.22 | 0.52 | 0.47 |
| GAFSI | 0.34 | 0.30 | 0.09 | 0.10 | 0.35 | 0.24 | 0.17 | 0.11 | 0.25 | 0.22 | 0.33 | 0.29 | 0.04 | 0.05 | 0.10 | 0.13 | 0.05 | 0.04 | 0.06 | 0.07 |
| Generate | 0.05 | 0.04 | 0.13 | 0.10 | 0.01 | -0.07 | 0.05 | -0.09 | 0.18 | 0.13 | 0.03 | 0.04 | 0.17 | 0.14 | 0.01 | 0.01 | 0.06 | 0.05 | 0.20 | 0.17 |
| SALF | 0.11 | 0.07 | 0.20 | 0.15 | 0.20 | 0.09 | 0.10 | 0.03 | 0.25 | 0.22 | 0.25 | 0.20 | 0.53 | 0.39 | 0.28 | 0.27 | 0.45 | 0.39 | 0.46 | 0.39 |
| Rephrase | 0.25 | 0.19 | 0.07 | 0.08 | 0.24 | 0.13 | 0.06 | 0.05 | 0.13 | 0.09 | 0.23 | 0.21 | 0.05 | 0.06 | 0.04 | 0.07 | 0.01 | 0.01 | 0.02 | 0.02 |
| Delete | 0.05 | 0.02 | 0.03 | 0.03 | 0.07 | 0.04 | 0.02 | -0.01 | 0.05 | 0.01 | 0.04 | 0.06 | 0.04 | 0.05 | 0.02 | 0.04 | 0.03 | 0.02 | 0.00 | 0.00 |
| EvoSM (Ours) | 0.36 | 0.32 | 0.48 | 0.40 | 0.41 | 0.25 | 0.21 | 0.12 | 0.31 | 0.26 | 0.42 | 0.38 | 0.73 | 0.61 | 0.50 | 0.45 | 0.52 | 0.49 | 0.58 | 0.52 |
表 2:新闻交互共现图(NEG)场景下的黑盒攻击性能对比(ASR | \(\Delta c\))
| 方法 | Politifact (GAT) | Politifact (GCN) | Politifact (SAGE) | Politifact (DECOR) | Politifact (LLM4RGNN) | Gossipcop (GAT) | Gossipcop (GCN) | Gossipcop (SAGE) | Gossipcop (DECOR) | Gossipcop (LLM4RGNN) |
|---|---|---|---|---|---|---|---|---|---|---|
| Nettack | 0.49 | 0.48 | 0.66 | 0.64 | 0.56 | 0.37 | 0.31 | 0.31 | 0.47 | 0.38 | 0.34 | 0.28 | 0.31 | 0.28 | 0.06 | 0.06 | 0.44 | 0.19 | 0.14 | 0.06 |
| MARL | 0.40 | 0.39 | 0.41 | 0.38 | 0.27 | 0.11 | 0.22 | 0.35 | 0.69 | 0.60 | 0.12 | 0.10 | 0.17 | 0.15 | 0.02 | 0.02 | 0.27 | 0.15 | 0.15 | 0.07 |
| GAFSI | 0.51 | 0.50 | 0.35 | 0.33 | 0.36 | 0.20 | 0.23 | 0.23 | 0.43 | 0.36 | 0.16 | 0.14 | 0.13 | 0.12 | 0.01 | 0.02 | 0.43 | 0.17 | 0.16 | 0.07 |
| WTGIA | 0.36 | 0.35 | 0.60 | 0.57 | 0.29 | 0.14 | 0.24 | 0.25 | 0.24 | 0.22 | 0.22 | 0.19 | 0.28 | 0.26 | 0.05 | 0.04 | 0.37 | 0.16 | 0.34 | 0.15 |
| SI2AF | 0.79 | 0.75 | 0.58 | 0.52 | 0.52 | 0.34 | 0.36 | 0.42 | 0.68 | 0.53 | 0.08 | 0.06 | 0.18 | 0.20 | 0.02 | 0.02 | 0.27 | 0.14 | 0.08 | 0.03 |
| Rephrase | 0.29 | 0.29 | 0.32 | 0.31 | 0.58 | 0.41 | 0.32 | 0.31 | 0.26 | 0.21 | 0.43 | 0.37 | 0.38 | 0.33 | 0.09 | 0.08 | 0.39 | 0.16 | 0.16 | 0.07 |
| SALF | 0.44 | 0.43 | 0.42 | 0.41 | 0.72 | 0.53 | 0.30 | 0.29 | 0.24 | 0.23 | 0.36 | 0.30 | 0.39 | 0.32 | 0.06 | 0.05 | 0.23 | 0.05 | 0.26 | 0.09 |
| EvoSM (Ours) | 0.85 | 0.82 | 0.79 | 0.76 | 0.91 | 0.69 | 0.77 | 0.75 | 0.82 | 0.66 | 0.45 | 0.37 | 0.46 | 0.41 | 0.15 | 0.13 | 0.51 | 0.20 | 0.41 | 0.19 |
消融实验¶
消融实验评估了编排感知与反思记忆各模块对攻击性能的贡献(从各数据集采样 100 个目标样本,5 次运行均值)。
表 3:核心模块消融对比(目标检测器:GCN,报告 ASR 与 \(\Delta c\))
| 实验变体 | MPT 场景 (ASR | \(\Delta c\)) | NEG 场景 (ASR | \(\Delta c\)) | 机制说明 |
|---|---|---|---|
| EvoSM (完整框架) | 0.61 | 0.51 | 0.61 | 0.57 | 完整 SMO 感知执行 + REM 经验演化闭环 |
| SMO: w/o Observation | 0.55 | 0.46 | 0.42 | 0.38 | 移除环境感知工具,仅凭盲猜进行图操作 |
| SMO: EvoSMAdd (仅加法) | 0.37 | 0.32 | 0.37 | 0.33 | 动作空间受限为恶意用户角色(仅允许增评/加边) |
| REM: ReAct (标准推理) | 0.40 | 0.33 | 0.26 | 0.24 | 替换 REM 为通用 ReAct 模板,无结构化经验积累 |
| REM: w/o Experience | 0.48 | 0.41 | 0.40 | 0.37 | 移除历史经验库检索,各战役独立无先验 |
| REM: w/o Reflection | 0.42 | 0.36 | 0.41 | 0.38 | 移除单步替代模型置信度反馈与死锁反思 |
关键发现¶
- 对鲁棒防御检测器的显著规避能力:面向专为防御对抗扰动而设计的检测器(如 MPT 场景的 SINCon、NEG 场景的 DECOR 与 LLM4RGNN),传统基线方法因固定的扰动模式往往失效(ASR 骤降至 0.06–0.36 之间),而 EvoSM 在 SINCon 上取得 0.31/0.58 的 ASR,在 DECOR 和 LLM4RGNN 上分别取得 0.77/0.51 和 0.82/0.41 的高成功率,证明多行为动态协同具有极强的抗防御穿透力。
- 感知与异构动作不可或缺:消融表明,剥离社交感知(w/o Observation)在 NEG 场景下 ASR 直接从 0.61 断崖式下滑至 0.42;将权限压缩为仅加法操作(EvoSMAdd)导致 ASR 在双场景下均大幅跌落至 0.37。在单检测器固定检查点上,完整 EvoSM 在 Twitter/CED/Politifact/Gossipcop 的 ASR 均达 0.94–0.99,而仅加法操作时 CED 从 0.94 暴跌至 0.37,证明单靠注水刷评论无法在严格黑盒下稳定欺骗图检测器。
- 经验反思超越通用 ReAct:直接套用通用 ReAct 框架相比完整 EvoSM 发生严重退化(NEG ASR 仅 0.26 vs 0.61),表明缺乏领域感知图抽象与结构化经验蒸馏时,大模型在复杂的图拓扑博弈中极易陷入局部循环或无效扰动。
- 高效战役收敛与拓扑保持度:收敛性分析显示,EvoSM 在 5.0–8.0 步执行操作内即可达成 0.94–0.99 的高成功率,消耗约 19–33K tokens;拓扑结构分析显示,EvoSM 的幂律指数偏差(\(\Delta \alpha\))及 JS 散度显著低于基线(如 Twitter 上 \(\Delta \alpha\) 仅 0.34,而 HMIA-LLM 为 1.53,GAFSI 为 2.56),且语义余弦分布保持平滑,表明其生成的对抗图高度拟合真实新闻的自然传播特征。
亮点与洞察¶
- 多阶段演化攻防战术(Multi-stage Strategic Campaign):EvoSM 展现出了超越贪婪奖励的战略远见。它并不盲目追求每一步的高瞬时奖励(例如 EditNews 虽然奖励高但易引起语义异常),而是自主形成了“初始语义诊断与中和 \(\rightarrow\) 扩增多跳讨论链模拟真实传播拓扑 \(\rightarrow\) 影响力剪枝与关键中间评论润色”的三阶段连贯战役。
- 权威子图渗透能力(High-trust Subgraph Infiltration):在宏观网络(如 Gossipcop)中,智能体能通过
Search关键词自主定位真实权威新闻集群(如官方格莱美获奖名单高连通子图),通过逐步边缘连接建立桥接通道,将边缘虚假新闻巧妙融入高信誉社群,实现低扰动、高隐蔽的图浸润。 - 可迁移的图对抗博弈范式:本研究证明大语言模型作为自主智能体,能够原生具备非欧几里得图空间的拓扑推理与多步对抗规划能力,该范式可无缝迁移至知识图谱投毒、社交机器人协同攻击以及网络金融欺诈等复杂图对抗场景。
局限与展望¶
- 完全图可见性假设:当前威胁模型假定攻击者能够观测到目标新闻完整的局部或全局传播图。在现实社交媒体平台上,图信息受到 API 调用频次、动态更新延迟以及用户隐私权限的严格限制,部分可观测或动态流式图条件下的编排能力仍需探索。
- 多步推理开销与开源模型差距:多轮感知与战略规划导致每次攻击平均消耗 19–33K tokens,且替换为开源 Qwen3-4B-Instruct 后性能出现可感知的下滑(CED 上 ASR 从 0.94 降至 0.59),如何在紧凑轻量端侧模型上实现高可靠性的图工具调用与逻辑推理是落地关键。
- 攻防协同演化与反意图对抗:虽然论文提出的基于意图感知的 LLM 守卫(Intent-Aware Guardrail)能够拦截相当比例的恶意动作(AIR 指标显著),但更强的攻击者未来可能利用提示注入、间接意图伪装或协同分布式账号规避审查,动态博弈机制尚待深入。
相关工作与启发¶
- vs 单一文本/图扰动方法 (HMIA-LLM, SALF, GAFSI):传统方法通常假设静态规则,或仅针对文本正文执行改写,或仅在图拓扑上随机添删边。EvoSM 首次通过 SGI 将语义修改与图拓扑重构纳入统一决策流,攻克了单行为攻击易被鲁棒图检测器抵御的瓶颈。
- vs 强化学习图攻击 (MARL, SI2AF):MARL 等方法在固定马尔可夫决策过程中优化离散拓扑连边,难以生成符合人类语言习惯的高质量上下文文本,且训练耗时巨大。EvoSM 凭借 LLM 的零样本常识推理与 REM 软先验机制,无需繁重的策略梯度预训练即可实现即开即用的高迁移度对抗。
- vs 通用 Agent 架构 (ReAct, Reflexion):通用 ReAct 缺乏针对非欧几里得图环境的状态抽象与反馈映射。EvoSM 定制了 SGI 的感知与执行工具原语,并通过基于图拓扑特征匹配的经验蒸馏机制,解决了通用智能体在复杂图场景中的盲目试错问题。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出基于 LLM 智能体编排的自演化社交操纵攻击,打破传统单行为静态图攻击局限。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大真实数据集、两大传播场景(MPT/NEG)、10 款图与鲁棒检测器,包含微观行为轨迹分析与守卫防御验证。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密,数学表达与符号规范清晰,攻防认知闭环阐述生动透彻。
- 价值: ⭐⭐⭐⭐⭐ 揭示了现有基于传播的虚假新闻检测系统面临生成式 AI 自适应协同对抗的严重脆弱性,对未来图安全防御设计具有重大预警意义。