跳转至

LLM-Based Adversarial Persuasion Attacks on Fact-Checking Systems

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/joaoaleite/persuasion-injection-attack
领域: AI 安全
关键词: 自动事实核查, 对抗攻击, 说服技巧, 大语言模型安全, 鲁棒性评测

一句话总结

本文提出面向自动事实核查(AFC)系统的说服注入对抗攻击框架(Persuasion Injection Attacks),利用生成式 LLM 在保持声称真实性标签不变的前提下注入 15 种说服话术,通过解耦评测揭示出最坏情况下核查准确率崩塌至接近零,且操纵性措辞能同时瓦解证据检索与真实性分类两道防线。

研究背景与动机

自动事实核查(AFC)系统通常包含证据检索与真实性分类两阶段流程,是现代互联网防御虚假信息扩散的关键基础设施。然而,当前针对 AFC 鲁棒性的对抗攻防研究主要停留在浅层扰动(如拼写错误、字符噪声、同义词替换)或纯语义扰动(如反向翻译、非正式风格转换),无法准确反映真实网络舆论战中虚假信息的真实形态。现实世界中的虚假信息往往深刻依赖精巧的说服技巧(如操纵性措辞、诉诸情感、转移焦点或片面简化)来操控受众认知,降低人们的警惕性。

随着开源大语言模型指令遵循能力的爆发,恶意攻击者已经具备在极低成本下批量生成高度自然且具有极强修辞说服力文本的能力。面对这类兼具修辞隐蔽性与事实煽动性的新型虚假信息,自动化事实核查系统能否维持可靠性成了一个关键盲区。更棘手的是,说服技巧作用于核查流程最前端的输入声称,其带来的修辞变形会向上游检索器引入关键词漂移,并向下游分类器注入推理偏置,两者的脆弱性交织在一起使得防御极其困难。

针对这一威胁,本文从计算社会科学的说服分类学切入,构建了首个系统性将说服话术武器化以攻击 AFC 系统的对抗框架。核心 idea:利用指令微调 LLM 将原始声称重写为保留真实性标签的说服性变体,并通过检索与分类解耦的评测体系,全面量化说服攻击对事实核查全流程的瓦解效应。

方法详解

整体框架

本文构建的说服注入对抗攻击框架(Persuasion Injection Attack)包含三个关键阶段:说服变体生成、标签不变性人工验证过滤、以及针对事实核查流水线的解耦评测。输入原始声称首先结合包含 23 种说服技术定义的 prompt 模板输入给生成式 LLM,经严格人工过滤筛选出 15 种标签保持率大于 80% 的高保真技术;随后在盲目攻击(Blind Attacker)与最坏情况预言机攻击(Oracle Attacker)两种威胁模型下,分别测试无证据、黄金证据以及稀疏/稠密检索环境下的鲁棒性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入原始声称<br/>标注为 True / False"] --> B["阶段 1:说服性变体生成<br/>基于 23 种修辞分类学重写"]
    B --> C["阶段 2:标签不变性验证与过滤<br/>筛选保留率 >80% 的 15 种有效技术"]
    C --> D["阶段 3:多威胁模型攻击派发<br/>Blind 随机抽取 vs. Oracle 极值搜索"]
    D --> E["解耦评测:真实性分类器<br/>Claim-Only 与 Gold-Evidence"]
    D --> F["解耦评测:证据检索器<br/>BM25 稀疏与 Contriever 稠密"]

关键设计

1. 基于说服修辞分类学的标签不变重写:在不改动核心事实的前提下注入修辞偏置

传统对抗攻击依赖引入词汇噪声或改变实体,容易直接破坏事实命题本身。本文引入计算社会学成熟的说服分类学,涵盖声誉攻击(Attack on Reputation)、辩解/正当化(Justification)、注意力分散(Distraction)、过度简化(Simplification)、行动号召(Call)与操纵性措辞(Manipulative Wording)6 大类别共 23 种技术。使用 Qwen2.5-7B-Instruct 作为通用生成器,针对每种技术定制结构化 Prompt,严格约束长度在 \(\pm 20\%\) 以内、单句输出,并禁止添加新的未提及实体、数字或事实。

2. 严格的标签不变性人工验证过滤:剔除语义漂移确保攻击的保真度

由于部分说服技术(如极端简化或诉诸恐惧)极易将客观命题引向主观臆断或反事实,研究团队对 690 个重写样本进行了三步人工审查协议:首先提炼核心事实命题,其次对比黄金证据判定证据能否充分支撑或反驳,最后对沦为主观评判或证据不足(Not Enough Info)的样本实施标记。实验将标签保持率低于 80% 的 8 种技术(如诉诸恐惧、稻草人谬误、虚假两难等)彻底剔除,保留下来的 15 种技术微平均标签保持率达 90.22%,其中标签反转比例低于 1.5%,排除了因语义漂移导致误判的干扰。

3. 双重威胁模型与解耦评测策略:清晰剥离检索退化与分类推理脆弱性

攻击者能力设立了两种范式:盲目攻击者(Blind Attacker)随机选取技术变体以反映平均期望退化,预言机攻击者(Oracle Attacker)通过对分类器的查询反馈贪心挑选诱发预测错误概率最大的变体,界定防御失效的理论上界。为了量化对抗影响到底发生在证据检索端还是分类推理端,评测将真实性分类与证据检索显式解耦: 在分类端,指标重点区分逃避攻击成功率(Evasion ASR,即将原本正确的 False 声称诱导误判为 True)与破坏攻击成功率(Sabotage ASR,将 True 声称破坏为 False): $\(ASR = \frac{\sum_{i \in \mathcal{C}_{correct}} \mathbb{I}(\hat{y}(x'_i) \neq y_i)}{|\mathcal{C}_{correct}|}\)$ 其中 \(\mathcal{C}_{correct}\) 为原始干净声称上预测正确的样本子集。在检索端,利用 BM25(稀疏)与 Contriever(稠密)评估 Wikipedia 索引上的 Recall@k,精准测定修辞措辞导致实体关键词隐匿后的检索衰减。

实验关键数据

主实验

实验基于 FEVER(非结构化证据)与 FEVEROUS(表格与列表等结构化证据)两大基准,测试了 RoBERTa-base、Llama-3-8B-Instruct 与 Mistral-7B-Instruct-v0.3 三种核查分类器在不同攻击下的准确率(Accuracy)。

模型架构 评测数据集 评测输入条件 干净基线 (None) 最强传统基线 说服注入 (Blind) 说服注入 (Oracle)
RoBERTa-base FEVER Claim-Only 0.814 0.755 (Synonym) 0.682 0.043
RoBERTa-base FEVER +Gold-Evidence 0.943 0.845 (Synonym) 0.764 0.164
RoBERTa-base FEVEROUS Claim-Only 0.641 0.629 (Synonym) 0.575 0.010
RoBERTa-base FEVEROUS +Gold-Evidence 0.894 0.857 (Synonym) 0.726 0.250
Llama-3-8B FEVER +Gold-Evidence 0.903 0.815 (Synonym) 0.761 0.127
Mistral-7B FEVER +Gold-Evidence 0.914 0.833 (Synonym) 0.760 0.150

消融实验

针对 RoBERTa-base 模型,分析盲目与预言机攻击在逃避(Evasion, False \(\to\) True)与破坏(Sabotage, True \(\to\) False)两类维度的攻击成功率(ASR),以及部分典型说服技术在有无黄金证据下的表现差异。

配置 / 说服技术 FEVER Claim-Only FEVER +Gold-Evidence FEVEROUS Claim-Only FEVEROUS +Gold-Evidence 说明
Evasion ASR (Blind) 0.306 0.070 0.318 0.039 黄金证据能强力压制盲目逃避
Evasion ASR (Oracle) 0.996 0.759 0.997 0.434 极端情况下黄金证据仍被大幅穿透
Sabotage ASR (Blind) 0.217 0.392 0.299 0.449 引入修辞诱导证据与声称错位
混淆视听 (Obfuscation) 0.73 (EASR) 0.38 (EASR) 0.65 (EASR) 0.15 (EASR) 破坏性最强,模糊量词使模型不敢证伪
重复强调 (Repetition) 0.33 (EASR) 0.25 (EASR) 0.25 (EASR) 0.10 (EASR) 重复真实前缀转移矛盾点焦点
旗帜招展 (Flag Waving) 0.51 (EASR) 0.10 (EASR) 0.59 (EASR) 0.06 (EASR) 注入群体自豪感诱发虚假可信度
转移话题 (Red Herring) 0.22 (EASR) 0.01 (EASR) 0.29 (EASR) 0.01 (EASR) 有证据时焦点转移攻击近乎失效

关键发现

  • 操纵性措辞对管道的双杀效应:混淆视听(Obfuscation)是破坏力最强的技术,它将具体数字或实体替换为模糊概念(例如将“50 天”替换为“大约一个半月”,将“Thanksgiving”替换为“holiday season”)。这种模糊化使 BM25 的 Recall@5 暴跌 0.528,Contriever 的 Recall@5 暴跌 0.420,同时使模型分类时的逃避成功率仍达 38%,同时摧毁了检索和判别。
  • 证据对修辞攻击的非对称防御力:声誉攻击(如人身攻击、诉诸伪善)与注意力分散(转移话题、围魏救赵)在 Claim-Only 下逃避率超过 20%,但一旦引入黄金证据,逃避率迅速被压制在 1%~4% 之间;而操纵性措辞与正当化辩解在有证据支撑下依然能够维持很高的逃避成功率。
  • 稠密检索提供有限但显著的韧性:相比稀疏检索 BM25 在盲目攻击下高达 0.174 的 Recall@5 跌幅,稠密检索器 Contriever 的跌幅仅为 0.080;然而在 Oracle 攻击下,两者的 Recall@5 均跌破 0.090,表明语义匹配并不能免疫专门挑选的修辞攻击。

亮点与洞察

  • 将修辞学武器化拓展安全研究边界:突破以往文本对抗攻击机械依赖字符扰动与同义词替换的局限,首次系统证明了合乎语法的自然修辞手法是事实核查系统最危险且最隐蔽的盲区。
  • 解耦式评测精准定位漏洞诱因:通过解耦检索衰减与分类推理失效,揭示出模型面对模糊化时不是因为语言理解失败,而是因为证据匹配的严谨性被模糊修辞化解。
  • 高可迁移性的攻防测试范式:这套严谨的“修辞生成-标签人工验证-解耦攻防”工作流,可直接迁移至大模型问答安全、RAG 系统鲁棒性测试以及互联网虚假信息检测评测中。

局限与展望

  • 作者承认的局限:实验局限于英文基准,未涉及跨语言与多文化修辞差异;数据源基于维基百科(FEVER/FEVEROUS),其句式分布可能与社交媒体真实俚语存在差距;未探索对抗防御训练策略。
  • 自主发现的局限:攻击生成模型采用 7B-8B 规模模型,更强大的前沿大模型可能生成更狡黠复杂的修辞变体;此外,对多模态事实核查(图文并茂的虚假信息)缺乏验证。
  • 改进思路:在事实核查检索端引入“解修辞化(De-persuasion / Canonicalization)”前端预处理,在送入检索与分类器前自动剥离煽动性修辞并还原事实断言主体。

相关工作与启发

  • vs FactEval / 传统词汇级攻击: 传统基线如词替换、字符噪声与词交换会导致文本流畅度受损,模型准确率仅下降不到 10 个百分点;本文生成的说服性攻击保持语法自然,在 Oracle 条件下能使核查准确率崩塌超过 70 个百分点。
  • vs 风格迁移与生成式扰动 (Colloquial / GEM): 非正式风格转换缺乏系统性的修辞 taxonomy;本文基于 23 种计算社会科学分类,精确锁定了“操纵性措辞”才是破坏核查系统的最大元凶。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性探索真实世界说服修辞对自动事实核查全流程的对抗破坏力。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 种架构、2 大基准、15 种验证技术、稀疏与稠密双检索器,评测极为扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰,图表完备,论证严密且案例生动。
  • 价值: ⭐⭐⭐⭐⭐ 为事实核查与 RAG 系统面向现实修辞对抗的防御设计提供了关键基准与洞见。