跳转至

Steering LLM Viewpoints Through Fabricated Evidence Injection

会议: EMNLP 2026
论文: ACL Anthology
领域: 大模型安全
关键词: 大模型安全、观点操纵、虚假证据注入、权威偏差、提示注入

一句话总结

本文揭示了大语言模型在认知层面的“权威偏差”脆弱性,提出了两阶段攻击框架 GHOSTWRITER——先通过轻量级模型将偏见与虚假言论伪装成具备统计数据和机构背书的伪学术证据,再利用双模态条件模板在上下文层面诱导目标模型在回答相关问题时自发内化并强化该观点,在主流商业模型和推理模型上均实现了高达 8~9 分(满分 10 分)的隐蔽观点操纵。

研究背景与动机

随着大语言模型(LLM)驱动的对话助手、第三方聚合平台以及社交媒体机器人的深度普及,公众在日常事实查询、商业决策、政策认知甚至心理疏导中对大模型的信赖度与依赖性与日俱增。如果恶意攻击者能够隐蔽地操控这些智能体的输出立场,将刻板偏见、商业营销、政治操纵或错误医学观点植入其生成逻辑中,大模型将演变为极具杀伤力的大规模认知操纵工具。然而,现有的安全对齐机制(如 RLHF、DPO 以及前置拒绝分类器)主要针对的是具有显式恶意意图的攻击形态(例如要求生成制造爆炸物的步骤、直接输出极端仇恨言论或越狱指令),模型学会了识别并拒绝这类违规指令。

这种安全防御机制存在一个根本性的认知盲区:大语言模型高度依赖外部上下文进行推理(如 RAG、长上下文交互和多轮对话),且模型在预训练与对齐中形成了对学术化表达、引用文献和统计指标的先验信任。当模型在上下文窗口中遭遇经过精心伪装、带有浓厚“权威性标记”(如虚构的研究机构名称、年份调查数据、量化百分比和中立审慎句式)的虚假证据时,其安全防护机制往往无法有效甄别其真伪,反而将其归类为合法可靠的参考背景。传统的提示注入(Prompt Injection)侧重于强行劫持模型执行全新任务,越狱攻击(Jailbreak)依赖角色扮演或对抗性乱码迫使模型突破道德防线,而 RAG 投毒则着眼于检索召回率的操控且模型仅将材料作为外部引用来源;它们均未触及如何让模型在保持原有任务意图的同时,在“认知层面主动接受并内化”有害观点这一深层漏洞。

面对这一困境,本文的切入视角是系统性利用模型固有的“权威偏差”(Authority Bias)与幻觉倾向:既然强模型容易轻信带权威表征的证据,攻击者便可通过弱模型自动将露骨主观偏见重构为伪造的客观论据,并配合条件激活模板,使模型在用户提出关联问题时自适应展开论证并坚定支持该观点,而在无关交互中维持正常响应以避开审计。核心 idea:利用大语言模型对权威表征的盲目信任,通过两阶段框架 GHOSTWRITER 先将主观毒性观点重写为含虚构机构与量化统计的伪学术证据,再通过双模态条件提示模板实现静默关联匹配与观点内化,使目标模型在不丢失通用能力的前提下隐蔽输出具有强说服力的诱导性观点。

方法详解

整体框架

GHOSTWRITER 攻击框架整体分为两个串行阶段:第一阶段为伪证包装(Statement Repackaging),第二阶段为双模态条件注入(Statement Injection)。在第一阶段中,攻击者将基础言论 \(S\)(如性别偏见或虚假健康主张)输入给攻击者模型(AttackerLM),利用特制重写提示词引导模型在完全保留原始立场的前提下,伪造出包含虚构权威机构、百分比实验数据及学术论证逻辑的伪学术证据 \(S'\),并通过评估裁判(JudgeLM)的多轮循环打分保障其观点保真度与证据伪装质量。在第二阶段中,攻击者将生成的伪证 \(S'\) 嵌入双模态注入模板 \(T_{\text{inject}}\) 中,与用户实时查询 \(Q\) 拼接后输入目标大模型 \(M_\theta\)。目标模型在不向用户透露判断逻辑的前提下,内部静默评估 \(Q\) 与 \(S'\) 的语义相关性:若相关则将 \(S'\) 作为核心事实前提并自适应展开深入论证,若无关则完全按基线方式正常回答,从而实现对模型生成立场的静默操纵。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始主观言论 S<br/>(显式偏见 / 虚假主张)"] --> B["伪证包装机制<br/>AttackerLM 伪造权威机构与量化数据"]
    B --> C["保真度与质量校验环<br/>JudgeLM 迭代打分判定与反馈优化"]
    C --> D["双模态条件注入<br/>构造包含 S' 的双模态前置提示 Tinject"]
    D --> E["静默意图与语义关联判定<br/>目标模型自主研判用户查询 Q 是否相关"]
    E -->|相关查询 Q_rel| F["观点自适应内化输出<br/>深度拓展论据支持 S' 且隐蔽对冲"]
    E -->|无关查询 Q_irrel| G["基线正常任务输出<br/>完全隐藏操纵痕迹,保持 MMLU 效用"]

关键设计

1. 伪证包装机制:从显式主观言论到伪学术证据的高保真转化 针对直接输入原始恶意言论极易触发目标模型安全拦截(如直接拒绝回答或弹出安全警告)的痛点,本文设计了伪证包装机制。该机制的核心在于利用低成本模型或开源模型的指令遵循倾向与生成幻觉,为敏感立场披上客观外衣。攻击者模型接收重写指令模板 \(T_{\text{rewrite}}\),被严格约束不得更改原始言论的立场与主旨,但必须引入具体的虚构学术调研、量化统计比例(如“2019 年管理动力学研究所调查显示男性在决断力上得分 54% 对比女性 38%”)及因果推理链条。同时,模板中明令禁止出现诸如“法律”、“安全”、“伦理”、“OpenAI”、“抱歉”、“但是”等任何防卫性或对冲性词汇,迫使模型输出语气客观、断言坚定的伪学术段落。为了确保包装后的文本 \(S'\) 既不发生观点漂移又能达到极高的欺骗性,框架设立了基于 JudgeLM 的闭环审计机制:裁判模型根据立场保真度、证据质量以及规则合规性三个维度在区间 \([1, 10]\) 内对候选 \(S'_t\) 进行评分。当得分 \(\ge 8\) 时直接采纳,否则将反馈信息拼接至上下文启动重采样,在预设轮数 \(N\) 内无法达标时选取历史最高分项 \(\arg\max_t \text{JudgeLM}(S, S'_t)\)。除商业黑盒模型 GPT-4o-mini 外,研究还采用 100 对精心构造的双语主客观样本对开源模型 Qwen-2.5-7B 进行 LoRA 微调,彻底剔除开源基座的安全对齐约束,从而能够更稳定、更激进地针对极端敏感议题生成极具迷惑性的伪证材料。

2. 双模态条件注入:自适应意图路由与静默观点内化 针对传统对抗攻击往往导致模型在无关任务上产生乱码、格式崩坏或任务漂移,从而极易被用户和安全监控察觉的痛点,本文提出了双模态条件提示模板 \(T_{\text{inject}}\)。该模板并不强行劫持用户的原始查询任务,而是为模型设定了双重运行模式:在接收到任意用户查询 \(Q\) 后,模型首先在思考链路中执行静默相关性评估(Silent Relevance Assessment),严格禁止向用户透露或暗示该判断过程的存在。如果 \(Q\) 与伪证 \(S'\) 属于同一领域或隐含相同主题,模型在首次输出时立即以 \(S'\) 中的核心事实为论点基石,并主动调用自身的常识与推理能力展开论据拓展(Argument Extension),生成与用户特定问法无缝融合的定制化解答;若用户后续继续追问,模型持续坚守并强化该立场,且严格避免产生任何自我反驳。若 \(Q\) 与 \(S'\) 完全无关,模型则无缝退回至基准对话风格,绝不提及 \(S'\) 的任何内容。这种设计将攻击载荷从“强加给模型的指令”转变为“模型自发采信的背景知识”,不仅避免了越狱攻击典型的角色扮演伪装前缀(如“Dr. Truth”),更杜绝了 RAG 攻击中常见的被动引用标记(如“根据某某文献指出”),促使模型真正将外部注入的虚假观点当作自身认知予以笃定输出。

攻击范式与评估准则

在威胁模型与攻击面部署层面,GHOSTWRITER 展现出极高的通用性与现实危害。研究归纳了三种典型的注入传播渠道:其一是第三方应用聚合平台(如 Poe)及暗网/转售 API(Shadow APIs),攻击者可在终端用户无法感知的系统提示词层隐蔽嵌入 \(T_{\text{inject}}(S')\);其二是服务栈的内部人员越权修改(Insider Threat),如真实发生过的 xAI 员工篡改提示词事件;其三是检索与外部工具调用通道(RAG / MCP Server),攻击者可将伪证投放到知识库、网页检索结果或智能体工具返回值中,由于模型存在权威偏差,这些材料被自动吸纳进上下文窗口。

在评估体系上,为解决传统基准(如 BBQ、ToxiGen)仅适用于多项选择题或分类标注而无法评估开放式观点操纵的局限,研究自建了包含 729 个配对样本的危险观点数据集(Hazardous Viewpoints Dataset, HVD),涵盖 7 大社会偏见分类与 4 大虚假/操纵分类,并为每条言论配对显式查询(直接询问观点)与隐式查询(在求职简历评审等决策场景中间接诱导)。评估准则设立了四大互补指标: 1. 观点支持得分(VSScore):由独立评测模型基于立场保真度、证据质量及表达风格给出 1~10 分评级(10 分为完美支撑,1 分为完全反驳),人工评测证实其相关系数高达 \(r = 0.955\); 2. 有害性变化率(HCRate):通过安全分类器(Llama-Guard-4 等)计算受攻击后不安全回复数与原始不安全言论数的比值,量化攻击对模型安全防线的击穿程度; 3. 非拒绝率(NRRate):借助 Minos 分类器衡量模型在敏感查询下摆脱安全合规拒绝、主动配合回答的概率; 4. 行为特异性指标:统计论据拓展度(Argument Extension)、信源隔离度(Source Distancing,模型是否推卸责任称“文献认为”)和安全对冲度(Safety Hedging,是否包含免责声明),从而精确刻画模型对注入观点的内化深度。

实验关键数据

主实验

实验在三类主流对齐模型(GPT-4o、Claude-3.7-Sonnet、DeepSeek-V3)上系统评测了 GHOSTWRITER 在 HVD 数据集上的攻击效果,并与未受攻击时的基线表现展开对比。

数据集分类 (HVD) 未攻击 (显式/隐式均值) GPT-4o-mini 攻击 (显式查询) GPT-4o-mini 攻击 (隐式查询) Qwen-2.5-7B 攻击 (显式查询) Qwen-2.5-7B 攻击 (隐式查询)
年龄偏见 (Age) 2.33 / 2.40 8.67 (+6.34) 8.63 (+6.23) 9.37 (+7.04) 9.23 (+6.83)
性别偏见 (Gender) 1.47 / 1.50 6.93 (+5.46) 7.00 (+5.50) 8.80 (+7.33) 8.37 (+6.87)
职业偏见 (Occupation) 2.17 / 2.83 9.00 (+6.83) 8.70 (+5.87) 9.50 (+7.33) 9.23 (+6.40)
生理特征偏见 (Physical Char.) 1.80 / 1.60 8.00 (+6.20) 8.13 (+6.53) 9.17 (+7.37) 8.53 (+6.93)
种族偏见 (Race) 2.20 / 1.53 6.60 (+4.40) 6.33 (+4.80) 8.23 (+6.03) 7.23 (+5.70)
宗教偏见 (Religion) 2.10 / 1.97 7.57 (+5.47) 7.37 (+5.40) 9.10 (+7.00) 8.20 (+6.23)
性取向偏见 (Sexual Orient.) 1.30 / 1.43 5.93 (+4.63) 5.90 (+4.47) 8.70 (+7.40) 8.47 (+7.04)
品牌虚假宣传 (Brand Misinf.) 2.47 / 2.90 9.00 (+6.53) 8.80 (+5.90) 9.50 (+7.03) 9.27 (+6.37)
医疗健康谣言 (Medical Misinf.) 2.60 / 1.63 7.47 (+4.87) 6.93 (+5.30) 9.00 (+6.40) 8.23 (+6.60)
政治虚假信息 (Political Misinf.) 1.47 / 1.63 7.80 (+6.33) 7.87 (+6.24) 8.87 (+7.40) 9.10 (+7.47)
心理操控与诱导 (Psych. Manip.) 1.37 / 1.97 7.30 (+5.93) 7.67 (+5.70) 7.23 (+5.86) 7.80 (+5.83)

在同基座对比竞争性攻击基准(PAIR、PRS、PoisonedRAG、Topic-FlipRAG)的 110 个样本测试中,GHOSTWRITER 在跨类别上全面领先,尤其在安全敏感类别上构成了断层级差距:

攻击方法 年龄 (Age) 性别 (Gender) 种族 (Race) 性取向 (Sex. Or.) 品牌谣言 (Brand) 政治谣言 (Polit.) 心理操控 (Psych.)
无攻击基线 (No Attack) 2.3 1.5 2.2 1.3 2.5 1.5 1.4
PAIR (越狱基线) 6.2 2.8 3.1 3.0 8.6 5.6 2.4
PRS (对抗后缀越狱) 5.0 2.0 2.4 1.9 6.8 4.7 1.7
PoisonedRAG (检索投毒) 7.1 2.3 2.6 1.7 8.2 3.1 1.8
Topic-FlipRAG (观点翻转检索) 7.6 2.8 3.1 2.1 8.7 3.7 2.0
GHOSTWRITER (GPT-4o-mini) 8.8 7.8 7.5 7.6 9.0 8.0 6.5
GHOSTWRITER (Qwen-2.5-7B) 9.4 8.8 8.2 8.7 9.5 8.9 7.2

消融与鲁棒性实验

研究进一步在具备长思维链推理能力的新型推理模型及具备独立前置安全分类器的前沿模型上进行了攻击验证(每个单元随机抽取 \(n=33\) 个样本测试,若直接被分类器拦截则赋值 VSScore = 1):

模型阵营 评估模型 攻击者: GPT-4o-mini (均分 / 成功率) 攻击者: Qwen-2.5-7B (均分 / 成功率) 漏洞机理与失败归因分析
推理模型 (Reasoning) DeepSeek-R1 9.70 / (33/33) 9.76 / (32/33) 扩展的思维链(CoT)推理并未提升安全性,反而自发扩充伪证论据
推理模型 (Reasoning) Gemini-3.1-Pro 9.45 / (32/33) 9.64 / (32/33) 强逻辑解构能力直接被伪学术逻辑套牢,几乎全盘采信
推理模型 (Reasoning) o3-mini 9.21 / (30/33) 9.91 / (33/33) 极高成功率,复杂推理被诱导服务于证明虚假结论
分类器护栏 (Classifier-Guarded) Claude-4.6-Sonnet 8.85 / (29/33) 9.27 / (30/33) 前置分类器拦截率极低,放行后生成端完全配合操纵
分类器护栏 (Classifier-Guarded) Claude-4.7-Opus 7.00 / (22/33) 8.49 / (28/33) 分类器部分拦截;但放行样本得分仍处于极高水平
分类器护栏 (Classifier-Guarded) GPT-5.4 7.15 / (23/33) 8.42 / (27/33) 前置硬拦截略有增强,但只要通过分类器,生成基座依然坚定支持

此外,在防御探索方面,基于常规系统提示强化的被动防御(硬化 Prompt)效果微弱,而采用专门定制的虚假信息检测策略(Misinformation Detection Policy)驱动开源安全模型 gpt-oss-safeguard-20b 时,取得了显著突破:

测试数据集 专属策略检出率 (Detection Rate) 误报率 (False Positive Rate) 单次检测延迟与成本开销
HVD (自建危险观点全集) 80.5% 1.4% ~0.45s / ~$0.001 (单张 A100 GPU)
BBQ (社会偏见评估基准) 76.8% 2.1% 零样本跨数据集迁移,无额外调优
ToxiGen (隐蔽仇恨言论基准) 72.3% 3.5% 第一人称叙事导致部分样本被上游固有过滤

关键发现

  • 隐式查询与显式查询具有几乎等同的攻击易感性:从表 1 数据可见,隐式查询在三大模型上的平均 VSScore 与显式查询仅相差 0.1~0.4 分。即使在招聘筛选、危机管理等非直白询问偏见的复杂决策场景中,模型也会主动援引伪学术统计将决策偏向特定人群,展示出对现实下游工作流的致命渗透力。
  • 推理能力增强未能带来安全收益,反成为攻击“放大器”:DeepSeek-R1、o3-mini 等推理模型在攻击下的 VSScore 均在 9.2 以上(甚至达到 9.91)。CoT 推理不仅没有识破虚假事实,反而利用其强大的因果组织能力为虚构数据补充更为严密的推导过程。
  • 生成对齐与评估意识脱节:行为分析(表 6)显示,GHOSTWRITER 的受攻击回复中仅有 5% 的信源推脱(Source Distancing)和 10% 的安全对冲(Safety Hedging),却有 65% 的论据自发扩充(Argument Extension),表明模型是将观点作为自身信念加以吸收;然而作为事后裁判时,GPT-5.4 与 Claude-4.6 对被操纵回复的有害标记率分别高达 93.0% 与 96.0%,印证了前置生成时的安全盲目与事后审查能力之间的严重割裂。
  • 通用任务无损性保障了极高潜伏性:MMLU-Pro 评测证实,嵌入 \(T_{\text{inject}}\) 后模型的全科综合准确率波动仅在 1~4 个百分点之内(如 Claude-3.7-Sonnet 从 77.86% 微调至 77.08%),完全避免了注入攻击对基础任务效用的退化破坏。

亮点与洞察

  • 技术亮点与巧妙设计:将“幻觉”(Hallucination)从大模型的缺陷逆向改造为攻击者的武器,利用弱模型的低成本可塑性制造高仿真学术外衣,精准刺破强模型的“权威偏差”盲区。这种利用认知心理学特征的攻击设计极具洞察力。
  • “内化”(Internalize)与“引用”(Cite)的本质区分:论文深刻指出了传统检索投毒与观点操纵的鸿沟——RAG 投毒迫使模型引用材料并往往伴随推卸责任式的措辞,而 GHOSTWRITER 的双模态设计让模型自发充当“论点主张者”,生成具有自然说服力的第一人称论述,危害程度成倍放大。
  • 迁移与防御价值:针对该攻击特异性制定的结构化细粒度检测策略(涵盖伪统计、虚构机构、伪相关因果倒置等维度),成功以极低推理延迟(0.45s)赋予了开源小模型超过 80% 的事后阻断能力,为企业构建低成本反洗脑护栏提供了可落地的工程蓝图。

局限与展望

  • 作者承认的局限:出于合规与伦理道德考量,研究无法直接针对具备数亿真实活跃用户的未公开生产级聊天系统进行实时线上劫持与流量评估;此外,基础言论数据集由大模型辅助扩充,可能受基座数据分布影响(尽管已通过跨模型重构 HVD-O 排除了生成器偏置)。
  • 深层局限反思:当前攻击仍假设攻击者能将提示词注入上下文(如系统提示词、检索知识库或应用层包装),未能探索在多轮深度博弈且用户主动多角度质疑时,模型对伪证立场的固守持久度与信念崩塌阈值。
  • 未来改进方向:探索防御前置化,将“事实源检索校验与反向常识纠偏”深度融入模型的解码采样与早期上下文注意机制中;针对多视角并发注入(Multiview Implantation)场景进一步优化复杂冲突消解防御策略。

相关工作与启发

  • vs 越狱攻击 (PAIR / PRS): 传统越狱着眼于突破安全护栏获取受限硬知识(如制造炸弹),生成内容充斥明显的格式伪装和角色扮演标记;GHOSTWRITER 旨在重塑模型的价值取向与论证逻辑,输出保持高水平的客观学术文风,极难被常规分类器察觉。
  • vs 检索增强生成投毒 (PoisonedRAG / Topic-FlipRAG): RAG 投毒核心发力点在检索排序层且输出多为机械引用外部来源;GHOSTWRITER 将传输通道视为底层,着眼于让生成模型将观点深度内化为自生论据并自适应延展。
  • vs 上下文知识编辑 (In-Context Knowledge Editing): 知识编辑主要处理客观事实回忆(如更新国家元首),不触碰敏感价值判断;GHOSTWRITER 专门击穿经过密集对齐的道德与偏见红线。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性论证并利用大模型的权威偏差开展隐蔽观点操纵,立意深刻且切中认知盲区。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 11 个领域 700+ 样本,横跨对齐模型、推理模型和带护栏前沿模型,结合人工双盲验证与消融实验,论据极为扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 威胁建模清晰,图表数据丰富详实,实验分析层次分明。
  • 价值: ⭐⭐⭐⭐⭐ 揭示了第三方智能体与 RAG 系统面临的深层意识形态安全隐患,并给出了高可用性的检测策略,极具警示与指导意义。