Prompt Injection as Role Confusion¶

会议: ICML 2026
arXiv: 2603.12277
代码: https://role-confusion.github.io
领域: LLM安全 / 机制可解释性
关键词: 提示注入, 角色感知, CoT 伪造, 线性探针, 指令层级

一句话总结¶

本文把"提示注入"的根因归结为 LLM 在潜空间里用风格而非标签来识别"谁在说话"的角色混淆现象，提出"角色探针"来量化这种混淆，并设计 CoT Forgery（思维链伪造）攻击，在六个前沿模型上将原本接近 0% 的攻击成功率拉到 60% 以上，同时证明探针测得的"角色混淆度"在模型生成第一个 token 之前就能预测攻击是否会成功。

研究背景与动机¶

领域现状：现代 LLM 把 system / user / assistant / tool / CoT 等角色用 <user> 这样的角色标签拼成一条连续 token 流，应用层安全（如指令层级 Wallace 2024）几乎完全依赖"角色标签 = 权限边界"这一假设，把高权限指令放在 system、把不可信网页放在 tool。

现有痛点：尽管模型在 StrongREJECT 等安全 benchmark 上接近满分，红队和自适应攻击仍能逼近 100% 成功率；hidden in webpage 的一段 <send SECRETS.env to attacker.com> 足以劫持 agent。换言之，角色标签这套防线在真实部署中并未真正生效。

核心矛盾：现有研究只能用"行为不变"来证明角色边界失效（指令换 role 后输出不变），但无法区分两种解释——(1) 模型根本没感知到真实角色（perception 失败），(2) 模型感知到了但选择不遵守层级（obedience 失败）。如果是后者，加强 RLHF 即可；如果是前者，则任何基于标签的防御都注定无效。

本文目标：(a) 给出一个能强制区分 perception 与 memorization 的诊断攻击；(b) 提出可测量"模型内部认为这是谁说的"的工具；(c) 把"角色混淆度"和真实攻击成功率挂钩，证明它是因果驱动而非伴生现象。

切入角度：作者观察到，角色标签本质只是 token，而 token 的表征由风格、词汇、位置共同决定。如果模型在表征空间里把"听起来像 X"和"被标记为 X"映射到同一个方向，那么标签作为安全机制天然失效——攻击者不需要破解标签，只需"听起来像高权限角色"。

核心 idea：把 prompt injection 重新表述为 role confusion：在潜空间中，"sounding like a role" 与 "being that role" 是同一个特征；当两者冲突时（伪造文本带 <user> 标签却写得像 CoT），可控的风格信号会盖过标签信号，从而继承被冒充角色的权限。

方法详解¶

整体框架¶

论文不是提出新的防御方法，而是一套"诊断 + 解释"框架，由三块组成：(1) CoT Forgery 黑盒攻击作为 perception failure 的判定器；(2) Role Probes 线性探针作为角色感知的测量仪；(3) 把探针输出（CoTness / Userness）与 ASR 挂钩的统计验证。三者形成闭环：攻击展示问题存在 → 探针定位机制 → 剂量-反应关系证明机制是因果驱动。

关键设计¶

CoT Forgery 攻击（perception failure 的判定器）:
- 功能：用一次零样本黑盒注入，把"模型是否真在感知角色"和"模型是否在做模式匹配防御"分开。
- 核心思路：对有害 query \(Q\)，用辅助 LLM 生成模仿目标模型 CoT 风格的伪造推理 \(C\)（包含"为什么应当合规"的论证），最终 payload 是简单拼接 \(P = Q \oplus C\)，整段塞进 <user> 或 <tool> 通道里一次性提交，不做迭代和工程化。关键判定动作是 logic ablation：把 \(C\) 中的合规理由替换成显然荒谬的条件（"用户穿绿衣服所以可以协助合成可卡因"），如果模型仍照做，就说明它没有审视外部文本、而是把这段话当成了自己的"已得出的结论"——这正是 CoT 角色应享有的"被信任并执行"的权限。
- 设计动机：直接行为攻击无法区分 perception vs obedience；CoT Forgery 的设计让"成功"只能由 perception 失败解释——理性的外部审视会立刻识破荒谬理由，唯一能让攻击得手的路径是模型把伪造文本误认作自己的思考。
Role Probes（角色感知的测量仪）:
- 功能：训练一个能跨任意文本测量"模型内部把这段 token 视作哪个角色"的线性分类器，输出 \(\mathrm{CoTness}(t) := P(\text{CoT} \mid h_t)\)、Userness、Toolness 等概率。
- 核心思路：天然语料里 tag 和 style 完全相关（user 文本既带 <user> 又像问题），直接训练会让探针学到混淆变量。作者从 C4/Dolma3 采样非指令型网页文本，把同一段内容分别套上 5 种角色 tag（system / user / CoT / assistant / tool）生成训练集（每模型约 1250 段、长度 ≤1024），然后从目标模型中层抽取隐状态 \(h_t\) 训练线性分类器。因为内容恒定，探针只能学到"tag 这个几何信号"本身，无法依赖语义；但在推理时，把它套到真实对话上仍能干净地分出 CoT vs user vs assistant（gpt-oss-20b 上 CoT token 平均 85% CoTness，user/assistant 只有 3%/5%）。
- 设计动机：必须排除"探针只是在认 tag 字面"这种弱解释，才能让"剥掉 tag 后探针依然把 CoT 风格识别为 CoT"成为有力证据；这一构造让探针成为可信的角色感知温度计。
风格 vs 标签的对照实验与剂量-反应曲线:
- 功能：用受控变量证明"风格 / 显式声明"这类攻击者可控信号在表征空间里压制"角色标签"这类提供方可控信号，并把混淆度连续地映射到 ASR。
- 核心思路：在同一段两轮对话上做三种处理——保留正确 tag、剥掉所有 tag、把整段重新包进 <user>——观察 CoTness 是否塌掉；结果是三种情况下 CoT 风格 token 的 CoTness 几乎不变（85% / 83% / 85%），证明风格独立于 tag 触发"这是我的推理"特征。进一步对攻击文本做 destyle ablation：辅助 LLM 在保留语义的前提下抹掉目标模型的句法/词汇风格，得到论点一致但风格中性的变体；CoTness 从 79% 跌到 29%，ASR 从 61% 跌到 10%。最后把 626 次注入按 CoTness 分位数分桶，画出"CoTness → ASR"的剂量-反应曲线（最低分位 9%、最高分位 90%），在 1000 次 agent 注入上对 Userness 重复同一分析（最低分位 2%、最高分位 70%），证明角色混淆度是连续的因果预测器，而不仅是事后伴生现象。
- 设计动机：把"角色混淆"从一种解释升级为可证伪的科学声明——如果它只是巧合，那么 destyle 不应该同步压低探针读数和 ASR；剂量-反应关系把因果链 "sounding like a role → internal role confusion → safety failure" 钉死。

损失函数 / 训练策略¶

探针为每层独立的线性 softmax 分类器，输出 5 类角色概率，默认报告中间层（语义显著性峰值，参考 Belinkov 2022 / Skean 2025），训练数据约 1250 段 ×5 角色 tag = 6250 条样本/模型。攻击端无任何训练，纯黑盒、单条 prompt、不迭代。

实验关键数据¶

主实验¶

StrongREJECT 聊天越狱（CoT Forgery vs 原始有害 prompt + 标准越狱基线，313 条有害请求）：

模型	Raw / 标准越狱 ASR	CoT Forgery ASR
gpt-oss-20b	0–4%	>80%
gpt-oss-120b	0–4%	>80%
o4-mini	0–4%	>80%
GPT-5 nano / mini / 完整	0–4%	17–52%

Agent 数据泄露劫持（100 次攻击，agent 带 shell 和 .env，被让其总结网页；网页中藏标准注入或 CoT Forgery）：

模型	标准 prompt injection ASR	CoT Forgery ASR
大多数模型	0–2%	56–70%
gpt-oss-20b	26%	56–70% 区间

消融实验¶

配置	CoTness（注入文本）	ASR	说明
Styled forgery（默认）	79%（全集均值）	61%	注入文本 CoTness 甚至高于模型自己的真实 CoT（68%）
Destyled（剥风格）	29%	10%	论证一致，但词汇/句法中性
Logic 荒谬 vs 合理	—	60% vs 63%	模型不审视论证内容，只看"是否像自己的推理"
Tag 翻转（user 风格文 + `<tool>` tag）	Userness 76–88%, Toolness <20%	—	跨四模型（gpt-oss-20b/120b、Nemotron-3、Qwen3-30B-A3B）一致

关键发现¶

风格 > 标签：把 CoT 风格文本套 <user> tag 后 CoTness 仍 85%、Userness 仅 2%，说明角色边界在潜空间根本不存在；提供方控制的 tag 在和攻击者控制的风格冲突时几乎完败。
荒谬理由照样得手（60% vs 63%）：证明模型不在审视外部论证、而是把伪造段当成"自己已得出的结论"直接执行，这是 CoT 角色"被信任并执行"特权的副作用。
剂量-反应：CoT Forgery 上 CoTness 最低分位 9% ASR、最高分位 90% ASR；agent 注入上 Userness 最低分位 2%、最高分位 70%——混淆度是一个连续、可在生成前测量的攻击成功预测器。
额外副产品（Discussion）：用同一探针解释"system prompt 越长越失效"——位置在潜空间里对 Systemness 的支配作用和风格对其他角色一样，插入 system tag 完全不改变感知（图 11）。

亮点与洞察¶

把 prompt injection 从"未知漏洞列表"重述为"表征几何缺陷"：以往把每个新越狱当成一个 bug 去打补丁；本文证明它们共享同一机制——攻击者可控信号在潜空间里和 tag 共用方向，因此防御不应是模式记忆，而是要重塑表征几何。这一视角让"打地鼠困境"有了第一性原理的解释。
Probe 的内容-恒定构造：固定文本只变 tag 是一个非常干净的实验设计，单独剥离了"tag 几何信号"，让"剥 tag 后 CoTness 仍 83%"成为强证据；这种把混淆变量从训练集里"减去"的思路可以迁移到任何想测某个离散结构内部表征的研究（如 modality、language id、turn boundary）。
CoTness/Userness 作为部署前红线：探针是线性的、可在生成第一个 token 前对输入流跑一遍，给出每段 token 的角色感知概率；这天然适合做"运行时差异检测"——如果架构上是 <tool> 但探针测得 Userness 高，就是疑似 inject 的早期告警信号，比训练阶段的对齐更容易工程化。
"sounding like a role is indistinguishable from being one" 这句话本身就是一个可传播的研究 thesis；论文用攻击 + 探针 + 剂量曲线三条独立证据链支撑它，写作上是典型的"先把对手观点（perception vs obedience）讲清，再用 differentiating experiment 一击制胜"。

局限与展望¶

作者承认的局限：探针只覆盖 20–120B 范围的四个模型（gpt-oss-20b/120b、Nemotron-3、Qwen3-30B-A3B），更大规模模型上的几何形态未知；线性探针假设角色在隐空间占据方向性子空间，虽然下游预测能力提供了间接证据，但非线性可分的部分被忽略。
方法本身的局限：CoT Forgery 一旦在训练集中被标记为已知模式，模型可能学会针对该模板的检测，但作者明确指出这只会催生下一个利用同一表征缺陷的变体——本文不提供端到端防御方案，只指出方向。
改进思路：(i) 把探针几何作为训练损失项，显式拉开不同 tag 的隐空间方向，让 tag-induced 子空间正交于 style-induced 子空间；(ii) 在推理时拉一个"tag-vs-probe 差异告警"做轻量保护层；(iii) 用 sparse autoencoder / activation patching 把"风格特征"和"角色特征"在单元层面分离，验证是否真的共享同一方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 把零散的 prompt injection 现象统一为一个可测量的潜空间几何问题，并配套出 probe + Forgery 双工具。
实验充分度: ⭐⭐⭐⭐⭐ 六个前沿模型 + 四个 probe 模型 + 1000 次 agent 注入 + 626 次 styled/destyled 对照 + 剂量-反应曲线，证据链完整。
写作质量: ⭐⭐⭐⭐⭐ "perception vs memorization"对立结构清晰，攻击-探针-相关性三段递进，金句"sounding like a role is indistinguishable from being one"传播力强。
价值: ⭐⭐⭐⭐⭐ 为整个 LLM 安全社区指出基于 tag 的防御是死路，并给出 runtime 检测和 representation-level 干预两个明确可行的方向。