AnchorRep: Defending LLMs Against Cross-Model Adversarial Transfer via Representation Repulsion

会议: NeurIPS 2026
arXiv: 2609.32602
OpenReview: https://openreview.net/forum?id=sHGeJADnFq
代码: https://github.com/galwert/AnchorRep
领域: 安全
关键词: 跨模型对抗迁移, 越狱防御, CKA表示排斥, 拒绝方向对齐, LoRA微调

一句话总结

针对白盒对抗攻击易在不同架构大模型间迁移的问题，AnchorRep 提出基于 CKA 的轻量表征排斥防御机制，通过 LoRA 将有害提示词内部表征推离冻结的锚点模型，在完全无需对抗样本训练的前提下将跨模型越狱成功率压制至 1.1% 以下，并完好保留通用语言能力。

研究背景与动机

大语言模型日益部署于现实安全敏感任务，但基于梯度的离散对抗攻击（如 GCG、PAIR、AutoDAN 和 TAP）能够在单个开源白盒模型上完成优化，并零样本迁移破坏其他完全独立部署的目标模型。开源权重生态的繁荣进一步放大了这一安全风险：攻击者每获取一个开源新基座，就意味着获得了更丰富的对抗样本代理池，而采用相似架构的生产系统未曾被探测便天然继承了越狱脆弱性。现有主流防御手段主要针对同模型白盒攻击设计，当面对跨模型迁移攻击时暴露出难以承受的可用性代价：要么引发严重的良性过度拒绝（如 OR-Bench 过度拒绝率上升达 18%），要么直接导致模型底层表征崩塌而产生高比例乱码输出（如 Circuit Breakers 在 Llama-3 上导致 77.1% 的良性回答退化为胡言乱语）。

这种防御困境的核心矛盾在于：对抗迁移的底层根源究竟是什么？近期一系列诊断性研究与柏拉图表征假说表明，不同 LLM 内部隐藏层对有害语义的空间几何拓扑具有高度一致的 Relational Structure，高家族内 CKA（Centered Kernel Alignment）相似度与越狱攻击的高迁移率显著正相关（Spearman \(\rho = +0.910\)）。以往方法试图在输出端强行强化拒绝策略或大范围破坏激活，容易不可控地破坏模型原本的语言表征空间，导致安全与效用产生灾难性冲突。

若跨模型对抗迁移本质上是由共享的内部表征几何中介的，那么最直接有效的防御不是堆叠攻击样本做对抗微调，而是在表征层显式打碎这一共享几何。核心 idea：利用轻量级 LoRA 适配器最小化目标模型与冻结跨家族锚点模型在有害提示词上的 CKA 相似度（表征排斥），并耦合拒绝方向投影、基座 MSE 保真与良性 KL 散度约束，在不使用任何对抗样本的前提下将跨模型越狱成功率压制至极限且零乱码退化。

方法详解

整体框架

AnchorRep 在模型中间隐藏层引入基于 CKA 的排斥机制，配合由浅入深的四个辅助保真约束，形成“推-拉-锚”耦合优化体系。训练过程仅需 30 条来自 AdvBench 的原始有害提示词、500 条 WikiText-2 良性文本以及 200 条来自 XSTest 的边界安全提示词，无需任何攻击后缀或对抗样本生成。

在训练阶段，给定输入提示词，输入分别流经待优化的防御模型（注入 Rank 32 的 LoRA）与一个参数冻结的跨家族锚点模型（Anchor Model）。模型在中间层（深度 50% 处，即 \(\ell = \lfloor 0.5 \cdot L \rfloor\)）提取最后一个真实输入 token 的隐状态表征。核心 CKA 排斥损失将有害提示词的表征几何推离锚点模型；拒绝方向损失将有害表征显式拉向预计算的安全拒绝子空间；隐状态保真 MSE 损失将良性与有害表征锚定在原始基座附近；输出层 KL 散度与可选的 LM 交叉熵损失则严密锁定良性输出概率分布，防止过度拒绝与能力退化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词<br/>30有害 + 500良性 + 200边界"] --> B["双流前向传递<br/>防御模型 (LoRA) + 冻结锚点模型"]
    B --> C["提取第 50% 深度末 token 隐藏状态"]
    C --> D["CKA有害表征排斥<br/>最小化有害几何相似度"]
    C --> E["拒绝方向对齐引导<br/>余弦对齐预提取拒绝向量"]
    C --> F["加权隐状态保真<br/>MSE 锚定基座表征"]
    B --> G["输出分布与语言建模约束<br/>KL 散度 + 参考拒绝 LM 交叉熵"]
    D & E & F & G --> H["联合优化 LoRA 适配器<br/>兼顾零越狱迁移与零乱码生成"]

关键设计

1. CKA有害表征排斥：阻断跨模型攻击迁移几何中介

跨模型对抗后缀之所以能够跨架构生效，是因为各模型在有害语义子空间上共享了 Gram 矩阵拓扑。针对此痛点，AnchorRep 选择无偏跨维度对齐指标 CKA（Centered Kernel Alignment）作为反向排斥目标。设中间层防御模型隐状态矩阵为 \(\mathbf{X}_d^{\text{adapted}} \in \mathbb{R}^{N \times d_d}\)，冻结锚点模型隐状态矩阵为 \(\mathbf{X}_a \in \mathbb{R}^{N \times d_a}\)，分别计算二者的 Gram 矩阵并进行中心化处理：\(\tilde{\mathbf{K}}_i = \mathbf{H}\mathbf{K}_i\mathbf{H}\)，其中 \(\mathbf{H} = \mathbf{I}_N - \frac{1}{N}\mathbf{1}\mathbf{1}^\top\)。核心优化目标即直接最小化有害样本集上的线性 CKA：

\[\mathcal{L}_{\text{CKA}} = \text{CKA}(\mathbf{X}_d^{\text{adapted}}, \mathbf{X}_a) = \frac{\text{tr}(\tilde{\mathbf{K}}_d \tilde{\mathbf{K}}_a)}{\sqrt{\text{tr}(\tilde{\mathbf{K}}_d^2) \cdot \text{tr}(\tilde{\mathbf{K}}_a^2)}}\]

CKA 的天然优势在于其全流程可微且对隐藏层维度完全无关（Dimension-agnostic），允许选取不同隐层维度的模型作为锚点（例如用 4096 维的 Qwen 或 Phi-3 作为锚点防御 Mistral 或 Llama-3）。通过降低有害提示词表征之间的 Relational 相似度，防御模型被迫偏离源模型白盒攻击所利用的敏感流形。

2. 拒绝方向对齐引导：赋予排斥表征确定性安全落点

单纯排斥 CKA 仅规定了有害表征“不应该靠近哪里”，却未约束有害表征“应该移向何处”，这会导致表征在表征空间中随机发散并破坏其他特征。针对该缺陷，AnchorRep 引入低秩拒绝方向向量 \(\mathbf{r}\) 作为吸引子。在训练前，使用 15 条有害提示词分别拼接直接输入与 10 种拒绝模版，在前向传递至目标层 \(\ell\) 后计算均值差分并归一化：\(\mathbf{r} = \text{normalize}(\bar{\mathbf{h}}_{\text{refusal}} - \bar{\mathbf{h}}_{\text{compliance}})\)。在训练中，通过余弦相似度将有害样本在中间层的表征拉向拒绝方向：

\[\mathcal{L}_{\text{refusal}} = -\frac{1}{N_h} \sum_{i \in \text{harmful}} \cos(\mathbf{h}_i^{\text{adapted}}, \mathbf{r})\]

该设计将原本不可控的几何排斥转变为向安全拒绝流形的方向性位移，大幅提高了优化的收敛速度与防御确定性。

3. 加权隐状态保真与输出分布约束：遏制良性漂移与乱码退化

在全网络共享 LoRA 参数的前提下，对有害子空间的排斥势必波及良性输入的表征分布，引发输出崩塌或通用评测大幅掉点。为此，AnchorRep 构筑了表征级与输出级的双重稳固机制。在表征级，设计加权 MSE 保真损失将适配器表征针刺在未微调基座模型隐状态附近：

\[\mathcal{L}_{\text{coherency}} = \frac{1}{N} \sum_{i=1}^N w_i \cdot \|\mathbf{h}_i^{\text{adapted}} - \mathbf{h}_i^{\text{base}}\|^2\]

其中设置两档权重：良性样本与 XSTest 敏感边界样本设置高惩罚 \(w_i = 5\)，强力锁定无害语境表征；有害样本设置 \(w_i = 1\)，容忍表征排斥漂移。在输出概率分布级，针对良性与边界样本计算与基座模型的 KL 散度：

\[\mathcal{L}_{\text{KL}} = \frac{1}{N_b} \sum_{i \in \text{benign} \cup \text{borderline}} D_{\text{KL}}\left(p_{\theta_{\text{base}}}(\cdot \mid x_i) \;\|\; p_\theta(\cdot \mid x_i)\right)\]

此外，针对基座拒绝意图较弱的模型补充微弱的参考拒绝交叉熵损失 \(\mathcal{L}_{\text{LM}}\)。最终多目标联合损失为：\(\mathcal{L} = \gamma \mathcal{L}_{\text{CKA}} + \alpha \mathcal{L}_{\text{refusal}} + \beta \mathcal{L}_{\text{coherency}} + \varepsilon \mathcal{L}_{\text{KL}} + \delta \mathcal{L}_{\text{LM}}\)。

损失函数 / 训练策略

• 介入层级选择：实验确立第 50% 深度处（\(\ell = \lfloor 0.5 \cdot L \rfloor\)）为黄金分水岭。浅层（\(\le 25\%\)）处于词法解析带，介入会导致严重的良性输出乱码（BGR 达 12.2%）；深层（\(\ge 62.5\%\)）处于输出解码区，无法触碰并改变拒绝特征流形；唯有中间语义形成层能实现防御与质量的最佳平衡。
• 超参数配置：LoRA 秩设为 \(r = 32\)，全层注入（实验证明仅在中间层注入 LoRA 会由于前后层固定而无法吸收排斥梯度导致 ASR 反弹至 31%+）。AdamW 优化器，学习率大多设为 \(2 \times 10^{-4}\)，对表征敏感的 Mistral 降至 \(5 \times 10^{-5}\)。训练步数仅需 200–600 步（在单张 NVIDIA L40S 上耗时仅 15–30 分钟）。微调结束后 LoRA 权重可直接 merge 进基座，推理期零显存与零延迟开销。

实验关键数据

主实验

在 5 款主流模型（Llama-3-8B、Mistral-7B、Vicuna-7B、Qwen-1.5-14B、Phi-3-14B）上测试跨越 20 个源模型的 2,000 条 GCG 攻击样本（100 条自攻击 + 1,900 条迁移攻击）。引入专门用于检测非拒绝性输出崩溃的良性乱码率（Benign Garble Rate, BGR），评测兼顾安全防御（ASR）与效用保留（OR-Bench、XSTest、MT-Bench、MMLU）。

模型	防御方法	自攻击ASR(%) ↓	迁移攻击ASR(%) ↓	BGR(%) ↓	ΔOR-Bench(%) ↓	ΔXSTest(%) ↓	ΔMT-Bench ↑	ΔMMLU(%) ↑	目标安全区间
Llama-3-8B	Undefended	5.0	1.0	0.0	-	-	-	-	×
	Circuit Breakers	0.0	0.0	77.1	-48.6	+0.4	-0.18	-1.6	×
	RMU	4.0	1.0	0.1	+0.1	0.0	+0.01	+0.1	×
	RepBend	4.0	1.0	0.1	+9.2	-0.4	-0.19	0.0	×
	CRL	0.0	0.1	28.4	-1.1	+15.6	-0.06	-2.7	×
	AnchorRep (本文)	1.0	1.1	0.0	-7.7	0.0	+0.11	-0.4	✓
Mistral-7B	Undefended	77.0	36.6	0.0	-	-	-	-	×
	Circuit Breakers	2.0	1.0	22.1	-2.4	-0.8	-0.01	-0.2	×
	RMU	73.0	33.9	0.4	+0.2	-0.4	-0.09	0.0	×
	RepBend	3.0	1.9	10.0	+9.9	+1.2	-0.07	-0.4	×
	CRL	5.0	1.8	33.6	+17.6	+6.4	-2.36	-32.3	×
	AnchorRep (本文)	2.0	1.0	0.0	+4.1	-0.4	-0.05	-1.5	✓
Vicuna-7B	AnchorRep (本文)	0.0	0.0	0.0	+6.1	-2.0	+0.11	-0.3	✓
Qwen-1.5-14B	AnchorRep (本文)	2.0	0.4	0.0	+6.2	+0.8	-0.09	-0.1	✓
Phi-3-14B	AnchorRep (本文)	0.0	0.0	0.0	-1.0	+2.0	+0.40	0.0	✓

注：目标安全区间（Regime）标准为同时满足 Transfer ASR \(\le 2\%\)，BGR \(= 0\%\)，且 \(|\Delta\text{OR}| \le 8\%\)。全场仅 AnchorRep 全面达成该标准。

消融实验

在 Mistral-7B（锚点为 Qwen-1.5-7B）上针对核心排斥超参数 \(\gamma\) 及辅助损失的扰动分析（其余参数保持 \(\alpha=0.15, \beta=1.0, \delta=0.04, \varepsilon=0.8\)）：

实验配置	\(\gamma\) 权重	迁移 ASR(%)	OR-BGR(%)	ΔOR-Bench(%)	ΔMT-Bench	有害 CKA	良性 CKA	状态说明
Run 1: 弱排斥	0.18	0.0	0.0	+76.4	-1.42	0.541	0.951	严重过度拒绝
Run 2: 无 CKA	0.00	0.0	0.1	+32.4	-0.29	0.576	0.963	拒绝机制过度激发
Run 3: 强排斥	1.40	0.5	0.3	+49.0	-2.34	0.198	0.142	良性表征几何崩塌
Run 4: 选定方案	0.70	1.1	0.0	+4.1	-0.05	0.277	0.965	兼顾安全与高保真

关键发现

• 消除共性攻击流形而非死记硬背：在未曾接触对抗后缀的训练条件下，AnchorRep 不仅平抑了 20 种源模型的迁移 GCG（Mistral 上 \(36.6\% \to 1.1\%\)），还能防御跨提示词通用的 GCG 后缀（跨提示词越狱率从 \(51.3\%\) 暴跌至 \(1.8\%\)），并在自适应白盒离散攻击（GCG、PAIR、AutoDAN）中降低了 22/25 种设置的 ASR。
• 各损失项紧密耦合构成几何容器：去掉 CKA（\(\gamma=0\)）会导致模型过度向拒绝向量堆叠而剧增 32.4% 的过度拒绝；而如果过分加大 \(\gamma\)（1.4），良性提示词的 CKA 骤降至 0.142，表征全面失真（MT-Bench 掉 2.34 分）。各项辅助损失构成几何容器，使得有害表征精准隔离，良性表征近乎无感（\(\Delta \text{CKA}_{\text{benign}} = -0.01\)）。
• 出现特征性“空心顺从”（Hollow Compliance）：不同于 Circuit Breakers 的乱码输出或传统对齐的冷硬拒绝，AnchorRep 的残余绕过大多表现为表面语法极度通顺但完全虚构、无法落地的安全回答（例如虚构“Cerebro-Reader 3000”脑控装置、把“制作炸弹”曲解为设计名为 Bomb 的裙子），证实有害语义落地路径已被表征排斥彻底切断。

亮点与洞察

• 将表征几何直接转化为防御算子：巧妙利用 CKA 衡量模型间 Gram 矩阵几何相似性的特性，首次直接以最小化跨模型表征相似度为优化目标，从表征空间斩断了基于特征复用的对抗迁移根源。
• 提出良性乱码率 BGR（Benign Garble Rate）质检标准：敏锐指出现有表征工程防御在抹除危害性的同时普遍引起不可见的语言模型崩溃退化（如 77% 的输出为无意义符号），BGR 填补了现有安全评测仅关注拒绝词或浅层准确率的盲区。
• 低成本可直接部署：仅需单卡微调 200–600 步即可收敛，微调后无需挂载检测器或保留锚点模型，无缝合并权重后推理完全零开销。

局限与展望

• 连续嵌入攻击与语义重构绕过：对于连续空间的 Embedding PGD（直接在 Continuous 词嵌入层做梯度上升）以及高层语义改写攻击（如 TAP），防御力有限，14B 模型上 Embedding PGD 仍保留较高越狱率。
• 双向感知自适应攻击风险：若攻击者同时获知防御模型与锚点模型的架构权重，原则上可以通过联合优化规避排斥轨迹。未来可探索动态多锚点（Multi-anchor）联合防御或与 RLHF/DPO 协同防御。

相关工作与启发

• vs Circuit Breakers：Circuit Breakers 采用表征重路由（Representation Rerouting）强行截断恶意表征，但在良性提示词上产生灾难性胡言乱语（Llama-3 上 BGR 达 77.1%）；AnchorRep 通过“排斥-对齐-保真”多目标耦合，做到了 0% 乱码并保留基座通用生成能力。
• vs CRL（对比表征学习）：CRL 同样试图分离表征，但在训练中易过度泛化导致极高的过度拒绝（Mistral 上 OR-Bench 增幅达 +17.6%）；AnchorRep 利用冻结跨家族锚点提供外部几何参照系，边界更加清晰可控。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次从几何相似性（CKA）反向阻断跨模型越狱迁移，摆脱了对抗样本训练范式。
• 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 5 款基座、20 款攻击源模型、跨提示词迁移、白盒自适应攻击以及完备的消融分析。
• 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨扎实，对模型表征演化与各类失效模式剖析极其透彻。
• 价值: ⭐⭐⭐⭐⭐ 为开源 LLM 的轻量高效安全加固提供了即插即用且无推理代价的实用工程范式。

相关论文

• [NeurIPS 2026] Auditing Cross-Lingual Fairness in Language Model Watermarking
• [NeurIPS 2026] Correlating Cross-Iteration Noise for DP-SGD using Model Curvature
• [NeurIPS 2026] Safeguarding LLMs via Model-Agnostic Latent Safety Signals from Dark Knowledge
• [NeurIPS 2026] SLDR: Defending Against Malicious Fine-tuning via Selective Layers Recovery and Dynamic Routing
• [AAAI 2026] Lost in Translation? A Comparative Study on the Cross-Lingual Transfer of Composite Harms