跳转至

HEAL: Anchored Hyperspherical Equilibrium for Multilingual Safety Alignment

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 安全
关键词: 多语言安全对齐, 超球面表示学习, 偏好优化, 对比平衡, 越狱防御

一句话总结

针对低资源语言安全对齐数据稀缺且跨语言迁移易受噪声污染的问题,HEAL 提出一种在超球面上平衡锚点对齐(shrink)与同 prompt 语言间排斥(dilation)的双力辅助目标,在无需多语言回复标注的情况下显著提升弱势语言的安全拒答率与越狱鲁棒性。

研究背景与动机

随着大语言模型在全球范围内的快速部署,其安全对齐在不同语种之间的表现呈现出严重的不均衡性。目前驱动主流偏好优化(如 DPO)的 chosen/rejected 偏好数据对几乎全部由英语构建,而在实际应用中用户却使用数十种在语言类型学上相距甚远的语言与模型交互。直接使用单语 DPO 微调模型,虽然能够显著强化英语的拒绝回答模式,却缺乏将该安全机制主动向非英语隐藏表示迁移的结构性通路;而为每种语言甚至低资源语种都人工标注高质量的多语言正负回复对,在现实落地中成本极高、难以规模化。

为了克服数据瓶颈,学术界开始转向在隐空间进行表示级几何对齐,试图让其他语言直接继承英语的安全几何模式。然而,这类方法往往面临对比表示学习中典型的“对齐(alignment)与均匀分布(uniformity)”两难困境:同一 prompt 的多种语言表达理应充分接近以实现安全迁移,但若将它们过度压缩至相同方向,又会抹杀各语言特有的语法、语体和表层表达能力。例如先驱工作 MLC 强制要求同 prompt 语言表示矩阵趋于 rank-1,这不仅导致对齐方向被所有语言的平均表示动态主导——低资源语言的不稳定噪声直接污染了全局收敛方向,还缺乏对同 prompt 各语言间距的显式下界约束,容易造成表示坍缩与泛化退化。

本文从对比超球面几何的平衡特性出发,提出不再追求破坏语言多样性的 rank-1 坍缩,而是构建一个有锚定中心的受约束超球壳流形。核心 idea:通过引入 stop-gradient 的英语锚点吸引力(shrink)引导跨语言安全迁移,并配合成对铰链排斥力(dilation)维持各语言间的最小角间距,在超球面上达成兼顾安全泛化与语言表征特异性的动态平衡。

方法详解

整体框架

HEAL 的整体架构在标准的单语 DPO 训练流水线之上,挂载了一个极轻量级且仅在训练期启用的辅助表示对齐模块。对于给定的多语言危险提示词(同一 prompt 包含英语及 9 种非英语变体),模型仅在英语通道计算标准的 DPO 偏好损失。各语言 prompt 经过主干网络前向传播后,提取最后一层最后一个 token 的隐藏状态,并通过一个轻量级线性投影头映射并 \(L_2\) 归一化至单位超球面 \(\mathbb{S}^{D-1}\) 上。在超球面上,系统施加两股相互拮抗的几何力:shrink 作用力以当前英语表示作为冻结梯度的锚点,将所有非英语表示拉入以其为中心的球冠区域;dilation 作用力则在所有非英语表示对之间施加成对铰链排斥,确保任意两门非英语语言之间的欧氏距离不低于预设边际。训练完成后,辅助投影头直接丢弃,不增加任何推理参数或时延。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多语言安全 Prompt 输入<br/>(英语 + 9 种非英语)"] --> B["LLM 主干前向传播<br/>提取末尾 Token 隐藏状态"]
    B --> C["投影与超球面归一化<br/>映射至单位超球面"]
    C --> D["英语锚定收缩力<br/>stop-gradient 吸引引导迁移"]
    D --> E["非英语成对扩张力<br/>Hinge 边际排斥防止坍缩"]
    E --> F["超球壳平衡几何结构<br/>联合 DPO 端到端优化"]

关键设计

1. 英语锚定收缩力:单向吸引防止低资源噪声污染中心 传统表示一致性方法(如 MLC)计算所有语言的均值或主奇异向量作为对齐方向,导致低资源语言的噪声表示将全局中心拉偏,且不同 prompt 之间的收敛方向漂移不定。为了保证安全监督信号从资源最丰富、已通过 DPO 得到严格优化的英语侧单向传递,HEAL 设计了带梯度截断(stop-gradient)的锚定吸引项。对于给定的 prompt 样本 \(i\),将英语表征固定为锚点 \(\text{sg}(z_{i,\text{en}})\),仅计算非英语集合 \(\mathcal{N}\) 中各语言表征向该锚点的距离,并在距离小于预设边际 \(r\) 时将损失归零: $\(\mathcal{L}_{\text{shrink}}^{(i)} = \frac{1}{|\mathcal{N}|} \sum_{l \in \mathcal{N}} \left[ \|z_{i,l} - \text{sg}(z_{i,\text{en}})\|_2^2 - r^2 \right]_+\)$ 梯度截断彻底阻断了辅助损失将英语表示向未对齐的低资源语言拉扯的可能,避免了安全监督基础的松动;而平方边际 \(r^2\) 则允许非英语表示在锚点周围保持合理的弹性半径,不强制其完全坍缩为单一向量。

2. 非英语成对扩张力:边界约束维持语言特异性表征容量 若仅保留向心收缩力,多语言表示将过度挤压在英语锚点附近,破坏模型编码不同语言词法、句法以及语体差异的能力,进而损害基础语言理解并诱发泛化崩溃。HEAL 引入了一个成对排斥铰链项,仅在同一 prompt 的任意两门非英语语言 \(l, l' \in \mathcal{N}\) 之间计算,当它们在超球面上的欧几里得距离小于排斥边际 \(m\) 时触发惩罚: $\(\mathcal{L}_{\text{dilate}}^{(i)} = \frac{2}{|\mathcal{N}|(|\mathcal{N}| - 1)} \sum_{l, l' \in \mathcal{N}, l < l'} \left[ m^2 - \|z_{i,l} - z_{i,l'}\|_2^2 \right]_+\)$ 英语锚点被严格排除在成对排斥的求和范围之外,确保英语作为稳定引力目标而非被其他语言排挤的运动点。这一设计在数学上强制同一 prompt 的不同语种保持至少 \(m\) 的欧几里得角向分离,在空间中撑起多面体多面角,保留了足够的几何容积以编码各语言的独有特征。

3. 超球壳平衡几何流形:可控 Lipschitz 安全迁移界与可行性保证 当收缩力与扩张力的铰链条件同时处于非激活状态时,所有非英语表示落入一个以英语为中心的超球壳区域内:\(\|z_{i,l} - z_{i,\text{en}}\|_2^2 \le r^2\) 且 \(\forall l \neq l', \|z_{i,l} - z_{i,l'}\|_2^2 \ge m^2\)。在超球面上,利用正则单纯形几何构造可知,当维度 \(D=512\) 远大于语言数量 \(n=|\mathcal{N}|=9\) 时,只要排斥边际满足 \(m^2 \le \frac{2n}{n-1}(r^2 - \frac{r^4}{4})\),该可行解集便严格非空(在默认参数 \(r^2=0.2\) 下理论上界为 \(0.43\),大于实际设置的 \(m^2=0.3\))。在这一几何约束下,若模型的局部安全评分函数 \(g_\theta(z)\) 在归一化表示上具有 \(K\)-Lipschitz 连续性,则非英语与英语的安全得分差被严格有界约束为 \(|g_\theta(z_{i,l}) - g_\theta(z_{i,\text{en}})| \le K r\)。因此,HEAL 通过几何参数直接调控跨语言安全误差的上界,替代了以往依靠启发式调整或无界坍缩的做法。

损失函数 / 训练策略

模型采用单阶段端到端联合训练。主损失采用标准的 Sigmoid DPO 目标(\(\beta = 0.1\)),仅使用英语的 chosen 与 rejected 偏好对;辅助损失由每个批次内各 prompt 的收缩项与扩张项加权组成,并反向传播至投影头与主干网络: $\(\mathcal{L}_{\text{HEAL}} = \mathcal{L}_{\text{DPO}} + \frac{\lambda_{\text{aux}}}{B} \sum_{i=1}^B \left( \mathcal{L}_{\text{shrink}}^{(i)} + \alpha_d \mathcal{L}_{\text{dilate}}^{(i)} \right)\)$ 默认超参数设置为:辅助损失权重 \(\lambda_{\text{aux}} = 0.8\),扩张平衡系数 \(\alpha_d = 0.5\),收缩边际平方 \(r^2 = 0.2\),扩张边际平方 \(m^2 = 0.3\)。投影头维度 \(D = 512\),直接挂载在主干解码器的最后一层。使用 DeepSpeed ZeRO-3 框架在 10 门语言上微调 3 个 epoch,峰值学习率 \(6 \times 10^{-7}\),配合余弦退火和 0.1 的 warmup 比率。单批次计算复杂度仅为 \(O(BLD) + O(BL^2D)\),且计算局限于同 prompt 内部,完全无需跨 prompt 组合配对。

实验关键数据

主实验

在 PKU-SafeRLHF 评测集(覆盖 10 门训练语言,1,800 个危险触发 prompt)上评估跨语言安全率(Safety Rate)、跨语言方差(Var)以及成对一致性(PAG)。HEAL 在两大主流开源主干上均超越了纯 DPO、基于排序奖励迁移的 MPO、自蒸馏方案 SDRRL 以及同类隐空间对齐 SOTA 方法 MLC。

模型与方法 EN ZH RU JA AR BN SW UR PS KU Avg (%) ↑ Var ↓ PAG ↑
Qwen-2.5-7B
Raw (未对齐) 93.33 96.11 93.33 92.22 93.89 53.33 6.11 33.89 21.11 12.22 59.55 0.13140 0.5037
SDRRL 57.22 73.33 77.22 75.00 77.22 72.22 64.44 75.56 69.44 61.11 70.28 0.00450 0.8412
MPO 81.11 81.67 82.22 77.22 78.33 77.22 4.44 70.56 59.44 42.78 65.50 0.05530 0.6979
DPO 99.44 98.33 97.22 97.78 96.11 70.56 7.22 50.56 30.00 17.22 66.44 0.12440 0.5437
MLC 96.11 98.33 97.78 98.89 98.89 98.33 96.67 95.00 95.00 98.89 97.39 0.00022 0.9737
HEAL (本文) 96.67 98.89 100.0 98.89 100.0 98.33 98.33 98.33 98.89 100.0 98.83 0.00010 0.9882
Gemma-2-9B
Raw (未对齐) 95.56 95.56 96.11 92.78 97.22 92.22 94.44 93.89 41.11 18.89 81.78 0.06970 0.7390
SDRRL 51.11 78.33 82.22 50.56 73.33 81.67 72.77 80.00 76.67 72.78 71.94 0.01223 0.7288
MPO 89.44 81.67 87.78 85.56 87.22 85.00 76.67 83.33 70.56 42.22 78.95 0.01790 0.8641
DPO 95.00 94.59 93.55 94.62 96.77 91.98 90.91 92.51 48.66 16.58 81.52 0.06520 0.7614
MLC 93.89 96.11 95.00 96.11 93.33 95.00 96.67 95.00 93.89 95.56 95.06 0.00011 0.9194
HEAL (本文) 98.33 97.78 97.78 98.89 96.11 99.44 97.78 98.33 97.78 98.33 98.06 0.00007 0.9663

在 MultiJail 越狱基准(包含分布内 ID 语言与 5 门完全未见过的分布外 OOD 语言)以及通用能力基准(MMLU / MMMLU-lite)上的表现如下:

模型与配置 MultiJail ID ASR (%) ↓ MultiJail OOD ASR (%) ↓ MMLU (EN) ↑ MMMLU-lite (Multi) ↑
Qwen-2.5-7B
Raw 17.27 8.06 73.32 60.33
DPO 10.54 3.62 73.29 64.50
MLC 1.90 1.33 73.10 60.37
HEAL 0.89 0.89 73.09 60.50
Gemma-2-9B
Raw 4.38 4.13 72.59 63.83
DPO 2.73 2.79 72.76 64.12
MLC 2.66 1.33 72.76 64.67
HEAL 2.09 2.03 72.77 64.42

消融实验

在 Qwen-2.5-7B-Instruct 上保持收缩边际 \(r^2=0.2\) 固定,调整排斥边际 \(m^2\) 对斯瓦希里语(SW,典型低资源代表语种)的安全率与越狱攻击成功率(ASR)进行敏感度分析。当 \(m^2=0\) 时,排斥力失效,退化为单纯的向心吸引消融版本:

实验配置 (\(m^2\) 取值) 机制说明 PKU-SW 安全率 (%) ↑ MultiJail-SW ASR (%) ↓ 状态评估
\(m^2 = 0.00\) (纯收缩消融) 仅保留锚点吸引,缺乏同 prompt 语言间排斥 93.89 2.86 语言过度压缩,低资源表现明显退化
\(m^2 = 0.15\) 施加轻微排斥边际 96.11 1.90 性能稳步回升
\(m^2 = 0.30\) (默认配置) 达成收缩与排斥的几何均衡态 98.33 0.63 安全率达到峰值,越狱 ASR 压至最低
\(m^2 = 0.45\) 排斥力过大,突破收缩几何容限 96.67 1.27 排斥力干扰了向锚点的安全聚集

关键发现

  • 纯吸引对齐的坍缩陷阱:消融实验清楚地证明,\(m^2=0\)(仅吸引无排斥)在低资源语言上的安全表现显著落后于平衡态(SW 安全率低 4.44 个百分点,ASR 增加至 4 倍以上)。这验证了过度追求同 prompt 表达的一致性会扼杀低资源语言固有的表达空间。
  • 低资源尾部语言提升最为剧烈:纯 DPO 在英语上安全率高达 99.44%,但在斯瓦希里语(SW 7.22%)、普什图语(PS 30.00%)和库尔德语(KU 17.22%)上几乎完全失守;HEAL 不仅将各语种平均提升至 98.83%,更将上述弱势语种全部拉升至 98% 以上甚至 100%,跨语言方差直接从 DPO 的 0.12440 压低至 0.00010。
  • 零成本越狱泛化:在 MultiJail 测试中,即使面对训练集中从未出现的韩语、意大利语、爪哇语、泰语和越南语(OOD),HEAL 依然将 Qwen 模型的越狱成功率压低至 0.89%,证明超球壳流形所学到的安全拒绝几何能够有效泛化到未知语种。
  • 通用语言能力无损保留:在 MMLU 与 MMMLU-lite 测试中,HEAL 的基础能力得分与 Raw / DPO 基线处于统计同一水平,未因跨语言强制对齐导致通用多任务理解能力退化。

亮点与洞察

  • Stop-Gradient 锚点的因果不对称设计:巧妙地将英语表征作为单向牵引锚点,杜绝了低资源语料的低质表征对全局安全中心的污染,让 DPO 在高资源语言上积累的高置信度拒绝判决成为绝对基准。
  • 单位超球壳流形的几何可解释性:将对比表示学习中“对齐与均匀”的抽象原则转化为具体的内外双铰链不等式约束,并通过理论推导给出了保证解集非空的参数相容上界。
  • 训练无感与推理零开销:只在训练阶段通过前向提取各语种 prompt 的隐状态进行欧氏与铰链计算,不要求生成多语言回复正文,推理时直接卸载投影头,兼顾算法效率与部署实用性。

局限与展望

  • 语种覆盖范围尚待扩展:论文主要在 10 门训练语言以及 5 门分布外语言上验证,尚未覆盖更广泛的语系谱系、稀有小语种、濒危语言以及现实人机交互中高频出现的语码转换(Code-switching)混合语境。
  • 主干规模局限在 7B-9B 级别:所有实验均基于 Qwen-2.5-7B 与 Gemma-2-9B 完成,对于 30B+ 或 70B+ 等更大参数量、自身多语言先验更加强大的密集及 MoE 架构,超球壳几何的超参边际敏感性与收敛行为仍有待进一步探究。
  • 依赖提示词的多语言平行映射:训练时依然需要将英语 prompt 翻译为对齐的多种语言 prompt;未来工作可探索如何在非完全平行的弱监督提示词集合上构建松弛化超球平衡。

相关工作与启发

  • vs MLC (Multilingual Consistency):MLC 采用奇异值惩罚迫使多语言表示矩阵坍缩至 rank-1,对齐中心由所有语种平均动态决定,易受弱势语种表征偏移影响;HEAL 采用 stop-gradient 英语锚点避免污染,并用显式排斥铰链保留各语种独特的语义表征空间。
  • vs MPO (Multilingual Preference Optimization):MPO 通过英语枢轴将奖励差距显式转化为偏好数据监督信号;HEAL 则直接作用于隐藏层表征几何流形,计算代价更低且无需复杂的跨语言奖励校准。
  • vs SDRRL (Self-Distillation):SDRRL 依靠高资源语言生成回复并翻译至目标语种进行知识蒸馏;HEAL 避免了昂贵且容易引入幻觉的回复级生成与翻译,仅通过 prompt 级别的隐空间约束即实现了强健的安全迁移。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 突破了单纯强制多语言一致性坍缩的定势思维,将超球面“对齐-均匀”平衡与锚点几何优雅结合。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖两大开源主干模型、分布内与分布外多语言越狱评测、严密消融以及通用任务保留评测。
  • 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备,几何直觉与优化动机叙述紧凑严密,参数可行性有扎实的数学保障。
  • 价值: ⭐⭐⭐⭐⭐ 为开源社区提供了一种成本极低、即插即用且能彻底解决低资源语言安全洼地问题的通用方案。