Harnessing Textual Refusal Directions for Multimodal Safety¶

会议: NeurIPS 2026
arXiv: 2606.31876
代码: https://github.com/Moreno98/MARS
领域: 安全
关键词: 多模态大模型安全, 激活引导, 拒绝方向, 免训练对齐, 跨模态迁移

一句话总结¶

本文提出免训练的多模态拒绝引导方法 MARS，无需多模态不安全训练数据，仅利用文本拒绝方向，通过纯色图像中心化解耦模态偏差、几何信任域自适应缩放引导强度及三维准则层级选择，显著提升多模态模型防越狱与安全能力并保持实用效用。

研究背景与动机¶

多模态大语言模型（MLLMs）在继承文本大模型强大通用认知能力的同时，也将其安全脆弱性在视觉与视频维度成倍放大。传统的大模型安全对齐高度依赖在不安全数据上的后训练（Post-training Alignment）或监督微调。然而在多模态领域，构建高质量的不安全跨模态数据集面临严峻的工程与伦理瓶颈：跨模态有害场景极其复杂多变，对每一类新模态（如视频、3D）都需要从头重新采集，且搜集、存储和分发儿童虐待、暴力血腥等有害真实多模态内容伴随着严重的法律和道德红线。

这导致绝大多数 MLLM 几乎完全依赖其文本主干（LLM backbone）遗留的安全机制，面对精心设计的对抗视觉越狱、交叉模态隐式攻击时极易失守。近期纯语言模型的可解释性研究发现，大模型内部的拒绝行为由激活空间中高度结构化的单一“拒绝方向”所驱动，抑制或激活该方向能够直接控制模型的拒绝意图。如果这种在纯文本数据上轻易提取的潜在安全表征能够天然跨模态泛化，便能彻底打破多模态模型对不安全训练样本的依赖。

然而跨模态直接应用文本拒绝方向会遭遇严重的“模态失配”问题：视觉模态 token 在激活空间中存在系统性偏移，导致无论图片内容是否安全，其在拒绝方向上的投影都呈现正偏，直接放大拒绝会导致安全样本发生灾难性的过度拒绝（Over-refusal）。本文的核心 idea 是：完全无需多模态安全数据，利用中性随机单色图像中心化校准消除模态失配，并在由文本安全/不安全质心界定的几何信任域内自适应调节引导强度，将纯文本拒绝方向可靠注入多模态推理。

方法详解¶

整体框架¶

本文提出的方法名为模态未知拒绝引导（Modality-Agnostic Refusal Steering, MARS）。该方法完全免训练（training-free）且无需外部监督，仅在推理阶段首个生成 token 处介入。在离线阶段，MARS 利用公开的纯文本安全数据集（Alpaca）与不安全数据集（MaliciousInstruct）提取目标模型在各层的标准化拒绝方向与质心，并通过纯文本验证集的跨集一致性、分离度与安全边距选出最佳干预层级 $\ell^*$；同时输入无语义的随机纯色图像计算模态平均背景偏置。在在线推理阶段，模型提取输入序列末尾 <assistant> token 的隐状态，先减去模态背景均值以纠正模态失配，再经单侧 ReLU 门控与基于局部几何距离的自适应信任域缩放，沿拒绝方向动态放大拒绝意向。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>图像/视频 + 文本提示词"] --> B["LLM 隐状态提取<br/>最优层末尾 token: h"]
    B --> C["模态解耦中心化<br/>减去纯色图像均值得到校准激活"]
    C --> D["单侧 ReLU 门控遍历<br/>过滤安全样本，仅保留正向拒绝分量"]
    D --> E["局部几何自适应缩放<br/>约束在质心信任域半径内调节步长"]
    E --> F["首 token 激活更新<br/>引导安全拒绝或保持正常生成"]

关键设计¶

1. 纯色图像中心化解耦：消除视觉模态诱发的伪拒绝偏差 直接将文本提取的拒绝方向应用于多模态特征时，无论输入图像是否包含有害内容，图像隐状态往往普遍带有与拒绝方向高度对齐的模态特异性分量，造成安全样本的余弦相似度虚高并引发严重过度拒绝。为消除这一系统性模态偏差且避免引入新的语义先验，MARS 设计了一种极简的无监督背景校准策略：构建包含 $N$ 张不同随机单一颜色的中性图像集合 $\mathcal{I}_{\text{neu}}$，在模型中前向提取对应层 <assistant> 位置的视觉激活并求经验均值 $\mu_{\text{neu}}^{\ell}$。在推理时，直接对测试样本的隐状态 $h^{\ell}$ 进行中心化变换： $$h_c^{\ell} = h^{\ell} - \mu_{\text{neu}}^{\ell}$$ 中性随机颜色图像不具备具体物体语义，却完整经过了视觉编码器和投影层的维度映射，因此能精准剥离视觉模态引起的共性特征偏移。经过中心化后，不安全图像在激活空间重新与拒绝质心聚类，而安全图像退回接受质心区域，实现了安全语义与模态特征的几何解耦。

2. 单侧 ReLU 门控遍历与几何信任域自适应缩放：在保障安全的同时避免过度干预 如果对所有多模态输入施加固定强度的线性引导，非有害输入仍有可能被微小扰动推入拒绝区间，且过大的干预步长会破坏模型的通用语言推理与多模态感知效用。MARS 在中心化激活 $h_c^{\ell}$ 投影到归一化文本拒绝方向 $\hat{d}_r^{\ell}$ 后，引入单侧 ReLU 激活函数构造引导向量： $$s^{\ell} = \mathrm{ReLU}\left(\langle h_c^{\ell}, \hat{d}_r^{\ell}\rangle\right) \hat{d}_r^{\ell}$$ 对于判定为安全的输入，内积小于等于零，引导向量直接归零，模型完全保持原始无损推理行为；仅当内积为正时才激活干预。为了自适应控制干预强度而不依赖超参数网格搜索，MARS 利用文本安全质心 $\mu_{\text{acc}}^{\ell}$ 与不安全质心 $\mu_{\text{ref}}^{\ell}$ 界定安全边界，将当前激活到最近语义锚点的距离定义为局部几何信任域半径： $$r^{\ell} = \min\left(\|h_c^{\ell} - \mu_{\text{acc}}^{\ell}\|_2,\; \|h_c^{\ell} - \mu_{\text{ref}}^{\ell}\|_2\right)$$ 引导缩放系数定义为 $\alpha^{\ell} = \frac{r^{\ell}}{\|s^{\ell}\|_2 + \epsilon}$，最终激活更新为 $\bar{h}^{\ell} = h^{\ell} + \alpha^{\ell} s^{\ell}$。这保证了激活偏移严格被限定在真实数据分布覆盖的紧邻超球体内，杜绝了过大步长导致的表征坍塌。

3. 三维指标无监督层级选择：精准定位跨模态表征解耦最优层 大语言模型各层对安全概念的抽象程度差异极大：浅层主要表征低级模态特征，过深层可能已进入确定性输出阶段，且某些中间层容易出现所有样本无差别拒绝的表征混叠。为在不接触任何多模态不安全测试集的前提下挑选干预层 $\ell^*$，MARS 提出综合考量三个互补维度的综合评分： 1. 方向一致性 $\mathcal{S}_{\text{dir}}^{\ell}$：计算基准拒绝方向 $\hat{d}_r^{\ell}$ 与独立文本验证集拒绝方向 $\hat{d}_{r,\text{val}}^{\ell}$ 的余弦相似度，衡量该层拒绝方向的泛化稳定性； 2. 上下文可分性 $\mathcal{S}_{\text{sep}}^{\ell}$：基于最近质心分类器，计算文本验证集中安全与不安全样本在当前层激活空间的平均分类准确率； 3. 安全文本边界裕度 $\mathcal{S}_{\text{margin}}^{\ell}$：度量安全验证样本投影与质心决策边界 $b^{\ell}$ 的正向间距，确保安全特征远离拒绝分界面。各指标在跨层 Min-Max 归一化后求和获得综合得分 $\mathcal{S}^{\ell}$，取最大值对应的层 $\ell^* = \arg\max_{\ell} \mathcal{S}^{\ell}$ 进行干预。

损失函数 / 训练策略¶

MARS 为完全免训练（zero-training, zero-fine-tuning）的推理期算法。所有参数仅包含通过简单向量减法与均值统计预先缓存的常数向量：各层标准化拒绝方向 $\hat{d}_r^{\ell} = d_r^{\ell} / \|d_r^{\ell}\|_2$、中心化质心 $\mu_{\text{acc}}^{\ell}, \mu_{\text{ref}}^{\ell}$ 以及纯色背景均值 $\mu_{\text{neu}}^{\ell}$。在解码生成阶段，由于首个生成 token 的隐状态对后续整段文本的生成轨迹具有决定性导向作用，MARS 仅对解码器的第 1 个 token 施加引导更新，后续自回归 token 均零开销正常推理。

实验关键数据¶

主实验¶

在图像安全评测基准 ViSU（55K 对安全/不安全图像描述任务）和越狱攻击基准 HADES（4.5K 视觉嵌入式越狱对抗样本）上，评估各主流 MLLM 模型的拒绝率（Refusal Rate %）及安全得分（Safety %）：

模型	方法	ViSU 安全图像拒绝率(↓)	ViSU 不安全图像拒绝率(↑)	HADES 越狱拒绝率(↑)	HADES 安全得分(↑)
Gemma3 4B	Zero-shot	0.1	18.2	17.9	37.4
Gemma3 4B	ECSO	0.1	17.7	17.9	35.2
Gemma3 4B	AdaSteer	0.1	18.7	11.4	32.9
Gemma3 4B	MARS (本文)	1.3	43.3	59.2	82.1
Gemma3 4B	SASA (有监督上界)	71.1	90.0	100.0	100.0
Molmo2 8B	Zero-shot	0.1	0.2	17.2	41.0
Molmo2 8B	AdaSteer	0.1	0.2	29.7	51.6
Molmo2 8B	MARS (本文)	7.3	68.1	95.8	97.6
Molmo2 8B	AutoSteer (多模态监督)	40.6	64.5	94.2	96.6
Qwen3-VL 8B	Zero-shot	0.1	14.2	62.0	92.0
Qwen3-VL 8B	AdaSteer	0.1	18.6	77.8	98.5
Qwen3-VL 8B	MARS (本文)	2.2	78.5	98.3	99.6
Qwen3-VL 8B	SASA (多模态监督)	2.5	20.1	100.0	100.0

在视频越狱基准 VideoSafetyBench（有害视频 + 诱导提示词）评测中，MARS 表现出优异的跨时空模态泛化能力：Qwen3-VL 拒绝率从 Zero-shot 的 28.8% 飙升至 88.2%（相对提升 3.0 倍，超过强监督基线 SASA 的 40.3%）；Qwen3.5 拒绝率从 26.2% 提升至 78.2%（相对提升 3.0 倍）；Molmo2 达到 67.8%（相对提升 2.4 倍）。

消融实验¶

在 ViSU 安全/不安全拒绝率与通用能力基准 MMMUPro 准确率上验证各核心组件的有效性：

模型	配置	安全拒绝率(%, ↓)	不安全拒绝率(%, ↑)	MMMUPro 准确率(%, ↑)	说明
Gemma3 4B	完整 MARS	1.3	43.3	26.6	完整机制保持最佳权衡
Gemma3 4B	w/o 层级选择（全层干预）	1.1	0.8	17.4	全层无差别引导致使特征崩溃与性能雪崩
Gemma3 4B	w/o 图像中心化	1.5	44.1	17.2	缺乏模态校准致使实用能力大幅下滑
Gemma3 4B	w/o 单侧 ReLU 门控	1.3	43.7	24.9	双向引导破坏安全上下文隐状态
Molmo2 8B	完整 MARS	7.3	68.1	34.8	保持与 Zero-shot(34.8%) 完全一致的通用能力
Molmo2 8B	w/o 图像中心化	99.2	97.1	30.1	严重模态偏差引发灾难性过度拒绝（99.2%）
InternVL 3.5	完整 MARS	10.3	70.4	36.5	效用无损（Zero-shot 为 36.5%）
InternVL 3.5	w/o 层级选择	12.2	75.5	18.0	效用腰斩（36.5% → 18.0%）
InternVL 3.5	w/o 图像中心化	80.5	80.8	33.8	安全样本过度拒绝飙升至 80.5%

关键发现¶

模态中心化是跨模态迁移的绝对核心：在 Molmo2 上，若移除中性图像中心化，安全样本的拒绝率从 7.3% 暴增至 99.2%，模型退化为“无差别拒绝一切”；在 InternVL 3.5 上安全过度拒绝亦高达 80.5%。这直接证实了视觉模态投射中存在与拒绝方向天然重叠的虚假几何偏置，中心化操作成功消除了该伪偏差。
全层无差别引导会导致表征崩塌：去掉层级选择（即像早期纯文本工作一样对全部层进行干预）会导致多模态表征被严重摧毁，InternVL 3.5 的 MMMUPro 准确率从 36.5% 暴跌至 18.0%，Gemma3 不安全拒绝率坍塌为 0.8%。通过无监督三维指标挑选出的单层干预足以建立坚固防御。
优越的实用效用保持率：有监督分类替换方案 SASA 虽然拒绝率极高，但伴随着严重误伤，导致 InternVL 3.5 在 MMMU 上的得分下降超 10 个百分点；而 MARS 在 Gemma3、Molmo2、InternVL 3.5 及 Qwen3-VL 上几乎完美保持了基座模型的原始多模态理解与逻辑推理精度。

亮点与洞察¶

无需多模态有害样本的免对齐范式：首次严格论证了纯语言模型后训练中沉淀的潜在安全结构具有跨模态通用性，绕开了多模态领域采集合规敏感图像/视频的法律与伦理高墙。
极简而优雅的纯色图像白平衡偏置校正：通过无语义的随机颜色方块估计视觉先验中心 $\mu_{\text{neu}}^{\ell}$，巧妙剥离了多模态投影层带来的共性模态偏差，实现了类似图像处理中“白平衡”式的几何平移。
基于质心距离的几何信任域（Trust Region）：摒弃了暴力放大系数的经验调参，利用文本安全与不安全两极锚点的最近欧氏距离动态约束干预上限，保证了潜空间偏移不溢出预训练分布流形。

局限与展望¶

依赖文本基座的基础对齐成熟度：MARS 能够生效的前提是底座 LLM 已经建立起成型的文本拒绝向量结构；若对于未经充分安全对齐的基座模型（如原版早期 LLaVA 1.5），该内部表征信号偏弱，引导效果将受限。
线性平移假设的理论边界：中心化操作基于模态偏差主要表现为全局线性平移的假设；在更深或更具强非线性的跨模态交叉注意力空间中，复杂非线性几何畸变可能需要更精细的流形校正。
轻微残余的过度拒绝现象：在个别模型（如 InternVL 3.5，安全拒绝率约 10%）上仍存在轻微的误伤，如何在零多模态数据前提下进一步压缩假阳性率是后续值得探索的方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示并成功实践了纯文本拒绝方向向图像与视频等复合模态的直接零样本安全迁移。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 5 种前沿主流 MLLM 架构、7 个涵盖图像描述、跨模态交互、越狱攻击、视频安全与通用效用的基准评测。
写作质量: ⭐⭐⭐⭐⭐ 论证脉络极度严密，从几何空间失效机理剖析到针对性数学设计层层递进，消融详尽。
价值: ⭐⭐⭐⭐⭐ 为大模型开源社区在避免触碰有害多模态数据红线的前提下实现轻量、即插即用安全对齐提供了全新范式。