Attention Misses Visual Risk: Risk-Adaptive Steering for Multimodal Safety Alignment¶

会议: ECCV 2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4363
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/5585.pdf
代码: https://github.com/snumprlab/moras
领域: 安全
关键词: 多模态安全、视觉注意力、风险评估、激活引导、推理时对齐

一句话总结¶

MoRAS 用简短图像描述改善多模态风险识别，再依据风险分数对原始请求的早期响应激活施加拒绝引导，在 LLaVA-1.5-7B 上将 MM-Safety 的攻击成功率从 40.1% 降至 2.6%，同时保持表中通用任务总分。

研究背景与动机¶

多模态大语言模型继承了语言模型的文本安全对齐，但这不意味着图像中的安全相关信息也能被正确利用。当一条请求的含义取决于配图时，模型必须把文字意图与对应视觉区域联系起来，才能判断应正常回答还是拒绝。本文关注的不是模型完全看不懂图像，而是原始请求对安全相关区域的注意力不足，导致不同风险图像产生难以区分的表示。作者通过注意力图和表示可分性分析支持这一判断，但这些分析不应被扩大为所有多模态安全失效的唯一原因。

现有推理时防御各有代价：安全提示可能连正常问题也一起推向拒绝，先生成完整回答再审查和修改则增加时延。已有激活引导方法还可能依赖较大的校准集、针对模型搜索引导强度，或者在校准分布以外表现不稳定。本文把这些问题联系起来：如果能够先得到较可靠的请求级风险信号，就不必让每个请求都承受同样强的安全干预。关键是让用于风险识别的增强提示发挥作用，却不让它直接污染最终回答的正常能力。

为此，作者先将图像中的关键信息简要文字化，并保留图像本身，使模型更容易把请求和视觉证据对应起来。随后只观察增强请求的少量起始响应分布，把它转化为连续风险分数，再回到未经增强的原始请求生成答案。 核心 idea：将“强化视觉证据以判断风险”和“依据风险调整最终回答”分开，前者使用增强请求，后者只对原始请求施加自适应、局部的拒绝引导。

方法详解¶

整体框架¶

多模态风险自适应引导（Multimodal Risk-Adaptive Steering，MoRAS）的输入是一张图像与文本请求，输出仍是一段模型回答。基础多模态模型保持冻结，不通过监督微调或强化学习修改权重。部署前准备少量拒绝行为原型与相似度校准统计；部署时依次执行视觉感知请求重构、指数加权风险评估、缩放激活引导。

视觉感知请求重构让同一个模型先生成简短视觉上下文，再将它和安全提示加入原始图文请求。指数加权风险评估只分析增强请求最初几个响应位置的概率分布，而不是等待完整回答并进行反复改写。缩放激活引导随后重新从原始请求开始生成，根据风险分数决定将早期隐藏状态拉向拒绝原型的程度。因此，MoRAS 并非没有额外模型计算，而是用简短图像描述和短响应探测替代完整回答后的迭代修订。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始图像与请求"] --> B["视觉感知请求重构"]
    B --> C["指数加权风险评估"]
    P["预先准备的原型<br/>与校准统计"] --> C
    C -->|"连续风险分数"| D["缩放激活引导"]
    A -->|"从原始请求重新生成"| D
    P --> D
    D --> E["正常回答或安全拒绝"]

关键设计¶

1. 视觉感知请求重构：用文字线索帮助模型关注相关视觉证据

只有安全提示时，模型知道要谨慎，却未必知道图像中哪些内容与当前请求的安全性相关。 MoRAS 先使用冻结模型生成简短图像描述，再把描述、安全提示、原始文字和图像一起组成增强请求。图像描述的作用不是给请求贴上安全标签，而是提供可被语言侧注意力利用的视觉线索。这样，安全提示才有机会建立在具体视觉证据之上，而不只是普遍提高拒绝倾向。这一步是风险评估的输入重构，不是删除图像后只做纯文本判断。

作者在第 3.1—3.2 节固定文字请求、改变配图，比较不同重构方式的跨模态注意力和表示可分性。使用的 Fisher 判别比（FDR）衡量两组表示的均值差相对于组内协方差的分离程度，数值较高意味着安全与不安全请求更容易区分。它基于决定首个响应词元的最后输入词元激活，属于机制分析指标，不是推理时额外训练的分类器。图 3—4 显示，仅增加安全提示的改善有限，而增加视觉上下文后，安全提示才能进一步提高可分性。删除图像又会使可分性下降，说明简短描述与图像提供互补信息，并非无损替代关系。本地文本对 FDR 公式的矩阵符号抽取不完整，因此这里仅解释其定义和用途，不重建该公式，也不从曲线估读精确数值。

2. 指数加权风险评估：把增强请求的拒绝倾向转换为连续控制信号

增强请求虽然更容易识别风险，但若直接用它回答，安全提示仍可能造成过度拒绝。 MoRAS 因而不直接交付这一分支的输出，而是测量其响应分布与典型拒绝行为有多相似。部署前，作者用一小组不安全文本请求触发模型已有的拒绝行为，收集最初若干响应位置的最后层激活。在每个响应位置分别取这些激活的均值，得到位置相关原型；原文称其为 unsafe prototype，但它代表的是对不安全请求的拒绝响应，而不是有害回答。主文报告构造原型使用 50 个样本，原型请求来源与替代来源的比较放在补充材料，本笔记不复述任何风险请求内容。

对一个待评估请求，模型在增强输入下生成最初 \(N\) 个响应词元，并把相应激活经语言模型头和 softmax 转成词表概率分布。原型激活经过同一个输出头，得到逐位置的参考分布。两侧都按响应位置赋予权重 \(\gamma^{n-1}\)，先求加权分布和，再计算两者的余弦相似度 \(S\)。这里比较的不是已生成句子的文本相似度，也不是直接比较隐藏向量，而是概率分布的相似度。指数衰减使早期词元贡献更大，因为作者利用的是拒绝行为经常在响应开头出现的现象。主文实际效率讨论采用最初 3 个响应词元；这不是要求生成完整的安全审查解释。

校准集提供一个基准相似度 \(S_b\)，定义为校准样本相似度的均值。作者使用与 AutoSteer 相同校准来源的随机子集，并报告用 100 个样本估计该基准。随后将相似度通过以 \(S_b\) 为中心的 sigmoid 映射为风险分数：

\[ r(S)=\sigma\!\left(\alpha(S-S_b)\right). \]

其中 \(\alpha>0\) 控制映射陡峭程度，主文说明其归一化目的，但没有在正文给出完整选取细节。高于基准的相似度对应较强拒绝倾向和较大的风险信号，低于基准则对应较小干预。该分数是用于控制引导强度的代理量，不能视为具有概率校准保证的真实危害概率。上述 sigmoid 的减号与括号可由算法 1 核对；不对抽取损坏处进行无来源的公式补写。

3. 缩放激活引导：只把原始请求拉向必要程度的拒绝响应

得到风险信号之后，MoRAS 丢开增强分支的输出，从原始图像和文本请求重新开始生成。对于每个受干预的响应位置，引导方向是“该位置拒绝原型减去当前原始请求的激活”。这与固定使用安全、非安全两组均值之差的通用方向不同：方向随当前请求的状态而变化，目标仍是相同位置的拒绝原型。风险分数决定沿这个方向移动多少，而不是对所有请求使用相同幅度。

\[ \widetilde h^{n}=h^{n}+r(S)\left(\mu_p^{n}-h^{n}\right),\qquad n\leq N. \]

这里 \(h^n\) 是原始请求分支的最后层激活，\(\mu_p^n\) 是同一响应位置的原型。该式将正文式 5—6 合并表达，其运算符可由算法 1 第 22—23 行核对。风险接近零时几乎保留原状态，风险接近一时则更接近拒绝原型，中间值实现连续插值。模型从修改后的激活计算下一词元分布，再继续自回归生成，而不是事后替换回答文本。主文只对最后层以及前 \(N\) 个响应位置应用该操作，后续位置恢复正常生成。因此干预范围受限，且正常请求不必永久携带额外安全提示，这是降低通用能力损失的关键。

损失函数 / 训练策略¶

MoRAS 没有新增训练损失，也不更新基础模型参数；“推理时方法”不等于“无需任何部署前准备”。部署准备包括原型均值估计与风险基准校准，二者承担不同角色，不能混成同一组训练数据。原型决定拒绝响应的目标状态，校准统计则决定当前相似度应该对应多强的干预。请求重构的描述生成、短响应风险评估、最终原始请求生成是不同计算步骤，不能把它描述成一次普通前向即可完成的防御。具体提示模板、衰减系数和其他实现参数被作者放在补充材料；本地缓存只有主文与参考文献，未核实这些细节。

实验关键数据¶

主实验¶

表 1 以下摘选均为 LLaVA-1.5-7B 同一骨干的结果。 ASR 为评测请求中被 MD-Judge-v0.2-Internlm2 判为成功诱发不安全响应的比例，越低越好；MM-Vet 为官方总分，越高越好。 SPA-VL、FigStep、MM-Safety 和 VAA 是不同安全测试集，列间难度不同，不能直接把数值高低当作同一种风险强度。主文未逐项列出测试切分和样本数，而是指向补充材料第 3 节，因此这里不把它们擅称为全量测试集。

方法	SPA-VL ASR ↓（%）	MM-Safety ASR ↓（%）	VAA ASR ↓（%）	MM-Vet 总分 ↑
未加防御	47.2	40.1	43.1	30.5
ETA	17.0	15.8	12.1	30.4
AutoSteer	8.3	37.6	19.8	29.3
MoRAS	7.6	2.6	14.3	30.5

MoRAS 在 MM-Safety 上相对未加防御下降 37.5 个百分点，相对 ETA 下降 13.2 个百分点；这不是相对百分比下降。它在 VAA 上并非最优，14.3% 高于 ETA 的 12.1%，不能概括为每个测试集都领先。同表中的 FigStep ASR 从 59.3% 降至 2.8%；GQA 和 Sci-QA 分数分别维持 61.9 和 69.5。这些比较说明所选骨干的表中总分得以保持，不等于每个样本、子能力或所有模型都完全没有损失。

消融实验¶

表 2 使用 LLaVA-1.5-7B，比较直接用重构请求回答和完整 MoRAS；MM-Vet Total 是论文所述的任务分数加权总分。这是主文实际报告的组合消融，不是分别移除风险评估与激活引导的独立实验。

配置	SPA-VL ASR ↓（%）	MM-Safety ASR ↓（%）	MM-Vet Total ↑	MM-Vet 数学 ↑
未加防御	47.2	40.1	30.5	11.5
仅视觉感知请求重构	7.1	3.5	28.6	7.7
完整三阶段 MoRAS	7.6	2.6	30.5	11.5

仅重构请求已大幅降低安全测试的 ASR，但 MM-Vet 总分损失 1.9 分。完整方案恢复这 1.9 分，并改善 MM-Safety；另一方面 SPA-VL 从 7.1% 小幅升至 7.6%，说明新增阶段不是让所有安全数字单调改善。表 2 中不同子能力有升有降，因此更准确的结论是恢复总分，而不是逐项无损。

关键发现¶

最有解释力的是风险识别和最终回答解耦：第一阶段已经识别出大量风险，后两阶段主要避免将增强提示的拒绝偏置无差别施加给正常问题。
跨骨干结果也并非零代价。表 1 中 LLaVA-OneVision-7B 的 MM-Vet 从 52.8 变为 50.8，说明“保持效用”应理解为总体相近，而非普遍严格相等。
第 4.2 节报告 50 个原型样本、100 个基准校准样本及前 3 个响应词元的设计；额外描述生成仍有成本，不能宣传成零开销。
具体吞吐分解、超参数敏感性和各阶段更细消融在补充材料中；本笔记不从抽取不清的图 7 猜测吞吐坐标或推广速度倍数。

亮点与洞察¶

风险评估不必直接变成最终回答。 增强输入可以作为内部诊断视角，再用较弱的控制信号影响原始输入分支，从而减少安全提示对正常任务的持续干扰。
文字化视觉信息不是抛弃视觉。 图像描述帮助模型定位相关证据，而保留图像提供描述未覆盖的信息；作者的有图、无图比较支持这一点。
自适应强度与请求相关方向结合。 风险分数控制移动幅度，当前位置到拒绝原型的差控制方向，避免把所有输入强行推过同样的距离。

局限与展望¶

作者明确承认： 方法没有完全消除安全漏洞，仍需要后续安全评估与风险缓解；本文不能被当作部署安全保证。
读者判断： 风险信号依赖基础模型的图像描述和已有拒绝行为，两者若在新领域失准，后续引导也可能使用错误信号；主文没有提供覆盖所有分布变化的保证。
读者判断： 需要读取并修改内部激活，不能原样应用于只开放文本输入输出的封闭接口；短前缀控制也不构成对完整长回答安全性的形式证明。
证据边界： 自动判分器、精确切分、补充材料中的过度拒绝测试和参数敏感性均影响结论强度；主文表格没有给出置信区间，本地未见补充材料，不能核实统计显著性或完整复现配置。

评分¶

新颖性：4/5。将视觉注意力分析与风险自适应激活干预连成清晰方法，但原型和引导本身有已有工作基础。
实验充分度：3.5/5。主文覆盖多骨干、安全测试和效用，细分消融及复现细节依赖未缓存的补充材料。
写作质量：4/5。动机、三阶段机制和组合消融相互呼应，公式阅读受本地文本抽取损坏影响。
价值：4/5。提供具有实际部署意义的防御思路，仍需独立评测其分布外可靠性和误拒绝代价。