Mitigating Saliency Collapse: Robust Saliency-Aware Long-Text Image-Text Alignment¶

会议: NeurIPS 2026
arXiv: 2610.31005
论文: https://arxiv.org/abs/2610.31005
代码: https://github.com/intelligolabs/RoSA
领域: 多模态VLM
关键词: 长文本图文对齐, 显著性崩塌, 视觉显著性, 互补视图分解, 即插即用微调

一句话总结¶

针对长文本图文对齐中模型过度依赖显著前景描述而忽视上下文导致的“显著性崩塌”缺陷，本文提出 RoSA 框架，通过模态独立的显著/上下文互补视图解耦与辅助对齐目标，在不增加推理成本的前提下显著提升了检索表现与显著性缺失下的鲁棒性。

研究背景与动机¶

长文本图文对齐（Long-Text Vision-Language Alignment）是实现细粒度复杂场景理解的核心基础。随着 DOCCI 和 ShareGPT4V 等高密度描述数据集的涌现，传统 CLIP 受到 77-token 序列长度限制的问题备受关注。近期的主流改进工作（如 Long-CLIP、GOAL、StructXLIP 等）主要将精力集中于扩展上下文窗口长度、引入局部空间细粒度对应或注入结构化先验。然而，这些方法普遍沿袭全局图文对比学习范式，将整篇冗长描述视为均一的监督信号，忽略了人类观察视觉场景时天然存在的注意力侧重与非均匀感知特性。

在长文本检索中，不同用户观察同一复杂场景时选取的描述视角差异巨大：有的聚焦于视觉显著的主体目标，有的则侧重背景环境与伴随细节。深入实证分析揭示了一个长期被忽视的关键失效模式——显著性崩塌（Saliency Collapse）：主流对齐模型在训练过程中严重依赖信息密度高、视觉突出的显著文本作为检索捷径（shortcut），而未能有效表征丰富且非显著的上下文语境。当查询文本中的显著线索被渐进式削弱甚至完全移除时，模型的文本到图像检索召回率（R@1）呈现出断崖式崩塌，其性能衰减速度显著快于等长随机文本移除的对照组；但独立文本编码器 oracle 证实非显著上下文本身具备高度的信息判别力。

这一失效模式的根源在于全局对比优化使显著实体与背景上下文高度缠绕，导致非显著语义特征表征严重欠拟合。若要构建真正稳健的长文本图文模型，必须打破对均一全局监督的依赖，让表征空间兼具对视觉显著特征与互补上下文细节的平衡建模能力。核心 idea：通过模态独立的解耦策略将图文对拆分为互补的显著视图与上下文视图，在微调阶段引入显著对比、上下文保留对比以及视觉锚定三重辅助目标，联合对齐显著特征与背景细节以根除显著性崩塌。

方法详解¶

整体框架¶

RoSA（Robust Saliency-aware Alignment）采用解耦-对齐的两阶段微调架构，在保持标准推理零额外开销的前提下强化表征质量。整个系统由两个核心阶段组成：第一阶段为显著性引导的模态独立解耦（Saliency-Guided View Decomposition），在完全不引入跨模态早期耦合假设的前提下，分别利用无监督目标显著性检测器和大型语言模型将原始图像与长文本分解为互补的显著对与上下文对；第二阶段为显著性感知多目标联合微调（Saliency-Aware Alignment），在保留全图-全文本原始对比损失 $\mathcal{L}_{\mathrm{ori}}$ 的同时，注入显著性对比损失 $\mathcal{L}_{\mathrm{sal}}$、上下文保留对比损失 $\mathcal{L}_{\mathrm{ctx}}$ 以及防止表征漂移的视觉锚定损失 $\mathcal{L}_{\mathrm{anc}}$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始图文对输入<br/>(I_i, T_i)"] --> B["模态独立互补视图分解<br/>FASA 视觉掩膜 + LLM 文本解耦"]
    B --> C1["显著视图分支<br/>(I_i^s, T_i^s)"]
    B --> C2["上下文视图分支<br/>(I_i^c, T_i^c)"]
    B --> C3["原始全局分支<br/>(I_i, T_i)"]
    C1 --> D1["显著性聚焦对比对齐<br/>强化主体细粒度图文匹配"]
    C2 --> D2["上下文保留对比对齐<br/>挖掘非显著背景判别表征"]
    C1 & C3 --> D3["视觉表征一致性锚定<br/>约束 I_i 与 I_i^s 相似度防漂移"]
    C3 --> D4["原始全局对比对齐<br/>保留全局全尺度语义建模"]
    D1 & D2 & D3 & D4 --> E["联合多任务损失优化<br/>L_total 反向传播微调权重"]

关键设计¶

1. 模态独立的显著/上下文互补视图分解：解耦视觉-语言异构感知粒度
长文本描述通常同时覆盖主体目标、空间关系与背景细节，直接端到端对比会诱导模型优先匹配最显著的高频名词。为了打破这种单向依赖，首先需要对多模态输入实施精准分解。视觉显著性由底层感知与高层语义共同驱动，而自然语言主要承载高层概念，二者在“目标级别显著性”（Object-Level Saliency）上具有高度契合的交集。RoSA 避免采用跨模态生成模型（如利用 VLM 描述切片或根据文字定位框），因为跨模态预对齐会在训练前引入先验偏置和拟合捷径。视觉侧采用开箱即用的快速显著目标检测算法 FASA 生成显著性热力图并二值化为掩膜 $M_i$，得到保留视觉突出主体的显著图像 $I_i^s = \mathcal{M}(I_i, M_i)$ 以及 complementary 补集区域构成的上下文图像 $I_i^c = \mathcal{C}(I_i, M_i)$；文本侧则通过冻结参数的 LLM（Qwen2.5），在严格受限的提示词约束下将原始长文本 $T_i$ 划分为主体显著文本 $T_i^s$ 与背景上下文文本 $T_i^c$，严禁模型重写或外插虚假事实。解耦过程完全在离线预处理阶段完成，生成的视图满足严格互补性与信息守恒。

2. 双分支显著与上下文互补对比学习：重构特征利用的均衡性
获得互补对之后，为了迫使多模态编码器在显著特征与非显著特征上建立等价的辨别能力，设计了双重辅助对比对齐机制。对于批大小为 $N$ 的样本，经由图像编码器 $f_{\mathtt{img}}$ 与文本编码器 $f_{\mathtt{txt}}$ 分别投射至归一化嵌入空间。显著分支计算显著图像嵌入 $\mathbf{v}_i^s$ 与显著文本嵌入 $\mathbf{u}_i^s$ 的配对相似度 $s_{i,j}^s$，构建显著性聚焦对比损失： $$\mathcal{L}_{\mathrm{sal}}=\frac{1}{2N}\sum_{i=1}^{N}\left[-\log\frac{\exp(s^{s}_{i,i}/\tau)}{\sum_{j=1}^{N}\exp(s^{s}_{i,j}/\tau)}-\log\frac{\exp(s^{s}_{i,i}/\tau)}{\sum_{j=1}^{N}\exp(s^{s}_{j,i}/\tau)}\right]$$ 该目标负责强化主体语义的细粒度锚定。更关键的是上下文分支：上下文图像嵌入 $\mathbf{v}_i^c$ 与上下文文本嵌入 $\mathbf{u}_i^c$ 计算上下文相似度 $s_{i,j}^c$，构建上下文保留对比损失 $\mathcal{L}_{\mathrm{ctx}}$： $$\mathcal{L}_{\mathrm{ctx}}=\frac{1}{2N}\sum_{i=1}^{N}\left[-\log\frac{\exp(s^{c}_{i,i}/\tau)}{\sum_{j=1}^{N}\exp(s^{c}_{i,j}/\tau)}-\log\frac{\exp(s^{c}_{i,i}/\tau)}{\sum_{j=1}^{N}\exp(s^{c}_{j,i}/\tau)}\right]$$ $\mathcal{L}_{\mathrm{ctx}}$ 明确消除了视觉突出目标的干扰，强迫编码器在以往被忽视的环境色彩、材质、周围物体与背景拓扑描述中提取有效表征，直接阻断了模型对显著特征捷径的过度依赖。

3. 单向视觉表征锚定约束：防御解耦辅助任务导致的表征漂移
由于下游真实评估与检索推理完全基于原始未裁切图像 $I_i$ 进行，在微调过程中大量引入破坏整体构图的掩膜视图极易导致视觉编码器的基础嵌入空间发生偏移。直觉上，由于显著视图 $I_i^s$ 保留了图像最核心的视觉主体，其全局表征应当与原始全图 $I_i$ 在嵌入流形上保持高度一致；而上下文视图 $I_i^c$ 往往呈现离散空洞状，若强行约束上下文图与原图表征对齐反而会破坏上下文特征的专用辨别力。因此，RoSA 专门引入针对显著视图的单向余弦距离锚定损失： $$\mathcal{L}_{\mathrm{anc}}=\frac{1}{N}\sum_{i=1}^{N}\left(1-\frac{f_{\mathtt{img}}(I_{i})^{\top}f_{\mathtt{img}}(I^{s}_{i})}{\|f_{\mathtt{img}}(I_{i})\|_{2}\|f_{\mathtt{img}}(I^{s}_{i})\|_{2}}\right)$$ 该约束将显著特征的更新牢牢锚定在原始图像语义空间附近，避免辅助微调目标破坏全图语义的连贯性与跨模态预训练基准分布。

损失函数 / 训练策略¶

RoSA 的全局微调优化目标由原始全图-长文本对比损失与三大辅助目标线性加权构成： $$\mathcal{L}_{\mathrm{total}}=\mathcal{L}_{\mathrm{ori}}+\lambda_{\mathrm{sal}}\mathcal{L}_{\mathrm{sal}}+\lambda_{\mathrm{ctx}}\mathcal{L}_{\mathrm{ctx}}+\lambda_{\mathrm{anc}}\mathcal{L}_{\mathrm{anc}}$$ 网络采用标准 CLIP ViT-B/16 架构，文本端通过知识保留拉伸（KPS）算法将上下文窗口扩展至长文本规格。训练仅执行 10 个 epoch，输入图像分辨率统一为 $224\times 224$。所有显著掩膜与文本分解均在训练前一次性离线缓存，微调过程仅需分别前向编码对应视图，推理阶段彻底丢弃辅助分支与分解模块，完全遵循原生 CLIP 检索流，实现 0 推理额外参数与 0 延迟增量。

实验关键数据¶

主实验¶

在通用密集标注基准 DOCCI、DCI，细粒度服饰基准 Sketchy 以及生物形态基准 INSECT 上的跨模态图文检索性能对比如下表所示（提取自论文表 2）：

数据集	检索方向	指标	Long-CLIP [ECCV'24]	GOAL [CVPR'25]	StructXLIP [CVPR'26]	RoSA (本文)	相对最优提升 $\Delta$
DOCCI	$T \rightarrow I$	R@1 / R@5 / R@10	64.49 / 87.67 / 93.43	79.47 / 96.65 / 98.69	83.04 / 97.06 / 98.96	84.35 / 97.51 / 99.18	+1.31 / +0.45 / +0.22
DOCCI	$I \rightarrow T$	R@1 / R@5 / R@10	63.08 / 87.45 / 93.14	79.43 / 96.14 / 97.25	81.59 / 96.94 / 98.78	82.18 / 97.14 / 98.94	+0.59 / +0.20 / +0.16
SKETCHY	$T \rightarrow I$	R@1 / R@5 / R@10	54.32 / 80.14 / 88.43	63.21 / 87.13 / 93.44	69.86 / 90.85 / 95.42	71.50 / 92.31 / 95.85	+1.64 / +1.46 / +0.43
SKETCHY	$I \rightarrow T$	R@1 / R@5 / R@10	52.76 / 80.31 / 88.08	62.44 / 87.82 / 92.31	68.22 / 90.67 / 95.68	71.50 / 91.62 / 95.85	+3.28 / +0.95 / +0.17
DCI	$T \rightarrow I$	R@1 / R@5 / R@10	59.23 / 80.89 / 87.04	72.64 / 89.89 / 93.70	75.90 / 90.00 / 95.15	77.09 / 90.55 / 94.25	+1.19 / +0.55 / -0.90
DCI	$I \rightarrow T$	R@1 / R@5 / R@10	60.13 / 81.44 / 87.54	72.84 / 90.50 / 93.20	74.39 / 89.90 / 94.30	74.99 / 90.55 / 94.20	+0.60 / +0.65 / -0.10
INSECT	$T \rightarrow I$	R@1 / R@5 / R@10	8.20 / 23.83 / 34.97	8.81 / 24.35 / 35.84	9.93 / 26.60 / 38.34	10.36 / 28.32 / 40.67	+0.43 / +1.72 / +2.33
INSECT	$I \rightarrow T$	R@1 / R@5 / R@10	9.41 / 24.78 / 37.31	8.55 / 25.91 / 36.18	9.50 / 26.60 / 39.64	9.84 / 29.36 / 40.41	+0.34 / +2.76 / +0.77

显著性缺失下的鲁棒性消融与分析¶

在不同显著信息削减比例下的 $T \rightarrow I$ 检索召回率对比表（提取自论文表 4）：

数据集	查询条件设置	Long-CLIP R@1	GOAL R@1	StructXLIP R@1	RoSA (本文) R@1	本文相对最优提升 $\Delta$ R@1
DOCCI	Salient-only (纯显著文本)	61.54	66.84	67.22	68.03	+0.81
DOCCI	Salient50%+Context (混合文本)	58.87	68.60	69.31	74.44	+5.13
DOCCI	Context-only (仅非显著上下文)	23.96	30.28	30.96	42.00	+11.04
DCI	Salient-only (纯显著文本)	51.64	60.88	61.97	62.26	+0.29
DCI	Salient50%+Context (混合文本)	54.01	67.55	70.65	72.01	+1.36
DCI	Context-only (仅非显著上下文)	24.64	32.08	34.28	37.56	+3.28
INSECT	Salient-only (纯显著文本)	6.55	7.09	8.16	8.16	0.00
INSECT	Salient50%+Context (混合文本)	4.30	7.09	8.56	9.10	+0.54
INSECT	Context-only (仅非显著上下文)	3.11	3.76	4.08	4.88	+0.80

辅助目标消融实验（DOCCI 与 INSECT，提取自论文表 5）： - 仅保留基线 $\mathcal{L}_{\mathrm{ori}}$：DOCCI 全图 $T \rightarrow I$ R@1 为 81.18%，在 Context-only 下骤降至 29.04%。 - 仅引入 $\mathcal{L}_{\mathrm{sal}}$：DOCCI 全图 R@1 增至 82.27%，Context-only 微幅提升至 32.79%。 - 仅引入 $\mathcal{L}_{\mathrm{ctx}}$：DOCCI 全图 R@1 为 82.88%，而在 Context-only 下飙升至 43.62%（提升 +14.58%），证明上下文对比损失是挽救非显著检索崩溃的关键。 - 联合 $\mathcal{L}_{\mathrm{sal}} + \mathcal{L}_{\mathrm{ctx}} + \mathcal{L}_{\mathrm{anc}}$（完整 RoSA）：DOCCI 全图检索达到最优的 84.35%，Context-only 维持在 42.00% 的极高水准，且在 INSECT 上全图 R@1 达到 10.36%、R@10 达到 40.67%。

关键发现¶

显著性依赖具有普遍性与脆弱性：现有模型即使在长文本全监督下训练，依然极易落入“显著捷径”中；当查询只剩非显著描述时，传统模型召回率暴跌超过 50%，而 RoSA 将 DOCCI 上的 Context-only R@1 从 30.96% 强力拉升到 42.00%（+11.04% 绝对增益）。
即插即用性与通用兼容性：将 RoSA 的辅助目标接入 LoRA、DoRA、SigLIP2 及现役长文本对齐方案中，均带来一致提升。在 DOCCI 上为 SigLIP2 带来高达 +8.32% 的 R@1 增益，在 INSECT 上为 DoRA 带来 +7.08% 的 R@10 提升。
锚定方式选择决定表征稳定性：消融表明将视觉锚定单纯作用于显著视图最优；若强行锚定上下文视图或双向锚定，会导致相互竞争的流形约束，反而使检索指标下降 1-2%。

亮点与洞察¶

切中长文本盲区并形式化“显著性崩塌”概念：首次指出并实证长文本中“信息密度不均”导致的捷径学习问题，利用多维度长度控制与混杂因子排除，证明了非显著上下文被现有 VLM 严重浪费的现状。
巧妙的模态独立解耦范式：不盲目依赖跨模态端到端大模型生成切片，而是借力经典无监督目标显著性算法与纯语言模型各自的优势，以物理目标作为跨模态的天然锚点，彻底杜绝了早期跨模态耦合带来的虚假捷径。
零推理代价的优雅工程设计：解耦操作和复杂辅助分支全部局限在离线预处理和前向训练阶段，最终落盘模型无需改变网络拓扑与推理逻辑，任何标准 CLIP 检索管道均可无缝直接部署。

局限与展望¶

预处理阶段计算与扩展开销：依赖外部大型语言模型（Qwen2.5 等）对密集文本进行两段式拆解，超大规模数据集（如千万级网络爬取语料）的离线预处理耗时与 API 成本较为显著。
显著性假设的简化性：目前依靠离散的目标级显著性二值掩膜对图像进行硬切分，尚无法完整模拟人类视觉皮层动态注视点转移、多焦点扫描以及连续概率密度的视觉注意机制。
未来方向：探索可微分的端到端软显著性门控架构，或利用轻量小模型替代离线大语言模型进行动态序列分块，进一步拓宽至视频长时序上下文图文检索任务。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示并严格量化长文本图文对齐中的“显著性崩塌”现象，提出模态独立的互补解耦学习方案。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大长文本公开基准、实体/长度/TF-IDF 等严格控制消融、人类眼动一致性标注验证及病理跨域探索。
写作质量: ⭐⭐⭐⭐⭐ 逻辑线索清晰严密，从现象发现、机理反思到方法设计层层递进，实验图表极其详实。
价值: ⭐⭐⭐⭐⭐ 兼具深刻的认知可解释性启发与工程实用性，即插即用的微调损失可直接赋能下游图文检索引擎。

数据集	检索方向	指标	Long-CLIP [ECCV'24]	GOAL [CVPR'25]	StructXLIP [CVPR'26]	RoSA (本文)	相对最优提升 \(\Delta\)
DOCCI	\(T \rightarrow I\)	R@1 / R@5 / R@10	64.49 / 87.67 / 93.43	79.47 / 96.65 / 98.69	83.04 / 97.06 / 98.96	84.35 / 97.51 / 99.18	+1.31 / +0.45 / +0.22
DOCCI	\(I \rightarrow T\)	R@1 / R@5 / R@10	63.08 / 87.45 / 93.14	79.43 / 96.14 / 97.25	81.59 / 96.94 / 98.78	82.18 / 97.14 / 98.94	+0.59 / +0.20 / +0.16
SKETCHY	\(T \rightarrow I\)	R@1 / R@5 / R@10	54.32 / 80.14 / 88.43	63.21 / 87.13 / 93.44	69.86 / 90.85 / 95.42	71.50 / 92.31 / 95.85	+1.64 / +1.46 / +0.43
SKETCHY	\(I \rightarrow T\)	R@1 / R@5 / R@10	52.76 / 80.31 / 88.08	62.44 / 87.82 / 92.31	68.22 / 90.67 / 95.68	71.50 / 91.62 / 95.85	+3.28 / +0.95 / +0.17
DCI	\(T \rightarrow I\)	R@1 / R@5 / R@10	59.23 / 80.89 / 87.04	72.64 / 89.89 / 93.70	75.90 / 90.00 / 95.15	77.09 / 90.55 / 94.25	+1.19 / +0.55 / -0.90
DCI	\(I \rightarrow T\)	R@1 / R@5 / R@10	60.13 / 81.44 / 87.54	72.84 / 90.50 / 93.20	74.39 / 89.90 / 94.30	74.99 / 90.55 / 94.20	+0.60 / +0.65 / -0.10
INSECT	\(T \rightarrow I\)	R@1 / R@5 / R@10	8.20 / 23.83 / 34.97	8.81 / 24.35 / 35.84	9.93 / 26.60 / 38.34	10.36 / 28.32 / 40.67	+0.43 / +1.72 / +2.33
INSECT	\(I \rightarrow T\)	R@1 / R@5 / R@10	9.41 / 24.78 / 37.31	8.55 / 25.91 / 36.18	9.50 / 26.60 / 39.64	9.84 / 29.36 / 40.41	+0.34 / +2.76 / +0.77