Blind to Position, Biased in Language: Probing Mid-Layer Representational Bias in Vision-Language Encoders for Zero-Shot Language-Grounded Spatial Understanding¶

会议: ECCV 2026
Paper: https://eccv.ecva.net/virtual/2026/poster/3141
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/33.pdf
代码: https://github.com/kaist-cvml/Biased2Grounded
领域: 可解释性
关键词: 中间层探测、空间敏感性、多语言表示偏移、零样本指代表达分割、视觉语言编码器

一句话总结¶

B2G 通过探测冻结视觉语言编码器的中间层，把位置敏感的视觉特征和跨语言更一致的文本特征重新用于区域排序，在多语言指代表达分割的九个基准上将平均 mIoU 从 42.42 提高到 49.62，但需要额外的多语言推理开销。

研究背景与动机¶

零样本指代表达分割（RIS）要根据一句描述，从图像中找出对应目标的像素掩码。现有方法通常先用 SAM 或 Mask2Former 生成候选，再由冻结的视觉语言编码器（VLE）计算各候选区域与句子的相似度。这把问题从训练一个分割器转化为选对已有掩码，但也让排序接口成为瓶颈：知道图里有鸟，并不等于知道描述指的是哪一只鸟。全局图文匹配很强的最终层表示，未必保留足够的位置区别；即使候选中存在正确目标，模型仍可能偏向背景或另一个同类物体。

多语言条件进一步暴露这个问题。图像和目标掩码保持不变，只把描述换一种语言，模型的选区结果就可能显著变化。论文关注的不是语言之间的社会刻板印象，而是同义文本在共享表示空间中的几何偏移，以及这种偏移如何扰乱跨模态打分。作者把 RIS 当成诊断窗口，追问空间线索和跨语言一致性究竟从来没有被学到，还是在最终层接口中变得难以使用。这种问题定位也决定了本文更适合归入可解释性：主要贡献是层级表示探测及其干预验证，而不是设计新的掩码生成网络。

本文发现，中间视觉层对图块排列更敏感，中间文本层的同义多语言表示也能比最终层更一致。因此，没有必要先重训整个编码器，而可以探测内部表示、选择合适层，再把它们接回原有排序过程。核心思路：把“模型内部是否保留信息”与“最终层是否提供可用接口”分开，通过中间层空间图和多语言质心注入，验证被最终层弱化的结构信息能否恢复实际定位能力。

方法详解¶

整体框架¶

Biased to Grounded（B2G）的输入是一幅图像、一条指代表达，以及现成分割器提供的候选掩码；多语言版本还使用表达同一意图的不同语言文本。输出仍是候选集合中的一个掩码，而不是由 B2G 直接生成的新分割结果。视觉侧通过层级探测构建空间图 P-Map，文本侧通过多语言质心注入获得更稳定的查询表示，最后用空间重排序选出目标。

原有的区域裁剪或掩蔽方式、候选生成器、编码器权重都保持不变。非多语言设置使用句子与局部名词上下文融合的 EConText；多语言设置将其替换为 EM-ConText，并同时用于 P-Map 与候选图文相似度计算。 CT 是上下文文本融合，TC 是利用 P-Map 的候选选择；实验中另有沿用先前方法的空间引导器 SG，不能把 SG 当成本文独立提出的探测机制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图像、描述与候选掩码"] --> B["视觉层探测与空间图"]
    A --> C["多语言质心注入"]
    C -->|稳定查询构建 P-Map| B
    B --> D["空间重排序"]
    C -->|稳定查询参与候选语义打分| D
    D --> E["选中的目标掩码"]

关键设计¶

1. 视觉层探测与空间图：先判断哪里保留位置区别，再读取目标响应

直接从最终层取图文相似度，很难判断错误来自“没有位置知识”还是“当前读出方式不合适”。作者将图像切成不重叠的图块，打乱排列后再次编码，再用逆置换把特征位置对回原图。对每一候选层，探测分数 Γ 是原图特征与对回位置后的打乱图特征之间、逐图块余弦相似度的平均值。 Γ 越大，表示局部内容虽换了周边排列，特征仍近似不变，即对空间布局依赖较弱；Γ 越小，表示对排列更敏感。这里的“敏感”是该控制扰动下的经验性质，不等于已经证明模型掌握了所有空间关系。

选层有固定中间层 B2Gfix、基于图块置换的 B2Gdyn-perm，以及基于聚类一致性的 B2Gdyn-clus 三种策略。主文发现动态选择主要落在中部层，三者准确率接近，但具体最佳层随骨干变化。固定版本因此可作为低成本方案；动态版本则避免假设每个编码器都在同一深度出现清晰的空间图。聚类一致性的精确定义与动态选层细节被放在未附于本地缓存的附录中，本笔记不补写未核实的规则。

拿到视觉层后，对图块特征应用模型相应的归一化和预训练投影，使其能够与文本表示比较，再计算逐图块余弦响应。关键问题是“反向可视化”：一些中间层的目标前景反而与查询方向负相关，高响应落在背景。 B2G 在归一化与共享投影前对图块特征取负，使前景响应转向更适合定位的方向；无图像到文本投影的 SigLIP 类模型使用对应的后置层归一化接口。这是一种由观察推动的确定性修正，而不是新增训练损失。缓存中该组公式有排版抽取损坏，尤其不能把包含层归一化的整个变换简单视为严格的余弦取负恒等式；以上按主文步骤说明，不重建损坏公式。

2. 多语言质心注入：在后续层继续放大语言差异之前融合语义

只把最终层的多语言向量平均，虽然可能减少噪声，却已经接受了最终层形成的语言相关几何偏移。 B2G 先把同一表达的多个语言版本编码到候选中间层，读取各版本句末标记 EOT 的隐状态。文本一致性分数 Φ 是这些语言版本之间所有无序对的余弦相似度平均值；选择 Φ 最大的层，而不是默认使用最后一层。这个探测没有使用图像真值或掩码监督，但依赖不同语言版本确实表达相同内容。

在选中的层，求各语言 EOT 隐状态的算术平均，作为多语言质心，再替换锚定语言的 EOT 隐状态。锚定语言就是原始查询的语言，不能预设永远是英语。随后让修改后的状态继续通过剩余文本层及最终投影，而非直接把中间层平均向量当成最终图文嵌入。因此它属于冻结模型的测试时表示干预：改变一次前向传播中的状态，不改变模型参数。

文本表示还融合全句上下文与局部名词短语上下文，使用权重 γ 控制两者贡献，形成 EM-ConText。这让图文匹配既看到整句关系，又保留被指称对象的局部语义；它不是单纯把多个语言的最终向量拼接。主文说明了质心、EOT 替换和两种上下文融合的角色，但具体名词上下文构造及完整融合实现引用附录，不能据此给出未经核实的可运行实现。测试时，每种语言只运行到选中层，然后只需一次后续传播；最终查询表示计算一次后，在图块匹配与所有候选打分中复用。这种共享限制了额外开销，却不能让多语言推理变成免费的操作。

3. 空间重排序：保留全局语义分数，用中间层线索区分近似候选

P-Map 先归一化到 0–1，再用阈值 δ 产生前景响应区域，在图块网格上提取连通分量。各分量上采样到原图大小后合并为二值引导掩码 G。与直接把最高响应位置当答案不同，这一步把稠密响应转换成可与候选掩码比较的空间支持。最终目标仍受原有候选集合限制：P-Map 有正确线索，也不能凭空补回候选生成器遗漏的目标掩码。

每个候选的基础分数 S 来自候选区域最终视觉嵌入与查询文本的余弦相似度。 B2G 默认另算候选掩码与 G 的交并比，并把加权重叠分数加到基础分数上；只对基础分数排名前 κ 的候选应用重排序，以减少低质量候选干扰。原文式（2）的加权关系可清楚核实：

\[ S'_k = S_k + \lambda\,\operatorname{IoU}(M_k,G). \]

其中 λ 控制空间线索的权重，最后选择重排序分数最高的候选。语义分数回答“这个区域是否像描述中的对象”，重叠项回答“它是否覆盖中间层提示的目标位置”，两者互补而不是互相替代。作者也提到以候选内平均 P-Map 响应代替 IoU 的变体，但详细比较在附录，本笔记不为其补造结果。

损失函数 / 训练策略¶

B2G 没有新增训练目标，不进行梯度更新，也不依赖 Grad-CAM 式反向传播或注意力重算。固定视觉层与初始阈值使用 RefCOCOg val（U）的 10% 无标注校准子集确定，随后在测试时固定。因此，“零样本”指没有面向 RIS 的参数训练，不意味着没有校准，也不意味着分割器和编码器从未经历预训练。主文没有完整列出 λ、γ、δ 的所有设置和校准准则；这些缺失限制精确复现，不影响理解已给出的探测和重排序逻辑。原图中间特征可以随前向传播读取，但动态置换探测仍需处理打乱图像，候选区域编码和多语言部分前向也仍有成本。

实验关键数据¶

主实验¶

下表选择论文表 1 和 §3.4 可核实的对照，而非把不同骨干混成一个排名。表 1 的平均值覆盖 RefCOCOg 的 val/test/valG、RefCOCO 的 val/testA/testB、RefCOCO+ 的 val/testA/testB，共九个划分；两组英文结果均使用 Mask2Former，比较方法均附加 CT 与 SG。多语言结果则是 SigLIP2 在九个翻译扩展基准上的汇总，不能与英文骨干结果直接横比。所有指标越高越好，差值为百分点，不是相对百分比。

设置与来源	指标 ↑	对照	B2G	差值
英文九划分，CLIP ViT-B/16，Global-Local → B2Gfix，表 1	平均 mIoU	45.74	50.20	+4.46
英文九划分，DFN ViT-H/14，Global-Local → B2Gfix，表 1	平均 mIoU	44.64	51.13	+6.49
多语言九基准，SigLIP2 → B2G，§3.4	平均 mIoU	42.42	49.62	+7.20
多语言九基准，SigLIP2 → B2G，§3.4	平均 IoU@50	45.13	53.41	+8.28

mIoU 是逐样本交并比的平均；IoU@50 是预测与真值交并比超过 0.5 的样本比例。作为更接近的文本融合对照，最终层质心聚合达到 46.07 mIoU、48.67 IoU@50，仍低于 B2G，但完整 B2G 还包含视觉侧处理，不能把全部差距单独归因于 EOT 注入。 §3.4 同时报出文本侧延迟增至约 1.5–1.7 倍，因此平均精度提升不应描述为零成本。

消融实验¶

下表节选表 3b，任务是 RefCOCOg val（U）的零样本 RIS，比较不同候选数下的原始候选评分与 B2G 评分。两侧分别为 Global-Local+CT+SG 和 B2G；oIoU 将样本的交集与并集分别累加后求比值，与 mIoU 的样本平均不同，二者均越高越好。表 3b 子表未单独标明骨干，故保留其原有对照范围，不把这些值与表 1 的具体骨干行拼接。

候选数	对照 mIoU ↑	B2G mIoU ↑	对照 oIoU ↑	B2G oIoU ↑
2	50.47	52.08	40.28	40.72
3	50.79	52.24	41.29	41.43
4	49.42	51.92	40.81	41.40

三个固定候选数下，B2G 的两种指标都高于相应对照；其中三个候选的 mIoU 最好，但这不是所有骨干和数据集通用的最优值证明。该实验检验候选选择和空间评分的稳健性，不是文本质心注入的独立消融。

关键发现¶

收益依赖表示和候选质量：不同骨干的提升幅度不同，主文还指出 Mask2Former 与该方法的配合优于 SAM。
动态选层集中在中部支持“最终接口弱化结构信息”的解释，但不证明每一层的信息变化都由单一对齐目标导致。
多语言干预还被用于零样本文本到图像检索，说明研究问题不局限于分割；不过表 2 的部分汇总平均与列出的语言数值不一致，本笔记不转录这些检索平均增益。

亮点与洞察¶

探测与干预相互验证：先找对布局敏感、对语言变化稳定的层，再检验这些特征能否改善真实定位，比只展示嵌入可视化更有说服力。
保留全局匹配并补充稠密线索：不必在语义识别和局部定位之间二选一，重排序允许两类接口各自承担擅长的部分。
多语言融合的位置很重要：在中间层替换 EOT 后继续传播，研究的是表示形成过程中的干预，而不仅是最终输出的集成。

局限与展望¶

作者明确指出最佳中间层和 P-Map 清晰程度依赖骨干，且多语言版本增加推理延迟；固定层方案不能保证对所有新模型同样有效。
作者讨论了翻译构造基准可能引入语义偏移；多语言质心的有效性依赖输入确为同义表达，不能把基准增益等同于所有真实语言场景中的公平性改善。
阅读者判断：控制图块排列提供的是位置敏感性证据，不是关于组合空间推理能力的完整因果证明；论文也把更深入的层级几何理论留作后续工作。
阅读者判断：候选生成器、校准数据及额外语言输入都构成使用条件，应与“不更新参数”分开报告。
证据边界：本地官方全文含完整主文方法与实验，但没有另附补充材料；CT 细节、动态选层完整定义、翻译系统和供体语言消融无法在此核实，损坏公式也未擅自恢复。

评分¶

新颖性: 4/5 — 双模态探测与干预结合有价值，但中间层定位和上下文融合已有相关基础。
实验充分度: 4/5 — 覆盖多骨干、三类协议与候选分析；部分消融在缺失附录中，个别汇总数值需复核。
写作质量: 3/5 — 问题线索清楚，但上下文融合和选层细节依赖附录，缓存公式损坏影响实现核对。
价值: 4/5 — 对冻结 VLE 的表示读出与零样本定位很有启发，适用性仍受候选质量和推理预算约束。