Binding Visual Features Point by Point¶

会议: NeurIPS 2026
arXiv: 2605.25427
OpenReview: https://openreview.net/forum?id=yu8ajcYUw2
领域: 多模态VLM
关键词: 视觉语言模型, 视觉绑定问题, 序列化注意, 空间点坐标, 可解释性与因果中介

一句话总结¶

本文从认知科学与神经机制切入，证明视觉语言模型（VLM）在多目标场景下的绑定错误源于组合性表示的注意干扰，而通过文本输出离散空间坐标（pointing-via-text）能诱导模型在中间层涌现出由特定“搜索头”控制的串行视觉注意机制，从而消除特征绑定错误并实现跨目标数量与复杂度的分布外泛化。

研究背景与动机¶

视觉语言模型（VLM）在常规单目标理解或通用多模态基准上展现了强大性能，但在处理包含多目标的密集场景时却存在顽固缺陷——无论是简单的数量统计、关系图像生成与理解，还是多目标视觉类比，甚至在人类能轻松达到接近100%精度的简单任务上都会系统性崩溃。近期认知科学与多模态表征研究表明，这些失败并非单纯由于模型容量不足或训练步数不够，而是植根于经典的“特征绑定问题”（Binding Problem）：即在由共享基础特征（如若干种颜色与形状）构成的场景中，模型必须在上下文（in-context）内将正确的特征精确关联至具体独立的实体，防止出现“将图中的蓝色方块与红色圆圈误判为存在蓝色圆圈”这类经典的虚假绑定错误。

人类视觉系统针对该问题演化出了双重处理机制：在快速并行前馈处理模式（System 1）下，由于感知系统采用组合性特征编码，容易受共享特征干扰产生绑定错误；但在串行注意机制（System 2）介入后，人眼可通过逐一注视离散目标，按时间步在注意瓶颈内隔离干扰，从而完美化解绑定难题。与此相呼应，近期开源模型（如 Molmo）尝试引入空间点指示（pointing）——通过在文本推理轨迹中显式输出物体的空间二维坐标 \((x, y)\) 再给出最终答案，并在计数等任务中取得了显著性能飞跃。然而，这一工程现象背后的机制基础仍是黑盒：模型学会在文本中吐出坐标，究竟是仅仅拟合了额外的统计正则性，还是在其深层内部真正诱导出了类似人类的序列化视觉搜索程序？

本文的核心切入点是将 VLM 的点坐标输出行为置于视觉绑定的认知与机理显微镜下。核心 idea：通过表征相似性分析与因果中介分析揭示 VLM 前馈模式的组合性表征干扰本质，并首次从机制上证明通过文本输出点坐标（pointing-via-text）能够在模型中间层诱导出高度结构化的串行视觉搜索程序与专有“搜索头”，借由时间序列化解特征绑定困境并解锁真正的分布外组合泛化。

方法详解¶

整体框架¶

本文探讨的核心假设是：VLM 在单步前馈生成中，组合性特征表示会导致注意重叠与特征干扰（如图 7 所示，模型对共享特征的干扰项分配了大量无关注意）；而如果让模型在给出最终答案前，按顺序依次生成目标的空间离散坐标点列（例如 [x1, y1], [x2, y2], ...），模型内部会内生出类似于人类眼动与空间注意转移的串行搜索环路。整个研究与验证管线包含三个关键阶段：首先，通过表征相似性分析（RSA）确诊多模态编码器中组合表征的注意干扰机理；其次，通过逐层注意质心追踪与因果中介分析（Causal Mediation Analysis），精细定位内部串行搜索程序及对应的“搜索头”（Search Heads）；最后，通过 Point-to-Answer 监督微调对比 Direct Answer 单步预测，验证该机制在分布外泛化与绑定错误消除上的决定性作用。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入多目标图像与查询任务<br/>(视觉搜索 / 计数)"] --> B["组合性表征分析<br/>RSA 判定特征重叠与注意干扰"]
    B --> C["Point-to-Answer 序列化点生成<br/>文本解码逐个输出目标空间坐标"]
    C --> D["注意质心追踪与因果中介分析<br/>RMSE 评估与因果激活补丁"]
    D --> E["搜索头机制定位与算法解析<br/>Layer 19 涌现 Search Heads 并记录已计状态"]
    E --> F["输出最终推理答案<br/>彻底消除绑定错误并实现 OOD 泛化"]

关键设计¶

1. 组合性表征与特征注意干扰诊断：确立绑定错误的内在根源

现有研究关于 VLM 为何频发绑定错误存在争议：究竟是特征提取失败，还是表征交互层面的结构性缺陷？本文在单一物体基准场景（由 red, green, blue, purple 四种颜色与 L, T, H, E 四种形状组成，物体随机置于 \(9\times 9\) 网格中）上提取多模态 patch 嵌入向量，利用表征相似性分析（RSA）比较其经验相关性矩阵与两类理想假设：完全离散的“联合表征”（Conjunctive，不同特征组合互不正交重叠）与具有共享维度的“组合性表征”（Compositional，共享单属性的对象具有中等相似度）。分析显示 Qwen2.5-VL-7B 的经验相似性矩阵与组合性理论模型的皮尔逊相关系数高达 \(r = 0.9269\)，远超联合表征的 \(r = 0.6278\)。在视觉搜索任务（目标如绿色 T，混杂大量绿色 L 或红色 T 等干扰项）中进一步测定注意分布，定量证实模型在前馈单步处理时，注意被大量错误分配到共享单一属性的干扰项上。这种组合性表征虽赋予了跨特征的灵活泛化潜力，却在并行计算时构成了不可避免的注意干扰源。

2. 逐层去噪注意质心追踪：量化文本点生成与内部视觉注意的时空对齐

为探究文本生成空间点坐标是否伴随真实的内部视觉扫描，本文设计了针对注意图的时空对齐度量指标。在模型生成每个空间坐标点 \(p\) 的 token 序列期间，提取交叉注意图 \(A(x, y)\) 并进行局部去噪截断：

\[A(x, y) := \begin{cases} A(x, y), & \text{if } A(x, y) > 0.9 \cdot M \\ 0, & \text{otherwise} \end{cases} \quad \text{where } M := \max_{(x, y)} A(x, y)\]

利用去噪后的注意权重计算图像网格二维空间质心 \((x_{\text{cen}}, y_{\text{cen}})\)：

\[x_{\text{cen}} = \frac{\sum_{(x, y)} x A(x, y)}{\sum_{(x, y)} A(x, y)}, \quad y_{\text{cen}} = \frac{\sum_{(x, y)} y A(x, y)}{\sum_{(x, y)} A(x, y)}\]

对属于该点坐标 \(p\) 的所有生成 token 求平均得到最终注意质心 \((\bar{x}_{\text{cen}}^{(p)}, \bar{y}_{\text{cen}}^{(p)})\)。通过度量注意质心与文本中生成的二维真实坐标之间的均方根误差（RMSE），发现深浅层均存在较高误差，而中间层（以 Molmo-7B 的第 19 层为代表）RMSE 达到全局极小谷值。这证明即使训练阶段对内部注意图完全没有显式监督，模型在输出坐标时，其中间层注意力已在物理空间上逐一精确聚焦于对应物体。

3. 因果中介分析与“搜索头”识别：揭示串行注意的状态维护算法

时空相关性并不等同于因果驱动。为确定第 19 层的内部注意状态是否是驱动文本坐标输出的因果中介，本文扩展了因果中介分析（Causal Mediation Analysis）范式。在生成坐标点列轨迹中选取两点 \(A\) 与 \(B\)，将 \(A\) 生成时步的注意图替换为 \(B\) 的注意图，度量介入后模型生成坐标 \(y_{c^*}\)（即点 \(B\)）对数几率相对于原输出 \(y_c\) 的因果中介得分 \(s_x\)：

\[s_x = \left( f_{c^*}(x)[y_{c^*}] - f_{c^*}(x)[y_c] \right) + \left( f_c(x)[y_c] - f_c(x)[y_{c^*}] \right)\]

因果得分在第 19 层呈现强烈的尖锐峰值（与 RMSE 谷底完全重合）。在注意力头级别进一步分解介入效果，锁定了控制串行扫描的专有注意力头——“搜索头”（Search Heads）。消融实验证实，将 top-k 搜索头对图像 token 的注意权重置零会造成模型计数与目标搜索能力的断崖式下降，而置零随机头或 bottom-k 头则无明显影响。更进一步地，三向注意图干涉实验（前移替换、后移替换、互换 A 与 B）证明该机制具备高度精密的算法级状态维护逻辑：模型不仅具备内在的空间扫描偏好序，还能在序列推理中动态“记录”哪些物体已被计入，防止重复计数或陷入局部死循环。

4. Point-to-Answer 序列化对齐微调：解除统计捷径并释放组合泛化

在确定机制后，本文在完全未接触过点指示的新基座模型（Qwen2.5-VL-7B、Gemma-3-12B、LLaVA-1.5-7B）上展开对比微调实验。对比方案包括直接输出答案（Direct Answer，含短提示词与长提示词格式）与先逐个指示坐标再输出答案（Point-to-Answer）。实验设定刻意剥离了统计拟合捷径：在视觉搜索中，仅用含 1 个目标的正例微调，并在测试集评估具有 2 至 50 个目标的多目标场景；在计数任务中，训练集仅包含中等物体多样性及 5~10 个物体，测试集评估高多样性以及 11~15 个物体的场景。结果表明，Direct Answer 仅学会在特定训练分布下走捷径匹配上下文，在面对多目标时准确率急速坠毁至 0%；而 Point-to-Answer 迫使计算在时间轴上串行展开，使模型注意始终高度纯净地集中于当前目标，彻底消除了干扰项引发的绑定混乱。

实验关键数据¶

主实验¶

主实验在视觉搜索（Visual Search）与合成图形计数（Counting，训练 5~10 个目标，OOD 测试 11~15 个目标）任务中全面评估了基线（Direct Answer）与点指示（Point-to-Answer）在跨分布泛化下的性能差异（以 Qwen2.5-VL-7B 为代表）：

任务 / 评估配置	评估指标	Point-to-Answer (本文)	Direct Ans (Long Prompt)	Direct Ans (Short Prompt)	优势/提升
视觉搜索 (1 Target, In-Distribution)	准确率 (%)	98.0	97.5	96.0	+0.5% (基线可解)
视觉搜索 (10 Targets, OOD)	准确率 (%)	96.5	42.0	38.5	+54.5% (保持高泛化)
视觉搜索 (30 Targets, OOD)	准确率 (%)	95.0	18.0	12.0	+77.0% (基线严重失效)
视觉搜索 (50 Targets, OOD)	准确率 (%)	94.0	5.0	2.0	+89.0% (基线完全崩溃)
几何计数 (5-10 Objs, In-Distribution)	准确率 (%)	92.5	88.0	85.0	+4.5% (均拟合良好)
几何计数 (11-15 Objs, OOD 数量外推)	准确率 (%)	78.5	0.0	0.0	+78.5% (Direct 归零)
真实世界计数 (Pixmo 11-15 Objs, OOD)	MAE (越低越好)	2.15	4.82	5.10	误差降低 55.4%

消融实验¶

消融实验深入验证了序列化指示格式的各设计要素（坐标 vs 标点、坐标顺序、坐标与语义描述相对位置）以及搜索头（Search Heads）在推理计算中的决定性作用（基于计数任务与因果掩码分析）：

配置 / 变体	关键指标 (Counting OOD 准确率 %)	因果/机制说明
Point-Ans (Full Model, 坐标优先 + 描述)	78.5	完整模型：先生成空间坐标点，再输出类别描述与总数
Point-Ans [desc first] (描述优先再给坐标)	48.2	先输出物体属性描述再给坐标，绑定效果明显减弱 (-30.3%)
Point-Ans [No Pts] (仅输出标点替代坐标)	36.0	缺少显式空间二维数值诱导，模型无法形成精确空间注意聚焦
Point-Ans [dots] (仅输出纯圆点序列)	22.5	纯 token 扩充深度，缺乏与视网膜坐标系的显式几何对齐
Point-Ans [shuffled] (空间随机乱序扫描)	61.0	随机点序依然展现对因果介入的强健性，但稍逊于自然光栅序
Search Heads Ablation (置零 Top-5 搜索头)	12.0	屏蔽第 19 层关键搜索头后，多目标串行计数能力近乎瓦解
Control Ablation (置零 Random-5 头)	76.8	随机置零同层其他注意力头对串行搜索计算几乎无显著影响

关键发现¶

搜索头（Search Heads）在模型深度的中间层特异性涌现：无论是预训练好的 Molmo-7B 还是经点指示微调的 Qwen2.5-VL，表征空间对齐与因果驱动强度均集中于网络的中间过渡层（Layer 19 左右），早期特征抽取层与近输出层并未直接主导空间搜索轨迹的形成。
空间坐标前置（Coordinate First）是实现精准绑定的关键：消融表明，在生成物体文本描述前先生成具体坐标，对强串行注意的诱导至关重要；反之若先输出语义描述再补全坐标，准确率暴跌超 30%，表明必须借助显式几何提示驱动底层视觉特征的路由。
单步前馈模型严重依赖训练统计捷径：Direct Answer 模型在训练数量区间表现良好，但在目标数量增加（如 1 个增至 50 个）这一按常理更易识别的任务中准确率降至接近 0%，证实单步前馈计算并未真正学会物体绑定的通用规律。

亮点与洞察¶

将神经认知科学经典理论迁移至大模型机制可解释性：将特雷斯曼（Treisman）的特征整合理论（Feature Integration Theory）与并行/串行注意系统理论完美映射至现代多模态 Transformer，从根本上回答了“为什么 VLM 连数数都数不清”与“为什么坐标指示能奏效”。
揭示了“无显式中间监督”下内部机制的自组织对齐：仅通过外在文本监督训练输出数字坐标，无需任何基于注意图的损失函数（如注意力蒸馏或损失加权），模型内部就能自发在中间层构建出物理空间等比例对齐的视觉注意质心，展示了多模态表征极强的内生空间对齐倾向。
为测试时计算扩展（Test-Time Compute）提供了视觉域范式参考：纯语言模型通过思维链（CoT）扩充时间计算以支持符号逻辑，而多模态模型通过文本点指示（pointing）将二维空间的视觉搜索展开为一维时间序列，为在视觉维度开发 System 2 架构提供了最简且有效的物理载体。

局限与展望¶

作者承认的局限性：当前的 Point-to-Answer 训练高度依赖程序化合成或带点标注的高质量监督微调数据（SFT），在通用复杂多模态场景下获取密集且无误的点轨迹标注成本高昂，难以泛化到所有自由形态的视觉任务中。
未结合强化学习自主探索：论文中的点轨迹均基于固定或预定义的空间顺序生成，尚未像 DeepSeek-R1 或 Ground-R1 那样采用纯强化学习（RL）让模型自主发现最有效的空间视觉扫描策略。
未来改进方向：可进一步探索结合强化学习与空间密集奖励函数，促使模型在面对遮挡、重叠或复杂透视关系时，自适应调整串行注意驻留时长与回溯机制，甚至融合可变分辨率 patch 变焦（foveated attention）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从认知特征整合视角机理解析 VLM 视觉绑定问题，发现并定义了“搜索头（Search Heads）”。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 RSA 表征分析、注意去噪质心追踪、因果中介分析、消融对比以及多模型（Molmo, Qwen2.5-VL, Gemma-3, LLaVA）复现。
写作质量: ⭐⭐⭐⭐⭐ 逻辑极为严密，将神经生物学双系统假说与现代机械可解释性研究范式融合得天衣无缝。
价值: ⭐⭐⭐⭐⭐ 深刻揭示了多模态模型在复杂多目标推理下的本质缺陷，为未来构建兼具高效组合表征与可靠序列绑定的视觉认知系统指明了方向。