Learning from Primitive: Probing Visual Reasoning of LVLMs via Counting¶

会议: ECCV 2026
论文: ECCV 原文
领域: 多模态VLM
关键词: 视觉语言模型, 机械可解释性, 计数回路, 视觉推理基元, 激活补丁

一句话总结¶

本文将视觉计数确立为探测大语言视觉模型（LVLM）内部推理机制的最小探针，提出了视觉激活补丁（VAP）与 HeadLens 工具，揭示了由视觉定位、跨模态路由、计数聚合与难易度感知组成的计数回路，并通过极简合成数据的目标干预使模型在超出分布（OOD）计数及通用视觉推理上取得显著提升。

研究背景与动机¶

计数看似是视觉智能中最基础的一项任务，但它强行要求模型完成视觉实体的离散个体化区分（individuation）、表征维持与跨模态聚合，无法依靠语义记忆或上下文先验来投机取巧。认知科学已证明人类数量感知存在显著的认知不连续性：小集合对应几乎完美的快速知觉（subitizing，范围通常在 1 到 4），而大数量则退化为带噪声的近似幅度估计。近期前沿 LVLM（如 Qwen2.5-VL 等）在复杂的通用多模态基准上展现了极强的泛化能力，然而在严格控制的基准测试中，这些模型连少于十个孤立黑点的极简图像都无法精准数清，甚至在现实密集物体图像上反而依靠文本相关性取得了虚高表现。这种反常现象暴露了模型能力的虚假繁荣，亟待解答模型到底是在推理还是在依赖相关性幻想。

现有工作大多将计数视为孤立的下游任务，依赖图像预处理、外接微调或注意力重排来刷高榜单分数，却忽视了对其内部计算机制的探究；少数探测研究仅停留在浅层表征探测，未能深入注意力头级别并解构端到端的电路计算。将机械可解释性手段（如激活补丁与 Logit Lens）扩展至视觉语言模型存在两大阻碍：一是真实图像中实体与背景交织，难以构建受控反事实输入；二是多头注意力在投射回残差流之前缺乏细粒度的单头语义解码途径。

本文的切入角度是：利用生成受控合成图像的天然便利性将因果干预扩展到多模态领域，并在注意力投射的线性可加性基础上直接解码单头语义，以此剖析 LVLM 的内在推理回路。核心 idea：将受控几何计数作为最小因果探针，利用视觉激活补丁与 HeadLens 定位由定位头、路由头、聚合头和感知头构成的共享多模态计数回路，并基于电路洞察设计轻量合成图干预，以计数基元能力的增强辐射通用视觉推理。

方法详解¶

整体框架¶

本文的方法流程分为“机械可解释性回路发现”与“基于回路指导的靶向干预”两个核心阶段。在回路发现阶段，输入成对的受控合成图像（如仅点数不同但空间布局严格对齐的纯净与扰动样本），利用视觉激活补丁（Visual Activation Patching, VAP）测量网络层间及注意力头级别的因果覆盖率（Overwrite Rate）；随后通过创新的 HeadLens 投射器将关键头的输出无损投射至词表空间，解码出注意力头的语义偏好（如颜色形状视觉基元或数字概念），从而划分出四类功能注意力头。在干预阶段，基于发现的关键层与注意力头，采用仅 8000 张纯净几何点线合成图，通过物体聚焦注意力正则化（Object-focused Attention Regularizer）拉紧早层与中层注意力到物体中心高斯先验，同时在推理时使用自适应头温度调节（Adaptive Head Temperature Tuning）锐化路由与聚合头，实现免标注迁移。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：受控合成图像对与指令<br/>纯净/扰动对齐点图"] --> B["视觉激活补丁与层级因果追踪<br/>定位 Layer 15-22 跨模态交接瓶颈"]
    B --> C["HeadLens 注意力头语义解码<br/>线性可加投影 + 仿射词表映射"]
    C --> D["四类功能注意力头回路划分<br/>视觉定位/跨模态路由/计数聚合/感知头"]
    D --> E["物体聚焦注意力正则化<br/>高斯先验监督中间层注意力分布"]
    E --> F["自适应头温度调节<br/>依据重要性降低目标头熵值"]
    F --> G["输出：OOD计数与通用推理提升<br/>向真实图像与复杂视觉任务迁移"]

关键设计¶

1. 视觉激活补丁与跨模态信息流追踪：定位层级交接瓶颈

传统的因果追踪局限于纯文本填空，无法直接处理连续视觉空间。本文通过固定随机种子生成只改变离散物体数量、但完全保留物体几何空间分布的图像对（例如 3 个黑点对抗 5 个黑点）。在模型的第 $l$ 层，将扰动前向计算中目标 token 集合的隐状态 $s_i^l$ 贴补进纯净前向通路，统计模型最终预测由纯净标签翻转为扰动标签的覆盖率（Overwrite Rate）。分析表明：在 1 到 14 层（前中层），因果信息几乎完全锚定在视觉图像 token（Image Tokens）中；但从第 15 层起，图像 token 的影响力断崖式下跌，而末尾 prompt token（“Assistant:”角色标识符）的影响力急剧飙升并在第 23 层达峰。第 15–22 层构成了空间视觉信息压缩并交接至语言流的跨模态路由瓶颈，随后的 Logit Lens 进一步证实真实数字 token 在第 19–26 层开始浮现并在最后两层完全收敛到 Rank-1。

2. HeadLens 注意力头语义解耦：免结构修改的单头词表投射

为克服多头自注意力（MHSA）汇总后难以分解单个头语义的问题，本文基于 MHSA 线性可加性提出了 HeadLens。设第 $i$ 个注意力头的输出为 $h_i(x) \in \mathbb{R}^{d_{\text{head}}}$，构造零填充扩展向量 $\tilde{h}_i(x) \in \mathbb{R}^{d_{\text{model}}}$，使得全部扩展头相加乘输出投影矩阵 $W_O$ 严格等于原始输出 $\hat{x} = \sum_{i=1}^H \tilde{h}_i(x) W_O$。HeadLens 直接对孤立投射项 $\tilde{h}_i(x) W_O$ 应用学习到的仿射映射器 $T(z) = Az + b$ 转换到最终残差流空间，再经语言模型的解码矩阵 $U \in \mathbb{R}^{|V| \times d_{\text{model}}}$ 计算单头输出 logits： $$\ell_i(x) = U \cdot T\big(\tilde{h}_i(x) W_O\big) + c$$ 利用 Top-10 解码 token 中视觉属性与数字词汇的占比，分别定义出视觉定位得分（VGS）与计数 token 涌现率（CTER），精准识别出四类功能头： 1. 视觉定位头（Visual Grounding Heads）：高度聚集在第 1 层，专职从图像 token 中提取颜色、形状、边界等底层几何线索（最高 VGS）； 2. 跨模态路由头（Cross-modal Routing Heads）：聚集在第 18–24 层（如 L19H23），兼具高图像注意力与高 CTER，充当将空间点群转换为抽象数量概念的桥梁； 3. 计数聚合头（Counting Aggregation Heads）：位于第 23–28 较深层（如 L26H26），图像注意力极低却在文本侧汇总早期残差流，其 HeadLens 输出高度对齐最终数字预测； 4. 存在与难度感知头（Awareness Heads）：如 L26H8 在有任何物体出现时稳定输出“1”（存在检测器），而 L23H19 在数字较大时混合解码出“difficult”甚至“impossible”等难度评价词。

3. 物体聚焦注意力正则化：注入空间高斯连续先验

针对视觉语言模型在稀疏实体上注意力发散脱靶的缺陷，利用合成数据无需人工标注即可获得真实物体中心点坐标 $\{c_k\}_{k=1}^N$ 的特性，将其映射为网格空间高斯分布。定义各 patch $p$ 上的非归一化软先验得分为 $u(p) = \sum_{k=1}^N \exp\left(-\frac{\|p - \pi(c_k)\|_2^2}{2\sigma^2}\right)$（其中 $\sigma=1$），归一化为目标概率分布 $g$。在目标中间层（如 Qwen2.5-VL-7B 的第 2 层与 18–22 层），计算各头对视觉 token 的平均注意力分布 $q_t^l$，通过交叉熵施加聚焦正则化损失： $$\mathcal{L}_{\text{focus}} = \frac{1}{|\mathcal{L}||\mathcal{T}|} \sum_{l \in \mathcal{L}} \sum_{t \in \mathcal{T}} \left( -\sum_{j \in \mathcal{V}} g(j) \log\left(q_t^l(j) + \varepsilon\right) \right)$$ 该正则项强行约束定位头与路由头紧密收敛于实体目标，阻止背景注意力扩散。

4. 自适应头温度调节：测试期无训练熵减

分析表明跨模态路由头和计数聚合头存在极强的任务目标性，但常规注意力 Softmax 会保留一定底噪。本文提出在推理阶段动态对目标关键头引入无训练的逆温度乘子 $\beta_h = \alpha \times \gamma_h$（基线 $\alpha \ge 1$，通常设为 1.2；$\gamma_h$ 为激活补丁测得的内在重要度分数）。在计算自注意力矩阵时调整为： $$A_h = \text{softmax}\left( \beta_h \frac{Q_h K_h^T}{\sqrt{d_k}} \right)$$ 该操作自适应降低了关键通路的注意力熵，放大了离散物体特征的信号信噪比，实现了无需额外微调的推理期定向强化。

损失函数 / 训练策略¶

模型采用联合目标进行参数微调，微调仅使用包含 8000 张纯净图像的 SynDot 与 SynPoly 数据集，利用 LoRA（秩 $r=64$）施加在所有自注意力投影层： $$\mathcal{L} = \mathcal{L}_{\text{SFT}} + \lambda \mathcal{L}_{\text{focus}}$$ 其中 $\mathcal{L}_{\text{SFT}}$ 为仅针对生成计数数字 token 施加的自回归交叉熵损失，正则化权重系数默认取 $\lambda = 1.0$。训练在单张 NVIDIA H200 GPU 上进行，使用 AdamW 优化器、BF16 精度、批大小 2、学习率 $2 \times 10^{-5}$ 并搭配 3% 预热和线性衰减，仅训练 2 个 epoch（数分钟内完成）。

实验关键数据¶

主实验¶

实验在三个不同体量的模型（Qwen2.5-VL-7B、Qwen3-VL-8B 和 LLaVA-1.5-7B）上展开评测。除测试合成真实渲染图 SynReal 外，还评估了分布外真实世界计数基准 PixMo-Count，以及三项通用复杂视觉推理任务（MMMU、RealWorldQA、MathVista）。所有模型仅在由黑点和多边形构成的合成数据上微调。

模型	方法	SynReal Acc ↑	SynReal MAE ↓	PixMo-Count Acc ↑	PixMo-Count MAE ↓
Qwen2.5-VL-7B	Baseline	73.48	0.79	58.79	0.84
	Ours	84.83	0.74	64.15	0.62
Qwen3-VL-8B	Baseline	88.79	0.15	58.75	0.73
	Ours	91.21	0.11	66.98	0.60
LLaVA-1.5-7B	Baseline	54.27	3.59	31.88	1.81
	Ours	60.11	1.56	32.64	1.61

通用视觉推理任务跨领域表现如下：

模型	方法	MMMU	RealWorldQA	MathVista	$\Delta$ (avg.)
Qwen2.5-VL-7B	Baseline	54.89	61.96	57.30	—
	Ours	56.33	64.14	58.30	+1.54
Qwen3-VL-8B	Baseline	58.33	70.05	66.30	—
	Ours	60.74	71.83	67.90	+1.93
LLaVA-1.5-7B	Baseline	44.44	56.21	23.90	—
	Ours	44.56	56.48	26.30	+0.93

消融实验¶

在 Qwen2.5-VL-7B 上对 LoRA 监督微调（SFT）、物体聚焦注意力正则化（$\mathcal{L}_{\text{focus}}$）以及推理期自适应头温度调节（$\beta_h$）逐项消融：

配置	SynReal Acc ↑	PixMo-Count Acc ↑	MMMU	RealWorldQA	MathVista
Baseline	73.48	58.79	54.89	61.96	57.30
+ SFT	79.78	61.67	56.00	63.14	58.10
+ SFT + $\mathcal{L}_{\text{focus}}$	82.34	63.32	56.11	64.05	58.20
+ SFT + $\mathcal{L}_{\text{focus}}$ + $\beta_h$ (Full)	84.83	64.15	56.33	64.14	58.30

关键发现¶

计数机制与高级视觉推理高度重合：通过对注意力头做均值消融（Mean Ablation）并提取各任务 Top-20 关键头计算 Jaccard 相似度，发现真实计数与数学推理（Math Reasoning）的注意力头重合度达 0.38，与空间关系推理（CLEVR）重合度达 0.33，而与单纯的颜色属性识别重合度仅 0.18。这从内部电路层面解释了为何微调合成图计数能直接让数学几何推理获益。
合成微调的强 OOD 泛化性：仅在黑点和彩色几何图形上微调，Qwen2.5-VL 在真实世界自然图像分布的 PixMo-Count 上准确率提升了 5.36%（58.79% $\to$ 64.15%），MAE 从 0.84 降至 0.62，证明模型习得的是对离散实体的计数物理基元，而非对特定纹理的过拟合。
各干预手段具有完全正交的正向累加效益：SFT 提供了基础指令适配，$\mathcal{L}_{\text{focus}}$ 通过高斯空间监督解决了注意力离散漂移问题（PixMo-Count 提升 1.65%），而免训练的 $\beta_h$ 温度调节进一步压制了路由与聚合过程中的噪声（额外带来近 1% 提升）。

亮点与洞察¶

多模态可解释性工具 HeadLens 的设计非常巧妙：利用了注意力多头投影在经过输出权重矩阵 $W_O$ 后的可加分解特性，配合仿射变换将单个头的隐藏表征独立映射到词表空间，为理解单头功能提供了直观的语义解构手段。
“学习简单基元（Learning from Primitive）”的认知对齐范式：不仅在表征空间（t-SNE）上验证了 LVLM 具备与人类高度相似的“1-4 数量快速知觉（subitizing）与大数量流形纠缠”现象，还证明了强化这一原始底层知觉基元能够辐射促进高阶多模态理解。
可复用的通用设计启示：无需收集昂贵的真实图像多轮标注，通过低成本合成图像施加显式注意力分布监督（如高斯先验核），能够以极小开销校准注意力偏置，这种策略可直接迁移到空间关系检测与小目标感知领域。

局限与展望¶

作者承认的局限：当前的因果电路分析与单头投射主要针对 7B/8B 级别的开源单机模型（Qwen2.5-VL 与 LLaVA），尚未验证在超大规模混合专家（MoE）结构或闭源超大模型上的电路一致性。
推导与实验假设局限：目前的合成图像只覆盖了 1–10 以内的离散物体计数，对于超过数十甚至上百个极密集场景（Crowd Counting），该回路是否演化出尺度统计模式仍有待探索。
未来方向：探索除计数外的其他视觉认知基元（例如深度遮挡关系、拓扑连通性、属性绑定）的内部电路，构建面向视觉推理基元的多任务协同增强系统。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从机械可解释性角度系统解构了 LVLM 的计数回路，提出了有效的 VAP 与 HeadLens 工具。
实验充分度: ⭐⭐⭐⭐⭐ 兼顾了合成图像、自然图像、通用多模态评测及注意力头 Jaccard 相似度机理分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，从认知科学现象观察平滑过渡到电路发现与靶向干预。
价值: ⭐⭐⭐⭐⭐ 证明了底层认知基元增强能反哺高层视觉推理，为低成本提升模型鲁棒性指明了新路径。