NeuronEye: Query-Guided Visual Concept Activation for Vision-Language Reasoning¶

会议: NeurIPS 2026
arXiv: 2609.38098
代码: https://github.com/xxx
领域: VLM Reasoning
关键词: 视觉语言模型, 稀疏自编码器, 概念级激活, 结构化视觉推理, 即插即用模块

一句话总结¶

NeuronEye 利用稀疏自编码器从冻结 VLM 中间层重构出概念级神经元词表，依据语言问题动态激活并注入相关视觉概念证据，同时在深层抑制主导感知方向，在免微调骨干的前提下显著提升了多视角与空间几何推理表现。

研究背景与动机¶

现代视觉语言模型（VLM）通常将图像与文本通过多模态注意力进行联合表征，在广泛的任务中取得了显著成功。然而，现存范式倾向于将视觉信息压缩编码在密集的隐藏状态中，物体的类别身份、空间布局、局部细粒度属性以及背景上下文深度纠缠在一起。近期研究表明，VLM 在处理多目标复杂场景时表现出与人类快速前馈视觉表征干扰高度相似的推理失效，且空间推理瓶颈往往不是出在视觉感知的“有无”，而是出在特定视觉信息的“抽取与整合”。密集的隐藏状态难以让模型根据语言提问精细剥离并有针对性地调节特定的视觉概念。

生物视觉系统为解决这一困境提供了两级协同机制：初级视皮层采用稀疏群体编码，极少数神经元的激活即可表征自然场景；而在更高级的大脑皮层（如内侧颞叶）中，这一稀疏性升华为具有视点与模态不变性的“概念细胞”，构建起可独立寻址的神经概念词表；随后，来自前额叶的自上而下注意力根据当前任务需求选择性放大目标特征、抑制无关干扰。现有的视觉调制方法要么粗暴地丢弃或合并图像 Patch Token（如 FastV、SparseVLM），导致保留的 Token 依旧携带全部纠缠信息且丢失细粒度线索；要么在表征空间施加全局统一导向（如 VISTA），缺乏针对具体提问的概念特异性。

本文的切入角度是打破表征解释与主动干预的界限：稀疏自编码器（SAE）此前仅被用作事后可解释性工具，但其分离出的过完备基底实际上天然具备成为可寻址概念词表的潜力。核心 idea：将密集视觉表征分解为稀疏概念级神经元词表，利用语言提问动态激活相关神经元簇并定位图像 Patch 注入增强证据，结合深层主导感知成分抑制，实现无需改动 VLM 骨干的查询引导视觉推理。

方法详解¶

整体框架¶

NeuronEye 整体是一个在冻结 VLM 骨干网络之上运行的即插即用推理框架，推理过程仅需单次前向传播，主要由三个协同阶段构成： 1. 稀疏神经元空间构建（SNS）：在 VLM 浅层提取图像 Patch Token 隐状态，通过离线训练的稀疏自编码器（SAE）将密集特征解耦映射到过完备稀疏神经元基底中，通过特征激活模式与无监督聚类组织为 $K$ 个具有语义概念的可寻址神经元簇。 2. 神经元引导的视觉聚焦（NVF）：在推理时，轻量路由网络结合文本提问与图像全局表征预测相关的神经元簇，计算 Patch 级概念激活强度定位关键 Patch，通过门控残差精炼后解码回密集空间，经局部交叉注意力将聚焦证据注入对应 Vision Token。 3. 感知概念抑制（PCS）：为了防止浅层聚焦过度集中于某些显著概念而淹没微弱的空间几何或细微属性线索，在模型更深层对 Vision Token 进行低秩分解，动态衰减主导的主成分方向，保持表征的多样性与空间敏感度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["多模态输入<br/>图像 + 文本问题"] --> B["冻结 VLM 骨干网络<br/>前向传播至层 ℓ"]
    B --> C["1. 稀疏神经元空间 (SNS)<br/>SAE 编码 + Top-k 稀疏化"]
    C --> D["2. 神经元引导视觉聚焦 (NVF)<br/>查询路由 + 局部残差交叉注意力注入"]
    D --> E["VLM 中间层前向传递<br/>层 ℓ → 层 ℓ'"]
    E --> F["3. 感知概念抑制 (PCS)<br/>低秩 SVD 提取并衰减主导方向"]
    F --> G["最终推理输出<br/>生成结构化回答"]

关键设计¶

1. 稀疏神经元空间（SNS）：解耦密集视觉特征构建概念级词表
现有多模态模型在浅层输出的 Patch Token 是高维密集向量，局部属性与背景上下文混合在一起无法解耦。SNS 针对这一痛点，在指定中间层 $\ell$ 引入过完备稀疏自编码器，将 Patch 隐藏表征 $\mathbf{x}_{i,p} \in \mathbb{R}^d$ 映射到更高维度的潜在空间 $\mathbb{R}^D$（其中 $D = \alpha d, \alpha \gg 1$）。通过非线性编码与 Top-$k$ 截断，强制仅保留激活值最大的 $k$ 个维度，其余全部置零，从而得到精确约束 $\ell_0 = k$ 的稀疏编码： $$\mathbf{z}_{i,p} = \mathrm{Top}_k\bigl(\mathrm{ReLU}(\mathbf{W}_{\mathrm{enc}}\mathbf{x}_{i,p})\bigr)$$ 在训练完 SAE 后，针对潜在空间中少部分跨图像低频激活或响应杂乱的神经元，通过最小图像激活阈值 $M_{\min}$ 过滤无效维度。对保留下来的神经元，根据其最大激活 Patch 区域的视觉模式进行语义概括，并通过分层聚类将其划分归纳为 $K$ 个语义概念神经元簇 $\{\mathcal{C}_k\}_{k=1}^K$。这些簇构成了离线组织、在线可直接通过索引寻址的稀疏概念词表。

2. 神经元引导的视觉聚焦（NVF）：多模态路由与局部增强注入
获得结构化的神经元簇后，模型面临如何根据语言提问精准选择概念并作用于正确图像区域的问题。NVF 采用轻量双路打分器：文本路由器 $g_q(\cdot)$ 聚合提问特征输出概念预测分布 $\boldsymbol{\alpha}^q = \sigma(g_q(\mathrm{Pool}(\mathbf{H}_{\mathrm{text}})))$，视觉侧打分器 $g_v(\cdot)$ 提取全局视觉特征输出 $\boldsymbol{\alpha}^v$。推理时根据 $\boldsymbol{\alpha}^q$ 选取前 $K_{\mathrm{sel}}$ 个最相关的神经元簇。对于选中的簇 $c$，将其内部神经元在每个 Patch 上的激活值累加求和 $a_p^{(c)} = \sum_{j \in \mathcal{F}_c} z_{p,j}$，由此选取响应最强的前 $n$ 个 Patch 作为活跃证据区域。在这些 Patch 上，抽取簇专属稀疏编码并经过语言引导的门控残差模块精炼更新： $$\Delta\mathbf{z} = \beta_{\mathrm{ref}} \cdot \mathbf{W}_\Delta \left(\sigma(\mathbf{W}_g \mathbf{z}_{\mathrm{cluster}}) \odot \mathrm{MLP}(\mathbf{q}_{\mathrm{last}})\right)$$ 精炼后的稀疏向量通过冻结的 SAE 解码器重构回密集向量空间，按路由置信度加权求和得到主动增强表征 $\mathbf{R}_{\mathrm{active}}$，最后通过局部交叉注意力模块，仅对被选中的活跃 Vision Token 执行残差叠加： $$\mathbf{H}_{\mathrm{active}}' = \mathbf{H}_{\mathrm{active}} + \gamma_{\mathrm{inj}} \cdot \mathrm{LN}\left(\mathbf{W}_o \mathrm{softmax}\left(\frac{\mathbf{Q}_{\mathrm{att}}\mathbf{K}_{\mathrm{att}}^\top}{\sqrt{d}}\right)\mathbf{V}_{\mathrm{att}}\right)$$ 未被选中的 Patch 保持原样不变，实现了对关键视觉概念的靶向增强。

3. 感知概念抑制（PCS）：深层主导方向衰减以保护微弱关系线索
在浅层 $\ell$ 强化特定概念后，往往会导致部分主导感知特征在后续注意力传播中过度膨胀，掩盖如微弱的相对距离、阴影、微小物体的空间排列等细粒度属性。PCS 在更深的层 $\ell' > \ell$ 针对性地对抗表征退化。它首先对层 $\ell'$ 的全体 Vision Token $\mathbf{H} \in \mathbb{R}^{N \times d}$ 去均值中心化得到 $\bar{\mathbf{H}} = \mathbf{H} - \mathbf{1}\boldsymbol{\mu}^\top$，随后进行截断奇异值分解 $\bar{\mathbf{H}} \approx \mathbf{U}\mathbf{\Sigma}\mathbf{V}^\top$，提取前 $r$ 个主导右奇异向量 $\mathbf{V}_r \in \mathbb{R}^{d \times r}$ 构成主导感知方向子空间。通过将中心化状态投影并从原特征中予以衰减，重塑视觉状态： $$\mathbf{H}' = \mathbf{H} - \eta_{\mathrm{pcs}} \left(\bar{\mathbf{H}}\mathbf{V}_r\mathbf{V}_r^\top\right)$$ 其中抑制强度系数 $\eta_{\mathrm{pcs}} = \mathrm{softplus}(\eta_{\mathrm{param}})$ 为可学习参数且初值接近 0。该操作在不引入额外外部先验的前提下，消除了压制性主成分，使被弱化的空间相对几何与上下文关系得以重新显现。

损失函数 / 训练策略¶

NeuronEye 的训练分为两个解耦阶段，全程保持 VLM 骨干及 SAE 权重冻结： 1. 阶段一（路由与跨模态对齐）：仅优化文本路由网络 $g_q$ 与视觉打分器 $g_v$。优化目标包括基于 LLM 标注伪标签的二值交叉熵损失 $\mathcal{L}_{\mathrm{BCE}}(\boldsymbol{\alpha}^q, \mathbf{y})$，以及确保查询预测与视觉证据对齐的对称散度损失： $$\mathcal{L}_{\mathrm{align}} = \frac{1}{2}\sum_{k=1}^K \left[\alpha_k^v \log\frac{\alpha_k^v}{\alpha_k^q} + \alpha_k^q \log\frac{\alpha_k^q}{\alpha_k^v}\right]$$ 总路由损失为 $\mathcal{L}_{\mathrm{router}} = \mathcal{L}_{\mathrm{BCE}} + \lambda_{\mathrm{align}}\mathcal{L}_{\mathrm{align}}$。 2. 阶段二（端到端轻量模块微调）：解冻局部交叉注意力层、残差精炼模块投影层以及 PCS 抑制标量 $\eta_{\mathrm{param}}$，以语言模型生成损失为主任务目标，结合路由损失进行联合端到端优化： $$\mathcal{L} = \mathcal{L}_{\mathrm{LM}} + \lambda_{\mathrm{router}}\mathcal{L}_{\mathrm{router}}$$ 实验中 $\lambda_{\mathrm{router}} = 0.5, \lambda_{\mathrm{align}} = 0.3$，仅微调约 107M 参数（占 7.6B 骨干的 1.41%），训练样本仅需 VQAv2 中抽取的 5K 样本对。

实验关键数据¶

主实验¶

在视觉中心化评测基准 CV-Bench（涵盖计数、深度、距离、关系理解）、BLINK、RealWorldQA 与 MMStar 上的评测结果表明，NeuronEye 能普遍赋能开源 VLM 骨干，尤其在空间几何与空间定位场景展现出巨大优势。

模型 / 评测基准	CV-Bench Overall	CV-Bench Dist.	CV-Bench Rel.	BLINK Overall	BLINK Multi-view	BLINK Localization
LLaVA-1.6-7B	64.3	54.5	63.3	36.6	40.7	38.0
+ NeuronEye (Ours)	65.7 ± 0.5	61.4 ± 0.9	75.4 ± 0.5	37.2 ± 0.7	48.4 ± 1.9	46.1 ± 0.6
$\Delta$ 增益	+1.4	+6.9	+12.1	+0.6	+7.7	+8.1
Qwen2.5-VL-7B	78.5	76.2	87.2	52.1	55.6	53.3
+ NeuronEye (Ours)	81.6 ± 0.3	85.7 ± 0.8	89.5 ± 0.5	52.8 ± 0.2	63.9 ± 0.4	56.6 ± 0.9
$\Delta$ 增益	+3.1	+9.5	+2.3	+0.7	+8.3	+3.3

与视觉 Token 裁剪方法（FastV、SparseVLM、PruMerge 等）及隐状态干预方法（SSL、SAVE、VISTA）横向对比，NeuronEye 在 Qwen2.5-VL-7B 上以 81.6 的总分显著优于所有对比方案（Token 裁剪类整体退化至 69.8~75.9，均匀表征调节类仅为 77.6~78.0）。

消融实验¶

在 Qwen2.5-VL-7B 骨干上针对核心模块、神经元簇组织策略及各设计组件进行系统消融，验证了概念级结构化编排与感知抑制的互补有效性。

实验配置	CV-Bench Overall	CV-Bench Dist.	CV-Bench Rel.	BLINK Overall	BLINK Multi-view	说明
原始基线 (Qwen2.5-VL-7B)	78.5	76.2	87.2	52.1	55.6	冻结模型直接评测
基线 + 浅层微调 (FT)	76.5 ± 0.3	69.8 ± 0.9	86.5 ± 0.6	51.1 ± 0.1	55.6 ± 1.9	少量 VQA 微调反而导致空间能力退化
密集交叉注意力 + PCS	79.4 ± 0.3	79.5 ± 1.2	88.8 ± 0.3	51.3 ± 0.3	55.6 ± 1.9	不做 SAE 稀疏化直接在密集状态交互
随机神经元簇 + NVF	78.6 ± 0.4	76.6 ± 1.0	86.4 ± 0.6	51.6 ± 0.3	55.6 ± 1.5	失去概念语义聚类，退化接近基线
仅启用 PCS 抑制	78.6 ± 0.4	76.8 ± 1.4	87.2 ± 0.6	51.3 ± 0.2	55.6 ± 1.9	缺少 NVF 靶向激活时收益微弱
SNS + NVF (无 PCS)	80.9 ± 0.1	84.0 ± 0.4	89.5 ± 0.5	53.0 ± 0.3	55.6 ± 2.2	概念级激活显著提升主要空间推理
完整 NeuronEye	81.6 ± 0.3	85.7 ± 0.8	89.5 ± 0.5	52.8 ± 0.2	63.9 ± 0.4	协同配置获得最优距离与多视角表现

在层级探索中，在第 8 层插入 NVF 取得最高表现（81.6），过浅的第 4 层（80.5）表征抽象不足，过深的 12~20 层（78.3~78.6）由于空间细节被严重压缩而出现退化。概念簇数量 $K=64$ 时达到最佳平衡，簇太少无法区分概念，簇过多则导致语义破碎与路由不稳定。

关键发现¶

结构化概念聚类是性能增益的核心前提：将概念簇打乱随机分配后，收益完全归零，说明性能提升并非单纯来自额外参数或残差连接，而是源自对概念级视觉证据的准确寻址与路由。
NVF 与 PCS 展现出深刻的协同互补机制：NVF 负责在浅层把关键局部特征“拉上来”，PCS 负责在深层把压制性的主导特征“压下去”。二者联合使 Qwen2.5-VL 在 CV-Bench 距离任务上大幅跃升 +9.5，BLINK 多视角任务提升 +8.3。
不同模型架构对概念映射的响应存在差异：Qwen2.5-VL 与 LLaVA 在空间定位与关系理解上均大幅改善，但 LLaVA 在计数与绝对深度上略有下降，反映出不同视觉 Tokenizer 对局部稀疏激活的容忍度存在差异。

亮点与洞察¶

将稀疏自编码器从“被动解释”推向“主动推理”：首次证明 SAE 学到的可解释单语义神经元不仅能用来画热力图或做全局安全抑制，更可以当作可寻址的离散视觉词表，充当语言驱动视觉推理的主动控制接口。
双模态对称散度路由机制：在查询路由中设计了视觉证据与语言先验的对称散度损失，从机制上避免了路由器仅凭文本语言共现产生幻觉偏见，确保激活的神经元簇在当前图像中切实存在。
计算极其轻量且完全即插即用：骨干网络与自编码器保持冻结，仅需 5K 条数据训练极其微量的适配模块（107M，占 1.41% 参数），单次前向完成所有推理，便于扩展到不同大模型架构中。

局限与展望¶

受限于预训练自编码器的概念覆盖范围：当前 SAE 仅在通用 VQAv2 数据集上训练，在医学影像诊断等垂直领域迁移测试（OmniMedVQA-Mini）中出现了 2.2% 的准确率回退，亟需针对专业领域构建专属稀疏神经元词表。
离线伪标签对大模型标注质量存在依赖：路由器的监督信号依赖前置 LLM 对概念簇的文本分配，存在潜在的噪声与语义错配风险。
存在一定的推理延迟与内存开销：由于引入了 SAE 编码与局部交叉注意力，推理时相比基线增加了约 19.7% 的端到端延迟和 42% 的峰值显存占用。未来工作可通过单层扩展至跨层多尺度动态激活、以及无监督直接端到端学习神经元簇来进一步优化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙地将稀疏自编码器转化为主动推理的概念词表，概念驱动的自上而下调制设计极其出彩。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大视觉基准、2 种主流 VLM 骨干，对比 8 种前沿基线并配备深入的消融与定性可视化。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰，动机与神经生物学机制紧密挂钩，数学公式推导与模块边界交代非常严谨。
价值: ⭐⭐⭐⭐⭐ 为解决多模态大模型的表征纠缠与复杂视觉推理瓶颈开辟了一条无需全量微调的新范式。