Attention Alignment Between Humans and Vision-Language Models¶

会议: NeurIPS 2026
arXiv: 2606.17410
OpenReview: https://openreview.net/forum?id=6839tYClgV
论文: https://arxiv.org/abs/2606.17410
领域: 多模态VLM
关键词: 视觉注意力对齐 / 视觉语言模型 / 眼动追踪 / 空间注意力瓶颈 / 神经编码模型

一句话总结¶

本文通过构建编码器（CNN vs. ViT）与解码器（LSTM 单门控加性注意力 vs. Transformer 多头交叉注意力）的 \(2 \times 2\) 析因实验并对比前沿 VLM，发现解码器的注意力瓶颈结构是决定模型与人类眼动注视点空间对齐的主导因素（提升 40–50 个百分点），并揭示了注视对齐度与脑神经响应预测力之间的显著解离。

研究背景与动机¶

生物视觉系统的注意力分配由自下而上的感觉驱动机制与自上而下的任务目标引导共同决定。在计算认知神经科学与计算机视觉领域，过去针对人工神经网络与生物视觉对齐的研究大多聚焦于自下而上的特征表征，探讨在控制训练分布后卷积神经网络（CNN）与视觉 Transformer（ViT）在灵长类腹侧流响应或人类辨别错误模式上的差异。然而，单纯的感觉表征无法解释人类在具体任务情境中如何主动选择注视位置，关于模型内部自上而下的注意力机制与自下而上的视觉编码偏差如何相互作用并塑造空间选择行为，学界此前缺乏系统性的因果隔离分析。

视觉语言模型（VLM）在基于视觉内容生成语言描述时，其注意力分配天然由语义上下文和生成目标驱动，为分离这两大成分提供了理想的试验台。在架构设计上，解码器自上而下的注意机制存在两种代表性范式：一种是以 LSTM 为代表的单一加性注意力（Bahdanau Attention），在每个生成步强行引入空间信息瓶颈，迫使模型在有限维度中汇总视觉证据；另一种是现代 Transformer 解码器的多头交叉注意力，将空间选择分散在多个并行注意力头中，不存在单点信息压缩瓶颈。与此同时，前端编码器的归纳偏置（CNN 的局部平移不变性 vs. ViT 的全局自注意力交互）也会向解码器输入结构迥异的底层空间特征。这引出了核心矛盾：模型更像人类眼动的关键，究竟是来自自上而下施加的空间注意力单门控瓶颈，还是底层自下而上的局部表征偏差？此外，更符合人类注视轨迹的模型，是否就代表其在神经机制层面更逼近人脑的视觉加工过程？

为了在严格控制训练分布与任务目标的条件下解答这一问题，本文将两类主流编码器与两类解码器进行正交交叉，并在通用场景描述和推断他人注意力的社交注视任务中收集高精度人类眼动数据。核心 idea：通过构建 CNN/ViT 编码器与 LSTM/Transformer 解码器的 \(2\times2\) 析因隔离实验，证明自上而下的解码器注意力瓶颈是决定人机注视对齐的主导机制，同时揭示行为层面的注视点对齐度与大脑腹侧/背侧皮层神经预测精度之间存在非对称解离。

方法详解¶

整体框架¶

本文设计了一套解耦自下而上感觉表征与自上而下任务引导的析因实验评估体系。整体输入为统一规格的自然图像与多阶段文本提示，输出包括模型生成的文本描述、对应时序展开的空间注意力热力图以及预测的人脑全脑皮层神经活动反应。框架首先通过统一的视觉骨干将输入图像映射为 \(14 \times 14 = 196\) 的离散空间特征网格；随后根据实验配置交由带单门控注意力的 LSTM 解码器或多头 Transformer 解码器进行自回归生成并提取空间注意力分布；最后将抽取出的二维空间注意力分别送入行为对齐评测（与 EyeLink 1000 采集的真实人类注视点计算 Spearman 秩相关及香农熵）、单侧半野空间忽略损伤模拟实验，以及结合 TRIBE v2 神经基础模型的大脑皮层编码回归分析。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与任务提示<br/>200张COCO图像 + 描述/社交注视指令"] --> B["自下而上特征编码：2×2析因设计<br/>ResNet-101 (CNN) vs. ViT-B/16 (ViT)"]
    B --> C["自上而下注意力解码：单门控瓶颈 vs. 分散多头<br/>LSTM (Bahdanau瓶颈) vs. Transformer (多头交叉)"]
    C --> D["时序注意力抽取与空间对齐评估<br/>生成步平均 → 256×256双三次插值 → 秩相关/熵"]
    D --> E["空间偏侧忽略损毁模拟<br/>从左至右逐列空间掩码 (7%–100%)"]
    D --> F["TRIBE v2全脑皮层神经编码与方差分解<br/>带状岭回归：空间注意力 (Where) vs. CLIP (What)"]

关键设计¶

1. 架构正交解耦与四阶段对齐训练：控制自下而上表征与自上而下目标的一致性

为了严格隔离不同架构组件的影响并排除训练数据分布的干扰，研究构建了统一特征维度与空间分辨率的 \(2 \times 2\) 模型族：ResNet-101 提取 \(14 \times 14\) 空间特征图（2048 维经自适应平均池化），ViT-B/16 提取 196 个 patch token（768 维投影至 512 维）。四种变体（CNN-LSTM、CNN-Transformer、ViT-LSTM、ViT-Transformer）统一采用 512 维隐层，且均在严格一致的三阶段递进式曲线上训练： - 阶段 1（描述预训练，冻结编码器）：在 COCO 2014 训练集（约 414k 图文对）上从零训练解码器； - 阶段 2（描述微调，解冻编码器顶层）：解冻 ResNet 的 res3–res5 模块或 ViT 的后 6 层（第 6–11 块）及 LayerNorm/Patch 嵌入层，使用验证集 BLEU-4 实施早停； - 阶段 3（社交微调，解冻编码器顶层）：在实验室专门采集的社交意图注视描述数据集（17 名被试注视并标注他人注意力状态，共约 3,400 对图文）上微调。此外，引入未经微调的开箱即用前沿 VLM 作为强基线：Molmo 7B-D 与 Qwen3.5 9B，用以评估经过海量多模态数据训练后的空间定位注意力是否自发呈现人类注视特性。

2. 注意力门控瓶颈机制与空间权重提取：单门控压缩 vs. 分散式多头选择

LSTM 解码器与 Transformer 解码器在提取视觉信息时采取了根本不同的注意力计算哲学。在 LSTM 变体中，第 \(t\) 个词生成步采用 Bahdanau 加性单门控机制，将第 \(i\) 个空间位置的编码特征 \(v_i\) 与上一步解码隐状态 \(h_{t-1}\) 映射后经激活函数加和，产生归一化的 196 维注意力概率分布 \(\alpha_{t, i}\)：

\[\alpha_{t, i} = \frac{\exp\left(w_a^\top \tanh\left(W_v v_i + W_h h_{t-1}\right)\right)}{\sum_{j=1}^{196} \exp\left(w_a^\top \tanh\left(W_v v_j + W_h h_{t-1}\right)\right)}\]

该机制构成了强制性的信息瓶颈：模型必须在单个通道内对全部空间网格赋予权重，且生成步输出依赖于经加权求和的单一视觉上下文向量 \(c_t = \sum_i \alpha_{t, i} v_i\)。相比之下，4 层 8 头的 Transformer 解码器通过多头交叉注意力将注意力分配分散在 \(4 \times 8 = 32\) 个并行子空间中，每个头可独立聚焦不同的局部特征，不存在全域标量汇聚瓶颈。为了与人类眼动热力图对比，LSTM 在整个序列长度 \(T\) 上对 \(\alpha_t\) 进行时间平均，得到全图注意力权重向量 \(\bar{\alpha} = \frac{1}{T}\sum_{t=1}^T \alpha_t \in \mathbb{R}^{196}\)；Transformer 则提取最终轮在社交任务上与人类注视相关性最高的最优注意力头（CNN-Transformer 对应第 3 层第 5 头 L3H5，ViT-Transformer 对应第 3 层第 8 头 L3H8），双三次插值重采样至 \(256 \times 256\) 并做 Min-Max 归一化。

3. 认知损伤启发测试：单侧半野空间忽略（Hemispatial Neglect）模拟

临床神经心理学中，右侧颞顶叶皮层损伤常引发单侧半野空间忽略，患者视觉输入完整却无法将注意力导向左侧视野。为了探究模型注意力的空间接地是否真正支配语义生成，本文在推理阶段模拟该病理表征：在 \(14 \times 14\) 的空间注意力网格上，自最左侧第 1 列起逐列施加遮蔽，将掩码范围从 \(7.1\%\)（1/14 列）逐步加重至 \(100\%\)（14/14 列全遮蔽）。在 LSTM 解码器中，掩码位置在 Softmax 后被设为数值下限 \(10^{-3}\) 并对剩余位置重归一化；在 Transformer 解码器中，掩码网格的交叉注意力 logits 在 Softmax 前被置为 \(-\infty\)。通过计算损伤后生成文本与未损毁基线文本之间的 Sentence-BERT（paraphrase-MiniLM-L6-v2）余弦相似度，量化各架构对局部注意机制丢失的敏感性与功能冗余度。

4. 神经编码模型与方差分解：解离空间定位（Where）与语义识别（What）

为验证眼动注视对齐是否等价于神经表征对齐，本文采用 TRIBE v2 神经基础模型生成 200 张刺激图像在 fsaverage5 皮层表面 20,484 个顶点处的模拟 fMRI BOLD 响应。随后构建双带状岭回归（Banded Ridge Regression）编码模型： - 特征带 1（空间注意力）：扁平化的 196 维社交任务注意力热力图向量，表征自上而下的空间优先级； - 特征带 2（语义表征）：CLIP ViT-L/14 提取的 768 维图像特征嵌入，表征自下而上的语义与物体类别内容。

通过 5 折交叉验证（160 训练 / 40 测试）与嵌套 4 折正则化参数网格搜索（\(\alpha \in [10^1, 10^{10}]\)），计算全脑平均解释方差 \(R^2\)。进一步利用方差分解技术（Variance Partitioning）将总方差剥离为三个不重叠的部分：注意力独占方差（Unique Attention, "Where"）、CLIP 独占方差（Unique CLIP, "What"）以及两者的共有方差（Shared）。结合 200 次排列检验（Permutation Test）与 Benjamini-Hochberg FDR 校正（\(q < 0.05\)），精确制导空间注意力在大脑背侧注视控制回路（额叶眼动区 FEF、顶上小叶）与腹侧流识别通路（梭状回、外侧枕颞皮层）中的功能投射。

训练策略¶

优化器与学习率：Adam 优化器；解码器学习率设为 \(4 \times 10^{-4}\)，解冻后的编码器学习率设为 \(10^{-4}\)；
正则化与防过拟合：Dropout 设为 0.5，梯度裁剪阈值为 5.0；
批量与调度：阶段 1 批大小为 80，阶段 2/3 批大小为 32；若验证集 BLEU-4 连续 8 个 epoch 无改善则学习率减半，连续 20 个 epoch 无改善触发早停；
推理策略：所有模型在生成描述时均采用集束搜索（Beam Search，束宽 \(k=5\)）。

实验关键数据¶

主实验¶

主实验对比了各模型在社交任务（Social Task，49 名被试中的 27 名）与通用描述任务（Describe Task，22 名被试）中与真实人类眼动热力图的 Spearman 秩相关系数 \(M\) 及达到人类噪声上限的百分比（Noise Ceiling: 社交任务 \(0.284\)，描述任务 \(0.262\)），同时测定注意力空间分散程度（归一化香农熵 \(H\)）与跨任务迁移自适应度（两任务注意力图的 Spearman 相关系数，越低代表越能针对任务动态重构注意力，人类基线为 \(0.247 \pm 0.004\)）。

模型架构	编码器	解码器机制	社交对齐 \(M\) (%上限)	描述对齐 \(M\) (%上限)	空间熵 \(H\) (社交/描述)	跨任务一致性 \(M\) (更低更好)
CNN-LSTM	ResNet-101	单门控加性 (Bahdanau)	0.238 (85.3%)	0.223 (86.6%)	0.999 / 0.999	0.745 ± 0.010
ViT-LSTM	ViT-B/16	单门控加性 (Bahdanau)	0.223 (79.7%)	0.208 (80.3%)	0.999 / 0.999	0.767 ± 0.006
CNN-Transformer	ResNet-101	多头交叉 (L3H5)	0.166 (58.5%)	0.153 (58.5%)	0.840 / 0.855	0.633 ± 0.013
ViT-Transformer	ViT-B/16	多头交叉 (L3H8)	0.112 (39.5%)	0.138 (52.4%)	0.908 / 0.944	0.383 ± 0.011
Molmo 7B-D	SOTA VLM	多层多头 (L9H24)	0.215 (75.7%)	0.215 (82.1%)	0.863 / 0.872	0.863 ± 0.005
Qwen3.5 9B	SOTA VLM	多层多头 (L15H12)	0.180 (63.4%)	0.139 (53.1%)	0.901 / 0.943	0.686 ± 0.017
人类参考 (Human)	生物视觉	灵长类注视控制	0.284 (100.0%)	0.262 (100.0%)	0.552 / 0.615	0.247 ± 0.004

消融实验：空间忽略损伤与皮层神经预测方差分解¶

下表汇报了在渐进式左侧半野空间忽略（Ablation）下各模型描述语义保持度，以及 TRIBE v2 神经编码模型全脑平均解释方差与分解结果。

评估维度 / 模型配置	弱损伤保持度 (7%掩码)	强损伤保持度 (50%掩码)	极度损伤保持度 (100%全掩)	全脑神经 \(R^2\) (Social)	空间独占方差 (Where \(R^2\))	语义独占方差 (What \(R^2\))	共有方差 (Shared \(R^2\))
CNN-LSTM	0.978	0.812	0.435	0.061	0.004	0.210	0.078
ViT-LSTM	0.971	0.795	0.418	0.054	0.003	0.210	0.071
CNN-Transformer	0.985	0.864	0.621	0.098	0.009	0.210	0.090
ViT-Transformer	0.992	0.915	0.754	0.072	0.006	0.210	0.082
人类注视平均图	—	—	—	0.095	—	—	—

注：Sentence-BERT 生成文本相似度测定显示，所有模型未受损时图文描述质量极度相近（余弦相似度均在 \(0.48 \sim 0.52\) 区间，与人类间相似度 \(0.505 \sim 0.507\) 相当），排除了生成质量对注意力的混淆。

关键发现¶

解码器注意力瓶颈是注视对齐的压倒性决定因素：固定编码器时，LSTM 相比 Transformer 使人类注视对齐度绝对提高 25–45 个百分点（达到上限的 80–87% vs. 40–59%）；而固定解码器时，CNN 仅比 ViT 高出 3–7 个百分点（5–20% 的上限差距）。
空间聚焦度与位置优先级的严重割裂：人类眼动呈现极度锐利的注视焦点（熵值 \(H \approx 0.55 \sim 0.61\)，有效注视点仅占 \(18 \sim 26\) 个网格）；LSTM 解码器虽然空间排序极准，但空间权重近乎全图均匀弥散（\(H \approx 0.999\)，覆盖全部 195 个有效网格）；Transformer 虽能形成集中焦点（\(84 \sim 146\) 个网格），但焦点位置常与人类注视偏差。
任务自适应性与注视对齐的权衡反转：高对齐的 LSTM 模型在社交与描述任务间的注意力分布高度雷同（相关性高达 \(0.745 \sim 0.767\)）；而对齐度最低的 ViT-Transformer 展现出最强烈的任务自适应能力（相关性仅 0.383，最接近人类的 0.247）。
行为对齐与神经预测的惊人解离：注视点最像人类的 LSTM 模型，在全脑皮层神经信号预测上大幅落后；反而是注视对齐中等的 CNN-Transformer 取得了最高的全脑神经预测值（\(R^2=0.098\)），甚至比肩真实人类眼动热力图（\(R^2=0.095\)）。
背侧与腹侧流的表征交叠：方差分解证实“What”（CLIP 语义嵌入，\(R^2=0.21\)）主导全脑反应，特别是在上颞沟（STS）和额下回（IFG）等高级语言区；“Where”（注意力空间热力图，\(R^2=0.009\)）高度局限于枕极与早期视觉皮层，并在额叶眼动区（FEF）与顶上小叶与语义强烈交叠（共有 \(R^2=0.09\)），挑战了经典背腹双流绝对隔离的传统认知。

亮点与洞察¶

解耦了感觉表征与认知控制的归纳偏置：首次在完全匹配的训练分布下，通过 \(2 \times 2\) 析因实验界定了自上而下注意力瓶颈与自下而上卷积特异性对人类注视对齐的贡献权重，彻底理清了解码器机制的主导地位。
揭示了“高对齐”背后的弥散假象：实验深刻指出了单凭 Spearman 秩相关评估注意力对齐的陷阱——LSTM 依靠全局弥散但单调的宏观渐变获得了极高的相关系数，但在真实物理聚焦性与跨任务灵活性上显著弱于 Transformer。
确立了行为眼动与脑皮层编码的“双重解离”：证明计算视觉模型中“行为像人”并不等同于“神经内部机制像人”，为连接认知心理学眼动实验与大模型表征可解释性树立了严谨的范式。

局限与展望¶

Transformer 最优注意力头的事后选择偏置：作者在评估 Transformer 解码器时，通过在社交任务训练终点筛选相关性最高的单头进行评估，这种 head selection 存在微弱的任务内循环验证，可能略微高估了该头在社交任务上的独立表现。
神经编码分析基于合成仿真基础模型：研究依托 TRIBE v2 这一合成神经基础模型产生预测信号，虽经大规模跨模态验证，但仍属于 In-Silico 虚拟神经仿真，尚待真实被试的同步 fMRI 与眼动联测数据进行实证校准。
动态注视时序（Scanpath）的缺失：当前研究将时序生成步的注意力静态平均为整图热力图，未捕捉人类眼跳（Saccade）与注视停留的动态时间动力学轨迹。未来可探索将单步注意力作为循环眼动序列预测器。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次在统一训练受控条件下通过 2x2 析因设计系统拆解 VLM 自上而下与自下而上注意力对齐机制，并跨界连接神经预测]
实验充分度: ⭐⭐⭐⭐⭐ [结合 49 名真实眼动实验、6 类大模型横向对比、偏侧忽略病理模拟及 TRIBE 全脑方差分解，证据链完备扎实]
写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，严谨剖析了相关系数高与空间弥散之间的矛盾，结论客观深刻]
价值: ⭐⭐⭐⭐⭐ [对认知神经科学、可解释多模态大模型架构设计及人机视觉对齐评估指标具有深远的启发意义]