Enhancing Gaze Reasoning in Vision Foundation Models for Gaze Following¶

会议: NeurIPS 2026
arXiv: 2605.22607
论文: https://arxiv.org/abs/2605.22607
代码: https://github.com/shijing-wang/HCloRA
领域: VLM Reasoning
关键词: 视线跟随、视觉基础模型、凝视推理、局部低秩自适应、锥外惩罚

一句话总结¶

针对视觉基础模型在视线跟随任务中容易依赖场景语义显著性走“语义捷径”的致命缺陷，本文提出头部条件局部LoRA（HCLoRA）与锥外几何惩罚（Out-of-Cone Penalty），在冻结骨干场景语义的前提下定向强化头部特征的凝视几何推理，在目标非显著场景下取得显著性能突破。

研究背景与动机¶

视线跟随（Gaze Following）旨在依据场景图像与目标人头部位置，精准定位其视线落点，在人机交互、行为理解及辅助系统中具有不可替代的作用。近年来，基于大规模预训练的视觉基础模型（如 DINOv2、MultiMAE）凭借强大的全局上下文表征与语义先验，极大地推动了视线跟随架构的精简与性能提升，代表性方法如 GazeLLE 仅通过冻结的基础模型骨干与轻量解码器便刷新了主流基准指标。

然而，强劲的基准得分并不意味着基础模型掌握了可靠的物理凝视推理能力。作者深入分析高误差失败样本后发现了一个普遍的系统性偏差：现有方法严重依赖“语义捷径”（Semantic Shortcut）。模型往往将高响应置于被操作物体、交互中心等显著前景区域；当目标人物的真实视线恰好与这些显著物体吻合时，模型表现优异，但一旦人物看向非显著背景、地面或偏离交互焦点的空白区域时，模型便频频失准，甚至指向人物视线反方向的显著物体。通过利用 Qwen3-VL-32B 对场景做语义一致性切分测试，发现所有主流模型在“非一致子集”上的误差均急剧恶化，揭示出模型本质上是在做上下文显著性联想，而非真正的视线几何追踪。

直觉上对视觉基础模型进行全量微调或普通 LoRA / Prompt 微调似乎能改善任务适配，但实验表明朴素微调往往导致全局语义退化，反使性能下降。核心 idea：不破坏预训练视觉骨干的全局场景表征，通过引入头部空间先验调制的局部残差自适应（HCLoRA），并配合辅助层输出的软几何锥外惩罚（Out-of-Cone Penalty），非刚性地引导模型压制视线锥外的伪响应，实现场景理解与凝视推理的协同。

方法详解¶

整体框架¶

本文方法基于 GazeLLE 解码框架构建，以冻结的 DINOv2 为特征提取骨干。整体流程包含三大核心阶段：输入图像与目标人物头部检测框；利用空间高斯核构建头部先验，在基础模型内部各层注入头部条件局部自适应更新；在骨干网络后部层挂载轻量辅助预测头，利用基于真值视线方向构建的软视角锥进行锥外惩罚监督，最终将调优后的场景与头部特征送入轻量解码器生成二维凝视热图。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与头部框 b"] --> B["头部空间软先验构建<br/>高斯引导图 H(u,v)"]
    B --> C["头部条件局部自适应 HCLoRA<br/>低秩下投影与掩码空间调制"]
    C --> D["冻结基础模型特征更新<br/>Y = W(X) + (X A ⊙ M) B"]
    D --> E["辅助分支：锥外几何惩罚<br/>抑制视线锥 C(p) 外无效概率"]
    D --> F["轻量热图解码器<br/>最终凝视目标热图预测"]
    E -.->|训练期正则化梯度| C
    F --> G["多任务输出：视线热图与视野内/外判定"]

关键设计¶

1. 头部条件局部 LoRA（HCLoRA）：空间局部化低秩特征自适应 视觉基础模型在通用预训练中沉淀了极其优质的场景级语义表征，若直接采用常规 LoRA 对投影矩阵进行全局无差别微调，极易破坏非头部区域的场景特征分布，导致模型丢失上下文理解优势。为此，HCLoRA 将微调严格限制在头部相关 token 上，而在场景背景 token 上完全保持原始权重的冻结输出。

具体而言，给定输入 token 序列 $\mathbf{X} \in \mathbb{R}^{N \times d}$ 与预训练投影 $W(\cdot)$，更新形式为： $$\mathbf{Y} = W(\mathbf{X}) + \bigl(A(\mathbf{X}) \odot \mathbf{M}(b)\bigr) \mathbf{B}$$ 其中 $A(\mathbf{X}) = \mathbf{X}\mathbf{A} \in \mathbb{R}^{N \times r}$ 为低秩降维特征（$\mathbf{A} \in \mathbb{R}^{d \times r}, \mathbf{B} \in \mathbb{R}^{r \times d}$ 且 $r \ll d$）。空间调制矩阵 $\mathbf{M}(b) \in \mathbb{R}^{N \times r}$ 由头部检测框 $b$ 的中心 $(c_x, c_y)$ 与尺度 $(s_x, s_y)$ 动态衍生： $$H(u,v) = \exp\left(-\frac{(u-c_x)^2}{2s_x^2 + \epsilon} - \frac{(v-c_y)^2}{2s_y^2 + \epsilon}\right)$$ 该二维连续高斯引导图经轻量门控网络映射后拓展为调制权重 $\mathbf{M}(b)$。通过在升维矩阵 $\mathbf{B}$ 之前与下投影特征按元素相乘，微调能量被高度集中于头部空间邻域，使得网络专注提取人脸朝向与微小眼动线索，同时完好保留全图场景 token 的原始泛化表征。

2. 锥外惩罚（Out-of-Cone Penalty）：解耦分布强加的软几何一致性监督 仅依靠 HCLoRA 定向调优头部 token 仍不足以确保其学到严格的几何凝视语义。传统凝视辅助监督有两种常见思路：一是直接回归三维凝视向量，但由于解码器需要将一维方向向量隐式重映射回二维空间热图分布，存在表征不对齐的瓶颈；二是构造以视线为轴的固定锥状注意力热图作为伪真值进行回归，但这会对中间特征施加过强的刚性几何约束，即使模型中间层成功聚焦于落点真值，也会因未铺满整个刚性圆锥而遭受巨大的损失惩罚。

本文提出的锥外惩罚（OOC Penalty）彻底改变了这一监督范式：在基础模型最后 $L$ 个自适应层外挂轻量辅助头 $f_{\text{aux}}^{(l)}$，输出归一化的空间证据分布 $\hat{\mathbf{P}}^{(l)} = \text{Softmax}_{\text{spatial}}\left(f_{\text{aux}}^{(l)}(\mathbf{Z}^{(l)})\right)$。接着，依据人头中心 $\mathbf{h}$ 与真值落点 $\mathbf{g}$ 构筑归一化方向 $\mathbf{d} = (\mathbf{g}-\mathbf{h})/(\|\mathbf{g}-\mathbf{h}\|_2 + \epsilon)$，计算任意空间位置 $\mathbf{p}$ 沿光线的投影距离 $t(\mathbf{p}) = (\mathbf{p}-\mathbf{h})^\top \mathbf{d}$ 及垂直残差 $d_\perp(\mathbf{p}) = \|(\mathbf{p}-\mathbf{h}) - t(\mathbf{p})\mathbf{d}\|_2$。由此构建光滑视线锥掩码： $$C(\mathbf{p}) = \sigma\left(\alpha \left(\max(t(\mathbf{p}), 0)\tan\frac{\theta}{2} - d_\perp(\mathbf{p})\right)\right) \cdot \sigma(\alpha t(\mathbf{p}))$$ 其中第一项以角度 $\theta$ 限定正向锥体边界，第二项彻底切断人头后方的反向响应。最终惩罚定义为落在几何允许锥体之外的全部概率质量： $$\mathcal{L}_{\text{OOC}}^{(l)} = \sum_{\mathbf{p}} \hat{\mathbf{P}}^{(l)}(\mathbf{p}) \bigl(1 - C(\mathbf{p})\bigr)$$ 该机制不对锥内概率形态做任何假设，只在预测发生明显物理悖离（如看向背后显著物体）时施加强烈惩罚，给予了解码器高度的语义自适应自由度。

损失函数 / 训练策略¶

模型整体训练损失由主凝视热图二值交叉熵 $\mathcal{L}_{\text{heat}}$、可选的视野内/外判定损失 $\mathcal{L}_{\text{in/out}}$ 以及各辅助层锥外正则项加权组成： $$\mathcal{L} = \mathcal{L}_{\text{heat}} + \beta \mathcal{L}_{\text{in/out}} + \lambda \frac{1}{L} \sum_{l=1}^{L} \mathcal{L}_{\text{OOC}}^{(l)}$$ 在超参数设置上，辅助监督挂载在最后 $L=4$ 个自适应层，损失权重设为 $\lambda = 0.02$；软圆锥顶角设为 $\theta = 30^\circ$，边界锐度系数 $\alpha = 40$。输入分辨率统一为 $448 \times 448$。在 GazeFollow 数据集上使用 Adam 优化器配合余弦退火策略训练 15 个 epoch，batch size 为 60；在 VideoAttentionTarget 数据集上基于 GazeFollow 预训练权重先微调 in/out 分支 3 个 epoch，再以微小学习率联合微调非骨干参数 5 个 epoch。

实验关键数据¶

主实验¶

论文在 GazeFollow 与 VideoAttentionTarget (VAT) 两个权威基准上进行了详尽评测，并利用基于大模型提示的语义一致性判定将评估集细分为一致子集（Consistent）与非一致子集（Inconsistent）。下表展示了 GazeFollow 上的核心性能对比：

方法	骨干/类型	一致子集 Avg. L2 ↓	一致子集 Min. Ang. ↓	非一致子集 Avg. L2 ↓	非一致子集 Min. L2 ↓	非一致子集 Avg. Ang. ↓	非一致子集 Min. Ang. ↓	全集 Avg. L2 ↓
Chong et al.	CNN	0.1194	7.41°	0.1731	0.0914	23.18°	9.25°	0.137
Miao et al.	CNN+Heatmap	0.1044	5.63°	0.1601	0.0795	21.82°	7.83°	0.123
Sharingan	MultiMAE	0.0958	4.96°	0.1536	0.0745	17.39°	7.37°	0.113
GazeLLE	DINOv2 (ViT-B)	0.0834	3.37°	0.1519	0.0664	21.09°	7.22°	0.104
GazeLLE + FT	DINOv2 全量微调	0.0835	3.86°	0.1434	0.0655	20.67°	7.02°	-
GazeLLE + LoRA	DINOv2 标准LoRA	0.0789	3.22°	0.1487	0.0667	20.55°	6.86°	-
本文 (ViT-B)	DINOv2 + HCLoRA + OOC	0.0777	3.19°	0.1353	0.0547	18.00°	4.85°	0.097
本文 (ViT-L)	DINOv2 + HCLoRA + OOC	0.0709	2.58°	0.1271	0.0498	17.36°	4.44°	0.090

在 VAT 数据集上，针对最能凸显视线推理难度的非一致子集，本文 ViT-B 模型将 L2 误差从基线 GazeLLE 的 0.1670 削减至 0.1513，角度误差从 24.21° 显著降至 18.34°。同时在全集上的可训练参数量仅增加极微小的 0.9M（从 2.8M 增至 3.7M），以纯 RGB 输入大幅超越了此前各类依赖深度图（D）与人体姿态（P）的复杂多模态方法。

消融实验¶

在 GazeFollow 数据集上对各个设计组件与辅助监督策略展开了严格的消融分析：

配置	一致子集 AUC ↑	一致子集 Avg. L2 ↓	非一致子集 AUC ↑	非一致子集 Avg. L2 ↓	非一致子集 Min. Ang. ↓	说明
基线 (GazeLLE ViT-B)	0.9689	0.0834	0.9270	0.1519	7.22°	冻结骨干+基础解码器
+ HCLoRA	0.9677	0.0786	0.9303	0.1383	5.72°	头部局部调制带来非一致子集显著增益
+ HCLoRA + OOC惩罚 (Full)	0.9696	0.0777	0.9340	0.1353	4.85°	软几何抑制进一步消除方向偏离
替代项：Gaze-Vector回归	0.9682	0.0790	0.9318	0.1378	5.42°	向量与空间热图表征不对齐，收益受限
替代项：Gaze-Cone刚性监督	0.9678	0.0777	0.9304	0.1385	5.26°	强行拟合圆锥破坏特征，非一致L2无改进

关键发现¶

非一致子集成为真正的能力分水岭：在目标与语义显著物体吻合的样本上，各类先进模型差距不大；但一旦测试真实场景下看向偏僻角落或虚空的非一致样本，基线方法的误差激增近一倍。本文提出的方案在非一致子集上将最小角度误差从 7.22° 压制至 4.85°（相对降幅达 32.8%），充分证明凝视推理能力的增强。
角度误差大偏差样本大幅减少：在大角度偏差统计（误差超过 $30^\circ$）中，GazeLLE 存在 96 个严重偏航样本；加入 HCLoRA 后降至 70 个，联合 OOC 惩罚后锐减至 52 个，几乎降低了一半。
软性惩罚优于刚性约束：对比表4可见，刚性 Gaze-Cone 会过度惩罚那些已经命中真值但在锥内分布未铺满的特征，导致非一致集 Avg. L2 停滞在 0.1385；而 OOC 仅对锥外惩罚，给予模型内部表征自适应分布的宽容度，取得了最佳效果。

亮点与洞察¶

透视视觉基础模型的“语义捷径”幻觉：敏锐地指出了预训练基础模型在视线跟随中看似高分实则依赖显著性物体联想的根本弊病，并通过语义探测器（Qwen3-VL）首次量化了该评估偏置。
结构保持与局部进化的平衡艺术：设计了以头部高斯分布空间调制的 HCLoRA，既避免了全量微调对基础模型全局世界知识与场景语义的灾难性破坏，又赋予了头部 token 足量表征容量以捕捉细微朝向。
单边松弛的几何正则化技巧：OOC 惩罚巧妙利用非对称原则，只惩罚错误方向（锥外）的残余概率，不对正确方向内的概率分布做刚性假设，这种正则化思路在连续几何指向与离散热图预测结合的跨模态任务中极具复用推广价值。

局限与展望¶

极端低质量头部难以提取视线先验：当目标人物头部过小、严重模糊、处于大面积阴影或背对相机时，高斯空间先验引导的特征难以提取有效眼球/面部取向，仍会面临几何失效。
单视角 2D 锥投影的透视歧义：当前锥体是在 2D 投影平面上定义的，当人物沿视线深度方向直视镜头或发生强烈近大远小的三维透视投影畸变时，2D 视线锥无法完美契合真实的 3D 视野空间。
未来方向：可进一步探索结合单目度量深度估计的 3D 软视锥投影，并引入时序头部微动一致性，使模型在动态复杂多交互场景下具备真正的因果几何追踪能力。

评分¶

新颖性: ⭐⭐⭐⭐☆ 敏锐指出 VFM 视线跟随的语义捷径问题，提出的头部条件低秩微调与锥外单边软几何惩罚方案针对性极强。
实验充分度: ⭐⭐⭐⭐⭐ 构建了一致性/非一致性诊断基准，涵盖主实验、组件消融、监督机制对比、超参敏感性及大角度样本统计，证据链闭环。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，问题挖掘直指本质，公式推导严谨且实验图表组织极具说服力。
价值: ⭐⭐⭐⭐⭐ 对基于基础模型的细粒度人类行为感知与空间注意力推理任务具有重要的启发与基石价值。