跳转至

When a Zero-Shooter Cheats: Improving Age Estimation via Activation Steering

会议: NeurIPS 2026
arXiv: 2605.17658
论文: https://arxiv.org/abs/2605.17658
领域: 人体理解
关键词: 人脸年龄估计, 视觉语言模型, 捷径学习, 激活引导, 任务向量

一句话总结

揭示了视觉语言模型在零样本人脸年龄估计中普遍存在的“身份捷径”缺陷，提出在推理期利用浅层任务向量对隐状态执行激活引导，抑制身份记忆检索并恢复对视觉衰老特征的依赖，在主流基准上实现最高 25.3% 的绝对误差降幅。

研究背景与动机

随着多国法律法规（如欧盟与澳大利亚关于未成年人网络内容准入与安全监管条例）对网络平台年龄核验提出强制要求，基于面部图像的自动年龄估计已成为关键安全基础设施。传统方案依赖专用卷积神经网络或视觉 Transformer（如 MiVOLO），而近期研究表明通用零样本视觉语言模型（VLM，如 LLaVA、Qwen-VL、Gemma 系列）在未经过任何任务特异性训练的前提下即可超越专用模型，迅速刷新了基准表现。然而，大模型的黑盒特性使得这种性能跃升伴随着难以察觉的内在偏见与非预期行为。

本文深入探究发现，VLM 在处理人脸年龄估计任务时存在严重的“身份捷径（identity shortcut）”机制：模型并未像人类或传统视觉模型那样依据皮肤皱纹、面部轮廓等视觉衰老特征进行推理，而是倾向于先识别人脸身份，再从预训练预存的世界知识中调取该人物在训练知识截断期（knowledge cutoff）的真实年龄。这种捷径带来了三重危害：其一，名人在不同历史时期的照片会被固定预测为其近期年龄，引入系统性时序偏差；其二，非公众人物若与某位知名人物相貌相近，模型会强行锚定错误身份并给出荒谬预测；其三，现有学术基准（如 CelebA、AgeDB）普遍由名人图片主导，名人知识的抗扰性使得 VLM 在添加强噪声或对抗扰动后预测几乎不变，制造出虚假的“超强鲁棒性”，严重误导了真实部署的安全性评估。

要消除身份捷径，直接从训练数据中剔除人脸知识或采用机器遗忘（machine unlearning）技术需要极高的算力开销且容易损害通用能力；而在提示词中要求模型“忽略已知身份、仅看面部特征”等 Prompt 工程手段经实测完全无效。本文的核心 idea 是：在推理阶段提取模型在前序层编码的已知与未知身份任务向量差向，通过隐状态激活引导（activation steering）直接抑制身份记忆检索子空间，迫使模型基于真实面部视觉特征进行零样本年龄推断。

方法详解

整体框架

本文首先形式化建模身份捷径的影响幅度，并将其归结为模型在处理已知名人与未知人物时激活了截然不同的任务向量表征。为了在推理阶段无须重新微调即可切断身份检索，方法通过聚合已知身份集与未知身份集在模型前半层末尾提示词位置的隐藏状态，计算表征任务迁移的差异引导向量；在正式推理时，将该引导向量按指定步长叠加到隐藏状态中，促使表征从“身份检索空间”偏移至“视觉属性估计空间”。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["人脸图像与年龄估计Prompt输入"] --> B["任务向量提取与表征<br/>抽取模型前一半层Prompt尾Token隐状态"]
    B --> C["身份偏差方向建模<br/>构建未知身份与已知身份的中心差向"]
    C --> D["推理期激活引导<br/>向隐状态注入反向偏置消除记忆检索"]
    D --> E["基于面部视觉线索的无偏年龄估计"]

关键设计

1. 任务向量提取与表征：捕获提示词末尾的浅层任务状态 现有针对语言模型情境学习与任务向量的研究表明，模型在提示词最后一个 Token 处的隐藏状态直接主导了任务意图的提取。本文将任务向量定义推广至依赖多模态输入的形式：将大模型分解为任务表征提取函数与最终预测函数，使得输出满足 \(f(x) = a(x, t(x, p))\)。与先前仅依靠单一特定隐藏层的工作不同，本文避免了繁琐的层索引超参网格搜索，直接抽取模型前半部分（前 50% 层深度）在 Prompt 末尾 Token 处的全部激活向量拼接为复合任务向量 \(t(x, p)\)。这种浅层表征策略既能稳定捕获上游对图像身份与任务意图的初始解码，又不会受到深层具体数值输出解码的噪声干扰。

2. 身份偏差方向建模：刻画已知与未知身份的表征偏移 为了精准分离出驱动模型走“身份检索”与走“视觉推断”的潜在方向，本文在已知身份数据集（如正确识别出名人的图像集合 \(K_f\)）和无名人出现的未知身份数据集（如普通公众图像集合 \(\mathcal{X} \setminus K_f\)）上分别提取任务向量，并计算其各自的经验期望中心： $\(t_k = \mathbb{E}_{x \sim K_f} [t(x, p)], \quad t_{\neg k} = \mathbb{E}_{x \sim \mathcal{X} \setminus K_f} [t(x, p)]\)$ 通过欧氏距离差值 \(\Delta_k(t) = \|t - t_{\neg k}\| - \|t - t_k\|\) 可以清晰量化任意输入样本在隐空间中偏向身份捷径的程度。实验表明，当样本靠近 \(t_k\)（即 \(\Delta_k(t) < 0\)）时，模型便倾向于调取记忆；甚至在完全不含名人的测试集上，仍有相当比例的样本被误分至已知身份的表征流中，从而触发双峰误差分布。方向向量 \(t_{\neg k} - t_k\) 构成了纠正这一偏差的基准指引。

3. 推理期激活引导：无须重训抑制身份记忆检索 针对模型在面对人脸时难以通过语言提示屏蔽记忆的问题，本文设计了一种推理期无缝介入机制。在模型前向传播过程中，直接对由当前输入计算出的浅层任务隐状态施加沿去偏方向的线性平移，以近似未知身份条件下的纯视觉估计分布： $\(f(x \mid \neg k) \approx a(x, t(x, p) + \alpha \cdot (t_{\neg k} - t_k))\)$ 其中 \(\alpha\) 为引导强度超参数。本文在未进入任何测试集的小型人脸验证集上经验性选定 \(\alpha = 3\)。该操作无需更新任何模型权重，推理时仅增加一次微小的向量加法运算，不仅彻底打破了模型对记忆年龄的固执锁定，而且成功抚平了非名人数据集上的双峰异常误差，将预测注意力强行导回面部皮肤细节等真实视觉线索。

实验关键数据

主实验

评估在包含名人图像的 AgeDB 数据集以及仅含非名人的 FG-Net 数据集上开展，对比默认推理模式与施加激活引导（Steered）后的平均绝对误差（MAE \(\pm\) 标准误，单位：岁）。

数据集 模型 默认预测 (Default) 激活引导 (Steered) 误差降幅
AgeDB LLaVA 1.5 (7B) 9.21 ± 0.06 8.93 ± 0.06 -3.0%
AgeDB QwenVL 2.5 (7B) 8.94 ± 0.06 7.78 ± 0.05 -13.0%
AgeDB Gemma 3 (4B) 8.48 ± 0.05 8.01 ± 0.05 -5.5%
AgeDB Qwen 3.5 (9B) 13.52 ± 0.09 10.72 ± 0.07 -20.7%
AgeDB Gemma 4 (31B) 6.50 ± 0.04 6.73 ± 0.04 +3.5%
FG-Net LLaVA 1.5 (7B) 7.06 ± 0.50 7.13 ± 0.49 +1.0%
FG-Net QwenVL 2.5 (7B) 9.03 ± 0.58 7.02 ± 0.50 -22.3%
FG-Net Gemma 3 (4B) 8.36 ± 0.57 6.24 ± 0.45 -25.3%
FG-Net Qwen 3.5 (9B) 8.80 ± 0.54 7.17 ± 0.48 -18.5%
FG-Net Gemma 4 (31B) 5.23 ± 0.38 5.08 ± 0.35 -2.9%

消融与分析实验

为了深入揭示各模型受到身份捷径污染的严重程度，论文统计了在完全不含名人的 FG-Net 以及知识截断后采集的无人机航拍非名人数据集 VideoScrape 上，各模型被判定为激活身份捷径（满足 \(P(t \in T_{\neg k}) < 0.1 \wedge P(t \in T_k) > 0.1\)）的样本比例；同时测算了已知身份捷径对预测结果的绝对偏差期望 \(\delta_k\)（基准为无名人先验的纯监督模型 MiVOLO）。

模型 身份捷径影响 \(\delta_k\) (岁) FG-Net 捷径触发率 (%) VideoScrape 捷径触发率 (%)
LLaVA 1.5 (7B) 0.25 6.98 6.82
QwenVL 2.5 (7B) 0.41 0.58 0.00
Gemma 3 (4B) 1.16 0.00 0.91
Qwen 3.5 (9B) -0.07 1.16 17.73
Gemma 4 (31B) 0.27 1.16 10.91
Gemini 3 Flash 1.45 - -

关键发现

  • 激活引导在几乎所有具备基础视觉能力的模型上均带来显著增益，平均绝对误差降低 10.8%，其中 Gemma 3 在非名人数据集 FG-Net 上实现了高达 25.36% 的误差削减。
  • 非名人数据集上的误差分布呈现明显的双峰现象（部分样本误差极大），而在实施激活引导后，第二峰明显被压低，误差曲线恢复为接近单峰的正态分布，有力证明该双峰源自对非名人的身份误认与记忆妄想。
  • 早期较弱模型（如 LLaVA 1.5）由于本身视觉特征提取能力欠缺，去除身份捷径后仅退回其较差的基础视觉水平，因此提升不明显；而参数规模更大、推理更强的模型（如 Qwen 3.5、Gemma 3）受身份捷径羁绊更深，去除捷径后释放出巨大的视觉泛化红利。
  • 在通用图像扰动与对抗攻击评测中，VLM 在名人子集上呈现出“不受扰动影响”的虚假高鲁棒性，而一旦扰动足够破坏身份辨识（或在非名人图像上测试），鲁棒性便断崖式下跌，且所有模型在极微弱对抗扰动（\(\epsilon < 1/255\)）下均彻底失效。

亮点与洞察

  • 概念洞察：首次将 VLM 在特定属性回归任务中的反直觉高分与“虚假鲁棒性”归因于“身份捷径”，揭露了大模型将视觉推断降级为实体辨识与事实检索的系统性隐患。
  • 机制设计：摆脱昂贵的模型重训或易损泛化能力的机器遗忘，创新性地将用于大模型知识编辑与情境学习的任务向量迁移至多模态视觉属性估计，构建了轻量级、无需梯度的推理期干预算子。
  • 迁移价值：这种在浅层隐状态中解耦“实体识别先验”与“底层感知属性”的思路，能够直接扩展至人脸属性分析（如身高、体重、情绪、健康指标）乃至更广泛的细粒度视觉事实判断任务中。

局限与展望

  • 依赖模型权重开放度：激活引导必须读取和修改前向传播中的隐层激活状态，这使其无法直接应用于仅提供黑盒 API 的闭源商用模型（如 Gemini、GPT 系列）。
  • 任务范围单一：当前验证主要聚焦在面部年龄估计这一典型回归任务上，未来需要扩展至性别、种族、体征等其他易受身份先验绑架的复杂多模态属性估计。
  • 引导超参数泛化性：当前使用固定的平移系数 \(\alpha=3\)，未来可探索样本自适应或置信度感知的动态引导强度调节。

相关工作与启发

  • vs MiVOLO / CNN-based Age Estimators (Pan et al., Kuprashevich et al.)：传统监督模型完全基于面部与身体像素训练，不存在跨模态实体世界知识，因而预测分布稳定、抗扰动特性在不同人群上一致，但对极端姿态与弱画质泛化受限；本文提出的去偏 VLM 既继承了大模型的开放域鲁棒表征，又消除了实体记忆引起的偏差。
  • vs Prompt-based Debias / VLM Robustness (Cui et al., Latif et al.)：先前工作试图通过丰富 Prompt 提示词引导 VLM 关注局部细节或依赖外部去噪预处理，但本文实验证实 Prompt 指令根本无法阻止模型激活底层的实体知识图谱记忆；激活引导在表示层直接截断捷径流向，是最直接有效的干预方式。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次揭示零样本 VLM 属性估计中的身份捷径缺陷与虚假鲁棒性，并首创性地利用任务向量实施激活引导去偏。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 种主流 VLM 与 2 种专用基准，覆盖 15 种通用图像噪声、对抗攻击与新采集的知识截断后真实人脸数据，验证严密。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，问题剖析深刻，数学形式化表达严谨清晰。
  • 价值: ⭐⭐⭐⭐⭐ 对未成年人网络安全合规落地的年龄核验系统具有重大预警意义，为 VLM 可靠属性推断提供了优雅实用的方案。

相关论文