Attention Transfer Is Not Universally Effective for Vision Transformers¶

会议: NeurIPS 2026
arXiv: 2605.07191
OpenReview: https://openreview.net/forum?id=0o4UJkkMvY
领域: 模型压缩
关键词: 视觉Transformer, 注意力迁移, 知识蒸馏, 架构匹配, 表示学习

一句话总结¶

本文系统重审了注意力迁移（Attention Transfer）在视觉 Transformer 中的有效性，揭示出注意力迁移并非普遍有效：在跨 11 个家族的 20 个教师模型评测中，有 4 个家族发生持续性迁移失效（表现低于随机初始化从头训练基线最多 5.1%），其根源在于教师与标准学生模型之间的“架构不匹配”，仅需在学生侧补齐教师特有的架构组件（如 LayerScale、PreLayerNorm）即可彻底逆转失效。

研究背景与动机¶

预训练视觉 Transformer（ViT）已成为现代计算机视觉表示学习的基石，但其训练通常依赖海量算力与大规模标注或无标注数据集。为了高效复用预训练表示，传统做法往往是全量加载教师模型的权重进行微调，但社区一直未能完全厘清究竟是预训练 ViT 中的哪些特定组件承载了核心的可迁移知识。近期一项重要研究提出了令人瞩目的结论：仅将预训练教师 ViT 的注意力模式通过复制（Attention Copy）或蒸馏（Attention Distillation）迁移至随机初始化的标准学生 ViT，就足以恢复教师全量权重的下游收益，这暗示着可迁移的知识本质上深植于 token 间的路由注意力模式中，其余参数在给定注意力路由后即可从头学出。

然而，这种引人入胜的结论是在极其有限且同质化的 ViT 结构上得出的。当将视线扩展到现代计算机视觉愈发多样的预训练 ViT 架构库时，一个核心矛盾浮现出来：注意力路由模式究竟是跨架构通用的轻量知识载体，还是对特定计算上下文高度敏感的局部表象？如果在不同网络家族间强制施加教师的注意力分布，学生模型是否总能将其转化为有效的特征表示？

本文针对这一根本疑问展开系统性求证，在由 11 个经典 ViT 家族、20 种预训练权重构成的广阔模型库上重新评测注意力迁移，结果打破了此前“普遍有效”的预设——注意力迁移在 7 个家族上持续成功，却在 4 个主流家族（DINOv2、DINOv2-wr、CLIP、BEiTv2）上发生全面失效，甚至显著落后于无迁移的从头训练基线。本文的核心 idea 是：注意力迁移并非架构无关的通用范式，其有效性严格受限于师生之间的“架构兼容性”，注意力模式只有在学生网络具备与教师一致的原生计算组件（如 LayerScale、PreLayerNorm）时才能正常发挥路由功能。

方法详解¶

整体框架¶

注意力迁移旨在将预训练教师 ViT 中提取出的逐层注意力模式赋予一个完全随机初始化的学生 ViT，分为两种协议：冻结教师投影矩阵直接拷贝的 Attention Copy，以及利用辅助迁移目标监督注意力分布匹配的 Attention Distillation。为了排查失效根因，本文构建了包含层级定位、组件消融与架构救援的三阶段诊断闭环：首先通过组件分解、逐层分析与 QKV 解耦将失效严格定位于注意力路由通道；随后对比师生微架构差异，提出通过引入随机初始化的教师原生架构组件（Native Architecture Rescue）重构学生计算流；最后在特征与注意力层面验证对齐稳定性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["预训练教师 ViT<br/>20 种权重 / 11 个家族"] --> B["三级诊断定位<br/>组件/逐层/QKV分解排查"]
    B --> C["注意力通道失效与末层发散<br/>标准学生缺失架构组件导致KL激增"]
    C --> D["原生架构救援方案<br/>学生补齐 LayerScale / PreLN / RPB"]
    D --> E["双向对照与替代假说排除<br/>从头训练对比/验证损失/数据源与质量无关"]
    E --> F["成功激活注意力迁移收益<br/>负迁移彻底逆转为显著正增益"]

关键设计¶

1. 三级诊断定位：将失效边界逐层锁死至注意力通道 针对此前研究未发现的家族级负迁移现象，为了确认问题并非由于教师权重本身无效，本文首先执行了自顶向下的三级受控分解。在组件级分解上，分别对 MLP 块和注意力块单独加载教师预训练权重，结果发现仅加载 MLP 时所有家族（无论成功或失效家族）均获得稳定提升（例如 DINOv2-S 获 +3.9%，CLIP-B 获 +4.4%），而仅加载注意力时失效家族立即出现负迁移，证明教师权重本身具备极佳特征，问题特异性地局限于注意力路径。随后的逐层分解（Layer-wise）对各层子集测试发现，无论截取顶部还是底部层，失效家族均无法恢复收益；QKV 细粒度解耦进一步表明，单独迁移 $Q$、$K$ 或 $V$ 在成功家族上均带来提升，但在失效家族（如 DINOv2-S）上全部恶化（其中仅迁移 $V$ 导致暴跌 -15.9%）。这确凿证明：失效源于整个注意力路由机制与学生模型的不兼容，而非局部组件或单个深度阶段的缺陷。

2. 原生架构救援：利用随机初始化的教师微架构组件解锁注意力可用性 在将问题定位至注意力通道后，深入剖析标准学生与失效家族教师的网络定义可以发现关键的微架构鸿沟：标准 ViT 学生模型采用 vanilla 结构，缺失了各失效家族在预训练时依赖的核心设计，包括 DINOv2 / DINOv2-wr 中的 LayerScale、CLIP 中的 PreLayerNorm，以及 BEiTv2 中的 LayerScale 与相对位置偏置（RelativePositionBias, RPB）。这些原生组件直接调制了输入注意力的缩放比例、归一化位置以及相对几何坐标系。原生架构救援（Native-Architecture Rescue）方案的精妙之处在于：仅在学生模型中加入这些教师原生的缺失组件，且完全保持随机初始化与下游端到端训练，不加载任何预训练权重。这一设计使得学生在计算注意力前后的信息流变换逻辑与教师原生计算图完全对齐。消融表明，对于具备复合特性的 BEiTv2-B，单独补充 LayerScale 或 RPB 仅能减少负面损害，唯有两者兼备时才能将迁移性能由 -4.5% 彻底翻转为 +17.9% 的巨大跃升。

3. 深层注意力发散机理：架构不匹配破坏了后层 token 交互 为了从特征动力学上解释为何缺失微架构会导致破坏性后果，研究深入探究了学生在蒸馏过程中对教师注意力的拟合能力。通过逐层计算学生与教师注意力分布间的 Kullback-Leibler（KL）散度与 Jensen-Shannon（JS）散度，发现在标准学生架构下，浅层（第 0-8 层）的注意力拟合极其平稳且 KL 散度接近于 0，然而在最后 3 层（第 9-11 层）发生剧烈发散（KL 散度飙升至 2.4 以上）。进一步将散度拆解为 CLS token 与 Patch token 可以看到，局部与全局交互在末层均出现不可调和的分布畸变。这是因为浅层受输入主导尚能强行拟合，而越接近深层，缺乏 LayerScale 抑制残差幅值或缺少 PreLN 约束的计算通道便产生累积失真，迫使优化陷入灾难性冲突。一旦引入原生组件，全层的 KL/JS 散度便全程维持在近乎为 0 的超低水平，消除了末层突变。

4. 替代假说系统排除：证实架构兼容性是唯一的因果机制 为了确保结论的唯一性与严谨性，研究逐一设计实验排除了三类常见直觉推测。首先排除了迁移损失函数不当（Not the Loss）：将默认交叉熵（CE）替换为均方误差（MSE）、JS 散度或 L1 距离，并大范围扫描损失权重 $\lambda$，发现随着监督强度增大，成功家族收益单调递增，而失效家族的负迁移反而持续加剧。其次排除了预训练配方差异（Not the Pre-training Recipe）：通过严密的单因素反例论证，自蒸馏的 DINO 成功而 DINOv2 失败，多模态对比学习的 SigLIP2 成功而 CLIP 失败，MIM 的 iBOT/MAE 成功而 BEiTv2 失败；且同属非 ImageNet 数据训练的 SAM 成功而 DINOv2 失败，证明预训练目标、数据源、注意力黑洞（Attention Sink）或 Patch 插值均无法解释该分界。最后排除了注意力图本身质量缺陷（Not the Attention Map Quality）：通过 MaxBoxAccV2 弱监督目标定位指标评测教师与学生注意力图，证明教师注意力质量高低与迁移成功与否呈现交叉交错分布，且架构救援在反转迁移效果的同时对注意力质量评分并无固定方向的影响。

损失函数 / 训练策略¶

注意力迁移包含两套标准的受控训练配方： 1. Attention Copy：将教师预训练的注意力投影权重矩阵（$W_q, W_k, W_v, W_o$）直接复制给学生并全程保持冻结，其余 MLP 等参数随机初始化，使用 AdamW 优化器，学习率设为 $1\times 10^{-3}$，权重衰减 0.05，采用层级学习率衰减（0.75），在 ImageNet-1K 上训练 20 个 epoch。 2. Attention Distillation：学生网络全量随机初始化，在标准分类交叉熵损失之上施加逐层注意力蒸馏辅助损失： $$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{cls}} + \lambda \sum_{\ell=1}^{L} \mathcal{L}_{\text{transfer}}^{(\ell)}$$ 其中默认 $\mathcal{L}_{\text{transfer}}^{(\ell)}$ 为学生与教师注意力图矩阵间的 Cross-Entropy 损失，权重 $\lambda = 3$。优化器采用 AdamW，学习率 $1\times 10^{-4}$，权重衰减 0.3，$\beta_1=0.9, \beta_2=0.95$，drop path 设为 0.1，同样训练 20 个 epoch。

实验关键数据¶

主实验¶

在 ImageNet-1K 上对 11 个家族共 20 个预训练权重进行了全量评测。基准对比显示 7 个家族显著正迁移，而 4 个家族发生系统性负迁移；引入原生架构救援（Native-Arch Rescue）后，所有失效家族均成功实现惊人反转。

教师家族	规模	缺失原生组件	从头训练 NoT (%)	Attention Copy Δ (%)	Attention Distill Δ (%)	架构救援后 Copy Δ (%)	架构救援后 Distill Δ (%)
DeiT	Tiny	无 (成功组)	54.3	+13.9	+13.6	–	–
DeiT	Small	无 (成功组)	63.1	+12.2	+12.4	–	–
DINO	Small	无 (成功组)	63.1	+11.1	+12.0	–	–
MoCov3	Small	无 (成功组)	63.1	+4.8	+7.5	–	–
MAE	Base	无 (成功组)	69.0	+8.0	+8.1	–	–
iBOT	Small	无 (成功组)	63.1	+11.9	+12.1	–	–
SigLIP2	Base	无 (成功组)	69.0	+6.2	+7.8	–	–
SAM	Base	无 (成功组)	69.0	+6.5	+8.2	–	–
DINOv2	Small	LayerScale	63.1	-3.2	-1.5	+13.7	+10.2
DINOv2	Base	LayerScale	69.0	-4.3	-2.3	+11.8	+9.5
DINOv2-wr	Base	LayerScale	69.0	-5.1	-2.6	+12.1	+9.8
CLIP	Base	PreLayerNorm	69.0	-3.9	-1.8	+10.5	+8.4
BEiTv2	Base	LayerScale, RPB	69.0	-4.5	-1.7	+17.9	+10.2

消融实验¶

为了验证原生架构救援的有效性并非单纯来自于新组件增加的模型容量，论文对比了无迁移时从头训练（NoT）的基线表现；同时，针对多组件模型 BEiTv2-B 进行了逐组件补齐消融分析。

模型配置 / 组件消融	从头训练 NoT 绝对准确率 (%)	Copy Δ 相对增益 (%)	Distill Δ 相对增益 (%)	机制说明
DINOv2-S: 标准学生基线	63.1	-3.2	-1.5	标准结构缺少 LayerScale 导致负迁移
DINOv2-S: 原生架构从头训练	60.1 (-3.0)	–	–	组件自身在无迁移时导致掉点，排除容量红利
DINOv2-S: 原生架构迁移救援	60.1	+13.7	+10.2	补齐 LayerScale 彻底解锁注意力可用性
CLIP-B: 标准学生基线	69.0	-3.9	-1.8	缺少 PreLayerNorm 导致末层注意力发散
CLIP-B: 原生架构从头训练	66.7 (-2.3)	–	–	随机初始化的 PreLN 单独训练并不占优
CLIP-B: 原生架构迁移救援	66.7	+10.5	+8.4	补齐 PreLayerNorm 实现迁移成功
BEiTv2-B: 标准学生基线	69.0	-4.5	-1.7	双组件均缺失，性能受损严重
BEiTv2-B: 仅加 LayerScale	66.3	-2.1	-1.3	单组件无法逆转失败，仅略微止损
BEiTv2-B: 仅加 RPB	66.3	-1.3	-0.8	单相对位置偏置不足以恢复计算流兼容
BEiTv2-B: 同时补齐双组件 (Full Rescue)	66.3	+17.9	+10.2	完全还原教师原生结构，获得最高性能爆发

关键发现¶

负迁移并非优化迟缓：将训练从 20 epoch 延长至 100 epoch，DINOv2 与 DINOv2-wr 始终处于负增益区间，且在 iNaturalist（2017/2018/2019）以及 ImageNet-A/R/Sketch/V2 等域外鲁棒性基准上，负迁移现象高度一致，排除了收敛速度或特定数据分布偏差的可能。
架构组件本身并非性能外挂：原生架构学生在没有注意力迁移、纯粹从头训练时，Top-1 准确率反而比标准学生低 2.3% 至 3.0%（例如 DINOv2-S 从头训练由 63.1% 降至 60.1%），这无可辩驳地证明了额外组件的作用并非提升模型容量，而是充当了适配教师注意力特征的必要接口。
末层发散无法通过策略微调修复：在标准学生上尝试截断后 3 层蒸馏（From-bottom）、强制复用前层特征（Skip-Reuse）或对后 3 层调整监督权重（Reweight），均无法恢复性能；唯有引入真实的原生硬件/网络计算拓扑，才能消除 KL 散度突变。

亮点与洞察¶

颠覆前序工作普遍性认知，重新划定有效性边界：此前研究仅在 DeiT、DINO、MoCov3 等架构完全同质的成功家族上验证，得出了“注意力迁移足以替代全量权重”的激进结论；本文通过扩展到 11 个家族，敏锐捕捉到以 DINOv2 和 CLIP 为代表的主流强模型在标准学生上的崩溃，展现了极其严密的学术批判精神。
巧妙的原生架构随机补齐法（Native Rescue）：无需加载任何额外的预训练权重或增加沉重模块，仅需让学生在骨干定义中保留教师的原生操作符（全部随机初始化并与下游共同优化），即可化腐朽为神奇，为轻量知识迁移与异构模型蒸馏提供了极其优雅的工程实践准则。
全方位、无可辩驳的排除法论证闭环：论文在确立架构不匹配机制的过程中，系统性地对损失类型、预训练任务目标、训练数据域、注意力空洞/Sink 以及注意力可解释性质量进行了全方位反例证伪，论证逻辑环环相扣，达到了顶会实证研究的典范水准。

局限与展望¶

探索范围局限于同等规格与同源架构范畴：作者在附录中指出，当前实验聚焦于相同规格（Tiny/Small/Base）间的 softmax 注意力迁移，尚未涉及从大模型向小模型的跨规格迁移，亦未探索将 Softmax 注意力迁移至 Linear Attention 或 Mamba 等跨模态/跨机制骨干网的场景。
缺乏完全端到端同配方反向消融：受限于 DINOv2 与 CLIP 闭源海量训练集（LVD-142M、WIT-400M）的算力与复现壁垒，目前论证主要基于跨家族反例与学生端受控实验，未来若能在开源数据集上统一预训练两组“仅差一个 LayerScale”的教师模型，机制闭环将更加完备。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (敏锐推翻顶会前期结论的普适性，首次揭示架构匹配决定注意力功能性的核心规律)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖 11 个家族 20 个权重，囊括组件分解、散度分析、域外迁移及详尽反例验证)
写作质量: ⭐⭐⭐⭐⭐ (逻辑推进极其严密，层层设问并给出无可辩驳的实证反驳，图表质量上乘)
价值: ⭐⭐⭐⭐⭐ (对模型蒸馏、参数高效迁移以及深入理解 ViT 表示机制具有深远的理论指导与实用价值)