Towards Understanding Self-Pretraining for Sequence Classification¶

会议: NeurIPS 2026
arXiv: 2605.21070
OpenReview: https://openreview.net/forum?id=XC2lHn0w5A
领域: 预训练
关键词: 自预训练、序列分类、Long-Range Arena、注意力偏置、优化瓶颈

一句话总结¶

本文通过系统实验消融、单层极简合成任务与理论证明，揭示了自预训练（SPT）大幅提升序列分类性能的内在机制：均值池化标签监督在均匀注意力初始化下存在梯度盲区，而自预训练的掩码重构目标能提供非零梯度，引导查询-键投影权重将绝对正弦位置编码重组为近邻偏置注意力先验。

研究背景与动机¶

在长序列分类基准（如 Long-Range Arena, LRA）上，标准 Transformer 从头训练（from scratch）的分类精度长期显著落后于状态空间模型（如 S4、Mamba）。Amos 等人（ICLR 2024 杰出论文奖）发现了一个惊人现象：在没有任何外部数据或数据增强的前提下，仅在下游任务数据集上预先执行无监督掩码标记重构（自预训练，Self-Pretraining, SPT），再进行有监督微调，就能在 CIFAR10、PathFinder、ListOps 等长序列任务上带来高达 10% 到 24% 的绝对精度跃升，使标准 Transformer 的表现比肩甚至超越专门设计的状态空间模型。

然而，这一经验发现留下了深刻的理论与机制谜团：为什么标准监督训练在带有绝对位置编码的 Transformer 上会如此脆弱？自预训练究竟改变了网络的哪些关键部分？传统认知往往将预训练的增益归因于深层网络学到了丰富的数据层次表征，或者依赖海量的预训练数据规模；但在自预训练的闭环设定中，数据集完全相同，且即便是极浅的单层模型也能观察到显著增益。更核心的矛盾在于，有监督从头训练在很多任务上的训练损失停滞、无法拟合训练集，这表明性能崩溃并非单纯的泛化差距（overfitting/generalization），而是一个深层的优化瓶颈（optimization failure），即端到端标签监督无法有效组织注意力的初始流动。

为了穿透这一黑盒，本文通过系统性的实验消融、极简单层合成任务以及数学理论推导，层层剥离模型深度、数据源以及网络组件的影响。核心 idea：通过分层权重解耦与数学证明，揭示自预训练的核心作用在于打破均匀注意力初始化下均值池化监督的局部梯度盲区——标签监督在均匀初始化处的梯度完全为零，无法引导查询-键投影（$W_Q, W_K$）建立有效的序列关联；而自预训练的逐标记掩码重构提供了由数据自相关矩阵驱动的非零梯度，将绝对正弦位置编码重构为近邻偏置（proximity bias）的局部对角注意力结构，为后续分类微调提供了可训练的结构先验。

方法详解¶

整体框架¶

本文的方法研究围绕自预训练机制的解耦展开，整体分析框架覆盖从宏观基准测试到微观机制验证的三层递进流程：首先在 LRA 基准上通过消融实验（预训练时长、深度、跨数据集交换、权重冻结与混合初始化）锁定性能增益的主要承载组件；随后构建单层无 LayerNorm/MLP 的极简合成轨迹分类任务，通过隔离输入内容观察位置编码与注意力矩阵的微观演化；最后在理论抽象模型中推导均值池化监督与掩码重构损失对注意力权重的梯度行为。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入序列与绝对位置编码<br/>X + P 嵌入表示"] --> D1["分层剥离与注意力解耦诊断<br/>定位 W_Q 与 W_K 关键权重承载"]
    D1 --> D2["绝对位置编码的近邻偏置转换<br/>W_Q^T W_K 解除正弦编码形成对角注意力"]
    D2 --> D3["均值池化监督局部盲区的数学表征<br/>重构损失提供非零梯度突破零曲率驻点"]
    D3 --> Out["序列分类预测输出<br/>下游标签微调精度跃升"]

关键设计¶

1. 分层剥离与注意力解耦诊断：定位性能瓶颈与关键承载权重

针对“从头训练失败究竟源于深层表征匮乏还是注意力优化失败”的疑问，作者设计了一系列严密的对比实验。首先是跨数据集预训练交换（Dataset-swap）：在 PathFinder 数据集上预训练后再在 CIFAR10 上微调，训练精度从从头训练的 0.69 激增至 0.84，验证集精度从 0.48 提升至 0.56；在 CIFAR10 上预训练后迁移至 PathFinder 同样显著提高了训练拟合度。这直接证伪了“SPT 仅靠学习特定任务的高层语义表征起效”的假说，证明 SPT 改善了模型脱离不良初始化的基本可优化性。随后，作者对从头训练的模型进行了层冻结敏感度测试：将注意力模块权重冻结在随机高斯初始化状态，仅训练 MLP 和分类头，结果在 CIFAR10 上精度反而从 0.503 提高到了 0.535，在 ListOps、Retrieval、Text 任务上精度完全没有下降（保持 0.40、0.78、0.65），仅在 PathFinder 上发生退化。这一反常现象表明，在端到端标签监督下，随机初始化的注意力权重根本无法学到有效交互，参数更新基本由 MLP 承担。进一步的混合权重初始化（Hybrid Initialization）实验显示，如果微调时仅将 Attention 权重（$W_Q, W_K, W_V, W_O$）从 SPT 权重继承、其余全部重置为随机初始化，即可恢复大部分性能；而在单层模型中，仅仅继承 $W_Q$ 和 $W_K$ 就足以复现完整自预训练模型的全部提升（CIFAR10 达 0.607 vs 完整初始化的 0.603；PathFinder 达 0.704 vs 完整初始化的 0.705），而初始化除 $W_Q, W_K$ 之外的所有权重仅取得 0.502 和 0.679，证明 $W_Q$ 与 $W_K$ 的相互作用是 SPT 优势的绝对核心载体。

2. 绝对位置编码的近邻偏置转换：自预训练重塑注意力先验

明确了 $W_Q, W_K$ 是关键载体后，作者构建了一个单层、单头、无 LayerNorm、无 MLP 的极简二维合成轨迹分类任务（序列长度为 100），以可视化自预训练对注意力分数的微观影响。在随机初始化下，Softmax 后的注意力矩阵呈现近乎均匀的平坦分布（熵极大），无法传递结构化局部信息。经过 SPT 后，注意力矩阵迅速演变为清晰的对角优势带状结构（diagonally dominated structure），每个标记主要关注其时序近邻标记，呈现强烈的近邻偏置（proximity bias）。为了探究这种模式的成因，作者设计了消融隔离实验：将输入特征全部置零（$X = 0$），仅将正弦绝对位置编码（Positional Encodings, PE）送入注意力模块计算 $Q K^\top / \sqrt{d}$。实验观察到，哪怕没有输入特征，纯位置编码通过自预训练的 $W_Q, W_K$ 也能生成完全相同的对角近邻带状矩阵。权重分布统计表明，尽管 $W_Q$ 与 $W_K$ 单独的边缘分布与随机初始化差异甚微，但它们的双线性内积矩阵 $W_Q^\top W_K$ 发生了特异性组织，实际上“解构”了加性正弦编码的周期性，将其映射为相对近邻偏置。作者进一步测试了直接在初始化引入相对位置偏置的替代方案（如 ALiBi、FIRE、RoPE）：虽然 ALiBi 可以在从头训练下提升 CIFAR10 的精度（从 0.501 增至 0.564），但在 PathFinder 上直接崩溃至 0.500（随机猜测），因为 PathFinder 依赖二维长距离路径轮廓追踪，硬编码的固定局部偏置阻碍了全局连通性的建立。而自预训练习得的近邻偏置是柔性且可微调的，既提供了启动优化的局部聚合能力，又保留了在微调阶段扩展为全局依赖的动态调节空间。

3. 均值池化监督局部盲区的数学表征：梯度消失与掩码重构引导

为了从数学理论上彻底阐明为什么标准有监督训练无法从均匀初始化中学习注意力模式，作者建立了一个一维扰动理论分析框架。设输入标记序列为中心化随机向量 $X_1, \dots, X_L \in \mathbb{R}^d$，自相关矩阵定义为 $C_{ij} := \mathbb{E}[X_i^\top X_j]$。考虑目标注意力分数扰动模式 $\Delta \in \mathbb{R}^{L \times L}$，注意力分数参数化为 $s_{ij}(\alpha) = \alpha \Delta_{ij}$，对应的 Softmax 注意力权重为 $a_{ij}(\alpha) = \exp(s_{ij}(\alpha)) / \sum_k \exp(s_{ik}(\alpha))$。当 $\alpha = 0$ 时，模型处于完全均匀的随机初始化状态 $a_{ij}(0) = 1/L$。序列输出经过聚合得到 $o_i(\alpha) = \sum_j a_{ij}(\alpha) X_j$，对于序列分类任务，分类头接收均值池化表示 $h(\alpha) = \frac{1}{L} \sum_i o_i(\alpha)$，其监督损失为 $\mathcal{L}_{\rm sup}(\alpha) = \mathbb{E}[\ell(h(\alpha), Y)]$；而自预训练阶段采用自编码重构损失 $\mathcal{L}_{\rm SPT}(\alpha) = \frac{1}{2L} \sum_i \mathbb{E}[\|X_i - o_i(\alpha)\|^2]$。定义零列和矩阵子空间 $\mathcal{B} := \{ \Gamma \in \mathbb{R}^{L \times L} : \Gamma^\top \mathbf{1} = 0 \}$，中心化扰动矩阵为 $\bar{\Delta} = \Delta - \frac{1}{L} \Delta \mathbf{1}\mathbf{1}^\top$。定理（Proposition 1）证明：对于任意扰动方向 $\Delta \in \mathcal{B}$，在均匀初始化点 $\alpha = 0$ 处满足： $$\mathcal{L}_{\rm sup}'(0) = 0, \qquad \mathcal{L}_{\rm SPT}'(0) = -\frac{1}{L^2} \langle \bar{\Delta}, C \rangle_F$$ 其中 $\langle A, B \rangle_F = \sum_{ij} A_{ij} B_{ij}$ 为 Frobenius 内积。该命题从数学上证明了：均值池化操作将所有标记的注意力输出平均后，行求和与列求和的交互作用使得均值表示的一阶导数 $h'(0) = \frac{1}{L^2} \sum_j (\sum_i \Delta_{ij}) X_j$ 由于 $\sum_i \Delta_{ij} = 0$ 而严格恒等于零，导致端到端标签监督在初始化点对注意力分数的更新梯度完全消失（处于局部鞍点或平坦极值区）；相反，自预训练由于对每个标记位置独立计算重构误差，其损失函数对扰动参数的一阶导数直接与序列协方差矩阵 $C$ 和偏置矩阵 $\bar{\Delta}$ 对齐，提供了强烈的非零优化驱动力，成功打破了对称性。

损失函数 / 训练策略¶

自预训练阶段采用逐标记连续/离散掩码目标，输入嵌入序列 $X$ 的掩码子集 $\mathcal{M}$ 被遮盖，线性投影头输出 $r_{b,t} = W_{\rm spt} Z^{(T)}_{b,t,:} + b_{\rm spt}$，目标损失为： $$\mathcal{L}_{\rm SPT} = \frac{1}{\sum_b |\mathcal{M}_b|} \sum_{b=1}^B \sum_{t \in \mathcal{M}_b} \ell_{\rm SPT}^{(m)}(r_{b,t}, u_{b,t})$$ 连续目标采用均方误差 $\frac{1}{2}\|r - u\|_2^2$，离散目标采用交叉熵损失 $-\log \mathrm{softmax}(r)_u$。掩码比例在图像任务为 50%，文本任务为 15%，ListOps 为 10%。微调阶段重置或添加分类投影头，采用交叉熵损失对真实类别标签进行标准端到端训练，优化器统一使用 AdamW。

实验关键数据¶

主实验¶

作者复现了 Amos 等人（ICLR 2024）在 Long-Range Arena（LRA）上的五项核心基准任务，对比了从头训练与自预训练微调（SPT）的峰值验证准确率。

数据集	任务序列特性	从头训练 (FS)	+SPT (Amos 等人)	+SPT (本文复现)	相对从头提升
CIFAR10	展平灰度图像 (L=1024)	0.499	0.740	0.720	+0.221
PathFinder	二维连通路径追踪 (L=1024)	0.670	0.880	0.850	+0.180
ListOps	层次嵌套数学运算 (L=2048)	0.402	0.590	0.560	+0.158
Retrieval	字符级文档匹配 (L=4096)	0.776	0.880	0.880	+0.104
Text	字符级 IMDb 情感分析 (L=2048)	0.653	0.890	0.890	+0.237

此外，在 UCR 经典时间序列手势识别与心电分类基准（GunPoint、ECG200 等 4 个数据集）上，SPT 同样带来从 0.921 到 0.951 的平均精度增益，证明其普适性超越 LRA。

消融实验¶

为了严格厘清各个组件的贡献，作者在单层模型架构下进行了细粒度的初始化参数消融（CIFAR10 与 PathFinder，5 次随机种子均值与标准差）。

权重初始化配置	CIFAR10 验证准确率	CIFAR10 相对增益	PathFinder 验证准确率	PathFinder 相对增益
从头训练 (From Scratch)	0.486 ± 0.003	基线	0.672 ± 0.002	基线
SPT → 全模型初始化 (Full Init)	0.603 ± 0.005	+0.117	0.705 ± 0.004	+0.033
SPT → 仅初始化 QK (Only QK)	0.607 ± 0.012	+0.121	0.704 ± 0.003	+0.032
SPT → 仅初始化 Attention 全部分支	0.598 ± 0.004	+0.112	0.699 ± 0.005	+0.027
SPT → 初始化 QK + 编码器 + LayerNorm	0.640 ± 0.008	+0.154	0.701 ± 0.006	+0.029
SPT → 初始化除 QK 以外的所有参数	0.502 ± 0.008	+0.016	0.679 ± 0.007	+0.007
从头训练 + 冻结 Attention 权重	0.535 ± 0.004	+0.032	0.500 ± 0.000	-0.172
从头训练 + 冻结 Attention 与 MLP	0.468 ± 0.008	-0.035	0.500 ± 0.000	-0.172

关键发现¶

注意力权重的关键承载性：单层消融清晰显示，仅继承自预训练的 $W_Q, W_K$ 参数，就能完全复制全模型自预训练带来的准确率提升（CIFAR10 达 0.607，PathFinder 达 0.704）；相反，如果排除 $W_Q, W_K$ 而继承其余全部权重，性能几乎退化回随机从头训练水平。
有监督训练中的注意力惰性：在深层网络中冻结随机初始化的 Attention 权重，CIFAR10 的验证精度反而逆势上升 3.2%，ListOps、Retrieval、Text 性能纹丝不动。这表明在标准从头训练中，随机初始化的注意力难以学到有用依赖，大部分任务纯靠 MLP 强行拟合。
预训练时长的非对称敏感性：CIFAR10 与 ListOps 仅需 10 个甚至 1 个 epoch 的自预训练，就能释放绝大部分精度增益；而 PathFinder 需要长达 100-200 个 epoch 的预训练，因为其依赖的长程拓扑路径追踪需要更精细的位置与内容联合组织。
自预训练的通用优化推进效应：跨数据集预训练（如 CIFAR10 预训练用于 PathFinder）同样能显著降低从头微调时的训练损失，表明自预训练将网络参数推离了糟糕的局部对称极小值，提供了本质的优化增益，而非仅仅是领域相关的特征提取。

亮点与洞察¶

解耦了表征假说与优化瓶颈：以往研究多假设预训练的价值在于构建高阶抽象表征，本文通过单层模型、跨数据集交换和权重切片实验，确凿证实自预训练的核心贡献在于为查询-键注意力矩阵解除了优化阻碍。
揭示了“解构正弦编码”的物理机制：发现 $W_Q^\top W_K$ 在自预训练过程中专门与加性绝对正弦位置编码产生共振，将其在几何上映射为以对角线为中心的自适应近邻偏置（proximity bias）。
数学证明了均值池化监督的局部盲区：通过构造性扰动分析（Proposition 1），严格证明了在均匀注意力初始化下，均值池化分类损失对任意零列和注意力扰动的导数恒为零，从数学根源上解释了为什么端到端监督会陷入注意力不更新的局部死局。

局限与展望¶

理论模型的简化约束：数学推导基于一维标量扰动、独立于内容的注意力假定和单层均值池化架构，尚未完全覆盖深层网络中 LayerNorm、残差连接以及非线性多层传递的耦合动态。
池化方式的泛化考量：理论分析主要针对均值池化架构，对于使用预设 [CLS] 标记或注意力池化（Attention Pooling）机制的场景，标签监督梯度的局部几何特性仍有待进一步拓展推导。
超长序列基准的算力限制：受限于计算资源，本文未能对计算代价极为高昂的 PathX（长度 16,384）进行全量消融，更长序列下的局部偏置如何自适应演变为超远距离连接仍待后续研究探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从优化动力学与权重互作用角度完整拆解了自预训练机制，提出了极其深刻的近邻偏置转化假说与梯度盲区理论。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 LRA 全套任务消融、UCR 时间序列验证、单层权重混合切片、参数位移范数追踪及合成数据微观检验。
理论严谨性: ⭐⭐⭐⭐⭐ 提出了简洁优雅的 Proposition 1，数学推导严密自洽，直击均值池化梯度消失的根本原因。
写作质量: ⭐⭐⭐⭐⭐ 逻辑链条严丝合缝，由浅入深，实验设计层层推进，图表呈现与机理解释极为精炼有力。
价值: ⭐⭐⭐⭐⭐ 为深入理解 Transformer 自监督预训练机理、改善长序列分类优化以及设计更具鲁棒性的序列架构提供了极具指导意义的理论基石。