The Quantization Benefits of Residual-Free Transformers¶

会议: NeurIPS 2026
arXiv: 2605.25880
OpenReview: https://openreview.net/forum?id=18XtiYe9Gk
领域: 模型压缩
关键词: 模型量化, 无残差Transformer, 激活值异常点, 超额峰度, 二阶谱优化

一句话总结¶

本文从架构根源揭示了残差连接会放大激活值的非高斯性与异常值，并提出了一套由正交初始化、二阶谱优化与深度自适应注意力温度构成的无残差Transformer训练方案，使模型激活值在训练全流程保持近高斯分布，从而在极低精度均匀量化下表现出卓越的鲁棒性。

研究背景与动机¶

随着基础模型参数量与训练数据规模的持续扩张，大模型训练与部署的瓶颈已逐渐从局部计算吞吐转向跨芯片的通信开销。在多加速卡分布式并行体系中，跨设备传输前向激活值、反向梯度及优化器状态占用了大量运行时间与能耗。低比特量化被视为缓解张量通信与显存占用的关键手段，但标准 Transformer 模型的激活值普遍呈现出严重的重尾分布与极端异常通道（outliers）。这导致朴素的均匀低比特量化会引发剧烈的精度崩溃，迫使学术界与工业界不得不依赖混合精度通道分解（如 LLM.int8()）、等价通道缩放转移（如 SmoothQuant）、激活旋转（如 QuaRot、SpinQuant）以及复杂的非均匀量化算法来补偿量化误差。

然而，现有工作大多将这一困难视为“量化器设计”的问题，默认接受激活异常值的存在，并在后处理或微调阶段予以弥补，却很少审视模型底层架构本身是否正是病态激活的策源地。深入考察 Transformer 的子层更新机制可以发现，残差连接（residual skip connections）在带来优化稳定性的同时，本质上提供了一条未经坐标重混合的恒等累积通路。各层非线性变换产生的非高斯偏离无法被消除，反而在残差流中逐层累加并被放大，最终在深层演变为严重的尖峰重尾分布与极端离群点。

这一认识促使作者从模型架构的最前端重新思考量化友好性：与其在病态分布产生后再行复杂修补，不如探寻能够从根源抑制异常值涌现的架构机制。既然无残差网络每一层都对表征进行全局稠密重混合，其是否天然具备类似中心极限定理的“高斯化”收缩效应？核心 idea：将 Transformer 激活异常值与低比特量化困难的核心根源归结为残差连接的累加放大效应，通过正交参数初始化、谱/二阶优化器调理以及深度自适应注意力温度缩放，构建一套可稳定训练深层无残差 Transformer 的工程方案，在整个训练过程中维持近高斯激活（超额峰度 $\gamma \approx 0$），从而在简单均匀量化下实现远超残差基线的压缩鲁棒性。

方法详解¶

整体框架¶

本文的核心洞察在于对比残差与无残差 Transformer 在表征混合机制上的几何差异。标准残差块的公式为 $Y_\ell = X_{\ell-1} + \text{SA}(\text{norm}(X_{\ell-1}))$ 与 $X_\ell = Y_\ell + \text{MLP}(\text{norm}(Y_\ell))$，其加性恒等分支直接将上一层的坐标原样传递；而无残差架构则彻底切断跳跃连接，形式为 $Y_\ell = \text{SA}(\text{norm}(X_{\ell-1}))$ 与 $X_\ell = \text{MLP}(\text{norm}(Y_\ell))$，迫使每一层输出均由全局矩阵乘法充分混合生成。为克服深层无残差网络训练中经典的方差塌陷、梯度消失与注意力崩塌，作者构建了结合正交初始化、谱二阶优化与深度自适应温度的统一框架。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入 Token 序列 X_l-1"] --> Norm1["层归一化 norm(X_l-1)<br/>控制二阶矩方差为 O(1)"]
    Norm1 --> TempScale["深度自适应温度缩放<br/>softmax(β⁻ˡ / √d · QKᵀ) 防止注意力饱和"]
    TempScale --> OrthoAttn["正交注意力投影与稠密混合<br/>W^V W^O ≈ α_VO · I 驱动超额峰度收缩 O(γ/d)"]
    OrthoAttn --> Norm2["中间表征归一化 norm(Y_l)"]
    Norm2 --> SUO_MLP["SUO 正交 MLP 投影<br/>GELU 引入局部峰度，稠密下投影重新高斯化"]
    SUO_MLP --> SpecOpt["二阶谱优化器更新<br/>KL Shampoo / SOAP 保持近等距几何"]
    SpecOpt --> Out["输出近高斯激活 X_l<br/>超额峰度 γ ≈ 0，支持无痛低比特量化"]

关键设计¶

1. 正交参数初始化：构建各向同性稠密混合并压制初始异常 无残差网络对初始权重的几何性质极其敏感。标准高斯初始化由于奇异值离散度大且行范数存在随机波动，多次复合后会导致不同特征方向上的方差失序甚至方差塌陷。根据作者的超额峰度分析，如果变换矩阵具有稠密且各向同性的正交性，对于具有独立同分布且方差归一化的输入特征向量，其线性组合后的超额峰度满足收缩规律： $$\gamma_y = \gamma_x \sum_{i=1}^d a_i^4 = \mathcal{O}\left(\frac{\gamma_x}{d}\right)$$ 为了在网络初始阶段赋予每一层严格的范数保持与各向同性稠密混合能力，自注意力模块的投影矩阵初始化为缩放正交矩阵：值投影与输出投影满足 $W^V W^O \approx \alpha_{VO} I$（实验中设 $\alpha_{VO} = 3.0$），查询与键投影在各注意力头内满足缩放半正交条件 $W_i^Q (W_i^K)^\top \approx \alpha_{QK} I$（设 $\alpha_{QK} = 0.9$）。在前馈网络（MLP）部分，上投影 $W^U$ 与下投影 $W^D$ 采用缩放修正均匀正交分布（SUO）进行初始化，满足 $W^U (W^U)^\top \approx \alpha_U I$ 与 $W^D (W^D)^\top \approx \alpha_D I$（设 $\alpha_U = \alpha_D = 1.5$）。这种参数配置不仅使输入方差在层间平稳传递，而且确保了各层线性混叠阶段对非线性激活引入的超额峰度产生 $1/d$ 级别的收缩消除。

2. 谱优化器与二阶曲率预调理：抑制坐标各向异性以维持近等距几何 正交初始化仅提供了初始时刻的良态几何，在反向传播更新中，优化器的选择决定了网络能否持续保持稠密混合特性。常用的自适应一阶优化器（如 AdamW）本质上属于符号类梯度下降（Sign GD），其参数更新矩阵是由元素级符号函数构成的密集符号矩阵 $S \in \{\pm 1\}^{d \times d}$，其算子范数高达 $\|S\|_2 = \mathcal{O}(\sqrt{d})$。分析表明，Sign GD 单步迭代对正交等距性的破坏满足： $$\|W_{t+1} W_{t+1}^\top - I\|_2 \le \mathcal{O}\left(\eta \sqrt{d} + \eta^2 d\right)$$ 随着特征维度 $d$ 的增加，坐标轴方向的不均匀更新会迅速破坏权重矩阵的正交性，诱发坐标各向异性，从而使超额峰度的 $1/d$ 收缩机制失效。相反，基于曲率矩阵预调理的谱梯度下降（Spectral GD，如 KL Shampoo、SOAP、Muon）在梯度的极向方向上更新参数，单步迭代诱导的等距漂移严格控制在 $\mathcal{O}(\eta)$，与特征维度 $d$ 无关。因此，本文采用 KL Shampoo 作为默认优化器，在长达 50k 步的预训练中持续锁定了权重矩阵的近等距性，使得非线性层产生的微弱非高斯成分在每一层被稳定“高斯化”。

3. 深度自适应注意力温度缩放：防止深层注意力崩塌与峰度爆炸 非线性激活函数对高斯性的破坏存在本质差异：GELU 等逐元素非线性映射将标准高斯输入映射后，其单坐标超额峰度始终为常数阶 $\mathcal{O}(1)$（GELU 约为 3.0847，ReLU 约为 2.4076）；但自注意力机制中的 Softmax 操作并非逐元素映射，而是整个序列维度的全局非线性归一化。理论分析表明，Softmax 的超额峰度具有双模态性质：在非饱和的平滑区域，坐标超额峰度为良态的 $\mathcal{O}(1)$；一旦注意力得分过大导致 Softmax 趋于饱和（接近 one-hot 的 argmax 选择器），其坐标超额峰度将急剧膨胀至 $\mathcal{O}(d)$，进而击穿后续正交混合的收缩能力。在深层无残差网络中，随着层数加深，累积变换极易使深层注意力分布过度尖锐化。为此，本文设计了按深度衰减的自适应温度缩放策略： $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{\tau_\ell}{\sqrt{d}} Q K^\top\right) V, \quad \tau_\ell = \beta^{-\ell}$$ 其中 $\beta > 1$ 为超参数（实验取 $\beta = 1.1$），$\ell$ 为层索引。该机制在深层逐渐降低温度系数（增大有效平滑程度），严格限制未归一化注意得分的方差为常数阶 $\mathcal{O}(1)$，强行将 Softmax 约束在非饱和的平缓机制中，杜绝了深层注意力离群峰度的产生。

损失函数 / 训练策略¶

模型基于 LLaMA 式 Decoder-only 架构构建，包含 24 层、隐层维度 768、注意力头数 12，总参数量约为 194M，词表大小为 32,000。预训练数据集选用高质量公开文本集 FineWeb-Edu，采用标准自回归下词预测交叉熵损失进行训练，总计训练 50k 步。训练超参数方面，微批次大小为 512 序列、上下文长度 512，学习率设置经过系统搜索：无残差 + KL Shampoo 设为 $5 \times 10^{-4}$，残差基线设为 $1 \times 10^{-3}$，配合 2,000 步线性预热与权重衰减 0.01。

实验关键数据¶

主实验¶

在 8 个经典常识推理基准评测集（ARC-Challenge、ARC-Easy、BoolQ、HellaSwag、OpenBookQA、PIQA、Social-IQA、WinoGrande）上，评估全精度（BF16）以及简单均匀权重-激活量化（W8A12、W8A8、W8A6）下的零样本准确率对比。

模型架构与优化器	量化配置	ARC-C	ARC-E	BoolQ	HellaSwag	OBQA	PIQA	SIQA	WinoG	平均准确率
Residual + AdamW	BF16	0.257	0.488	0.583	0.370	0.330	0.653	0.383	0.524	0.449
Residual + KL Shampoo	BF16	0.265	0.513	0.582	0.385	0.312	0.650	0.396	0.514	0.452
Residual-Free + KL Shampoo	BF16	0.257	0.463	0.606	0.343	0.316	0.616	0.371	0.511	0.435
Residual + AdamW	W8A12	0.232	0.334	0.500	0.295	0.264	0.526	0.347	0.521	0.378
Residual + KL Shampoo	W8A12	0.265	0.510	0.596	0.377	0.318	0.641	0.387	0.526	0.453
Residual-Free + KL Shampoo	W8A12	0.252	0.450	0.589	0.345	0.318	0.617	0.366	0.524	0.433
Residual + AdamW	W8A8	0.273	0.284	0.507	0.263	0.272	0.500	0.346	0.510	0.369
Residual + KL Shampoo	W8A8	0.222	0.401	0.578	0.311	0.270	0.565	0.349	0.521	0.402
Residual-Free + KL Shampoo	W8A8	0.247	0.448	0.590	0.344	0.292	0.611	0.370	0.529	0.429
Residual + AdamW	W8A6	0.279	0.262	0.619	0.263	0.272	0.503	0.326	0.515	0.380
Residual + KL Shampoo	W8A6	0.277	0.263	0.380	0.258	0.244	0.505	0.348	0.513	0.348
Residual-Free + KL Shampoo	W8A6	0.243	0.415	0.553	0.331	0.296	0.582	0.366	0.527	0.414

消融实验¶

为明确优化器选择、残差机制与激活统计量之间的对应关系，下表汇总了不同模型在第 16 层的激活超额峰度 $\gamma$、第 50k 步训练损失以及低比特量化下的信噪失真指标。

架构配置	优化器	注意力温度缩放	第16层超额峰度 $\gamma$	W8A8 信噪比 SQNR (dB)	W8A8 相对 BF16 精度衰减
Residual 基线	AdamW	无 ($\beta=1.0$)	40,527（重尾发散）	极低（失真严重）	-8.0%
Residual 基线	KL Shampoo	无 ($\beta=1.0$)	~750（中度重尾）	中等	-5.0%
Residual-Free	AdamW	无 ($\beta=1.0$)	优化不收敛	无法评测	训练崩溃
Residual-Free	Muon	有 ($\beta=1.1$)	0.312（近高斯）	较高	-1.1%
Residual-Free	SOAP	有 ($\beta=1.1$)	0.284（近高斯）	高	-0.9%
Residual-Free (完整方案)	KL Shampoo	有 ($\beta=1.1$)	0.259（近高斯）	最高	-0.6%

关键发现¶

残差流是异常值不可逆累积的主因：即使用上二阶优化器 KL Shampoo，标准残差模型的第 16 层超额峰度依然高达数百，且在 W8A6 极端量化下崩溃至 0.348；而切断残差连接后，超额峰度被严格压制至 0.259，W8A6 依然能维持 0.414 的准确率，领先残差模型 +6.6%。
精度-可压缩性权衡（Accuracy–Compressibility Trade-off）：在 BF16 浮点精度下，无残差模型比残差模型轻微低约 1.4% 的平均准确率（0.435 vs 0.449）；然而一旦引入低比特量化（W8A8），无残差模型便逆转反超残差模型 +2.7% 至 +6.0%，展示出极高的数据保真度与量化宽容度。
优化器与初始化的强耦合性：单独采用正交初始化而使用 AdamW 优化无残差网络会导致深层训练彻底发散；而二阶谱优化器（KL Shampoo/SOAP/Muon）成功维持了权重的近等距性，是无残差 Transformer 突破 12 层扩展瓶颈的决定性组件。

亮点与洞察¶

激活病态的“源头治理”新视角：跳出了传统量化领域对异常通道缝缝补补的局限思路，从模型拓扑的第一性原理出发，确立了残差连接在非高斯统计累积中的负面作用，证明了模型架构本身直接决定了压缩上限。
超额峰度分析框架的严谨性：巧妙运用统计学第四阶累积量（Excess Kurtosis）建立了张量稠密混合与加性残差的数学对比模型，清晰证明了稠密正交混合具有 $\mathcal{O}(1/d)$ 的天然高斯化收缩效应。
即插即用的简单量化红利：该方法不需要运行耗时的通道旋转（如 Hadamard 变换）、无需保留 FP16 浮点异常孤岛、无需等价平滑重参数化，直接使用最经济的单张量均匀整数量化即可稳定运行。

局限与展望¶

全精度性能存在少许差距：无残差模型在 BF16 下的预训练收敛损失与评测表现仍略逊于完全体残差网络（低 1.4%），如何进一步通过更精细的初始化参数化完全抹平这一全精度差距是未来课题。
架构扩展性仍需超大参数量验证：当前验证模型集中于 194M 参数、24 层规模，尚未在 7B、70B 等超大模型及数万亿 Token 上开展扩展律（Scaling Laws）研究。
与先进后训练量化方案的结合空间：本文故意仅采用朴素均匀量化作为诊断基准；若将无残差架构与 GPTQ、AWQ 等先进重构算法结合，有望进一步冲击极低比特（如 2-bit / 3-bit）极致压缩。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立无残差架构、高斯激活收缩与量化鲁棒性之间的深层理论与经验联系，视角独特且启发性强。
实验充分度: ⭐⭐⭐⭐☆ 涵盖 8 个下游基准、多种量化比特深度、信噪失真指标与逐层峰度演化，若补充超大模型验证将更为圆满。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从引理、定理到设计原则一气呵成，逻辑链条严密。
价值: ⭐⭐⭐⭐⭐ 为解决分布式大模型通信墙与边缘高效部署提供了全新的架构设计思路，具备重要的学术与工程参考价值。

架构配置	优化器	注意力温度缩放	第16层超额峰度 \(\gamma\)	W8A8 信噪比 SQNR (dB)	W8A8 相对 BF16 精度衰减
Residual 基线	AdamW	无 (\(\beta=1.0\))	40,527（重尾发散）	极低（失真严重）	-8.0%
Residual 基线	KL Shampoo	无 (\(\beta=1.0\))	~750（中度重尾）	中等	-5.0%
Residual-Free	AdamW	无 (\(\beta=1.0\))	优化不收敛	无法评测	训练崩溃
Residual-Free	Muon	有 (\(\beta=1.1\))	0.312（近高斯）	较高	-1.1%
Residual-Free	SOAP	有 (\(\beta=1.1\))	0.284（近高斯）	高	-0.9%
Residual-Free (完整方案)	KL Shampoo	有 (\(\beta=1.1\))	0.259（近高斯）	最高	-0.6%