RPFQ-ViT: Rotated Phase-Frame Quantization for Extremely Low-Bit Weights in Vision Transformers¶

会议: NeurIPS 2026
arXiv: 2610.04457
OpenReview: https://openreview.net/forum?id=XB7p2Y3eXt
代码: https://github.com/anonymous/RPFQ-neurips2026
领域: 模型压缩
关键词: 视觉Transformer, 极低比特量化, 相位框架量化, 可学习旋转, 移动端部署

一句话总结¶

针对视觉 Transformer 极低比特（如 2-bit）权重投影方向严重畸变的问题，提出在二维相位平面利用半切分通道对进行可学习旋转与相位锚点量化（RPFQ-ViT），在维持标准实数计算图的同时显著保留投影方向几何，实现高精度与原生移动端加速。

研究背景与动机¶

视觉 Transformer（ViT、DeiT、Swin 等）在各类计算机视觉与移动端感知任务中展现出卓越的识别性能，但其高维线性投影与密集注意力计算带来了极高的参数存储压力与内存带宽开销。面对资源受限的边缘与移动设备，极低比特权重量化（例如 2-bit、3-bit、4-bit）被视为大幅压缩模型体积与降低访存瓶颈的关键途径。然而，现有实数量化感知训练（QAT）方法在 2-bit 等极低位宽下往往遭遇严重的精度崩溃，以往文献多将其归咎于注意力图失真、异常值扩散或量化尺度震荡等训练动态问题。

本文从深层几何视角审视了这一瓶颈：极低比特退化的根源在于传统一维实数标量码本与 Transformer 投影的方向敏感几何之间存在本质失配。标准标量量化器独立对每个实数权重进行截断与取整，在仅有少数几个离散数值（如三值或二值）时，权重向量被迫坍缩到坐标轴附近，极易剧烈扭曲投影方向。而在 ViT 架构中，注意力机制本质上极度依赖 Query 与 Key 的内积方向对齐，线性变换的方向畸变会逐层累积放大，最终破坏整个注意力与特征表征。

由此观察到，主流视觉 Transformer 线性层的通道维度均为偶数，这为无痛构建二维子空间提供了天然条件。核心 idea：利用通道维度的确定性半切分将偶数维实数线性权重无损重参数化为等价的二维复数相位平面，将极低比特权重量化的核心目标由标量逼近转换为方向保留，通过群组可学习旋转、相位锚点及最小二乘幅度补偿构建即插即用的低比特线性量化器。

方法详解¶

整体框架¶

RPFQ-ViT 的核心目标是在不修改 ViT 原始实数计算图（注意力、LayerNorm、GELU、Softmax 及残差连接均保持原生实现）的前提下，将所有偶数维线性层（包括 qkv 映射、注意力输出投影、MLP 的两层全连接以及分类头）在 QAT 阶段替换为基于二维复数相位几何的等价量化模块。

整体流程包含三个核心步骤：首先，对偶数维权重矩阵 $R \in \mathbb{R}^{d_{\text{out}} \times d_{\text{in}}}$（其中 $d_{\text{in}}=2m, d_{\text{out}}=2n$）执行确定性半切分通道配对，建立广义线性复数重参数化；其次，在复数坐标下引入分组可学习旋转角度与紧凑相位锚点码本，精准捕获局部主导投影方向；最后，利用最小二乘法解析求解群组幅度缩放因子，并可选叠加残差相位细化算子，重建出等价实数权重 $\hat{R}$ 并送入标准浮点矩阵乘法前向计算。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入特征 x 与实数权重 R"] --> B["确定性半切分配对<br/>通道前/后半切分构造成对复数平面"]
    B --> C["广义线性复数重参数化<br/>分解为复数权重矩阵 U 与 W"]
    C --> D["旋转相位框架量化<br/>群组旋转对齐主方向并匹配相位锚点"]
    D --> E["最小二乘幅度拟合与残差细化<br/>解析幅度尺度并累加残差相位方向"]
    E --> F["精确逆变换重建实数矩阵<br/>逆映射回原始形状并通过 STE 梯度更新"]
    F --> G["原生实数算子执行推理<br/>标准注意力/激活/归一化保持不变"]

关键设计¶

1. 确定性半切分配对与广义线性复数重参数化：无损保持张量排布的复数投影映射

传统标量量化独立处理实数标量，破坏了向量方向；若采用学习式通道配对或启发式邻近通道配对，不仅引入额外路由开销，还会打乱连续内存布局。为此，RPFQ-ViT 针对 $d_{\text{in}}=2m$ 和 $d_{\text{out}}=2n$ 的偶数维特征，提出无参数的确定性半切分规则：将输入与输出的前半部分与后半部分一一绑定，即定义 $x_c = x_{1:m} + i x_{m+1:2m} \in \mathbb{C}^m$ 与 $y_c = y_{1:n} + i y_{n+1:2n} \in \mathbb{C}^n$。将实数权重分块为 $R = \begin{bmatrix} R_{11} & R_{12} \\ R_{21} & R_{22} \end{bmatrix}$（每个分块为 $n \times m$），原始实数仿射变换即可严格等价表示为广义线性（widely-linear）复数运算： $$y_c = U x_c + W \overline{x_c}$$ 其中复数核定义为： $$U = \frac{1}{2} \big[ (R_{11} + R_{22}) + i (R_{21} - R_{12}) \big], \quad W = \frac{1}{2} \big[ (R_{11} - R_{22}) + i (R_{12} + R_{21}) \big]$$ 在分别对 $U$ 和 $W$ 进行相位量化得到 $\hat{U}, \hat{W}$ 后，利用完全闭式的精确逆变换还原出量化实数矩阵： $$\hat{R}_{11} = \operatorname{Re}(\hat{U} + \hat{W}), \quad \hat{R}_{12} = \operatorname{Im}(\hat{W} - \hat{U}), \quad \hat{R}_{21} = \operatorname{Im}(\hat{U} + \hat{W}), \quad \hat{R}_{22} = \operatorname{Re}(\hat{U} - \hat{W})$$ 该映射保证整个前向过程只需将 $\hat{R}$ 传入原生 F.linear，完全不破坏后续注意力、LayerNorm 及 GELU 计算。

2. 旋转相位框架量化：群组旋转对齐与可学习相位锚点

在二维极坐标下，复数权重表示为 $z = z_r + i z_i = \rho e^{i\theta}$。固定相位框架仅采用四个固定基元 $\mathcal{C}_\phi = \{\pm 1, \pm i\}$（即 $\{0, \pi/2, \pi, -\pi/2\}$），这一假设隐含要求权重主方向必须恰好落在实虚坐标轴上，然而各 Transformer 层和注意力头内的权重分布主导方向各不相同。RPFQ 引入群组可学习旋转角 $\theta_g$ 和一组可学习相位锚点 $\Phi = \{\phi_k\}_{k=1}^K$（默认 $K=4$ 对应 2-bit 相位分配）。对于分组 $\mathcal{Z}_g$，首先执行旋转对齐 $\mathcal{Z}'_g = \mathcal{Z}_g e^{-i\theta_g}$，随后将每个复数元素投影到最近的单位长度相位锚点： $$c(z) = \arg\max_{c \in \{e^{i\phi_k}\}_{k=1}^K} \operatorname{Re}\!\left(\frac{z\,\overline{c}}{|z|+\epsilon}\right)$$ 通过端到端梯度更新 $\theta_g$ 与 $\phi_k$，量化码本能紧密贴合各通道群组的真实角度几何分布，大幅缩减角度量化误差。由于 $2n \times 2m$ 的实数矩阵对应两个 $n \times m$ 的复数矩阵，每个 2-bit 复数相位决策等效占用 1-bit/实数权重。

3. 最小二乘幅度拟合与残差相位细化：轻量解耦幅度补偿

纯相位量化锁定了投影的单位方向向量，但丢失了幅度信息。为避免启发式裁剪或易发散的幅度学习，RPFQ 在确定方向选择 $c(z)$ 后，在复数最小二乘准则下解析求解最优实数缩放标量 $\alpha_g$： $$\alpha_g = \arg\min_{\alpha \in \mathbb{R}} \sum_{z \in \mathcal{Z}'_g} |z - \alpha c(z)|^2 = \frac{\sum_{z \in \mathcal{Z}'_g} \operatorname{Re}(z\,\overline{c(z)})}{\sum_{z \in \mathcal{Z}'_g} |c(z)|^2 + \epsilon}$$ 在此基础上，第一阶段近似为 $\alpha_g \mathcal{C}_g$。为了在 2-bit 等极低位宽下进一步补偿残差并扩展位宽表达力，设计了第二阶段残差细化机制，引入残差相位算子 $\mathcal{S}_{\mathrm{phase}}(r) = \frac{r}{|r|+\epsilon}$ 与第二尺度因子 $\beta_g$，最终逆旋转得到量化张量： $$\hat{\mathcal{Z}}_g = \bigl[\alpha_g \mathcal{C}_g + \beta_g \mathcal{S}_{\mathrm{phase}}(\mathcal{Z}'_g - \alpha_g \mathcal{C}_g)\bigr] e^{i\theta_g}$$ 在默认 $K=4$ 的 W2 配置下，每个包含 $G$ 个复数权重的群组仅需存储 7 个高精度元数据标量 $(\theta_g, \phi_1, \dots, \phi_4, \alpha_g, \beta_g)$，附加元数据开销极低。前向传播使用直通估计器（STE）跨越离散选择进行反向梯度传递。

损失函数 / 训练策略¶

RPFQ-ViT 采用单阶段轻量 QAT 训练策略，无需引入任何 FP32 教师网络、蒸馏分支或 Hessian 敏感度加权矩阵。在 ImageNet-1K 上采用标准的 300 轮 timm 风格 AdamW 优化配方（全局批量大小 512，余弦学习率衰减，5 轮预热），配备 RandAugment、Mixup、CutMix、Random Erasing 与 DropPath 等常规数据增强。

针对激活量化，训练代码在进入 RPFQ 线性层的输入前挂载动态逐 token 对称激活量化器：将输入分解为半切分实部与虚部后，独立计算两部分的绝对值最大值动态尺度 $s_r, s_i$，执行 4-bit 假量化截断（$q_{\max}=7, q_{\min}=-8$）与逆缩放，再流经量化权重矩阵。

实验关键数据¶

主实验¶

在 ImageNet-1K 图像分类基准（224×224 分辨率，单裁剪验证）上，RPFQ-ViT 在 2-bit 权重下与代表性低比特基线方法（Q-ViT、OFQ、LSQ++KD 等）进行 3 次独立随机种子的均值对比：

模型架构	量化方法	来源类别	权重/激活位宽	训练轮数	Top-1 准确率 (%)	Top-5 准确率 (%)
ViT-B/16	FP32 基线	reproduced	32/32	300	77.89	93.39
ViT-B/16	Q-ViT	reproduced	2/4	300	62.38	83.84
ViT-B/16	LSQ++KD	reproduced	2/4	300	75.10	92.18
ViT-B/16	RPFQ (本文)	ours	2/4	300	79.33	94.48
DeiT-S	FP32 基线	reproduced	32/32	300	78.36	93.74
DeiT-S	Q-ViT	reported	2/8	300	72.10	90.30
DeiT-S	OFQ	reported	2/8	300	75.72	–
DeiT-S	RPFQ (本文)	ours	2/8	300	77.41	93.11
Swin-T	FP32 基线	reported	32/32	300	81.20	95.50
Swin-T	Q-ViT	reported	2/8	300	74.70	92.50
Swin-T	OFQ	reported	2/8	300	78.52	–
Swin-T	RPFQ (本文)	ours	2/8	300	79.30	94.79

消融实验¶

在 ViT-B/16 (W2/A4) 设置下逐步验证通道配对、残差细化、框架旋转状态、锚点学习及最小二乘尺度拟合的累加增益：

变体配置	通道配对	残差细化	旋转状态	锚点设置	尺度拟合	Top-1 (%)	Top-5 (%)	说明
Real scalar LSQ	否	否	无	无	标量 LSQ	74.89	91.28	传统实数一维标量量化
Fixed phase frame	是	否	无	固定	均值法	76.56	92.83	基础复数相位空间 (+1.67%)
+ residual refinement	是	是	无	固定	均值法	78.74	93.61	引入残差细化大幅跳升 (+2.18%)
+ pre-aligned frame	是	是	粗糙预对齐	固定	最小二乘	78.79	93.78	引入最小二乘尺度与粗对齐
RPFQ w/o anchor learning	是	是	可学习	固定	最小二乘	79.06	94.21	启用群组端到端旋转对齐
RPFQ full	是	是	可学习	可学习	最小二乘	79.33	94.48	完整模型：旋转+锚点双自适应

几何分析与移动端部署数据¶

几何保真度分析显示，RPFQ 完整模型将权重的角度误差（Angular error）由实数 LSQ 的 1.00 骤降至 0.43，注意力得分误差由 1.00 降至 0.46，中间特征余弦相似度由 0.931 提升至 0.983。

在端侧实际部署中，通过将 2-bit 打包权重导出至原生移动运行时： - iOS 平台 (A19 Pro / MLX Swift)：ViT-B/16 模型体积由 338.6 MB 压缩至 47.7 MB（7.1× 压缩比），p50 推理延迟从 86.4 ms 降至 54.9 ms（1.57× 加速）；Swin-T 体积由 110.2 MB 降至 20.4 MB（5.4× 压缩比），延迟从 39.8 ms 降至 27.4 ms（1.45× 加速）。 - Android 平台 (Dimensity 9400 / JNI C++)：ViT-B/16 延迟由 123.6 ms 降至 78.1 ms（1.58× 加速）；Swin-T 延迟由 55.7 ms 降至 39.5 ms（1.41× 加速）。 - 训练开销：单节点 8×H800 上 ViT-B/16 完整 300 轮训练仅需 46.55 小时，显著优于 Q-ViT 的 160.21 投影小时（加速 3.44×），避免了 Q-ViT 高达 7.06 GiB 的注意力蒸馏额外张量显存负担。

关键发现¶

方向保真度是极低比特成败的第一要素：消融与几何评估均证明，简单切换到复数相位空间即带来超 1.6% 的大幅跃升；将角度误差从 1.00 压低至 0.43 后，分类精度与注意力图相似度均达到最强。
残差相位细化与旋转自适应缺一不可：在两比特有效预算下，残差细化提供了最显著的绝对性能跃升（+2.18%），而端到端群组旋转与锚点学习则进一步收敛了注意力头内部非轴对称的局部几何漂移。
无需蒸馏的单阶段简洁性：相比于依靠庞大教师模型与多阶段微调的 OFQ 和 Q-ViT，RPFQ 依靠纯净的参数化改进实现更高的准确率和更低的训练开销，甚至在 ViT-B/16 上表现出优于 FP32 基线的正则化泛化效果。

亮点与洞察¶

复数广义线性算子的巧夺天工：通过严密的实部/虚部分块构造，仅用 $U x_c + W \overline{x_c}$ 即可严格无损映射任意实数全连接层，既保留了复数相位的几何旋转自由度，又在推理部署时完全回退为普通实数矩阵乘法。
二维相位平面打破一维标量僵局：传统标量量化在 2-bit 下仅有寥寥几个标量格点，而二维平面单位圆赋予了极低比特连续角度表征的潜力，以极简形式化解了 Transformer 注意力对投影角度极度苛刻的要求。
方法易迁移至其他注意力架构：这种半切分配对重参数化仅依赖输入输出通道为偶数这一通用条件，完全可以无缝推广至纯语言模型（LLM）的 FFN 与注意力投影权重中。

局限与展望¶

作者承认的局限：目前评估主要集中于 ImageNet-1K 图像分类，尚未扩展至密集预测与生成任务；激活值在 2-bit（A2）设置下极度不稳定，主要依赖 W2/A4 或 W2/A8；移动端加速比受到底层硬件算子解包与指令集支持的制约，尚未提供标准功耗/能耗计量。
审读发现的局限：在端侧部署时，虽然模型文件体积显著缩小 5.4×~7.1×，但目前的移动端运行时（MLX / JNI）在计算密集时仍依赖运行期解包或部分浮点转换，尚未开发出针对特定 NPU 的原生 2-bit 复数相位脉动阵列加速内核。
未来改进思路：探索结合整数量化激活图的原生 INT4/INT2 计算核，以及将旋转相位量化引入具备超大维度的多模态基础模型（VLM）与视频扩散 Transformer（DiT）中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [巧妙将偶数维权重映射为复数二维相位平面，开创了方向保留式低比特 Transformer 权重量化范式]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 ViT-B/16、DeiT-S、Swin-T 三大骨干网络，包含完备消融、几何指标、训练效率分析以及真实 iOS/Android 双平台部署测试]
写作质量: ⭐⭐⭐⭐⭐ [数学推导清晰严密，几何图示直观，实验对比严谨自洽]
价值: ⭐⭐⭐⭐⭐ [为边缘设备部署超低比特视觉 Transformer 提供了扎实的理论与极佳的工业工程实践范例]