Precision As You Need: Stochastic Computing Is a Dense Adaptive Quantizer¶

会议: NeurIPS 2026
arXiv: 2609.32922
OpenReview: https://openreview.net/forum?id=63tLNzOrMq
代码: https://github.com/CrucibleComputingGroup/scmp_kernels
领域: 模型压缩
关键词: 随机计算 (SC), 密集体积分数自适应量化, 混合精度推理, 视觉 Transformer, Triton 核函数

一句话总结¶

将随机计算 (Stochastic Computing) 重新诠释为通过位流长度连续调控精度的密集自适应量化器，配合轻量级动态逐行混合精度策略与 GPU 级融合 Triton 算子，在无需重训下使多种现代 Vision Transformer 达到接近全精度的表现。

研究背景与动机¶

现代 Transformer 架构在计算机视觉、图像生成和世界模型规划等任务中展现了主导性能，但其推理开销主要由大规模矩阵乘法主导。为了在边缘设备和功耗受限场景下高效部署，后训练量化（PTQ）与混合精度技术成为了核心手段。然而，传统数字硬件加速器（如 GPU、TPU 或 NPU）受限于固定的硬件数据通路，通常仅支持极少数稀疏的离散定点位宽阶梯（如 INT4、INT8、FP16、BF16）。这种粗粒度的精度阶梯限制了混合精度配置的优化空间，难以在保持任务精度的同时最大化压缩边际收益。

随机计算（Stochastic Computing, SC）提供了一种从根本上不同的精度机制：它用随机位流中“1”出现的频率来表示实数数值，将原本复杂的多比特乘法器简化为一个单比特的 AND 门（单极性）或 XNOR 门（双极性）。在 SC 体系下，数值精度并不取决于固化的硬件数据位宽，而是由位流长度 $L$ 直接决定，其长度可以是任意正整数。这种机制具备单门极低面积能耗、硬件完全复用的密集连续精度控制以及内禀容错性。然而，以往针对深度学习的 SC 研究大多停留在微型 CNN 或玩具模型上，缺乏在现代主流 Transformer 模型上的系统端到端评估，且缺乏实用的混合精度软硬件调度支持。

针对上述挑战，本文将随机计算直接视作一种“按需分配精度的密集自适应量化器”。核心 idea：将随机计算的位流长度视为连续可调的精度旋钮，利用现代网络固有的数值容错性，结合轻量无重训的逐行动态混合精度分配机制与融合 GPU SC 算子，在统一硬件通路上实现现代 Vision Transformer 的密集混合精度推理。

方法详解¶

整体框架¶

本文构建了一套面向现代 Vision Transformer 的完整随机计算矩阵乘法模拟与混合精度调度管线。系统输入为预训练后经标准 PTQ 标定的权重与激活值；在矩阵乘法阶段，通过条件位流生成机制（C-BSG）将整数矩阵映射为双极性位流，用单比特 XNOR 门配合计数器替代传统整数 MAC；在调度层面，离线敏感度分析确定各算子与深度的精度需求，运行时基于轻量级的激活与注意力统计量对每个矩阵行独立分配位流长度 $L$；最后在块级别可接入全 SC 实现的闭式残差补偿模块。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入激活 X 与权重 W<br/>经过 PTQ 对称整型缩放标定"] --> B["融合量化与 Sobol 累积表查找<br/>生成 C-BSG 无偏差双极性位流"]
    B --> C["算子敏感度探测与逐行动态混合精度<br/>基于运行时行最大幅值映射位流长度 L"]
    C --> D["单门 XNOR 矩阵乘与多尺度提早终止<br/>Triton 融合核函数执行 D×L 位流累加"]
    D --> E["双极性计数解码与浮点缩放还原<br/>闭式 SC 残差补偿微调误差"]
    E --> F["输出任务预测特征<br/>保持现代 Vision Transformer 精度"]

关键设计¶

1. 融合量化与 Sobol 累积表查找：解决传统 SC 的硬件模拟开销与位流互相关偏差

针对经典随机计算在有限位流长度下伪随机数（如 LFSR）存在随机互相关误差（SCC $\neq 0$）导致乘法有偏估计的痛点，本文采用条件位流生成机制（C-BSG），通过将第二个输入的随机数生成受控于第一个位流，从结构上强制条件概率等于边际概率，使得双极性 XNOR 乘法在有限长度 $L$ 下严格无偏： $$\widehat{C}_{ij} = s^A_i s^B_j q_{\max}^2 \left[ \frac{2}{L} \sum_{\ell=1}^L \sum_{d=1}^D \mathrm{XNOR}\bigl(z^A_{id,\ell}, z^B_{jd,\ell}\bigr) - D \right]$$ 其中 $\mathrm{XNOR}(a,b) \equiv 1 - (a \oplus b)$。为了克服以往 CPU 模拟器极慢（单次推理需耗费数小时）的问题，本文基于 Triton 开发了融合 GPU 核函数，构建预计算的 Sobol-8 累积指示表 $K[b,\ell] = \mathbf{1}[r_\ell \le b]$。该表在每层加载时一次性生成并常驻显存，支持任意位流长度的前缀截断切片，将 SC 矩阵乘法模拟速度较 CPU 提升约 95,000 倍。

2. 算子敏感度探测与逐行动态混合精度：将连续流长匹配到不同 token 与算子

针对 Transformer 中不同算子与网络深度对数值扰动敏感度极其不均匀的现状，本文设计了两阶段混合精度分配机制。首先通过单算子替换探测敏感度 $S(o,b,L) = \mathbb{E}_{x \in \mathcal{D}} \|h^\star(x) - \widehat{h}^{(o,b,L)}(x)\|_2$，发现敏感度极度集中在较深层块的 FC2 模块（如在 $L=64$ 时，FC2 占据了前 20 个最敏感位置中的 19 个）。随后提出运行时逐行自适应流长选择策略，无需任何反向重训。以行最大绝对值 $a_{\max}$ 作为动态范围的轻量上界代理指标： - 对于查询键乘法 $QK$，指标为行查询极大值 $g_i^{\textsc{qk}} = \|Q_i\|_\infty$； - 对于注意力加权 $AV$，指标为注意力峰值 $g_i^{\textsc{av}} = \max_j A_{ij}$； - 对于投影与 MLP 模块，直接复用已提取的激活幅度 $g_i = \|X_i\|_\infty$。指标归一化至 $[0, 1]$ 后通过离线拉格朗日乘子法标定的非均匀阈值序列 $\tau_1 \ge \tau_2 \ge \dots \ge \tau_{K-1}$ 进行查表匹配，为不同敏感度的 token 行分配离散或非 2 次幂的位流长度（如 64、96、128、192、256），使非敏感行及早终止，节省算力与能耗。

3. 单门 XNOR 矩阵乘与多尺度提早终止：在同质硬件上实现密集连续的精度与能耗调控

传统算力架构中支持多位宽混合精度必须在芯片内部设计并行动用多套不同位宽的算术逻辑单元，带来显著的芯片面积与控制逻辑冗余。在 SC 架构下，多位宽和连续位宽由同一个由单比特 XNOR 门与紧凑累加器组成的同质阵列完全承载。由于计算开销 $C_{\mathrm{SC}} \propto \sum_m \sum_i \ell_i^{(m)}$ 与有效位流长度呈严格线性关系，硬件可在执行到第 $\ell_i$ 个周期时对第 $i$ 行直接进行门控或提早终止（Early Termination）。在 FreePDK45 标准单元库综合下，单极性 AND 门比无符号 INT8 乘法器面积小 268 倍、功耗低 453 倍；双极性 XNOR 门比带符号乘法器小 156 倍、功耗低 399 倍，即使计入 $L$ 周期的串行延时惩罚，在等面积下仍可通过大规模多通道并行实现超过 1.6×–7× 的综合能耗下降。

4. 闭式 SC 残差补偿微调误差：全 SC 闭环吸收确定性伪随机扰动

由于低位流长度（如 $L \le 128$）时量化与随机近似方差开始显现，本文在每个 Transformer 块后引入全 SC 实现的闭式残差补偿层 $\widehat{y}_b(x) = y^Z_b(x) + W_b x + b_b$。关键 insight 在于：当采用固定的 Sobol 伪随机数发生器种子与序列时，SC 的数值扰动在固定的输入 $(w,x)$ 下是严格确定且可复现的，而非运行时的不可控高斯白噪声。因此，可以通过岭回归闭式解： $$W_b = (Y_b - Y^Z_b) X_b^\top (X_b X_b^\top + \lambda I)^{-1}$$ 在少量校准图像（1024 张）上拟合误差。同时，为防止补偿模块过度拟合随机噪声，引入了跨种子余弦相似度门控机制，仅在不同校准子集上拟合权重余弦相似度 $\cos(W_b^{(A)}, W_b^{(B)}) > \tau$ 时才激活补偿；补偿模块本身亦被转换为固定 $L=256$ 的 SC 线性层执行，全流程维持在纯粹的 SC 数据通路内。

损失函数 / 训练策略¶

本方法完全属于后训练量化（PTQ）与免训练推理加速范畴，不需要任何模型参数反向传播与重训。离线校准阶段仅需在小规模无标签校准数据集（如 100 张图像用于敏感度探测，512~1024 张用于残差回归与拉格朗日乘子阈值搜索）上进行 FP 教师特征前向传播比对，耗时仅数分钟即可完成参数与阈值提取。

实验关键数据¶

主实验¶

在 ImageNet-1k 全量验证集（$N=50,000$）上评估 DINOv2 ViT-L/14 分类性能，并在 MS-COCO 验证集上评估 EVA-01 ViT-g + Cascade Mask R-CNN 的目标检测与实例分割能力，与主流 INT 量化方法 QwT 进行等效位预算对比（$W=A=\log_2 \bar{L}$）：

数据集 / 任务	模型	方法	等效 W/A	主指标 (Top-1 / $AP^b$)	辅指标 (Top-5 / $AP^m$)	$\Delta$ vs FP
ImageNet-1k 分类	DINOv2 ViT-L/14	FP 基线	16/16	86.40%	97.65%	0.00%
ImageNet-1k 分类	DINOv2 ViT-L/14	QwT (INT)	8/8	84.57%	96.56%	-1.83%
ImageNet-1k 分类	DINOv2 ViT-L/14	SC 均匀 ($L=256$)	8/8	85.57%	97.40%	-0.83%
ImageNet-1k 分类	DINOv2 ViT-L/14	SC 均匀 + 残差补偿 ($L=256$)	8/8	85.70%	97.47%	-0.70%
ImageNet-1k 分类	DINOv2 ViT-L/14	SC 均匀 ($\bar{L}=192$)	7.58/7.58	84.67%	97.11%	-1.73%
ImageNet-1k 分类	DINOv2 ViT-L/14	SC 混合精度 MP ($\bar{L}=192$)	7.58/7.58	85.07%	97.23%	-1.33%
ImageNet-1k 分类	DINOv2 ViT-L/14	SC MP + 残差补偿 ($\bar{L}=192$)	7.58/7.58	85.42%	97.43%	-0.98%
ImageNet-1k 分类	DINOv2 ViT-L/14	SC 均匀 ($L=128$)	7/7	78.94%	94.61%	-7.46%
ImageNet-1k 分类	DINOv2 ViT-L/14	SC MP + 残差补偿 ($\bar{L}=128$)	7/7	83.26%	96.45%	-3.14%
COCO 检测与分割	EVA-01 ViT-g	FP 基线	16/16	62.06	52.39	0.00 / 0.00
COCO 检测与分割	EVA-01 ViT-g	QwT (INT)	8/8	61.20	51.59	-0.86 / -0.80
COCO 检测与分割	EVA-01 ViT-g	SC 均匀 ($L=256$)	8/8	61.98	52.18	-0.08 / -0.21
COCO 检测与分割	EVA-01 ViT-g	SC 均匀 + 残差补偿 ($\bar{L}=192$)	7.58/7.58	61.82	52.06	-0.24 / -0.33
COCO 检测与分割	EVA-01 ViT-g	SC 均匀 ($L=128$)	7/7	58.84	48.68	-3.22 / -3.71
COCO 检测与分割	EVA-01 ViT-g	SC 混合精度 MP ($\bar{L}=128$)	7/7	60.45	50.76	-1.61 / -1.63

消融实验¶

针对逐行混合精度策略（MP）与残差补偿模块（Compensation）在不同流长预算下的正交增益分解（以 ImageNet-1k 验证集 Top-1 准确率为例）：

配置 / 模块组合	平均流长 $\bar{L}$	Top-1 准确率 (%)	$\Delta$ vs 纯均匀基线	说明
SC 纯均匀流长基准	256 (8-bit)	85.57%	基准 (0.00%)	基础定长双极性 SC 矩阵乘
+ 残差补偿模块 (Compensation)	256 (8-bit)	85.70%	+0.13%	拟合高精度位流的残余确定性偏差
SC 纯均匀流长基准	192 (7.58-bit)	84.67%	基准 (0.00%)	传统定点硬件无法支持的非 2 次幂流长
+ 逐行混合精度 (MP)	192 (7.58-bit)	85.07%	+0.40%	动态分配：FC2 获得长流，浅层投影缩短流
+ 残差补偿模块 (Compensation)	192 (7.58-bit)	85.42%	+0.75%	结合动态范围门控补偿
+ MP + 残差补偿 (Full Model)	192 (7.58-bit)	85.47%	+0.80%	距离全精度 FP 仅差 0.93%
SC 纯均匀流长基准	128 (7-bit)	78.94%	基准 (0.00%)	低流长下方差增大导致精度断崖
+ 逐行混合精度 (MP)	128 (7-bit)	79.84%	+0.90%	关键敏感 token 得到保护
+ 残差补偿模块 (Compensation)	128 (7-bit)	82.87%	+3.93%	闭式岭回归大幅拉回低比特漂移
+ MP + 残差补偿 (Full Model)	128 (7-bit)	83.26%	+4.32%	在 7-bit 等效算力下挽救 4.32% 精度

关键发现¶

低位宽下混合精度与残差补偿协同显著：在 8-bit 等效流长（$L=256$）下，SC 本身即可达到与 FP 接近的性能（ImageNet Top-1 仅掉 0.83%）；但在 7-bit 等效预算（$L=128$）下，纯均匀 SC 性能崩溃至 78.94%，而混合精度结合残差补偿将准确率大幅挽救回 83.26%，绝对提升高达 +4.32 个百分点。
生成任务中噪声鲁棒性使 SC 展现正向效应：在 DiT-XL/2 类条件图像生成测试中，SC MP（$\bar{L}=64$）的 FID 达到 17.33，反而优于全精度 FP 的 24.81，表明扩散模型的去噪过程天然包容甚至受益于轻微的高斯型算术扰动。
闭环规划的稳健性验证：在 Dino-WM 视觉世界模型封闭规划实验中，在 7-bit 算力下，均匀 SC 成功率下滑（0.800），而 SC MP 借助逐行灵活调优完全恢复至全精度的 0.833 成功率，证明 SC 误差在多步自回归展开中并未灾难性累积。

亮点与洞察¶

硬件数据通路从“位数阶梯”到“时间流长”的范式重构：传统数字加速器受限于定点 ALU，切换精度代价高昂且档位离散；随机计算将乘法降维至单比特门，使精度可以在时间轴上以时钟周期级微步连续伸缩，天然契合细粒度混合精度。
将伪随机误差视为确定性映射并闭式吸收：借助确定性低差异 Sobol 序列，作者敏锐发现 SC 的“随机噪声”在固定的前向路径中具有确定性线性结构，从而成功运用线性残差层闭式抵消误差，无需耗时微调。
软硬件协同设计的 Triton 高效模拟工具链：首创了能进行逐行变长流长调度的 GPU Triton SC 算子，相较既有 CPU 模拟器取得 95,000 倍加速，消除了探索复杂大规模 Transformer 上 SC 特性的工程壁垒。

局限与展望¶

作者承认的局限：目前评估主要集中在少量典型视觉 Transformer（DINOv2、EVA-01、DiT、Dino-WM），未扩展到数百亿参数的大语言模型（LLM）；硬件能耗优势主要源于 45nm 标准单元门级综合与仿真分析，尚未在端到端流片硅芯片上实测延迟与能耗。
潜在不足与适用边界：残差补偿层在超低流长（如 $\bar{L} \le 96$）时因输出有效秩降低与强非线性误差激增而面临补偿退化；同时逐行流长不齐在 SIMD/SIMT 架构硬件上易引发线程束发散（warp divergence），需要专用的脉动阵列或硬件调度器才能完全释放能效。
未来方向：探索更大规模多模态大模型及自回归生成任务中的 SC 部署；结合特定稀疏性模式设计非均匀位流分布；定制面向 SC 连续变长位流特性的非冯·诺依曼硬件架构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性将随机计算诠释为 Vision Transformer 的密集自适应量化器，打通了算法到硬件的跨层映射。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖分类、检测、分割、扩散生成及世界模型规划 5 大经典视觉任务，实验对比扎实详尽。
写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密，数理推导完备，软硬件权衡与实验剖析深入透彻。
价值: ⭐⭐⭐⭐☆ 为后摩尔时代非冯·诺依曼与低功耗边缘端 AI 计算芯片提供了极其宝贵的软硬件协同设计蓝图。