Dissecting Transformers: A CLEAR Perspective Towards Green AI¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/divyanash911/CLEAR
领域: 可解释性
关键词: 绿色AI, 机制可解释性, 能耗分析, Transformer组件, 放大采样策略
一句话总结¶
针对硬件能耗传感器采样周期与微秒级组件执行时间严重失配的瓶颈,提出基于激活缓存与重复放大测量的评测框架 CLEAR,首次完成跨 4 类架构 15 个模型的组件级细粒度推理能耗拆解与规律建模。
研究背景与动机¶
大语言模型在各行各业的爆炸式落地引发了严峻的能耗与碳排放危机。以 ChatGPT-4o 为例,其 2025 年推算碳排放高达 15 万吨二氧化碳当量,相当于数万辆燃油汽车一年的排放总量。与单次发生的高昂模型训练成本相比,在线推理作为全天候支撑数亿次高并发查询的服务,占据了大模型全生命周期碳足迹的绝大部分。然而,学术界既有的能耗评估往往将整个网络视为黑盒,仅在全模型和超大评测集上汇报粗粒度的累加能耗(如兆焦耳级别),这种端到端的宏观统计彻底掩盖了内部各计算原语的真实耗能贡献。
实现内部组件级能耗归因的核心技术壁垒在于微观算子与宏观传感器之间悬殊的时间尺度失配。以 Transformer 中注意力算子或归一化层为例,单个组件在现代 GPU 上的执行时延通常仅在 10 至 100 微秒区间;相比之下,标准 GPU 能耗监控接口(如 NVIDIA NVML)的硬件采样周期通常长达 20 至 50 毫秒。如果直接读取单次调用的首尾功率差,传感器要么因两次采样之间执行完毕而返回虚假的 0 mJ,要么因测量窗口内充斥着 CUDA 运行时空闲底噪而导致信噪比极低。同时,依赖微架构硬件跟踪器的方法难以广泛部署于各种计算设备,导致学术界始终缺乏经过完整性与一致性双重校验的纯软件级测量范式。
为了打破黑盒束缚并解耦微观组件能耗,本文提出了基于应用层的三阶段测量框架 CLEAR。该方案通过前向 Hook 缓存输入激活张量,在无缝热执行循环中重复调用待测组件以放大运行时长,从而使真实计算能耗彻底压倒传感器采样底噪,并以严格的模块捕获率与方差验证支撑测量的完备性。核心 idea:通过前向激活缓存与无间隙重复放大执行将微秒级算子耗能拉伸至硬件传感器有效采样区间,构建经完整性与一致性双重验证的纯软件细粒度能耗归因框架。
方法详解¶
整体框架¶
CLEAR 是一个轻量级且跨硬件平台通用的三阶段组件级能耗分析流水线,包含激活存储(Activation Store)、放大测量策略(Amplification Strategy)与一致性完整性校验(Validation)三大模块。整个流程从完整的前向推理图中剥离出关键计算原语,包括注意力机制(Attention)、前馈多层感知机(MLP)、层归一化(LayerNorm)、词嵌入层(Embedding)以及语言建模头(LM Head)。
流水线的工作流如下图所示:首先通过前向 Hook 获取各算子真实输入激活;随后在隔离环境下对各组件执行千次至万次连续无缝重放,使单次评测持续数百毫秒,从而规避 NVML 传感器 20–50 ms 的时延阶跃;最后在全模型与模块层级对能量汇总值进行捕获率对账。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["前向推理输入与计算图"] --> B["阶段1:前向激活缓存<br/>前向Hook截取并缓存张量ac"]
B --> C["阶段2:无间隙重复放大执行<br/>N次连续重放压制传感器底噪与空闲功耗"]
C --> D["阶段3:完整性与一致性双重校验<br/>多轮试验方差核验与全模型捕获率对账"]
D --> E["组件级能耗与FLOPs量化分析"]
关键设计¶
1. 前向激活缓存:保障独立重放的输入统计一致性 为了在完全剥离网络上下游依赖的前提下真实还原组件运行状态,研究人员在 PyTorch 计算图中为注意力块、MLP、LM Head 和归一化层分别注册前向钩子(Forward Hooks)。在标准前向传播中,算子接收的真实输入激活张量 \(a_c \in \mathbb{R}^d\) 被截获并保存在激活缓存池 \(\mathcal{A} = \{a_c \mid c \in \mathcal{A}\}\) 中。这使得后续测试可以在无梯度开销、无额外内存分配干扰的纯净环境中,将相同的张量多次灌入指定组件,杜绝因生成随机输入而导致的算子分支预测或数据分布偏倚。
2. 无间隙重复放大执行:规避传感器采样时钟失配 现代 GPU 上的组件单次执行耗时(10–100 \(\mu\text{s}\))远小于 NVML 传感器更新周期(20–50 \(\text{ms}\))。若直接在单次算子执行前后采样,实测能量 \(\Delta E\) 极易为零或被 CUDA 空闲能耗 \(\varepsilon\) 完全主导。CLEAR 采用连续无间隙重复执行策略:对带缓存输入 \(a_c\) 的组件 \(c\),瞬间连续调用 \(N\) 次并统计累计能耗 \(E_{\text{tot}}^c\)。单次执行的真实能耗由下式估算: $$ \hat{E}c = \frac{E $$ 当小组件执行次数设为 }} - E_{\text{start}}}{N} = \frac{E_{\text{tot}}^c}{N} \pm \frac{\varepsilon}{N\(N = 10,000\)、全模型设为 \(N = 1,000\) 时,总负载时长拉长至数百毫秒,完全覆盖硬件采样窗口,此时常数级测量噪声 \(\varepsilon\) 被稀释 \(N\) 倍至可忽略水平(\(\varepsilon / N \to 0\))。每次测试重复 \(T=20\) 轮并设置传感器复位间歇,计算均值与标准差。
3. 完整性与一致性双重校验:构建软件级能量对账守恒 为确保测量结果具备严谨物理意义,CLEAR 建立了双重验证准则。首先,跨 \(T=20\) 轮试验的标准差收敛性证明了测量的确定性(对耗能 \(>5\,\text{mJ}\) 的算子相对方差低于 \(9.5\%\))。其次,定义捕获能量(Captured Energy)与捕获百分比(\(\%\text{Capture}\)): $$ \text{Capture} = \sum_{i=1}^M \bar{E}i, \quad \%\text{Capture} = \left(\frac{\sum}^M \bar{Ei}{\bar{E}\right) \times 100\% $$ 通过验证各层块捕获率 }}\(\% \text{Capture}(\text{Block}) \approx 100\%\) 以及整网捕获率 \(\% \text{Capture}(\text{Model}) \ge 90\%\),严谨证实了除微小残差相加连接外的所有计算原语均被完备量化。
损失函数 / 训练策略¶
本研究聚焦预训练与指令微调模型的纯推理阶段能耗剖析,无需微调或损失函数更新。测试涵盖 FP32、FP16 及 BF16 精度,重点在 NVIDIA RTX 6000 Ada、RTX 5000 Ada 以及 Hopper H100 架构上探究算子能耗对序列长度(1–512 tokens)、批大小(1–64)、注意力头数和隐藏层维度的参数缩放敏感度。
实验关键数据¶
主实验¶
论文在涵盖 Encoder-only(BERT, RoBERTa, ALBERT, DistilBERT)、Decoder-only(Qwen2.5-3B, Llama-3.2-3B, Gemma-3-4B, Phi-4-mini)及 MoE(GPT-OSS-20B)的 15 个模型上验证了 CLEAR。以下展示 GPT-OSS-20B 在 RTX 6000 Ada 上的组件级能耗分解及捕获率对账。
| 组件 / 指标 | 8 Tokens (mJ) | 32 Tokens (mJ) | 64 Tokens (mJ) | 96 Tokens (mJ) | 128 Tokens (mJ) |
|---|---|---|---|---|---|
| Attention Block (Avg ± Std) | 53.26 ± 1.68 | 64.15 ± 0.69 | 75.16 ± 0.76 | 93.91 ± 0.78 | 100.70 ± 1.05 |
| MLP (Avg ± Std) | 685.41 ± 12.61 | 776.91 ± 3.17 | 867.69 ± 0.87 | 958.13 ± 1.41 | 1046.20 ± 1.19 |
| Normalization (All) | 9.32 ± 0.73 | 10.79 ± 0.83 | 12.70 ± 1.06 | 13.44 ± 1.42 | 14.64 ± 1.11 |
| Block 测量值 (Avg ± Std) | 731.91 ± 12.46 | 856.31 ± 1.43 | 951.87 ± 0.81 | 1057.01 ± 0.88 | 1157.20 ± 1.18 |
| Block 捕获率 (%Capture) | 102.20% | 99.48% | 100.39% | 100.80% | 100.38% |
| LM Head (Avg ± Std) | 443.39 ± 1.11 | 452.14 ± 0.99 | 460.38 ± 0.99 | 475.22 ± 1.27 | 483.52 ± 1.24 |
| Full Model 测量值 (Avg ± Std) | 18447.50 ± 63.78 | 21366.69 ± 103.48 | 24126.47 ± 12.67 | 26634.05 ± 15.33 | 28801.98 ± 2.87 |
| Full Model 捕获率 (%Capture) | 97.65% | 98.33% | 96.63% | 97.06% | 98.13% |
消融实验¶
为了对比注意力内核机制与图编译对能耗的影响,下表汇总了 Qwen2.5-3B 和 Gemma-3-4B 在 256 输入 tokens 下各类实现方案的实测能耗、浮点运算量及单位算力能耗(Energy per GFLOP)。
| 模型配置 (256 Tokens) | 实现变体 / 编译模式 | 能耗 (mJ) | 标准差 (mJ) | FLOPs (GFLOPs) | 能效比 (mJ/GFLOP) |
|---|---|---|---|---|---|
| Qwen2.5-3B | FP16 Eager Attention | 70.411 | 0.585 | 5.372 | 13.108 |
| Qwen2.5-3B | FP16 SDPA | 62.223 | 1.319 | 4.834 | 12.873 |
| Qwen2.5-3B | FP16 Flash Attention | 56.665 | 1.131 | 4.834 | 11.723 |
| Qwen2.5-3B | FP16 Flash + torch.compile | 47.558 | 0.702 | 4.832 | 9.843 |
| Qwen2.5-3B | FP16 Eager Max Autotune | 33.500 | 0.874 | — | 深度算子融合 |
| Gemma-3-4B | FP16 Eager Attention | 100.152 | 2.179 | 8.594 | 11.653 |
| Gemma-3-4B | FP16 SDPA | 93.987 | 1.188 | 8.057 | 11.665 |
| Gemma-3-4B | FP16 Flash Attention | 85.843 | 1.854 | 8.057 | 10.654 |
| Gemma-3-4B | FP16 Flash + torch.compile | 58.833 | 0.814 | 8.053 | 7.306 |
| Gemma-3-4B | FP16 Eager Max Autotune | 41.614 | 0.619 | — | 深度算子融合 |
关键发现¶
- FLOPs 无法直接等价于能耗:注意力机制的单位浮点运算能耗(mJ/GFLOP)显著高于全模型、MLP 和 LM Head。在 Gemma-3-4B 中,注意力机制展现出最高的 \(E/\text{FLOP}\) 比率,主因在于 Softmax、Query-Key 转置乘法及非规则访存带来了沉重的访存带宽与同步开销。
- 线性扩展与固定底噪模型:组件能耗严格服从线性模型 \(E(L) \approx E_0 + k \cdot \text{FLOPs}(L)\)。随着序列长度增长,固定初始化底噪 \(E_0\) 被有效摊薄,导致平均 \(E/\text{FLOP}\) 单调下降,但边际能耗增量 \(\Delta E / \Delta \text{FLOP}\) 保持绝对水平稳定。MLP 对隐藏层维度呈近乎完美线性扩展(\(R^2 = 0.995\)),而注意力对头数的扩展则包含显著的固有常数开销。
- KV Cache 的长上下文节能阈值:解码单 token 时启用 KV Cache 能将注意力计算量压制在 \(0.019\,\text{GFLOPs}\)。当上下文扩展至 512 tokens 时,KV Cache 为 Qwen2.5-3B 节省了超 \(60\%\) 的注意力能耗,但在小于 50 tokens 的极短文本中,缓存维护带来的内存搬运甚至会导致微弱的能耗倒挂(\(-0.8\%\) 至 \(-1.7\%\))。
- 硬件架构演进放大了访存与计算的能耗剪刀差:从 RTX 6000 Ada 迁移到 Hopper H100 后,Tensor Core 算力跃升使 MLP 等密集矩阵乘法的单位算力能耗大幅骤降,使得 Attention 与 MLP 之间的单位算力能耗差距从 Ada 上的 \(2.7\times\) 进一步拉大至 H100 上的 \(5.4\times\)。
亮点与洞察¶
- 算子重复放大消噪法:通过无隙热执行循环将微秒级算子耗时放大至数百毫秒,以极为优雅纯粹的应用层设计规避了毫秒级硬件传感器的死区与量化噪声。
- 算力不等同于能耗的实验实证:破除了学术界长期用 FLOPs 粗暴替代推理能耗的惯性思维,证明了高访存比的 Attention 是名副其实的“能耗杀手”。
- 端到端守恒对账闭环:提出捕获率(%Capture)作为能量测量准则,在工业级大模型上取得了 \(96\%+\) 的高吻合度,为未来架构级能耗预估模型奠定了高精度基准数据。
局限与展望¶
- 算子融合下的 FLOPs 归因盲区:在启用 PyTorch 激进编译优化(如 Max Autotune)后,多个跨算子操作被融合成硬件底层单内核,现有 Profiler 无法准确分解各算子的有效 FLOPs,导致能效比无法以标准单位呈现。
- 硬件平台覆盖度待扩展:实验主要覆盖了 NVIDIA Ada 与 Hopper 两代架构,尚未在 AMD ROCm、Intel Gaudi 以及云端 ASIC(如 Google TPU / AWS Inferentia)上建立组件能耗普适对比。
- 动态量化与稀疏推理的细粒度追踪:未来的工作应进一步探索 FP8/FP4 混合精度以及 MoE 动态门控负载不均衡时的细粒度瞬态能耗波动。
相关工作与启发¶
- vs Luccioni et al. (AI Energy Score): 后者基于全任务数据集评估宏观端到端能耗,受数据长尾扰动大;CLEAR 从白盒架构视角剖析内部组件,揭示了微观能耗变异性。
- vs IrEne (Cao et al., 2021): IrEne 采用基于特征维度的回归预测树预测模型能耗,但受限于硬件传感器粗粒度真值数据;CLEAR 提供了高保真的纯软件真值采集技术,能够直接赋能并校准此类能耗预估模型。
- vs EDGEPROFILER / FECOM: 早期工具多绑定 TensorFlow 或边缘嵌入式芯片;CLEAR 无缝集成现代 PyTorch 生态,全面适配主流 Decoder-only、MoE 开源大模型。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用重复循环将微秒级算子放大以跨越硬件传感器时延断层,开创了纯软件细粒度能耗归因先河。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 15 个模型、4 类架构、2 代顶级 GPU,包含跨精度、编译变体、批大小和 KV Cache 的全景数据。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密,图表详实,对账守恒严谨。
- 价值: ⭐⭐⭐⭐⭐ 为绿色 AI、能耗感知神经架构搜索(NAS)与算子级能效优化提供了不可或缺的底层基石。