跳转至

HTAM: Hierarchical Transition-Attended Memory for Operator Optimization

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM Agent
关键词: LLM智能体、GPU算子优化、分层记忆、状态转移图、CUDA内核生成

一句话总结

针对大语言模型在 GPU 算子优化中面临的“粗粒度提示难执行、细粒度追踪噪声大”的粒度失配矛盾,本文提出分层状态转移注意力记忆框架 HTAM,通过构建两层分层转移图(HTG)与位置感知注意力转移效用评分,实现从全局优化方向到局部实现策略的由粗到精演进搜索,在 KernelBench 全集 250 个任务上达到 98.4% 正确率与 1.978× 几何平均加速比。

研究背景与动机

随着大语言模型(LLM)参数规模的迅速扩张以及专用硬件加速器(如 GPU)架构的持续演进,开发高吞吐、低延迟的高性能底层算子已成为高效部署大模型的生命线。然而,手写极致性能的 GPU 算子高度依赖领域专家精通多级硬件内存层次(全局显存、共享内存、寄存器)、专用计算单元(如 Tensor Core)以及极其苛刻的硬件对齐和并发同步约束。近期代码大模型虽然展现出强大的单步代码生成能力,但将 LLM 直接用于算子优化仍面临巨大的挑战:硬件感知的算子设计空间极度离散庞大,往往需要跨多轮探索迭代演化,而非单次提示一蹴而就。

在多步演化探索中,核心矛盾集中在历史经验的组织粒度与复用效率之间的失配。以 CudaForge 为代表的方法依赖粗粒度的瓶颈诊断和高层文本提示,这类经验虽然具有良好的跨算子通用性且易于检索,但表述过于抽象,无法为底层的硬件内联 CUDA 代码修改提供可执行的精确指导;相反,以 Robust-KBench 为代表的细粒度实现追踪方法虽然保留了具体的代码补丁细节,却导致状态-策略搜索空间呈组合级爆炸,检索充满了低效的局部语法噪声,使得 LLM 极易在次优的局部微调中停滞不前。

为了弥合这一粒度鸿沟,本文借鉴人类专家在算子调优时“先抓宏观瓶颈、再施微观策略”的决策习惯,提出分层状态转移注意力记忆框架 HTAM。核心 idea:将多步算子优化的经验空间解耦为“全局优化方向—局部策略卡片—方向间状态转移”的三层图结构(HTG),利用历史转移效用的注意力衰减加权自适应引导每一步由粗到精的决策,从而用紧凑的成对转移记忆替代指数级膨胀的全轨迹历史。

方法详解

整体框架

HTAM 将算子优化形式化为一个多步状态演化过程:在每一步 \(t\),环境首先从当前实现代码 \(c_t\)、历史轨迹以及评估反馈中提取紧凑的决策状态 \(s_t\);接着通过分层转移图(Hierarchical Transition Graph, HTG)自上而下进行两级决策:第一级通过图节点静态先验与成对边的转移注意力效用评分,由确定性评分函数挑选最优的全局优化方向 \(g_t\);第二级将搜索空间严格约束在该方向下的候选局部策略节点集 \(\mathcal{L}(g_t)\) 中,由 LLM 根据当前代码上下文与经验卡片评估选出最佳局部修改策略 \(l_t\) 并生成代码编辑计划;最后由 LLM 基于局部策略上下文生成内联 CUDA 实现代码 \(c_{t+1}\),通过硬件编译器与真实数据校验后,将运行结果与状态反馈以只读/写入分离机制更新回图记忆库中。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["算子初始实现 c0 与任务上下文"] --> B["状态摘要提取<br/>提取编译/正确性/耗时/代码症状 st"]
    B --> C["分层转移图 HTG 记忆库<br/>全局节点 VG + 局部节点 VGL + 转移边 EG"]
    C --> D["全局方向选择<br/>基于转移边效用与位置感知注意力评分"]
    D --> E["局部策略筛选<br/>约束于父节点的策略卡片 LLM 偏好评估"]
    E --> F["内联 CUDA 生成与执行验证<br/>生成可执行代码并在 A100 上评测"]
    F -->|验证反馈 ot| G["动态双轨记忆更新<br/>回写全局/局部/边记忆经验数据"]
    G -->|未达最大步数 T| B
    F -->|达到最优或终止条件| H["输出最优算子实现 c*"]

关键设计

1. 分层转移图记忆库:解耦宏观方向、微观卡片与转移经验

以往方法要么维护扁平混乱的文本经验块,要么试图记录长序列优化链导致存储爆炸(\(O(|V_G|^T)\))。HTAM 构建了形式化为 \(\mathcal{M} = (V_G, V_{GL}, E_G)\) 的分层转移图(HTG)。其中全局节点 \(V_G\) 编码具备跨算子迁移能力的 5 大高层意图(内存访问优化 Memory Access、数据复用 Data Reuse、计算吞吐 Instruction Throughput、边界处理 Boundary Handling、并行映射 Parallel Mapping),包含静态先验(目标、触发条件、风险)与动态统计(尝试频率、提速趋势);局部节点 \(V_{GL}\) 归属于对应的全局父节点下,充当专家级微观“策略卡片”(如内存访问下的对齐向量化读取、只读缓存提升等),保存代码模式、验证清单及正负失败用例;全局转移边 \(E_G\) 覆盖所有有序全局方向对 \((g_i, g_j) \in V_G \times V_G\),存储从一个宏观意图切换到另一个宏观意图的成对转移效用与风险先验。这种解耦将记忆库的转移边规模恒定压缩在 \(O(|V_G|^2)\),既隔绝了局部细节对全局方向的干扰,又保证了微观修改的精准可执行性。

2. 全局方向选择:基于成对转移边的位置感知注意力效用评分

如果直接以完整历史路径为键进行记忆检索,随着优化步数增加,完全一致的历史链条极其稀疏难以匹配;而仅看上一步决策(马尔可夫单步转移)又会丢失更早期的关键上下文(例如是否已经做过向量化或寄存器压力是否过大)。HTAM 提出了一种位置感知注意力加权的转移评分机制:给定前 \(t-1\) 步的全局方向历史前缀 \(pg_t = (g_1, \dots, g_{t-1})\),候选全局方向 \(g \in V_G\) 的效用得分由各历史步骤到候选方向的成对转移效用加权聚合而成:

\[\text{score}_g(g \mid pg_t, s_t) = \sum_{i < t} \alpha_i \phi(g_i, g \mid s_t)\]

其中 \(\phi(g_i, g \mid s_t) = \mathbf{w}^\top \mathbf{z}(s_t, g_i, g)\) 是基于状态特征匹配的确定性特征评分函数,综合了即时与远期加速比提升 \(\mathbf{z}_{imp}\)、编译与安全可靠性 \(\mathbf{z}_{rel}\) 以及回归失败风险 \(\mathbf{z}_{risk}\);\(\alpha_i\) 为位置感知权重:

\[\alpha_i = \exp(-\lambda(|pg_t| - i))\]

该衰减系数为越接近当前的决策分配越大的权重,在保留长期路径依赖的同时强化近期上下文。最终通过带 \(\epsilon\)-greedy 探索的 Softmax 策略采样出 \(g_t\)。该过程完全由确定性图计算完成,无需额外消耗 LLM API 调用。

3. 局部策略筛选:自上而下约束空间与专家卡片驱动的代码生成

在全局优化意图 \(g_t\) 确定后,HTAM 将局部策略候选严格限制在其直接子节点集合 \(\mathcal{L}(g_t) = \{l \in V_{GL} : \text{par}(l) = V_G(g_t)\}\) 内,彻底消除了扁平检索全库带来的搜索空间爆炸与无关模式干扰。LLM 仅需在 3-5 张高度契合当前宏观意图的局部策略卡片中进行甄别,综合当前代码状态 \(s_t\)、当前内核 \(c_t\) 与策略卡片中的正反例证,输出结构化决策(所选策略节点、选择理由及具体编辑计划):

\[l_t = \arg\max_{l \in \mathcal{L}(g_t)} \text{LLM}(s_t, c_t, V_G(g_t), V_{GL}(l))\]

随后,代码生成阶段将选定的局部卡片模式(如 16 字节内存对齐保护网、尾部标量回退、标量展开等真实工程规范)注入提示词,指导 LLM 生成包含网格跨步循环与内联汇编/内建指令的完整内联 CUDA 实现代码 \(c_{t+1}\)。

4. 动态双轨记忆更新:静态先验与执行轨迹反馈的双轨维护

为了避免离线静态知识与具体算子执行表现脱节,HTAM 为每个节点与转移边设计了只读先验(Prior Memory)与运行时反馈(Runtime Memory)的双轨结构。在完成每步内核编译与基准评测后,HTAM 解析执行结果 \(o_t\)(包括编译状态、测试集数值误差、实际运行时间及瓶颈指标),通过规则化增量机制更新对应全局节点 \(V_G(g_t)\) 的成功率统计、局部节点 \(V_{GL}(l_t)\) 的实测正负用例,以及转移边 \(E_G(g_{t-1}, g_t)\) 的转移收益与风险指标。经验在任务内与任务间形成自适应演化积累,且更新过程完全基于确定性规则,零额外 API 成本。

一个完整示例

以 KernelBench Level-1 中的 Swish 激活算子(kb_l1_25_swish)优化轨迹为例: 1. 基线初始状态(Step 0):原始实现为 PyTorch Eager 代码 x * torch.sigmoid(x),A100 上实测耗时为 18.2 ms,加速比 1.00×; 2. 第一步演进(Step 1):状态诊断发现中间存在临时的 sigmoid 张量生成与冗余内存读写。HTAM 选中全局方向 g_data_reuse_locality(数据复用),检索局部卡片 l_g_reuse_light_epilogue_fusion(轻量尾部算子融合),生成标量单内核实现,避免写回中间激活值,耗时骤降至 9.56 ms(加速比 1.904×); 3. 第二步演进(Step 2):状态转移至 g_memory_access_optimization(内存访问),检索局部卡片 l_g_mem_aligned_vec4_main_tail,构建带有 16 字节指针地址对齐校验的 float4 向量化热循环,并保留标量尾部回退逻辑,耗时进一步降至 7.77 ms(加速比 2.342×); 4. 第三步演进(Step 3):在内存访问方向下继续深挖,检索局部卡片 l_g_mem_ldg_readonly_texture_path,为全局输入张量引入 __ldg() 只读缓存指令并将标准指数函数替换为硬件内建单精度指令 __expf(),最终将耗时压缩至 7.76 ms,整体提速达到 2.345×。

实验关键数据

主实验

在严格遵循官方协议的 KernelBench 全集 250 个任务(L1 单算子 100 篇、L2 算子融合 100 篇、L3 模型级子图 50 篇)上,以 NVIDIA A100-SXM4-80GB GPU 与 PyTorch 2.9.1 / CUDA 12.8 为统一基准,HTAM 与复现/外部基线的主对比结果如下表所示:

方法 测试时缩放 迭代演化 记忆检索 分层决策 正确率 (Correct)↑ Fast@1↑ 几何平均加速比 (GeoM)↑ L1 加速比↑ L2 加速比↑ L3 加速比↑
DeepSeek-R1 (单次直出) × × × × 74.4% 14.8% 0.827× 0.705× 0.926× 0.907×
DeepSeek-V3 × × × × 82.0% 7.2% 0.194× 0.060× 0.314× 0.780×
DeepSeek-V4-Flash × × × × 64.0% 10.0% 0.330× 0.171× 0.375× 0.952×
Gemini-2.5-Flash-Thinking × × × × 86.0% 22.8% 0.355× 0.099× 0.904× 0.699×
Best-of-N Sampling (N=5) ✓ × × × 80.4% 24.8% 0.909× 0.780× 1.030× 0.960×
Feedback-only Refinement ✓ ✓ × × 84.8% 49.2% 1.065× 0.955× 1.180× 1.080×
Flat Memory Retrieval ✓ ✓ ✓ × 89.6% 58.8% 1.464× 1.194× 1.917× 1.284×
KernelBlaster‡ (外部报告) ✓ ✓ ✓ × 80.2% 62.8% 1.756× 1.497× 2.592× 1.110×
CudaForge‡ (外部报告) ✓ ✓ × × 97.6% 70.8% 1.677× 1.448× 2.104× 1.283×
HTAM (本文方法, T=6) ✓ ✓ ✓ ✓ 98.4% 84.0% 1.978× 1.532× 2.598× 1.909×

消融实验

在完整 250 个 KernelBench 任务上,对分层架构、前缀感知转移机制与演进迭代深度进行系统消融,对比数据如下:

消融变体配置 正确率 (Correct)↑ 几何平均加速比 (GeoM)↑ 加速比衰减 (ΔGeoM) 说明
HTAM (完整模型, T=6) 98.4% 1.978× 0.000× 基准完整方法
分层记忆组织消融
移除全局-局部双层结构 (w/o hierarchy structure) 89.6% 1.464× -0.514× 退化为扁平全局检索,空间噪声剧增
移除局部策略卡片记忆 (w/o local memory) 71.6% 0.974× -1.004× 仅剩宏观方向,无微观代码工程指引
随机记忆注入变体 (randomized memory) 88.8% 0.812× -1.166× 证明增益来自相关经验而非 prompt 长度
前缀感知状态转移消融
移除优化历史前缀 (w/o prefix \(pg_t\)) 94.4% 1.683× -0.295× 丧失多步历史上下文依赖
移除位置感知注意力权重 (w/o position-aware weight) 95.6% 1.787× -0.191× 无法区分近期与远期决策的重要性
演进策略与迭代深度消融
冻结运行时记忆更新 (w/o updated memory) 96.4% 1.842× -0.136× 丧失任务内即时反馈自适应更新能力
单步演进 (1-step evolution) 91.2% 1.428× -0.550× 无法完成深层多阶段递进优化
三步演进 (3-step evolution) 95.2% 1.756× -0.222× 演化深度不足以挖掘全部瓶颈

关键发现

  • 分层组织是决定优化上限的核心瓶颈:在所有消融中,剔除局部策略卡片使加速比暴跌 1.004×(跌破 PyTorch 原生性能至 0.974×),剔除分层结构使加速比下降 0.514×。这表明单凭高层概念指导无法跨越工程实现鸿沟,必须依赖局部节点的具体对齐与硬件内建指令卡片。
  • 算子融合任务展现出最显著的收益:HTAM 在 Level-2 算子融合任务上取得了最高的 2.598× 加速比,显著高于 L1 的 1.532×。这与 GPU 底层特性契合:复合算子包含大量跨运算的中间激活值访存开销,HTAM 能够连续做出“数据复用(融合)\(\rightarrow\) 内存访问(向量化与只读缓存)”的最佳转移组合。
  • 卓越的成本收益比与跨基准迁移能力:在 DeepSeek-R1 API 计费下,单任务完成 6 步完整优化的平均在线成本仅为 $0.214(250 个任务总计仅 $53.6),核心原因在于全局方向选择、转移效用打分与记忆更新完全是确定性图运算(0 API 成本),80.3% 的开销集中在最终代码生成;在独立泛化基准 Robust-KBench 上的 5 个任务测试中,预加载 KernelBench 提炼记忆使冷启动几何平均加速比从 1.20× 跃升至 1.58×(LayerNorm 提升 +1.76×、RMSNorm 提升 +1.59×)。

亮点与洞察

  • 将指数级路径存储压缩至紧凑的二次方成对转移图:巧妙地将全历史链条件转移 \(O(|V_G|^T)\) 转化为有向图成对边 \(O(|V_G|^2)\),并在决策时利用受注意力机制启发的指数时间衰减权重实时动态重构前缀依赖,兼顾了存储经济性与深层历史感知。
  • 确定性图打分与概率化 LLM 代码生成的职责解耦:全局宏观路由完全由特征工程驱动的确定性奖励函数计算,彻底规避了让大模型直接从头推导全局决策的幻觉与 token 浪费,把有限的模型注意力集中在微观策略的落地实现上。
  • 从自然语言经验向可执行工程补丁的无缝落地:局部策略卡片并非宽泛的自然语言技巧,而是紧扣 CUDA 工程实战定义了对齐防御分支、__ldg() 载入、标量回退守卫等细粒度规范,保证了 98.4% 的超高代码可编译与数值正确率。

局限与展望

  • 作者承认的局限:受制于测试算力与 API 预算,评测主要在 NVIDIA A100 与 KernelBench / Robust-KBench 上展开,未对各种规模的基座 LLM、采样解码超参数及异构加速器(如 AMD ROCm、昇腾 NPU)进行穷尽式扫参验证;此外目前依赖单元测试执行反馈而非形式化验证,极度边缘的张量维度或输入分布仍可能潜藏正确性风险。
  • 深入观察的局限:跨基准迁移实验显示,在 Cross-Entropy 等高度定制的规约算子上,预加载记忆反而导致加速比出现轻微下降(-0.10×),暴露出当目标算子计算图与源算子图差异过大时,静态经验先验可能形成负迁移干扰。
  • 未来改进方向:可引入符号执行或形式化验证机制以保障极端维度下的内存安全与数值对齐;进一步探索将分层转移记忆图扩展至 Triton、TileLang 等跨平台中间表达语言,实现面向异构硬件后端的自动化跨平台转移。

相关工作与启发

  • vs CudaForge: CudaForge 依赖于粗粒度的硬件性能瓶颈分析与自然语言建议,但在生成底层复杂 CUDA 时缺乏微观代码规范指引;HTAM 提供了全局方向到局部可执行策略卡片的双层递进,不仅正确率更高(98.4% vs 97.6%),Fast@1 亦大幅领先(84.0% vs 70.8%)。
  • vs KernelBlaster / Flat Memory: KernelBlaster 与平铺检索记忆库缺乏层次划分,将宏观思路与具体代码混在同一检索空间,导致噪声大、长程依赖匹配困难;HTAM 通过 \(O(|V_G|^2)\) 转移边与注意力加权,结构化复用转移路径,以更低开销实现更高的几何平均提速(1.978× vs 1.756× / 1.464×)。

评分

  • 新颖性: ⭐⭐⭐⭐⭐(巧妙设计了双层转移图 HTG 与注意力位置衰减机制,解决了代码 Agent 在多步长程优化中的经验粒度失配与存储爆炸难题)
  • 实验充分度: ⭐⭐⭐⭐⭐(在 KernelBench 250 个全量任务上开展了全面的主对比、细致入微的三组消融、多 LLM 后端泛化评测、跨基准 Robust-KBench 迁移及 API 成本分解)
  • 写作质量: ⭐⭐⭐⭐⭐(问题建模严谨清晰,数学表达克制精准,案例分析与代码实现细节交代完备)
  • 价值: ⭐⭐⭐⭐⭐(为大模型自动生成高性能底层系统算子提供了兼具理论优雅性与工业落地可行性的全新范式)