BOSCH: Black-Box Binary Optimization for Short-Context Attention-Head Selection in LLMs¶

会议: ACL 2026
arXiv: 2604.05942
代码: 无
领域: LLM效率 / 注意力优化
关键词: 滑动窗口注意力, 注意力头选择, 黑盒优化, 大邻域搜索, KV-Cache

一句话总结¶

提出 BOSCH，一种免训练的注意力头级别 SWA 混合方法，将 SWA 头选择建模为大邻域搜索问题并分解为三阶段优化（层重要性探测→自适应比例分配→分组头选择），在 4 个模型 4 种比例设置下系统性超越层级启发式和 6 种静态头级别方法。

研究背景与动机¶

领域现状：后训练混合化通过将部分自注意力替换为滑动窗口注意力（SWA）来减少 KV-Cache 使用和改善延迟。现有混合方案主要在层级别操作（如交替、BME 模式）或基于静态排名的头级别。

现有痛点：层级方案忽略了同一层内不同头分别路由局部和全局依赖的事实——整层切换会移除关键全局信息。静态头级别方法（先排名所有头的局部/全局程度，再按比例转换最局部的头）存在"纠缠问题"：一个头在混合化前估计的局部/全局行为在混合化后可能改变，导致次优选择。

核心矛盾：头级别搜索空间巨大（现代 LLM 有数百到数千个头），直接使用黑盒优化算法不可行——每次评估昂贵且单比特翻转改进概率随维度增长以 ~1/N 速率下降。MADS 等方法在超过约 50 个变量时效率就急剧下降。

本文目标：在实际可行的评估预算内，找到比层级启发式和静态头级别方法都更优的 SWA 头选择方案。

切入角度：将问题建模为大邻域搜索（LNS），将高维搜索空间分解为三个低维子问题。

核心 idea：不直接搜索所有头，而是先探测层的重要性、再分配每层的 SWA 比例、最后在同比例的层组内联合优化头选择——每个子问题的变量数控制在黑盒优化可处理的范围内。

方法详解¶

整体框架¶

BOSCH 要解决的是一个高维约束二值优化问题：在 \(N\) 个注意力头中选出一个子集替换为滑动窗口注意力，使模型性能损失最小，同时满足 SWA 头总比例为目标 \(\rho\)，形式化为 \(\min_{z \in \{0,1\}^N} \mathcal{L}(\mathcal{M}, z, \mathcal{D})\)。直接对几百上千个头做黑盒搜索不可行，因此 BOSCH 借大邻域搜索（LNS）的思路把这一巨型搜索空间拆成三个低维子问题顺序求解——先逐层探测每层对局部化的敏感度，再据此给各层分配差异化的 SWA 比例，最后在同比例的层组内联合优化具体头的选择。输入是一个待混合化的预训练模型与目标比例，输出是一张满足预算且性能最优的全局头选择掩码。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：预训练模型 + 目标 SWA 比例 ρ"] --> B["层重要性探测<br/>顶→底级联小搜索，每层转 ⌈ρH⌉ 头"]
    B --> C["得到逐层最佳得分向量 s_best ∈ ℝ^L"]
    C --> D["自适应比例分配<br/>由得分算下降 δ→权重 w_ℓ，分桶映射比例 r_ℓ"]
    D --> E["相邻桶间挪层精确满足全局预算 ρ"]
    E --> F["多层头选择<br/>同比例层归组，组内拼接头索引联合优化"]
    F -->|损失 L = −Ŝ + α(ρ(z)−ρ)² 驱动| G["提交进全局头选择掩码 z ∈ {0,1}^N"]

关键设计¶

1. 阶段一·层重要性探测：用级联小搜索量出每层的敏感度

第一步要回答"哪些层经不起局部化"。BOSCH 从最顶层向最底层迭代，每到一层就用一个小预算的黑盒搜索把 \(\lceil \rho H \rceil\) 个头转成 SWA 并记录最佳得分；由于搜索到某层时其上方各层已经被局部化，这形成了一种级联评估，让每层的得分反映"在已有局部化基础上再动这层"的真实代价。所有层探测完后得到一个最佳得分向量 \(s_{best} \in \mathbb{R}^L\)，为后续按层差异化分配预算提供了数据驱动的依据，而不是凭启发式给所有层一刀切。

2. 阶段二·自适应比例分配：把预算倾斜给"扛得住"的层

不同层对局部化的容忍度相差很大，统一比例要么浪费容易层的余量、要么压垮困难层。BOSCH 据上一步的得分算出每层相对原始模型的性能下降 \(\delta\)，转换成权重 \(w_\ell \in [0,1]\)（值越小说明越容易被局部化），再把层按权重排序、分桶映射到一组粗粒度的局部化比例，并通过在相邻桶之间挪动层来精确满足全局预算约束。这样"容易"的层多承担 SWA、"困难"的层少承担，在同样的总比例下把性能损失压到更低。

3. 阶段三·多层头选择：在比例组内联合优化以捕捉层间交互

最后才落到具体的头。BOSCH 把共享同一比例的层归为一组，按从最易到最难的顺序处理；组内不再逐层独立选头，而是把该组所有层的头索引拼接起来联合优化二值决策，每层转换 \(\lceil r_\ell H \rceil\) 个头为 SWA，一组处理完就把结果提交进全局掩码再处理下一组。这样做的好处是双重的：每组的变量数被刻意压到黑盒优化的有效区间内（单比特翻转的改进概率随维度以 \(\sim 1/N\) 衰减，MADS 等方法超过约 50 个变量就急剧失效），同时组内的联合优化又能捕捉层与层之间的相互作用，而非把它们当成彼此独立。

整个搜索由一个归一化损失驱动：\(\mathcal{L} = -\hat{\mathcal{S}} + \alpha(\rho(z) - \rho)^2\)，第一项用全 SWA 与全注意力两个极端模型的性能作为锚点把得分归一化，第二项是对偏离目标比例的二次惩罚。此外对 GQA 模型，BOSCH 强制同一组内的头做相同决策，否则混合化并不能真正省下 KV-Cache。

实验关键数据¶

主实验（NIAH 基准，4 个 Qwen3 模型）¶

方法	ρ=0.25	ρ=0.5	ρ=0.75	ρ=0.875
BOSCH (8B)	98.9	90.3	72.7	42.5
Fisher (最强基线, 8B)	94.2	89.3	63.4	29.0
RAND (层级, 8B)	45.9	15.4	12.8	13.2
BME (层级, 8B)	30.8	12.4	12.2	12.7

消融实验¶

配置	说明
BOSCH-single	仅用阶段1的单层搜索结果
BOSCH-multi	仅用阶段3的多层搜索（无自适应比例）
BOSCH-layer	层级别而非头级别优化
Full BOSCH	三阶段完整流程，一致最优

关键发现¶

BOSCH 在所有 16 个设置（4模型×4比例）中均为最优或次优，优势在高 SWA 比例下更显著
在 \(\rho=0.875\) 下（87.5% 的头使用 SWA），BOSCH 仍保持 26.9-47.2 的性能，而多数基线接近随机
不同 SWA 比例下被选中的头集合存在显著差异（turnover），证明了"纠缠问题"的存在：不能用固定排名应对不同比例需求

亮点与洞察¶

大邻域搜索的分解策略非常巧妙——将 N 维二值优化拆成三个低维问题，每个都在黑盒优化的有效范围内。这个思路可推广到其他大规模离散优化问题
"纠缠问题"的发现和验证：不同 SWA 比例下最优头集合的显著差异，有力说明了为什么静态排名方法不够好
训练无关的方法可以直接应用于已部署模型的后训练优化

局限与展望¶

三阶段搜索仍需要一定的计算预算（多次模型前向传播）
仅在 Qwen3 系列上验证，其他架构（如 Llama、Mistral）的效果待确认
使用 NIAH 和 LongBench 评估，但实际长文本应用的场景更加多样

评分¶

新颖性: ⭐⭐⭐⭐ LNS 分解思路新颖，纠缠问题分析深入
实验充分度: ⭐⭐⭐⭐⭐ 4 模型 × 4 比例 × 9+ 基线，覆盖全面
写作质量: ⭐⭐⭐⭐ 问题形式化和算法描述清晰
价值: ⭐⭐⭐⭐ 对长上下文 LLM 的 KV-Cache 优化有实用价值