HAPS: Hierarchical LLM Routing with Joint Architecture and Parameter Search¶

会议: NeurIPS 2026
arXiv: 2601.05903
代码: https://github.com/zihangtian/HAPS
领域: LLM效率
关键词: 大模型路由, 分层架构搜索, 动态参数生成, LoRA 自适应, 强化学习联合优化

一句话总结¶

针对传统大模型路由将候选模型视为固定黑盒且仅做离散架构选择的局限，HAPS 提出了联合搜索架构与连续参数的分层路由框架，通过共享骨干的超网络按需生成实例级 LoRA 权重，并借助奖励增广强化学习联合优化，在显著降低调用成本的同时全面超越现有路由基线。

研究背景与动机¶

大语言模型（LLM）在各类自然语言处理与复杂推理任务中表现出高度异构的专长与缺陷。为了充分发挥不同模型的互补优势，大模型路由（LLM Routing）应运而生，其核心目标是根据用户 query 动态将任务分发至最合适的目标模型（如 LLaMA、Qwen 或 Mistral）。然而，现有主流路由方法（如基于偏好对齐的 RouteLLM、基于异构图预测的 GraphRouter 以及基于项目反应理论的 IRT-Router）均将候选模型视为完全冻结的静态黑盒，其路由决策空间被严格局限在离散的模型架构级别。

这种离散架构路由存在一个根本性痛点：候选模型在默认参数下的表现往往掩盖了其潜在能力。某一模型在基准配置下可能因泛化偏差对特定 prompt 表现不佳，但只要赋予微小的参数自适应调整，即可释放出远超默认状态的推理潜力。如果仅在静态架构之间做硬性抉择，路由器在面对复杂推理或特定风格任务时极易陷入次优解，无法根据具体 query 实现细粒度的定制适配。

将路由空间从纯离散架构扩展到「离散架构 + 连续参数」联合搜索面临两重严峻壁垒：一是连续参数空间维度庞大，直接针对每条输入独立优化自由参数极难泛化至未见样本；二是架构选择与参数调整本质上均服务于最终生成质量，理应共享底层的语义理解与任务洞察，但传统路由分类器与微调机制（如 LoRA）割裂运行，缺乏知识共享机制。本文的核心 idea 是：构建自顶向下的分层路由机制，由高层分类器决策模型架构，底层参数生成超网络基于高层隐层表征动态预测适配当前 query 的低秩 LoRA 权重，并通过奖励增广的联合强化学习实现离散决策与连续参数的协同端到端演进。

方法详解¶

整体框架¶

HAPS 采用分层的二阶段路由流水线。对于输入的结构化路由提示词 $p$（包含角色定义、任务描述、具体待解问题以及候选模型列表），高层路由器基于轻量级指令微调模型（Llama-3.2-1B-Instruct）进行多标签分类，为多智能体系统中的各个角色（如 Teacher 和 Student）分配最优的候选基座架构；底层路由器则直接复用高层路由器的表征特征，通过针对不同基座模型独立定制的轻量 MLP 生成网络，为被选中的基座模型实时预测专属的低秩 LoRA 投影矩阵，直接注入到对应基座最后一层 Transformer 的输出投影模块中。在推理部署时，系统引入请求分桶（Request Bucketing）与批量矩阵乘法（BMM）向量化注入机制，确保单个 batch 内不同样本即便使用不同的动态参数也不会引入串行延迟。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入路由提示词 p<br/>角色/任务/问题/模型池"] --> B["高层架构路由器<br/>Llama-3.2-1B 骨干表征"]
    B --> C["高层分类头<br/>离散架构选择 z"]
    B --> D["底层参数生成网络<br/>轻量 MLP 投射低秩矩阵 A, B"]
    C --> E["向量化动态 LoRA 注入<br/>分桶批处理与 BMM 并行前向"]
    D --> E
    E --> F["任务环境多智能体交互<br/>生成轨迹与答案"]
    F --> G["联合强化学习优化<br/>任务奖励增广梯度反传"]
    G -.->|参数共享与协同演进| B

关键设计¶

1. 共享表征的超网络参数生成：打破离散决策与连续参数的知识孤立

直接为每个输入样本搜索自由参数不仅面临组合爆炸，更会导致对未见分布完全丧失泛化性。HAPS 将参数搜索重构为前向预测问题，利用超网络（Hypernetwork）结构以 query 表征为条件动态生成模型权重。由于候选池中各模型架构异构、隐层维度各异，HAPS 为每个候选模型 $m_k$ 构建专属的低级生成头 $\mathbf{s}_k$。各生成头由 2 层隐藏单元为 256 的 MLP 组成，直接叠加在高层路由器的骨干网络之上。这种设计使高层分类特征与底层生成特征实现底层的深度表征对齐（Representation Alignment），高层识别出的任务难度与语义特征无缝传递至底层，指导其生成具有针对性的低秩矩阵 $A \in \mathbb{R}^{d_{z_i} \times r}$ 与 $B \in \mathbb{R}^{r \times d_{z_i}}$（默认 rank $r=8$），作用于基座模型输出投影层： $$W_{z_i}^{o} \leftarrow W_{z_i}^{o} + \alpha A B$$ 通过共享骨干参数 $\theta$，高层与底层在优化中相互提供梯度反馈，使得架构选择与参数微调高度协同。

2. 向量化动态注入与请求分桶：消除实例级参数生成的推理延迟

为每个请求动态生成不同权重通常会导致 GPU 丧失常规 Batch 并行优势，退化为串行循环。为了在保留实例级自适应能力的同时维持高吞吐，HAPS 设计了无权重加载开销的动态注入算法。首先，高层路由器批量预测后，按选定的基座模型进行「请求分桶」（Request Bucketing），使得同一子批次内的样本共享完全相同的底层冻结权重。其次，底层生成器并行吐出整个批次的低秩张量 $\mathcal{A} \in \mathbb{R}^{b \times d_{\text{out}} \times r}$ 和 $\mathcal{B} \in \mathbb{R}^{b \times r \times d_{\text{in}}}$，在输入隐状态 $H^{\text{in}} \in \mathbb{R}^{b \times L \times d_{\text{in}}}$ 上通过两次批矩阵乘法（BMM）执行： $$H_{\text{lora}} = \alpha \cdot \mathrm{BMM}\big(\mathrm{BMM}(H^{\text{in}}, \mathcal{B}^\top), \mathcal{A}^\top\big)$$ 主干计算 $H^{\text{in}} W_0^\top$ 仍沿用高度优化的通用 GEMM，动态适配部分全程向量化执行，完全避免了在显存中反复重载与物化完整权重的性能瓶颈。

3. 奖励增广联合强化学习：跨越离散-连续混合空间的端到端演化

系统需要同时指导高层的离散采样与底层的连续矩阵生成。HAPS 分两阶段完成训练：第一阶段在全动作空间网格化试运行的高奖励样本集合 $\mathcal{D}_{\text{warm}}$ 上对高层路由器进行有监督预热（SFT），快速确立合理的架构先验；第二阶段采用基于任务表现的奖励增广强化学习进行端到端联合微调。对于多智能体系统在交互轨迹中产生的全部解码步 $\mathcal{T}$，利用最终任务指标构建标量奖励 $\hat{r}$（成功时按指标得分赋予正奖赏，完全失败时截断为 $-1$），通过 REINFORCE 风格的对数似然加权梯度同时更新路由策略与生成器： $$\mathcal{L}_{\mathrm{rl}} = -\hat{r} \sum_{t \in \mathcal{T}} \log \pi_{\theta, \mathbf{\Gamma}}(a_t \mid c_t)$$ 该机制将离散决策的命中概率与连续参数生成的语义分布深度耦合，若某组架构依赖其生成的参数在下游获得了高收益，双重梯度会同步增强该架构的选取倾向并进一步细化该参数生成方向。此外，框架通过在连续权重项前乘以布尔指示向量 $\mathbf{o}_{\mathbf{z}}$，天然支持混合闭源商业 API（不可导时截断参数梯度，仅更新架构选择）。

损失函数 / 训练策略¶

训练分为两个循序渐进的阶段： 1. SFT 预热阶段：在离散动作候选全集上评估样本奖励，选出最优架构组合 $\mathbf{z}^\star$ 构成监督数据集，使用标准交叉熵损失最小化预测架构与最优标签之间的差异： $$\mathcal{L}_{\text{sft}} = \mathrm{CrossEntropy}(\mathbf{z}_{\text{pred}}, \mathbf{z}^\star)$$ 2. 联合强化学习阶段：在训练集采样子集上，端到端运行包含 Teacher 和 Student 的交互过程。根据评估指标 $s$（HotpotQA 上为 token 级 F1，MMLU 上为准确率）设计奖励塑形规则：若 $s=0$ 则 $\hat{r}=-1$，否则 $\hat{r}=s$。当考虑性能与成本平衡时，引入标准化显式成本惩罚：$R = \alpha \cdot \text{Perf} - \beta \cdot \text{Cost}_{\text{norm}}$。梯度同步反向传播更新高层路由器参数 $\theta$ 与底层专属生成器参数 $\mathbf{\Gamma} = \{\gamma_k\}$。

实验关键数据¶

主实验¶

在代表复杂多跳推理的 HotpotQA 和涵盖 57 个学科的广度知识理解基准 MMLU 上，针对三种典型开源模型组合（L-Q: Llama-3.1-8B 与 Qwen2.5-7B; M-Q: Mistral-7B 与 Qwen2.5-7B; L-M: Llama-3.1-8B 与 Mistral-7B）开展评估。HAPS 与传统前沿路由方案对比结果如下（百分比数值）：

数据集	指标	候选对	Random	RouteLLM	GraphRouter	IRT-Router	HAPS (本文)
HotpotQA	F1 Score	L-Q	38.94	40.67	41.31	37.34	43.16 (+1.85)
HotpotQA	F1 Score	M-Q	11.44	36.10	23.07	34.09	39.70 (+3.60)
HotpotQA	F1 Score	L-M	23.26	38.95	26.75	38.92	40.58 (+1.63)
MMLU	Accuracy	L-Q	71.00	79.00	71.00	74.00	79.00 (=)
MMLU	Accuracy	M-Q	65.00	74.00	67.00	77.00	78.00 (+1.00)
MMLU	Accuracy	L-M	67.00	69.00	67.00	73.00	74.00 (+1.00)

消融实验¶

消融实验在 HotpotQA 和 MMLU 两个基准上全面验证了高层架构策略、底层参数生成模块以及参数共享机制的独立贡献：

配置	HotpotQA (L-Q)	HotpotQA (M-Q)	HotpotQA (L-M)	MMLU (L-Q)	MMLU (M-Q)	MMLU (L-M)	说明
HAPS 完整模型	43.16	39.70	40.58	79.00	78.00	74.00	双层联合搜索
去掉高层策略 (Random)	40.13	26.37	25.44	72.00	68.00	61.00	高层随机分配架构
固定分配 (Teacher=L, Student=L)	38.48	11.55	37.84	70.00	62.00	69.00	静态单模型退化
固定分配 (Teacher=R, Student=R)	34.23	35.51	7.10	78.00	76.00	60.00	角色严重错配时崩塌
去掉底层路由器 (w/o Low-Level)	33.93	33.67	36.32	70.00	70.00	68.00	仅保留静态架构路由
去除参数共享 (Decoupled)	38.83	37.52	36.75	73.00	74.00	71.00	骨干独立且高层冻结

关键发现¶

底层参数生成的必要性：直接移除底层路由器后，模型退化为纯静态架构路由器，在 HotpotQA 上各组合 F1 暴跌 4.26% 至 9.23%，在 MMLU 上准确率下降 6% 到 9%。这强有力地证实了仅在离散架构层面做粗粒度选择存在性能上限，动态微调参数是激发模型完成具体任务潜能的决定性杠杆。
参数共享的协同效应：将高低层网络解耦（各自独立训练且冻结骨干）后，系统性能全面显著下降。实验证明共享骨干带来了「表征对齐」与「协同自适应」双重红利：底层生成梯度反哺高层路由器，使其学到更利于参数适配的全局任务表征。
LoRA 适配深度的倒 U 规律：在 Transformer 最后各层输出投影模块注入参数时，将 LoRA 注入最后 2 层（$l_2$）在绝大多数架构对上达到最优峰值；盲目注入更多层（如 $l_3$）会导致过参数化，引发泛化性能回落。
成本受限场景下的卓越鲁棒性：在 Cost-First 强预算约束下（$\alpha=0.2, \beta=0.8$），基线方法由于频繁选用低质弱模型，性能均塌陷至 ~35% F1，而 HAPS 凭借轻量动态参数补偿维持了 41.81% 的高水准 F1，甚至因诱导模型生成更为紧凑的推理轨迹使归一化 token 成本降至 0.0861，低于全静态弱模型（0.0923）。

亮点与洞察¶

将路由范式推进至架构-参数联合空间：突破了现有研究将大模型视为不变黑盒的教条假设，首次在路由系统中内生集成了「动态超网络参数生成」，使路由器具备了在离散选型与连续塑造双维度联合寻优的全局视野。
BMM 向量化并行与分桶工程闭环：巧妙地利用张量重塑与批处理矩阵乘，将本应破坏并行性的逐样本动态参数计算收敛于标准的批运算中，完全避免了在推理服务中动态切换 Adapter 带来的 I/O 与串行吞吐开销。
黑白盒混合部署的优雅退化：通过布尔掩码向量切断商业 API 的反向传播链路，既能对私有化开源模型生成参数补充黑盒商业模型的特定短板，又能无缝承接闭源 API 的强大通用基线，非常契合实际工业落地架构。

局限与展望¶

探索与收集奖励的训练开销大：第一阶段 SFT 需要枚举或大量随机采样多智能体动作空间以获取真实反馈奖励，在模型候选池扩展至十数个乃至上百个时，初始网格搜索的数据收集成本呈指数上升。
轻量低秩生成的表达能力上限：受限于推理开销与生成网络规模，当前仅在模型最末若干层的输出投影层注入 rank=8 的微小扰动，虽然参数敏感度高，但对于需大幅改变内部注意力模式的深层领域知识迁移依然受限。
未来方向：探索基于模型自身表征的自监督轻量评测机制来替代昂贵的外部环境交互奖励，并将参数生成从单纯的 LoRA 矩阵扩展到注意力偏置或 MoE 门控偏置的生成中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出将 LLM 路由从纯离散架构选择扩展到架构与连续参数的联合搜索，框架设计具有开创性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 HotpotQA 与 MMLU 双基准、多种异构开源对与商业闭源对，消融、深度分析与成本帕累托评估极度详实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对应清晰，理论推导与工程实现细节交代完备。
价值: ⭐⭐⭐⭐⭐ 兼顾学术创新与工业落地，为异构大模型混合高效调度提供了极具前景的范式。