TwinRouterBench: Fast Static and Live Dynamic Evaluation for Realistic Agentic LLM Routing¶

会议: NeurIPS 2026
arXiv: 2605.18859
代码: https://github.com/CommonstackAI/TwinRouterBench
领域: LLM Agent
关键词: LLM 路由, 智能体评测, 静态评测, 动态执行, 成本效益

一句话总结¶

TwinRouterBench 提出了首个针对真实 Agent 多轮调用场景的步骤级 LLM 路由基准，通过“快速静态评测”与“实时动态执行”双轨设计，在保证 SWE-bench 求解率的同时将 API 成本大幅降低 53.1%。

研究背景与动机¶

在大语言模型智能体（如代码修复 Agent、深度研究系统及计算机操作 Agent）的实际落地中，单次用户指令通常触发长达数十步的连续模型调用。为了在不牺牲任务成功率的前提下降低推理开销，将每个步骤的请求分发至满足要求的最低成本模型显得尤为重要。然而，现有的路由器评测基准（如 RouterBench、LLMRouterBench、RouterArena）绝大多数停留在单轮独立 Prompt（One-shot Query）的路由决策上，完全忽略了中间步骤中由系统提示词、检索片段、工具调用返回值与局部代码补丁构成的复杂前缀，无法检验更廉价模型在单步的替代是否会诱发下游长程轨迹的灾难性失败。

这种评测机制的脱节暴露了构建步骤级智能体路由基准的两大核心挑战：其一，直接依赖前沿模型（如 Claude Opus 4.6）作为零样本在线路由器极不可靠，实验证明前沿模型在单模板提示下对 SWE-bench 高难度步骤的召回率不足 5%，导致所有代码轨迹全军覆没；其二，多轮交互中状态空间呈组合爆炸，对于包含 $m$ 步且每步有 $n$ 个可选模型的轨迹，穷举验证每种组合需要 $n^m$ 次端到端执行，极难低成本构建高质量的步骤级真值标签。

针对这些痛点，本文提出在兼顾离线快速迭代与在线真实闭环验证的前提下建立标准化评测流程。核心 idea：构建包含离线快速静态轨与端到端实时动态执行轨的双轨基准 TwinRouterBench，通过贪心顺序锁定降级搜索从强模型轨迹中析出经执行验证的步骤级最低充要模型档位标签，并在考虑失败惩罚的四桶计费模型下实现无裁判 LLM 的确定性快速评测与实机成本验证。

方法详解¶

整体框架¶

TwinRouterBench 将步骤级路由建模为条件决策问题：在第 $i$ 步智能体发起调用前，路由器根据当前可见的完整消息前缀 $x_i$（包括对话历史、检索文本、Shell 执行日志、环境反馈工具输出和部分代码修改），将请求映射到离散的能力档位 $t_i \in \mathcal{T} = \{\texttt{low}, \texttt{mid}, \texttt{mid\_high}, \texttt{high}\}$。为了支撑低成本离线策略优化与端到端有效性验证，基准划分为两条互补轨迹：静态轨（Static Track）提供包含 520 个任务实例、970 个步骤级前缀的数据集，以确定性算术直接计算准确率与失败感知成本收益；动态轨（Dynamic Track）依托 mini-swe-agent 环境在 SWE-bench Verified 100 个留出实例上实时调用模型池执行，核算真实的 API 账单与未解决惩罚。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：多轮智能体前缀历史<br/>(指令、工具返回、检索块、代码Diff)"] --> B["步骤级条件路由策略<br/>映射到4个抽象能力档位"]
    B --> C["静态轨验证：离线确定性计分<br/>RowPass / TrajPass / 失败感知成本收益"]
    B --> D["动态轨执行：SWE-bench实时闭环<br/>mini-swe-agent调用模型池实机执行"]
    C --> E["双轨闭环评测与账单结算<br/>确定性算术指标 + 真实API与罚金账单"]
    D --> E

关键设计¶

1. 贪心顺序锁定降级搜索：从强模型成功轨迹生成步骤级充要标签

针对多轮交互中 $n^m$ 空间组合爆炸的标注困境，研究团队采用基于强模型成功轨迹反向析出标签的策略。首先在 SWE-bench、BFCL、mtRAG、QMSum 和 PinchBench 上运行顶级模型（Claude Opus 4.6 或 GPT-5.4）收集端到端解决任务的黄金种子轨迹，过滤掉原任务即失败的案例以避免任务难度与路由错误混淆。随后利用 Opus 4.6 提供降级探测建议起点 $h_i$（仅用作剪枝加速，绝非最终标签），执行从便宜到昂贵的贪心顺序锁定算法：对第 $i$ 步尝试降级到候选档位 $t$，保持前序步骤已锁定的降级结果、后续步骤暂用强模型继续执行。若轨迹在步数不膨胀的前提下依然通过全部官方断言，则判定该步骤被成功降级并锁定档位 $t$；否则保留强档位。此机制将搜索复杂度从 $\mathcal{O}(|T|^N)$ 降至线性 $\mathcal{O}(|T|N)$，且使后续步骤的输入自然承载了前序降级模型的真实生成漂移。

2. 档位模型池三模型级联与开放式判定准则加固：杜绝单模型巧合与虚假通过

为了避免标签仅反映某个具体模型偶然通过而非整个档位具备足够能力，TwinRouterBench 为非 low 档位引入了三模型级联验证机制（Tier-pool Cascade）。每个档位预先锁定包含多个能力对齐的代表模型（如 high 档包含 Claude Opus 4.6 与 GPT-5.4；mid_high 包含 Claude Haiku 4.5、Gemini 3 Flash 与 Qwen 3.5 397B 等），只有当该档位中至少有一个模型在混合轨迹中跑通时方可确认归属。针对 mtRAG 和 QMSum 等缺乏确定性执行断言的开放式生成场景，研究团队重构了原有的宽松相似度裁判，采用两阶段硬约束评分标准：首要检查当前轮次问题是否完全解决，并结合忠实度、恰当性与完整性实施证据冲突一票否决（Hard Fail），彻底剔除了依靠表层词汇重叠蒙混过关的虚假通过样本。

3. 失败感知的成本收益函数与四桶计费模型：防止廉价失败粉饰节省率

常规单步成本核算无法惩罚智能体在中间步骤选错模型导致的整条轨迹崩溃。为此，静态轨建立了失败感知的净收益计算公式： $$ \textsc{CostSave} = \sum_{b} w_{b} \frac{N_{b}}{D_{b}}, \quad w_b = \frac{n_b}{970} $$ 其中基准分母 $D_b = \sum_{i \in b} c_i(T_3)$ 为全用 high 档位的总支出，而分子 $N_b$ 在轨迹通过时累计相对于全 high 档位节省的费用，在轨迹失败时直接计入所消耗的全部 API 成本作为净损失（$- \sum_i c_i(\tilde{t}_i)$）。在此基础上，单步成本 $c_i(t)$ 精确对应真实 API 账单的四桶结构： $$ c_i(t) = \frac{n_i^{\mathrm{in}} p_t^{\mathrm{in}} + n_i^{\mathrm{cr}} p_t^{\mathrm{cr}} + n_i^{\mathrm{cw}} p_t^{\mathrm{cw}} + n_i^{\mathrm{out}} p_t^{\mathrm{out}}}{10^6} $$ 对输入、缓存命中、缓存写入及输出 Token 差异化计费。当路由决策在连续步骤频繁切换模型档位时，将严格收取目标模型的 Prompt Cache 写入惩罚（cache_write 成本高达 cache_read 的 12.5 倍），杜绝了模型频繁抖动带来的隐形开销。

损失函数 / 训练策略¶

静态轨数据集不仅用于离线评估，还可作为训练监督信号。在基于 UncommonRoute 接口构建的数据驱动路由器中，作者使用冻结的 BAAI/bge-small-en-v1.5 提取最新用户请求的句子嵌入，拼接路由时刻提取的元数据特征（消息总数、是否包含工具调用、工具返回消息数、输入长度、代码/提问指示符等），训练一个带有 L2 正则化的多项逻辑回归（Multinomial Logistic Regression）分类器。超参数通过 5 折交叉验证确定，并在独立的校准集上拟合置信度参数，最终在完全留出的数据分割上进行决策。

实验关键数据¶

主实验¶

静态轨（970 行，涵盖五大工作负载）和动态轨（100 个留出 SWE-bench Verified 实例）评估展现了各路由策略在行准确率、轨迹级一致性以及真实花费上的表现。

静态轨诊断评测结果（970 步）

路由策略	RowPass (%)	RowExact (%)	TrajPass (%)	CostSave (%)	Combined (%)
SR-KNN (样本内上限参考)	91.86	78.76	84.74	56.18	77.89
ClawRouter (基于规则)	80.82	11.75	64.64	53.82	52.76
UncommonRoute (基于规则)	88.35	61.13	62.37	15.99	56.96
Opus 4.6 (全量 High 基线)	100.00	17.53	100.00	0.00	54.38

动态轨 SWE-bench 留出集实机评测（100 实例）

策略	求解率 (Resolved)	平均 API 成本	实际 API 总花销	失败罚金 ($\gamma=\$0.60$)	最终排行榜账单
SR-KNN 路由器	75/100	$0.56	$55.61	$15.00	$70.61
UncommonRoute (静态监督训练版)	75/100	$0.26	$25.66	$15.00	$40.66
UncommonRoute (原始规则版)	73/100	$1.73	$172.56	$16.20	$188.76
Opus 4.6 (无路由固定 High)	74/100	$0.55	$54.73	$15.60	$70.33

消融实验¶

为验证失败感知成本计算公式（变体 E）的必要性，论文对比了 5 种不同的成本积分逻辑：

计分变体	SR-KNN 节省率 (%)	ClawRouter 节省率 (%)	排名结论	说明
变体 A (传统行级分母)	84.99	89.71	Claw 胜出	忽略轨迹失败代价，错误奖励低准确率路由
变体 B (全行分母 + 轨迹惩罚)	84.45	84.59	Claw 胜出	分母定义存在高档位偏差
变体 C (排除 High 行分母)	79.11	91.31	Claw 胜出	无法反映全局节约能力
变体 D (步级惩罚无轨迹级惩罚)	61.81	67.67	Claw 胜出	未能对毁灭整条轨迹的单步错误进行充分定价
变体 E (本文失败感知公式)	56.18	53.82	SR-KNN 胜出	成本节省与 RowPass / TrajPass 排序全面对齐

关键发现¶

传统规则型路由器（如 ClawRouter）在大部分非 high 样本上习惯性“向上浮动一档”，导致其在静态轨上的 RowExact 仅为 11.75%，并且在 SWE-bench 上导致 38/40 的轨迹失败；旧版成本指标因未充分惩罚失败而给出虚高节省率，只有引入变体 E 后才准确暴露其系统性缺陷。
在 SWE-bench 等复杂长程代码修复任务中，哪怕一次关键修改/测试执行步骤被降级到了不足以胜任的廉价模型，就会直接导致整条修复失败；UncommonRoute 规则版因缺乏对上下文的精准判断，高频错跳到 high 档位（217 次），最终导致 API 成本暴涨至 $172.56，比无路由的 Opus 还要贵 3.1 倍。
基于静态轨数据训练的逻辑回归路由策略展现出极高的泛化能力：在动态实测中，在取得 75% 解决率（略高于未路由 Opus 4.6 的 74%）的同时，将 API 账单由 $54.73 压低至 $25.66，成本降幅达到 53.1%。

亮点与洞察¶

首次从“单轮 Query 路由”跃迁至“Agent 多步交互前缀路由”，填补了真实智能体工作流缺乏步骤级模型分发基准的空白。
提出的贪心顺序锁定降级算法设计精巧，利用强模型成功先验打破了 $n^m$ 的组合爆炸，使可验证数据集的构建成本大幅收敛。
提出了严密的四桶动态 Prompt 缓存记账机制与未解决惩罚金结算体系，使基准不仅能指导学术模型优化，更能直接指导工程部署中的真实 ROI 决策。

局限与展望¶

静态数据集规模（970 行、520 实例）仍然偏小，覆盖的任务主要集中于代码修复、函数调用和会议摘要等五种场景，未来需扩充至网页浏览及多模态 GUI Agent。
档位标签的划分严格依赖于当前锁定的 11 个模型池与其现行价格结构，若未来市场上出现兼具极致低价与顶级代码能力的突破性模型，现有真值体系需重新校准。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立基于多步真实交互前缀与执行反馈的步骤级智能体路由评测体系。
实验充分度: ⭐⭐⭐⭐⭐ 兼具静态 970 步快速测试与动态 100 实例实机执行，涵盖严格的消融与人工抽样校验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密，计费公式与实验细节阐述详尽清晰。
价值: ⭐⭐⭐⭐⭐ 兼具强学术启发与工业界降低 Agent 落地成本的巨大实用价值。