跳转至

From Sampled Outcomes to Capability Distributions: Rethinking Supervision for LLM Routing

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/NJU-RL/DARS
领域: LLM 评测
关键词: 大模型路由, 路由监督信号, 分布感知评估, 风险敏感效用, 提示重写

一句话总结

针对传统大语言模型路由依赖单次采样输出导致监督信号脆弱且严重误导策略的问题,本文提出分布感知路由监督框架 DARS,通过语义保持的提示重写与多次随机解码构建能力分布,结合期望质量、推理成本与性能方差构建风险敏感效用,在不改变下游路由器架构的前提下显著提升了多族路由器的决策效用与成本效益。

研究背景与动机

大语言模型正日益以异构模型池的协同形态投入实际部署。在生产环境中,轻量级模型能够以极低延迟和成本响应日常问答或简单指令,而更大规模的专家模型则被保留给深层数学推理、科学问答或长文本处理。为了在服务成本与响应质量之间取得最优平衡,动态大模型路由已成为不可或缺的基础调度组件。然而,现有的模型路由系统与评测基准普遍采用一种点估计式的监督协议:在训练和评估路由器时,每个“查询-模型”对仅通过单次采样生成一条回答并记录对应的得分与开销,以此作为判断哪个模型更适合当前查询的依据。

这种单样本监督假设与大模型自由生成的内在随机性存在严重冲突。由于解码采样的随机性以及模型对提示表述的敏感性,同一输入在语义等价的改写下或多次重复解码中往往会展现出截然不同的质量表现。实验诊断表明,这种单次采样的偶然波动会引发严重的赢家翻转(Winner Flip)现象,直接改变哪一个候选模型被标记为最优解。更关键的是,这种在标注阶段产生的噪声并不会相互抵消,而是会系统性地传播至下游路由策略的学习过程中,使学到的路由器过拟合于随机生成的噪声表面,而非模型真实的内在能力差异。

针对这一根本矛盾,本文跳出孤立单样本打分的局限,提出将路由监督建立在查询级别的能力分布之上。通过系统性地刻画输入表述与输出生成的双重不确定性,路由器不仅能够获知候选模型的平均质量与预期花销,还能显式感知其性能波动的风险。核心 idea:将 LLM 路由监督从单次采样输出重塑为能力分布估计,通过语义保持的查询重写与重复随机解码刻画输入与输出不确定性,构建融合期望质量、期望成本与性能方差的风险敏感效用目标,直接赋能下游各类路由策略。

方法详解

整体框架

DARS(Distribution-Aware Routing Supervision)的核心思想是将监督信号的构建与下游路由器的具体网络架构完全解耦。整个方法包含四个串行推进的阶段:重复观测构建(Repeated Observation Construction)、分布能力估计(Distributional Capability Estimation)、风险敏感监督构建(Risk-Aware Supervision Construction)以及路由策略学习(Routing Policy Learning)。在训练数据准备阶段,给定训练查询,DARS 首先通过大模型生成多个语义保持的重写变体以引入输入侧扰动;随后让候选模型池中的每个模型对每个重写变体执行多次独立的随机解码,形成一个观测矩阵;接着从中聚合计算出期望质量、期望推理成本和性能标准差;最后合成为风险敏感效用并送入下游各类路由器进行监督训练。在测试推理时,路由器仅需输入原始查询即可直接预测各模型的综合效用并选取最高分模型,无需在推理阶段额外采样。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入训练查询 x 与候选模型池 M"] --> B["阶段1:重复观测构建<br/>提示重写与多次随机解码"]
    B --> C["阶段2:分布能力估计<br/>统计期望质量、成本与性能方差"]
    C --> D["阶段3:风险敏感监督构建<br/>结合成本惩罚与风险惩罚合成效用"]
    D --> E["阶段4:路由策略学习<br/>适配回归/分类/检索/聚类路由器"]
    E --> F["推理部署:单查询输入并贪心选择最优模型"]

关键设计

1. 重复观测构建:解耦输入扰动与生成随机性 针对单一样本无法表征模型稳定能力的问题,DARS 显式分解并模拟两种关键的不确定性来源。在输入端,利用强大的通用模型(如 GPT-4o)对原始查询 \(x\) 生成 \(N\) 个语义保持的改写变体 \(\mathcal{X}(x) = \{x^{(1)}, \dots, x^{(N)}\}\),严格保持任务语义、黄金答案与候选选项不变,以此引入受控的表面形式变化;在输出端,针对候选池 \(\mathcal{M}\) 中的每一个模型 \(m\) 以及每一个改写变体 \(x^{(n)}\),设置解码温度(默认 \(T=0.7\))执行 \(M\) 次独立随机解码采样。这为每个“查询-模型”对构建了一个包含 \(N \times M\) 个样本的观测集合 \(\mathcal{O}_{x,m} = \{(q_m^{(n,j)}, c_m^{(n,j)})\}_{n=1,j=1}^{N,M}\),其中记录了每次生成的任务评估质量分数及对应的归一化推理成本。

2. 分布能力估计:多维统计量聚合 获得完整的观测集合后,DARS 放弃了传统取单一点值的做法,而是通过统计聚合提取模型在当前查询上的全局能力特征。具体而言,期望质量 \(\mu_q(x, m)\) 与期望推理成本 \(\mu_c(x, m)\) 定义为观测集合在所有重写与采样维度上的经验均值: $\(\mu_q(x, m) = \frac{1}{NM} \sum_{n=1}^N \sum_{j=1}^M q_m^{(n,j)}, \quad \mu_c(x, m) = \frac{1}{NM} \sum_{n=1}^N \sum_{j=1}^M c_m^{(n,j)}\)$ 同时,为了衡量模型在面对自然表述变化与随机解码时的输出脆弱性,DARS 计算观测质量分数的经验标准差作为综合性能风险度量: $\(\sigma_q(x, m) = \sqrt{\frac{1}{NM-1} \sum_{n=1}^N \sum_{j=1}^M \left(q_m^{(n,j)} - \mu_q(x, m)\right)^2}\)$ 该联合标准差能够整体捕捉由提示变体和解码发散所引起的总性能波动,避免了人为强行将输入与输出方差独立加和所带来的偏差。

3. 风险敏感监督构建:成本与稳定性的多目标效用 为了让路由器学会选择兼具高质量、低花销与高鲁棒性的模型,DARS 将上述三项统计量融合为一个标量化的风险敏感效用函数 \(U(x, m)\): $\(U(x, m) = \mu_q(x, m) - \lambda \mu_c(x, m) - \beta \sigma_q(x, m)\)$ 其中 \(\lambda > 0\)(默认设为 0.05)是推理成本惩罚系数,用于防止路由器无节制调用极其昂贵的模型;\(\beta \ge 0\)(默认设为 0.2)是风险厌恶系数,对生成结果不稳定的模型施加效用折价。理想的目标最优模型为: $\(m^*(x) = \arg\max_{m \in \mathcal{M}} U(x, m)\)$ 这种效用不仅在均值意义上追求高性能,更偏好那些在不同提示版本下均能稳定输出正确答案的可靠候选者。

4. 路由策略学习:多范式下游适配 DARS 构建的分布统计量天然独立于路由模型的内部架构,能够无缝兼容现有的主流路由学习范式。对于回归型路由器(如 MLPRouter),可直接训练多头分别回归 \(\mu_q\)、\(\mu_c\) 与 \(\sigma_q\),并在推理期组合出综合得分;对于效用回归模型,可直接以标量 \(U(x, m)\) 为连续回归目标;对于确定性分类模型,直接使用最优索引 \(m^*(x)\) 作为硬标签;对于概率分类路由器(如 RM-Softmax),可通过带温度系数 \(\tau\) 的 Softmax 转换得到软概率目标 \(p_{\text{DARS}}(m|x) = \frac{\exp(U(x, m)/\tau)}{\sum_{m'} \exp(U(x, m')/\tau)}\),充分保留备选模型之间的相对优劣关系;而对于非参数检索(kNNRouter)与特征聚类(AvengersPro)路由器,DARS 统计量则直接作为训练样本或簇中心的聚类记忆特征进行存储与加权检索。

损失函数 / 训练策略

对于参数化路由器,训练目标取决于其适配范式。以端到端回归型路由器为例,网络参数 \(\theta\) 通过均方误差损失拟合分布统计量: $\(\mathcal{L}_{\text{reg}}(\theta) = \frac{1}{|\mathcal{D}||\mathcal{M}|} \sum_{x \in \mathcal{D}} \sum_{m \in \mathcal{M}} \left( \hat{U}_\theta(x, m) - U(x, m) \right)^2\)$ 而在概率分类设定下,路由器通过最小化交叉熵损失拟合软标签分布: $\(\mathcal{L}_{\text{cls}}(\theta) = -\frac{1}{|\mathcal{D}|} \sum_{x \in \mathcal{D}} \sum_{m \in \mathcal{M}} p_{\text{DARS}}(m|x) \log \hat{p}_\theta(m|x)\)$ 此外,为了控制离线采样的计算成本,DARS 引入了自适应采样预算策略:初始仅为每个样本分配 \(2 \times 2\) 观测网格,仅当预测的最大风险 \(R(x)\) 超过第一四分位数且前两名候选模型的效用差距 \(\Delta(x)\) 小于第三四分位数时,才级联扩展至 \(3 \times 3\) 甚至 \(5 \times 5\) 网格。在 GPQA 任务上,该策略使得 25% 的查询在 \(2 \times 2\) 阶段即完成收敛,平均每个查询-模型对仅消耗 7.75 次调用,在几乎无损效用的前提下降低了 13.9% 的离线采样调用开销。

实验关键数据

主实验

实验采用 6 个异构开源与闭源 LLM 候选池(Gemma-3-12B-IT、Mistral-Small-3.2-24B-Instruct、Qwen3-32B、Llama-3.3-70B-Instruct、Gemini-2.5-Flash-Lite、DeepSeek-Chat-V3.1),在 GPQA(科学问答)、MATH-500(数学推理)和 DROP-800(离散文本理解)三个基准上评测,设置 \(\lambda = 0.05\)。测试集分别评估重写鲁棒效用 \(U_{\text{rew}}\)(3次改写评估)和解码随机鲁棒效用 \(U_{\text{dec}}\)(3次随机解码评估)。单次采样(Single-shot)基准报告 100 次随机采样子集训练得到的均值。

路由器 基准数据集 Single-shot \(U_{\text{rew}}\) DARS \(U_{\text{rew}}\) Single-shot \(U_{\text{dec}}\) DARS \(U_{\text{dec}}\) 相对提升特点
MLP DROP-800 0.661 0.675 0.709 0.726 双视角全面超越基线
GPQA 0.382 0.399 0.400 0.413 难任务上提升显著
MATH-500 0.682 0.687 0.698 0.696 数学任务基本持平微涨
kNN DROP-800 0.713 0.749 0.759 0.791 非参数检索大幅增益 (+0.036)
GPQA 0.441 0.461 0.469 0.489 稳定性大幅改善 (+0.020)
MATH-500 0.720 0.730 0.733 0.742 双维度稳步提升
EmbedLLM DROP-800 0.739 0.763 0.785 0.805 表征对齐更加平滑
GPQA 0.469 0.473 0.496 0.480 高噪声下保持竞争力
MATH-500 0.706 0.719 0.728 0.747 解码效用显著提升 (+0.019)
AvengersPro DROP-800 0.731 0.762 0.775 0.807 聚类中心统计更可靠
GPQA 0.464 0.480 0.490 0.496 簇级统计抗噪能力强化
MATH-500 0.720 0.734 0.736 0.742 效用稳健上移
GraphRouter DROP-800 0.762 0.765 0.805 0.807 图边权监督显著去噪
GPQA 0.462 0.496 0.487 0.516 GPQA 实现全场最高收益 (+0.034)
MATH-500 0.746 0.757 0.755 0.758 保持高位领先
MIRT DROP-800 0.687 0.705 0.734 0.751 项目反应理论参数拟合更准
GPQA 0.409 0.444 0.433 0.468 区分度参数学习极大优化
MATH-500 0.697 0.759 0.714 0.760 数学上跃升幅度最大 (+0.062)
RM-Softmax DROP-800 0.740 0.761 0.787 0.804 分类偏好更加明确
GPQA 0.453 0.477 0.475 0.512 遗憾最小化学习更稳定
MATH-500 0.721 0.731 0.746 0.749 成本约束下偏好学习提升

消融实验

基于 MIRT 路由架构,作者系统剥离了 DARS 的各个核心组件,检验不确定性来源和风险建模的真实贡献。

变体方案 DROP-800 \(U_{\text{rew}}\) DROP-800 \(U_{\text{dec}}\) GPQA \(U_{\text{rew}}\) GPQA \(U_{\text{dec}}\) MATH-500 \(U_{\text{rew}}\) MATH-500 \(U_{\text{dec}}\) 全局平均效用
Single-shot(基线) 0.687 0.734 0.409 0.433 0.697 0.714 0.612
Input-only DA(仅提示重写) 0.695 0.742 0.423 0.452 0.735 0.742 0.632
Output-only DA(仅随机解码) 0.693 0.747 0.425 0.442 0.723 0.718 0.625
DARS w/o Risk(无风险方差项) 0.692 0.743 0.413 0.441 0.746 0.730 0.626
DARS w/ Decomp. Risk(独立方差相加) 0.705 0.731 0.435 0.456 0.754 0.749 0.640
Full DARS(联合分布与风险惩罚) 0.705 0.751 0.444 0.468 0.759 0.760 0.648

关键发现

  • DARS 在 42 个实验配置中的 40 个取得明确增益:全面覆盖回归、分类、图神经网络、聚类与非参数检索 7 种不同架构,证明单次采样的脆弱性是当前路由系统的普遍痼疾,而分布感知监督是架构无关的底层通用改良。
  • 任务不确定性特征存在显著异质性:GPQA 等高难推理任务主要受输出解码随机性主导(输出方差高达 0.099,胜者翻转率高达 0.970),而 DROP-800 阅读理解任务则受输入表述变化主导(输入方差 0.0428 略高于输出方差 0.0350)。单靠一种扰动手段不足以覆盖真实世界的多样输入。
  • 联合方差建模优于独立解耦方差:消融实验显示,将输入方差与输出方差简单相加(0.640)逊色于全局联合方差计算(0.648),原因在于提示改写本身会改变生成的 token 分布并连锁影响解码随机性,二者在统计上高度耦合。
  • 中等采样规模即可收敛:样本效率分析表明,从 \(1 \times 1\) 扩增至 \(3 \times 3\) 网格时效用迅速提升,而继续扩至 \(5 \times 5\) 时边际收益趋于平缓。结合自适应采样可在降低 13.9% 调用成本下达到接近完整网格的表现。

亮点与洞察

  • 重新审视了大模型路由领域的核心“地基”假设:敏锐指出目前业界习惯使用的“单次请求运行单条结果评定最优模型”具有严重的统计偏差,通过详尽的赢家翻转诊断量化了这种监督噪声对下游策略学习的负向扩散。
  • 架构完全解耦的即插即用范式:DARS 完全作用于离线离散数据的整理与监督目标的设计,下游推理期不仅没有增加任何模型前向或后处理开销,而且对分类器、检索器、回归网络均实现平滑兼容。
  • 风险价值(Value at Risk)思想在系统调度中的精妙融合:不仅考核均值质量,还将“回答是否容易发散/不稳定”直接纳入效用惩罚,使调度器在面对难样本时天然倾向于避开方差过大的脆弱模型。

局限与展望

  • 离线数据构建的算力开销:构建 \(N \times M\) 的网格需要对每个查询-模型对执行数十次推理,尽管可通过自适应采样削减,但相较于单次采样仍引入了不可忽视的离线标注计算成本。
  • 单轮查询场景的局限性:当前实验完全聚焦于单步静态路由。在多轮对话交互、智能体(Agent)工作流以及动态多步工具调用的场景下,中间状态转移过程中的能力分布刻画更为复杂,尚未在本文中得到覆盖。
  • 模型池规模与更新动态性:当线上候选模型池频繁增减或模型版本热更新时,重新收集全量网格观测的成本较高,未来亟需研究低成本增量估计或代理蒸馏更新机制。

相关工作与启发

  • vs RouteLLM / FrugalGPT: 早期路由工作重点探索打分网络设计与级联退避机制,但均采用单次生成的得分作为监督标签;DARS 指出单次采样标签本身不可靠,为其提供了更可信的标签构建方法。
  • vs GraphRouter / IRT-Router: 后续路由工作着重引入图结构或教育测量学(IRT)潜变量模型增强表达能力;DARS 与之正交互补,实验证明直接将 DARS 赋予 GraphRouter 和 IRT-Router 能带来可观的二次飞跃。
  • vs Semantic Entropy / SelfCheckGPT: 不确定性估计工作利用多次采样检测幻觉与模型不自信;DARS 将这一不确定性洞见迁移至调度学习领域,将不确定性显式转化为效用惩罚项。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 敏锐揭示路由监督的单样本瓶颈,提出结合提示重写与随机解码的分布感知效用。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 个异构模型、3 大推理基准、7 种主流路由架构,包含详尽的不确定性诊断与消融验证。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构层次分明,数学形式严密精炼,论据充分且具有强烈的启发性。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型异构调度系统提供了坚实、鲁棒的标注构建范式,推动了路由策略向工业级高可用迈进。