Capturing LLM Capabilities via Evidence-Calibrated Query Clustering¶
会议: NeurIPS 2026
arXiv: 2605.17110
代码: https://github.com/fzwark/ECC
领域: LLM评测
关键词: 大语言模型评测, 查询聚类, Bradley-Terry 模型, 能力感知排序, 模型路由
一句话总结¶
针对传统语义聚类与 LLM 实际能力需求脱节的问题，本文提出证据校准聚类算法 ECC，利用后验成对模型比较校准先验语义嵌入，通过软责任分配与轻量级单探针推理，实现查询级精准能力感知排序。
研究背景与动机¶
大语言模型在多任务评估中展现了广泛的领域知识，但不同模型在异构任务上的能力侧重高度依赖于具体查询。为了实现面向垂直场景与个性化部署的可靠模型评测，研究者通常需要将海量评估查询划分为共享潜在能力需求的子群。然而，当前主流的查询分组方式主要依赖人工预定义的静态分类体系（如“数学”、“化学”）或纯无监督文本语义嵌入聚类。这类表层语义聚类常常与模型在实际推理中的潜在能力需求存在严重脱节。
这种脱节的核心矛盾主要表现为双向的不匹配：一方面，单一语义标签（如“数学”）可能同时包含从基础事实记忆到多步演绎推理等截然不同的能力维度；另一方面，表面语义相差甚远的查询（如化学反应机理推导与纳米材料物理性质计算），底层可能依赖完全一致的因果建模与模拟推理能力。单纯依赖表层文本嵌入进行聚类会导致评估能力向未知查询泛化时发生漂移；而基于“LLM-as-a-judge”的显式技能树方法不仅产生难以刻画复合能力的硬切分，且需要全量模型遍历，计算成本极其高昂。
面对语义先验与后验表现错配的瓶颈，本文提出逆转“先聚类、后评估”的传统管线，转向“先收集少量比较证据、再校准聚类结构”的设计哲学。核心 idea：将各聚类簇参数化为由 Bradley-Terry 模型刻画的潜在能力画像与语义中心，引入可训练的软责任权重刻画复合能力需求，通过交替优化实现先验嵌入与后验成对比较证据的联合校准，并在推理时仅凭单次成对探针即可推断出查询专属的模型排序混合分布。
方法详解¶
整体框架¶
ECC 的核心目标是联合利用查询的先验语义嵌入与其关联的少量模型成对比较结果，学习一个具有泛化能力的软聚类结构。系统为每个簇 \(k \in [K]\) 维护两个核心参数：捕获嵌入空间先验语义的单位语义中心 \(\bm{c}_k\)，以及基于 Bradley-Terry (BT) 模型参数化 \(M\) 个候选 LLM 潜在能力强度的能力画像 \(\bm{\theta}^{(k)} \in \mathbb{R}^M\)。对于任意查询 \(q\)，系统分配一组软责任权重 \(\bm{r}_q = (r_{q1}, \dots, r_{qK})\)，以刻画该查询对多重能力的复合需求。整体优化通过两阶段交替迭代完成，并在推理阶段采用轻量级探针实现快速能力推断。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入查询嵌入 x_q 与稀疏成对比较 N_q"] --> B["阶段 1：交替优化聚类系统参数与软责任"]
B --> C["系统参数更新：归一化加权质心与加权BT能力画像拟合"]
C --> D["软责任分配：带熵正则的玻尔兹曼软分配更新"]
D -->|交替迭代直至收敛| E["收敛得到能力中心 c_k 与簇画像 θ^(k)"]
E --> F["阶段 2：探针引导的混合推理"]
F --> G["单次模型比较探针校准查询软责任 r_q"]
G --> H["输出查询专属的 LLM 混合偏好排序与最优路由决策"]关键设计¶
1. 证据驱动的系统参数交替更新：将语义质心与 Bradley-Terry 能力画像解耦并凸优化
为了让聚类划分同时反映文本语义与模型的实际胜负表现，ECC 定义了联合损失函数。对于查询 \(q\) 和聚类簇 \(k\)，损失综合了 BT 模型的成对拟合负对数似然损失 \(\ell_{\text{comp}}(q; \bm{\theta}^{(k)})\) 与语义失配损失 \(\ell_{\text{emb}}(q; \bm{c}_k) = - \bm{x}_q^\top \bm{c}_k\)： $\(\ell(q,k;\bm{\Theta}) = \ell_{\text{comp}}(q; \bm{\theta}^{(k)}) + \lambda \ell_{\text{emb}}(q; \bm{c}_k)\)$ 其中 \(\lambda\) 为权衡系数。在固定软责任 \(\mathcal{P}=\{r_{qk}\}\) 时，各簇参数的优化相互解耦。对于语义质心 \(\bm{c}_k\)，其解析闭式解为后验加权均值的单位归一化：\(\bm{c}_k = \bm{v}_k / \|\bm{v}_k\|_2\)，其中 \(\bm{v}_k = \sum_{q} r_{qk} \bm{x}_q\)。对于各簇能力画像 \(\bm{\theta}^{(k)}\)，其优化目标为凸目标函数 \(\min_{\bm{\theta}} \sum_{q} r_{qk} \ell_{\text{comp}}(q; \bm{\theta})\)，由于 BT 模型负对数似然可化为凸的 log-sum-exp 复合形式，采用梯度下降可稳定收敛至全局最优解。
2. 熵正则化的软责任分配：以可微分玻尔兹曼分布建模复合能力需求
实际场景中的复杂查询往往需要多种能力的复合（例如既需生物学机理理解，又需分子动力学模拟约束），硬聚类强行离散化会割裂能力结构。ECC 在期望损失中引入香农熵正则项 \(-\mathcal{T} \sum_q H(\bm{r}_q)\)，其中 \(\mathcal{T} > 0\) 为温度超参数。在固定系统参数 \(\bm{\Theta}\) 时，求解带约束 \(\sum_k r_{qk} = 1\) 的拉格朗日极值问题，可推导出软责任更新的唯一闭式解析解： $\(r_{qk} = \frac{\exp(-\ell(q,k;\bm{\Theta})/\mathcal{T})}{\sum_{j=1}^K \exp(-\ell(q,j;\bm{\Theta})/\mathcal{T})}\)$ 该玻尔兹曼分布使得查询能够按自适应平滑权重向多个能力簇反向传播胜负梯度，不仅有效避免了初始硬划分的局部震荡，而且在理论上保证了算法目标函数值的单调不增收敛性。
3. 探针引导的混合推理机制：低开销单对比较校准查询级能力排序
在面向全新未标注测试查询时，仅凭语义嵌入推断软责任无法弥合语义相似与能力需求相异的错配鸿沟。ECC 提出“探针引导的混合推理”（Probe-Informed Mixture Inference）。对于未知查询 \(q\)，系统以极低成本随机采集仅一次成对模型对比证据（即评估任意两个模型在该查询上的单次胜负 \(y \in \{0, 1\}\) 作为探针）。将该探针胜负代入式 (5) 联合校准查询软分配权重 \(\bm{r}_q\)。随后，通过各簇能力的加权混合推断任意模型对 \((m_j, m_i)\) 的胜率预测： $\(P(m_j \succ m_i \mid q) = \sum_{k=1}^K r_{qk} \sigma\left(\theta_j^{(k)} - \theta_i^{(k)}\right)\)$ 这一机制开销为恒定 \(\mathcal{O}(1)\)，不随候选候选模型总数 \(M\) 扩展，却能以单点能力证据提供极高杠杆率的校准信号，精确锁定查询在潜在能力空间的位置。
损失函数 / 训练策略¶
算法以非负加权损失与熵正则构成完整优化目标： $\(\mathcal{L}(\mathcal{P},\bm{\Theta}) = \sum_{q\in\mathcal{Q}}\sum_{k=1}^K r_{qk} \left[ \ell_{\text{comp}}(q;\bm{\theta}^{(k)}) - \lambda \bm{x}_q^\top \bm{c}_k \right] + \mathcal{T} \sum_{q\in\mathcal{Q}} \sum_{k=1}^K r_{qk} \log r_{qk}\)$ 默认超参数设定为平衡权重 \(\lambda=3\)、温度 \(\mathcal{T}=0.1\)、簇数 \(K=30\)、每个查询在聚类训练阶段仅采样 7 对模型比较。迭代终止条件为连续两轮软责任分布的平均 KL 散度低于 \(10^{-3}\) 且语义中心最大位移小于 \(10^{-4}\)。在 SPROUT、RouterBench 等主流基准上，ECC 通常在 30 轮左右即可在纯 CPU 环境下快速收敛，无需 GPU 参与黑盒模型训练。
实验关键数据¶
主实验¶
主实验在 SPROUT、RouterBench 以及 Open LLM Leaderboard v2 三大基准上评估模型能力排序质量增益（即相对无聚类的单全局 BT 模型的测试集成对负对数似然平均降幅 %，越高越好），簇数设定为 \(K=30\)。
| 基准数据集 | 推理信号模式 | 纯语义聚类 (Emb-only) | 纯比较聚类 (Comp-only) | 本文方法 (ECC) | 相对 Emb-only 净增益 |
|---|---|---|---|---|---|
| SPROUT | Emb-infer | 10.45% | 8.72% | 11.55% | +1.10 pp |
| SPROUT | Probe-infer | 8.04% | 17.67% | 17.32% | +9.28 pp |
| SPROUT | Emb+Probe-infer | 13.98% | 25.01% | 26.15% | +12.17 pp |
| RouterBench | Emb-infer | 6.84% | 1.93% | 8.25% | +1.41 pp |
| RouterBench | Probe-infer | 5.19% | 24.74% | 24.19% | +19.00 pp |
| RouterBench | Emb+Probe-infer | 8.39% | 28.31% | 31.05% | +22.66 pp |
| Open LLM v2 | Emb-infer | 0.66% | -0.05% | 1.25% | +0.59 pp |
| Open LLM v2 | Probe-infer | 1.88% | 20.15% | 19.81% | +17.93 pp |
| Open LLM v2 | Emb+Probe-infer | 1.82% | 20.96% | 21.04% | +19.22 pp |
在具备完整人类学科层级标签的数据集对比中，ECC 相比人类静态分类平均提高 17.64 个百分点（人类标签在 MMLU 上甚至劣于单全局 BT 模型），证明真实能力空间远比人类学科标签更为精细。
消融实验¶
在分布外泛化（OOD，在 MMLU-Pro 上聚类、在跨领域 MATH 测试集上推断）与探针选择稳健性上的消融对比数据如下：
| 实验设置 / 评估维度 | 指标与切分参数 | 纯语义聚类 (Emb-only) | 纯比较聚类 (Comp-only) | 本文方法 (ECC) | 说明 |
|---|---|---|---|---|---|
| OOD 泛化 (MMLU-Pro \(\to\) MATH) | 排序增益 (\(K=10\)) | 2.96% | - | 17.41% | 跨数据集能力结构保持强泛化 |
| OOD 泛化 (MMLU-Pro \(\to\) MATH) | 排序增益 (\(K=30\)) | 2.48% | - | 20.77% | ECC 较基线提升 +18.29 pp |
| OOD 泛化 (MMLU-Pro \(\to\) MATH) | 排序增益 (\(K=100\)) | 0.13% | - | 15.94% | 密集簇下基线彻底失效，ECC 稳健 |
| 推理探针敏感度 (SPROUT) | Mean \(\pm\) Std (%) | 13.99 \(\pm\) 0.12 | 24.92 \(\pm\) 0.25 | 26.41 \(\pm\) 0.31 | 7 次随机探针采样方差极小 |
| 推理探针敏感度 (RouterBench) | Mean \(\pm\) Std (%) | 8.48 \(\pm\) 0.12 | 28.21 \(\pm\) 0.56 | 30.95 \(\pm\) 0.50 | 探针选择对增益几乎无扰动 |
| 推理探针敏感度 (Open LLM v2) | Mean \(\pm\) Std (%) | 1.79 \(\pm\) 0.05 | 20.92 \(\pm\) 0.29 | 21.21 \(\pm\) 0.21 | 表现高度一致 |
关键发现¶
- 双模态校准显著打破信号错配：纯比较聚类在无探针 (Emb-infer) 场景下性能断崖式下跌（在 Leaderboard 上甚至为负增益 -0.05%），而纯语义聚类加入探针后提升极度有限；ECC 结合两者优势，在所有推理模式下均超越单一模态基线。
- 重构语义空间的能力重组：质性重叠分析揭示，ECC 能够自动将同一化学语义下的“机理谱图反推”与“带约束分子动力学优化”拆解至不同簇，同时将表面跨学科的“材料物性控制”与“反应动力学速率推导”因共享因果建模能力而合并归一。
- 下游任务表现优异：在引导最优查询路由任务中，ECC 相比 Emb-only 将路由模型响应质量平均提升 16.6%；在新模型冷启动排序中，仅需 100 次预算即可取得比 Emb-only 高出 16.3 个百分点的排序质量增益。
亮点与洞察¶
- 后验证据前置校准聚类拓扑：摒弃传统“特征聚类后评估”的被动割裂模式，将稀疏模型比拼后验证据作为一等公民融入聚类目标函数，直击语义与能力错配痛点。
- 极简高效的探针推断设计：仅需 \(\mathcal{O}(1)\) 的单次任意成对比较，即可在保持极低开销的同时激活全量能力画像的精准路由，兼顾了学术严谨性与工业落地的低延迟需求。
- 无需 GPU 的轻量闭式交替迭代：数学推导完备，基于凸优化与玻尔兹曼软分配保证单调收敛，在普通 CPU 上约 30 轮即可完成收敛，比参数化神经网络预测器（如 P2L）训练成本低数个数量级。
局限与展望¶
- 单轮纯文本局限：目前评估与聚类均基于单轮独立纯文本输入，尚未建模长多轮多模态对话历史及视觉跨模态对能力需求的复合影响。
- 单对探针的冷启动开销：在极端延迟敏感的线上高吞吐路由系统中，即使单次成对比较（运行 2 个模型并调用 1 次裁判）也引入了额外的推理开销，后续可探索从查询自身置信度中自适应决定是否发起探针。
相关工作与启发¶
- vs Prompt-to-Leaderboard (P2L): P2L 采用 1.5B 神经黑盒模型端到端拟合查询到 BT 系数映射，极易过拟合表层语义并在小样本下甚至负向优化；ECC 无需神经网络训练，通过可解释的软聚类在三大基准上全面大幅压制 P2L。
- vs SkillVerse / KCluster: SkillVerse 等工作重度依赖 LLM-as-a-judge 提取显式文本技能标签构建层次树，不仅开销巨大且形成离散硬切分；ECC 直接吸收稀疏数字胜负标签并构建连续软混合，兼具样本效率与复合表征能力。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆了先聚类后评估的传统定式，以轻量成对比较后验校准聚类结构，极具启发性。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 大基准、跨数据集 OOD 泛化、多样裁判评估、消融实验与质性聚类案例剖析，扎实严谨。
- 写作质量: ⭐⭐⭐⭐⭐ 理论证明完备（保证凸性与单调收敛），逻辑链条闭环且插图表达极具洞察力。
- 价值: ⭐⭐⭐⭐⭐ 为 LLM 能力基准测试、多模型低成本路由及新模型高效评测提供了极具工业实用价值的范式。