ModelLens: Finding the Best for Your Task from Myriads of Models¶

会议: NeurIPS 2026
arXiv: 2605.07075
OpenReview: https://openreview.net/forum?id=aorWdSFrIh
代码: https://github.com/luisrui/ModelLens.git
领域: 其他
关键词: 模型推荐, 迁移性估计, 模型路由, 协同交互学习, 跨任务泛化

一句话总结¶

提出了首个面向海量开源生态的开箱即用模型推荐框架 ModelLens，从公开排行榜交互中学习隐式能力图谱，将可预测的结构先验与残差交互解耦，在无需对目标数据集执行候选模型前向推理的前提下实现高质量模型排序。

研究背景与动机¶

以 HuggingFace 为代表的开源模型社区已汇集了数十万量级涵盖不同架构、规模和模态的预训练模型。然而，当使用者面对一个全新的数据集或下游任务时，从茫茫模型库中挑选出最佳候选模型变得愈发困难。现有工业界做法通常严重依赖耗时耗算力的基准测试实跑，或者依靠从业者的经验法则随意尝试，既不具备系统性，也在算力开销上难以为继。

这种困境的根源在于现有技术范式在开放生态下存在维度错配。经典的自动化机器学习（AutoML）和模型路由（Model Routing）通常预先假设一个极小的精选候选池（如几个到十几个模型），完全无法应对开放社区数十万模型的规模膨胀；而迁移性估计（Transferability Estimation, TE）方法虽然不受固定模型池限制，却硬性要求每个候选模型都在目标数据集上执行前向推理以提取特征或统计量，在面对成千上万候选时推理开销不可承受。此外，真实世界评测具有高度异质性，不同任务家族采纳准确率、F1、BLEU、ROUGE 或 CIDEr 等互不兼容的指标，难以用单一标量跨任务直接横向拉齐。

面对这些壁垒，本文提出了全新的视角：公开排行榜（Leaderboards）上散落的数百万条模型评测记录并非孤立杂乱的噪点，而是隐式描摹了模型综合能力与数据集特征之间相互契合的“能力图谱”。核心 idea：将开放生态下的模型推荐建模为模型–数据集交互图谱上的排序学习，通过多视图元数据表征、解耦结构先验与残差交互、配合 ID Dropout 冷启动机制，在不向目标数据集输入任何候选模型执行前向推理的前提下，实现未知模型在未知数据集上的零样本精准排序。

方法详解¶

整体框架¶

ModelLens 接收候选模型与目标数据集的元数据描述（包括名称、文本描述、架构家族与参数规模）以及目标评测上下文（任务类别与评测指标），输出候选模型在目标任务上的相对表现排序。方法无需下载或运行任何候选模型权重，亦无需目标数据集的样本特征输入。

整个流程分为三个核心环节：多视图实体表征构建、结构先验与残差交互加法解耦打分、多目标联合监督与冷启动正则化。模型输入首先被编码为 ID 嵌入、名称分词聚合嵌入以及文本语义嵌入，结合任务与指标嵌入后，一部分进入共享架构先验网络建模普适缩放趋势，另一部分进入交互主干网络捕捉任务特定的细粒度适配。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：模型元数据、数据集描述与评测上下文 (t, μ)"] --> Feat["多视图实体表征与特征拼接<br/>ID Dropout 机制解耦记忆与泛化"]
    Feat --> Prior["结构先验网络 MLP_prior<br/>显式拟合模型规模与架构家族的全局趋势"]
    Feat --> Residual["残差交互网络 MLP_backbone<br/>跨上下文注意力与细粒度任务特化建模"]
    Prior --> Fusion["加法得分融合与温度缩放<br/>s = (s_residual + s_prior) / max(τ, ε)"]
    Residual --> Fusion
    Residual --> Point["辅助回归头 z^<br/>组内标准化表现标定"]
    Fusion --> Loss["多目标联合监督优化<br/>Listwise 排列似然 + Pairwise 偏序 + Pointwise 回归"]

关键设计¶

1. 多视图实体表征与 ID Dropout 冷启动机制：平衡历史记忆与新实体零样本迁移

针对开放模型生态中实体快速迭代、新模型与新数据集层出不穷的特点，单一的纯 ID 嵌入无法泛化，而纯文本描述表征又极易受表面文本相似度误导（如将 DeBERTa-MNLI 错误推荐给多模态 MMMU）。ModelLens 为模型 $m$ 构建包含模型 ID 嵌入 $\mathbf{e}_m^{\mathrm{id}}$、名称分词聚合嵌入 $\mathbf{e}_m^{\mathrm{name}}$ 和冻结文本编码器提取的描述语义嵌入 $\mathbf{e}_m^{\mathrm{desc}}$ 的复合向量 $\mathbf{h}_m = [\mathbf{e}_m^{\mathrm{id}} \,\|\, \mathbf{e}_m^{\mathrm{name}} \,\|\, \mathbf{e}_m^{\mathrm{desc}}]$；数据集 $d$ 同理编码为 $\mathbf{h}_d = [\mathbf{e}_d^{\mathrm{id}} \,\|\, \mathbf{e}_d^{\mathrm{desc}}]$。为了强迫网络在训练期不过度依赖 ID 记忆，模型引入了独立伯努利掩蔽的 ID Dropout：以概率 $p_m$ 和 $p_d$ 将实体 ID 向量替换为可学习的共享 $[\textsc{unk}]$ 占位向量。这样在训练期网络同时兼顾“已知实体的协同记忆”与“未知实体的语义推理”；当线上遇到新发布的模型或未评测的数据集时，直接退化查阅 $[\textsc{unk}]$ 向量，平滑实现完全开箱即用的零样本推荐。

2. 结构先验与残差交互的加法解耦打分：将全局缩放规律与细粒度任务特化剥离

模型性能在宏观上严格遵循神经缩放定律（Neural Scaling Laws），即参数量更大、架构更先进的基座往往具有天然优势；但微观上各模型在具体任务子域和评测指标上存在强烈的专精与短板偏置。传统协同过滤容易将这两类信号纠缠在一起导致泛化崩溃。ModelLens 创新性地采用加法解耦结构：先通过轻量级参数化网络 $\mathrm{MLP}_{\mathrm{prior}}$ 基于离散参数量桶嵌入 $\mathbf{e}_m^{\mathrm{size}}$ 和架构家族嵌入 $\mathbf{e}_m^{\mathrm{fam}}$ 学习不依赖具体数据集的全局基础能力分： $$s_{\mathrm{prior}}(m) = \mathrm{MLP}_{\mathrm{prior}}\!\bigl([\,\mathbf{e}_{m}^{\mathrm{size}}\;\|\;\mathbf{e}_{m}^{\mathrm{fam}}\,]\bigr)$$ 随后，将模型、数据集、任务类型 $\mathbf{e}_t$ 及评测指标 $\mathbf{e}_\mu$ 的全部特征拼接后输入主干网络 $\mathrm{MLP}_{\mathrm{backbone}}$，计算残差偏离分 $s_{\mathrm{residual}} = \mathbf{w}_{\mathrm{pair}}^{\top}\mathbf{h}$。最终打分通过可学习温度系数 $\tau$ 缩放： $$\tilde{s}(m, d, t, \mu) = \frac{s_{\mathrm{residual}}(m, d, t, \mu) + s_{\mathrm{prior}}(m)}{\max(\tau, \epsilon)}$$ 该设计使主干网络无需在庞大空间中重复拟合“模型越大通常越强”这一已知普适规律，从而将全部容量聚焦于建模模型与数据集之间的细粒度适配机制。

3. 多目标联合优化：融合列表排序、偏序对比较与组内标准化回归

不同评测集采用准确率、CIDEr、BLEU 等异构度量，绝对数值不可横向加权比较。ModelLens 将训练样本组织为评估组 $g = (d, t, \mu)$，并在评估组内部实施组内 z-score 归一化以得到无量纲标准表现 $z(m, d)$。模型采用三大目标联合优化：全局上，使用 Plackett-Luce 排列似然损失 $\mathcal{L}_{\mathrm{list}}$ 优化真值有序序列的组内概率分布；局部上，在组内采样优劣模型对采用贝叶斯个性化排序（BPR）损失 $\mathcal{L}_{\mathrm{pair}}$ 强化高区分度局部偏序： $$\mathcal{L}_{\mathrm{pair}} = \mathbb{E}\!\left[-\log\sigma\!\bigl(\tilde{s}(m^{+}, d) - \tilde{s}(m^{-}, d)\bigr)\right]$$ 同时引入辅助点级均方误差损失 $\mathcal{L}_{\mathrm{point}} = \mathbb{E}[(\hat{z}(m, d) - z(m, d))^2]$ 对主干特征施加绝对能力量级标定。三者正交互补，兼顾了候选头部排序精度与全局能力分布对齐。

实验关键数据¶

主实验¶

论文基于 HuggingFace、Open LLM Leaderboard 及 PapersWithCode 构建了包含 162 万条记录、4.7 万模型、9600 个数据集的基准。下表展示了在矩阵补全（Performance Completion）、新数据集冷启动（New Datasets, 609 个）以及新模型冷启动（New Models, 375 个）场景下的排序性能对比（以加权 Kendall's $\tau_w$ 强调头部精度）：

评估场景	方法	$\tau_w$ (加权相关系数)	NDCG@1	Hit@10	Rec@10	NDCG@30	Hit@30
性能补全 (2,967 数据集)	ModelLens (本文)	0.868	0.954	0.521	0.452	0.974	0.840
性能补全	ZAP	0.763	0.903	0.517	0.369	0.937	0.807
性能补全	Task2Vec	0.417	0.847	0.361	0.315	0.884	0.646
性能补全	Model Size (基线)	-0.021	0.625	0.129	0.167	0.775	0.415
性能补全	Model Popularity (基线)	-0.035	0.716	0.078	0.071	0.724	0.213
新数据集冷启动 (609 数据集)	ModelLens (本文)	0.745	0.910	0.456	0.303	0.962	0.666
新数据集冷启动	ZAP	0.253	0.852	0.189	0.270	0.870	0.543
新数据集冷启动	Task2Vec	0.227	0.691	0.221	0.129	0.817	0.365
新数据集冷启动	Model Size (基线)	0.059	0.621	0.117	0.190	0.780	0.430
新模型冷启动 (375 模型)	ModelLens (本文)	0.402	0.929	0.137	0.210	0.932	0.412
新模型冷启动	ZAP	0.307	0.884	0.072	0.165	0.920	0.299
新模型冷启动	Task2Vec*	0.078	0.844	0.109	0.139	0.879	0.310

在下游模型路由（Model Routing）测试中，用 ModelLens 推荐的同等推理成本候选池替换原有默认池，使各主流路由算法在 5 个问答基准（NQ, PopQA, HotpotQA, Musique, Bamboogle）上的精准匹配率（EM）获得巨大提升：KNNRouter 平均 EM 从 0.227 提升至 0.411（提升 81.1%），Router-R1 从 0.355 提升至 0.482（提升 35.8%）。

消融实验¶

下表给出了新数据集冷启动场景下对三种监督损失函数组合的消融实验结果（基于测试集评估指标）：

实验配置	包含损失	$\tau_w$	NDCG@1	Hit@1	NDCG@10	Hit@10	NDCG@30	说明
完整模型 (Full)	$\mathcal{L}_{\mathrm{list}} + \mathcal{L}_{\mathrm{pair}} + \mathcal{L}_{\mathrm{point}}$	0.745	0.910	0.266	0.951	0.456	0.962	三大目标联合优化，性能最优
去除点级回归 (w/o Pointwise)	$\mathcal{L}_{\mathrm{list}} + \mathcal{L}_{\mathrm{pair}}$	0.728	0.897	0.126	0.935	0.419	0.950	缺少绝对量级锚定，Hit@1 显著下滑
去除偏序对损失 (w/o Pairwise)	$\mathcal{L}_{\mathrm{list}} + \mathcal{L}_{\mathrm{point}}$	0.703	0.896	0.080	0.930	0.405	0.942	局部近邻分辨力下降，头部命中率大幅降低
去除列表级似然 (w/o Listwise)	$\mathcal{L}_{\mathrm{pair}} + \mathcal{L}_{\mathrm{point}}$	0.632	0.892	0.223	0.906	0.322	0.912	整体排列退化最严重，$\tau_w$ 剧跌 0.113
仅偏序对损失 (Only Pairwise)	$\mathcal{L}_{\mathrm{pair}}$	0.591	0.885	0.015	0.900	0.308	0.908	缺乏全局视角与标定，整体泛化差
仅列表级似然 (Only Listwise)	$\mathcal{L}_{\mathrm{list}}$	0.649	0.891	0.013	0.901	0.294	0.924	缺乏精细 pair 区分度，头部命中严重不足

关键发现¶

列表似然损失是全排序的核心支柱：消融数据显示，移除列表损失 $\mathcal{L}_{\mathrm{list}}$ 会导致加权相关系数 $\tau_w$ 从 0.745 骤降至 0.632，证明全局排列结构在多模型排序中起决定性作用；而偏序对损失 $\mathcal{L}_{\mathrm{pair}}$ 则主要负责攻坚头部区分度，若缺少它，Hit@1 指标直接腰斩。
结构先验与残差项分工明确且互补：单纯依靠模型尺寸或下载热度等朴素规则在真实排序中完全失效（甚至出现负相关）；而引入架构家族先验与参数规模先验后，能准确捕捉跨任务的缩放单调性，残差项则成功滤除表面语义干扰（如解决 MMMU 错推纯文本分类器的缺陷）。
零样本推荐池可无缝使能下游实例级路由器：在不改变路由决策算法本身的前提下，仅将静态模型池替换为 ModelLens 推荐的同算力开销优质模型，就能令 KNNRouter、Router-R1 等算法的端到端问答准确率提升 35% 至 81%，证明模型推荐与实例路由在技术栈上高度正交。

亮点与洞察¶

将排行榜交互数据重新定义为自监督图谱：巧妙地将原本稀疏、异质、多指标混杂的公开评测记录转化为模型与任务相匹配的隐式监督信号，无需额外人工标注即构建起海量知识底座。
解耦结构先验与局部特化：通过显式加法分支设计，让可预测的神经缩放规律（模型大小、架构代际）由共享先验模块承接，大幅减轻主干网络的拟合负担，有效抑制小模型微调过拟合。
无需前向推理的极高工程可用性：彻底摆脱了传统迁移性估计对候选模型前向计算（提取表征/计算协方差）的刚性依赖，推荐过程仅需几毫秒的元数据嵌入推理，为构建数十万规模的实时推荐系统铺平了道路。

局限与展望¶

作者承认的局限：公开排行榜记录本身混合了不同的评估协议（如零样本、微调后评估、少样本提示工程等），部分冷门模型或数据集在元数据中存在文本描述缺失或 README 抽取噪声，导致打分置信度波动。
自身分析发现的局限：由于框架严重依赖模型与数据集文本描述的通用语言表征，当新模型属于全新小众领域且缺乏详尽文档说明时，推荐精度会不可避免地向结构先验（仅靠模型规模）退化；此外，目前对超长上下文能力、推理延迟、量化精度损耗等系统级开销属性尚未显式建模。
未来改进方向：可进一步引入多模态基准实例文本采样特征作为可选轻量输入，并将推理内存瓶颈（KV Cache 占用、显存上限）作为多约束优化目标融入排序得分中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次形式化定义了海量开放生态下的“野生模型推荐”任务，将排行榜碎片交互转化为隐式能力空间。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 4.7 万模型、9600 个数据集、162 万评测记录，涵盖矩阵补全、冷启动、TE 基线和下游路由多维评测。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，先验与残差解耦的数学表述清晰自洽，消融与分析扎实详尽。
价值: ⭐⭐⭐⭐⭐ 直击大模型时代从业者面临的模型选型痛点，无需前向推理的开箱即用特性具备极强的工业落地价值。

实验配置	包含损失	\(\tau_w\)	NDCG@1	Hit@1	NDCG@10	Hit@10	NDCG@30	说明
完整模型 (Full)	\(\mathcal{L}_{\mathrm{list}} + \mathcal{L}_{\mathrm{pair}} + \mathcal{L}_{\mathrm{point}}\)	0.745	0.910	0.266	0.951	0.456	0.962	三大目标联合优化，性能最优
去除点级回归 (w/o Pointwise)	\(\mathcal{L}_{\mathrm{list}} + \mathcal{L}_{\mathrm{pair}}\)	0.728	0.897	0.126	0.935	0.419	0.950	缺少绝对量级锚定，Hit@1 显著下滑
去除偏序对损失 (w/o Pairwise)	\(\mathcal{L}_{\mathrm{list}} + \mathcal{L}_{\mathrm{point}}\)	0.703	0.896	0.080	0.930	0.405	0.942	局部近邻分辨力下降，头部命中率大幅降低
去除列表级似然 (w/o Listwise)	\(\mathcal{L}_{\mathrm{pair}} + \mathcal{L}_{\mathrm{point}}\)	0.632	0.892	0.223	0.906	0.322	0.912	整体排列退化最严重，\(\tau_w\) 剧跌 0.113
仅偏序对损失 (Only Pairwise)	\(\mathcal{L}_{\mathrm{pair}}\)	0.591	0.885	0.015	0.900	0.308	0.908	缺乏全局视角与标定，整体泛化差
仅列表级似然 (Only Listwise)	\(\mathcal{L}_{\mathrm{list}}\)	0.649	0.891	0.013	0.901	0.294	0.924	缺乏精细 pair 区分度，头部命中严重不足