MMR-Bench: A Comprehensive Benchmark for Multimodal LLM Routing¶

会议: ECCV2026
论文: ECCV 原文
领域: 多模态 VLM
关键词: 模型路由、成本感知评测、图文融合、离线基准、跨模态迁移

一句话总结¶

MMR-Bench 将图文查询在异构多模态大模型之间的选择做成可复用的离线评测，比较不同特征与路由策略的成本—性能曲线；作者报告某个路由工作点能以最强单模型约 33% 的成本匹配其精度，但该结论不是所有方法和任务都成立的统一节省比例。

研究背景与动机¶

多模态大语言模型（MLLM）并不是一条从小到大、能力单调增加的序列：不同模型的视觉编码器、图文对齐方式和训练数据不同，擅长的 OCR、场景问答和数学推理也不同。部署时把所有请求发给一个昂贵模型，会把简单识别任务也按高难推理付费；固定使用便宜模型，则会在需要细读图表、辨认小字或理解几何关系时失误。因此，模型路由的价值不只是“简单题给小模型”，还在于利用模型之间并不完全重合的正确答案集合。

文本路由已有多个基准，但图文场景的难度不能只从问题句子判断。同一句“图中写了什么”，可以对应清晰的大字号，也可以对应低分辨率、密集排版的小字；仅观察文字的路由器无法区分这两类成本需求。反过来，相同图片配上不同问题，可能从物体识别变成多步关系推理，图像特征也不是充分条件。若每种策略使用不同模型池或价格口径，最终曲线差异又可能来自候选模型，而不是路由能力本身。

本文因此先固定候选模型、样本、输出评分和成本，再比较路由器能看见什么信息、怎样使用这些信息。它的主要贡献是评测环境与实证分析，而不是一个新的大模型架构。核心 idea：预先记录每个查询在每个候选模型上的效用与成本，让图文路由策略在同一离线环境中接受跨预算比较，从而分离多模态信息、选择策略与候选模型本身的贡献。

方法详解¶

整体框架¶

输入是文本问题及可选图像，路由器输出一个候选模型，或者对模型的选择概率；预算信号可以作为额外输入。基准先离线调用候选模型并评分，后续评测只需根据路由结果查表，不需要为每个新路由器再次运行整套 MLLM。

因此需要区分两种成本：构建基准时，要收集大量“样本—模型”结果；评测路由时，使用预计算的模型调用成本计算模拟账单。低成本路由曲线并不意味着构建这份结果表本身便宜，也不意味着作者已完整测量了在线系统的全部开销。

作者报告基准包含 11,000 个实例、10 个候选模型和 3 个场景，覆盖超过 100k 个实例—模型结果。场景是 OCR、通用视觉问答和多模态推理。正文称有 8 个数据集，但实际点名及主表列出的只有 OCRBench、SEED-Bench v2 Plus、MMStar、RealWorldQA、MathVerse、MathVista、MathVision 这 7 个；这里保留这一数量不一致，不补造第八个数据集。

关键设计¶

1. 离线结果表：将模型能力与路由决策分开评测

每个查询对应一行记录，保存每个候选模型的原始回答、任务特定效用和归一化推理成本。效用被映射到 0 到 1，成本采用共享的货币计价口径；同一场景内模型使用固定提示和解码设置。候选池同时包括 GPT-5、Gemini 2.5、Claude 等商业模型，以及 Gemma、InternVL3、Qwen2.5-VL 等开放权重模型家族。关键不在于堆叠模型数量，而是让同一查询在不同模型上的成败与代价都可观察，路由器才有可学习的相对优势。

这个表使评价可以复用：一个确定性策略选中某模型，就读取对应单元格；概率策略则用选择概率对各模型效用与成本加权。这里的概率加权是期望指标，不是让多个模型同时作答后集成答案。不同策略共享同一份结果，也就避免了重复生成的随机性掩盖真实路由差异；代价是评价绑定到既有模型版本、提示、输出样本和价格假设。

2. 信息与调用约束：防止把事后最优选择当作可部署路由

实际路由器只能使用推理时可得的查询、可选预算、轻量嵌入、token 数或场景标签，以及成本、上下文长度、支持模态等静态模型元数据。测试集的真实标签和逐模型效用不能作为输入，也不允许在同一样本上进行多次自适应模型调用。这使基准聚焦于“回答前选一次模型”，而不评测先问便宜模型、检查答案、再升级模型的级联系统。

Oracle 可以查看真实结果并选择预算下最好的模型，但只用来估计固定候选池的上界，不能视为可部署系统。正文的动机实验还采用了统一的轻量聚类协议：对训练特征做 k-means，在验证样本上给每个簇分配平均收益最佳的模型，测试样本交给最近簇的模型。收益由效用减去成本惩罚决定，扫描成本权重及簇数形成不同工作点。这里用文字说明，是因为缓存中的相应公式存在抽取损坏，不把修复猜测伪装成作者的精确公式。

3. 图文特征融合：让路由器感知问题内容与视觉难度的交互

基准使用冻结的视觉和文本编码器离线抽取嵌入，视觉侧为 ViT 类编码器。简单基线先对齐维度，将缺失模态补为零，再等权平均。这样可以控制路由器之外的变量，但它隐含两种模态同等可靠的假设：在密集 OCR 中，问题文本往往几乎不提供难度线索；在复杂问答中，单看图像又无法知道用户要求哪一种推理。

自适应方案用与均值的余弦关系及基于向量范数的 sigmoid 构造模态置信信号，再转成 softmax 权重。融合特征不仅包含加权和，还包含乘积与绝对差，经过线性混合和 L2 归一化。乘积与差异项让选择器有机会利用图文的一致或不匹配信息，而不只是两个表示的平均方向。不过，这些置信量是启发式代理，不等于校准过的答对概率；特征几何改变也可能伤害近邻检索，所以消融不能简单概括成“自适应总是更好”。

4. 跨预算指标：把峰值质量与节省成本分开报告

改变预算或成本权重后，每个路由器得到一组平均成本与平均效用工作点，其 Pareto 上包络构成性能—成本曲线。公共比较区间由始终选最便宜模型和始终选最贵模型的平均成本确定。固定候选池和共同区间很重要，否则不同策略的曲线面积可能是在不同预算范围上求出的，不能直接排序。

三个指标回答不同问题：nAUC 是归一化曲线下面积，概括预算范围内的整体表现；Ps 是曲线可达到的最高效用；QNC 是达到最准单模型质量所需的相对成本。QNC 小于 1 表示以更少成本达到同等质量，大于 1 表示需要更多成本，正无穷表示所评估曲线未达到这一质量。Ps 高不代表每个预算下都好，nAUC 上升也不保证 QNC 下降。原文没有充分展开 nAUC 的归一化细节，且表 2 的 Best Single 行均记为 1.0000，因此不把这个参考行解释成与所有路由曲线具有同样意义的面积值。

损失函数 / 训练策略¶

主实验采用冻结的 2:8 训练/测试划分，并以共享融合特征比较多种路由器。Linear 为各模型学习线性得分；EmbedLLM 使用紧凑模型表示与轻量预测器；k-NNRouter 汇总相似训练实例的模型表现；GraphRouter 预测查询与模型的图上兼容性；AvengersPro 做性能—效率导向的单模型选择；RM-Softmax 从记录结果学习最小化遗憾的策略。Random 是随机选择的下界，Oracle 是可访问真实结果的分析上界。

本文没有为整个基准提出一个统一新损失，也未给出足以重现每种方法的全部训练超参数，因此不把各基线原始论文的训练目标自行补成本文实现。动机实验提到训练和验证特征，主实验则只明确 2:8 训练/测试划分，两者不能擅自合并为一个已完整公开的三分协议。正文称指标先按数据集计算，再在场景及全场景间宏平均；下表总体数值直接采用原表 Avg，避免根据可见列自行重算替换。

跨模态迁移时冻结已训练路由器，将图像通道置零，在 GSM8K、MMLU、ARC 上零样本评测。它检验的是缺失视觉输入时已有选择策略能否继续工作，不等价于证明路由器能够无监督接纳任意新增候选模型。

实验关键数据¶

主实验¶

表 1 摘录原文表 2 的 Full Dataset / Avg 列。条件是固定 10 模型池、2:8 划分、离线模型输出与统一归一化货币成本；Ps 为 0 到 1 的效用，nAUC 越高越好。Random 未报告 nAUC，Best Single 的面积参考值不纳入路由器排名。

方法	nAUC	Ps
Random	未报告	0.6135
Linear	0.7042	0.7533
EmbedLLM	0.6913	0.7494
k-NNRouter	0.6950	0.7457
AvengersPro	0.6885	0.7496
GraphRouter	0.6754	0.7420
RM-Softmax	0.6927	0.7479
Best Single	1.0000（原表参考值）	0.7412
Oracle	0.8897	0.9188

Linear 的 Ps 比 Best Single 高 0.0121，即 1.21 个百分点，但离 Oracle 仍有明显空间。图 4 与第 5.3 节报告约 33% 成本即可匹配最强单模型精度，在更高预算下还能超过它；原文没有给出这一工作点的完整数值明细，不能将其直接套到表内每个方法。

消融实验¶

表 2 摘录原文表 3：保持路由器家族不变，比较自适应融合相对等权融合的增量。QNC 是相对成本而非准确率；这些是融合消融的结果，不与主表混成同一个工作点。

路由器	nAUC 增量	Ps 增量	QNC：等权 → 自适应
AvengersPro	+0.3403	+0.1275	正无穷 → 1.0585
EmbedLLM	+0.0033	+0.0020	正无穷 → 0.9947
Linear	+0.0124	+0.0036	0.9055 → 0.9701
k-NNRouter	-0.0074	-0.0014	正无穷 → 正无穷
GraphRouter	+0.0025	+0.0020	正无穷 → 0.9998
RM-Softmax	+0.0117	+0.0125	1.1747 → 0.9814

AvengersPro 改善最大，但 QNC 仍高于 1；Linear 的平均曲线指标提高，达到单模型质量的相对成本却变高。k-NNRouter 两项质量指标都下降，表明特征融合和下游路由算法必须一起选择。

表 3 摘录原文表 5：多模态训练后冻结路由器、屏蔽图像通道，报告文本任务的峰值分数，数值按原表百分数尺度保留。这不是同预算精度对照，也未报告对应 QNC。

方法	GSM8K Ps	MMLU Ps	ARC Ps
Best single model	94.5	91.2	65.7
MM→Text	96.7	92.4	66.7

关键发现¶

分布迁移有正向证据：原表 4 的跨数据集 Shift 在 OCR/VQA/Math 上分别为 0.7234/0.8012/0.7914，对应目标域最佳单模型为 0.7062/0.7936/0.7592；这些是 Ps，不证明迁移后仍保留相同比例的成本节省。
总体最佳不等于逐任务最佳：Linear 总体领先，而 k-NNRouter 在 MathVista 的 nAUC/Ps 达到 0.7807/0.8075，显示不同数据分布仍会改变方法排序。
文本迁移的提升分别是 2.2、1.2、1.0 个百分点，但缺少相应成本与方差信息，结论宜限定为报告的峰值质量优势。

亮点与洞察¶

将路由评测变成固定结果表上的决策比较，是基准最可复用的部分。它降低重复实验的模型调用成本，也让错误选择可以追溯到具体候选模型的已知表现。
模态的重要性随查询变化，而不是由任务名称永久决定。加权和、乘积与差异提供了一个轻量的交互特征接口，但消融也提醒读者不要把更复杂的融合自动等同于更好的路由。
QNC 能揭示仅看 Ps 看不到的差异。一个路由器可以同时拥有更好的峰值质量和更差的质量中性成本，部署选型必须先明确预算目标。

局限与展望¶

作者明确的评测边界是图文输入、固定模型池与离线单次选择；级联、多轮验证、在线反馈更新和音视频路由不在当前协议内。
笔记观察：数据集数量的 8/7 不一致、nAUC 参考行含义、精确价格与编码器配置、训练验证划分细节都需要实现或补充材料澄清；原文对“矩阵分解类方法更稳健”的归纳也不能直接替代表 2 中 Linear 总体最优这一事实。
笔记观察：已归一化的模型调用费用不等同于完整服务成本。后续应纳入路由器特征提取、排队延迟、硬件与吞吐量，以及供应商价格或模型版本变化后的重新校准。
笔记观察：一对样本—模型只固定一个输出，不能刻画生成随机性；迁移表缺少置信区间和逐预算明细。重复采样、独立成本匹配和更明确的留域协议会让泛化结论更可信。

评分¶

新颖性: 4/5，图文模型级路由的统一评测问题有价值，核心机制主要复用现有选择器。
实验充分度: 3/5，有主比较、融合消融及迁移测试，但复现细节、方差与成本明细不足。
写作质量: 3/5，主问题清楚，部分统计口径与结论的适用范围需要更严谨说明。
价值: 4/5，适合研究异构多模态模型的预算分配，但线上收益仍需端到端验证。