Mixture of Specialized Vision Experts: Unlocking Complementary Visual Insights for Faithful MLLM Reasoning¶

会议: ECCV 2026
OpenReview: https://eccv.ecva.net/virtual/2026/poster/4465
论文: ECCV 2026 Official PDF
代码: https://github.com/jerry19h/MoSVE
领域: 多模态VLM
关键词: 视觉专家混合 / 忠实多模态推理 / 幻觉缓解 / 查询引导互补聚类 / 互补拒绝微调

一句话总结¶

针对单一视觉编码器感知盲区及多专家直接拼接造成的特征冗余与同质化问题，本文提出 MoSVE 框架，通过查询引导的 Patch 级自适应互补聚类压缩冗余视觉 Token，并借助基于锚点模型失效样本的最大特征差异路由与拒绝微调（CRFT），以仅 576 个视觉 Token 在 POPE（86.9%）、CHAIR_S（27.1%）和 MMVP（57%）上显著超越现有 SOTA 多专家与大参数多模态模型。

研究背景与动机¶

多模态大语言模型（MLLMs）在图文理解、指令遵循及跨模态复杂推理任务中取得了突破性进展，但在面对细粒度物体属性、空间相对拓扑以及边界结构时，模型依然频繁产生与真实图像严重脱节的“幻觉”现象。这种缺乏忠实性（Faithfulness）的推理缺陷，本质上根源于其感知前端的表征瓶颈：目前主流模型普遍依赖单一 CLIP-ViT 作为视觉编码器，CLIP 虽然拥有出色的全局图文语义对齐能力，却对局部几何轮廓、密集小物体以及空间遮挡关系存在固有的感知盲区。

为打破单编码器的感知上限，学界近期尝试引入多视觉专家体系（如融合 DINOv2、SAM-L 等），但现有方案普遍受困于两大痛点。首先是粗粒度的混合方式，多数工作简单依赖 Token 直接拼接或机械交织，不仅将视觉序列长度推高数倍（如 LEO 达到 3584 Token），且完全忽视了不同专家表征分布的空间重叠，造成无差别的信息冗余与计算浪费；其次是未特化的对齐策略，直接对多专家联合微调容易诱发特征空间冲突，或者在通用图文监督下坍缩同质化，使得辅助专家退化为主专家的平庸副本，丧失独有的感知优势。

本文的核心洞察来自对不同视觉编码器最后一层自注意力热力图的系统诊断：CLIP 专注全局查询相关语义，DINOv2 自发锚定物体局部属性，而 SAM-L 敏锐捕捉实例形状与边缘轮廓，三者天然存在高度互补性。要将这种互补性转化为忠实的推理能力，关键在于自适应保留高价值增量细节并显式培育专家的差异化专长。本文的核心 idea 是：构建 MoSVE（Mixture of Specialized Vision Experts）框架，在前向混合上引入查询引导的互补聚类自适应压缩共识信息，在微调阶段引入互补拒绝微调（CRFT），将锚点模型的推理盲点样本定向路由给视觉表征差异最大的辅助专家，形成兼顾轻量 Token 开销与细粒度忠实推理的多专家协同体系。

方法详解¶

整体框架¶

MoSVE 的整体架构由三个核心部分协同构成：多源视觉专家编码器（主锚点为 CLIP-L/14-336，辅助专家为 DINOv2-L/14 与 SAM-L/16）、查询引导的互补聚类混合模块（Query-Guided Complementary Clustering），以及基于锚点失败样本的互补拒绝微调机制（Complementary Rejection Fine-Tuning, CRFT）。

在推理阶段，输入图像被并行送入固定参数的各个视觉专家，经各自轻量化投影层（Projector）映射至相同隐藏维度后，在每个 Patch 空间位置汇聚为局部专家 Token 组。随后，系统结合文本查询指令计算跨模态语义相关性与信息分异度，动态推导出该 Patch 的自适应聚类距离阈值，对局部多专家特征执行层次聚类并提取聚类质心，输出紧凑而富含互补信息的融合视觉序列送入 Vicuna 骨干网络完成自回归推理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与文本查询指令"] --> B["多源视觉特征抽取与独立投影<br/>CLIP 锚点 + DINOv2 局部 + SAM-L 轮廓"]
    B --> C["查询引导互补聚类<br/>跨模态相关度与分异度计算自适应阈值"]
    C --> D["Patch 级层次聚类与质心融合<br/>压缩共识冗余并保留互补视角"]
    D --> E["LLM 骨干自回归解码<br/>输出无幻觉的忠实推理回答"]

关键设计¶

1. 查询引导互补聚类：兼顾文本约束与互补视角的自适应 Token 压缩 现有直接拼接方案使得视觉 Token 数量线性倍增，加剧了注意力负担与冗余干扰。为在空间 Patch 级别实现高精度的特征融合，本文在每个图像 Patch 内部执行自适应聚类。设第 \(i\) 个 Patch 汇聚了 \(N_e\) 个专家投影后的特征向量 \(V_i = \{v_i^{(k)} \in \mathbb{R}^d\}_{k=1}^{N_e}\)。首先计算专家间的两两余弦相似度 \(S_i(m,n)\) 与对应距离度量 \(D_i(m,n) = 1 - S_i(m,n)\)：

\[S_i(m,n) = \frac{\langle v_i^{(m)}, v_i^{(n)} \rangle}{\|v_i^{(m)}\|_2 \|v_i^{(n)}\|_2}\]

距离较小的 Token 意味着共识冗余，距离较大的则蕴含独特的补充视角。为根据推理上下文智能控制合并激进程度，模型先对该 Patch 的专家特征做均值池化得到中心表示 \(\bar{v}_i = \frac{1}{N_e} \sum_{k=1}^{N_e} v_i^{(k)}\)，并计算其与查询文本的 \(N_t\) 个 Token 之间的余弦相似度向量 \(s_i \in \mathbb{R}^{N_t}\)。由此定义跨模态相关度 \(\bar{s}_i\) 与语义分异度熵 \(e_i\)：

\[\bar{s}_i = \frac{1}{N_t} \sum_{t=1}^{N_t} s_i^{(t)}, \quad e_i = -\sum_{t=1}^{N_t} p(s_{i,t}) \log p(s_{i,t})\]

其中 \(p(s_i) = \text{Softmax}(s_i)\)。基于这两项指标，系统通过软函数自适应生成聚类距离截断阈值 \(\tau_i\)：

\[\tau_i = 1 - \sigma(\alpha \bar{s}_i + \beta e_i)\]

超参数设置为 \(\alpha = 0.45, \beta = 0.75\)。当图像区域与用户提问强相关或与查询存在多角度复杂关联时，\(\tau_i\) 动态减小，收紧聚类条件以严格保护互补专家的独立感知细节；而在背景弱相关区域，\(\tau_i\) 增大，将多专家 Token 大幅聚拢合并。对满足距离约束的簇 \(\mathcal{C}_{i,m}\) 计算质心 \(\hat{v}_{i,m} = \frac{1}{|\mathcal{C}_{i,m}|} \sum_{v \in \mathcal{C}_{i,m}} v\)，最终串联所有 Patch 的质心 Token 形成最终视觉序列，在维持 576 基础 Token 预算的同时保留了高价值细节。

2. 互补拒绝微调：基于特征最大差异路由的专家定向特化 如果对所有专家直接执行常规端到端联合微调，辅助专家极易受通用 SFT 梯度的同质化牵引，退化为锚点 CLIP 编码器的附属品。为此，本文设计了互补拒绝微调（CRFT）策略，其核心哲学是“让不同的专家专攻锚点模型最致命的盲区”。

首先建立基于锚点模型的负样本池 \(P_{\text{neg}}\)：使用标准 CLIP 单编码器 MLLM 在训练集上进行全量前向测试，针对确定性问答采用精确匹配过滤错题，针对自由生成任务借助 spaCy 实体属性提取工具检验其是否遗漏真实物体或描述了矛盾属性，将所有产生幻觉与推理失败的困难样本收集入池。随后，针对 \(P_{\text{neg}}\) 中的每一个困难样本，利用全图全局池化表征 \(\bar{v}^{(k)}\) 计算各个辅助专家与锚点专家 CLIP 的全局余弦相似度，将该样本定向且独占地分发给表征距离最远、视角差异最大的辅助专家 \(k^*\)：

\[k^* = \arg\min_{k \in \text{Aux}} S(\bar{v}^{(\text{anchor})}, \bar{v}^{(k)})\]

通过将锚点失败案例排他性地路由给最具补全潜力的辅助专家，强制各投影层独立聚焦于解决特定维度的视觉理解偏差，杜绝了无差异联合微调带来的特征同质化。

损失函数 / 训练策略¶

CRFT 采用两阶段渐进式优化体系： - 第一阶段（专家投影特化阶段）：冻结各视觉编码器与 LLM 语言骨干，仅分别针对每个辅助专家的专属投影层，使用其被路由分配的独占困难子集 \(\mathcal{D}_k\) 进行独立有监督训练。学习率设置为 \(1\times 10^{-4}\)，优化器选用 AdamW，batch size 为 64。 - 第二阶段（多专家协同对齐微调）：引入完整通用多模态对话数据集，保持视觉编码器冻结，放开所有投影层与 LLM 骨干，在全局语料上进行 1 个 epoch 的端到端联合指令微调。学习率降低至 \(2\times 10^{-5}\)，采用余弦学习率衰减策略。硬件依托 8 张 NVIDIA A100 GPU 完成分布式训练。

实验关键数据¶

主实验¶

在代表性幻觉评测基准（POPE、CHAIR、MMVP）以及综合多模态理解基准（MMBench）上，MoSVE 与单阶段基线、多阶段扩展模型以及主流 SOTA 多专家系统进行了全面评测，结果如表 1 所示。

模型	专家范式	LLM 骨干	视觉 Token 数	POPE Acc ↑	POPE F1 ↑	CHAIR_S ↓	CHAIR_I ↓	MMVP Acc ↑	MMBench Acc ↑
LLaVA-1.5	单阶段	Vicuna-7B	576	83.1	82.9	45.6	16.3	22.0	64.3
LLaVA-1.5	单阶段	Vicuna-13B	576	83.9	83.6	41.3	14.2	22.0	67.7
mPLUG-Owl	两阶段	LLaMA-7B	64	83.2	82.9	39.9	14.8	–	64.5
SPHINX	多阶段	Vicuna-13B	2880	81.1	80.1	42.7	15.6	23.5	65.9
LLaVA-NeXT	多阶段	Vicuna-v1.5-7B	2880	85.5	85.2	36.9	12.4	39.0	67.4
LLaVA-NeXT	多阶段	Hermes-Yi-34B	2880	86.1	86.0	35.8	12.0	44.0	–
MARINE	引导增强	Vicuna-v1.5-7B	–	84.3	83.8	37.5	12.7	42.0	65.7
MoF	专家融合	Vicuna-v1.5-7B	512	84.3	84.2	39.8	15.2	28.0	66.2
LLaVA-HR	多尺度适应	Vicuna-v1.5-7B	1024	85.9	85.8	38.0	13.2	52.0	68.6
MoVE-KD	知识蒸馏	Vicuna-v1.5-7B	577	86.3	–	–	–	37.0	67.6
LEO	多阶段拼接	InternLM2-7B	3584	86.5	86.3	31.2	12.1	46.0	67.8
MoSVE (本文)	互补协同	Vicuna-v1.5-7B	576	86.9	86.5	27.1	12.2	57.0	68.3

消融实验¶

为系统解耦查询引导互补聚类模块的贡献，作者设计了固定阈值对比和全 Token 理论上限实验（均搭载 CRFT），结果见表 2。

方法变体	视觉 Token 数	POPE Acc ↑	CHAIR_S ↓	MMVP Acc ↑	说明
固定阈值聚类 (Fixed + CRF)	600	85.1	34.0	48.0	固定截断阈值 \(\tau = 0.45\)，不感知查询上下文
查询引导聚类 (QG + CRF, MoSVE)	576	86.9	27.1	57.0	自适应结合相关度与分异度动态调整阈值
理论上限 (All Tokens + CRF)	1536	87.2	25.1	59.0	不做聚类，保留全部专家未压缩 Token

进一步，针对专家组合多样性以及 CRFT 微调策略的消融验证如表 3 所示（C、D、S 分别代表 CLIP、DINOv2 与 SAM-L）。

模型配置	是否启用 CRFT	POPE Acc ↑	CHAIR_S ↓	MMVP Acc ↑	演变分析
CLIP (C)	✗	83.1	45.6	22.0	单一锚点 baseline
C + D	✗	84.5	38.8	38.0	增加物体级表征，缓解显著盲区
C + S	✗	84.2	39.5	36.0	增加实例分割形状先验
C + D + S	✗	85.3	36.8	42.0	简单多专家联合微调，受限于特征同质化
MoSVE (C + D + S)	✓	86.9	27.1	57.0	引入 CRFT 路由特化，MMVP 暴涨 15%

表 4 则验证了 CRFT 中定向路由机制的必要性：

路由策略	POPE Acc ↑	CHAIR_S ↓	MMVP Acc ↑	观察结论
随机路由 (Random)	85.7	30.8	50.0	随机分发样本给辅助专家打乱了特化学习方向
标准 SFT (无路由，全量盲训)	86.5	29.2	54.0	辅助专家无法形成针对性互补感知能力
互补路由 (CRFT, 最小相似度)	86.9	27.1	57.0	精准分发至互补潜力最大的专家，收益最大

关键发现¶

Token 压缩效率与信息保真度兼备：相比保留全部 1536 个多专家视觉 Token 的理论上限，MoSVE 仅需 576 个 Token（压缩比达 2.67 倍），就保留了 96.6% 的 MMVP 判别性能（57.0 vs 59.0），在句级幻觉率 CHAIR_S 上仅相差 2.0%，彻底打破了“多专家必带来巨大序列开销”的固有弊端。
特化微调是激活互补潜力的决定性阶跃：直接混合三个专家（C+D+S）而不加 CRFT 时，MMVP 仅从 22.0 提升到 42.0；而引入基于差异路由的 CRFT 后，MMVP 进一步飞跃 15 个百分点至 57.0，CHAIR_S 显著降低 9.7 个百分点（36.8% 降至 27.1%），证明未经特化的专家融合容易发生特征塌缩，负样本定向分发是释放互补红利的关键。
优异的推理吞吐平衡：在 POPE 推理延迟测试中，MoSVE 的吞吐为 0.68 samples/s（延迟 1.49 s/sample），精度达到 86.9%；对比全拼接多专家模型 LEO（0.29 samples/s，3.49 s/sample），MoSVE 在超越其精度的同时实现了 2.3 倍以上的吞吐速度提升。

亮点与洞察¶

查询敏感的自适应门控聚类准则：巧妙地将自然语言指令的跨模态相关度与注意力分布信息熵引入到几何距离截断中，使模型在提问相关的核心区域自动收紧聚类边界保留多专家异构特征，而在背景区域自动放宽阈值大比例压实冗余，优雅地化解了多视觉专家融合中的“序列膨胀与细节丢失”两难。
反直觉的“反向相似度”负样本路由策略：CRFT 不是将失败样本均匀喂给所有模型，而是将锚点模型的失误案例直接派发给与锚点特征空间“余弦相似度最小”的辅助专家。这种差异驱动的路由机制从几何原理上逼迫辅助网络专门吃下主干模型看不懂的盲区特征，实现了极其高效的互补表征特化。
可复用的模块化范式：查询自适应聚类和基于余弦差异的失败样本路由不仅适用于 CLIP+DINOv2+SAM-L 组合，亦可无缝迁移至具备红外、深度或高分辨率特性的其他异构视觉编码器集成管线中。

局限与展望¶

依赖预定义锚点编码器：CRFT 的两阶段路由机制严重依赖预设的基底锚点（本研究默认绑定 CLIP），若未来主模型架构转向完全原生多模态的大一统视觉骨干，多专家之间的“锚点与辅助”相对角色划分需重新标定。
离线负样本挖掘的算力前置开销：在启动第一阶段训练前，需使用锚点模型在全量数据集上预先生成完整回答并调用外部规则与 NLP 工具（spaCy）标注错题构建负样本池，存在一定的流水线离线处理成本，尚无法做到端到端在线动态挖掘。
高动态场景扩展性有待验证：当前验证主要集中在静态单帧图像的细粒度属性与幻觉评测，未来若迁移至连续视频或时空具身交互任务，时序维度的多专家聚类质心稳定性及跨帧追踪一致性仍需进一步探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 创新性地结合自适应聚类与基于特征最大差异的样本路由，打破了以往多专家粗暴拼接或平庸联合微调的僵局。
实验充分度: ⭐⭐⭐⭐⭐ 在主流幻觉基准 POPE、CHAIR、细粒度 CLIP-blind 基准 MMVP 和通用推理 MMBench 上均提供了扎实的对比与详尽消融。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅，数学公式与图表映射严密规范，问题定位一针见血。
价值: ⭐⭐⭐⭐⭐ 为解决 MLLM 视觉感知盲区与幻觉问题提供了兼具高效性与极佳工程落地价值的架构级参考。