Mixture of Layers: Dynamic Layer Routing for Visual Reasoning¶

会议: NeurIPS 2026
arXiv: 2610.09440
OpenReview: https://openreview.net/forum?id=NBGxbQl0VI
代码: https://wjdghks950.github.io/mol.github.io/
领域: 多模态VLM
关键词: 动态层路由, 多模态大模型, 细粒度视觉推理, 混合专家, 视觉表征选择

一句话总结¶

针对多模态大模型仅采用预训练视觉编码器末层表征而丢失底层细节的弊端，本文提出 Mixture of Layers (MoL)，通过指令引导在 Patch 级别对中间层隐状态执行动态稀疏路由与回退门控，显著提升了细粒度视觉推理能力。

研究背景与动机¶

多模态大语言模型（MLLMs）在图文理解与综合推理任务中取得了显著突破，其标准架构通常由预训练视觉编码器（如 CLIP、SigLIP、DINOv2）、图文对齐投影层以及骨干语言模型组成。然而，绝大多数主流模型长期遵循一种惯性假设：直接采用视觉编码器最后一层或倒数第二层的输出特征，便足以支撑所有下游视觉推理需求。这种做法认为顶层表征与自然语言语义对齐最紧密，因而最具通用性。

然而在细粒度多模态感知与推理任务中，这种静态且粗粒度的设计遭遇了严重瓶颈。细粒度场景往往依赖于图像中的局部小物体、文本字符、细微属性、精确空间几何关系或密集计数，而视觉编码器的逐层抽象机制表明，底层网络保留了丰富的空间分辨率和高频细节，高层网络则倾向于全局语义聚合。目前已有的中间层表征融合方案大多采用手工固定层级拼接、全局加权平均或直接扩增注入 LLM 的视觉 Token 数量，这些方案不仅极度增加语言模型的长上下文计算开销，而且其特征聚合过程与输入的文本问题（Prompt）完全解耦，无法按需调配视觉感知深度。

针对这一核心矛盾，生物视觉系统的处理机制表明，大脑并非无差别激活所有视觉皮层特征，而是根据当前任务注意力动态强调层次结构中特定的抽象水平。因此，多模态系统亟需建立一种根据文本指令自适应抽取视觉编码器中间层表征的动态选择机制。核心 idea：提出 Mixture of Layers (MoL)，在 Patch 级别构建指令引导的动态层级路由与分歧门控回退机制，在不增加视觉 Token 预算的前提下为细粒度推理按需聚合视觉中间层表征。

方法详解¶

整体框架¶

MoL 的核心思想是将预训练视觉编码器的所有中间层隐状态视作一系列候选“层级专家”（Layer Experts），由文本指令与视觉 Patch 表征共同决定选择哪些层级进行动态稀疏聚合。整体流水线分为三大部分：首先，利用与视觉塔对齐的文本编码器提取指令池化特征作为查询向量（Query）；其次，计算查询与视觉编码器各层各 Patch 键向量（Key）的注意力兼容度打分；最后，通过全局图像级路由、局部 Patch 级路由或二者结合的混合路由机制，选出 Top-\(k\) 个非备用层特征，并结合基于 KL 散度分歧度门控的备用层（Reserve Layer）锚点表征，加权生成最终传递给 LLM 投影器的 Patch 序列。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["输入：图像与文本指令 Prompt"] --> B["文本与视觉编码<br/>提取指令池化向量与L层视觉隐状态"]
    B --> C["1. 指令条件化层路由打分<br/>Query-Key 点积兼容度计算"]
    C --> D["2. 混合路由与专家乘积融合<br/>全局与局部分布凸组合"]
    D --> E["3. 分歧度门控与备用层回退<br/>KL 散度动态控制锚点回退"]
    E --> F["输出：传递给 LLM 投影层的最终 Patch 表征"]

关键设计¶

1. 指令条件化层路由打分：建立文本意图与视觉层级的细粒度关联 传统中间层抽取方法通常是任务无关或图像单模态的，无法感知当前问答究竟关注微小细节还是整体宏观语义。针对这一痛点，MoL 借助与视觉编码器空间对齐的双塔文本编码器，将文本指令序列 \(\mathbf{T}\) 经过池化得到全局查询向量 \(\bar{\mathbf{t}} \in \mathbb{R}^{d_t}\)。在视觉侧，将视觉编码器第 \(\ell\) 层、第 \(n\) 个 Patch 的隐状态记为 \(\mathbf{h}_n^\ell \in \mathbb{R}^{d_v}\)。路由模块通过可学习的线性投影矩阵将其映射至交互空间，并计算缩放点积兼容度得分：

\[s^{(p)}_{n,\ell} = \frac{(W_Q \bar{\mathbf{t}})^\top (W_K \mathbf{h}_n^\ell)}{\sqrt{d_v}}\]

该得分直接衡量了特定空间位置的 Patch 在该层级的特征抽象与当前文本问题之间的语义相关性。全局图像级打分 \(s^{(g)}_\ell\) 则通过对各层所有 Patch 特征做全局均值池化后再执行类似点积得到。这种设计使得模型能够根据问题类型（例如 OCR、空间方位推理或高层分类），针对不同空间位置自适应选择表征深度。

2. 混合路由与专家乘积融合：兼顾全局语义连贯性与局部空间分辨率 若仅采用图像级全局路由（MoLlayer），整张图像被迫绑定相同的几层，虽能稳定保留某些底层细节，却无法因地制宜；若仅采用纯 Patch 级局部路由（MoLpatch），缺乏全局语义约束容易导致各 Patch 选层过于破碎且引入噪声。为此，MoL 提出了结合两者的混合路由 MoLhybrid。具体而言，模型利用指令特征预测可学习的平衡系数 \(\beta = \sigma(\mathbf{w}_\beta^\top \bar{\mathbf{t}} + b_\beta) \in [0, 1]\)，并通过专家乘积（Product of Experts）在对数概率空间中对全局路由分布 \(p^{(g)}_\ell\) 与局部路由分布 \(p^{(p)}_{n,\ell}\) 进行融合：

\[\log q_{n,\ell} = (1 - \beta) \log p^{(g)}_\ell + \beta \log p^{(p)}_{n,\ell} - \log Z_n\]

其中 \(Z_n\) 为归一化常数。通过这种对数线性组合，混合路由既能由全局先验保证整体任务走向的平滑稳定，又能由局部先验动态赋予细节丰富区域更深或更浅的层级抽取自由度。

3. 分歧度门控与备用层回退：为不确定性路由提供稳健锚点 动态稀疏路由存在决策不确定性或误选脆弱中间层的风险。针对这一挑战，MoL 在全部 \(L\) 层中专门指定一个倒数第二层或顶层作为“备用层（Reserve Layer）” \(r\)。备用层代表预训练阶段与文本空间高度对齐的成熟通用表征。系统通过计算局部路由分布与全局路由分布之间的 KL 散度来量化当前 Patch 的决策分歧度（Disagreement Score）：

\[d_n = \mathrm{KL}\left(p^{(p)}_{n,:} \,\|\, p^{(g)}\right) = \sum_{\ell \neq r} p^{(p)}_{n,\ell} \left(\log p^{(p)}_{n,\ell} - \log p^{(g)}_\ell\right)\]

当 \(d_n\) 较大时，意味着局部线索与全局意图产生严重冲突或局部特征噪声极大，模型通过可学习的门控标量参数 \(\gamma_n = \sigma(w_d d_n + b_d)\) 自适应提高备用层的权重。最终 Patch 隐状态 \(\tilde{\mathbf{h}}_n\) 由归一化选出的 Top-\(k\) 个非备用层特征与备用层特征按门控凸组合而成：

\[\tilde{\mathbf{h}}_n = (1 - \gamma_n) \sum_{\ell \in \mathcal{S}_n} \hat{q}_{n,\ell} \mathbf{h}^\ell_n + \gamma_n \mathbf{h}^r_n\]

这一机制从根本上杜绝了稀疏路由崩溃带来的灾难性表征畸变，形成“有把握时下潜挖掘细节，有争议时回退稳固表征”的双重保障。

损失函数 / 训练策略¶

MoL 模型沿用标准的自回归语言建模交叉熵损失 \(\mathcal{L}_{\mathrm{LM}}\)。为了防止稀疏路由陷入富者愈富、过度依赖少数几层的局部极小值（Router Collapse），训练目标中引入了借鉴自 Switch Transformer 的辅助负载均衡损失 \(\mathcal{L}_{\mathrm{lb}}\)，联合训练目标表述为：

\[\mathcal{L} = \mathcal{L}_{\mathrm{LM}} + \lambda_{\mathrm{lb}} \mathcal{L}_{\mathrm{lb}}\]

实验中默认超参数设置 \(\lambda_{\mathrm{lb}} = 10^{-2}\)。在训练阶段，路由分类的 Softmax 温度系数 \(\tau\) 采用从 2.0 线性退火至 1.0 的退火策略。训练采用两阶段微调规范：连接层预训练阶段（DeepSpeed ZeRO-2）与多模态指令微调阶段（DeepSpeed ZeRO-3），整个轻量化路由模块带来的参数增量仅占 13B 基础模型的不足 0.02%。

实验关键数据¶

主实验¶

在主流 7 大细粒度视觉推理基准上，MoL 与基线骨干模型及主流中间层融合方案的综合性能对比如下表所示（主表基于 LLaVA-v1.5-13B，指标均为准确率 %）：

数据集 / 子任务	基线 (LLaVA-v1.5-13B)	Dense Connector	MoLlayer	MoLpatch	MoLhybrid
V* (Overall)	71.43	81.35	76.89	84.87	84.03
V* (GPT4V-hard)	52.94	47.05	58.82	58.82	64.71
V* (OCR)	50.00	56.67	53.33	60.00	56.67
V* (Direct Attr.)	65.22	83.47	75.65	86.09	85.22
V* (Rel. Pos.)	93.42	98.68	92.11	98.68	97.37
MMStar	30.00	30.06	29.53	30.13	31.07
HRBench8K	36.88	37.12	38.00	38.50	38.62
HRBench4K	43.75	43.75	40.62	42.25	43.88
RealWorldQA	51.64	52.41	52.35	51.82	53.14
NaturalBench	68.93	71.41	69.71	69.41	70.36
CharXiv	23.84	25.23	26.25	29.17	25.56

消融实验¶

下表给出了核心架构组件消融：备用层（Reserve Layer）的不可替代性，以及选取层数 \(k\) 对细粒度推理能力的影响分析（以 Vicuna-13B + CLIP 骨干在 MoLhybrid 下的测试表现为例）：

配置 / 变体	V*Bench	HRBench8K	HRBench4K	POPE	MMMU
完整模型 (MoLhybrid, \(k=1\))	82.35	38.62	43.88	86.50	37.00
去除备用层 (w/o Reserve Layer)	78.57 (-3.78)	35.50 (-3.12)	38.75 (-5.13)	82.10 (-4.40)	34.00 (-3.00)
稀疏选层 \(k=2\) (MoLhybrid)	76.89	38.25	44.00	86.40	36.80
稀疏选层 \(k=4\) (MoLhybrid)	67.65	34.88	43.50	85.90	36.50
纯单模态图像路由 (MoLimage)	77.31 (-6.72)	-	-	84.10	36.00 (-1.00)

关键发现¶

备用层是稳健推理的基石：消融结果显示，去掉倒数第二层备用层后，模型在 V*、HRBench 以及 POPE 上均出现 3~5 个百分点的系统性下滑。这证明了即使存在动态路由，高层语义表征作为“安全气囊”依然至关重要。
稀疏选择显著优于全层平均：当选层数量 \(k\) 较小（\(k=1\) 或 \(k=2\)）时模型推理效果最优，随着 \(k\) 进一步增大至 4，表征被无关层级噪声稀释，性能显著倒退（V* 暴跌至 67.65）。稀疏性不仅节约计算，也是抑制无关特征干扰的核心手段。
有效感受野（RF）的层级分工机制：对注意力感受野的定量分析显示，早期层有效感受野较小、偏好局部空间交互；后期层感受野急剧扩大、捕获宏观语境。全局路由 MoLlayer 倾向于选择底层以保证全图细节一致性，而局部路由 MoLpatch 倾向于选择中后层结合上下文解释局部目标，混合路由成功实现了二者的优势互补。

亮点与洞察¶

极小开销换取巨大细粒度增益：MoL 仅引入不足 0.02% 的可学习参数，且在推理时完全不增加输入 LLM 的视觉 Token 数量，却在 V* 上实现了高达 +18.9% 的惊人飞跃，兼具学术创新与工业落地价值。
以分歧度（KL 散度）驱动回退机制：跳出传统 MoE 仅依赖 Gating Logits 大小的范式，利用全局专家与局部专家预测分布的 KL 散度衡量置信度并自适应调节备用层门控，数学形式优美且具备严密的可解释性。
双视觉编码器即插即用协同：将 MoL 扩展至 CLIP + DINOv2 双塔结构时，各塔内部先动态路由再拼接降维，V* 综合准确率直接突破至 90.34%，为异构多视觉编码器的高效融合树立了新范式。

局限与展望¶

依赖双塔文本编码器支持：MoL 的文本引导路由严重依赖于视觉编码器配套的对齐文本塔（如 CLIP/SigLIP 的 Text Tower）。对于无原生文本对齐塔的自监督纯视觉编码器（如原始 DINOv2），需要额外引入带文本对齐的变体（如 DINOv2 w/ Txt），限制了其向任意纯视觉塔推广的灵活性。
超参数迁移成本：选层数量 \(k\)、温度退火计划以及备用层位置目前仍需人工先验设定，在不同分辨率切片机制或不同视觉网络深度（如 ViT-Giant）下可能需要重新调优。
未来方向：探索无文本塔条件下的跨模态查询交互机制，并将动态层路由拓展至视频长时序推理及高分辨率自适应分块场景。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙将 MoE 理念泛化为视觉编码器的中间层路由，提出了优雅的分歧度门控机制。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 7 大细粒度基准与多类骨干网络，包含完备的感受野分析、热力图可视化与组件消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对照清晰，公式定义与物理含义对应得体。
价值: ⭐⭐⭐⭐⭐ 为解决 MLLM 细粒度视觉退化提供了不增 Token 预算的优雅范式，启发性极强。