Visual Enhanced Depth Scaling for Multimodal Latent Reasoning¶

会议: NeurIPS 2026
arXiv: 2604.10500
OpenReview: https://openreview.net/forum?id=PgPuQzvKVS
代码: https://github.com/Simon98-AI/Vedas
领域: 多模态推理
关键词: 多模态隐式推理、视觉重放、深度缩放、自蒸馏、课程学习

一句话总结¶

针对多模态隐式推理中视觉更新不足与固定深度难以应对复杂 token 的瓶颈，本文提出空间连贯视觉重放（SCF-VR）与路由深度缩放（RDS），结合渐进式课程训练实现高效精准的连续表征推理。

研究背景与动机¶

多模态大语言模型（MLLMs）在复杂推理任务中展现出巨大潜力，但主流显式思维链（Chain-of-Thought, CoT）生成繁琐的离散文本推理步骤，不仅带来高昂的自回归解码延迟，而且随着推理链条的逐步拉长，模型对原始视觉信息的注意力会出现严重衰减与脱靶。近年来兴起的多模态隐式推理（Latent Reasoning）试图将中间推理步骤压缩到连续特征空间，通过隐式特征传播替代显式文本解码，既显著降低了推理时延，又避免了冗余离散 token 的累积。

然而，通过深入剖析隐式推理训练过程中的 token 级梯度流与参数动态，可以观察到两个关键的优化瓶颈。首先是视觉-文本优化失衡（Visual-Text Optimization Disparity）：受到自回归语言偏置的影响，视觉 token 在反向传播中的梯度 Frobenius 范数显著小于文本 token 和潜变量 token，导致视觉感知在隐式状态演化中处于系统性欠优化状态。其次是固定深度优化困境（Fixed-Depth Optimization Dilemma）：通过核范数监控模型权重演化发现，简单样本的梯度能够迅速平稳衰减至最优损失盆地，而复杂样本即使在训练后期也维持着剧烈的梯度振荡；现有固定网络深度的架构无法按 token 难度动态分配计算预算，导致疑难 token 陷入优化动荡。

针对上述两大约束，本文主张在隐式推理阶段协同强化细粒度视觉对齐并自适应拓展高难度 token 的计算深度。核心 idea：通过空间连贯细粒度视觉重放（SCF-VR）动态注入并自蒸馏局部视觉线索以弥合模态梯度鸿沟，同时结合逐层路由深度缩放（RDS）为高复杂度 token 动态复用层级知识以自适应拓展推理深度，配合从显式 CoT 到紧凑潜变量的渐进式课程训练。

方法详解¶

整体框架¶

本文提出的框架旨在增强通用多模态大语言模型的隐式推理能力。输入的多模态查询包含问题文本序列与图像特征，两者拼接后输入自回归主干。在隐式推理阶段，模型连续生成预设数量的隐式潜变量向量，随后在显式答案解码阶段自回归输出最终预测。在隐式特征迭代过程中，模型通过注意力引导提取关键视觉区域并通过空间连贯正则化重放局部精细特征，再利用轻量化路由网络识别出复杂难 token 并对其进行层内深度缩放更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>图像 V 与问题 Q 拼接"] --> B["预填充隐状态 H(0)"]
    B --> C["注意力引导区域聚焦<br/>跨层/头注意力聚合与 Top-K 索引提取"]
    C --> D["空间连贯细粒度视觉重放<br/>稠密子网格裁剪 + 局部重编码 + 自蒸馏约束"]
    D --> E["路由深度缩放<br/>轻量网络评分 + 难 token 自适应层内重复迭代"]
    E --> F["课程潜变量训练推进<br/>逐步用隐式 latent 替代显式 CoT 步骤"]
    F --> G["显式答案生成<br/>结合紧凑隐状态自回归输出最终答案"]

关键设计¶

1. 空间连贯细粒度视觉重放：消除模态更新失衡并强化局部接地

针对视觉 token 梯度范数偏小导致的感知欠优化问题，本文构建了空间连贯细粒度视觉重放（Spatially-Coherent Finer Visual Replay, SCF-VR）。该模块首先跨 Transformer 所有层和注意力头聚合最新生成 token 对先前视觉 token 的注意力矩阵，经列向求和提取视觉显著性向量，并在排除已访问区域的集合中挑选出前 \(K\) 个关键视觉 token，用注意力权重加权后形成粗粒度视觉线索向量 \(b^{(t)}\)。为了避免注意力离散发散和注意力汇（attention sink）噪声，模型进一步在二维网格中通过贪心搜索找到包含选中 token 密度最高且尺寸为 \(W \times W\) 的子窗口，将该区域投影裁剪并重采样至标准分辨率后，通过冻结的视觉编码器重新提取细粒度特征作为参考基准 \(u^{\text{ref}}\)。最后，通过轻量级 token 超分辨率网络 \(\mathcal{F}_{\text{SR}}\) 计算自蒸馏重构均方误差：

\[\mathcal{L}_{\text{recon}}^{(t)} = \left\|\mathcal{F}_{\text{SR}}\left(\mathbf{b}^{(t)}\right) - \mathbf{u}^{\text{ref}}\right\|_{2}^{2}\]

该自监督约束无需任何额外的边界框或逐像素标注，迫使隐式特征在推理跳步中持续吸纳空间完整、语义连续的细粒度视觉信息。

2. 路由深度缩放：按 token 复杂度自适应打破固定深度约束

传统 Transformer 对所有 token 采用均一的前向传播深度，然而由权矩阵核范数揭示的优化动态表明，复杂 token 与简单 token 对表征精化的计算需求存在本质异质性。为此，本文提出路由深度缩放（Routing Depth Scaling, RDS）机制。在第 \(l\) 层 Transformer 内部，轻量路由器根据中间特征计算每个 token 的标量重要度得分 \(s^{(l,t)}_i\)，筛选出重要度最高的前 \(\alpha\) 个 token 构成候选子集 \(T_\alpha(\mathbf{s})\)。对于属于该子集的复杂 token，模型在当前层内复用 Transformer 块的变换操作进行深度扩展迭代更新，而对其余简单 token 则直接保留原状态：

\[\mathbf{h}_{i}^{(d)} = \begin{cases} s^{(d)}_{i} \odot f_{\in T_{\alpha}(\mathbf{s})}(\mathbf{h}^{(d-1)}_{i}, \mathbf{m}^{(d-1)}), & \text{if } i \in T_{\alpha}(\mathbf{s}^{(d)}) \\ \mathbf{h}_{i}^{(d-1)}, & \text{if } i \notin T_{\alpha}(\mathbf{s}^{(d)}) \end{cases}\]

经过 \(D\) 次缩放步数后，模型通过融合步感知位置编码 \(e^{(d)}\) 汇总多级深度特征。该机制使模型能够在不改动底层预训练骨干参数容量的前提下，自适应复用层级参数以化解复杂上下文中多义特征的梯度振荡，从理论上推导出了比标准 Transformer 更优的泛化误差上界。

3. 渐进式课程潜变量训练：由浅入深内化显式推理链条

为了避免直接对隐式特征进行无监督学习导致表征同质化，或依赖耗时且引入人为偏置的密集特征蒸馏，本文设计了渐进式课程学习策略。在训练初期，模型采用标准离散 Chain-of-Thought（CoT）全监督路径进行预热，建立稳固的多模态基础推理轨迹；在后续训练进程中，逐步将离散思维链中的中间推导步替换为紧凑的 \(\langle\text{latent}\rangle\) 连续向量，使模型在保留既有逻辑推导结构的同时，逐步将离散推理模式内化为稠密隐式状态。总优化目标由语言模型自回归交叉熵与自蒸馏重建损失联合驱动：

\[\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{CE}} + \lambda \frac{1}{T_{r}} \sum_{t=1}^{T_{r}} \mathcal{L}_{\text{recon}}^{(t)}\]

在推理阶段，视觉重放外挂模块被完全卸载，仅保留自适应深度缩放的前向计算，确保零额外推理内存与延迟负担。

实验关键数据¶

主实验¶

在涵盖数学推理、细粒度视觉感知和多模态组合推理的 12 项公开基准上，本文方法显著超越了传统的显式 CoT、基于工具增强的推理以及现有的隐式多模态推理方法，且自回归解码步数缩减至显式基线的十分之一以下。

数据集 / 基准	评估指标	本文 (Qwen2.5-VL-7B)	最优显式CoT (ICoT)	隐式SOTA (Laser / IVT-LR)	相对提升 / 提速优势
M3CoT	准确率 (%)	73.0 (Qwen2-7B: 73.0)	46.0	69.8 (IVT-LR)	+3.2% (vs 隐式) / 步数降至 7 步 (vs 96.5 步)
ScienceQA	准确率 (%)	95.9 (Qwen2-7B: 95.9)	65.4	92.8 (IVT-LR)	+3.1% (vs 隐式) / 解码时延降低 2.2×
GQA	准确率 (%)	67.4 (Qwen2-7B: 67.4)	-	65.8 (IVT-LR)	+1.6% (vs 隐式) / 步数降至 9.2 步
MMVP	准确率 (%)	76.67	69.30	72.00 (Laser)	+4.67% (在细粒度视觉感知上增幅最显著)
SeedBench-2-Plus	准确率 (%)	66.86	70.27	65.88 (Monet)	+0.98% (vs 隐式SOTA)
HallusionBench	准确率 (%)	68.63	65.50	67.72 (Laser)	+0.91% (vs 隐式SOTA)
HRBench	准确率 (%)	74.21	-	72.50 (Laser)	+1.71% (vs 隐式SOTA)
BLINK	准确率 (%)	57.96	-	56.92 (DMLR)	+1.04% (vs 隐式SOTA)
MMStar	准确率 (%)	60.82	60.40	60.33 (Monet)	+0.49% (vs 隐式SOTA)
MathVista	准确率 (%)	69.80	58.90	59.10 (DMLR)	+10.70% (vs 隐式基线)
MathVision	准确率 (%)	25.89	23.30	24.40 (DMLR)	+1.49% (vs 隐式基线)
MM-Math	准确率 (%)	39.82	37.00	38.80 (DMLR)	+1.02% (vs 隐式基线)

消融实验¶

在多架构和多基准上的系统消融验证了路由深度缩放（RDS）与空间连贯视觉重放（SCF-VR）的独立与协同有效性。

实验配置	骨干模型	M3CoT (Acc.%)	ScienceQA (Acc.%)	GQA (Acc.%)	核心结论与增益说明
Base 隐式基线	Qwen2-VL-2B	44.2	62.4	38.7	基线固定深度且无显式视觉重放
+ RDS	Qwen2-VL-2B	47.6	64.9	40.4	仅引入路由深度缩放即可在 M3CoT 上提升 +3.4%
+ RDS & SCF-VR (Full)	Qwen2-VL-2B	51.2	66.3	40.9	双模块协同累计在 M3CoT 提升 +7.0%，小模型受益极显著
Base 隐式基线	Qwen2.5-VL-7B	71.1	85.7	56.3	大参数量下的基线表现
+ RDS	Qwen2.5-VL-7B	72.9	87.2	57.6	深度扩展带来全面提升 (+1.8% / +1.5% / +1.3%)
+ RDS & SCF-VR (Full)	Qwen2.5-VL-7B	73.9	88.2	58.3	最终完整方法达到最优性能 (+2.8% / +2.5% / +2.0%)
无课程学习 (Direct Latent)	Qwen2.5-VL-3B	62.0	75.4	51.3	直接隐式训练无显式过渡
引入课程学习 (+ Curr.)	Qwen2.5-VL-3B	62.9	76.5	51.9	逐步替换显式 CoT 带来 +0.9% / +1.1% 稳定涨幅
路由保留量 \(\alpha=16\)	Qwen2.5-VL-3B	62.1	75.3	51.2	保留 token 偏少导致难 token 计算预算不足
路由保留量 \(\alpha=32\) (默认)	Qwen2.5-VL-3B	62.9	76.5	51.9	在计算开销与表征增益间达到最优平衡
路由保留量 \(\alpha=64\)	Qwen2.5-VL-3B	62.8	76.2	51.9	保留过多简单 token 引入轻微冗余计算

关键发现¶

模块贡献与模型尺度关联：消融实验表明，SCF-VR 和 RDS 均具备高度通用性。尤其在小模型（如 Qwen2-VL-2B）上，SCF-VR 带来的提升幅度尤为突出（M3CoT 提升 3.6%），表明容量受限的小模型首要瓶颈是视觉感知欠拟合；而在 7B 模型上，RDS 的深度拓展对处理高难度逻辑与多步推理起到了核心推动作用。
权重核范数收敛稳定性：权矩阵核范数的演化曲线证实，在引入 RDS 之后，疑难样本在第 3 个 epoch 即可进入平稳收敛状态，消除了无 RDS 时的剧烈数值震荡，证实了难 token 局部复用计算能够有效平滑损失曲面。
超参数敏感度洞察：超分辨率重构权重 \(\lambda\) 对模型尺寸呈现明显的二元特性：小模型在 \(\lambda=1.0\) 时表现最优，说明需要强视觉监督；大模型在 \(\lambda=0.2\) 时达到峰值，避免了视觉先验过强对语言逻辑链条的抑制。此外，子网格裁剪窗口取 \(W=3\) 时显著优于 \(W=2\)（覆盖不足）与 \(W=5\)（引入背景噪声）。

亮点与洞察¶

梯度动态驱动的理论自洽性：从梯度 Frobenius 范数和投影矩阵核范数的微观动态切入，准确抓住了多模态隐式推理中模态失衡与深度受限两大致命症结，为模块设计提供了严密而清晰的实证支撑。
免标注自蒸馏重放设计：SCF-VR 巧妙利用自回归注意力图定位高密度视觉网格，并通过轻量自蒸馏建立细粒度重构，在完全不依赖人工 bounding box 或目标检测先验的前提下实现了空间连贯的无监督视觉增强。
非均匀计算深度扩展机制：RDS 跳出了全序列增加层数的高计算开销模式，仅通过轻量路由为高熵/疑难 token 动态施加单层复用计算，不仅具备严谨的泛化界理论保证，更在几乎不增加显存的前提下攻克了难样本优化困境。

局限与展望¶

动态预算的灵活性仍有拓展空间：当前实现中最大缩放深度被保守约束为 \(D=1\)，且隐式步骤总数 \(T_r=4\) 仍为全局固定值，尚未实现完全由样本难度驱动的任意变长跳步推理。
对极度密集文本图表场景增益边际递减：在 SeedBench-2-Plus 等高密集纯文本信息辨析的场景下，空间重放带来的收益相对温和，说明该机制目前主要增强自然图像空间几何，对 OCR 密集型线索的重放设计有待定制。
长时序与具身拓展：作者指出未来计划将该视觉重放与深度缩放范式迁移至长视频理解与具身导航智能体中，探索更长视距下潜在表征的时空动态缩放。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 梯度动力学分析视角深刻，自蒸馏空间重放与参数复用深度缩放设计构思新颖。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 12 个广泛公认的多模态评测基准，消融实验跨 4 个不同规模架构且包含详尽参数分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，从现象发现、理论建模到算法设计与实证分析层层递进。
价值: ⭐⭐⭐⭐⭐ 为轻量化、高效率的多模态链式推理探索出了一条极具实用价值的隐空间计算扩展新路径。