跳转至

Decompose, Look, and Reason: Reinforced Latent Reasoning for VLMs

会议: EMNLP 2026
论文: ACL Anthology
领域: VLM Reasoning
关键词: 多模态推理, 潜在视觉推理, 强化学习, 动态前提解构, 球面高斯策略

一句话总结

提出 DLR 框架,通过在思维链中交错生成文本前提、抽取前提引导的连续视觉隐变量并生成定位论证,并设计球面高斯潜在策略(SGLP)结合 GRPO 强化学习,显著提升多模态模型复杂视觉推理能力。

研究背景与动机

多模态大语言模型(VLMs)在复杂视觉推理任务中取得了显著进展,但在处理细粒度感知、多步几何推导以及多对象关系推理时,常常陷入长篇大论却脱离图像实际的“空想”困境。早期的纯文本多模态思维链(Text-only MCoT)将视觉图像一次性抽象为初始特征或静态文本描述,导致关键视觉细节在后续漫长的推理步骤中严重退化与丢失。为了弥补这一缺陷,交错式多模态思维链(Interleaved MCoT)与以图像思考(Thinking with Images)方法应运而生,试图通过裁剪图像图块(Patch)、绘制辅助线或调用外部视觉工具将视觉线索引入推理。然而,调用外部工具或程序化编辑不仅计算开销高昂且受限于预设工具集,基于感兴趣区域(ROI)的显式图块嵌入还往往面临“过量引入局部无关噪声”或“无法捕捉全局非局部语义与跨区域抽象关联”的双重瓶颈。

更为关键的是,即便转向效率更高、无需外部工具的内部连续潜在空间推理(Latent Space Reasoning),现有工作也大多局限于单次静态潜在特征注入,或者严格依赖基于感兴趣区域重构的有监督微调(SFT)。监督微调受限于教师强制(Teacher-forcing)对数似然损失,使得视觉定位器退化为确定性的特征抽取器,根本无法在庞大且连续的多模态隐空间中进行主动探索。而标准的强化学习算法(如 GRPO)天然针对离散文本 token 设计,无法直接优化缺乏明确词表概率分布的连续视觉隐变量,导致隐空间强化探索陷入停滞。

本文的切入角度是:人类在解决复杂视觉难题时,本质上遵循“动态拆解前提 → 针对性观察证据 → 基于证据推理论证”的认知循环,且视觉隐变量的语义主要由特征向量的超球面角度而非欧几里得模长决定。核心 idea:将多模态推理形式化为动态交错的「解构前提-观察隐特征-论证推导」(DLR)马尔可夫轨迹,并在超球面几何约束下构建球面高斯潜在策略(SGLP),使连续视觉隐变量能够直接接入 GRPO 强化学习进行主动空间探索与轨迹级端到端优化。

方法详解

整体框架

DLR(Decompose, Look, and Reason)将输入图像 \(I\) 与用户问题 \(q\) 的多模态推理过程建模为一个由离散文本与连续视觉隐变量交错构成的动态推理轨迹 \(\tau = \{(p^{(t)}, z^{(t)}, r^{(t)})\}_{t=1}^N\)。系统由离散文本生成策略 \(P_\theta\)(主干 VLM)与连续潜在视觉定位策略 \(P_\phi\)(轻量级 Visual Grounder,约 7M 参数)协同驱动。输入问题后,VLM 首先动态分解当前需要验证的子问题并生成带有特定边界标签的文本前提 \(p^{(t)}\);随后,视觉定位器根据前提的终止隐状态 \(s_t\) 与图像全局特征,提取 \(L=32\) 个前提条件化的连续隐变量 \(z^{(t)}\);最后,VLM 将该隐变量融入上下文,生成具备视觉证据支持的论证依据 \(r^{(t)}\),逐步递推直至输出最终答案 \(a\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与用户问题"] --> B["动态解构前提<br/>VLM生成文本前提并提取隐状态"]
    B --> C["前提引导的连续视觉感知<br/>Visual Grounder提取L个隐变量"]
    C --> D["归一化球面高斯探索<br/>SGLP注入角度噪声并投影至超球面"]
    D --> E["证据落地与因果推理<br/>条件化隐特征生成文本论证与答案"]
    E -->|多步循环迭代| B
    E -->|最终推导完成| F["输出最终答案"]

关键设计

1. 动态解构前提:基于推理上下文确定视觉验证切入点

传统 MCoT 要么盲目全图感知,要么在遇到换行符时机械插入图块。DLR 设计离散文本策略 \(P_\theta\),在生成思维链的过程中主动识别需要图像证据验证的前提论点,并用特殊标签 <premise> 与 </premise> 进行显式包裹。这一设计精准界定了“何时需要观察”与“观察什么具体细节”,从根本上避免了在无需视觉介入的逻辑过渡阶段浪费隐变量表征,同时输出 </premise> 处的末尾隐藏状态 \(s_t\) 作为后续视觉检索的强语义查询向量。

2. 前提引导的连续视觉感知:非局部语义隐变量的高效抽取

针对 ROI 局部框无法涵盖全局布局和跨图块关系的缺陷,视觉定位器 \(P_\phi\) 采用轻量级两层交叉注意力机制与前馈网络,参数量仅 7M。首先,定位器引入 \(L=32\) 个可学习的潜在查询向量 \(z_0 \in \mathbb{R}^{L \times d}\),将其与前提语义隐状态 \(s_t\) 结合;随后使查询向量对冻结视觉编码器抽取的图像全图特征 \(V = \Phi_{\text{vis}}(I) \in \mathbb{R}^{m \times d}\) 执行全局交叉注意力计算,直接输出连续特征矩阵 \(z^{(t)} \in \mathbb{R}^{L \times d}\)。该表示被映射至预设的占位符序列(<VIS0> 至 <VIS31>)直接馈入 VLM,无需经过图像裁剪或外部工具处理,既保留了局部细节,又融合了全局抽象视觉线索。

3. 归一化球面高斯探索:几何对齐的连续空间强化学习

针对传统高斯分布在欧氏空间中混淆模长变化与语义方向变化、容易导致多模态特征“模长塌陷”(Magnitude Collapse)的问题,作者提出球面高斯潜在策略(SGLP)。多模态语义流形天然约束在单位超球面 \(\mathbb{S}^{d-1}\) 上,定位器预测 \(\text{L}_2\) 归一化的均值方向 \(\mu_\phi \in \mathbb{S}^{d-1}\),并注入各向同性探索噪声 \(\epsilon \sim \mathcal{N}(0, \sigma^2 \mathbf{I})\),最后投影回超球面:

\[z = \frac{\mu_\phi + \epsilon}{\|\mu_\phi + \epsilon\|_2}\]

这一公式保证了连续强化学习探索完全在角度空间展开,且其对数概率梯度在超球面上简化为带权余弦相似度:\(\nabla_\phi \log \pi_\phi(z|s_t) \approx \frac{1}{\sigma^2} z^\top \nabla_\phi \mu_\phi(s_t)\)。当采样轨迹获得正优势值 \(A > 0\) 时,梯度直接拉动均值方向 \(\mu_\phi\) 沿着超球面流形滑向成功采样的 \(z\),彻底解决了连续视觉隐特征无法进行直接强化探索的难题。

4. 证据落地与因果推理:稠密聚焦奖惩与忠实度约束

在轨迹推理阶段,VLM 策略 \(P_\theta\) 以注入的连续视觉隐变量 \(z^{(t)}\) 为条件,生成以 <rationale> 和 </rationale> 包裹的论证文本。为了防止策略在强化学习过程中产生“假想对齐”或注意漂移,奖励函数设计了双重机制:结果奖励 \(R_{\text{outcome}} \in \{0, 1\}\) 与定位聚焦奖励 \(R_{\text{focus}} = \exp\left(-\lambda \cdot D_{\text{KL}}(A_{\text{oracle}} \parallel A_{\text{latent}})\right)\)。其中,oracle 注意力图由冻结的 SigLIP-SO400M 模型以文本前提为条件生成。更为关键的是,总奖励将结果正确性作为门控指示因子:\(r = R_{\text{outcome}} + \beta \cdot \mathbb{I}(R_{\text{outcome}} > 0) \cdot R_{\text{focus}}\)。如果最终答案错误,聚焦奖励被强行置零,从而杜绝强化学习过度拟合表面注意力却推导错误结论的虚假相关性。

一个完整示例

以九宫格几何图案旋转规律推理为例: 1. 输入与首步解构:面对 3×3 旋转圆盘缺失图预测任务,基线模型生成超 15,000 token 仍反复猜测“绿色扇形数量”,而 DLR 首先生成前提 <premise>各圆盘均划分为 9 个等分扇区,部分为绿部分为白</premise>; 2. 潜在感知与论证:定位器输出隐变量 \(z^{(1)}\),VLM 观察后生成 <rationale>前两行呈现特定旋转规律,第三行前两幅遵循一致模式</rationale>; 3. 二阶解构与精准定位:模型随后解构进阶前提 <premise>绿色扇区在整网格中处于一致的相对位置排列</premise>,定位器据此跨图块捕捉全局相对角位移并注入 \(z^{(2)}\); 4. 得出结论:VLM 依据视觉隐特征迅速识别第三行第三列对应配置,精准选出选项 D,在规避长文本无意义幻觉自旋的同时完成高效闭环。

损失函数 / 训练策略

DLR 采用递进的三阶段训练管线: - 阶段 I(预训练):冻结 VLM 主干,在 VQAv2 数据集(443k 对)上使用双向 InfoNCE 对比损失 \(L_{\text{pretrain}} = \frac{1}{2}(L_{v \to t} + L_{t \to v})\) 预热视觉定位器,在温度参数 \(\tau=0.07\) 下建立潜在隐特征与文本隐空间的初始对齐; - 阶段 II(监督微调 SFT):基于 Vision-R1-cold 数据集构建包含 DLR 标签的 200k 样本,冻结视觉编码器与 LLM 底层,使用 LoRA(\(r=64, \alpha=128\))联合微调 VLM 与定位器,优化自回归交叉熵损失,令模型内化前提解构与分步论证规范; - 阶段 III(潜在强化学习微调):在 ViRL(39k)数据集上使用 Dr. GRPO 算法,每题采样 \(G=4\) 条轨迹,联合优化文本策略目标 \(J_{\text{text}}(\theta)\) 与基于超球面重要性采样的潜在策略目标 \(J_{\text{latent}}(\phi)\)。使用 AdamW 优化器,VLM 学习率设为 \(1 \times 10^{-6}\),定位器学习率设为 \(1 \times 10^{-5}\)。

实验关键数据

主实验

在细粒度视觉属性与空间关系(V* Bench)、数学图表推理(MathVista)、多学科综合多模态理解(MMMU-Pro)以及通用多模态基准(MMStar)四大核心榜单上,DLR 均取得了全面领先:

模型 V* Overall V* Attribute V* Spatial MathVista MMMU-Pro MMStar
GPT-4o (Proprietary ~200B) 67.5* 72.2* 60.5* 60.0* 51.9* -
Qwen3-VL-8B-Thinking (Backbone) 79.6 81.7 76.3 79.2 60.9 72.3
ICoT (Interleaved MCoT) 79.6 81.7 76.3 77.1 61.2 67.0
PixelReasoner (Thinking with Images) 80.1 82.6 76.3 74.2 56.1 68.7
LVR (Latent Visual Reasoning) 82.2 82.6 81.6 77.3 60.5 72.7
DLR (Ours) 83.8 84.3 82.9 82.7 63.5 76.2
提升 (vs Backbone) +4.2 +2.6 +6.6 +3.5 +2.6 +3.9

消融实验

消融实验深入验证了训练各阶段(Pretrain, SFT, RL)以及强化学习阶段关键机制的必要性:

配置 V* MathVista MMMU-Pro MMStar 说明
DLR (完整模型) 83.8 82.7 63.5 76.2 完整三阶段与 SGLP 优化
w/o \(R_{\text{focus}}\) 82.6 66.5 55.1 64.8 去除注意力聚焦奖励,各榜单显著下跌
w/o \(J_{\text{latent}}\) 81.5 57.1 54.9 63.3 去除潜在策略优化,MathVista 暴跌 25.6%
DLR-SFT 80.5 65.1 54.6 64.6 仅进行第二阶段 SFT,无 RL 主动探索
DLR-SFT w/o pretraining 79.5 63.0 53.6 63.2 无预训练初始对齐,SFT 性能进一步下降

此外,在 V* Bench 上的忠实度(Faithfulness)掩码分析表明:无掩码时模型准确率为 83.8%;随机掩码区域时准确率仅下降 6.1%(77.7%);而直接掩码 DLR 视觉定位器注意力关注的区域时,准确率断崖式暴跌 47.3%(骤降至 36.5%),强有力地证明了隐变量关注区域与模型最终预测之间的高忠实度因果关联。

关键发现

  • 连续潜在策略优化是复杂视觉推理的核心驱动力:去掉潜在优化目标 \(J_{\text{latent}}\) 会导致 MathVista 性能从 82.7% 剧烈塌缩至 57.1%,证明在单位超球面上直接引导连续隐变量探索是跨越 SFT 确定性拟合瓶颈的决定性要素。
  • 图像内部隐式推理显著优于工具调用型思考:PixelReasoner 虽然引入像素级编辑工具,但在非思维链格式微调时造成了主干固有思维能力的遗忘,性能(MathVista 74.2%)明显落后于内部潜在推理范式(DLR 82.7%)。
  • 多轮前提条件化隐感知打破单次粗粒度瓶颈:相比于仅插入单次 ROI 潜在变量的 LVR(MathVista 77.3%),DLR 在动态细粒度前提的指引下多次触发精准视觉提取,大幅提升了图表与多步几何推导的证据积累质量。

亮点与洞察

  • 超球面几何对齐的潜在策略(SGLP):巧妙地将强化学习动作空间约束在与多模态特征匹配的单位超球面上,既消除了高维欧氏空间噪声引发的模长塌陷,又在数学上推导出优雅且直接的余弦相似度策略梯度更新律。
  • 过滤机制防止虚假注意力强化:在聚焦奖励中引入最终答案正确性的严格门控指标,巧妙切断了模型通过投机取巧迎合注意力先验却推导出错误答案的伪相关性风险。
  • 可解释性与内部推理效率的兼得:在保留内部连续隐空间免工具低延迟优势的同时,通过显式前提文本与定位器注意力热图,赋予了黑盒连续隐变量清晰的分步因果可解释性。

局限与展望

  • 模态适用范围目前局限于静态图像:当前验证主要集中在静态视觉推理基准上,尚未扩展至具备时序动态特性的视频推理或具身智能多模态决策场景。
  • 连续特征本质的可读性折衷:虽然前提与注意力图提供了高阶解释性,但连续隐向量本身的内部语义相比显式图块或自然语言依然不够直观,未来需探索更透明的连续隐变量解码机制。

相关工作与启发

  • vs ICoT (Interleaved MCoT):ICoT 依靠换行符强制插入局部图像图块,易受局部噪声干扰且在短回答任务中因缺失换行而退化;DLR 通过语义驱动的动态文本前提触发全局隐特征提取,适应性与紧凑度更高。
  • vs PixelReasoner (Think with Images):PixelReasoner 依赖耗时的外部工具调用,并在训练中损害了主干模型的内部思考链;DLR 完全基于内部隐变量表征,计算开销极低(仅增 7M 参数)且完全原生兼容 <think> 模式。
  • vs LVR (Latent Visual Reasoning):LVR 仅采用单次静态 ROI 隐特征注入且依赖确定性 SFT;DLR 实现了多轮动态交错解构,并首创超球面连续空间强化学习探索。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 提出结合动态前提解构与超球面高斯潜在策略的连续强化推理框架,突破了多模态隐空间 RL 的理论与实践壁垒。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖感知、数学、多学科等 4 个代表性基准,包含详尽的模块消融、训练阶段分析与定量忠实度掩码验证。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密,数学推导清晰且对几何归一化的直觉阐释透彻,图例对比生动。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型在连续隐空间中开展思维链推理与多模态后训练强化学习提供了标准化的通用范式。