NeurIPS 2026 VLM Reasoning 隐式视觉推理 (Latent Visual Reasoning) 对比优化 (Contrastive Optimization) 角度扰动强化学习轨迹奖励视觉空间规划

CoLVR: Enhancing Exploratory Latent Visual Reasoning via Contrastive Optimization¶

会议: NeurIPS 2026
arXiv: 2605.08802
代码: https://github.com/Oscar-dzy/CoLVR
领域: 多模态VLM / LLM推理
关键词: 隐式视觉推理 (Latent Visual Reasoning), 对比优化 (Contrastive Optimization), 角度扰动, 强化学习轨迹奖励, 视觉空间规划

一句话总结¶

针对现有隐式视觉推理硬对齐导致隐空间同质化和探索坍缩的问题，CoLVR 提出角度扰动隐式对比微调与基于强化学习的隐式轨迹对比奖励，大幅提升隐式视觉状态的表征多样性与探索推理能力。

研究背景与动机¶

多模态大语言模型（MLLM）在视觉问答与空间规划任务中展现出强大能力，但传统依靠自回归生成离散文本思维链（Visual CoT）的方法面临推理延迟高、序列冗长等问题，且离散文本难以精准刻画细粒度且连续的底层视觉特征。为解决这些瓶颈，近期兴起的隐式视觉推理（Latent Visual Reasoning，如 Coconut、Mirage、LVR）不再解码中间步骤的离散文本，而是将隐藏状态作为连续思考介质在多步中迭代传递，从而直接在隐空间中开展轻量且富含视觉信息的隐式探索。

然而，现有隐式视觉推理方法普遍依赖强硬的特征对齐目标（Hard Alignment），强制要求隐式 token 的隐状态逼近预设的图像 patch、特定目标区域特征或特定展开轨迹。这种硬约束将所有隐式 token 紧紧压迫在高度同质化的狭窄流形内。作者通过 UMAP 对经典隐式模型 Mirage 进行降维分析发现，不同测试样本在同一推理步的隐式 token 聚类中心距仅为 0.5 到 0.7，隐空间出现严重的表征坍缩；在注意力热图上更表现为反复聚焦于局部固定边缘，丧失了在复杂多变视觉场景中动态探索替代推理路径的能力。

本文的切入点在于摒弃对每个推理步预设绝对特征锚点的硬对齐策略，转为在隐空间中构建相对偏好与判别结构。核心 idea：通过正向提示引导与正交角度扰动构建隐空间对比微调目标，并在强化学习阶段引入轨迹级隐式对比奖励，在摆脱硬性表征约束的同时保留任务导向监督，从而充分激活连续隐式视觉推理的探索空间。

方法详解¶

整体框架¶

CoLVR 建立了包含三个渐进阶段的隐式视觉推理优化框架：预热阶段（Warm-up Alignment）、角度扰动隐式对比监督微调（Latent Contrastive SFT）以及强化学习阶段的隐式轨迹对比策略优化（Latent-Trajectory Contrastive GRPO）。

整个训练流程的演进机制如图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与问题<br/>视觉编码与投影"] --> B["全局特征提取与初级语义对齐<br/>MeanPool与余弦相似度暖机"]
    B --> C["角度扰动结构化负样本构建<br/>正交分解与角度旋转生成偏移特征"]
    C --> D["隐空间对比监督微调<br/>InfoNCE拉近提示正样本并推开负样本"]
    D --> E["隐式轨迹对比奖励强化学习<br/>多采样展开匹配与GRPO策略优化"]
    E --> F["输出探索性隐式推理与最终答案"]

关键设计¶

1. 角度扰动的隐式对比表征学习：摆脱点对点硬对齐的流形坍缩 针对现有方法强制隐状态对齐预定义图像 patch 导致特征退化的问题，微调阶段放弃硬对齐，转而构建隐空间正负样本进行相对对比学习。正样本采用包含求解线索的增强图像 $I_{\text{hint}}$ 的全局特征 $S_{I_{\text{hint}}}$，它表征了通往正确推理方向的目标分布；从原图特征 $S_I$ 到 $S_{I_{\text{hint}}}$ 的差值定义了语义推理轨迹向量 $\Delta = S_{I_{\text{hint}}} - S_I$。为了构建具有结构信息而非无序随机噪声的有效负样本，算法首先从高斯分布中采样随机向量 $\epsilon$，并消除其在轨迹方向上的投影，提取与推理主干正交的分量： $$\eta = \epsilon - \frac{\epsilon \cdot \Delta}{\Delta^2} \cdot \Delta$$ 随后将归一化后的主干向量 $\Delta_{\text{norm}}$ 与正交分量 $\eta_{\text{norm}}$ 在受控角度 $\theta_{\text{neg}} \in [\frac{\pi}{2}, \pi]$ 内旋转，生成既贴近原点又明确背离正确方向的偏转向量 $z = (\cos\theta_{\text{neg}} \cdot \Delta_{\text{norm}} + \sin\theta_{\text{neg}} \cdot \eta_{\text{norm}}) \cdot \|\Delta\|$，得到结构化负样本特征 $S_{\text{neg}} = S_{I_{\text{hint}}} + z$。通过重复构建 $N_{\text{neg}}=8$ 个负样本，模型利用 InfoNCE 损失促使隐状态 $h_i$ 辨识有效推理方向，在扩展语义探索宽度的同时建立强判别力。

2. 隐式轨迹对比奖励机制：在强化学习中提供细粒度路径级相对偏好 在基于 GRPO 的强化学习阶段，传统的答案正确性奖励和格式奖励仅在离散 token 层面起作用，无法对连续的中间隐藏状态提供精细指导；若直接强制隐状态对齐正确轨迹，又会再次扼杀探索性。为此，CoLVR 提出了隐式轨迹对比奖励（Latent-Trajectory Contrastive Reward）。对于一组采样的隐状态轨迹序列 $Tr = \{h^1, h^2, \dots, h^K\}$，首先计算跨时间步隐状态余弦相似度的均值并归一化至 $[0, 1]$： $$\overline{\text{sim}}(Tr_i, Tr_j) = \frac{1}{K}\sum_{t=1}^K \frac{1 + \text{sim}(h_t^i, h_t^j)}{2}$$ 在同一 query 下的多个采样 rollout 中，模型根据最终答案判别将正确输出对应的隐式轨迹设为正样本 $Tr_{\text{pos}}$，错误输出轨迹设为负样本集 $\{Tr_j\}$。根据采集中正负样本的出现情况分类计算连续奖励 $R_{\text{latent}}$：正负样本皆有时计算基于温度 $\tau$ 的 InfoNCE 偏好比率；全负时施加仅排斥负样本的反向惩罚；全正时仅鼓励靠近正样本。这一机制向策略模型提供了关于隐式思考过程的相对偏好反馈，激励模型自主探索更优且多样的隐式表征。

损失函数 / 训练策略¶

整个优化流水线遵循三步策略： 1. 预热对齐损失：通过全局平均池化特征 $S = \text{MeanPool}(\text{Proj}(f_{\text{enc}}(I)))$ 计算余弦距离，并结合答案文本的交叉熵损失稳定初始收敛：$\mathcal{L}_{\text{warmup}} = \frac{1}{K}\sum_i (1 - \text{cos\_sim}(h_i, S)) + \lambda_1 \mathcal{L}_{\text{CE}}$，其中 $\lambda_1 = 0.3$。 2. 隐式对比 SFT 损失：联合优化 InfoNCE 隐状态对比损失与文本交叉熵损失：$\mathcal{L}_{\text{contrasSFT}} = \lambda_2 \mathcal{L}_{\text{contras}} + \mathcal{L}_{\text{CE}}$，其中超参数 $\lambda_2 = 2$。 3. GRPO 联合奖励函数：总奖励综合了格式奖励、离散答案正确性奖励与连续隐式轨迹对比奖励：$R_{\text{total}} = R_{\text{format}} + R_{\text{correct}} + R_{\text{latent}}$。在强化学习训练中，视觉编码器参数被冻结，仅更新语言模型主体参数，确保基础视觉表征不被破坏。

实验关键数据¶

主实验¶

在视觉空间规划（VSP，包含已见难度 Level 3-6 与高难度未见测试 Level 7-8）、视觉拼图（Jigsaw）及空间拼图（Tertis）任务上的性能对比见下表（指标均为准确率 %）：

模型	VSP Seen Avg.	VSP Unseen Avg.	VSP Total Avg.	Jigsaw	Tertis
GPT-4o	38.50	8.50	28.50	36.00	30.67
Gemini-2.5-flash	62.00	25.00	53.83	43.33	31.33
InternVL3.5-8B	9.50	1.00	6.67	19.33	22.00
Qwen2.5-VL-7B (Base)	6.50	0.50	4.50	24.00	24.00
w/ CoT	9.00	2.50	6.83	24.67	21.33
w/ vanilla SFT	74.30	29.00	59.17	67.33	42.67
w/ vanilla SFT + GRPO	71.00	24.00	55.33	68.00	41.33
Mirage (硬对齐隐式基线)	74.00	32.00	60.00	70.00	43.33
CoLVR (本文)	80.70	36.00	65.83	78.00	44.67
$\Delta$ vs Mirage	+6.70	+4.00	+5.83	+8.00	+1.34

同时，在域外泛化基准（OOD Benchmarks）上，CoLVR 同样超越了硬对齐隐式模型：在 MMStar 上取得 61.47%（较 Mirage 提升 +6.20%，较 LVR 提升 +3.40%），在 MMVP 上达到 72.00%（+3.67% / +2.67%），在 V* 上达到 80.63%（较 Mirage 提升 +4.71%）。

消融实验¶

在核心设计组件的递进消融中，验证了对比 SFT 与轨迹奖励对性能的提升：

配置	VSP Seen	VSP Unseen	VSP Total	Jigsaw	Tertis	说明
CoLVR (完整模型)	80.70	36.00	65.83	78.00	44.67	完整三阶段训练
w/o Traj Reward GRPO	78.70	33.00	63.50	78.00	42.67	移除隐式轨迹对比奖励
+ w/o Contras SFT	75.50	29.50	60.17	74.70	40.00	仅保留 Warm-up 阶段
w/ Traj GRPO Only	74.50	31.50	60.17	75.33	40.00	Warm-up 后直接接轨迹 GRPO
w/ Normal GRPO	74.00	33.00	60.33	76.00	38.67	仅用离散答案奖励的普通 GRPO

在负样本构建策略消融中，基于角度扰动的方案（VSP Total 63.50%）显著优于 Batch 随机池化（58.33%）、错误图像特征（61.67%）以及纯高斯噪声扰动（60.33%）。

关键发现¶

隐空间表征均匀度大幅改善：超球均匀度指标（Hyperspherical Uniformity）及 UMAP 聚类中心距离实验显示，Mirage 隐式 token 聚类中心距离仅为 0.5–0.7，而 CoLVR 达到 10.5–12.7，在单样本 20 次随机 rollout 下中心距离亦达到 17.982（Mirage 为 16.544），彻底化解了隐空间同质化坍缩。
高阶未见分布泛化优势突出：在 VSP 从未见过的复杂 Level 7-8 迷宫中，CoLVR 依然领先 Mirage 4.00 个百分点，且在多项通用多模态理解基准（MMStar、MMVP、CV-Bench）上保持稳固提升，证明探索性隐式表征赋予了模型面对分布偏移时的强适应性。
抗噪性与鲁棒性增强：在推理阶段人为向隐状态注入高斯噪声扰动 $\mathcal{N}(0, \sigma^2)$ 时，Mirage 性能随方差增大急剧下降，而 CoLVR 保持平缓衰减，表明其隐空间表征对特征扰动具备更强的容忍度与探索容错空间。

亮点与洞察¶

角度扰动构造结构化负样本：将负样本限定在与理想推理轨迹正交且处于钝角范围的角度区间内，既避免了无序随机噪声与真实任务脱节，又避免了额外收集错误图像数据的繁重成本。
相对偏好替代绝对锚点：将对比学习理念从静态的特征对齐拓展至动态的隐藏状态推演轨迹，在保留任务导向的同时解放了潜空间的探索自由度。
探索与泛化的正向循环：打破了隐式推理必须模仿中间视觉 patch 特征的传统教条，证明更具离散度和广度的连续状态空间能够自发涌现出全局场景注意力。

局限与展望¶

依赖正向提示构建初始轨迹：监督微调阶段构建正样本仍需带有求解线索的增强图像（Result Hints），增加了数据准备的前期成本。未来可探索直接从模型自身高质量 rollout 轨迹中自举生成伪提示。
连续潜状态的语义可解释性偏弱：隐式思考不输出具体词语，缺乏显式的因果溯源依据，需要进一步引入轻量级的概念探针（Concept Probing）以监控中间状态的推理健康度。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从对比优化与探索性空间视角重构隐式视觉推理，提出角度扰动与轨迹级连续对比奖励。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 VSP、Jigsaw、Tetris 以及多项域外通用基准，辅以 UMAP 聚类、均匀度、注意力热图与抗噪性深度分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学形式化表达清晰，问题剖析深入浅出。
价值: ⭐⭐⭐⭐⭐ 为轻量化、高效率的非自回归多模态推理模型设计提供了极具启发性的技术路线。