What’s Holding Back Latent Visual Reasoning?¶

会议: NeurIPS 2026
arXiv: 2605.18445
OpenReview: https://openreview.net/forum?id=xLMXsTUIOX
代码: https://github.com/AGViveiros/LanteRn
领域: VLM推理
关键词: 连续隐式推理, 视觉思维链, 隐空间旁路, 表征坍缩, 多模态大模型

一句话总结¶

系统评估了现有主流多模态大模型的连续隐式视觉推理机制，通过因果干预与几何分析揭示了模型普遍绕过隐变量（旁路问题）以及推断期隐表征高度坍缩的根本成因。

研究背景与动机¶

人类在处理复杂的视觉与空间推理任务时，往往会在大脑中进行心理模拟和视觉表象变换（如心理旋转与局部聚焦），而非单纯依赖语言符号。受此启发，近期多模态大模型（VLM）领域开始探索连续隐式视觉推理（Latent Visual Reasoning），尝试引入连续的隐式视觉标记（latent tokens）充当视觉思维链（Visual CoT）的中间“视觉想象”步骤。诸如 LVR、Monet、ILVR 与 LanteRn 等代表性工作均报告了性能增益，指出引入连续隐表征能够打破离散文本瓶颈，实现更具空间感与结构性的推理。

然而，现有工作仅根据下游任务的最终问答准确率得出正面结论，缺乏对这些连续隐标记在模型决策链路中究竟扮演何种角色的深入探究。模型生成的隐表征到底编码了哪些几何或语义信息？它们是否对模型的最终预测构成了直接因果影响？如果剥离或扰动这些隐标记，模型是否依然能够得出正确答案？这些关键机制问题在既有文献中始终处于黑盒状态，缺乏严密的因果论证与几何表征审计。

通过在四个代表性模型上施加系统性的因果干预实验，本文发现了一个令人意外的现象：将模型生成的隐变量替换为全零、高斯噪声、无关图像裁剪块甚至完全跳过隐式生成阶段，模型的任务准确率几乎不受任何负面影响，部分指标甚至微幅上升；即使在推断期注入理想的真实中间特征（Oracle Latents），模型性能同样难以获得有效提升。核心 idea：本文系统揭示了当前隐式视觉推理模型普遍存在的「隐空间旁路」与「隐表征坍缩」两大根本瓶颈——现有监督数据仅使用易从原图提取的子区域导致模型学会在训练中绕过隐空间，而在真正需要非平凡视觉变换的任务上模型又面临推断期隐表征过度坍缩、无法匹配目标潜变量的生成困境。

方法详解¶

整体框架¶

连续隐式视觉推理模型通常在自回归解码序列中插入由特定起始符 $L_s$（latent_start）和终止符 $L_e$（latent_end）包裹的连续潜变量段落。在生成 $L_s$ 后，模型不再将隐藏状态投影至离散语言词表中，而是直接以自回归方式连续输出 $K$ 个连续向量 $\hat{\bm{z}} = \{\hat{\bm{z}}_1, \dots, \hat{\bm{z}}_K\}$，待固定步数完成后插入 $L_e$，再切换回离散文本预测通道。

针对这一推断范式，本文构建了一套涵盖因果干预分析、反事实数据诊断与隐空间几何探针的完整分析框架。首先通过置换测试与 Oracle 注入量化潜变量的因果效力；随后通过掩蔽训练与 Tetris 几何旋转类比任务隔离输入冗余，探明模型何时才会依赖隐空间；最后通过跨样本检索率、非相关自生成偏好（USP）和步间相似度刻画推断期潜变量表征的几何分布。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与问题<br/>[x, text]"] --> B["因果干预分析<br/>探测隐变量旁路现象"]
    B --> C["诊断性任务验证<br/>构造非平凡变换激励依赖"]
    C --> D["隐表征几何坍缩诊断<br/>量化检索率与自偏好偏差"]
    D --> E["瓶颈归因与改进准则<br/>高质量中间监督 + 精准生成"]

关键设计¶

1. 因果干预分析：以极端替换探测隐式推理真实效力 针对既有工作将相关性混淆为因果效力的缺陷，本文设计了针对隐式推理路径的 do-演算干预机制。在模型自回归生成隐变量 $\hat{\bm{z}}$ 后，解码过程被强制拦截，并将 $\hat{\bm{z}}$ 替换为预设的无信息连续标记 $\bm{z}'$，即考察条件概率 $P_\theta(y \mid \text{do}(\bm{z}=\bm{z}'), \bm{x})$。干预策略涵盖四类严苛基线：注入与当前任务无关的随机图像裁剪块特征（Random Subregion，保证分布内但完全剥离任务相关性）、常数全零向量（Zeros: $\bm{z}'=[L_s, \mathbf{0}_{1:K}, L_e]$）、标准高斯白噪声（Noise: $\epsilon_k \sim \mathcal{N}(0, 1)$）以及直接跳过隐空间推理通道（Skip Latents: $\bm{z}'=[L_s, L_e]$）。若模型在完全剥离中间答案信息的 $\bm{z}'$ 介入下仍能保持基准性能，则严密证明了潜变量在模型预测中并未起到实质因果作用。

2. 诊断性任务验证：以非平凡视觉变换强迫激活隐空间依赖 为了探究模型为何在常规数据上倾向于“绕过”隐变量，本文提出了两项关键对照验证机制：掩蔽训练（Masked Training）与 Tetris 几何旋转类比任务。在常规数据集（如 VisCoT）中，中间图像通常仅为原图的目标裁剪框，模型凭借原图全局特征便能轻松解出，使得有损压缩的隐表征沦为冗余通道；此时引入仅消耗计算量而不提供视觉特征的 Pause Tokens 基线，其表现与 Oracle 潜变量完全持平（均为 79%）。为此，掩蔽训练将原图中与中间框重合的区域彻底涂黑，切断直连捷径；进一步地，Tetris 任务要求模型理解图形 A 到 B 的旋转规则并将该变换迁移至图形 C，中间图像仅提供灰度化的旋转过渡状态。此时中间状态无法由原图浅层推导得出，从而构建出强迫模型必须提取并依赖隐变量的非平凡视觉认知环境。

3. 隐表征几何坍缩诊断：量化推断期潜变量表征的流形畸变 即便模型在理论上能够依赖高质量的中间潜变量，在实际无监督引导的推断场景下生成合格隐标记依然面临巨大阻碍。为此，本文建立了潜变量几何流形测量体系，包含三大定量探针： - 匹配检索准确率（Retrieval @k）：计算预测潜变量 $\hat{\bm{z}}^{(i)}$ 与测试集全部真实中间标记 $\bm{z}^{*(1:N)}$ 的余弦相似度并排序，衡量生成表征对真实中间特征的召回能力； - 非相关自生成偏好（Unrelated Self-generated Preference, USP）：量化预测标记与数据集中其他样本的预测标记相似度高于对应真实标定标记的期望概率： $$\text{USP} = \mathbb{E}_{i, j \neq i} \left[ \mathbb{1}\left( \text{sim}(\hat{\bm{z}}^{(i)}, \hat{\bm{z}}^{(j)}) > \text{sim}(\hat{\bm{z}}^{(i)}, \bm{z}^{*(i)}) \right) \right]$$ - 步间与样本间相似度衰减度量：监测随着隐式步数推移连续步间的余弦距离变化，评估隐空间表征在自回归展开过程中是否过早退化至各向同性的窄带流形中。

一个完整示例¶

以 Tetris 几何旋转类比诊断任务为例，具体展示潜变量在不同配置下的因果响应： - 输入样本：图像 A 为六格骨牌（hexomino）H_Tbig，图像 B 为其顺时针旋转 $270^\circ$ 的姿态；图像 C 为五格骨牌（pentomino）Y5。四选一候选集中包含 $90^\circ$、$180^\circ$、$270^\circ$ 旋转及翻转形态。 - Oracle 注入流程：将去除了颜色纹理的纯几何 $270^\circ$ 旋转中间图像编码为 $K=8$ 个连续潜变量并注入上下文，模型利用该非平凡空间表征顺利预测出选项 (a)，准确率高达 86.0%。 - 因果干预响应：若将该潜变量替换为随机中间图特征，准确率暴跌至 30.0%；替换为高斯噪声则降至 26.0%；全零向量降至 25.0%（纯随机猜测水平）。 - 推断期生成崩塌：若让模型自行自回归预测该 8 个潜变量（Standard Inference），由于生成表征坍缩至极窄均值流形（与真实 Oracle 的 Top-1 检索率不足 1%），最终准确率仅为 33.0%，几乎丧失实用价值。

损失函数 / 训练策略¶

现有连续隐式视觉推理模型的训练通常分为两个阶段。第一阶段为隐表征对齐微调，联合优化自回归语言交叉熵损失与连续隐表征对齐距离： $$\mathcal{L} = -\frac{1}{T}\sum_{t=1}^{T}\log P_\theta(y_t \mid y_{<t}, \bm{z}, \bm{x}) + \gamma \frac{1}{K}\sum_{k=1}^{K}\ell(\hat{\bm{z}}_k, \bm{z}_k^*)$$ 式中 $\gamma$ 为对齐权重系数（通常取 0.05 至 0.1），$K$ 为潜变量序列长度，$\ell$ 采用均方误差（MSE）或余弦距离。在 Teacher Forcing 模式下 $\bm{z}$ 被设为真实中间标定 $\bm{z}^*$，而在自由运行模式下则设为模型生成的 $\hat{\bm{z}}$。第二阶段移除隐空间对齐损失项，仅在文本端通过强化学习（RL，如 GRPO）或偏好微调优化最终下游任务回报。

实验关键数据¶

主实验¶

在主流视觉感知基准 VisCoT 上，评估四个代表性模型在标准推断、真实中间标定注入（Oracle Latents）以及四种无信息因果干预下的准确率（%）：

模型	阶段	Standard Inference	Oracle Latents	Random Subregion	Noise	Zeros	Skip Latents
ILVR (7B)	SFT	62.0	63.0	64.0	61.0	59.0	60.0
ILVR (7B)	RL	73.0	77.0	73.0	74.0	76.0	78.0
LVR (7B)	RL	83.0	83.0	82.0	82.0	82.0	82.0
LanteRn (3B)	SFT	78.0	79.0	78.0	80.0	79.0	79.0
LanteRn (3B)	RL	83.0	86.0	81.0	82.0	85.0	83.0
Monet (7B)	SFT	76.0	77.0	75.0	71.0	41.0	78.0

在 BLINK（感知空间推理）与 VBench（细粒度视觉搜寻）两个基准上，干预实验同样展现出高度一致的模式：在所有测试模型与数据集组合中，总存在至少一种完全不含信息的伪标记干预策略，其准确率与标准推断的差距在 2 个百分点以内（例如 LanteRn-3B-RL 在 VBench 上标准推断为 82.0%，而全零向量干预达 80.0%，跳过隐变量亦达 78.0%）。

消融实验¶

为了验证数据信息量对隐变量依赖程度的因果影响，在 VisCoT 与 Tetris 旋转类比任务上对比标准训练、掩蔽训练（Masked Training）以及无视觉信息的 Pause Tokens 基线：

评估配置 / 任务设定	VisCoT (Std.)	VisCoT (Masked)	Tetris 旋转类比	说明
Oracle Latents	79.0%	75.0%	86.0%	注入完美真实中间视觉特征
Standard Inference	78.0%	-	33.0%	模型完全自主生成连续隐变量
Pause Tokens 基线	79.0%	59.0%	34.0%	训练/推断仅使用占位符消耗计算步
Random Subregion / Inter.	78.0%	61.0%	30.0%	注入任务无关的分布内中间特征
Noise (高斯噪声)	79.0%	59.0%	26.0%	注入标准高斯白噪声连续向量
Zeros (全零向量)	80.0%	59.0%	25.0%	注入常数零向量（纯随机基线为 25%）

进一步测量测试集上生成的潜变量与真实 Oracle 潜变量的几何对齐指标（表征坍缩分析）：

模型	Retrieval@1 ↑	Retrieval@5 ↑	Retrieval@10 ↑	USP (%) ↓	预测潜变量内相似度	Oracle 潜变量内相似度
ILVR (7B)	0.3%	3.8%	6.9%	99.0%	0.82	0.33
LVR (7B)	3.3%	6.3%	10.0%	99.6%	0.85	0.22
LanteRn SFT (3B)	0.3%	4.3%	6.3%	100.0%	0.98	0.60
LanteRn RL (3B)	0.3%	3.0%	5.7%	100.0%	0.97	0.60
Monet SFT (7B)	1.0%	2.7%	7.0%	100.0%	0.91	0.96
Monet RL (7B)	2.0%	2.7%	7.0%	100.0%	0.91	0.96
随机基线 (Random)	0.3%	1.6%	3.3%	50.0%	-	-

关键发现¶

隐变量旁路现象极其普遍：在现有基准上，四种主流架构（无论在 SFT 还是 RL 阶段）均未实质利用隐变量。注入无关噪声甚至全零向量能够取得与标准推断基本持平的性能，说明模型在主干注意力中直接通过原图特征直通下游解答。
数据信息冗余是旁路的罪魁祸首：现有数据集的中间监督信号多为原图的目标裁剪框，模型利用全局上下文能够轻易恢复这些局部信息；Pause Tokens 获得与 Oracle 潜变量完全相同的 79% 准确率直接佐证了中间子图并没有降低任务难度。
非平凡中间变换能显著唤醒潜变量依赖：在原图关键区域被遮挡（Masked）或需要执行非平凡几何旋转（Tetris）时，Oracle 潜变量带来了高达 50+ 个百分点的巨大增益，而伪标记干预则迅速退化至随机猜测基线。
推断期表征严重各向同性坍缩：所有模型自主生成的潜变量流形高度集中（组内相似度高达 0.82~0.98，USP 接近 100%），Top-1 真实特征检索率低至 0.3%~3.3%，说明当前基于自回归或单步回归的对齐目标无法支撑模型在开放推断时采样出判别性强的离散表象。

亮点与洞察¶

严密的反事实因果分析范式：不仅打破了学术界对“潜变量生成必然带来视觉推理收益”的先入为主认知，更为评估隐式推理方法确立了必不可少的因果干预金标准（即必须通过哑标记替换与跳过消融检验）。
揭示了思维链监督从「信息检索」到「认知状态变换」的范式跨越：明确指出仅提供图像子区域裁剪本质上只是弱形式的硬注意力（Hard Attention），无法构成真正的认知飞跃；只有涉及物体形变、空间旋转、视点变换等非平凡操作的中间表征，才是潜空间推理的真正用武之地。
可复用的 Pause Tokens 诊断探针：在构建任何新型多模态 CoT 或隐式推理数据集时，均可先行运行 Pause Tokens 基线，若该基线与完整中间监督持平，则表明数据存在捷径解，无需在此类数据上浪费复杂隐空间建模算力。

局限与展望¶

真实场景非平凡视觉推理数据集的稀缺：论文目前仅在合成的 Tetris 旋转多联骨牌任务上完整验证了非平凡变换的积极效果，如何自动化构建涵盖物理动力学、遮挡解算与多视角几何的大规模真实世界隐式推理语料仍是有待解决的开放难题。
隐变量生成架构的表达能力瓶颈：当前模型普遍复用标准自回归语言解码头预测连续向量，这种架构极易诱发均值回归与各向同性坍缩。未来需要探索结合连续扩散解码器（Diffusion Decoders）或基于量化码本（VQ-Codebook）的分层离散-连续混合预测架构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统揭示连续隐式视觉推理中的旁路效应与表征坍缩现象，论证严密深刻，破除了领域盲目乐观。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种主流模型架构、3B/7B 尺度、SFT/RL 两阶段，并设计了严谨的反事实因果干预与几何探针。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，从现象发现、假设提出、因果隔离到几何根因诊断，论述极其流畅清晰。
价值: ⭐⭐⭐⭐⭐ 为多模态大模型隐式推理与认知模拟指明了从“低效裁剪子图”走向“高阶空间认知变换”的全新发展路径。