LaViT: Aligning Latent Visual Thoughts for Multi-modal Reasoning¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/Svardfox/LaViT
领域: 视觉语言推理
关键词: 潜在视觉思维、知识蒸馏、注意力对齐、感知门控、视觉定位

一句话总结¶

LaViT 让 Qwen2.5-VL-3B 在回答前生成四个连续视觉 token，同时学习 32B 教师的视觉语义与关注区域，并通过逐渐开放直接看图路径的门控避免绕过这些 token，在 BLINK 相对深度任务上由 61.29% 提升至 78.23%。

研究背景与动机¶

视觉语言模型可以写出流畅的思维链，却未必在依赖正确的图像证据。把大模型的答案或推理文本交给小模型做监督微调，主要约束的是“说什么”，没有直接保证双方在判断颜色、空间关系或深度时看向同一位置。此前的潜在视觉推理把中间过程压进连续隐藏状态，但不少方法依赖辅助图像、框标注或静态视觉编码器特征，教师实际回答问题时的内部视觉行为仍未充分利用。

论文用两个观察具体化这一问题。在 Visual-CoT 随机抽取的 1,000 个样本上，Qwen2.5-VL-32B 正确与错误回答的平均视觉聚焦分数分别为 18.78% 和 9.18%；该分数就是目标框内注意力质量占整张图注意力质量的比例。另一组 1,000 个留出样本中，纯文本 Naive SFT 学生与教师的隐藏状态余弦距离在不同词类间相近，但注意力 KL 散度从功能词的 1.11 上升到属性词的约 1.39。这说明输出表征接近与视觉关注一致不是同一件事，不过这些观察本身仍是相关性分析。

LaViT 因而不只要求学生复制答案，而是给回答前的连续状态安排明确职责：既保存问题相关的视觉内容，又复现教师关注图像的位置。难点在于，若后续答案随时能直接读取全部图像 token，模型仍可能忽略新加的潜在状态。核心 idea：以教师语义和注意力共同监督潜在视觉思维，并在训练早期压低答案直接看图的通路，再平滑恢复它，让潜在状态先成为必要的信息载体。

方法详解¶

整体框架¶

输入为图像和问题，输出仍是文本答案。训练数据先经过筛选，并保存白盒教师的视觉特征和注意力；学生随后自回归生成四个连续视觉 token，再生成回答。潜在状态一边接受教师监督，一边通过答案损失学习哪些视觉信息值得保留。

课程式感知门控作用于“回答 token 读取原始图像”的注意力通路，不是把图像从整个模型输入中删除。潜在 token 仍需读取图像才能构建中间表征；推理时直接视觉路径完全开放，教师与筛选用标注框都不参与。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["训练图像、问题<br/>答案与标注框"] --> B["白盒监督构建"]
    C["图像与问题"] --> D["潜在视觉双重对齐"]
    B -.->|仅训练：语义与注意力| D
    D -->|四个连续视觉 token| E["课程式感知门控"]
    C -->|答案直接看图的路径| E
    E -->|训练逐渐开放；推理全开| F["文本答案"]

关键设计¶

1. 白盒监督构建：先挑出确实依赖视觉证据的教师轨迹

LaViT-SFT-15K 包含 15K 组图像、问题、答案、注意力图和语义特征。教师为 Qwen2.5-VL-32B，数据筛选依次要求答案正确、不能被纯文本模型轻易解决、至少 20% 的聚合注意力落入 Visual-CoT 标注的目标框。最后一道筛选不只是排除错误答案，而是排除“答案碰巧对了、看图位置却不对”的监督源。目标框仅用于离线筛选，所以不能把本方法描述成完全不需要框标注，也不能说训练损失直接拟合框坐标。

对于留下的样本，作者将教师生成回答时，文本 token 对图像 patch 的注意力沿层、头和回答长度求平均，得到每个 patch 的显著性，再做 Min-Max 归一化，仅保留注意力最强的 8 个位置作为稀疏监督。语义目标则来自教师最后一个 Transformer 层的图像 token 表征；作者将其解释为与问题上下文相关的视觉思维，而非独立视觉编码器的静态输出。这里的“轨迹”最终被聚合为空间图，并不是把教师逐词变化的完整时间序列交给学生逐步模仿，这一界限对理解蒸馏粒度很重要。

2. 潜在视觉双重对齐：让中间状态同时学会保存内容与寻找证据

学生在图像和问题之后，先生成连续潜在 token，再进入文本解码。这些 token 不是“先看左边、再看右边”这样的文字指令，也不要求解码出新的图像；它们是可携带视觉信息的隐藏状态。论文将这段训练称为 Latent Teacher Forcing：不再只监督最后的语言输出，而是在语言输出之前增加能被教师内部信号约束的计算过程。四个状态依次生成，使后面的状态能够利用前面已经积累的信息。

两类目标承担不同职责。语义重建用 MLP 投影把学生潜在状态映射到教师特征空间，以提高余弦相似度；注意力对齐用 KL 散度，让潜在 token 对图像 patch 的注意力接近教师目标。正文特别说明，注意力监督只施加给最后一个潜在 token，意图让前面三个承担信息汇聚和压缩，而不是要求每一步独立复制同一张图。语义损失约束“容器里有什么”，注意力损失约束“信息从哪里取得”；只有其中一项，并不足以同时确定视觉内容和证据位置。

3. 课程式感知门控：先建立信息瓶颈，再恢复细节读取

若答案始终能直接访问图像，潜在 token 可能只是被附加损失训练出来的旁路，回答根本不使用它们。LaViT 在回答查询与图像键之间加入注意力偏置，其数值为 \(\ln\gamma(t)\)。训练起点取 \(\gamma=10^{-6}\)，因此这条直接路径获得很大的负偏置；这不是硬删除图像，而是在 softmax 前压低该路径的权重，让回答主要依靠潜在状态携带的证据。

前 400 步内，门控按余弦式调度逐渐开放；之后 600 步取 \(\gamma=1\)，偏置归零，原图访问成为补充细粒度信息的残余感知路径。早期的训练压力使模型不能轻易绕开潜在状态，后期则使其在与推理相同的可见性条件下联合使用原图和潜在状态。作者称这能避免训练与推理的拓扑差异，但这不等于证明所有形式的分布偏移都消失；也不能把原文关于梯度随门控变化的近似关系理解成严格的全模型梯度等式。

一个完整示例¶

以论文图 5 的相对深度问题为例：图像中标出了 A、B 两个位置，模型需要回答哪个更靠近相机。离线构建监督时，教师先给出答案；只有答案正确、问题不能纯靠语言解决、且注意力满足目标框覆盖阈值的样本才留下。随后保存其视觉语义和最强的 8 个注意力位置，而不是给学生新增一张解释图。

学生读取同一图像与问题，生成四个潜在状态。早期训练时，答案几乎不能直接回看原始图像，因此关于两点位置及深度线索的信息必须经潜在状态传递；最后一个状态的注意力还要接近教师。随着门控开放，答案能够同时利用这一压缩表征和原图细节。推理时保留四步潜在计算，但不再需要教师或目标框。本例不假设某一个 token 必然表示 A、另一个表示 B，论文没有为每步赋予这样的可解释标签。

损失函数 / 训练策略¶

总目标由答案的下一 token 预测损失，加上固定权重 0.3 乘以语义重建和注意力对齐两项构成。门控随训练变化，但三项损失联合优化，不是先完全训练一个模块再训练另一个模块；论文的“两阶段”主要指直接视觉通路的开放过程。

初始化使用 Qwen2.5-VL-3B，训练集为 LaViT-SFT-15K，潜在 token 数为 4，稀疏注意力目标保留 8 个位置，总计训练 1,000 步。教师特征作为固定目标，语义投影头处理师生表征空间差异；本文没有额外引入强化学习奖励或在线视觉工具。

缓存的若干公式存在字符丢失，因此这里只保留可由正文确定的目标组成和门控关系，不重建精确的归一化、KL 求和或余弦调度表达式。正文提到附录有更多训练细节，但所给缓存到参考文献为止，没有提供学习率、批量大小、硬件或训练耗时，不能据此估计训练成本。

实验关键数据¶

主实验¶

下表摘自原文表 1，数值为相应评测的百分制得分，越高越好；提升均为绝对百分点。BLINK 使用列出的四个子任务，V* 只使用 Attribute Recognition 子集，不能解释为这两个基准的整体成绩。正文未明确列出各测试划分名称和样本数；LaViT 与 Naive SFT 均为 3B，后者只学习同一数据集中的教师文本。

评测任务	Qwen2.5-VL-3B	Naive SFT-3B	LaViT-3B	相对基础模型提升
MMVP	62.33	65.33	67.33	+5.00
V* 属性识别	81.74	80.87	82.61	+0.87
BLINK 相对深度	61.29	70.16	78.23	+16.94
BLINK IQ-Test	24.0	28.0	32.0	+8.00
BLINK 相对反射率	29.85	34.33	45.52	+15.67
BLINK 空间关系	81.12	81.82	81.82	+0.70
MMStar	50.2*	55.53	54.07	+3.87

星号沿用原表，表示该数值来自既有论文报告。LaViT 相对基础模型七项均提高，但对 Naive SFT 并非全面领先：空间关系持平，MMStar 低 1.46 个百分点。跨规模比较中，相对深度超过 LVR-7B 的 76.61%，但这不能推出在所有任务或同等训练预算下优于 7B 模型。

消融实验¶

下表摘自原文表 3，仍为百分制得分。除最后注明的推理屏蔽外，各变体用于检验训练目标或门控设置，不能把所有行都解释成删除一个网络模块后重新训练。

配置	MMVP	相对深度	IQ-Test	相对反射率	空间关系
完整 LaViT-3B	67.33	78.23	32	45.52	81.82
去掉注意力对齐损失	64.33	75	30.67	44.03	78.32
去掉语义重建损失	65.33	75.81	30.67	42.54	76.92
门控改为两阶段硬切换	59.33	71.77	27.33	48.51	79.72
推理时屏蔽潜在 token	64.33	77.42	25.33	40.30	81.12
单阶段、直接视觉路径始终开放	65.67	71.77	28	38.81	79.02

硬切换具体指前阶段门控为 0、后阶段为 1，不是始终取消门控；始终开放对应最后一行。硬切换虽然让 MMVP 下降 8.00 个百分点，却让相对反射率升到 48.51%，高于完整模型，因此门控优势有任务依赖性。

关键发现¶

两类蒸馏信号都有贡献，但影响不同：移除语义重建后空间关系下降 4.90 个百分点；移除注意力对齐后相对深度下降 3.23 个百分点。
推理时屏蔽潜在 token 使 IQ-Test 从 32 降至 25.33，支持模型确实使用这些状态；相对深度只下降 0.81，不能据此声称所有任务同样依赖潜在链。
原文表 2 中，相对深度任务的平均注意力熵由基础模型的 4.870 降至 4.686，教师为 4.284。熵按归一化 patch 权重计算，越低表示分布越集中，不表示一定看对了区域。
显著区域定义为权重大于全图均值 1.5 倍的 patch，区域数量的变异系数定义为标准差除以均值。表 2 报告教师与 LaViT 的系数为 0.392、0.102，但均值与标准差栏和部分系数不完全吻合，笔记不自行改值；该“更稳定”结论需核对原始统计。

亮点与洞察¶

把蒸馏对象从语言答案扩展到“内容与证据位置”。这比只看答案匹配更容易暴露学生是否在借助语言先验绕过视觉问题。
门控改变的是答案获取信息的路径，而非只增大辅助损失。它针对“中间状态训练得很好却从未被使用”的失败模式，提供了可复用的结构性干预思路。
最终恢复原图访问，使潜在状态不必无损保存所有细节。潜在思维与直接感知可以互补，不需要在两者之间永久二选一。

局限与展望¶

作者明确给出的条件：需要白盒访问教师内部表征与注意力，并依赖 Visual-CoT 的目标框做离线筛选；闭源 API 教师无法直接照搬这套流程。
本笔记的判断：跨层、跨头、跨回答长度的平均会丢失观察顺序，因此方法更直接支持的是“聚合视觉关注对齐”，尚不足以证明逐步视觉搜索策略被完整继承。
本笔记的判断：正文未见多随机种子、置信区间、额外延迟或显存报告，也没有展示不同潜在长度和 Top-N 数量的系统扫描；参数规模小不等于端到端成本一定更低。
本笔记的判断：注意力集中与答案正确的相关性不构成必要性的因果证明，且门控硬切换在相对反射率上更优。后续可用证据区域遮挡与任务分组实验，区分真正证据依赖和注意力指标变化。

评分¶

新颖性: 4/5。潜在状态、白盒蒸馏与感知门控的组合明确，但各组成技术并非全新。
实验充分度: 3/5。覆盖七项评测并有目标、门控和推理依赖消融，仍缺成本、方差与更广骨干验证。
写作质量: 3/5。感知差距的叙事清楚，但轨迹与聚合图的界限、统计自洽及部分结论强度需要审慎阅读。
价值: 4/5。对小型视觉语言模型的证据依赖训练很有参考价值，适用范围受白盒教师和筛选数据约束。