VisReason: A Large-Scale Dataset for Visual Chain-of-Thought Reasoning¶

会议: ECCV 2026
论文: ECCV 原文
项目: VisReason
领域: 视觉语言推理
关键词: 视觉思维链、多轮区域定位、过程监督、相对深度、自适应缩放

一句话总结¶

VisReason 将视觉问答扩展为“描述场景、定位区域、裁剪取证、再回答”的多轮监督数据，提供 489K 样本及其中 165K 的 VisReason-Pro 子集，使 Qwen2.5-VL-7B 在 Visual-CoT 测试套件上的样本量加权评委分数从 0.770 提升至 0.802，但收益主要集中在细粒度识别和空间关系任务。

研究背景与动机¶

视觉语言模型已经能够识别物体、读取文字和输出边界框，但这些能力并不自动组成可靠的视觉推理过程。回答“卡车右边、公交车前面的物体是什么”时，模型既要判断多个对象之间的关系，又要看清目标细节；只看一次缩小后的全图，可能定位大致正确却辨认错误。普通图像问答只监督最终答案，也就没有教模型什么时候应该重新看图、下一步应该看哪里。

已有 Visual CoT、DualFocus 和 Chain-of-Spot 等资源提供了区域相关监督，CogCoM、VoCoT 等工作进一步探索多步视觉操作，但数据规模、任务覆盖和空间依据仍难同时兼顾。另一处缺口是“左边”和“前面”并不相同：二维边界框能描述平面布局，却不足以单独确定前后关系。本文因此沿用既有视觉问答与定位数据，借助较强的多模态标注模型、分割结果和单目深度，把可见证据及其检查过程一并转成训练目标。

作者并未提出新的视觉编码器，而是把工作重点放在过程数据：普通集覆盖四类任务，Pro 子集加强空间问题和解释质量，同时将缩放限制在需要局部证据的情形。核心 idea：让模型学习一条有区域坐标、有新视觉输入、并能解释取证理由的全局到局部轨迹，而不是只学习一段更长的答案文本。

方法详解¶

整体框架¶

VisReason 包含离线数据构建与在线推理两条相连的流程。离线阶段从图像、问题、答案和目标框出发，生成逐轮场景描述、感兴趣区域（RoI）和理由；Pro 分支再利用分割与相对深度生成更复杂的空间问题。训练时用这些轨迹微调现有多模态大语言模型，推理时由模型自己预测区域，裁剪图像并重新编码，然后结合历史信息继续回答。

总量 489K 是论文报告的数据规模，165K 的 VisReason-Pro 是其中的子集，不能相加成 654K。四个领域分别是文本/文档理解、细粒度识别、通用视觉问答和空间关系推理，来源共 11 个数据集；Pro 主要构建于 Visual-CoT 的 GQA 部分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图像、问答、目标框"] --> B["区域轨迹构建"]
    B -->|Pro 分支| C["深度增强标注"]
    B -->|普通集轨迹| D["轨迹监督学习"]
    C -->|Pro 轨迹| D
    E["新图像与问题"] --> F["自适应缩放推理"]
    D -->|微调后的模型| F
    F -->|预测区域、裁剪重编码| F
    F --> G["最终答案与区域依据"]

图中的目标框、分割和深度信号用于构造监督数据，不是测试时可以直接读取的正确答案。推理循环能否成功，取决于模型自己选择下一块区域的能力；这也是本文同时评估答案质量和定位质量的原因。

关键设计¶

1. 区域轨迹构建：把一次问答变成可检查的取证步骤

普通集以 Visual-CoT 的图像、问题、答案三元组为种子，使用 GPT-4.1-Nano 生成简短场景描述、归一化 RoI 坐标和选择该区域的理由。每轮不是凭空续写解释，而是伴随局部视图更新；标注流程会调整区域，使其包含已有目标框，再逐步缩小搜索范围。RoI 表示为 \([x_1,y_1,x_2,y_2]\in[0,1]^4\)，因此模型可以把“看哪里”作为结构化输出的一部分。

标注停止条件是 RoI 面积不超过目标框面积的两倍，或者达到最多 3 轮的预算。如果目标本来足够大，例如超过图像面积的 30%，则跳过迭代裁剪，直接生成一次详细推理及答案。这里的面积判据利用了离线已知目标框，是生成训练轨迹的规则，不能理解成部署时能够调用真实目标框的决策器。

这样的设计既抑制无意义的长轨迹，也避免区域越来越小却遗漏答案对象。作者报告答案关键区域平均仅占图像约 13.2%，说明局部检查确有需求；不过“包含目标”只能约束可见证据，不能保证生成理由在因果意义上就是模型得出答案的真实过程。

2. 深度增强标注：让空间问题同时依赖布局与前后关系

VisReason-Pro 在上述标注范式上加入对象级空间信息。图 3 使用 SegmentAnythingV2 和 DepthAnythingV2 获取分割与单目深度线索，构造包含对象 ID、类别、边界框和序深度的结构化描述，再交给更强的 GPT-4.1-Mini。生成器据此提出同时涉及二维关系与相对深度的问题，并给出与这些关系一致的目标框。

例如，仅用“右边”可能留下多个候选对象，加入“在某个对象前面”才能进一步约束目标。随后仍需经过验证修正和逐轮缩放，Pro 的预算最多 4 轮；它还提供将多步内容压缩为一段理由与最终 RoI 的单轮版本。这个单轮蒸馏标注与实验中的 direct-QA 提示不是同一个概念：前者仍保留显式过程监督，后者用于匹配短答案评测格式。

深度在这里表示单目模型提供的相对次序，而不是传感器测得的真实距离。Pro 同时改变了标注模型、解释质量和空间监督，因而其收益不能仅归因于深度一个因素；这点也限制了消融结果能够支持的因果结论。

3. 轨迹监督学习：同时学习语言解释和下一步区域坐标

训练不额外添加一个独立的检测头，而是把各轮文字和序列化边界框都放进自回归输出序列。第一轮读取全图，后续轮读取前一轮选出的区域；生成当前动作时，可条件化于初始问题、此前文本动作以及此前各轮视觉特征。这样，“为什么看这里”与“下一步看哪里”成为同一条可训练轨迹中的相邻决策。

监督目标仍是标准的下一个 token 预测。关键变化在于监督内容不再只有最终答案，而是同时涵盖中间理由与坐标；裁剪得到的新视觉特征则让后续步骤确实有机会获得此前看不清的证据。它与只在固定全图上输出长篇 CoT 的区别，来自新增的视觉观测，而不是文字长度本身。

4. 自适应缩放推理：把预测区域变成下一轮真实输入

推理开始时先编码完整图像，模型输出当前理由以及需要检查的 RoI。执行端根据预测区域裁剪图像，重新提取视觉特征并追加到上下文，模型再决定继续检查还是给出答案。数据构建中的简单样本直接作答，为“不必总是缩放”提供了示范；本文把这个按需检查局部证据的机制称为 Adaptive Zoom-In（AZ）。

它没有增加新的图像传感器，而是重新分配已有图像上的观察预算：文档里很小的文字、局部颜色和空间关系目标能够得到更集中的处理。不过，保留历史上下文不等于具备主动回退能力。作者明确指出当前流程缺少 zoom-out 或回溯策略，早期裁剪错误可能使后续观察持续围绕错误区域展开。

损失函数 / 训练策略¶

作者用监督微调（SFT）最大化正确轨迹的自回归似然，即最小化目标 token 的负对数似然；文字和边界框坐标都参与序列预测。全文缓存中的式（2）存在排版损坏，因此此处只转述正文明确描述的训练目标，不复原作者的精确公式。

主干为 Qwen2.5-VL-7B，采用 LoRA 进行参数高效适配，冻结 ViT 编码器，语言主干与投影层学习率均为 \(2\times10^{-5}\)。VisReason-7B 先在排除 Pro 的数据上训练 2 个 epoch；VisReason-Pro-7B 再在包含 Pro 的完整语料上追加 1 个 epoch，并非只在 Pro 子集上追加训练。

为检验跨主干适用性，作者还用 VisReason 微调 InternVL-2.5-8B 共 1 个 epoch。论文没有在这条主流程中使用强化学习，也没有证明仅靠最终答案奖励能够学到相同裁剪策略；将这些轨迹用于后续强化学习，是作者提出的用途而不是本文完成的实验。

实验关键数据¶

主实验¶

Visual-CoT 套件覆盖 11 个来源测试集。作者使用 GPT-4o-mini 对每个样本给出 \([0,1]\) 范围的分数，运行评委 5 次后取均值；领域及总体结果按测试样本量加权，既不是各列算术平均，也不应直接称为准确率。

下表来自原文表 3，比较同一 Pro 检查点的不同推理格式。

模型与推理格式	文本/文档	细粒度	通用 VQA	空间关系	总体
Qwen2.5-VL-7B，direct QA	0.920	0.681	0.739	0.598	0.770
VisReason-Pro-7B，多轮 CoT	0.892	0.831	0.745	0.722	0.802
VisReason-Pro-7B，direct QA	0.916	0.709	0.735	0.599	0.769

多轮模式相对原始主干的总体增量是 0.032 分，细粒度和空间关系分别增加 0.150、0.124；文本/文档却下降 0.028。换为 direct QA 后文本/文档恢复到 0.916，但空间关系几乎回到原始主干水平，说明推理协议是收益组成的一部分。

原文表 2 进一步显示，Open Images 从 0.498 提升到 0.805，而 VSR 从 0.705 降到 0.654。即使同属空间关系领域，也不能声称每个数据集都提高。

消融实验¶

下表摘录原文表 9 中配置清晰的行，数值保持其独立消融设置，不把它们与表 2 的主模型训练结果混为一组。Pro 表示加入该子集，AZ 表示 Adaptive Zoom-In。

配置	文本/文档	通用 VQA	关系推理	细粒度	总体
未使用 VisReason 的基线	0.920	0.739	0.598	0.681	0.770
VisReason，不含 Pro、无 AZ	0.864	0.744	0.678	0.798	0.777
VisReason + Pro，无 AZ	0.856	0.750	0.693	0.809	0.780
VisReason + Pro + AZ	0.892	0.745	0.722	0.831	0.802

完整配置相对“VisReason + Pro，无 AZ”提高 0.022 总体分数，文本/文档增加 0.036、关系推理增加 0.029、细粒度增加 0.022，但通用 VQA 下降 0.005。因此 AZ 的作用不是让所有列单调提高，而是改善更依赖局部检查的任务组合。

关键发现¶

外部测试受到输出格式影响。 表 7 中 Pro 多轮模式的 MME/V* 分数为 0.777/0.603，改为 direct QA 后为 0.856/0.791，原始 Qwen 为 0.861/0.791。这支持“存在格式失配”的解释，但不意味着多轮模式已是通用基准上的更优默认选项。
定位改善有独立证据。 表 4 使用 Pro 最后一轮标注 RoI 作为参考框，完整模型 [email protected]/[email protected] 为 0.34/0.23，LLaVA-NeXT 为 0.29/0.19；这些是对应 IoU 阈值的定位指标，不是通用目标检测 mAP。
跨主干迁移仍体现专门化。 表 6 的 InternVL-2.5-8B 微调后细粒度从 0.747 到 0.823、空间关系从 0.621 到 0.669，但总体仅从 0.738 到 0.740。
人工认可不等于过程完全可靠。 表 8 的 Pro 人工评分为答案 4.19、依据忠实度 4.46、步骤清晰充分性 4.37，量表为 1–5；研究涉及 30 名评分者，每种方法抽取 20 个项目。

亮点与洞察¶

把区域动作纳入数据格式，比单纯延长推理文本更关键。 文字解释、区域坐标和下一轮图像形成可检查的关系，也让错误可以进一步区分为定位错误、局部识别错误或答案生成错误。
按需缩放是一种可迁移的数据设计。 大目标直接作答、小目标逐步检查，使模型获得不同观察预算的示范；类似结构可以迁移到高分辨率界面与图表阅读，但这些用途未由本文实验验证。
同一检查点切换评测格式是重要控制实验。 文档与外部基准的恢复表明，输出协议可以掩盖保留的能力；评估视觉 CoT 时应同时检查推理收益和答案提取兼容性。

局限与展望¶

错误裁剪会级联。 当前没有主动缩小倍率、返回全图或回溯候选区域的策略。可以探索证据不足时的回退机制，但不能把它描述为现有系统功能。
伪深度带来监督噪声。 表 5 的深度绝对差来自单目深度导出的序关系，不是以米计的三维误差；其具体标度和 Grounded Ratio 的完整判定规则在所给正文中不充分，不能据此推出真实三维定位精度。
质量审计仍留下过程误差。 作者对 2,200 个样本做分层盲审，每个来源抽 200 个，答案一致性 99.1%、目标包含率 98.5%、RoI 紧致性 95.0%，但理由必要性与忠实度均为 86.5%。作者指出文本/文档裁剪可能丢掉全局布局线索。
成本与因果归因尚不充分。 多轮图像重编码增加时延；所给正文没有完整时延预算表，也未单独隔离深度、标注模型升级和解释质量的贡献。主流程中的 Pro 训练还多 1 个 epoch，因此主模型比较本身不能单独证明某一数据因素的作用。

评分¶

新颖性: 4/5。主要贡献是多领域区域轨迹与相对深度标注的组合，而非全新模型架构。
实验充分度: 4/5。包含格式控制、消融、第二主干与人工评估，但仍缺充分的时延及独立因素分析。
写作质量: 4/5。流程与专门化边界交代清楚，部分指标细节依赖补充材料，缓存公式存在损坏。
价值: 4/5。适合作为视觉取证过程监督的数据资源，但应按任务选择多轮或直接问答模式。