V-REX: Benchmarking Exploratory Visual Reasoning via Chain-of-Questions¶

会议: ECCV 2026
论文: ECCV 2026 Poster
代码: https://github.com/tianyi-lab/VREX
领域: 多模态VLM
关键词: 探索式视觉推理 / 视觉推理基准 / 问题链 / 中间步评测 / 规划与作答解耦

一句话总结¶

V-REX 把开放式多步视觉探索形式化成一串相互依赖的「问题链」（Chain-of-Questions），用每步只有有限候选的选择题把不可复现的自由过程打分变成可判对错的离散判分，从而在同一份真值链上分别测出 VLM 的 Planning（下一步该问什么）与 Following（顺着链能不能答对）；702 个样本、2504 道问题覆盖 4 大类 15 个场景，最强模型（o3）两项平均也只有 86.1 / 84.2，且小模型普遍「会答不会问」。

研究背景与动机¶

当前评测 VLM 视觉推理能力的主流做法是「被动作答」：给一个界定清晰、目标明确的问题，让模型直接输出答案。MathVista 把数学题放进图像语境，VisuLogic 收集真正依赖视觉感知的推理题，ZeroBench 专挑近乎不可能的难题，VisualPuzzles 试图剥离领域知识只留推理，VGRP-Bench 用视觉网格谜题考察多步推理——这些基准的共同点是问题在输入时就已完全指定，模型可以在语言空间里一次想清整条解法再作答，并不需要在图像上反复「看哪里、问什么」。评分也只看最终答案这一项。

但真实场景里大量任务是开放式的：从一张街景图反推拍摄地点、从一组晒图里判断有没有作弊、从仪表盘截图推断系统状态。这类任务的目标无法在开头写全，只能先问一个小问题（「黑色那辆车在干什么？」）、拿到线索、再决定下一个问题，最后才收敛到答案；而一旦探索方向跑偏，后面每一步都答对也无济于事。要评测这种能力，最大的障碍是中间步骤的探索空间是开放的——同一道题有无数条合理走法，直接给过程打分只能依赖 LLM-as-a-Judge 或蒙特卡洛估计的过程奖励模型（Chen 等人的 PRM、LlamaV-o1 的逐句比对都属于这一类），判分本身就不可复现，更分不清模型是「答错了」还是「压根没问到点子上」。已有方法里也做过分解，比如 IdealGPT 用 LLM-VLM-LLM 管线把问题拆成子问题，但目的是提高最终答案准确率，而不是诊断推理过程。

本文的切入角度是：只要把每一步的可选项收缩成有限个离散候选，「探索」就从一段无法判分的自由文本变成了一串可判对错的选择。于是作者把探索过程写成 Chain-of-Questions（CoQ）——一串相互依赖的子问题与答案 \(\{(Q_1, A_{Q_1}), \dots, (Q_T, A_{Q_T})\}\)，其中每个问题的答案都是后续问题的前提；再把它拆成 Planning（在候选子问题里挑出对最终答案有用的那一个）与 Following（给定真值问题链，逐步给出答案）两个维度，并用「每步把真值递给模型」的方式把两者隔离。核心 idea：把探索式视觉推理建模为问题-答案链，并用「每步给真值、只让模型选一步」的有限选项协议，把「该问什么」（Planning）与「能答什么」（Following）拆开单独测量。

方法详解¶

整体框架¶

V-REX 是一套「基准 + 评测协议」，本身不训练任何模型。它的构造与应用走一条固定的链：先由人类专家为每张图标注一条真值 QA 链（每个中间步的答案都是后续问题的前提），再把这条链改造成两套探针——一套把问题空间变成选择题、一套把答案空间变成选择题，最后分别用中间步准确率给 Planning 和 Following 打分。整条管线里真正的贡献有三处：把探索折进有限选项的 CoQ 形式化、两条合法性约束下的人工链构建、以及能同时制造局部与全局误导的干扰项构造；解耦评测则负责把这些设计变成两个可比、可复现的数字。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    A["Chain-of-Questions 形式化<br/>无限探索 → 有限选项"] --> B["真值 QA 链构建<br/>人工标注 + 两轮交叉校验"]
    B --> C["干扰项构造<br/>步级 + 链级两阶段自动管线"]
    subgraph P["Planning / Following 解耦评测"]
        direction TB
        D["Planning 评测<br/>喂真值答案，只选该问什么"] --> F["中间步准确率<br/>只计前 T−1 步"]
        E["Following 评测<br/>喂真值问题，逐步作答"] --> F
    end
    C --> D
    C --> E

关键设计¶

1. Chain-of-Questions：把无限探索空间折进有限选项

探索式推理难评测，根子在于「过程」是开放的：模型可以问任何问题、走任何顺序，评分者没有客观标准去判一段自由文本的探索质量。V-REX 的做法是把这条过程路径固定成型——记为一条由 \(T\) 步组成的 QA 链，第 \(t\) 步的问题 \(Q_t\) 与答案 \(A_{Q_t}\) 构成下一步提问的前提，最终答案由整条链的结论给出。CoQ 不是一种提示技巧（论文特意澄清它和 CoT 类 prompting 无关，不是为了把模型刷得更高分），而是评测载体：一旦每一步的问题与答案都被限制在有限候选里，「这一步走得对不对」就退化成一个可以判对错的离散选择，模型无法靠措辞模糊蒙混过关。

这样做的直接收益是可复现的细粒度分析。整条链的每一步都留下一个明确的判定点，于是既能算中间步准确率，也能反过来问「如果第 3 步问错了，最终答案还能不能救回来」——这些在只看最终答案的端到端评测里完全看不见。论文把这种能力表述为对 VLM 推理能力的「诊断」而非「打分」，也是它区别于既有视觉推理基准的地方：VisuLogic、ZeroBench、VisualPuzzles 这些基准把探索都放在答案空间里，而 V-REX 补上了问题空间。

2. 真值 QA 链：人工构建 + 两条合法性约束

有限选项的判分只有在真值链本身可靠时才有意义，所以链的构建全部交给人类专家而不是模型自造。图像来自公开网站与已有基准（来源清单在补充材料 A）；5 名博士级标注者每人负责 3 个场景构建真值链，链必须同时满足两条性质：Helpfulness——前 \(T-1\) 步里的每一个答案，都要对后续某个问题有帮助，也就是不允许出现「问了但后面用不上」的废步；Correctly Ordered——第 \(t\) 步的问题不能依赖其后任何一步的答案，保证链是一条真正单向推进的推理路径，而不是把结论倒着拆出来（⚠️ 原文对这两条性质的符号表述在缓存文本中有错位，此处按语义转述，以原文为准）。

构建完之后还有两轮交叉校验：每轮把标注者随机打散到 3 个自己没参与过的场景，逐条检查链的有效性、中间步的有用性和顺序是否正确，并把意见同时反馈给原作者与上一轮校验者。这个流程针对的正是自动生成链最典型的失败模式——模型很擅长把已知答案包装成一条「看起来顺」的追问序列，从而把倒推伪装成推理；两条约束加上跨人复核，是在源头上把这类链挡掉，否则后面所有指标都会虚高。

3. 干扰项构造：步级与链级两阶段互补

真值链本身只是答案，要变成考题还必须造出「错误但诱人」的选项。Planning 的候选项由一条两阶段的自动管线生成（使用 GPT-5）：第一阶段 Distractor Construction 同时走两条互补策略——step-level 为每个推理步生成局部听起来合理、但方向上有误导性的干扰问题（比如「画面里有几辆车」「地面是湿的还是干的」），考的是模型能否分辨「相关」与「有用」；chain-level 则整体构造一条自洽但微妙偏离真值的干扰链，让整条探索路径都说得通、只是最终推不出正确结论。第二阶段 Question Integration 负责自动过滤、精修并把干扰项与真值链整合成一个统一数据集，保证每个位置上的选项数量与风格受控。Following 一侧的答案选项则采用人工方式：为每个答案步手工写几个看似合理的错误答案，与真值答案一起构成多选题。

两阶段互补的必要性在于它们各自封掉一条捷径。只有步级干扰项时，模型可以靠「这个问题是不是在问同一张图里的东西」这种局部线索蒙对，而链级干扰链迫使模型去判断整条探索方向是否真的通向最终答案；反过来只有链级干扰时，模型又可能只做粗粒度的方向判断、不细究每一步问得对不对。这套干扰项也是后文「从错误中恢复」分析的前提——只有当错误选项足够像真的，错误传播才有可研究的意义。

4. Planning / Following 解耦评测：用「喂真值」把提问与作答分开

有了链与选项，剩下最关键的一步是让两个维度互不污染。Planning 评测在每一步分支问题节点，把真值问题与干扰问题混在一起，让模型在给定原问题和此前完整历史（含每一步的真值答案）的条件下选出下一步该问的问题：

\[Q_t \sim p(\cdot \mid Q_{\text{origin}}, Q_1, A^{*}_{Q_1}, \dots, Q_{t-1}, A^{*}_{Q_{t-1}})\]

这里的设计要点是每步直接把对应问题的真值答案递给模型，模型不需要自己解子问题，只负责决定下一句该问什么，于是测得的纯粹是「探索方向」这一项能力。Following 评测反过来：问题链全部由真值给出，模型在每一步从若干候选答案里作答，条件是该步之前的所有真值问答对与图像：

\[A_{Q^{*}_t} \sim p(\cdot \mid Q^{*}_1, A_{Q^{*}_1}, \dots, Q^{*}_{t-1}, A_{Q^{*}_{t-1}}, Q^{*}_t)\]

两个维度的指标都是中间步准确率，且都只统计前 \(T-1\) 步，把最终答案那一步留给「端到端」的口径单独衡量：Planning 准确率是选对问题步数的占比 \(\frac{1}{T-1}\sum_{t=1}^{T-1}\mathbb{I}[Q^{*}_t = Q_t]\)，Following 准确率是答对中间问题步数的占比 \(\frac{1}{T-1}\sum_{t=1}^{T-1}\mathbb{I}[A^{*}_{Q^{*}_t} = A_{Q^{*}_t}]\)。两个指标在同一条链上严格同构，因此可以直接比较大小——后文「小模型 Following 明显强于 Planning」这个结论，正是靠这种同构才站得住。

一个完整示例¶

用论文图 2 的事故定责样本走一遍。原问题是「谁对这场事故负主要责任？」。真值链的第一步追问黑色车辆在做什么（真值答案是倒车），第二步追问银色车辆在做什么，最后一步的结论问题才是定责，选项是「黑色车 / 银色车」两类候选。在 Planning 任务里，模型第一步看到的候选问题除了真值那条之外，还有「画面里有几辆车」「地面是湿的还是干的」「路牌写的是什么」这类干扰项——它们对画面描述的局部都成立，却对定责毫无帮助；模型无论选哪一条，系统都会把该问题对应的正确答案喂给它（干扰问题也有自己的正确答案），然后进入下一步。于是链继续往下走，但模型的探索方向已经被带偏：如果两步都问成了天气和车数，最后的定责步骤拿到的就全是无关线索，最终答错的锅其实在第 1 步就埋下了。在 Following 任务里，问题链换成真值的那两条追问，模型只需要逐步在候选答案里作答、再回答最终问题。同一份样本、同一张图，两个协议各自暴露出的是完全不同的能力短板。

实验关键数据¶

主实验¶

V-REX 主体规模为 702 个样本、2504 道问题，4 个推理类别（Deduction 演绎、Guessing 猜测、Navigation 导航、Retrieval 检索）下共 15 个应用场景（流程图、模式、属性、关系、定责、意图、位置、时间、主题、地图、GUI、交通、趋势、计数、字谜）；每个样本含 2 到 6 个推理步，平均 3.57 步。评测覆盖开源与闭源两大家族、从 1B 到 38B 的多档规模，下表按规模组摘录各模型的 Planning / Following 平均准确率。

模型	规模组	Planning 平均	Following 平均
LLaVA-OV-1B	<7B	35.1	50.8
InternVL3-1B	<7B	42.3	53.9
Qwen3-VL-2B-Think	<7B	48.8	53.0
InternVL3-2B	<7B	51.9	63.5
InternVL3.5-2B	<7B	57.5	60.5
Qwen2.5-VL-3B	<7B	48.9	67.2
Qwen3-VL-4B-Think	<7B	62.0	64.2
InternVL3.5-4B	<7B	63.4	69.1
LLaVA-OV-7B	7B–10B	48.0	66.6
Qwen2.5-VL-7B	7B–10B	57.1	71.1
Qwen3-VL-8B-IT	7B–10B	71.6	67.3
InternVL3-9B	7B–10B	73.1	68.6
InternVL3-14B	>10B	74.8	72.4
InternVL3.5-14B	>10B	70.7	71.2
InternVL2.5-38B	>10B	78.8	76.5
InternVL3-38B	>10B	81.6	73.5
GPT-4o	闭源	72.7	76.4
Gemini 2.5 Flash	闭源	77.9	77.3
o1	闭源	85.3	79.5
GPT-5	闭源	84.4	84.6
o3	闭源	86.1	84.2

按类别拆开看，模型的能力分布并不均匀。下表取三个代表性模型（每格为 Planning / Following 准确率）：

模型	Deduction	Guessing	Navigation	Retrieval	平均
InternVL2.5-38B	85.6 / 71.3	85.0 / 69.0	85.0 / 90.8	59.8 / 74.8	78.8 / 76.5
GPT-5	93.9 / 76.6	91.8 / 86.2	93.9 / 90.9	58.1 / 84.6	84.4 / 84.6
o3	94.8 / 80.2	94.4 / 83.0	93.3 / 89.9	62.1 / 83.7	86.1 / 84.2

逐跳与失败恢复分析¶

原文正文没有给出逐跳（按步序号）的准确率曲线——链长的影响主要通过样本步数分布（2–6 步、平均 3.57 步）与补充材料 Section H 的逐跳恢复分析来体现，此处不臆造数字。正文能直接支撑的中间步分析是失败恢复：把「至少有一个中间步答错、但最终答案仍然正确」的响应比例统计出来，就能看出错误在链上传播的难易程度（下表为论文表 2，仅统计 >10B 的模型）。

模型	从 Planning 失败中恢复	从 Following 失败中恢复
InternVL3-14B	65.9	55.9
InternVL3.5-14B	65.5	52.6
InternVL2.5-26B	66.9	62.1
InternVL2.5-38B	69.2	63.2
InternVL3-38B	65.1	52.9
InternVL3.5-38B	65.4	45.6
GPT-4o	78.9	56.5
GPT-5	84.3	53.6
o1	79.0	59.5
o3	80.6	57.3
Gemini 2.0 Flash	69.5	59.4
Gemini 2.5 Flash	72.7	51.8

关键发现¶

CoQ 的提示确实有用，但只对「推理型」类别有用。 作者对比了「给不给 CoQ 中间线索」两种设定下最终问题的准确率，用变化率 \((\mathrm{Acc}_{\text{CoQ}}-\mathrm{Acc})/\mathrm{Acc}\) 统计：绝大多数模型的比值都是正的，说明人工构建的真值链确实帮到了模型，这反过来也验证了链的质量。但 Retrieval 类别（计数、字谜）提升最小——这类题更依赖直接的事实性视觉匹配，层级化的推理组织帮不上忙；论文还给出另一种解释：人类设计的检索路径可能与模型自身的检索策略不一致。少数模型在所有类别上都会因引入中间步而掉分，说明多余的探索步骤会引入「认知噪声」。
规模效应依然成立，但 Following 比 Planning 稳得多。 把能力对参数量作图，随规模上升的趋势清晰；更值得注意的是，同尺寸不同家族模型之间的方差，Following 明显小于 Planning。换句话说，只要问题被清楚地给定，同尺寸模型靠视觉线索和上下文就能做到差不多的水平——真正把模型区分开的是 Planning。
两个维度都与端到端表现正相关，Following 的相关性更强。 Planning 能力与最终答案正确率的 Pearson 相关系数为 0.858，Following 为 0.948（均 \(p<1\text{e-}4\)）。Following 仍是端到端能力的主要决定因素，但 Planning 在模型间的离散程度更大，意味着当前模型在策略性推理上的差距更悬殊。
小模型「会答不会问」。 Following 与 Planning 的比值随规模增大逐步趋近 1：小模型的比值明显大于 1（Following 远强于 Planning），大模型则趋于平衡。这说明扩大模型容量不只提升总分，也让规划类能力跟上作答能力。
Planning 出错比 Following 出错更容易救回来。 所有模型都具备一定恢复能力，但从 Planning 失败中恢复的比例普遍高于从 Following 失败中恢复（例如 o3 为 80.6 对 57.3）。合理的解释是：干扰问题只是少给线索、未必把模型带向错误结论，而答案空间里的错误会顺着链一路传播到最终答案。另一个观察是，Following 恢复率在小型开源模型与大型闭源模型之间差别不大，但 Planning 恢复率在大型闭源模型上明显更高——它们更不容易被次优计划和不相关线索带偏（相关补充实验：blindfold 盲测确认多数类别在无图像时退化到随机水平，扩大候选空间的压力测试确认基准仍具区分度，另有 Section J 的人类研究验证基准与人工干扰项质量）。

亮点与洞察¶

把「过程质量」转成「有限选项的判别」，是这篇论文最聪明的一步。 开放式推理过程之所以难评，不是因为不好看，而是因为没有客观判分标准；用有限候选把每一步离散化之后，判分不再依赖 LLM 评委，也不需要蒙特卡洛估计，成本与可复现性同时改善。这套「把开放过程折成有限选择」的思路可以直接迁移到 agent 轨迹评测、多轮工具调用的中间步诊断上。
「喂真值」是一种廉价而干净的解耦手段。 想让模型只展示「提问能力」，最省事的办法就是把答案的负担拿掉——每步把真值递过去，模型就只剩决策。相比训练两个专门的模型或设计复杂的控制变量实验，这个技巧几乎零成本，值得在任何需要拆分复合能力的评测里复用。
两级干扰项的设计披露了一个常被忽略的评测漏洞。 只造局部干扰项时，「局部相关性」会变成一条捷径；补上链级干扰链之后，模型必须判断整条探索方向的有效性。任何做选择题式过程评测的工作都应该检查自己的干扰项是否只在单一粒度上制造困难。

局限与展望¶

评测只覆盖选择题式的探索，无法评价模型的自由提问。 有限候选换来了可判分，代价是把「模型会主动提出什么样的子问题」这一能力完全排除在外，而真实场景下这恰恰是最难的部分。论文自身也承认 CoQ 不是 prompting 方法，因此不能直接用来衡量开放式探索的上限。
真值链的构建成本高、场景覆盖面有限。 5 名博士级标注者只覆盖了 15 个场景、702 个样本，每个场景约 47 个样本；跨人两轮校验虽然提高了可靠性，但也意味着扩充到新领域需要重走人工流程，规模化的边际成本很高。
Planning 干扰项由 GPT-5 生成，而 GPT-5 本身又是被测模型之一。 论文用人类研究（补充材料 Section J）验证了 AI 生成干扰项的质量，但生成方与受测方同源这一点仍可能带来风格偏好：被测模型如果与生成模型共享同款语用习惯，可能更容易识别出真值问题的措辞模式。一个更稳妥的做法是跨模型族生成干扰项并做交叉验证。
「恢复率」的口径值得推敲。 恢复率统计的是「中间步有错但最终答案正确」，而最终答案的正确可能来自运气或浅层猜测；若能在报告恢复率时同时给出「错误步类型 × 恢复成功」的联合分布（补充材料 Section H 做了逐跳版本），诊断信息会更明确。

评分¶

新颖性: ⭐⭐⭐⭐ 把探索式推理形式化为带有限选项的问题链，并用「喂真值」隔离 Planning 与 Following，第一次把问题空间的探索纳入评测，视角新且操作干净。
实验充分度: ⭐⭐⭐⭐ 覆盖 1B–38B 开源与多家闭源模型共 30 余个，五个主要发现各有对应分析；但正文缺少逐跳准确率曲线，人类基线等关键证据被放进补充材料。
写作质量: ⭐⭐⭐⭐ 协议讲解清楚、图示到位；部分公式排版与符号在原文中已有错位，读者需要靠上下文还原。
价值: ⭐⭐⭐⭐ 对做 VLM 推理评测与训练的研究者是一个可直接使用的诊断工具，Planning 与 Following 的差距也给出了明确的改进方向（强化探索与规划，而不只是作答）。