TIR-Bench: A Comprehensive Benchmark for Agentic Thinking-with-Images Reasoning¶

会议: ECCV2026
论文: ECCV 原文
领域: 视觉语言推理（vlm_reasoning）
关键词: 图像辅助思考、工具使用、多模态评测、函数调用、轨迹微调

一句话总结¶

TIR-Bench 将视觉推理评测从裁剪搜索扩展到 13 类图像操作任务，在 1215 个样本上揭示工具执行能显著改善模型表现，但最强的 o3-TU 总分仍只有 46.0，且复杂空间规划与工具选择远未解决。

研究背景与动机¶

视觉语言模型（VLM）可以写出很长的思维链，却未必能重新观察推理中真正需要的图像证据。如果输入是一张倒置的文字图，单纯延长文字解释并不会自动把字符转正；如果输入是一幅拼图，描述每块内容也不等于验证相邻边是否匹配。传统多模态推理通常把图像当作固定输入，后续计算主要发生在语言空间。图像辅助思考（thinking-with-images）改变的是这一接口：模型可以执行图像操作，把得到的新图像重新放回上下文，再继续判断。

已有 V* Bench、HR-Bench 等评测推动了高分辨率图像搜索，但重点仍是定位目标并裁剪放大。这种测试能检验模型是否看到了小物体，却难以区分它是否会旋转文字、增强暗图、计算像素属性或重排拼图。随着模型能够生成并执行 Python，工具不再局限于预先注册的裁剪函数，评测也需要覆盖动态编程所带来的操作空间。本文因此从任务需求出发，挑选研究者认为需要主动改变视觉输入的问题，而不是先规定一种工具，再寻找能用上它的数据。

这种设计的目的不是给某个新网络刷分，而是把视觉感知、操作选择、代码生成和后续判断同时暴露出来。论文进一步用相同模型的有工具与无工具设置，以及直接微调与工具轨迹微调，研究能力差异可能来自哪里。需要注意，人工判断“需要工具”是构建准则，不是证明每道题都无法被静态模型解出的数学保证。核心 idea：让评测问题要求模型获取新的视觉证据，并通过工具开关、函数接口和训练轨迹对照，区分静态识别能力与真正利用图像操作完成推理的能力。

方法详解¶

整体框架¶

TIR-Bench 的基本输入是图像和问题，输出是可核对的选择项、短文本或列表答案。它不是统一的求解模型，也没有要求所有参评模型共享一条固定推理流水线。无工具模型直接根据原图回答；工具模型可以生成操作指令或代码，执行后观察处理结果，再继续生成答案。这里关键的中间表示不是另一段文字解释，而是旋转图、局部裁剪、增强图或重排后的图像等新视觉证据。不同任务对这一中间表示的要求不同，因此不能把“调用过一次工具”直接等同于“完成了有效视觉推理”。

整个研究由任务覆盖、样本构建、评分与对照协议、函数调用诊断四项设计组成。它们分别决定测什么、问题和答案从哪里来、如何公平读取分数，以及工具利用失败发生在何处。主体榜单采用零样本评测，不在 TIR-Bench 测试样本上训练参评模型。旋转 OCR 微调是单独的先导实验，用外部 OCR 数据构造训练集，再在该任务上比较两种训练策略。

关键设计¶

1. 任务覆盖：把视觉操作从裁剪扩展到计算、变换和空间重组

13 类任务包括 Color VQA、Proportion VQA、Symbolic Reasoning、Math、Word Search、Rotated OCR、Maze、Low-Light VQA、Instrument Reading、Spot the Difference、Jigsaw、Visual Search 和 Rotation。 Color VQA 关注颜色相关信息，目标占比题要求估计某个指定物体占图像的面积比例，符号推理则考验细粒度几何结构辨认。这几类任务说明，工具可以承担像素分析或分割辅助测量，而不只是为模型提供更大的局部图片。低光照问答要求从暗图恢复可用证据，仪表读数需要定位指针和刻度，旋转 OCR 则要求先纠正文字方向。这些任务把“原始输入不适合直接读取”转化为一个可执行的视觉预处理问题。操作是否有用，最终由处理后能否支持正确答案来检验，而不是由生成代码的长度决定。

另一组任务需要改变空间组织：迷宫涉及路径规划，拼图需要恢复碎片位置，几何题可能需要画辅助线。 Word Search 要求在密集字符或数字布局中定位目标，找不同则要求比较两张图对应区域的差异。它们将局部观察和全局结构联系起来，不能简单归结为图像放大一次后做问答。 Visual Search 仍被保留，用来连接既有的高分辨率搜索评测与更广泛的操作能力。 Rotation 与 Rotated OCR 也不是重复任务：前者回答恢复朝向所需的旋转角度，后者回答图中文字内容。因此，一个模型可能会选角度却不会准确读字，也可能凭静态文字识别绕过旋转，这正是分任务报告的价值。

2. 样本构建：让图像变化与可核对答案一起产生

按表 1，13 类任务共 1215 个样本，单类规模为 50 至 120 个。数学、符号推理、低光照问答和仪表读数由研究者整理或制作图像并标注问答，两名博士生交叉核对问题与答案。颜色任务从 ColorBench 挑选 100 例，重点选择标注者判断需要程序化分析的样本。拼图以 RefCOCO 的 120 张图像为基础，切成从 \(3\times3\) 到 \(6\times6\) 的网格后打乱，原排列提供答案依据。 Rotation 使用 CVBench 的 75 张图像进行旋转；Word Search 包括程序生成的 85 例和来自互联网的 15 例。合成操作使目标变换已知，但这不意味着模型在求解时能直接访问原排列或正确旋转参数。

Proportion VQA 使用 RefCOCO 的真实分割掩码计算目标面积比例，并以相差 8 个百分点的数值构造错误选项。 Rotated OCR 从 OCRBench 选取 60 张图，分别以 25%、25%、50% 的概率旋转 \(90^\circ\)、\(270^\circ\)、\(180^\circ\)。找不同将图像对划分成对应网格，由两位标注者核对哪些位置包含变化，从而得到列表标签。 Visual Search 包含 HR-Bench 的 32 个困难问题和新增的 88 例，后者由 25 张高分辨率艺术图和 63 张真实场景图构成。这些设计让若干任务拥有明确的操作来源或标注依据，也减少了完全复用既有问答的比例。不过，第 3.2 节称迷宫生成 100 个样本，表 1 与图 2 均写 120；本文保留该冲突，并采用表 1 的规模口径。

3. 评分与对照协议：区分最终答对、局部匹配和工具增益

评测先让模型自由生成回答，再用 GPT-4o 从回答中提取最终答案。对于选择题和短答案，提取值与标准答案直接比较，以正确率计分。对于拼图和找不同等列表答案，第 4.1 节称使用交并比（IoU），即比较预测与标准标注的重叠部分相对合并部分的比例。因此，表 2 虽然以 Accuracy (%) 命名，实际汇总了不同任务的评分方式，不能把所有数字都解释成整题完全答对的比例。尤其拼图答案包含排列语义，而可读正文没有交代列表 IoU 如何编码位置关系；本笔记不擅自补成集合公式。这种实现细节会影响错误排列是否得到不合理的高分，复现时必须核对评分代码。

所有主体评测采用零样本设置，开源模型使用 NVIDIA A100，闭源模型通过 API 调用。无工具 GPT 系列通过 Azure API 测试，工具版 o3-TU 和 o4-mini-TU 通过 OpenAI API 开启 code interpreter，容器参数为 auto。所以 o3 与 o3-TU 的差别应读作论文定义的两种运行设置，不能假设其服务端环境完全相同。工具组还包括 Qwen 工具配置、DeepEyes 和基于 GPT-4.1 的 PyVision，以观察不同工具框架的效果。成对对照比跨模型排名更接近问题本身：同一模型获得执行环境后，是否能把新视觉证据转成更高的得分？但工具预算、后端差异与图像处理成本未被统一消除，因此不能把全部分差严格归因于某一个内部推理机制。

4. 函数调用诊断：拆开选择参数和编写操作代码

在 Rotation 任务上，作者额外比较两种接口：提供现成的旋转函数，只让模型填写角度；或让模型自己编写完整旋转代码。前者降低程序生成门槛，但仍要求模型选择角度并判断旋转后的图像是否正确。后者允许更灵活的操作，也引入代码实现失败这一额外风险。两种接口都可以重复调用，直到模型不再提出函数参数而给出最终答案。因此，测试对象不只是函数调用语法是否有效，还包括能否利用工具结果修正下一步选择。

作者同时设置三个提示条件：P1 只给问题，P2 提醒使用旋转函数，P3 明确要求逐个测试候选角度。 P3 把一个隐含的搜索策略写进提示，可检验模型是缺少执行能力，还是没有想到怎样组织工具调用。图 3 的定性结论是 P3 通常更有效，较强模型更能从代码生成受益，较弱模型更适合使用预定义函数。 Gemini-2.5-Flash 在三种提示下都未编写代码，因此论文没有报告其代码生成设置的结果。这不等同于它在所有函数调用场景下都失败，而是该组特定提示和接口下的行为。缓存没有可靠抽取图 3 的逐柱数值，本笔记仅保留实验设计与作者的定性结论。

损失函数 / 训练策略¶

第 4.6 节以 Qwen-2.5-VL-7B 为基础模型，使用外部 OCR-Dataset 构造旋转文字训练数据。训练集大小分别为 1k、5k、10k、15k，所有参数进行全量微调，共 5 个 epoch。 Direct SFT 直接学习从旋转图像预测标准文本，监督只要求模型给出最终读取结果。 Tool-Use SFT 则先监督正确旋转角度，执行恢复操作，将转正的图像拼接回原上下文，再监督文字读取。这里的“轨迹”因而同时包含动作选择、执行产生的新图像和基于新图像的答案，而不是给直接问答多加一段解释。正文没有提供需要复写的新损失公式，本笔记也不为这一训练流程虚构优化目标。

图 7 显示工具轨迹微调整体优于直接微调，而且随训练数据增多更稳定地改善；直接微调没有相同的数据扩展趋势。作者还观察到工具轨迹微调的损失下降更快，尽管初始损失更高。其解释是原模型更熟悉正向 OCR，把图像转正可以复用已有能力，而直接适应旋转文字可能干扰已有知识。这属于机制假说，论文没有独立遗忘测验或内部表征实验将其证明。该结果目前仅来自旋转 OCR 的先导研究，不能直接推广为所有视觉任务都应使用相同的工具监督。图 7 的精确曲线点未在可读正文中列出，因此这里不估算任何训练设置的具体准确率。

实验关键数据¶

主实验¶

下表摘自原文表 2，第 9 页，均为零样本评测；分数按原表的百分制记录，All 为其总体分数，TU 表示论文中的工具配置。这里选取整体、文字读取、密集搜索、旋转和目标占比，以同时展示工具收益与退化，未将不同模型包装成统一的新方法。

模型 / 配置	All	Rotated OCR	Word Search	Rotation	Proportion VQA
InternVL3-78B	21.4	3.3	8.0	26.7	21.7
Gemini-2.5-Pro	28.9	25.0	12.0	30.7	21.7
GPT-4.1	18.8	11.7	4.0	22.7	7.5
PyVision	31.8	63.3	10.0	46.7	26.7
o4-mini	21.2	8.3	5.0	26.7	17.5
o4-mini-TU	37.5	53.3	55.0	52.0	21.7
o3	26.9	8.3	4.0	33.3	34.2
o3-TU	46.0	53.3	64.0	77.3	31.7

o3 的工具配置使 All 从 26.9 升至 46.0，相差 19.1 个百分点；Rotation 从 33.3 升至 77.3，相差 44.0 个百分点。但 Proportion VQA 从 34.2 降至 31.7，相差 -2.5 个百分点，说明“能执行 Python”并不意味着拥有准确的目标分割能力。作者将这一退化联系到 o3-TU 无法调用专门分割模型；这是对工具覆盖范围的解释，而非单独验证过的消融结论。

消融实验¶

论文的额外分析不全是模块消融；下面采用第 4.4 节、第 12 页正文和图 6、第 13 页的 PyVision 交互效率分析，分数与表 2 一致。平均交互轮数是求解成本代理，不是运行秒数，也不是统计上受控的轮数消融。

PyVision 任务	平均交互轮数	任务得分
Rotated OCR	3.12	63.3
Color VQA	3.23	53.0
Maze	8.58	15.8
Word Search	7.34	10.0

PyVision 全任务平均为 4.72 轮；其错误归因中，37% 是感知问题，61% 是工具生成和推理问题，2% 为其他问题。这些比例来自 PyVision，不能直接当成 o3 的内部错误分布；作者无法访问 o3 与 o4-mini 的内部推理来完成同样分析。迷宫和 Word Search 的高轮数伴随低得分，支持“长交互可能是在反复失败”的观察，但不能证明多调用一次工具就会导致错误。

关键发现¶

工具带来的收益具有任务选择性。旋转、OCR 和 Word Search 的提升很大，而 o3-TU 的 Jigsaw 分数仍只有 16.4，见表 2。
专用裁剪能力不代表通用操作能力。DeepEyes 的 Visual Search 为 50.8，但 All 为 17.3，说明某类视觉工具的成功不能替代全面评测。
有效轨迹不等于更长轨迹。PyVision 在较少轮数内完成的 OCR 和颜色任务反而表现更好，提示应关注每轮是否获得了有用证据。

亮点与洞察¶

将“图像会在推理中改变”变成评测核心，而不是仅将图像作为语言问答的附件。任务因此能够覆盖感知接口与规划策略的联动。
同时保留成功与失败的工具对照。占比任务的退化提醒研究者，执行环境只提供操作能力，未自动补齐语义分割等专业能力。
旋转 OCR 训练把难题转化为恢复熟悉输入分布再求解。可迁移的启发是先监督有意义的视觉变换，而不是只增加最终答案样本。

局限与展望¶

原文统计存在版本不一致：摘要称评测 22 个模型，但表 2 列出 30 个非随机模型 / 配置行；迷宫数量也有正文 100 与表格 120 的冲突。这里不擅自统一成另一套统计。
各任务规模较小，且“必须使用工具”主要依赖人工筛选直觉。更强静态模型可能绕过部分操作，后续应补充更严格的成对干预与难度分层。
GPT-4o 负责提取答案，所以最终匹配规则确定，并不等于整条评测链完全不依赖模型。正文也未清楚展开列表 IoU 的位置编码和 All 的加权细节。
闭源模型的定性轨迹来自网页端重新运行，不是原 API 评测轨迹；PyVision 的轮数分析也不能代表所有工具模型的成本和行为。
可读缓存未包含正文引用的附录，图 3、图 7 也缺少可靠数值表。后续复现需核对完整提示、评分实现、预算及微调曲线，不能用本笔记的定性描述替代这些材料。

评分¶

新颖性: 4/5。将工具辅助视觉推理的评测范围系统扩展到裁剪搜索之外。
实验充分度: 4/5。有工具开关、函数接口、提示、训练数据规模与效率分析，但协议和统计细节仍需补齐。
写作质量: 3/5。主线清楚，样本与模型数量冲突、列表评分说明不足影响复现理解。
价值: 4/5。适合诊断视觉 agent 的能力边界，尤其能揭示工具可用与工具有效之间的差距。