ATP-Bench: Towards the Agentic Tool Planning for MLLM Interleaved Generation¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/3485
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/1635.pdf
领域: 多模态VLM
关键词: 工具规划、图文交错生成、视觉关键查询、多智能体评测、视觉遗漏

一句话总结¶

ATP-Bench 将图文交错生成中的五类视觉工具纳入统一规划空间，用 7,702 条人工核验问答和三智能体 MAM 分别检查调用是否合理、该用图时是否遗漏以及整体编排质量，发现最强受测模型 Gemini 3 Pro 的平均 FS 为 79.88，但复杂旅行与装修回答仍存在明显缺口。

研究背景与动机¶

图文交错回答的难点不只是生成一张好看的图，还在于决定哪段文字需要什么视觉证据。解释论文实验应引用真实曲线，介绍景点可能需要搜索实景照片，而根据用户照片预览装修方案则需要编辑原图。这些需求可以出现在同一回答里，单纯提高图像生成质量并不能解决错误引用、工具选错或图片插入位置不当的问题。

已有研究大体沿两条路线推进：OpenING 等关注开放式图像生成，RAG-IGBench 和 MRAMG-Bench 侧重从外部材料检索并引用图片。前者难保证真实实体与复杂图表的事实性，后者不能充分处理按用户要求修改或创作视觉内容。另一方面，直接给最终图文答案打分，会把模型规划能力与搜索结果、生成后端质量、API 可用性混在一起；同一个合理计划，也可能因为后端变化而获得不同评价。

本文因此把研究对象收窄到“图文交错工具计划”：模型仍生成完整文字，但用结构化工具标签表达图片应如何取得以及应放在哪里。数据集同时提供参考答案与人工核验，主评测却不强制模型复现唯一参考轨迹。核心 idea：把引用和生成统一为可选择的视觉工具，再用“已调用的是否正确、未调用的是否遗漏”两个互补视角评估开放式图文规划，而不是只看最后有多少图片。

方法详解¶

整体框架¶

输入是视觉关键查询，以及用户提供或外部检索得到的图文文档集；查询既可以是纯文本，也可以包含图片。被测 MLLM 接收统一的工具说明，输出文字与工具调用交错的有序序列。MAM 不执行这些调用，而是让精度检查员和召回检查员分别形成报告，再由主裁判汇总为整体分数。

这是一项基准与评测框架工作，没有提出新的图像生成骨干或工具学习损失。下面的图把离线数据构建、被测模型规划和三智能体评测串在一起；参考答案用于补充的工具集合对照，而不是 MAM 的必需输入。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图文来源与意图"] --> B["视觉关键数据构建"]
    B --> C["统一工具规划"]
    B --> G["人工参考答案"]
    C --> D["互补调用检查<br/>精度检查员"]
    C --> E["互补调用检查<br/>召回检查员"]
    D --> F["分层整体裁决"]
    E --> F
    C --> H["补充工具集合对照"]
    G --> H
    F --> I["FS、SR、MI"]

关键设计¶

1. 视觉关键数据构建：让图片确实有必要，而不是把任意问答配上装饰图

作者首先限定八类高视觉需求场景：学术、说明书、食谱、时尚、装修、产品、旅行和百科，并细分为 25 种意图。查询来源文档取自 MRAMG-Bench、RAG-IGBench 和 OVEN 等资源，覆盖 Wikipedia、小红书和 arXiv。Gemini 2.5 Pro 先根据文档及意图生成自然的文本查询，再把适合视觉落地的查询改为 VQA：例如不再用文字描述肤色和发型，而让用户照片承载这些证据。补充图像来自网络搜索、nano-banana 生成和公开基准。这样的两阶段处理不是简单添加一张图片，而是要求问题本身依赖图像信息。

10 名专业标注员剔除歧义、不自然、不依赖配图或不满足视觉关键性的查询，约保留 95%。最终共有 7,702 条问答，其中 1,592 条为 VQA；每条查询平均含 2.15 个文档、8.87 张图片，参考回答平均含 4.32 次调用。参考答案另经“依据材料写文本 → 在视觉缺口处插入工具标签 → 人工细修”三阶段产生。15 名标注员逐调用检查必要性、参数和位置，删除冗余或错配调用、修正工具与格式，把标签移动到相关段落之后；事实或结构发生系统性错误时整条剔除。参考图只能引用一次，标签不能插在句子中间，这使数据同时约束信息价值和阅读节奏。

2. 统一工具规划：明确五种图像来源的能力边界，并把位置编码在输出序列里

文档以 \(d_i=(T_i,I_i)\) 表示，分别保存文本与图片集合；文档集不限定来自检索还是用户上传。输出则是文字和工具指令交错的序列。缓存中的原式 (1) 存在排版损坏，下面仅按紧邻文字整理其任务定义，不补写缺失的原始 LaTeX：

\[ R=(s_1,\ldots,s_m),\qquad s_j\in\mathcal S_{\mathrm{text}}\cup\mathcal S_{\mathrm{tool}}. \]

每条工具指令采用 <tool>{"tool_name": ..., "description": ..., "params": ...}</tool> 结构，工具名称说明使用什么能力，描述解释目的，参数提供具体操作条件。Reference 用 img_index 引用上下文图片；Diffusion 用语义详细的提示生成原材料中没有的概念或创意图；Search 用定向查询取得真实世界图片；Code 接收图表类型与数据规格，处理数据驱动的图表和数学绘图；Edit 用 img_index 加编辑提示，对已有图像做标注、局部修改或风格预览。正文未给出所有工具完整参数键表，因此这里不杜撰可运行 API 示例。

这些工具不是任意互换的图像入口：真实地标应有事实依据，实验曲线应由数据或原图支撑，用户房间的修改应保持对其原图的依赖。标签必须紧跟相关段落，使“在哪儿用图”成为计划的一部分，而不只是最后收集一组图片。统一输出协议让不同 MLLM 在相同能力边界下比较，也把后端执行质量暂时排除在主指标之外。

3. 互补调用检查：同时惩罚无效配图和不敢配图

精度检查员先判断每次调用是否有视觉增益、是否符合工具能力边界；通过这两个前置条件后，再检查语义位置、上下文结构、参数准确性和输出格式，以 0、1、2 分区分失败、部分满足与完全满足。只有必要、语义适当、位置正确、工具及参数正确且格式合规的调用，才被视为成功。正文没有给出部分分如何进入 SR 的完整实现，不能擅自按 0.5 次成功处理，也不能把标签合规解释为真实后端已经成功运行。

召回检查员从没有调用的位置寻找视觉缺口：文本提到一张实际不存在的图、复杂步骤被长文字替代、真实实体缺少引用或搜索依据，以及需要创作、修改、绘图却未使用相应工具的情况，都会形成遗漏报告。这个视角很重要，因为只考察已调用工具的正确率，会奖励完全不调用工具的保守回答。MI 是检测到的缺失图片机会数，越低越好；它不是通过匹配唯一参考图数量计算出的传统召回率。

4. 分层整体裁决：让整体节奏评价受两份细粒度报告约束

主裁判综合精度和召回报告，评估整个回答的图文编排，输出 0–100 的 FS。其五档锚点为：80–100 表示调用几乎全正确且没有视觉遗漏；60–80 表示整体有用，但存在轻微精度问题或至多一处轻微遗漏；40–60 表示多处参数或结构问题，或 1–2 个遗漏；20–40 表示明显冗余、越界调用或 2–3 个显式视觉上下文未落实；0–20 对应严重格式失败或核心视觉意图被完全忽略。这些是语义评分准则，不是把 SR 和 MI 代入某个固定加权公式。

工具采用率另外统计“至少调用过某工具一次”的查询比例，不是该工具占所有调用的比例。作者还用参考答案比较工具种类集合的 Precision、Recall 与 F1，但该集合指标忽略调用次序、位置、参数及同种工具的重复次数，因此只能补充 MAM。正文没有交代这些集合分数的完整平均方式，不能根据表中平均 Precision 和 Recall 重新计算并替换原表 F1。默认三个裁判角色均由 Gemini 2.5 Pro 承担，角色分工也不等于三个独立模型的一致投票。

一个完整示例¶

沿用论文中的“根据我的肤色，什么发色适合我”场景，可以理解为什么选择工具与位置需要联合规划。查询照片提供肤色与现有外观，文档里则可能已有红色、深棕色等发型参考图。模型先根据可见信息解释建议，再在各方案段落之后插入相应视觉计划。

如果只是展示材料中已有的红发样式，Reference 可以直接引用；如果要展示“我本人换成这种发色”，Edit 才保留对用户照片的依赖。Diffusion 更适合缺少合适参考时的概念示范，不能把生成的人像当成用户本人真实编辑结果。精度检查员会审查工具是否越界、索引与位置是否正确，召回检查员则会检查承诺了预览却没有实际规划预览的位置。这个例子用于解释协议，不是新增实验轨迹，也没有假定后端生成结果已经通过检查。

损失函数 / 训练策略¶

本文不训练新模型，默认零样本评测 10 个现有 MLLM，并在每类各取 100 条、合计 800 条的子集上开展消融。3-shot 实验考察上下文示范能否改善规划与格式遵循，另有工具能力边界提示变化、裁判模型替换和人工评价。缓存未附正文所指向的补充提示全文，无法据此复现每个提示、解码配置或完整工具 schema。

实验关键数据¶

主实验¶

下表合并原文表 3–5 的 Avg 列，保留原论文数值，不重新按类别样本数加权。FS 为 0–100 整体分数，SR 单位为百分比，MI 是平均遗漏计数；SR 仍是规划层面的裁判判断。

模型	FS ↑	SR (%) ↑	MI ↓
Gemini 3 Pro	79.88	81.77	0.49
Claude Sonnet 4.5	69.34	75.77	1.19
Claude Sonnet 4	69.15	73.86	0.99
Grok-4.1	68.18	71.21	1.06
GPT-5	67.18	69.23	1.11
Qwen3-VL-Plus	62.49	63.93	1.44
GPT-4o	60.67	61.63	1.35
Qwen2.5-VL-72B	53.22	39.13	1.68
InternVL3.5-14B	49.09	10.12	1.62
LLaMA-3.2-11B	28.97	18.34	2.16

Gemini 3 Pro 相对 Claude Sonnet 4.5 的 FS 高 10.54 分、SR 高 6.00 个百分点，MI 少 0.70。GPT-5 在学术类 FS 达 93.59，却在装修类降至 48.63，说明擅长文本解释不等于擅长视觉工具协同。旅行类普遍遗漏较多，而装修类常出现调用合规性不足，两种失败不宜都笼统称为“图片质量不好”。

消融实验¶

下表来自原文表 7，仅适用于 800 条均衡子集。这里的零样本基线与上面的全量结果不同，提升必须在本表内计算。

配置	FS ↑	SR (%) ↑	MI ↓
GPT-4o，零样本	60.35	63.05	1.39
GPT-4o，3-shot	73.19	82.01	0.83
Qwen2.5-VL-72B，零样本	53.88	39.06	1.64
Qwen2.5-VL-72B，3-shot	72.86	72.88	0.65
LLaMA-3.2-11B，零样本	29.60	25.35	2.10
LLaMA-3.2-11B，3-shot	30.20	26.62	2.01

Qwen2.5-VL-72B 的 SR 提高 33.82 个百分点，GPT-4o 提高 18.96 个百分点；LLaMA-3.2-11B 仅提高 1.27 个百分点。示范确实能帮助部分模型理解工具使用协议，但实验没有进一步隔离“学会格式”与“学会规划”的贡献，因此不能把全部收益归因于推理能力提升。

关键发现¶

裁判可靠性有多重证据：MAM 的 FS 排名与参考工具集合 F1 排名的 Spearman 相关为 0.879，\(p<0.001\)；这支持整体排序一致，不代表两套指标可互换。
400 条查询的报告人工核验中，精度检查员、召回检查员、主裁判的一致率分别为 84.00%、85.88%、88.00%。这是报告一致性研究，不是 400 条端到端执行结果。
端到端人工实验为每个模型执行 100 个计划，采用上下文引用、nano-banana、Google Image Search/Serp API、GPT-5 生成的 Python 脚本及 Doubao Seedream 4.0 五类后端。Gemini 3 Pro 的人工 FS 为 3.89/5、MI 为 0.06；MAM 与人工 FS、MI 排名相关分别为 0.8909 和 0.8303，不能把五分制 FS 与主表百分制 FS 直接比较。
更换裁判仍会改变绝对数值：800 条子集中，InternVL3.5-14B 的 SR 在 Gemini 2.5 Pro 裁判下为 11.46，在 GPT-5 裁判下为 68.30。排序相关较高并不意味着成功率阈值已经跨裁判校准。

亮点与洞察¶

将“视觉缺口”独立为评测对象很有价值。无效调用与应调用却不调用是两个不同问题，联合观察 SR 和 MI 才能区分激进失误与保守遗漏。
在工具协议里保留引用、搜索、生成、绘图和编辑的边界，使事实性与创作性成为可审查的选择。该思路可用于多模态助手的离线计划审计，而不必每次运行昂贵后端。
三智能体并非为了增加对话轮次，而是把局部证据检查与整体阅读节奏拆开。最终分数可以追溯到具体调用问题或缺图位置，比单一黑盒总分更有诊断意义。

局限与展望¶

作者承认当前仅覆盖文本与图像、五种工具，没有音视频或更广泛的智能体能力，也未比较“先转成图像描述，再由纯 LLM 评判”的替代路线。
规划合规不保证执行成功。小规模端到端实验提供支持，但仍不足以覆盖搜索时效、生成随机性、编辑保真度以及真实部署中的成本与延迟；这些应另列执行指标。
数据查询生成和默认裁判都使用 Gemini 2.5 Pro，角色间也共享模型，存在同源偏好的潜在风险。作者做了换裁判和人工研究，但不能据此宣称偏差完全消除。
工具选择会随能力边界提示改变，说明分数依赖协议；同时材料中已有图片可显著鼓励 Reference。未来应按图像资源充足度、工具混用需求和来源真实性分别分层，而不只比较总分。
缓存的任务公式抽取有损，完整提示和部分指标实现细节未随正文提供。本笔记明确区分可恢复的任务定义与不可核验的实现，不填造训练超参、消融数字或图中精确柱高。

评分¶

新颖性: 4/5。把混合视觉来源和图文位置规划统一起来，并显式评估遗漏；贡献主要在任务与评测，而不是模型架构。
实验充分度: 4/5。覆盖 10 个模型、少样本、工具边界、换裁判和人工执行，但端到端规模及实现细节仍有限。
写作质量: 4/5。任务边界和三角色职责清楚；部分聚合、成功判定实现与补充提示需要进一步查证。
价值: 4/5。适合定位多模态助手的过度调用、调用不当和缺图问题，但需要与真实执行测试结合使用。