A4-Agent: An Agentic Framework for Zero-Shot Affordance Reasoning¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/3311
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/883.pdf
领域: 视觉语言推理
关键词: 可供性预测、视觉想象、推理与定位解耦、零样本泛化、多模型协作

一句话总结¶

A4-Agent 将“如何交互、操作哪个部件、部件在哪里”分别交给生成模型、视觉语言模型和检测分割模型，在不进行可供性任务微调的条件下达到 ReasonAff 70.52 gIoU，但完整流水线需要约 32 秒推理。

研究背景与动机¶

可供性预测不是识别图中有没有一把刀，而是根据“切东西”或“安全拿起”这样的指令，分别找到刀刃或刀柄。前半段要求理解动作的功能和上下文，后半段要求准确描出细小部件的边界。只擅长检测的模型未必理解隐含需求；擅长解释用途的 VLM 又可能知道答案却给错坐标，错误框还会把后续分割引向错误区域。

AffordanceLLM、Affordance-R1 等方法尝试通过任务训练，把语义推理和空间输出放进同一个模型。论文观察到，这类专门化方法在不同数据集间表现差异明显：Affordance-R1 在 ReasonAff 的 cIoU 为 62.72，在 RAGNet-3DOI 为 33.4。作者将这种现象部分归因于专门化训练损害通用知识，但跨数据集结果本身不能单独证明遗忘机制。更直接的问题是：基础模型已经各有所长，是否必须重新训练一个模型，让它同时承担理解指令和精确定位？

本文选择在推理时组织已有能力，并加入一个可视化中间步骤：先生成物体正在完成任务的画面，让交互接触和运动线索帮助选对功能部件，再回到原图定位。核心 idea：用想象辅助“选什么”，用独立视觉模型解决“在哪里”，通过明确的部件描述接口把语义推理与像素定位连接起来。

方法详解¶

整体框架¶

输入是一张 RGB 图像和一条自然语言任务，主要输出是原图上的可供性分割掩码，同时保留检测框和关键点。尽管名称包含 A4，正文明确描述的是三个角色而非四个代理：Dreamer 负责交互想象，Thinker 负责部件决策，Spotter 负责空间定位。

默认实现用 GPT-4o 构造编辑提示并推理部件，用 Qwen-Image-Editing 编辑输入图像，用 Rex-Omni 预测框与点，再用 SAM2-Large 精化掩码。生成图只是推理证据，不是最终分割的坐标系；原图持续提供真实外观和空间参照。这一点使“想象动作发生后的情景”与“预测当前图像的可操作区域”不致混为一谈。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["原图与任务"] --> Dreamer["Dreamer 交互想象<br/>提示构造与图像编辑"]
    Dreamer --> Thinker["Thinker 部件决策<br/>原图和想象图推理"]
    Input --> Thinker
    Thinker -->|部件描述 JSON| Spotter["Spotter 空间定位<br/>Rex-Omni 框点与 SAM2"]
    Input --> Spotter
    Spotter --> Output["原图上的框、点与掩码"]

这是一条有明确输入输出的固定协作流水线。缓存正文没有描述动态任务规划器、失败重试控制器或多轮验证回环，因此不应把“agentic”进一步解释成具备这些能力的自主系统。

关键设计¶

1. Dreamer 交互想象：把任务变成可观察的接触与运动线索

单张静态图像通常只能显示物体长什么样，不能直接显示它执行任务时哪一部分真正发挥作用。Dreamer 先让 VLM 结合原图和指令生成一条适合图像编辑的短提示：明确目标物体与可见功能部件，描述最小必要交互和接触配置，并避免添加图中没有依据的属性。随后 Qwen-Image-Editing 以原图和这条提示为条件，生成一个可能的交互状态。这里不是凭空生成同类物体，而是利用图像编辑尽量保留任务所针对的对象，让生成模型的交互先验成为下一阶段可读的视觉线索。

“交互区域”不等于“手握区域”是这一设计的重要边界。对于倒水，真正执行功能的可以是壶嘴或出口，而不是负责握持的把手；对于切割，目标可以是刀刃。Dreamer 允许手与物体、物体与物体等不同交互，而非统一生成一只手抓住物体。接触或运动的具象化可能补足小型 VLM 的知识不足，但它仍只是生成的假设，不是物理模拟的验证结果。提示中已经要求初步识别功能部件，因此本阶段也不是完全独立于语义推理的“客观教师”。

2. Thinker 部件决策：让 VLM 只给可定位的语义答案

Thinker 同时查看原图、想象图和任务。其提示要求先识别原图中的关键结构和候选交互位置，再借助想象图理解与任务相符的接触或运动，最后把答案落实到原图确实存在的部件。保留原图很关键：生成器可能移动物体、改变形状或补出不存在的结构，Thinker 应利用想象来解释功能，而不能把编辑后的像素位置当成原图坐标。

模型响应分成 Thinking 和 Output 两部分，下游忽略前者，只解析后者的 JSON，其中包含 task、object_name、object_part 三个字段。部件描述采用类似“the blade of the shears”的形式，把部件与所属物体绑定起来，避免只有“blade”时检测到错误对象。这个接口不含空间坐标，也不要求 VLM 直接输出掩码：它把高层问题压缩为一个开放词汇检测器更能处理的短语，使语义模型更换时不必重新训练空间模块。缓存说明精确提示模板位于附录，但当前全文缓存止于参考文献，不能从中复原附录模板或 JSON 解析失败的处理方式。

3. Spotter 空间定位：把部件短语逐步变成精确边界

选对部件后，仍要解决部件在原图何处以及它的边界在哪里。Spotter 首先把 Thinker 的文本描述交给 Rex-Omni，在原图上找出一个或多个部件的边界框和代表性关键点。框提供大致范围，点提供部件内部的空间锚点；二者再作为 SAM 的视觉提示，生成精细分割掩码。默认分割骨干实际使用 SAM2-Large，正文中的“SAM”是这一类提示式分割步骤的概称。

分工的必要性来自接口差异：分割模型擅长沿图像边界切出对象，但不能仅凭复杂任务指令可靠地决定该切哪里；开放词汇检测器能把短语变成几何提示，却未必直接得到精确轮廓。因此 Spotter 不是又做一遍功能推理，而是完成文本到粗定位、再到细分割的转换。最终结果为每个候选区域保留框、点和掩码。论文没有交代多候选冲突处理或详细的掩码选择策略，不宜额外补写一个置信度融合算法。

一个完整示例¶

以论文使用的“打开冰箱”为例，输入仍是尚未执行动作的冰箱图像。Dreamer 让 VLM 描述“一只手抓住冰箱的竖直把手”这样的最小交互，并让图像编辑模型呈现可能的接触状态。这个过程把“打开”与具体接触位置联系起来，而不是只输出整台冰箱。

Thinker 对照两张图，确认可见且适合操作的部件是冰箱把手，在三个 JSON 字段中记录任务、物体和部件描述。Rex-Omni 再根据部件短语在原图上找把手的框与点，SAM2 利用这些提示描出把手掩码。如果想象图中的手遮住了把手，也不应把手分割为输出，因为最终空间定位始终针对原图。这里是按正文机制串联的说明性示例，不是新增实验记录。

损失函数 / 训练策略¶

本文没有新增训练损失，也不在 ReasonAff、RAGNet 或 UMD 上微调模块；其贡献是测试时编排预训练模型。“零样本”限定为没有这些可供性任务数据上的专门训练，并不表示基础模型从未接触相关物体或网络图像。

完整配置串行经过提示构造、图像编辑、部件推理、检测与分割。Lite 配置去掉 Dreamer，将 Thinker 换成 Qwen-2.5-VL-3B，保留空间定位路径，以牺牲部分精度换取更低延迟。正文称所有报告结果取三次独立运行的平均值，各指标标准差均小于 1.0，但没有逐项列出误差条，也没有给出图像编辑步数等完整复现超参。

实验关键数据¶

主实验¶

ReasonAff 使用 600 个图像任务对；RAGNet 的 3DOI 与 HANDAL 子集合计 3,018 对；UMD 从视频帧中抽取十分之一，得到 1,922 张测试图像，覆盖 17 类物体和 7 类可供性。开放世界图像来自 PhysToolBench 和网络，只做定性展示。

下表采用正文表 1–3 的 gIoU / cIoU，数值越高越好，差值是指标点数而非相对百分比。按通常评测口径，gIoU 是逐样本 IoU 的平均，cIoU 是累计交集除以累计并集；缓存没有展开具体实现及空掩码规则，且这里的 gIoU 不应混同于检测损失中的 Generalized IoU。

测试集	对比方法	对比 gIoU / cIoU	A4-Agent gIoU / cIoU	提升
ReasonAff	Affordance-R1	67.41 / 62.72	70.52 / 64.62	+3.11 / +1.90
RAGNet-3DOI	AffordanceVLM	38.1 / 39.4	63.9 / 58.3	+25.8 / +18.9
RAGNet-HANDAL-easy	AffordanceVLM	58.3 / 58.1	61.1 / 61.7	+2.8 / +3.6
RAGNet-HANDAL-hard	AffordanceVLM	58.2 / 57.8	61.0 / 59.6	+2.8 / +1.8
UMD	Affordance-R1	49.85 / 42.24	65.38 / 59.81	+15.53 / +17.57

RAGNet-3DOI 的消融表给出更精确的 63.94 gIoU，主表则保留一位小数。UMD 总览图出现 65.58，而表 3 为 65.38，后者也与正文的 +15.53 相符，本笔记采用表 3。ReasonAff 表头的 P50 与 P50–95 顺序存在疑点，且其他表也有不符合通常阈值关系的数值，因此不据此推导阈值精度结论。

消融实验¶

下表来自 RAGNet-3DOI 的表 4–5。“无 Spotter”实验实际上仍让 SAM 根据 Thinker 直接预测的框生成掩码，不能理解成完全去掉分割器。

配置	gIoU	cIoU	说明
完整模型，GPT-4o	63.94	58.30	默认配置
GPT-4o，无 Dreamer	62.30	54.43	想象贡献 1.64 / 3.87 点
完整模型，Qwen-2.5-VL-7B	63.02	49.87	更换 Thinker
Qwen-2.5-VL-7B，无 Dreamer	58.48	49.26	想象贡献 4.54 / 0.61 点
仅 Spotter	45.91	39.82	同时去掉 Dreamer 与 Thinker
Dreamer + GPT-4o 直接出框，再用 SAM	6.55	3.89	缺少专用定位模型
完整模型，GPT-5.2	64.65	59.21	表 4 的 Thinker 升级实验

完整 GPT-4o 系统相对“仅 Spotter”提升 18.03 gIoU / 18.48 cIoU，但这个对照同时删除两个角色，不能把全部收益归给 Thinker。另一方面，无专用定位模型时只剩 6.55 gIoU，是“理解部件名称不等于能输出准确坐标”的直接证据。

关键发现¶

Dreamer 对较小模型的 gIoU 帮助更大，但这个结论不能直接扩展到所有指标：Qwen 的 cIoU 只增加 0.61，低于 GPT-4o 的 3.87。带 Dreamer 的 Qwen 达到 63.02 gIoU，超过无 Dreamer 的 GPT-4o 的 62.30；但其 cIoU 49.87 仍低于 54.43，因此不是全面超越。

表 6 还揭示了准确率背后的推理成本。以下是作者在 A40 上报告的近似值，完整配置含远程 GPT-4o，其服务端参数量和资源消耗不能由本地显存代表。

配置	推理时间	GPU 显存	3DOI gIoU / cIoU
Affordance-R1	约 7 秒	约 19 GB	39.04 / 33.39
AffordanceVLM	约 4 秒	约 17 GB	38.10 / 39.40
A4-Agent Lite	约 4 秒	约 16 GB	52.91 / 41.82
A4-Agent Full	约 32 秒	约 30 GB	63.94 / 58.30

亮点与洞察¶

语义接口比直接坐标输出更可靠。 将 VLM 的责任限定为选择部件，可以保留其任务理解能力，同时把空间精度交给专用模型；无专用定位的消融支持这一设计。
生成图像可以是推理辅助，而非最终产品。 本文利用接触和运动线索补充静态观察，但要求部件回到原图验证，这种信息流比直接在生成图上定位更符合任务目标。
替换模块不需要重新做可供性训练。 表 4 通过更换生成、推理和定位骨干展示了可替换性；这表明性能提升可以来自更好的现成模块，而不一定来自更多任务标注。

局限与展望¶

精度与实时性仍有明显冲突。 作者用 Lite 版本回应效率问题，但 Full 约 32 秒的延迟不适合直接作为高频闭环控制器，论文也没有展示机器人执行成功率。
想象可能强化早期错误。 Dreamer 提示已经涉及功能部件选择；若这一判断错误，生成图可能进一步强化错误解释。正文未量化编辑失真、错误部件提示或原图与想象图冲突时的鲁棒性，这是阅读后可识别的证据缺口。
开放世界泛化证据以定性展示为主。 标准测试集的跨域优势很清楚，但少量开放世界案例不能等同于大规模分布外可靠性，更不能证明物理动作一定可执行。
复现信息与指标表述仍待补齐。 缓存缺少被引用的提示附录及部分推理超参，阈值指标列序也有疑点；闭源模型版本与服务成本进一步增加复现和公平比较难度。
预训练暴露不等于被排除。 无任务微调不代表没有预训练数据重叠；研究上的下一步应包括受控新物体测试、错误生成扰动和实际执行验证，而非仅扩大成功案例展示。

评分¶

新颖性: 4/5。想象辅助与推理定位解耦的组合有明确针对性，但主要贡献是现有基础模型的推理时组织。
实验充分度: 4/5。包含多数据集、模块替换、删除消融和效率对比；缺少实际执行评测及系统化生成失败分析。
写作质量: 3/5。三阶段职责清晰，但阈值指标、图表数字与附录缺失影响当前缓存版本的可核验性。
价值: 4/5。提供强零样本基线和清晰可替换接口，实际部署价值仍取决于延迟、服务成本和错误传播控制。